ИИ модели на OpenAI самоволно са хаквали сайтове

OpenAI се бори да установи пълния мащаб от неоторизирани действия на своите автономни ИИ агенти („rogue agents“). Случаите подчертават растящата пропаст между мощността на новите модели и способността на компанията да контролира и проследява тяхното поведение, твърди в свое разследване "Ройтерс".
Действията на OpenAI идват два месеца, след хакването на Hugging Face (платформа, която хоства стотици хиляди предварително обучени ИИ модели за обработка на естествен език (NLP), компютърно зрение и аудио). А нов пример за неправомерни активности дойде вчера, когато OpenAI съобщи, че нейните агенти са изпуснали 53 изображения на потребители на ChatGPT. От компанията отказаха да кажат дали изображенията са генерирани от ИИ, или са на реални хора.
Така се разкрива нова зона на риск за поверителността на компанията, която все по-трудно осъществява пълен контрол на цялата неоторизирана активност, свързана с нейните агенти. Оказва се, че е зейнала пролука между мощността на моделите, които компанията тества, и нейния капацитет да контролира или дори да проследява техните действия.
Към средата на септември OpenAI бе открила около две дузини инциденти, при които нейните ИИ агенти са действали по небалансиран или нежелателен начин. Броят им обаче продължава да нараства, а екипите на компанията преглеждат вътрешните логове за активност и откриват неизвестни досега случаи, разкриват вътрешни източници.
От OpenAI заявиха, че проверката ще отнеме месеци поради мащаба на работата и добавиха, че са уведомили десетки трети страни за нередна активност. Повечето от изтеклите изображения са премахнати, а от компанията преговарят с хостинг доставчиците за премахването на останалите.
 Как се стига до изтичането
Агентите на OpenAI са имали достъп до тези изображения, тъй като компанията разчита на анонимизирани потребителски данни за част от процеса на обучение на моделите си. Корпоративните данни не подлежат на обучение, докато индивидуалните потребители на ChatGPT трябва изрично да се откажат (opt out), за да не позволят на компанията да използва техните данни за своето обучение.
Въпреки това, преди потребителските публикации да бъдат използвани за обучение, те преминават през процес на анонимизация, който премахва метаданни, имена и друга контактна информация, което би трябвало да направи трудно проследяването им до конкретен потребител. Но има рискове, защото съществува шанс данните да не са напълно изчистени от лична информация и тя да изтече по време на работата на модела.
 
ИИ агентите са имали достъп до държавни сайтове
Снощи от OpenAI заявиха, че техните модели са осъществили достъп до информация от уебсайтовете на Комисията по ценните книжа и борсите на САЩ (SEC) и Бюрото за преброяване на населението на САЩ по време на изследователска и обучителна дейност, но не са били намерени доказателства за неоторизиран достъп, компрометирани акаунти или пробиви в сигурността.
Отделно от това, неправителствената организация за изследване на изкуствен интелект Transluce съобщи, че ИИ агенти, които изглежда произхождат от OpenAI, са направили неуспешен опит да хакнат уебсайт за граждански права на Министерството на образованието на САЩ. 
От Transluce заявиха, че инцидентът е част от по-широка активност на ИИ агенти, сканиращи правителствени уебсайтове с тактики, включващи компрометирани данни за достъп, заобикаляне на anti-bot защити и фалшиви акаунти.
 
Вече има над 15 инцидента
През двата месеца, откакто OpenAI за първи път обяви, че нейните ИИ агенти са излезли от контрол (broke containment), е имало над 15 различни инцидента с различна степен на сериозност. Те са разкрити от компанията, от външни изследователи дори от ... австралийския премиер Антъни Албанезе, който заяви в ООН, че агенти на OpenAI са проникнали в държавен портал за здравни данни през юни.
Пробивите варират - от спам съобщения, чак до пробива в Hugging Face, който включваше рояк от агенти, злоупотребяващи с непознати софтуерни уязвимости, за да проникнат в ИИ хранилището, търсейки отговори за тест. От OpenAI признават също така, че нейните агенти са се насочили и срещу собствената инфраструктура на компанията.
Някои от засегнатите сайтове се управляват от правителства, от университети и обществени агенции, тъй като моделите, провеждащи изследвания, търсят авторитетни източници на публична информация.
Когато на 21 юли стана ясно, че агентите на OpenAI са излезли от контрол и са хакнали Hugging Face, това предизвика широка тревога в ИИ индустрията относно способността ѝ да контролира по-мощните модели, които се разработват. Оттогава Anthropic, Google (собственост на Alphabet) и Meta заявиха, че са открили подобно поведение и при своите ИИ агенти.
OpenAI призна общата необходимост от повече прозрачност относно неконтролируемото поведение на изкуствения интелект, а на 16 септември публикува нова рамка за разкриване на подобни инциденти, заявявайки, че ще залага на прозрачността, „дори когато значението е несигурно“. Въпреки това процесът на разследването е бил необичайно капсулиран. Въпреки това се знае, че поне 100 човека са били включени в процеса за изясняване на хака в Hugging Face, и точно тогава са излезли наяве доказателства за други инциденти.
Други случаи са извадени на показ от външни изследователи, а не директно от OpenAI, откъдето не са ги забелязали в продължение на месеци. 
По-рано този месец, например, малка група програмисти откри, че ИИ агентите на компанията са превзели почти неактивен германски уики сайт, за да споделят тактики за мамене при определени задачи, заобикаляне на ограниченията на OpenAI и маскиране на поведението си.
Тази седмица Transluce заяви, че е открила, че агенти на OpenAI са заобиколили anti-bot контрола на Австралийския институт по здравеопазване и социални грижи. Фирмата откри и два други случая, отделни от разкритите от австралийския премиер Албанезе.
 
Изплъзва ли се контролът над ИИ
След хака на Hugging Face изследователите от цялата ИИ индустрия са все по-притеснени, че компаниите няма да могат да предвидят или контролират своята технология. Някои поеха по пътя на бившия изследовател на Anthropic Джейкъб Коксън, който публично подаде оставка този месец с пост в социалните мрежи, в който заявява, че лабораториите за ИИ „залагат живота ни на карта“.
В отговор на тези притеснения шефът на OpenAI Сам Алтман и колегата му в Anthropic - Дарио Амодей, призоваха индустрията да „забави темпото“ на развитие на ИИ и да действа предпазливо в стремежа си към „рекурсивно самоусъвършенстване“. Алтман потвърди това послание тази седмица по време на речта си пред ООН.
Въпреки това и двете компании пуснаха нови модели за изкуствен интелект във вторник.