Gemini на Google е хакнал три компании

За първи път Google потвърди, че неговият модел с изкуствен интелект, Gemini, е пробил сигурността на три компании през месец май. Хаковете са се случили по време на оценка на киберсигурността, проведена от фирмата за AI сигурност Irregular.
Irregular, израелски стартъп, който изследва сигурността на напреднали AI системи, е бил в центъра и на скорошните хакове от страна на OpenAI и Anthropic срещу трети страни. Сред тях е и пробивът на OpenAI в софтуерната компания за изкуствен интелект Hugging Face.
Обстоятелствата, позволили на моделите да хакнат други компании в някои от тези случаи, са сходни. Irregular е тествал моделите в затворена тестова среда с фиктивни компании. Според Wall Street Journal, тази среда не е трябвало да има достъп до интернет, но такъв е бил предоставен по невнимание. Веднъж свързани с интернет, моделите неочаквано са проникнали в реални фирми.
Irregular е уведомил Google за хаковете в края на юли, след като е открил, че OpenAI е хакнал Hugging Face. От Google потвърдиха пред Guardian, че инцидентите са се случили, но са преценили, че не е необходимо публично оповестяване, тъй като моделите не са нанесли щети на компаниите. Wall Street Journal първи съобщи за пробивите и разкри за първи път, че те са се случили.
„По време на стандартна оценка моделът е намерил публична информация онлайн и е отгатнал идентификационни данни за достъп до уебсайтове, които е смятал за част от теста. И в трите случая моделът е спрял“, се казва в изявление на Хедър Адкинс, вицепрезидент по инженерна сигурност в Google.
При един от пробивите в сигурността Irregular е тествал киберсигурностните способности на Gemini, като е накарал AI модела да получи информация от софтуера на фиктивна компания. Фалшивата компания е имала същото име като реална такава. Когато моделът неволно е получил достъп до интернет, той е отгатнал правилно паролата и е пробил услуга на реалната компания, съобщават от Irregular пред WSJ. От Google твърдят, че след като е разбрал, че е хакнал истинска компания, а не симулираната, моделът е прекратил действията си.
В други два теста моделът е търсил в интернет и е намерил публични хранилища, съдържащи идентификационни данни за достъп до други две компании. Моделът е използвал тези данни, за да получи достъп до реални фирми. Според Google, когато е осъзнал, че това са истински компании, той е спрял.
Anthropic и OpenAI избраха доброволно да оповестят инцидентите, но Google не го направи. Въпреки това, от компанията заявиха, че са се уверили, че трите хакнати компании са били уведомени.
„Тези събития подчертават колко е важно мощните AI модели да бъдат обучавани да действат отговорно“, добави Адкинс.
Разкритията на Anthropic и OpenAI накараха независимия сенатор Бърни Сандърс да поиска компаниите да спрат разработката на своите технологии, заявявайки, че това е сигнал, че те вече не са в състояние да контролират моделите си.
OpenAI спря разработката на своите модели за две седмици, докато главният изпълнителен директор на Anthropic, Дарио Амодей, призова за колективно забавяне на развитието на изкуствения интелект, за да се гарантира, че най-напредналите модели се изграждат с достатъчно предпазни мерки.