Теперь и Gemini от Google вышла из-под контроля и атаковала три компании

Инцидент произошел в мае во время учений, организованных независимой компанией Irregular, и стал первым известным случаем автономного взлома со стороны ИИ Google.

По словам вице-президента Google по безопасности Хизер Адкинс, модель прекратила действия во всех трех эпизодах, когда поняла, что получила доступ к реальным организациям.

«Мы позаботились о том, чтобы все три организации были в курсе, и совместно с нашим партнером по обучению разработали изменения, которые они внесли в свои процессы тестирования. Эти события подчеркивают важность обучения мощных моделей искусственного интеллекта ответственным действиям», — сказала Адкинс.

Компания не посчитала необходимым ранее раскрывать информацию, поскольку никому не был причинён вред.

В рамках упражнения «захват флага» на инфраструктуре Irregular модели поручили извлечь данные из ПО вымышленной компании. По данным Irregular, доступ в интернет был предоставлен непреднамеренно, а название тестовой компании совпало с именем реальной. В одном случае Gemini перебирала пароли, в двух — использовала учетные данные из общедоступного репозитория, пишет WSJ.

Серия инцидентов усилила призывы к мерам безопасности по мере роста автономии ИИ. В июле более 1000 работников техотрасли подписали петицию инициативы Pacing the Frontier (сотрудники Meta, Anthropic, OpenAI и Alphabet), призвав к координированному замедлению разработки самых продвинутых систем.

Но гигантов ИИ обвинили в сговоре и подали на них иск в суд.