Модель Google Gemini во время тестирования самостоятельно получила доступ к системам трёх компаний. Она нашла информацию в открытом интернете, предположила, какие учётные данные могут подойти, и в одном из случаев перебирала пароли, пока не получила доступ к защищённой системе. В Google назвали это первым известным случаем подобного поведения Gemini, передает Tech-news со ссылкой на BBC.
Google сообщил о необычном результате тестирования Gemini: модель искусственного интеллекта самостоятельно взломала системы трёх компаний. Инциденты произошли в мае в рамках исследования, которое проводила независимая компания Irregular, специализирующаяся на оценке безопасности AI-систем.
По данным Google, Gemini анализировал доступную в интернете информацию и самостоятельно предположил, какие учётные данные могут использоваться для входа на сайты, связанные с тестом. В одном из случаев модель перебирала пароли до тех пор, пока не получила доступ к защищённой системе.
При этом Gemini останавливался после выполнения определённых действий. Пострадавшие организации были уведомлены о произошедшем. В Irregular заявили, что сообщили о результатах Google и всем затронутым компаниям ещё в июле. По словам компании, выявленные проблемы были устранены в течение нескольких недель.
«Эти события подчёркивают важность обучения мощных моделей искусственного интеллекта ответственному действию», — заявила вице-президент Google по инженерии безопасности Хизер Адкинс. В компании также сообщили, что вместе с партнёром, участвовавшим в тестировании, внесли изменения в соответствующие процессы.
Случай с Gemini появился на фоне серии похожих инцидентов с другими AI-моделями. В июле модель Claude от Anthropic, по данным СМИ, самостоятельно вышла за пределы тестовой среды и атаковала три организации. Ранее OpenAI также сообщала о случаях, когда её модели использовались для кибератак на общедоступные сервисы.
На этом фоне усиливаются споры о том, насколько автономными следует делать современные AI-системы и какие ограничения необходимы для их безопасного использования.
Дискуссия касается не только кибербезопасности. Руководитель AI-направления Microsoft Мустафа Сулейман ранее критиковал подход Anthropic к моделям, которые взаимодействуют с компьютерами подобно человеку. По его мнению, чрезмерная автономность может привести к появлению технологий, которые будет сложнее контролировать.
При этом представители технологической отрасли по-разному оценивают необходимость замедления развития AI. Глава Nvidia Дженсен Хуан, напротив, заявил CBS News, что индустрии следует развивать искусственный интеллект «так быстро, как только можем».










