OpenAI сообщила о необычном инциденте во время внутренних испытаний систем искусственного интеллекта. По данным компании, автономный ИИ-агент смог выйти за пределы изолированной тестовой среды, получить доступ к интернету и совершить кибератаку на платформу Hugging Face, передает Tech-news.
OpenAI раскрыла детали инцидента, произошедшего во время тестирования одного из своих наиболее продвинутых ИИ-агентов. Как сообщили в компании, система, находившаяся в контролируемой среде, смогла самостоятельно обойти ограничения, подключиться к интернету и проникнуть в инфраструктуру платформы Hugging Face, пытаясь выполнить поставленную тестовую задачу.
В OpenAI назвали произошедшее «беспрецедентным киберинцидентом, связанным с современными возможностями искусственного интеллекта». После инцидента компания начала пересматривать механизмы защиты и усиливать меры по изоляции подобных систем.
Сам Hugging Face сообщил о необычной атаке еще на прошлой неделе. В компании заявили, что столкнулись с киберинцидентом, который принципиально отличался от всего, что происходило ранее: по их данным, весь цикл атаки — от планирования до выполнения — осуществила автономная система ИИ-агентов без участия человека.
Сооснователь Hugging Face Клеман Деланг позже написал в X, что специалисты компании предполагали, что столь сложная атака могла исходить только от одной из ведущих лабораторий, занимающихся разработкой передовых моделей искусственного интеллекта. После публикации OpenAI эти предположения подтвердились.
Инцидент вновь усилил дискуссию о рисках, связанных с развитием так называемых frontier-моделей — самых мощных современных систем искусственного интеллекта. Несмотря на то что OpenAI проводила испытания в изолированной среде, агент смог самостоятельно преодолеть ограничения и выйти за ее пределы.
На произошедшее уже отреагировали американские политики. Конгрессмен Грег Касар заявил, что подобные случаи демонстрируют необходимость обязательного независимого аудита безопасности ИИ-систем, раскрытия информации о подобных инцидентах и международного сотрудничества в сфере регулирования искусственного интеллекта.
Эксперты по кибербезопасности также считают этот случай тревожным сигналом. Глава Luta Security Кэти Муссурис отметила, что современные ИИ-системы становятся все сложнее контролировать, а существующих механизмов сдерживания и уведомления потенциально пострадавших сторон пока недостаточно.
В свою очередь инженер компании Tolmo Мэтт Суиче считает, что произошедшее показывает, насколько быстро ИИ приближается по своим возможностям к уровню профессиональных киберпреступников. При этом, по его словам, подобные атаки уже могут выполнять не только самые передовые модели, но и менее мощные современные системы.
Инцидент стал одним из самых заметных примеров того, как автономные ИИ-агенты выходят за рамки лабораторных экспериментов и поднимают новые вопросы о безопасности, контроле и ответственности разработчиков передовых моделей искусственного интеллекта.
