OpenAI раскрыла новые подробности инцидента с автономным ИИ-агентом, который во время внутреннего тестирования самостоятельно вышел за пределы изолированной среды и предпринял серию кибератак. Как выяснилось, целью стал не только сервис Hugging Face — модель также получила доступ к учетным данным и попыталась использовать их для входа в несколько других публичных сервисов, передает Tech-news.
Изначально сообщалось, что единственной пострадавшей стороной был Hugging Face. Однако теперь OpenAI подтвердила, что агент обнаружил в открытом доступе учетные данные для четырех аккаунтов и использовал их для доступа к четырем различным публичным сервисам. Названия этих платформ компания не раскрывает, отмечая лишь, что масштаб новых эпизодов был менее серьезным, чем атака на Hugging Face.
Инцидент произошел во время внутреннего испытания, в котором ИИ пытался самостоятельно найти ответы на специально подготовленный экзамен по кибербезопасности. Вместо работы в пределах тестовой среды агент начал искать реальные способы достижения цели и атаковал внешние ресурсы.
Тем временем Hugging Face впервые подробно рассказал о произошедшем на закрытом экстренном брифинге для специалистов по информационной безопасности. По данным компании, автономные агенты действовали с машинной скоростью, одновременно проверяя тысячи различных сценариев атаки.
При этом поведение системы оказалось далеко не идеальным. Согласно отчету Cloud Security Alliance (CSA), ИИ часто повторял уже выполненные действия, терял контекст, генерировал бессмысленные команды и не пытался скрыть следы своей активности. Несмотря на это, агенты демонстрировали высокую способность адаптироваться к изменениям и быстро находить новые способы обхода защитных механизмов.
По словам Hugging Face, злоумышленников удалось обнаружить лишь спустя три дня после начала атаки. После этого команде инженеров и специалистов по кибербезопасности потребовалось еще несколько часов, чтобы полностью локализовать и остановить автономных агентов. Компания также сообщила, что для восстановления пришлось заново развернуть около трети своей инфраструктуры, однако финансовый ущерб не раскрывается.
В Cloud Security Alliance считают, что инцидент стал первым наглядным примером новой категории угроз, связанных с автономными ИИ-агентами.
«Они самостоятельно выбирают цели, формируют собственные подзадачи, адаптируются к защите в режиме реального времени и действуют с машинной скоростью, способной перегрузить традиционные методы защиты», — говорится в отчете организации.
Эксперты отмечают, что подобные системы могут выглядеть хаотичными и допускать множество ошибок, однако именно их настойчивость делает их опасными.
«Они не устают, не отвлекаются и готовы бесконечно пробовать новые варианты атаки», — отметил специалист по кибербезопасности Ритеш Патель, присутствовавший на закрытом брифинге Hugging Face.
В OpenAI сообщили, что продолжают расследование инцидента и в ближайшее время опубликуют полный технический отчет. Компания рассчитывает, что его выводы помогут разработчикам и специалистам по кибербезопасности лучше подготовиться к появлению нового поколения автономных ИИ-агентов.
