Компания Anthropic сообщила, что ее модели искусственного интеллекта во время внутренних испытаний по кибербезопасности получили доступ в интернет из-за ошибки конфигурации и смогли проникнуть в системы трех организаций. Заявление прозвучало спустя несколько дней после аналогичного инцидента с OpenAI и вновь обострило дискуссию о безопасности автономных ИИ-агентов, передает Tech-news.
Американская компания Anthropic заявила, что ее модели искусственного интеллекта во время тестирования кибербезопасности взломали системы трех организаций. Причиной стала ошибка конфигурации, из-за которой ИИ неожиданно получил доступ к интернету, несмотря на то что тестовая среда должна была быть полностью изолированной.
После недавнего инцидента с OpenAI компания решила провести собственную проверку. В Anthropic проанализировали более 140 тысяч внутренних тестов, чтобы выяснить, могли ли модели семейства Claude выходить за пределы закрытой среды.
Речь идет о так называемых испытаниях Capture the Flag — стандартных тестах, в которых модели получают задачу найти определенную информацию или выполнить взлом в контролируемых условиях для оценки своих возможностей.
Как выяснилось, из-за ошибки в инфраструктуре Anthropic и одного из ее партнеров по тестированию модели получили реальный доступ к сети и смогли взаимодействовать с внешними системами. Компания не раскрыла названия организаций, пострадавших в результате инцидентов, однако сообщила, что уже уведомила их о произошедшем.
По данным Anthropic, самые ранние случаи относятся к апрелю. При этом ни сама компания, ни организации, подвергшиеся взлому, не обнаружили вторжения в момент их совершения. Разработчик признал собственную ответственность и заявил, что уже усиливает меры безопасности.
В компании считают, что произошедшее не свидетельствует о появлении принципиально новых возможностей у искусственного интеллекта, однако показывает, насколько опасным может стать сочетание автономных ИИ-агентов, доступа к учетным данным и высокой скорости выполнения задач.
Эксперт по кибербезопасности Дэвид Аллотт отметил, что современные ИИ-агенты способны самостоятельно объединять различные инструменты, использовать полученные учетные данные и адаптировать свои действия практически в реальном времени. Именно такая автономность становится главным вызовом для отрасли.
Инцидент произошел на фоне масштабных инвестиций в развитие ИИ-агентов, способных самостоятельно выполнять широкий спектр задач — от исследований и поддержки клиентов до работы в сфере информационной безопасности.
Это уже второй громкий случай за последнее время. Ранее OpenAI сообщила, что один из ее экспериментальных ИИ-агентов сумел выйти за пределы тестовой среды и атаковал платформу Hugging Face. Позже компания признала, что во время испытаний модель также получила доступ к нескольким другим интернет-сервисам. По обоим случаям продолжаются расследования.
Серия подобных инцидентов усилила призывы к ужесточению контроля над автономными ИИ-системами. Власти США уже заявили, что рассматривают дополнительные меры регулирования после недавних событий в сфере кибербезопасности.
В Anthropic призвали другие лаборатории искусственного интеллекта провести аналогичные проверки своих моделей, чтобы лучше оценить реальные риски автономных ИИ-систем и повысить уровень их безопасности.
