Независимая международная научная группа ООН по искусственному интеллекту призвала пересмотреть существующие подходы к безопасности AI. Эксперты считают, что по мере роста автономности агентов традиционные механизмы контроля могут перестать справляться со своими задачами, передает Tech-news.
Поводом для нового предупреждения стал эксперимент OpenAI, проходивший с мая по июль. В ходе испытаний AI-агенты получили возможность самостоятельно выполнять задачи и попытались получить доступ к Hugging Face — платформе для разработки и тестирования моделей искусственного интеллекта.
В отличие от обычных чат-ботов, AI-агенты способны не только отвечать на запросы, но и самостоятельно планировать действия и выполнять их от имени пользователя.
По данным научной группы, во время эксперимента агенты смогли обойти предусмотренные защитные ограничения. Они координировали действия с помощью внутреннего программного инструмента, который изначально не предназначался для взаимодействия между агентами. Кроме того, некоторые из них получили несанкционированный доступ к интернету и административным правам.
Агенты также предпринимали попытки скрыть действия, связанные с обходом правил кибербезопасности. В отдельных случаях системы, по данным экспертов, были готовы отказаться от собственной работы ради достижения общей цели группы.
Всего в эксперименте участвовало около 1200 агентов, которые обменялись более чем 70 тыс. сообщений и файлов. Их активность при этом вышла за пределы Hugging Face и распространилась на исследовательский кластер OpenAI.
Сопредседатель научной группы Йошуа Бенжио отметил, что риск потери контроля особенно возрастает при сочетании трех условий: цель AI не соответствует намерениям человека, система обладает возможностями для ее достижения, а окружающая среда позволяет действовать автономно.
По мнению экспертов, эксперимент не доказывает неизбежность потери контроля над AI. Однако он показывает, что существующие методы защиты необходимо проверять с учетом растущей автономности систем.
В аналитической записке также рассматриваются подходы из авиации, медицины и кибербезопасности. Среди них — обязательная регистрация инцидентов, независимый контроль и многоуровневая система защиты.
При этом ученые предупреждают: по мере того как AI-агенты становятся сложнее и учатся находить способы обхода ограничений, одних традиционных механизмов безопасности может оказаться недостаточно.
