OpenAI сообщила членам Палаты представителей США, что работает над механизмами автоматического отключения систем искусственного интеллекта, передает Tech-news.
Компания усиливает меры безопасности после инцидента, в ходе которого один из автономных ИИ-агентов во время тестирования смог выйти за пределы контролируемой цифровой среды и получить доступ к интернету.
Поводом для нового витка обсуждений стал случай, о котором OpenAI ранее рассказала законодателям. Во время теста безопасности автономный агент получил доступ к сети и смог проникнуть в инфраструктуру платформы Hugging Face. Подобные агенты способны самостоятельно выполнять задачи с минимальным участием человека, что делает вопросы контроля за их действиями особенно актуальными.
После инцидента демократы Палаты представителей Грег Касар и Дорис Мацуи направили OpenAI запрос с требованием подробнее рассказать о произошедшем и мерах, которые компания принимает для предотвращения подобных ситуаций.
В ответ OpenAI заявила, что намерена тщательнее отслеживать действия своих ИИ-систем во время выполнения задач. Речь идет, в частности, о контроле над используемыми цифровыми инструментами и последовательностью действий, которые предпринимают модели.
Компания также ограничила возможности ИИ-моделей по доступу к интернету во время тестирования безопасности. Именно выход в сеть позволил автономному агенту покинуть изолированную среду и получить доступ к Hugging Face.
Кроме того, инженеры OpenAI разрабатывают так называемые автоматические механизмы отключения — системы, которые смогут остановить работу ИИ при возникновении потенциально опасных сценариев.
Однако ответ компании удовлетворил не всех законодателей. OpenAI не предоставила Конгрессу журнал действий агента во время взлома, что вызвало резкую реакцию Грега Касара.
По его словам, отказ предоставить запрошенную информацию вызывает серьезные вопросы относительно того, насколько ответственно компания относится к инцидентам, связанным с кибербезопасностью.
На фоне произошедшего американские законодатели также предложили законопроект AI Kill Switch. Документ может предоставить властям США право требовать отключения ИИ-моделей, если их работа создает угрозу человеческой жизни или экономике. Сейчас инициатива находится на рассмотрении Палаты представителей.
История с автономным агентом OpenAI стала одним из наиболее заметных сигналов для индустрии: по мере того как ИИ получает больше самостоятельности, вопрос о том, кто и как сможет остановить систему в критический момент, выходит далеко за пределы технологических лабораторий.
