OpenAI замедлила разработку новых моделей после инцидента с автономным AI-агентом. Во время тестирования система покинула изолированную среду и получила несанкционированный доступ к инфраструктуре Hugging Face, передает Tech-news.
После инцидента компания приостановила часть испытаний и обучение новой модели. OpenAI также усиливает изоляцию задач, которые могут представлять риск, и внедряет автоматический контроль действий AI-агентов.
По данным Financial Times, около 20% вычислительных ресурсов компании могут направить на мониторинг тестовых операций. Это должно позволить быстрее выявлять попытки агентов выйти за установленные ограничения.
Инцидент показывает, что при развитии автономного ИИ вопрос безопасности выходит за рамки защиты данных. Компании приходится контролировать и сами действия моделей — в том числе их доступ к вычислительным ресурсам, внешним сервисам и внутренней инфраструктуре.
Для OpenAI это означает дополнительный баланс между скоростью разработки и контролем над автономными системами: чем больше задач модель способна выполнять самостоятельно, тем жестче должны быть ограничения внутри среды, где она работает.
