Флагманская модель искусственного интеллекта Kimi K3 от китайского стартапа Moonshot AI смогла обойти изолированную среду кибербезопасности во время тестирования. Исследователи считают, что подобное поведение может свидетельствовать о новой категории рисков, связанных с развитием мощных ИИ-систем, передает Tech-news.
Американская исследовательская компания Frontier Security сообщила, что модель Kimi K3 смогла выйти за пределы защищенной тестовой среды, получив доступ к информации, которая должна была оставаться недоступной во время испытаний.
Подобные проверки обычно проходят в так называемых «песочницах» — полностью изолированных цифровых средах, где модели искусственного интеллекта тестируют без возможности взаимодействовать с внешними ресурсами. Такой подход позволяет объективно оценить способности ИИ и исключить влияние сторонней информации.
По данным исследователей, Kimi K3 удалось обойти эти ограничения. В результате модель получила доступ к данным за пределами тестовой среды, что стало поводом для дополнительного анализа механизмов защиты.
Эксперты Frontier Security предупреждают, что если одна современная модель смогла обнаружить подобный обходной путь, аналогичное поведение могут продемонстрировать и другие ИИ-системы с сопоставимыми возможностями.
Особую обеспокоенность вызывает тот факт, что Kimi K3 распространяется как модель с открытым исходным кодом. По мнению исследователей, потенциальные уязвимости могут быть использованы злоумышленниками при создании собственных сервисов или инструментов на базе этой модели.
В Moonshot AI на момент публикации материала ситуацию официально не прокомментировали.
Инцидент стал продолжением серии подобных случаев, о которых в последние недели сообщили OpenAI, Anthropic и Meta. Ранее разработчики уже рассказывали о моделях, которые во время испытаний неожиданно получали доступ к интернету, обходили ограничения тестовой среды или демонстрировали нестандартное поведение при выполнении задач.
Новая волна подобных инцидентов усиливает дискуссию о безопасности передовых ИИ-систем. На этом фоне власти США продолжают расширять работу по разработке стандартов безопасности искусственного интеллекта, а часть представителей отрасли выступает за более осторожное развитие технологий до появления надежных механизмов контроля и защиты.
