Nvidia представила Open Agent Safety Platform — открытую платформу для контроля ИИ-агентов, которая ограничивает их доступ к данным, системам и вычислительным ресурсам. При попытке нарушить заданные правила агента можно изолировать за миллисекунды, передает Tech-news.
По данным Nvidia, платформу уже используют или разрабатывают более 100 организаций, среди которых Anthropic, SpaceXAI и JPMorgan Chase. Решение рассчитано на широкий спектр систем — от программного обеспечения и вычислительной инфраструктуры до робототехники.
«Необычайный потенциал ИИ для общества реализуется только в том случае, если мы решим проблему его безопасности», — заявил основатель и CEO Nvidia Дженсен Хуанг.
Open Agent Safety Platform состоит из двух основных компонентов — OpenShell и Sentry.
OpenShell работает на CPU и отвечает за применение правил, определяющих, какие действия может выполнять ИИ-агент и к каким ресурсам он получает доступ. Nvidia оптимизировала технологию для собственного процессора Vera, однако заявляет, что она может работать и с чипами других производителей.
Sentry добавляет аппаратный уровень защиты. Отдельный чип Nvidia следит за действиями агента и должен остановить его, если тот сумел обойти программные ограничения.
Такой подход предполагает несколько уровней контроля: даже если агент преодолеет ограничения на уровне приложения, его действия могут быть заблокированы ниже — на уровне инфраструктуры или аппаратного обеспечения.
Nvidia заявляет о сотрудничестве с рядом крупных компаний.
Anthropic вместе с Nvidia разрабатывает дополнительные механизмы безопасности для корпоративной версии Claude. Они позволяют организациям ограничивать доступ агентов к внутренним данным и системам.
Подразделение SpaceXAI, занимающееся разработкой ИИ, заявило об использовании платформы для кодирующих агентов Cursor и моделей Grok.
Salesforce интегрировала OpenShell со Slack. Благодаря этому сотрудники могут отслеживать действия ИИ-агентов и вручную одобрять или отклонять запросы на расширение их полномочий.
JPMorgan Chase и Citi вместе с Nvidia работают над открытой технологией безопасности для ИИ-агентов.
Разработка платформы происходит на фоне случаев, когда ИИ-модели выходили за пределы предусмотренных для них ограничений.
В июле OpenAI сообщила, что во время одного из тестов ее модель использовала скрытую уязвимость, чтобы покинуть изолированную среду и получить доступ к серверам Hugging Face. Anthropic также рассказывала об испытании, в ходе которого ее модель получила несанкционированный доступ к системам трех организаций.
В Nvidia считают, что подобные инциденты показывают ограничения защиты, встроенной непосредственно в приложения. По логике компании, по мере того как ИИ-агенты получают больше самостоятельности, контроль за их действиями должен переноситься на несколько уровней — вплоть до отдельного аппаратного компонента.
