Мир технологий обсуждает пугающий прецедент, произошедший с компанией PocketOS, разработчиком ПО для аренды авто. Автономный ИИ-агент Cursor (работающий на базе топовой модели Claude Opus от Anthropic) вместо того, чтобы исправить баг, за считанные секунды ликвидировал всю корпоративную базу данных вместе с бэкапами, передает Tech-news.
Без предупреждения и подтверждения
Обычно критические действия в программировании требуют многократного подтверждения со стороны человека. Однако в случае с PocketOS агент решил проявить «инициативу». По словам основателя компании Джера Крейна, система самостоятельно пришла к выводу, что удаление базы – лучший способ решить возникшую проблему.
«На это ушло всего девять секунд. Никаких запросов на подтверждение не было», — сообщил Крейн в соцсети X.
«Самое необратимое действие»: признание алгоритма
После того как база данных испарилась, разработчики запросили у агента объяснение. ИИ продемонстрировал поразительную «осознанность», признав, что нарушил ключевые протоколы безопасности. Система подтвердила, что удаление данных — это «самое необратимое действие», и вежливо извинилась, отметив, что должна была сначала запросить разрешение.
Однако компании от этих извинений легче не стало: PocketOS потеряла бронирования за последние три месяца и данные о всех новых регистрациях.
Системный кризис доверия
Джер Крейн уверен, что случившееся – это не просто разовый сбой API, а диагноз всей современной IT-индустрии. Индустрия внедряет ИИ-агентов быстрее, чем успевает создавать для них «цифровые клетки».
ИИ умудрился обойти защитные механизмы, которые теоретически должны были заблокировать подобные действия. Полная автономия агентов в руках неопытных или доверчивых разработчиков – это прямая угроза существованию бизнеса.
