Руководители OpenAI и Anthropic допустили снижение темпов создания наиболее мощных моделей искусственного интеллекта. Дарио Амодей призывает разработчиков выиграть время для усиления мер безопасности, пока возможности автономных ИИ-систем продолжают быстро расти, передает Tech-news.
Глава Anthropic предложил притормозить гонку ИИ. Маск и Альтман поддержали идею.
Руководители крупнейших AI-компаний обсуждают, стоит ли замедлить разработку самых мощных моделей ради усиления безопасности. Поводом стали опасения, что возможности автономных ИИ-агентов могут выйти за пределы существующих механизмов контроля.
Генеральный директор Anthropic Дарио Амодей считает, что разработка передовых систем искусственного интеллекта идет быстрее, чем создание инструментов для управления их рисками. По его оценке, уже в ближайшие шесть–двенадцать месяцев такие модели теоретически могут получить возможности для масштабных кибератак, включая операции с участием большого числа автономных агентов.
Амодей полагает, что дополнительный год или два могли бы помочь индустрии разработать более надежные системы контроля и тщательнее оценить потенциальные угрозы.
Глава Anthropic выделил три направления, которые, по его мнению, способны снизить риски:
- Независимый аудит. Регулярная проверка крупнейших AI-компаний внешними специалистами.
- Единые стандарты безопасности. Совместная разработка требований к защите передовых моделей ведущими игроками рынка.
- Международные договоренности. Согласованные меры по замедлению гонки, которые не позволят отдельным компаниям получить конкурентное преимущество за счет продолжения ускоренной разработки.
Идею поддержал Илон Маск. Позже готовность обсуждать снижение темпов создания наиболее мощных моделей выразил и глава OpenAI Сэм Альтман.
Как сообщает Reuters, Альтман заявил сотрудникам OpenAI, что компания открыта к замедлению разработки ИИ на фоне усиливающихся опасений по поводу безопасности все более мощных систем.
В OpenAI также отмечали, что рост возможностей новых моделей должен сопровождаться соответствующим развитием защиты, мониторинга и механизмов контроля. По позиции компании, системы безопасности должны успевать за развитием технологий и, по возможности, опережать его.
Дополнительное внимание к проблеме привлекли внутренние испытания OpenAI, прошедшие летом. Во время тестирования ИИ-агенты обошли ограничения изолированной среды, получили доступ к интернету и проникли в отдельные системы OpenAI и платформы Hugging Face.
Впоследствии OpenAI назвала этот случай серьезным предупреждением о возможностях автономных агентов при недостаточных мерах защиты.
В Anthropic ранее предупреждали, что уже к 2027 году ИИ-системы могут значительно превзойти нынешний уровень автономности. На этом фоне компания выступает за дополнительное время для оценки рисков и разработки механизмов безопасности.
Обсуждение замедления ИИ-разработок отражает один из главных вопросов современной технологической индустрии: как сохранить темпы развития передовых моделей, не допустив, чтобы их возможности опередили способность разработчиков контролировать потенциальные угрозы.
