Эксперт по безопасности искусственного интеллекта Anthropic Эван Хьюбингер оценил вероятность того, что развитие ИИ приведет к катастрофическим последствиям для человечества в ближайшие десять лет, примерно в 10%. При этом существующие сегодня модели, по его словам, пока не представляют угрозы такого масштаба, передает Tech-news.
Хьюбингер занимается проблемой согласования целей искусственного интеллекта с человеческими ценностями. По его мнению, основная опасность связана с дальнейшим развитием технологий и появлением значительно более автономных и интеллектуальных систем.
Эксперт подчеркнул, что речь идет именно об оценке потенциального будущего риска, а не о возможностях существующих ИИ-моделей.
В Anthropic пока не знают, как полностью контролировать суперинтеллект
Хьюбингер признал, что сегодня у исследователей нет готового решения проблемы согласования целей потенциального суперинтеллекта с человеческими ценностями.
Его заявление последовало за публикацией бывшего сотрудника Anthropic Джейкоба Коксона, который ранее также работал в OpenAI. Уходя из компании, Коксон выразил обеспокоенность темпами развития ИИ и подходами ведущих разработчиков к безопасности.
По его мнению, будущие системы могут превзойти человеческие способности в ряде областей, получить мощные инструменты для проведения кибератак и значительно расширить возможности автономных действий.
Anthropic фиксирует первые признаки ускорения возможностей ИИ
В августовском отчете по безопасности Anthropic оценила как низкий риск того, что ее модели смогут самостоятельно вмешиваться в работу информационных систем организаций и использовать их в собственных целях.
Низким также был назван риск того, что ИИ сможет автономно проводить исследования и разработки, способные причинить организации катастрофический ущерб.
Однако в компании признали, что уверенность в этих оценках снизилась по сравнению с предыдущими периодами. Исследователи также зафиксировали первые признаки возможного ускорения развития соответствующих возможностей.
Разработчики все чаще говорят о риске потери контроля
Дискуссия о безопасности ИИ усиливается по мере роста возможностей новых моделей и автономных агентов.
В сентябре руководитель разработки передовых моделей OpenAI Якуб Пачоцкий призвал проявлять крайнюю осторожность по мере дальнейшего прогресса технологий. По его словам, могут потребоваться дополнительные меры, чтобы люди сохраняли контроль над искусственным интеллектом.
О потенциальных рисках также неоднократно говорили руководители и исследователи Anthropic, OpenAI и Google DeepMind.
При этом оценки вероятности катастрофических сценариев остаются предметом дискуссии среди специалистов и не являются прогнозом того, что такой сценарий обязательно реализуется.
