Генеративные ИИ-модели, привлекающие внимание руководителей по всему миру своими обещаниями автоматизации и сокращения рабочих мест, имеют существенные ограничения. Ученые Массачусетского технологического института (MIT) предупреждают: несмотря на кажущуюся убедительность ответов, ИИ не обладает глубоким пониманием сложных систем и просто предсказывает вероятные слова в ответах. В таких областях, как логические рассуждения, навигация, химия и игры, ИИ сталкивается с серьезными ограничениями.
Современные языковые модели, такие как GPT-4, создают иллюзию осмысленных ответов, но на самом деле лишь выстраивают слова в наилучшие последовательности по вероятности. Чтобы определить, могут ли ИИ-модели действительно «понимать» окружающий мир, исследователи MIT разработали специальные метрики для оценки их интеллектуальных способностей.
Одной из задач эксперимента была проверка способности ИИ составлять пошаговые инструкции по навигации в Нью-Йорке. Хотя генеративный ИИ и может демонстрировать «неявное» знание окружающего мира, это не равнозначно истинному пониманию. Исследователи создали методы анализа, чтобы объективно оценить, насколько корректно ИИ интерпретирует реальные ситуации.
В центре внимания MIT оказались трансформеры — тип генеративных ИИ-моделей, таких как GPT-4. Эти модели обучаются на больших объемах текста, что позволяет им эффективно подбирать последовательности слов и создавать правдоподобные ответы.
Для глубокого анализа возможностей ИИ были использованы задачи, основанные на детерминированных конечных автоматах (Deterministic Finite Automaton, DFA), охватывающих области логики, навигации, химии и стратегий игр. В частности, исследователи проверили, как ИИ справляется с задачами вождения по улицам Нью-Йорка и игрой в «Отелло», чтобы выявить способность ИИ понимать правила.
Постдок Гарвардского университета Кейон Вафа отметил, что цель эксперимента состояла в проверке, может ли ИИ воспроизвести внутреннюю логику сложных систем: «Нам требовались тестовые ситуации, где мы точно знаем модель мира, чтобы оценить способность ИИ воссоздавать её».
Результаты показали, что трансформеры успешно генерируют правильные маршруты и ходы в игре «Отелло» при четко определенных условиях. Однако, когда в задачи добавлялись усложняющие факторы, такие как объезды в Нью-Йорке, модели начинали предлагать нелогичные пути, создавая маршруты по несуществующим эстакадам.
Исследование MIT продемонстрировало принципиальные ограничения генеративного ИИ, особенно в задачах, требующих гибкого мышления и адаптации к реальным условиям. Несмотря на правдоподобные ответы, текущие ИИ-модели остаются скорее инструментами предсказания, чем полноценными интеллектуальными системами.
