Пользователь X с ником @joshwhiton провёл популярным мультимодальным нейросетям своеобразный зеркальный тест, и четыре из пяти моделей его прошли. Суть оригинального эксперимента заключается в наблюдении за реакцией животных на зеркало. Некоторые учёные считают, что способность распознать своё отражение является одним из основных индикаторов самосознания.

Джош отправлял нейросетям скриншот их собственного пользовательского интерфейса и просил описать изображение. После этого он загружал следующий скриншот с ответом нейросети на этот запрос, тем самым создавая рекурсию. Лучшие результаты показали GPT-4, Claude Sonnet и Claude Opus. Они довольно быстро разобрались что к чему и поняли, что видят буквально самих себя.

CoPilot не справился с тестом, однако есть подозрение, что это результат цензурных ограничений модели. Gemini Pro потребовалось чуть больше итераций, но в итоге он «признал, что я — большая языковая модель на скриншоте».