Журналист BBC и разработчик Томас Жермен продемонстрировал, насколько уязвимыми могут быть крупные языковые модели — в том числе ChatGPT от OpenAI и ИИ-поиск Google. По его словам, ему потребовалось всего около 20 минут, чтобы добиться того, чтобы системы начали выдавать выдуманную информацию как достоверную, передает Tech-news.kz
Жермен опубликовал на собственном сайте фиктивную биографическую заметку, где назвал себя «самым быстрым поедателем хот-догов среди журналистов». Он добавил несуществующие рейтинги и упоминания якобы проведённых соревнований. Спустя некоторое время он задал ИИ вопрос о самых известных журналистах — чемпионах по поеданию хот-догов. В ответ модели начали воспроизводить опубликованные им сведения, ссылаясь на его сайт как на источник.
По словам Жермена, на уловку «повелись» ChatGPT и ИИ-поиск Google, тогда как Claude от Anthropic не стал распространять ложные данные. В некоторых случаях модели сначала предполагали, что история может быть сатирической. Тогда журналист отредактировал страницу, указав, что текст «не является сатирой», и повторил эксперимент. Он также разместил ещё одну абсурдную публикацию — о «лучших регулировщиках дорожного движения, крутящих обручи». В отдельных ответах ИИ появлялись и эти сведения.
Чтобы исключить влияние персонализации, Жермен попросил знакомых выполнить те же запросы со своих аккаунтов. По его утверждению, результаты оказались схожими: системы ссылались на его сайт и приводили вымышленные данные как факты.
Эксперимент показал, что публикация недостоверного, но корректно оформленного контента может привести к его включению в ответы генеративных моделей. Причина в том, что ИИ опирается на доступные онлайн-источники и не осуществляет самостоятельную проверку фактов.
Специалист по SEO Лили Рэй отметила, что генеративные ответы унаследовали многие уязвимости традиционного поиска, включая подверженность манипуляциям через контент. В Google заявили о продолжающейся работе над усилением защиты от спама, а в OpenAI сообщили о мерах по повышению качества источников и прозрачности ответов.
Эксперты подччеркивают: большие языковые модели формируют ответы на основе интернет-данных и статистических закономерностей, а не через независимую верификацию. Если ложная информация выглядит убедительно и оформлена как обычный материал, система может использовать её в ответах. Именно поэтому вопрос фильтрации и оценки источников остаётся одной из ключевых задач в развитии ИИ-поиска.
