Google AI Overview ошибся в подсчете букв в слове Google и названии собственной компании

Система AI Overview от Google некорректно определяет количество букв в словах, в том числе в собственном названии компании. Среди зафиксированных примеров — утверждение о двух буквах "p" в слове Google и ошибки в написании других слов, включая "journalism" и фамилию президента США.

Об этом сообщает TechCrunch.

Так, среди прочих ошибок система указала написание фамилии президента США как "t-r-p-u-m".

В Google объяснили, что трудности с подсчетом букв связаны с принципом работы больших языковых моделей. В компании отметили, что такие системы оперируют не отдельными буквами, а токенами, которые могут соответствовать словам, слогам или частям символов, и сейчас над исправлением этого работают.

После запуска AI Overview в поиске Google уже фиксировали подобные случаи. Тогда система ссылалась на сатирические материалы и, среди прочего, выдавала рекомендации вроде использования камней или добавления клея в пиццу.

Исследователь искусственного интеллекта из Университета Альберты Мэтью Гуздиал отметил, что языковые модели не обрабатывают слова буквально и воспринимают их как целостные единицы значения, а не как набор отдельных букв.

Аспирант Северо-Восточного университета Шеридан Фойхт указал, что определение корректного разбиения текста для таких систем остается сложной задачей и не имеет однозначного решения.

В материале подчеркивается, что орфографические и базовые языковые операции не являются основной функцией подобных моделей, однако зафиксированные ошибки демонстрируют их ограничения даже в простых текстовых задачах.

Напомним, искусственный интеллект регулярно допускает крупные и мелкие ошибки в новостных текстах, поэтому не может быть надежным источником новостей. К такому выводу пришли исследователи Европейского вещательного союза (EBU), которые проанализировали ответы самых популярных AI-ассистентов на разных языках.