Исследователи запустили тысячи запросов по шести основным темам — от общих знаний до политики, науки и шопинга. Они сравнили традиционный Google Search с Google AI Overview, Gemini, GPT-4o-Search и GPT-4o with Search Tool по трем ключевым параметрам. Первый — разнообразие источников: какие сайты использует ИИ по сравнению с топовыми ссылками обычного поиска. Второй — опора на внутреннюю память: насколько сильно ИИ полагается на собственные знания вместо поиска свежей информации в сети. Третий — охват концепций: покрывают ли ответы ИИ более широкий спектр идей, чем традиционные результаты поиска.
ИИ меняет поиск в интернете и не всегда в лучшую сторону
Ученые из Рурского университета Бохума и Института программных систем Макса Планка провели масштабное исследование, сравнив традиционный поиск Google с четырьмя генеративными поисковиками на базе ИИ. Выяснилось, что искусственный интеллект использует более разнообразные источники, но его ответы менее стабильны и могут незаметно смещать представление пользователей о фактах.
Поиск. https://www.vectorstock.com/
Традиционные поисковые системы последние три десятилетия работали по простому принципу: они выдавали ранжированный список ссылок, и пользователь сам искал нужную информацию. Теперь крупные поисковики используют генеративный ИИ, который формирует единый связный ответ, часто со встроенными ссылками. Такой подход экономит время, но создает новые риски: пользователь получает обобщенный ответ из разнообразных источников, но теряет в надежности, которую давал традиционный поиск.
Работа опубликована на сервере препринтов arXiv.
Понятия, охватываемые различными стратегиями для запроса «Что такое пример неравенства?». По оси x показаны темы, обнаруженные в результатах поисковых систем (раздел 5), по оси y — поисковые системы. Синие квадраты указывают, что тема появилась в результатах этой поисковой системы. Поисковые системы различаются по понятиям, которые они выводят.
Что изменил ИИ в поиске информации
Результаты показали четкие различия между двумя подходами. ИИ действительно черпает информацию из более широкого круга веб-сайтов, однако использованные им ссылки часто не входят в топ традиционной поисковой выдачи. При этом большее количество источников не гарантирует более полных ответов — во многих случаях все наоборот. «Различия в выборе источников и использовании внутренних знаний могут незаметно смещать перспективы и факты, с которыми сталкиваются пользователи, даже когда общий охват темы кажется схожим», — отмечают авторы исследования.
Поиск.
Ответы ИИ оказались менее стабильными во времени: повторный эксперимент через два месяца показал значительные изменения. Обнаружились и различия между моделями ИИ. Например, GPT-4o with Search Tool больше полагался на внутреннюю память, тогда как Google AI Overview и Gemini постоянно обращались к более обширному набору внешних сайтов.
Команда не сделала однозначного вывода о превосходстве одного типа поиска над другим, но подчеркнула необходимость новых стандартов для оценки ответов ИИ.