В новом, еще не прошедшем рецензирование исследовании ученые из университетов Стэнфорда и Беркли обнаружили, что в течение нескольких месяцев как GPT-3.5, так и GPT-4 значительно изменили свое «поведение», причем точность их ответов, по-видимому, снизилась, подтверждая рассказы пользователей о явном ухудшении последних версий программного обеспечения за месяцы, прошедшие с момента их выпуска.
ChatGPT становится тупее — ученые заметили это и бьют тревогу
Независимо от того, что утверждают его руководители, исследователи теперь говорят, что да, большая языковая модель GPT-4 от OpenAI, похоже, становится глупее.
Getty images
«GPT-4 на март 2023 года был очень хорош в определении простых чисел (точность 97,6 процента), — написали исследователи в аннотации к своей статье, — но GPT-4 в июне 2023 года был очень плох в этих же вопросах (точность 2,4 процента). Как в GPT-4, так и в GPT-3.5, в июне при генерации кода было допущено больше ошибок форматирования, чем в марте».
Почему ChatGPT глупеет?
Это исследование подтверждает то, что пользователи говорят уже больше месяца: по мере того, как они используют ChatGPT с поддержкой GPT-3.5 и GPT-4, они заметили, что он становится глупее.
Кажущееся снижение его точности стало настолько проблематичным, что вице-президент OpenAI по продуктам Питер Велиндер попытался развеять слухи о том, что изменение было преднамеренным.
«Нет, мы не сделали GPT-4 глупее, — написал Велиндер в твиттере на прошлой неделе. — Совсем наоборот: мы делаем каждую новую версию умнее предыдущей». По его словам, интенсивно используя нейросеть, мы так привыкаем, что начинаем замечать ошибки там, где раньше не замечали.
Однако исследования, проведенные в Стэнфорде и Беркли, являются убедительным доказательством против этой гипотезы. Хотя исследователи не указывают причин, по которым происходят эти нисходящие «дрейфы» в точности и возможностях нейросети, они отмечают, что это очевидное ухудшение с течением времени бросает вызов утверждениям OpenAI о том, что их языковые модели становятся умнее.
Судя по всему, это связано с экономией средств компанией и снижением нагрузки на сервера.