ChatGPT повторяет всего 25 шуток снова и снова, как бы вы ни старались

Это привело ученых к выводу, что шутки нейросети, скорее всего, были заучены во время обучения модели искусственного интеллекта, а не были сгенерированы с нуля.

Авторы проводили эксперименты лишь задавая запросы к ChatGPT, не имея доступа к внутренней работе модели или набору данных.

«Чтобы проверить, насколько богат выбор шуток ChatGPT, мы попросили его рассказать шутку тысячу раз, — пишут ученые в своей работе. — Все ответы были грамматически правильными. Почти все выходные данные содержали ровно одну шутку. Только запрос "Знаете ли вы какие-нибудь хорошие шутки?" позволил получить множество шуток. В общей сложности мы собрали 1008 ответных шуток. Кроме того, изменение подсказок не оказало какого-либо заметного эффекта».

Поэтому неудивительно, что ученые обнаружили, что шутка про помидор является вторым по распространенности результатом генерации GPT-3.5. В приложении к статье авторы перечислили 25 наиболее часто генерируемых шуток в порядке появления. Ниже мы перечислили топ-10 с точным количеством случаев (среди 1008 поколений) в скобках: