ChatGPT скопировали всего за 46 тысяч рублей: искусственный интеллект теперь на свободе
Шесть месяцев назад только исследователи и специалисты следили за разработкой больших языковых моделей. Но запуск ChatGPT в конце прошлого года удивил весь мир: машины теперь могут общаться практически так же, как люди. Они способны писать текст и даже программный код, а также разбираться в узких областях науки за считанные секунды, часто на очень высоком уровне.
ChatGPT в каждый дом
OpenAI и остальные крупные компании знают о безумном потенциале этих машин для спама, дезинформации, создания вредоносных программ, целенаправленного преследования и всевозможных других вариантов использования, которые могут сделать мир хуже. Они тратят месяцы работы на то, чтобы вручную ограничить эти возможности перед запуском. Генеральный директор OpenAI Сэм Альтман — один из многих, кто обеспокоен тем, что правительства недостаточно быстро реагируют на изменения.
Но как насчет языковой модели, которую вы можете создать самостоятельно за 600 долларов (46 тысяч рублей)? Команда исследователей из Стэнфорда сделала именно это, и впечатляющая производительность созданного ими ИИ показывает, насколько быстро весь этот сектор и его потрясающие возможности могут быстро выйти из-под контроля.
Исследовательская группа из Стэнфорда начала с языковой модели LLaMA 7B с открытым исходным кодом — самой маленькой и дешевой из нескольких доступных моделей LLaMA. Предварительно обученная на триллионе «токенов», эта небольшая языковая модель обладала определенными возможностями, но она значительно отставала от ChatGPT в большинстве задач.
Тогда ученые показали ChatGPT набор из 175 пар входных и выходных данных, написанных человеком и попросили сгенерировать похожие. В итоге исследователи получили 52 000 пар обучающих данных, потратив на это всего 500 долларов. Затем они использовали эти данные для точной настройки модели LLaMA – этот процесс занял у них около трех часов на восьми 80-гигабайтных компьютерах A100. Это обошлось разработчикам менее чем в 100 долларов США.
Затем они протестировали полученную модель, которую назвали Alpaca, на основе языковой модели ChatGPT в различных областях, включая написание электронной почты, постов для социальных сетей и инструменты для повышения производительности. Альпака выполнил 90 из этих тестов, тогда как GPT справился с 89.