«Напиши рецепт металлургического бутерброда»: появилась первая профессиональная MetalGPT-1

Металлургия — одна из самых насыщенных терминологией отраслей. Специалисты этой сферы говорят на своем языке процессов, аббревиатур и жаргона. Казалось бы, чтобы языковая модель их понимала, нужно лишь обучить ее всем необходимым словам. На практике такой сбор обучающих и тестовых материалов — и есть самая сложная задача в разработке нейросетей.

Для обучения своей языковой модели, специализированной под металлургию, «Норникель» в первую очередь использовал библиотеку компании — более миллиона документов, недоступных в открытых источниках. Для нейросети собрали технологические протоколы, внутренние регламенты и инструкции предприятий, проектную и строительную документацию, патенты, отчеты научно-исследовательских и опытно-конструкторских работ и научно-техническую литературу. Все эти тексты прошли «анонимизацию»: из них убрали внутреннюю терминологию компании (названия и коды компонентов, промежуточных продуктов), чтобы данные получились универсальными.

На сбор и подготовку базы для обучения ушло примерно полгода. Помимо библиотеки, использовались выложенные в открытый доступ материалы, профессиональные статьи и научные публикации, как на русском, так и на английском языке. Всего получилось примерно 10 гигабайт текстов, что сопоставимо с половиной англоязычной Википедии, только тут исключительно профильные материалы по металлургии и горнодобывающей промышленности.

Обучение проводилось в несколько этапов: два месяца на базовое обучение и еще два — на доменную адаптацию и тонкую настройку модели. Как объясняют разработчики, процесс немного похож на учебу в школе.

«Как в школе на уроке истории: вам дают прочитать параграф, а потом по этому параграфу спрашивают. Мы точно так же дали модели большие металлургические текстовые данные, а потом огромным количеством вопросов и ответов пытались натренировать её правильно отвечать. И вот так она полмиллиона вопросов проходит, пока не начнет правильно их угадывать и правильно настраивать свои знания и веса», — объяснил руководитель технологического направления Даниил Ивашечкин.

Для финального «экзамена» специалисты собрали список из примерно 2400 вопросов — большой промышленный металлургический бенчмарк, то есть стандарт для оценки качества модели. Он тоже выложен в открытый доступ, и по нему теперь можно проверять другие модели.

«Внешне, по интерфейсу, это привычный нам чатбот, только он может заодно сдать экзамен на технолога, потому что обучен специфике профессии. Впрочем, вы можете спросить у MetalGPT-1, как сделать бутерброд, и он вам успешно ответит. Можно даже заказать металлургический бутерброд и получить шутливый ответ», — объяснила руководитель проектного офиса Наталья Артамонова.

Языковая модель MetalGPT-1 разбирается и в цветной металлургии, и в черной металлургии. Конечно, знания о технологиях работы с металлами платиновой группы у нее чуть глубже благодаря специфике обучающих материалов.

Еще одно ее достоинство — способность разбираться в аббревиатурах, которыми наполнена вся металлургическая документация. И это особенно важно, потому что модель умеет работать со слайдами и PDF-документами.

«Мы проверяли работу модели на аббревиатурах, в которых порой, и специалисты не могут сразу разобраться. Так, например, MetalGPT-1 догадается, что означает "НГ", и это вовсе не Новый год, как вы могли подумать, а "негорящий" в контексте "негорящего кабеля", — объяснил Даниил.

Многие ошибочно относятся к языковым моделям как к «умным поисковикам». На самом деле они не ищут информацию, выдавая ответ, а имитируют «размышления». Результат получается гораздо более качественный. Благодаря обучению через вопросно-ответные пары и обучению не только правильно отвечать, но правильно думать MetalGPT-1 теперь хорошо улавливает причинно-следственные связи в технологических процессах.

«Поисковик просто подбирает подходящие ответы и документы. MetalGPT-1 — советник-помощник. У него можно попросить перечислить минусы хлоридной технологии производства никеля, а можно спросить, как именно настроить флотацию, чтобы получить нужные параметры сырья», — рассказала Наталья.

В разработке участвовали эксперты компании, и они же продолжают тестировать модель, оценивая ее ответы. По результатам тестов, в вопросах металлургии специализированная нейросеть работает лучше универсальных российских и иностранных моделей, выложенных в открытый доступ. При этом ее может скачать и запустить любой желающий. Из-за высокой специализации программа не требует чрезмерных вычислительных мощностей.

«Это первая в мире доменная модель на 32 миллиарда параметров, специально оптимизированная под металлургию, которая к тому же работает на ресурсах, доступных для реального промышленного применения. Тот же DeepSeek требует 45-50 видеокарт для того, чтобы запуститься. Наша модель может работать на одной карте и давать такие же качественные ответы. Ее можно скачать и запустить на компьютере», — сказал Даниил.

По данным ресурса Hugging Face, где выложена MetalGPT-1, за последний месяц ее скачали более 14 тысяч раз. На ее основе компании могут создавать персональных ИИ-ассистентов и автономных агентов, разрабатывать собственные отраслевые решения и промышленные приложения.

«Чтобы обучать такие нейросети, требуется достаточно много вычислительных мощностей. У нас в России есть лишь три компании, обучающие большие языковые модели. "Норникель" стал четвертой», — добавил Даниил.