Трансформеры уже не те: области, в которых нейросетевая архитектура скоро превзойдет человека
Согласно исследованиям наибольшее применение технология трансформеров нашла в обработке естественного языка (Natural Language Processing, NLP), обучение которому ИИ-архитектура проходит, анализируя огромные объемы текстов. Это позволяет трансформерам выдавать тексты высокой точности, что делает возможным их использование в бухгалтерских расчетах, семантическом поиске, для переводов текстов с разных языков.
Появление данной технологии значительно повысило стандарты качества обработки текстов в сегменте NLP благодаря тому, что трансформеры уже близки к такому уровню понимания тестов, в том числе и их эмоционального окраса, который пока был доступен только для человека.
Основной компонент новой ИИ-архитектуры – механизм внимания. С его помощью трансформер фокусируется на отдельных словах и быстрее понимает общую суть текста. Кроме того, подобный подход к обработке позволяет минимизировать рекуррентность (возврат к одному и тому же фрагменту текста), последовательность вычислений. То есть трансформер не ждет, пока завершится первый шаг обработки, чтобы перейти к следующему, – он анализирует весь объект параллельно, что значительно увеличивает скорость предоставления результата.
Появление трансформеров обеспечило прорыв и сегмента NLP, использование которого было не так масштабно, как сфера компьютерного зрения. Сейчас же, когда инновационная ИИ-архитектура может писать стихи и программные коды, новостные статьи и финансовые отчеты, сферы его применения не ограничатся только IT-отраслью.
Использовать трансформеры можно будет при изучении иностранных языков, в банковском сегменте, при обеспечении безопасности и телекоммуникаций, а также в любом бизнесе с высоким трафиком клиентских обращений – трансформер сможет обрабатывать поступающие заявки для подготовки ответов.
Автор: Роман Милованов, руководитель направления разработки чат-ботов и голосовых роботов компании САТЕЛ