Новый чип IBM приближается по эффективности к мозгу человека
Исследователи компании IBM в Сан-Хосе (Калифорния) разработали компьютерный чип, который может стать ускорителем искусственного интеллекта (ИИ). Он работает быстрее и потребляет гораздо меньше энергии. Массивный процессорный чип NorthPole избавлен от необходимости частого обращения к внешней памяти и выполняет такие задачи, как распознавание образов, быстрее, чем существующие архитектуры.
NorthPole работает с нейронными сетями — многослойными массивами простых вычислительных блоков, запрограммированных для распознавание закономерностей в данных. Нижний слой принимает данные, например, пиксели изображения; каждый последующий слой обнаруживает закономерности все большей сложности и передает информацию следующему слою. На верхнем уровне формируется выходной сигнал, который, например, может выражать вероятность того, что на изображении присутствует кошка, автомобиль или другие объекты.
Бутылочное горлышко
Сегодня многие микросхемы могут эффективно выполнять эти вычисления, но при этом им приходится использовать внешнюю (оперативную) память, всякий раз, когда они вычисляют слой. Такая передача данных между чипами замедляет работу. Это явление известно как «бутылочное горло фон Неймана», по имени математика Джона фон Неймана, который впервые придумал стандартную архитектуру компьютеров, в которой вычислительный блок и блок памяти разделены.
«Бутылочное горло» является одним из наиболее существенных факторов, замедляющих работу компьютерных приложений, в том числе и ИИ. Оно также приводит к неэффективному использованию энергии. Соавтор исследования Дхармендра Модха (Dharmendra Modha), инженер-компьютерщик из IBM, говорит, что, по его оценкам, для моделирования человеческого мозга на такой архитектуре может потребоваться мощность, эквивалентная мощности 12 ядерных реакторов.
NorthPole состоит из 256 вычислительных блоков, или ядер, каждое из которых содержит собственную память. «Вы убираете бутылочное горло фон Неймана внутри ядра», — говорит Модха.
По словам Модхи, ядра соединены между собой сетью, подобной белому веществу мозга, соединяющему участками коры головного мозга человека. Благодаря этому и другим принципам, большинство из которых существовали ранее, но никогда не были объединены в одном чипе, NorthPole опережает существующие машины в стандартных эталонных тестах на распознавание изображений.
Кроме того, он потребляет в пять раз меньше энергии, чем современные чипы ИИ, несмотря на то, что не использует самые современные и миниатюрные производственные процессы. По оценкам авторов, если бы конструкция NorthPole была реализована с использованием самого современного технологического процесса, ее эффективность была бы в 25 раз выше, чем у современных разработок.
На правильной дороге
Но даже 224 мегабайта оперативной памяти NorthPole недостаточно для больших языковых моделей, таких как модели чатбота ChatGPT, которые даже в самом урезанном варианте требуют несколько тысяч мегабайт данных. Кроме того, на чипе могут работать только заранее запрограммированные нейронные сети, которые необходимо предварительно «обучать» на отдельной машине. Однако авторы статьи утверждают, что архитектура NorthPole может быть полезна в приложениях, критичных к скорости работы, например, в беспилотных автомобилях.
NorthPole позволяет максимально приблизить блоки памяти к вычислительным элементам ядра. В других областях ученые разрабатывают более радикальные инновации, используя новые материалы и производственные процессы. Они позволяют блокам памяти самим выполнять вычисления, что в принципе может еще больше повысить скорость и эффективность работы.
Другой чип, описанный в прошлом месяце, выполняет вычисления в памяти с помощью мемристоров — своего рода сопротивлений с памятью. (О перспективах мемристоров мы писали подробно). Еще один подход, разработанный несколькими группами, в том числе и в отдельной лаборатории IBM в Цюрихе, сохраняет информацию путем изменения кристаллической структуры самого элемента схемы (мозг работает примерно таким образом). Пока неясно, удастся ли экономически эффективно масштабировать эти новые подходы.