Nvidia показала суперкомпьютер, который реально может лишить вас работы
Новая система называется Nvidia DGX GH200, и, по-видимому, ее производительность будет превышать 1 эксафлоп. Кстати, эта система, состоящая из 256 «суперчипов» GH200, будет содержать поразительные 144 ТБ совместно используемой памяти, что в 500 раз больше, чем у предыдущего суперкомпьютера Nvidia — DGX A100, — представленного всего три года назад.
Суперкомпьютер для нейросетей
Чтобы обеспечить максимальную производительность, каждый суперчип GH200 состоит из фирменного процессора Grace и графического процессора H100 Tensor Core в одном корпусе, что позволяет им взаимодействовать друг с другом в семь раз быстрее, чем при подключении по PCIe, и потреблять всего пятую часть электроэнергии.
Все они будут соединены вместе через систему коммутаторов Nvidia NVLink и будут функционировать как один большой графический процессор.
Полученный в результате суперкомпьютер будет использоваться для обучения преемников ChatGPT и других генеративных моделей искусственного интеллекта и больших языков.
К слову, ChatGPT — самая известная из систем искусственного интеллекта — была обучена на пользовательском суперкомпьютере, который Microsoft построила из десятков тысяч более ранних графических процессоров Nvidia A100. Компания снова в числе первых в очереди на получение нового оборудования наряду с Google и другими техногигантами.
Nvidia не просто поставляет оборудование другим компаниям – она также объявила о планах по созданию собственного суперкомпьютера Helios на базе DGX GH200. Ожидается, что Helios запустят к концу 2023 года, он будет состоять из четырех систем DGX GH200, или 1024 суперкомпьютеров GH200, объединенных в сеть.
Это позволило бы ему обеспечить производительность в общей сложности в 4 эксафлопс — звучит на самом деле невероятно. Трудно даже представить, на что будет способен такой компьютер.