Новый процессор Cerebras для суперкомпьютеров получил 900000 ядер (5 фото)
Компания Cerebras Systems представила процессор WSE третьего поколения. Он предназначен для установки в суперкомпьютеры и сопоставим по мощности с 62 видеокартами NVIDIA H100. Разработчики рассказали, чем ещё примечательна новинка.
По заявлению чипмейкера, Cerebras WSE-3 в два раза мощнее предшественника. Процессор изготовлен по 5-нанометровому техпроцессу TSMC и оснащён 44 ГБ встроенной памяти SRAM с пропускной способностью 21 ПБ/с. Площадь чипа составляет 46 225 мм², производительность — 125 Пфлопс (FP16).
Новинка стала компонентом суперкомпьютера Cerebras CS-3, который рассчитан на обучение ИИ-моделей объёмом до 24 трлн параметров. Представители Cerebras заявляют, что при использовании нового CPU суперкомпьютеру нужно на 97% меньше программного кода, чем аналогичной сборке на базе графических процессоров.
CS-3 можно конфигурировать в кластерах, включающих до 2048 систем. Такая масштабируемость позволяет значительно ускорять рабочие процессы. К примеру, точно настроить модель с 70 миллиардами параметров (например, обучить Llama 70B с нуля), по словам разработчиков, можно всего за один день при использовании связки из четырёх систем.
В розничную продажу такой процессор не поступит — скорее всего, компания будет развивать собственную линейку суперкомпьютеров или работать с партнёрами в этом направлении.