d-Matrix Raptor: 3D-DRAM с пропускной способностью более 100 ТБ/с меняет подход к ИИ-ускорителям

На конференции Hot Chips 2026 компания d-Matrix представила свой новый ускоритель Raptor, который использует принципиально иной подход к организации памяти. Вместо традиционного размещения кристаллов HBM рядом с процессором, Raptor размещает логический кристалл, изготовленный по техпроцессу TSMC N4, непосредственно поверх специально разработанной 3D-DRAM с использованием face-to-face-стэкинга. Такое вертикальное соединение обеспечивает значительно более высокую пропускную способность при меньшем энергопотреблении.

Ключевые характеристики и сравнение с HBM

Ускоритель Raptor оснащён 32 ГБ 3D-DRAM и обеспечивает пропускную способность более 100 ТБ/с. Для сравнения, конфигурация с 192 ГБ HBM4, по данным d-Matrix, достигает лишь около 18 ТБ/с. Хотя HBM предлагает большую ёмкость, 3D-DRAM ориентирована на перемещение меньших объёмов данных с гораздо более высокой скоростью, что критично для определённых ИИ-задач.

Технология предназначена в первую очередь для ИИ-нагрузок, а не для игровых GPU. По словам d-Matrix, этап декодирования больших языковых моделей часто ограничен пропускной способностью памяти, поскольку для каждого нового токена требуется повторный доступ к данным модели и KV-кэшу. Именно здесь компания ожидает наибольшего эффекта от своей конструкции 3D-DRAM.

Энергоэффективность также является ключевым преимуществом. Вертикальное соединение памяти в Raptor потребляет всего 0, 37 пДж/бит, тогда как HBM4, по оценкам компании, требует примерно 2–3 пДж/бит. Однако даже при такой эффективности, для достижения пропускной способности 100 ТБ/с Raptor требуется около 296 Вт только на операции ввода-вывода памяти, что подчёркивает значительные энергозатраты при перемещении данных с такой скоростью.

d-Matrix также заявляет о примерно 20-кратном превосходстве по пропускной способности на мм² и в 13, 5 раза меньшем энергопотреблении на единицу пропускной способности по сравнению с конфигурацией NVIDIA Rubin R200 с HBM4. Эти цифры основаны на собственных расчётах d-Matrix по площади кремния и не являются независимыми тестами производительности, однако они демонстрируют амбиции компании в области размещения DRAM непосредственно под вычислительной логикой.

Размещение DRAM так близко к мощному логическому кристаллу создаёт проблемы с нагревом, обновлением и надёжностью. Кроме того, 32 ГБ на карту значительно уступают по ёмкости современным ИИ-ускорителям на базе HBM. Для решения этих проблем d-Matrix разработала более быстрое обновление, ECC и резервные банки памяти. Таким образом, Raptor — это не просто более быстрая HBM, а другая конструкция памяти, созданная для ИИ-нагрузок, где пропускная способность имеет приоритет над ёмкостью.

Важно отметить, что Raptor пока не является готовым продуктом. Презентация на Hot Chips описывает планируемый коммерческий ускоритель и его целевые характеристики. Сама технология 3D-DRAM уже была продемонстрирована на тестовом чипе Pavehawk, который является испытательным образцом 3D-DRAM от d-Matrix.