Компания d-Matrix демонстрирует свой новый 3D-DRAM ускоритель Raptor, предназначенный для генеративного вывода, на конференции Hot Chips 2026. Одновременно с этим стало известно о сетевых разработках компании в рамках проекта сетевой карты The New d-Matrix JetStream 400G Ethernet Card for Data Center Scale AI Inference. Рассмотрим подробнее актуальные технологические решения разработчика.

Веса моделей продолжают увеличиваться, а кэш ключей-значений (KV cache) масштабируется пропорционально длине контекста, умноженной на размер батча. Так, обслуживание 64 пользователей при контексте в 1 миллион токенов может потребовать примерно 935 ГБ памяти под KV cache. Сочетание весов и кэша создает проблему, которая затрагивает как емкость, так и пропускную способность, причем требования к обоим параметрам постоянно растут.

Ограничения существующих технологий памяти

SRAM отвечает требованиям по пропускной способности, но лишь в очень малых масштабах. Пара ускорителей Corsair на базе SRAM обеспечивает скорость около 300 ТБ/с при задержке порядка 1 нс, однако вмещает всего около 4 ГБ. Ячейка 6T SRAM примерно в 10 раз крупнее ячейки DRAM, а токи утечки достигают десятков ватт в масштабах гигабайта. Это делает SRAM пригодной для черновой модели при спекулятивном декодировании, но не для хранения весов передовых моделей. Подобную схему, например, NVIDIA задействует в решениях с использованием Groq.

HBM решает проблему емкости, но сталкивается с трудностями в отношении пропускной способности. Скорость контактов и ширина ввода-вывода на один базовый кристалл растут медленно, а количество стеков ограничено доступной площадью корпуса — примерно 8–16 стеков на упаковку. По оценкам d-Matrix, практический предел пропускной способности для корпусов HBM4, таких как NVIDIA Vera Rubin и AMD Instinct MI455, составляет около 20 ТБ/с.

Столь высокая пропускная способность требует значительных затрат энергии. При показателе 2.4 пДж/бит передача 100 ТБ/с через HBM расходует примерно 1.92 кВт без учета трафика фабрики. Современным корпусам не хватает ни посадочной площади, ни энергетического бюджета, чтобы достичь пропускной способности уровня SRAM с помощью HBM.

Преимущества и вызовы 3D-DRAM архитектуры

Ответом для d-Matrix стало размещение вычислительных элементов непосредственно поверх кристаллов DRAM. Такое вертикальное объединение создает тепловую проблему, поскольку сотни ватт тепла должны отводиться через сквозные кремниевые выводы (TSV) в чувствительном к температуре стеке DRAM, а также проблему распределения питания из-за падения напряжения (IR drop). По заявлениям d-Matrix, стек логики поверх памяти конфигурации 1-Hi при тепловыделении не более 0.5 Вт/мм² поддается жидкостному охлаждению, позволяя удерживать температуру DRAM ниже 100 °C.

На энергетической шкале 3D DRAM занимает промежуточное положение между крайними вариантами. Встроенная память SRAM обходится примерно в 50 фДж, в то время как системы 2.5D HBM4 требуют от 2.5 до 5 пДж с учетом энергопотребления на уровне чипа. Вертикальный интерфейс 3D ввода-вывода обеспечивает показатель около 0.3–0.4 пДж, что примерно в 10 раз ниже, чем у HBM, благодаря использованию бесфийного тракта миллиметрового диапазона вместо сантиметрового маршрута через интерпозер. Меньшее количество стекируемых слоев по сравнению с HBM также означает больший размер кристалла и лучший выход годной продукции.

Особенности рабочих нагрузок LLM и масштабирование системы

d-Matrix соотносит этот технологический подход с поведением рабочих нагрузок вывода больших языковых моделей. Этап предварительного заполнения (prefill) обрабатывает множество токенов промпта параллельно и ограничен производительностью вычислений, тогда как этап декодирования (decode) генерирует по одному токену за раз и обычно упирается в пропускную способность памяти. Механизм внимания (attention) может смещаться в сторону вычислительных ограничений при высоком GQA и спекулятивном декодировании, в то время как разрешенные экспертные модели (MoE) остаются ограниченными памятью даже при скромных размерах батчей.

Декодирование представляет собой фазу, требующую огромной пропускной способности. Как показывают системы на базе NVIDIA GB10 или AMD Strix Halo, пропускная способность памяти остается главной сложностью для подобных архитектур. Поскольку декодирование доминирует в реальном времени выполнения, именно ограниченная пропускная способность памяти оказывает наибольшее влияние на общую производительность.

В конфигурации по 32 ГБ на карту с 4-битными весами и 8-битным кэшем KV решение d-Matrix рассчитано на размещение в пределах одной стойки. Масштабируемая система из 72 карт способна обслуживать передовую модель уровня Kimi K3 при контексте в 1 миллион токенов. Дезагрегация и объединение нескольких стоек выходят за рамки одной стойки Raptor. Проектирование системы вокруг такой памяти представляет собой задачу совместной оптимизации подсистемы памяти, фабрики перемещения данных и маппинга рабочих нагрузок. В дальнейшем d-Matrix демонстрирует топологию с использованием полносвязанного пакета (full mesh package) и рассматривает свой протокол связи.

Конкретная реализация от d-Matrix получила название Raptor. Логический кристалл, созданный по техпроцессу TSMC N4, располагается поверх матрицы 3D-DRAM с использованием 36-микронного стекирования «лицом к лицу» (face-to-face) — метода, который в компании называют проверенным, недорогим, крупносерийным и обеспечивающим высокий выход годной продукции. Превращение этих кристаллов в работающее устройство ставит перед инженерами комплекс задач по интеграции, среди которых d-Matrix выделяет четыре ключевых направления. При этом указанные проблемы тесно взаимосвязаны: разработчики подробно разбирают трио трудностей, охватывающих маппинг банков памяти, энергопотребление интерфейсов ввода-вывода (I/O) и тепловую надежность, где решение любой отдельной проблемы неизбежно сужает пространство для маневра в двух других.

Каждому тензорному движку требуется блок данных (flit) размером 128 байт за один доступ. Учитывая, что при колоночном доступе из банков по 32 байта доставляется 32 байта данных, для нормальной работы требуется 4 банка на канал. Однако кремниевый кристалл d-Matrix располагает 840 банками (768 рабочими и 72 резервными), которые распределены по 256 каналам, что дает всего по 3 банка на канал. Полученный объем данных не делится на доступные ресурсы равномерно. При наличии трех банков на канал единичный доступ возвращает 96 байт, поэтому для формирования 128-байтового флита требуются два обращения, которые суммарно считывают 192 байта. В результате теряется примерно 33 процента пропускной способности при показателе около 33 ТБ/с. Применение колоночного шахматного порядка (column staggering) могло бы упаковывать флиты, однако для этого необходим буфер сдвига на 192 байта, что существенно усложняет тайминги и верификацию.

Метод потоковой блокировки (stream blocking) позволяет устранить эти потери. Специалисты d-Matrix распределяют один частичный 32-байтовый доступ сразу на три флита: четыре обращения по 96 байт питают три флита по 128 байт, обеспечивая полное соответствие входящих 384 байт исходящим 384 байтам. Избыточное чтение (overfetch) снижается до нуля, каждое обращение к столбцам задействуется по назначению, а схема сдвиговых регистров становится не нужна. Перемещение данных со скоростью 100 ТБ/с при энергопотреблении 0,37 пДж на бит приводит к затратам на уровне 296 Вт исключительно на подсистему ввода-вывода, в то время как традиционное инвертирование шины данных (DBI) способно сэкономить до 20 процентов энергии.

Технология HBM успешно использует DBI благодаря многотактовым пакетам (bursts), которые позволяют физическому уровню (PHY) видеть весь пакет целиком. Однако однотактовый 256-битный 3D-DRAM интерфейс d-Matrix не имеет пакетной передачи и дополнительных выводов бокового канала (sideband pin) для сигнализации о выборе инверсии. Технология потокового переворачивания (stream flipping) обеспечивает те самые 20 процентов экономии без использования дополнительных выводов. Каждый флит сравнивается с предыдущим и при необходимости инвертируется, снижая количество переключений практически до нуля с помощью всего одного метаданного бита на флит, который передается вместе с кодом коррекции ошибок ECC. Накладные расходы составляют около 0,8 процента без каких-либо изменений на физическом уровне.

Проблема тепловыделения становится третьим серьезным вызовом при температуре перехода (junction temperature) в 105 градусов Цельсия. Уровень брака имеет критическое значение: при 840 банках даже однопроцентный коэффициент сбоев угрожает целым каналам, а утилизация уже соединенных кристаллов экономически нецелесообразна. Отключение неисправного банка сужает соответствующий канал, причем даже один слабый канал способен замедлить всю секцию, а повышенные температуры провоцируют рост числа мягких ошибок (soft errors). Время хранения заряда (retention) падает с 32 мс при 85 градусах до 4 мс при 105 градусах Цельсия, требуя восьмикратного увеличения частоты регенерации памяти, с чем должны справляться механизмы ECC и очистки памяти (scrub).

Для борьбы со всеми этими факторами d-Matrix внедряет перемежение битов ECC и DBI в последние столбцы каждого подмассива (subarray), объединяя стандартный код коррекции ошибок с кодом Рида-Соломона. Сокращение числа считываемых строк в 16–32 раза позволяет компенсировать восьмикратно возросшую частоту регенерации с издержками всего около 1,37 процента, удерживая пропускную способность вблизи отметки 100 ТБ/с при потерях менее 1,4 процента. Цепочки банков (bank chaining) поддерживают симметричность каналов при выходе банков из строя. Два уровня физических мультиплексоров позволяют первому уровню пропускать первую неисправность, а второму — вторую, благодаря чему 72 резервных банка кристаллического чиплета компенсируют дефекты в любой точке кремния. Резервы заполняют пробелы, каналы остаются однородными, а затраты на маршрутизацию оказываются минимальными.

В результате сравнения кремниевой площади с памятью HBM4 и ускорителем NVIDIA Rubin R200 чип от d-Matrix демонстрирует показатель около 32,6 ГБ/с на квадратный миллиметр по сравнению примерно с 1,5 ГБ/с у решений на базе HBM, что превосходит последние по пропускной способности на квадратный миллиметр примерно в 20 раз. Энергоэффективность составляет 2,96 мВт на 1 ГБ/с против 40 мВт, обеспечивая 13,5-кратное улучшение. Ускоритель Raptor выдает около 1000 токенов в секунду на одного пользователя, обслуживая языковую модель с числом параметров около 3 триллионов при длине контекста в 1 миллион токенов. Концепция разработчиков заключается в том, что умеренный объем памяти на одну карту в сочетании с экстремально высокой пропускной способностью приносит победу в задачах инференса с низкой задержкой.

Подобное решение выглядит весьма перспективным, если заявленные характеристики подтвердятся на практике, хотя хотелось бы услышать больше подробностей о возможных недостатках. Подводя итог, можно сказать, что архитектура Raptor представляет собой серьезную ставку на объединение пропускной способности и емкости памяти в рамках единого корпуса для задач инференса.

Сравнения, приведенные разработчиками d-Matrix с памятью HBM4 и чипами Rubin R200, указывают на реальное преимущество в плане плотности компоновки и энергоэффективности в расчете на гигабайт в секунду. Если технология 3D DRAM действительно способна ликвидировать разрыв в пропускной способности памяти, это кардинально изменит подход производителей ускорителей к балансу между емкостью и пропускной способностью в системах искусственного интеллекта.

Когда на рынке появляется разработка, кажущаяся логичным продолжением существующих архитектур, закономерно возникает вопрос о том, почему ее до сих пор не внедряют повсеместно. Логично предполагать, что в таких компаниях, как NVIDIA, профильные специалисты наверняка рассматривали сценарии вертикальной компоновки памяти поверх логических кристаллов. Тем не менее данный проект вызывает неподдельный интерес, и остается надеяться на скорый запуск таких систем в реальных условиях.

Источник: servethehome.com