Ранее компания Samsung представила первую в отрасли память LPDDR5X-PIM со встроенной логикой, внедрив вычислительные возможности прямо в стандарт низкоэнергетической памяти. На конференции Hot Chips 2026 производитель подробно рассказал о технологии Processing-in-Memory (PIM), с которой специалисты ранее уже сталкивались на примере многослойных стеков HBM. Концепцию PIM корпорация продемонстрировала еще в 2021 году, испытав ее на стеках HBM в ускорителях AMD. Суть подхода заключается в размещении небольших логических элементов рядом с ячейками DRAM, что позволяет выполнять базовые вычисления непосредственно в памяти. Обработка таких задач на локальном уровне помогает устранить процессор как узкое место и существенно ускорить выполнение операций, в частности задачи искусственного интеллекта. По данным разработчиков, в задачах инференса новая разработка превосходит стандартные чипы в 2,28 раза.

Необходимость внедрения такой архитектуры обусловлена экономическими факторами: память типа HBM остается чрезвычайно дорогой. Накануне мероприятия представители Micron предупреждали, что ситуация со спросом на кремниевые пластины HBM продолжает ухудшаться, а Samsung начала свое выступление с констатации очевидного для рынка факта. Память формирует основную долю расходов на компоненты для систем искусственного интеллекта, и эта доля продолжает расти. Если учесть высокие требования к питанию стандартной памяти DDR5 и особенно HBM, то LPDDR5X выглядит оптимальной платформой для интеграции PIM. Компания представила концепцию HBM-PIM в 2023 году, тогда же впервые затронув идею LPDDR5X-PIM. На конференции Hot Chips компания продемонстрировала реальный продукт, прошедший стадию валидации. Кроме того, разработчики уже смотрят в сторону перспективной спецификации LPDDR6X-PIM, рассчитывая получить первоначальный проект стандарта от JEDEC в текущем году.

Интеграция вычислений в архитектуру LPDDR5X-PIM от Samsung

Инженерам удалось интегрировать логику PIM таким образом, что каждый банк памяти получил собственный вычислительный модуль. Это стало шагом вперед по сравнению с архитектурой HBM-PIM, где разработчикам приходилось жертвовать частью банков ради размещения логики. Банк памяти, масштабный регистровый файл и исходный регистровый файл передают данные в параллельные массивы MAC-блоков (умножения с накоплением). После завершения вычислений результат, представленный в целочисленном формате или в формате с плавающей запятой, записывается в векторный регистровый файл.

Разработчики отмечают, что микросхемы могут работать в двух режимах: однобанковом (традиционная DRAM) или многобанковом (PIM). Традиционные контроллеры памяти функционируют в штатном режиме, переключая команды между стандартными операциями чтения и записи либо аналогичными операциями в режиме PIM. Главной сложностью, по словам представителей компании, была организация повторного упорядочивания данных, характерная для обычной DRAM. Для решения этой задачи применяется функция Address Align Mode (AAM). Она сопоставляет адреса DRAM с инструкциями MAC, назначая адреса для VRF и SRF на основе адресов RA и CA, а не регистра инструкций.

Чтобы наглядно показать перемещение данных и выполнение вычислений, специалисты привели пример операции MAC, предполагая, что весовые коэффициенты уже записаны в ячейку, а сама память функционирует в многобанковом режиме PIM. При хранении 512 байт данных активации FP8 они изначально разбиваются на 16 пакетов по 256 бит, которые записываются в каждый из банков и фиксируются в исходном регистровом файле (SRF). Специальная команда PIMX_RD считывает весовые коэффициенты из банка DRAM, подавая их на MAC-блоки одновременно с данными из SRF.

По завершении расчетов выходной вектор каждой операции направляется в векторный регистровый файл (VRF). Команда PIMX_WR переносит обработанные данные обратно в банк DRAM. В компании отмечают, что жесткого соотношения один к одному между операциями чтения и записи не требуется, однако для данного примера такой сценарий удобен. При объеме VRF в 1 килобит в этот буфер можно записать максимум четыре результата вычислений. После того как данные возвращаются в банки памяти, хост-контроллеру остается лишь прочитать их. Для этого система переключается в однобанковый режим традиционной DRAM и выполняет 16 операций чтения, чтобы собрать готовые результаты из всех банков памяти.

Технические характеристики и производительность памяти LPDDR5X-PIM со встроенной логикой

Новая разработка Samsung внешне практически не отличается от стандартной памяти LPDDR5X. Конструктивно используется привычная матрица из 561 шарикового вывода для корпусирования, а также задействуются два 64-битных ранка с модулями объемом 16 ГБ. Главным технологическим преимуществом выступает пропускная способность. Если стандартная память LPDDR5X-9600 обеспечивает пиковый показатель на уровне 76,8 ГБ/с, то архитектура PIM увеличивает его сразу в восемь раз — до 614 ГБ/с. Это достигается за счет миграции вычислительных операций ближе к данным и сокращения их перемещений. Конструкция включает по четыре кристалла на каждый ранк, что в сумме дает восемь кремниевых пластин, а специализированные регистры обеспечивают наглядность потоков данных внутри микросхем.

Предварительные бенчмарки демонстрируют весомый потенциал новой памяти. По оценкам компании, время выполнения моделей сократилось в 2,28 раза, а скорость генерации токенов в секунду (TPS) выросла в 3,01 раза. Во время испытаний инженеры задействовали периферийный ИИ-ускоритель — предположительно, одну из ранних SoC серии Gaia — и запустили языковую модель Llama 3.1 с 8 миллиардами параметров. Вопрос точности вывода, который поднимался участниками презентации, объясняется текущей стадией оптимизации: разработчики настраивают точность алгоритмов, рассчитывая сохранить достигнутый прирост производительности на прежнем уровне.

Вопросы энергопотребления традиционно важны для данного типа памяти, название которого напрямую указывает на низкое энергопотребление. Представители Samsung отмечают, что пиковая нагрузка на систему питания окажется значительно выше из-за импульсного характера работы встроенной логики, однако суммарное энергопотребление не превысит показатели обычной динамической памяти. Это объясняется сокращением числа операций чтения и записи, необходимых для пересылки информации между чипом DRAM и хост-процессором. Как пояснил Карам Хванг из Samsung, существенного роста энергопотребления удается избежать благодаря минимизации перемещений массива данных.

Исторически такие модули применялись преимущественно в потребительской электронике, но появление обслуживаемых модулей SOCAMM2 позволило Nvidia задействовать их в качестве основной памяти для процессоров Vera, а Intel использует аналогичные решения в своем ИИ-ускорителе Crescent Island. Несмотря на то, что даже с PIM-архитектурой показатели пропускной способности не дотягивают до уровня памяти с высокой пропускной способностью (HBM), сфера применения подобных решений чрезвычайно широка. Планы Samsung охватывают серверный, клиентский и мобильный сегменты, где LPDDR5X-PIM способна эффективно ускорять локальный искусственный интеллект на клиентских устройствах и смартфонах, а также находить применение в специализированных ускорителях начального и среднего уровней.

Источник: tomshardware.com