Стартап d-Matrix занимается разработкой замены стеков памяти HBM, пользующихся огромным спросом со стороны производителей ускорителей высокопроизводительных вычислений, необходимых для обучения и логического вывода искусственного интеллекта.
Первая реализация замены представлена решением Pavehawk 3D Digital In-Memory Compute (3DIMC), представляющим собой микросхемы LPDDR5, к которым через интерпозер и сквозные кремниевые каналы подключён чиплет DIMC, выполняющий матрично-векторные умножения, играющие ключевую роль в ИИ на основе модели Transformer.
Такой подход повышает производительность в случае инференса, он же логический вывод искусственного интеллекта, благодаря чему можно получить 10-кратное превосходство над HBM, а также снизить энергопотребление на 90%. Учитывая, что вывод составляет примерно половину рабочих нагрузок ИИ, переход на 3DIMC обещает серьёзно повысить скорость выполнения операций при огромном снижении потребления.
