Что произошло
Mamba-3 уменьшает размер состояний в 2× и повышает аппаратную эффективность MIMO‑декодинга, чтобы сократить вычислительные требования при инференсе.
Почему это важно
Если Mamba-3 окажется практичной в реальных задачах, уменьшение размера состояний и повышение аппаратной эффективности MIMO‑декодинга могут снизить требования к вычислениям при инференсе и упростить развёртывание моделей в продуктивных системах.
Проект Mamba-3 был представлен исследователями из Carnegie Mellon и Princeton и описан в материале MarkTechPost от 19 марта 2026 года. Модель позиционируется как новая реализация модели пространств состояний (SSM) с состояниями в 2× меньшего размера и улучшенной аппаратной эффективностью MIMO‑декодинга.
Авторы отмечают, что по мере того как вычисления в момент инференса становятся ключевым фактором производительности больших языковых моделей, архитектуры начинают смещать акцент в сторону эффективности инференса. Традиционные трансформеры остаются доминирующими, но их квадратичная сложность по вычислениям и линейные требования к памяти создают узкие места при развёртывании, что и мотивирует разработку решений вроде Mamba-3, нацеленных на снижение вычислительных затрат при инференсе.