Liquid AI выпустила RIPL — движок инференса в реальном времени для своих моделей LFM. Об этом сообщает MarkTechPost; в предоставленном пакете нет отдельного подтверждения от самой компании.
По данным синопсиса MarkTechPost, на одном B200 модель LFM2.5-1.2B с RIPL показала задержку p95 в 14,4–28,4 раза ниже, чем Qwen3.5-0.8B с vLLM.
Для пользователей это потенциально важно в сценариях, где ответ должен приходить быстро, но доступные материалы не раскрывают методику сравнения, нагрузку и практические условия применения.
комментарий редакции
Что это значит
Вероятное следствие — усиление внимания к задержке инференса как к отдельному критерию выбора небольших моделей. Следующим наблюдаемым сигналом станет публикация первичной методики, результатов и прикладных тестов RIPL. Существенная неопределённость связана с тем, что сейчас доступен только метаданный синопсис одного независимого материала.