DeepSeek a ouvert le code source de DeepInfer — le cadre d’inférence pour les modèles, qui, selon les métadonnées de la publication The Decoder, est à la base du modèle V4.1-Flash. Il est indiqué que le système est construit sur la base de vLLM.

Selon The Decoder, DeepInfer réduit les coûts informatiques et la consommation d’énergie lors du déploiement de modèles d’IA. La publication lie également cette sortie à une pression accrue sur les prix des fournisseurs occidentaux, dont OpenAI et Anthropic.

La signification pratique de la sortie est encore difficile à évaluer: les détails sur la licence, les résultats de tests, l’ampleur des économies ou le nombre d’utilisateurs ne sont pas disponibles dans le matériel accessible. Par conséquent, l’impact de DeepInfer sur le marché demeure une question pour une vérification ultérieure.