DeepInfer : ce que DeepSeek a ouvert, et ce qui manque dans la boîte

DeepSeek a publié le 20 octobre 2026 le code de DeepInfer, le moteur qui fait tourner ses modèles sur son API. Licence Apache 2.0, dépôt public, et une liste de fonctionnalités que peu d'équipes publient : noyaux de calcul optimisés, décodage spéculatif, sorties structurées par grammaire, inférence invariante au lot.

Le README dit aussi ce qui n'est pas dans la boîte, et cette liste mérite autant d'attention que le reste. DeepInfer ne supporte qu'un modèle, DeepSeek-V4.1-Flash, et il arrive sans système de cache KV, la pièce qui évite de recalculer le début de chaque conversation. DeepSeek écrit noir sur blanc que ce composant est « nécessaire à un service d'inférence complet » et absent de cette publication.

Ce que contient la publication

Le dépôt livre un moteur d'inférence hors ligne et les briques d'exécution pour servir un modèle à fort débit. Les éléments notables :

• Des noyaux optimisés : FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect
• Du parallélisme sur l'attention et sur les experts du modèle, avec équilibrage de charge
• Le décodage spéculatif, qui produit des jetons brouillons vérifiés ensuite
• Les sorties structurées, contraintes par expression régulière, schéma JSON ou grammaire
• L'échantillonnage déterministe, qui rend deux exécutions identiques à entrée identique

DeepSeek précise l'origine du code : DeepInfer a d'abord été construit sur vLLM, avec des idées reprises de SGLang et TensorRT-LLM. L'équipe vLLM a remercié DeepSeek et annoncé qu'elle reprendrait certaines de ces idées. Ce genre de circulation est la raison d'être de l'open source dans ce domaine.

Le matériel supporté dit quelque chose

DeepInfer tourne sur les GPU Nvidia SM100 et sur les NPU Huawei Ascend 950. Pas sur la génération Hopper, pourtant la plus installée.

Huawei au même niveau que Nvidia dans la documentation d'un moteur chinois de premier plan, cela décrit l'état du marché du calcul en Chine plus clairement qu'un rapport. Les entreprises chinoises construisent une chaîne logicielle qui ne dépend plus des cartes américaines.

Pour vous, l'information utile est ailleurs : vérifiez toujours le matériel supporté avant d'évaluer un moteur open source. Un projet qui ne tourne pas sur les cartes que votre hébergeur loue ne vous sert à rien, quelle que soit sa qualité.

Open source ne veut pas dire prêt à l'emploi

Le cache KV absent est le meilleur exemple à montrer à un dirigeant tenté par l'auto-hébergement.

Quand un modèle traite une conversation, il recalcule le contexte à chaque nouveau message. Le cache KV garde ce calcul en mémoire et le réutilise. Sans lui, votre coût par réponse grimpe et votre latence avec. DeepSeek annonce un taux de réutilisation du cache d'entrée de 96 % sur son infrastructure, ce qui donne la mesure de ce que cette pièce économise.

Il manque aussi la répartition de charge entre réplicas et la séparation des phases de préparation et de génération. Autrement dit : le moteur est là, l'exploitation reste à construire.

Cette situation est la norme, pas l'exception. Un projet publié par une grande équipe sort du contexte d'exploitation de cette équipe, avec ses outils internes retirés. L'erreur consiste à lire « open source » comme « installable en une après-midi ».

Le calcul que personne ne fait avant de signer

Héberger un modèle vous-même remplace une facture à l'usage par une facture fixe, plus du temps d'ingénieur.

Les GPU se louent à l'heure, qu'ils travaillent ou non. Une PME dont l'activité IA se concentre sur les heures ouvrées paie les nuits et les week-ends. À l'inverse, une API ne facture que ce que vous consommez.

Le seuil de bascule dépend de votre volume et de sa régularité. Tant que votre consommation reste irrégulière et sous quelques centaines d'euros par mois, l'API gagne presque toujours. Nous détaillons ce calcul poste par poste dans notre article sur le prix d'un assistant IA interne.

Deux raisons justifient l'auto-hébergement malgré le coût. La confidentialité, quand vos données ne peuvent pas sortir de votre infrastructure pour des motifs contractuels ou réglementaires. Et la stabilité, quand vous avez besoin qu'un modèle ne change jamais sous vos pieds. Ces deux raisons se défendent. Le gain financier, en dessous d'un certain volume, ne se défend pas.

Un détail qui intéresse les développeurs : l'échantillonnage déterministe

DeepInfer propose deux modes qui méritent d'être connus. L'inférence invariante au lot rend le résultat indépendant des autres requêtes traitées en même temps. L'échantillonnage déterministe rend deux appels identiques strictement identiques.

Ces deux options règlent un problème concret : tester une automatisation qui appelle un modèle. Quand la même entrée donne des sorties différentes, vous ne savez pas si une modification de votre scénario a amélioré ou cassé quelque chose.

Ce comportement reste limité aux cartes Nvidia dans cette publication. Si vous construisez des automatisations avec des modèles, posez la question à votre fournisseur : la plupart des API ne garantissent pas cette reproductibilité, ce qui explique une partie des tests qui échouent sans raison apparente.

Ce qu'il faut retenir pour une décision d'entreprise

DeepSeek montre son moteur, pas son exploitation. Le code est réel, les performances annoncées sont crédibles au vu du reste du travail de cette équipe, et le dépôt a dépassé 10 000 étoiles GitHub en quelques jours.

Si quelqu'un vous propose d'héberger un modèle open source pour réduire votre facture d'IA, demandez trois chiffres avant de dire oui : le coût mensuel des machines, le nombre de jours-homme pour la mise en service, et le nom de la personne qui s'en occupe quand ça tombe un vendredi soir. Ces trois réponses décident du projet, bien plus que le choix du moteur.