Le principe du décodage spéculatif est simple. Un petit modèle propose une suite, puis le grand modèle la vérifie en un seul lot. Plus il accepte de tokens, plus on économise de travail.
Le problème de coordination
Les générateurs séquentiels construisent leurs propositions token par token : chaque prédiction éclaire la suivante, mais chaque token ajoute une étape. Les générateurs parallèles proposent plusieurs tokens d'un coup. Ils sont rapides, mais des prédictions plausibles une à une peuvent former une séquence incohérente, et dès qu'un token est rejeté à la vérification, le reste est abandonné.
Ce que change DSpine
DSpine, publié par Tencent, déplace cette coordination dans les couches du réseau. À chaque couche, chaque position transmet à sa voisine les caractéristiques du token prédit : toutes les positions avancent en parallèle pendant que l'information sur les tokens précédents circule dans la profondeur du réseau. Résultat : des séquences acceptées plus longues, et davantage de sortie pour chaque passe de vérification coûteuse.
Dans Lisa
C'est décisif pour l'inférence locale, où lire les poids d'un modèle de 27 milliards de paramètres coûte cher. Nous avons intégré DSpine à Lisa, notre moteur d'inférence pour Apple Silicon, à la place de notre approche séquentielle. Nos tests montrent une accélération de 2,7 à 3,8 fois par rapport au décodage standard, conforme à la plage publiée, et c'est désormais le générateur par défaut des modèles Qwen3.8-27B dans Lisa.
