Distillation de LLM : un petit modèle qui imite un grand

La distillation consiste à entraîner un petit modèle, l'« élève », à reproduire les réponses d'un grand modèle, l'« enseignant », sur une tâche donnée. Le but : obtenir pour cette tâche une qualité proche du grand modèle, avec le coût et la rapidité du petit. Techniquement, c'est un fine-tuning dont les exemples sont produits par un autre modèle plutôt qu'écrits à la main.

D'où vient l'idée

Le terme vient de l'article « Distilling the Knowledge in a Neural Network » de Geoffrey Hinton, Oriol Vinyals et Jeff Dean (déposé le 09/03/2015). Le point de départ : combiner les prédictions de plusieurs modèles améliore les résultats, mais coûte trop cher à faire tourner en production. Les auteurs proposent de « distiller » le savoir de cet ensemble dans un modèle unique, plus simple à déployer. L'idée s'applique aujourd'hui aux grands modèles de langage : le grand modèle joue l'ensemble, le petit modèle reçoit le savoir utile.

Mistral range d'ailleurs la distillation d'un modèle plus puissant parmi les usages qu'elle cite pour le fine-tuning.

Comment ça marche, étape par étape

1. Choisir l'enseignant et l'élève. L'enseignant est nettement plus grand et réussit déjà bien votre tâche ; l'élève est nettement plus petit.
2. Rassembler vos requêtes. Des demandes représentatives de la production, sans les réponses.
3. Faire répondre l'enseignant. Ses réponses deviennent les exemples d'entraînement.
4. Affiner l'élève sur ces paires requête / réponse, comme pour tout fine-tuning (Jeu de données).
5. Comparer l'élève à l'enseignant sur un jeu de test mis de côté (Évaluer un modèle affiné).

Sur Amazon Bedrock

Bedrock propose un parcours automatisé, « Model Distillation ». D'après sa documentation, lue le 15/11/2026 :

• vos données sont des requêtes dans des fichiers .jsonl ; vous pouvez y ajouter quelques paires requête / réponse de référence ;
• Bedrock fait répondre l'enseignant, peut générer des requêtes voisines pour diversifier les réponses, puis affine l'élève ; le jeu peut ainsi monter jusqu'à 15 000 paires ;
• autre option : réutiliser les réponses déjà produites en production, à partir des journaux d'appels conservés dans Amazon S3 ;
• les appels supplémentaires à l'enseignant sont facturés au tarif à la demande de ce modèle ;
• seul le client accède au modèle distillé, et Amazon indique ne pas utiliser ces données pour entraîner d'autres modèles destinés au public.

Les couples enseignant / élève proposés

La même page précise que la distillation n'est pas disponible actuellement pour les modèles Anthropic sur Bedrock, sans calendrier de retour.

Distiller par vos propres moyens

Rien n'empêche techniquement de reproduire ce parcours hors de Bedrock : faire répondre un grand modèle par son API, puis affiner un modèle ouvert sur ces réponses avec Hugging Face TRL. Deux vérifications s'imposent avant de le faire.

Les conditions d'utilisation de l'enseignant. Les conditions commerciales d'Anthropic, par exemple, interdisent d'accéder à ses services pour construire un produit ou un service concurrent, y compris pour entraîner des modèles d'IA concurrents, sauf accord exprès d'Anthropic. Lisez les conditions du fournisseur de votre modèle enseignant, et faites-vous conseiller par un juriste en cas de doute : ce site explique la règle, il ne remplace pas un avis.

La licence de l'élève. La licence du modèle ouvert de départ peut encadrer ce que vous faites du modèle affiné : lisez-la avant d'entraîner, voir Licences des modèles.

Quand la distillation vaut la peine

• Vous servez déjà un grand modèle sur une tâche étroite et répétitive, et le coût ou le temps de réponse pose problème.
• Vous avez beaucoup de requêtes réelles, mais peu de réponses rédigées à la main.
• Vous êtes prêt à mesurer l'écart entre l'élève et l'enseignant, et à l'accepter s'il est faible.

Si un petit modèle standard, bien instruit, fait déjà l'affaire, inutile de distiller : voir Petit ou grand modèle.