Fine-tuning d'un LLM : le guide de mise en place
Affiner un modèle de langage sur vos données : quand le faire, comment, avec quels outils, et ce qui peut le remplacer.
Le fine-tuning (ou « ajustement fin ») consiste à poursuivre l'entraînement d'un grand modèle de langage (LLM, pour large language model) déjà entraîné, avec vos propres exemples, pour qu'il reproduise un format, un ton ou une tâche. Ce site s'adresse à ceux qui doivent décider s'il faut le faire, puis le mettre en œuvre : développeurs, responsables informatiques, dirigeants techniques de PME. La définition simple est dans le lexique de Cercle IA ; la question « RAG ou fine-tuning ? » est tranchée sur Cercle IA Tech · RAG. Ici, on entre dans le concret.
Ce qui a changé en 2026
Le paysage du fine-tuning « clés en main » s'est resserré. À la lecture des documentations le 15/11/2026 :
| Voie | Ce que dit la documentation officielle |
|---|---|
| API Claude (Anthropic) | pas de fine-tuning pour l'instant ; contacter Anthropic si le sujet vous intéresse |
| API Mistral | fonction marquée « Deprecated » : dépréciée et plus activement prise en charge |
| Google Vertex AI | réglage supervisé proposé sur six modèles Gemini |
| Amazon Bedrock | fine-tuning proposé sur une liste de modèles Amazon, Meta et un modèle Claude (Claude 3 Haiku) |
| Modèles à poids ouverts | entraînement possible chez vous, avec les bibliothèques de Hugging Face |
Le détail, fournisseur par fournisseur, est sur Où faire du fine-tuning.
Par où commencer
- Vérifier que le fine-tuning est la bonne réponse. Mistral recommande de commencer par le travail sur les consignes (le prompt), plus rapide et moins gourmand ; Google cite, parmi les situations qui justifient un réglage, des résultats incohérents avec les seules consignes. Voir Quand faire du fine-tuning.
- Choisir la voie : service géré (Gemini sur Vertex AI, Claude via Amazon Bedrock, Mistral) ou modèle ouvert entraîné par vos soins (Hugging Face TRL).
- Comprendre LoRA. La plupart des affinages actuels n'entraînent qu'une petite partie des paramètres. Hugging Face présente PEFT comme une bibliothèque qui n'entraîne qu'un petit nombre de paramètres supplémentaires, avec des performances comparables à un affinage complet. Voir LoRA et QLoRA.
- Préparer les exemples : format JSONL (un exemple JSON par ligne), volume indiqué par chaque éditeur, séparation entraînement / validation / test. Voir Jeu de données.
- Mesurer avant et après : Évaluer un modèle affiné.
- Chiffrer : Coût d'un fine-tuning.
Les sujets voisins
- La distillation : entraîner un petit modèle à imiter un grand.
- La DPO : affiner un modèle à partir de paires « réponse préférée / réponse rejetée ».
Un mot sur les données personnelles : un modèle peut mémoriser ce qu'on lui apprend, et la CNIL indique qu'il peut alors relever du RGPD ; les précautions de préparation sont sur Jeu de données.
Avant d'entraîner quoi que ce soit
Pour qu'un assistant réponde à partir des documents d'une entreprise, la voie habituelle n'est pas le fine-tuning mais la recherche dans ces documents au moment de la question (RAG, génération augmentée par récupération). Ce site est édité par IArche, qui édite aussi ALMA, la plateforme IA pour PME : ALMA a fait ce choix et décrit une « approche RAG » qui « s'appuie sur vos données pour produire des réponses contextualisées ». Le fine-tuning garde sa place pour ce que le RAG ne règle pas : un format, un style, une tâche répétitive.
Toutes les pages
Guides
- Coût d'un fine-tuning de LLM : les postes et les prix
Ce que coûte un fine-tuning : entraînement, stockage, usage, location de carte graphique, temps humain. Prix officiels relevés le 15/11/2026.
- Distillation de LLM : un petit modèle qui imite un grand
La distillation entraîne un petit modèle sur les réponses d'un grand. Origine, parcours sur Amazon Bedrock, modèles concernés, conditions d'usage.
- DPO : affiner un modèle avec des paires de préférences
La DPO apprend au modèle à préférer une réponse plutôt qu'une autre, sans modèle de récompense. Principe, format des paires, code TRL et réglages.
- Évaluer un modèle fine-tuné : méthode et métriques
Comment savoir si votre modèle affiné fait mieux que le modèle de base : jeu de test, critères mesurables, notation automatique ou par un LLM, oubli.
- Fine-tuning d'un modèle open source avec Hugging Face TRL
Affiner un LLM à poids ouverts avec SFTTrainer de TRL : formats de données, code minimal, LoRA via PEFT, réglages par défaut et pièges courants.
- Fine-tuning de Gemini sur Vertex AI : le mode d'emploi
Réglage supervisé de Gemini sur Vertex AI : modèles et régions, format JSONL, 100 exemples pour commencer, hyperparamètres, code Python et facturation.
- LoRA et QLoRA expliqués simplement, avec le code PEFT
LoRA n'entraîne que de petites matrices ajoutées au modèle ; QLoRA fait de même sur un modèle compressé en 4 bits. Principe, chiffres des articles et code.
- Préparer un jeu de données de fine-tuning en JSONL
Format JSONL, nombre d'exemples indiqué par Google, Amazon et Mistral, découpage entraînement / validation / test, nettoyage : la préparation pas à pas.
- Quand faire du fine-tuning ? Ce qu'en disent les éditeurs
Quand Mistral, Google et Anthropic jugent le fine-tuning utile, quand il ne l'est pas, et une grille en cinq questions avant de vous lancer.
Comparatifs
- Où faire du fine-tuning d'un LLM en novembre 2026
Quels fournisseurs proposent encore le fine-tuning, sur quels modèles et dans quelles régions : Vertex AI, Bedrock, Mistral, Anthropic, modèles ouverts.
Fiches
- Fine-tuning de Claude : ce que propose Anthropic, et Bedrock
Peut-on affiner Claude ? L'API d'Anthropic ne le propose pas ; Amazon Bedrock le permet sur Claude 3 Haiku seulement. Format, limites, et les alternatives.
- Fine-tuning Mistral : où en est l'API en novembre 2026
API de fine-tuning de Mistral en novembre 2026 : statut déprécié, modèles concernés, format JSONL, création d'une tâche, frais, et l'offre Forge.