Aller au contenu

Cercle IA .tech · Technique

Cercle IA TechFine-tuning

Question

Oubli catastrophique d'un LLM après fine-tuning

Après un fine-tuning, un modèle peut perdre ce qu'il savait faire. Ce que disent deux études (2023, 2024), et comment limiter et vérifier cet oubli.

Mis à jour le

L'oubli catastrophique (catastrophic forgetting) désigne ce qui arrive quand un modèle, en apprenant une nouvelle tâche, perd une partie de ce qu'il savait déjà. Appliqué à un fine-tuning : le modèle devient meilleur sur vos exemples, et moins bon sur d'autres choses (rédiger autrement, raisonner, suivre une consigne d'un genre différent). Le phénomène est documenté sur les modèles de langage, et il se mesure ; il ne justifie pas de renoncer au fine-tuning, mais de le vérifier.

La comparaison de réponses annoncée par ALMA peut aider à réfléchir au contrôle humain d’une évolution de modèle. Pour mesurer un oubli, gardez aussi des tâches extérieures à la spécialisation recherchée, avec leurs critères de réussite initiaux.

Ce que dit la première étude (2023)

L'article « An Empirical Study of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning » (Yun Luo et coauteurs, déposé le 17/08/2023, dernière version le 05/01/2025) étudie l'oubli pendant un réglage continu sur des consignes, en regardant les connaissances du domaine, le raisonnement et la compréhension de lecture. Les auteurs rapportent que :

  • l'oubli s'observe de façon générale sur les modèles de 1 à 7 milliards de paramètres qu'ils ont testés ;
  • il s'aggrave quand la taille du modèle augmente, dans cette plage ;
  • BLOOMZ (qui ne contient qu'un décodeur) oublie moins que mT0 (qui a un encodeur et un décodeur) ;
  • un réglage général sur des consignes, fait avant, aide à atténuer l'oubli lors d'un réglage ultérieur.

Ces constats portent sur des modèles de cette taille : ils ne disent pas ce qui se passe sur un modèle beaucoup plus grand.

Ce que dit la seconde (2024)

L'étude « LoRA Learns Less and Forgets Less » (Dan Biderman et coauteurs, déposée le 15/05/2024) compare LoRA et le fine-tuning complet en programmation et en mathématiques, avec environ 100 000 paires consigne-réponse, puis avec 20 milliards de jetons de texte brut. Pour les réglages de rang faible courants, LoRA fait nettement moins bien que le fine-tuning complet sur le domaine visé. En contrepartie, il conserve mieux les performances sur les tâches hors domaine, réduit l'oubli plus que des régularisations usuelles comme le weight decay ou le dropout, et garde des réponses plus variées. Les auteurs relèvent que le fine-tuning complet apprend des modifications dont le rang est 10 à 100 fois supérieur à celui des configurations LoRA habituelles.

Le principe de LoRA est expliqué sur LoRA et QLoRA.

Ce que cela change en pratique

Situation Réflexe
Vous voulez corriger un format ou un ton testez LoRA et mesurez le format obtenu ainsi que les compétences conservées
Vous voulez que le modèle maîtrise un domaine entier attendez-vous à un compromis : plus d'apprentissage, plus d'oubli possible
Votre modèle doit rester polyvalent après l'affinage testez-le sur des tâches générales, pas seulement sur la vôtre
Le besoin est de répondre à partir de vos documents envisagez d’abord la recherche dans les documents, qui ne modifie pas les poids (voir Quand faire du fine-tuning)

Le dernier point est un choix de méthode, pas un résultat des deux études : une recherche documentaire sans entraînement ne modifie pas les poids. Elle peut toutefois changer les réponses par les documents fournis ; elle doit donc aussi être évaluée.

Comment vérifier

  1. Avant l'entraînement, passez le modèle de base sur un petit jeu de tâches générales : rédiger un courriel, résumer un texte, répondre à une question sans rapport avec votre métier, suivre une consigne de format.
  2. Après l'entraînement, repassez exactement les mêmes tâches avec les mêmes consignes.
  3. Comparez les deux séries de résultats avec la même grille de notation, en plus du jeu de test de votre tâche. La méthode complète est sur Évaluer un modèle affiné.
  4. Si une compétence a nettement baissé, testez une modification de l’entraînement (durée, données ou capacité de l’adaptateur), puis remesurez les deux objectifs. Réduire un réglage n’est pas une garantie de restauration ; conservez le modèle de base pour pouvoir y revenir.

Le glossaire d'Anthropic le dit plus brièvement : le fine-tuning demande d'examiner avec soin les données d'entraînement et leur effet possible sur les performances et les biais du modèle.

Pour la définition générale du terme, voir le lexique de Cercle IA.

Questions fréquentes

Qu'est-ce que l'oubli catastrophique ?

C'est la perte, par un modèle, de ce qu'il avait appris auparavant au moment où il apprend une nouvelle tâche. Après un fine-tuning, le modèle peut devenir bon sur vos exemples et moins bon sur le reste.

LoRA évite-t-il l'oubli ?

Il peut le réduire, sans garantie de le supprimer. L'étude de 2024 « LoRA Learns Less and Forgets Less » constate que LoRA préserve mieux les performances hors du domaine visé que le fine-tuning complet, mais qu'il apprend moins sur ce domaine.

Comment savoir si mon modèle affiné a oublié quelque chose ?

En comparant le modèle de base et le modèle affiné sur des tâches générales, hors de votre cas, avant de le mettre en service.

Références du carnet

Pages consultées pour écrire cet article :

  1. Site d’ALMA : fonctionnalités
  2. https://arxiv.org/abs/2308.08747
  3. https://arxiv.org/abs/2405.09673
  4. https://platform.claude.com/docs/en/about-claude/glossary

À lire aussi