Réglage fin
spécialisation d'un modèle d'apprentissage automatique / De Wikipedia, l'encyclopédie encyclopedia
En apprentissage profond, le réglage fin ou ajustement (fine-tuning en anglais) est une approche d'apprentissage par transfert dans laquelle les paramètres d'un modèle pré-entraîné sont ajustés avec de nouvelles données[1]. Cela notamment permet d'adapter un modèle d'IA généraliste à une tâche spécifique, ou d'ajuster son comportement.
Le réglage fin peut être effectué sur l'ensemble du réseau de neurones, ou bien seulement sur un sous-ensemble de ses couches, auquel cas les couches qui ne sont pas entraînées sont « gelées » (ne sont pas mises à jour lors de l'étape de rétropropagation )[2]. Un modèle peut également être complété par des « adaptateurs » composés de beaucoup moins de paramètres que le modèle de base, qui peut lui dans ce cas être gelé[3].
Pour certaines architectures comme les réseaux de neurones convolutifs, il est courant de conserver les couches antérieures (les plus proches de la couche d'entrée) gelées, car elles capturent des fonctionnalités génériques d'analyse d'image (comme l'identification de contours ou de textures...), tandis que les couches ultérieures discernent souvent des fonctionnalités de plus haut niveau, souvent davantage liées à la tâche que le modèle doit accomplir[2],[4].
Les modèles pré-entraînés sur des corpus vastes et généraux sont généralement ajustés en réutilisant les paramètres entraînés du modèle comme point de départ, et en ajoutant une couche spécifique à la tâche à effectuer, qui est entraînée à partir de zéro. Le réglage fin du modèle complet est également courant et donne souvent de meilleurs résultats, mais coûte plus cher en termes de calcul[5].
Le réglage fin utilise le souvent l'apprentissage supervisé[6]. Il peut être combiné des méthodes d'apprentissage par renforcement comme RLHF ou l'IA constitutionnelle pour rendre les grands modèles de langage plus utiles, inoffensifs et véridiques[7].