Selon le rapport de MarkTechPost, quatre projets majeurs se distinguent sur le marché des logiciels open source dédiés au fine-tuning des grands modèles de langage : Unsloth, Axolotl, TRL et LLaMA-Factory. Tous fonctionnent comme des couches supplémentaires reposant sur la pile technologique fondamentale commune de PyTorch et Hugging Face, garantissant ainsi une compatibilité de base et une accessibilité.

La différence clé entre ces outils réside dans l'orientation des efforts d'ingénierie déployés par les développeurs pour améliorer les performances. Le projet Unsloth s'est concentré sur la réécriture des noyaux de calcul de bas niveau pour maximiser la vitesse. Parallèlement, Axolotl se spécialise dans la composition de stratégies de parallélisme afin de répartir efficacement la charge.

Le rôle du projet TRL est défini différemment : il établit des interfaces API standardisées pour les entraîneurs (trainers), qui servent de fondement au fonctionnement des autres outils. Cette division du travail permet à l'écosystème d'évoluer selon différents vecteurs, offrant aux utilisateurs le choix entre l'optimisation du code, la gestion des systèmes multiprocesseurs ou l'unification des interfaces.

Le choix d'un framework spécifique dépend désormais des priorités de la tâche : faut-il une vitesse de calcul maximale, une utilisation efficace de la mémoire vidéo sur plusieurs GPU, ou une flexibilité dans la configuration des processus d'apprentissage via des méthodes standardisées ?