Un nouvel article du blog AWS Machine Learning décrit une recherche sur une méthode appelée Self-Distilled Reasoning (SDR). Les auteurs proposent une solution au problème de la suppression de l'inférence logique dans les modèles entraînés par apprentissage supervisé sur des ensembles de données ne contenant pas de traces de raisonnement prêtes à l'emploi. L'idée centrale consiste à générer automatiquement ce que l'on appelle des jetons de pensée pour ces ensembles de données.
Les développeurs ont testé l'approche proposée sur trois benchmarks différents et ont confirmé son efficacité. La publication fournit également des recommandations pratiques pour la mise en œuvre de cette méthodologie lors du réentraînement de modèles utilisant Amazon Nova. La recherche se concentre sur la manière d'ajouter une capacité de raisonnement là où les données sources ne le prévoyaient pas.
Cette étape vise à combler le fossé entre les données destinées au réglage fin et les exigences liées aux opérations logiques complexes. La méthode permet de créer des traces de raisonnement synthétiques, ce qui améliore potentiellement la qualité des réponses des réseaux de neurones dans les tâches nécessitant une analyse en plusieurs étapes.
commentaire éditorial
Pourquoi c’est important
Il est prévu que de telles méthodes d'auto-apprentissage deviennent une étape obligatoire dans les pipelines de réentraînement des modèles d'entreprise. Le prochain signal observable sera l'apparition d'outils ou de bibliothèques open source mettant en œuvre SDR indépendamment de la plateforme AWS. Une incertitude subsiste quant au risque d'accumulation d'erreurs si le modèle enseignant génère des chaînes de raisonnement incorrectes, qui seraient ensuite consolidées lors du réentraînement.