Perplexity Research a publié une étude sur l'apprentissage après coup du système au sein de Perplexity Computer. Pour l'apprentissage, des sessions utilisateur réelles, y compris des sessions échouées, ont été utilisées. La méthode combine un réentraînement sur des exemples sélectionnés et une distillation guidée par des indices.
Dans un test A/B en direct entre deux versions entraînées, la proportion de pannes d'appels d'outils a diminué de 2,24% à 1,77%. La source rapporte cela comme le résultat de la comparaison de deux points de contrôle.
La signification pratique de l'approche est d'utiliser des erreurs réelles comme matériau pour une amélioration ultérieure. Le paquet de données publié est basé sur des métadonnées et le résumé de MarkTechPost, et non sur le texte complet de l'étude originale, donc les détails de l'expérience et la stabilité du résultat restent incertains.
commentaire éditorial
Pourquoi c’est important
Conséquence probable — un développement ultérieur de l'apprentissage des systèmes logiciels à partir de réelles erreurs et une vérification ultérieure de ces méthodes en exploitation. Le prochain signal observé sera la publication de l'étude complète avec la taille de l'échantillon, la méthodologie du test et les résultats sur de nouveaux scénarios. Une incertitude substantielle est liée au fait qu'actuellement seul le résumé métadonnées d'une seule source est disponible.