Les chercheurs de Sakana AI, Jeffrey Seely et Julian Gould, ont présenté le codage prédictif de Lagrangien augmenté (PC-ALM), une alternative locale à la rétropropagation de l'erreur. La méthode ajoute un multiplicateur de Lagrange à la contrainte de chaque couche.
Selon le synopsis de MarkTechPost, dans les réseaux linéaires, PC-ALM restaure les gradients exacts de la rétropropagation, et avec un budget d'inférence T = 2L, il coïncide avec celle-ci pour des largeurs et profondeurs allant de 8 à 128. Dans la configuration de référence indiquée, la similarité cosinus des gradients est passée de 0,604 à 0,909.
Sur MNIST, la méthode a entraîné des perceptrons multicouches résiduels d'une profondeur de 1000 couches, avec un résultat inférieur d'environ deux points à celui de la rétropropagation. La source ne fournit pas de détails sur les expériences ni sur l'article primaire, de sorte que l'étendue de l'applicabilité pratique reste peu claire.
commentaire éditorial
Pourquoi c’est important
La valeur probable de PC-ALM réside dans la vérification de la capacité des règles d'apprentissage locales à s'étendre sans dépendance totale à la rétropropagation. Le prochain signal observable sera la publication du travail primaire avec des expériences reproductibles sur un ensemble plus large de tâches. Une incertitude substantielle subsiste car seul un synopsis est actuellement disponible, sans contexte complet.