Die Forscher Jeffrey Seely und Julian Gould von Sakana AI haben Augmented Lagrangian Predictive Coding (PC-ALM) vorgestellt – eine lokale Alternative zur Rückwärtspropagierung. Die Methode fügt einen Lagrange-Multiplikator hinzu, um jede Schicht zu beschränken.
Laut dem Synopsis von MarkTechPost stellt PC-ALM in linearen Netzwerken exakte Gradienten der Rückwärtspropagierung wieder her und stimmt bei einem Inferenzbudget von T = 2L für Breiten und Tiefen von 8 bis 128 damit überein. In der genannten Referenzkonfiguration stieg die Kosinus-Ähnlichkeit der Gradienten von 0,604 auf 0,909.
Auf MNIST trainierte die Methode residuale Multilayer-Perzeptrons mit einer Tiefe von 1000 Schichten und erzielte ein Ergebnis, das etwa zwei Prozentpunkte hinter der Rückwärtspropagierung lag. Die Quelle liefert keine Details zu den Experimenten oder zur Primärpublikation, sodass der Umfang der praktischen Anwendbarkeit vorerst unklar bleibt.
redaktioneller Kommentar
Warum es wichtig ist
Der wahrscheinliche Wert von PC-ALM liegt in der Prüfung, inwieweit lokale Lernregeln skalieren können, ohne vollständig von der Rückwärtspropagierung abhängig zu sein. Das nächste beobachtbare Signal wird die Veröffentlichung der Primärarbeit mit reproduzierbaren Experimenten an einem breiteren Aufgabenspektrum sein. Eine erhebliche Unsicherheit besteht darin, dass derzeit nur ein Synopsis ohne den vollständigen Kontext verfügbar ist.