Los investigadores de Sakana AI, Jeffrey Seely y Julian Gould, han presentado Augmented Lagrangian Predictive Coding (PC-ALM), una alternativa local a la retropropagación del error. El método añade un multiplicador de Lagrange a la restricción de cada capa.
Según el sinopsis de MarkTechPost, en redes lineales PC-ALM recupera los gradientes exactos de la retropropagación y, con un presupuesto de inferencia T = 2L, coincide con esta para anchos y profundidades desde 8 hasta 128. En la configuración de referencia indicada, la similitud coseno de los gradientes aumentó de 0,604 a 0,909.
En MNIST, el método entrenó perceptrones multicapa residuales con una profundidad de 1000 capas, obteniendo un resultado aproximadamente dos puntos por debajo de la retropropagación. La fuente no proporciona detalles sobre los experimentos ni el artículo primario, por lo que la escala de aplicabilidad práctica sigue siendo incierta.
comentario editorial
Por qué importa
El valor probable de PC-ALM radica en verificar hasta qué punto las reglas de aprendizaje locales pueden escalar sin depender completamente de la retropropagación. La próxima señal observable será la publicación del trabajo primario con experimentos reproducibles en un conjunto más amplio de tareas. Existe una incertidumbre sustancial relacionada con el hecho de que actualmente solo hay disponible un sinopsis sin el contexto completo.