Os pesquisadores da Sakana AI, Jeffrey Seely e Julian Gould, apresentaram a Codificação Preditiva de Lagrangiano Aumentado (PC-ALM) — uma alternativa local à retropropagação de erro. O método adiciona um multiplicador de Lagrange à restrição de cada camada.
De acordo com o sinopse do MarkTechPost, em redes lineares, o PC-ALM recupera gradientes exatos de retropropagação e, com um orçamento de inferência T = 2L, coincide com ela para largura e profundidade de 8 até 128. Na configuração de referência especificada, a similaridade de cosseno dos gradientes aumentou de 0,604 para 0,909.
No MNIST, o método treinou perceptrons multicamadas residuais com profundidade de 1000 camadas, obtendo um resultado aproximadamente dois pontos abaixo da retropropagação. A fonte não fornece detalhes dos experimentos ou do artigo primário, portanto, a escala da aplicabilidade prática ainda não está clara.
comentário editorial
Por que importa
O valor provável do PC-ALM reside em testar até que ponto as regras de aprendizado locais são capazes de escalar sem dependência total da retropropagação. O próximo sinal observável será a publicação do trabalho primário com experimentos reproduzíveis em um conjunto mais amplo de tarefas. Uma incerteza substancial relaciona-se ao fato de que atualmente está disponível apenas um sinopse sem o contexto completo.