Исследователи Sakana AI Джеффри Сили и Джулиан Гулд представили Augmented Lagrangian Predictive Coding (PC-ALM) — локальную альтернативу обратному распространению ошибки. Метод добавляет множитель Лагранжа к ограничению каждого слоя.
Согласно синопсису MarkTechPost, в линейных сетях PC-ALM восстанавливает точные градиенты обратного распространения, а при бюджете вывода T = 2L совпадает с ним для ширины и глубины от 8 до 128. В указанной эталонной конфигурации косинусное сходство градиентов выросло с 0,604 до 0,909.
На MNIST метод обучал остаточные многослойные перцептроны глубиной 1000 слоёв с результатом примерно в двух пунктах от обратного распространения. Источник не предоставляет подробностей экспериментов или первичной статьи, поэтому масштаб практической применимости пока неясен.
комментарий редакции
Что это значит
Вероятное значение PC-ALM — в проверке того, насколько локальные правила обучения способны масштабироваться без полной зависимости от обратного распространения. Следующим наблюдаемым сигналом станет публикация первичной работы с воспроизводимыми экспериментами на более широком наборе задач. Существенная неопределённость связана с тем, что сейчас доступен только один синопсис без полного контекста.