Sakana AI の研究者であるジェフリー・シーリー氏とジュリアン・グールド氏は、逆伝播の層ローカル代替手法である Augmented Lagrangian Predictive Coding（PC-ALM）を発表しました。この手法は、各層の制約にラグランジュ乗数を追加するものです。
MarkTechPost の要約によると、線形ネットワークにおいて PC-ALM は逆伝播の正確な勾配を復元し、推論バジェット T = 2L において、幅と深さが 8 から 128 の範囲で逆伝播と一致します。指定された基準構成では、勾配のコサイン類似度が 0,604 から 0,909 へ向上しました。
На MNIST метод обучал остаточные многослойные перцептроны глубиной 1000 слоёв с результатом примерно в двух пунктах от обратного распространения. Источник не предоставляет подробностей экспериментов или первичной статьи, поэтому масштаб практической применимости пока неясен.
編集部コメント
なぜ重要か
PC-ALM の潜在的な価値は、誤差逆伝播への完全な依存なしにローカル学習ルールがスケールできるかどうかを検証する点にあります。次の観察可能な兆候は、より広範なタスクセットにおける再現可能な実験を含めた一次論文の公表となります。現在は完全な文脈を欠いた単一の要約のみが入手可能であるため、実質的な不確実性が残っています。