사카나AI, 역전파 대체할 '층 단위 학습법' PC-ALM 공개… 1000층 신경망 훈련

MarkTechPost는 14일 일본 AI 스타트업 사카나AI(Sakana AI) 연구진이 역전파(backpropagation)를 대체할 수 있는 층 단위 학습 기법 'PC-ALM(증강 라그랑지안 예측 부호화)'을 제안했다고 보도했다.

역전파는 순전파와 역전파, 가중치 갱신이 순차적으로 맞물려 돌아가는 전역(global) 알고리즘이다. 뇌에는 이런 식으로 신경망 전체가 단계를 맞춰 동작하는 메커니즘이 알려져 있지 않아, 예측 부호화(PC) 같은 국소 학습 방식이 꾸준히 연구돼 왔다. 다만 기존 PC는 학습 신호가 출력층에서 시작해 여러 층을 거치며 희미해져, 깊고 폭이 좁은 신경망에서 성능이 크게 떨어지는 한계가 있었다.

PC-ALM은 각 층의 예측 오차를 누적하는 이중(dual) 변수를 추가해, 갱신을 층 단위로 유지하면서도 역전파와 정렬된 학습 신호를 복원한다. 연구진은 이 구조를 층마다 놓인 PI 제어기로 해석했으며, 선형 PC 신경망에서 특정 안정성 조건 아래 PC-ALM이 역전파의 수반 변수와 일치하는 지점으로 수렴한다는 점을 증명했다.

실험에서는 너비 32·깊이 32의 잔차 MLP(Fashion-MNIST, ReLU) 기준으로 역전파가 78.66%, 기존 PC가 68.13%, PC-ALM이 77.75%의 테스트 정확도를 기록했다. MNIST에서는 1000층 규모 잔차 MLP를 역전파 대비 약 2%포인트 이내 성능으로 학습시켰다. 연구진은 CIFAR-10과 타이니 이미지넷의 ResNet-18을 포함해 시도한 모든 벤치마크에서 PC-ALM이 기존 PC를 앞섰다고 밝혔다.

MIT 라이선스로 공개된 JAX 참조 구현은 CPU에서도 실행된다. 다만 이는 모델이 아닌 학습 방법이며, 현재까지는 소규모 이미지 벤치마크에서만 검증됐다.