Self-paced Learning

Curriculum Learning

Key Point

• 인간의 학습 프로세스를 모방하여 쉬운 것 부터 학습하고, 점차 어려운 것까지 학습하는 것
• 빠른 수렴 속도 확보 및 Local minimal에 빠지는 경향성 감소
• 최종 학습 모델을 효율적으로 학습하여 고성능 성과 확보
• 실제 학습 과정으로 학습 난이도가 낮은 샘플들만으로 여러 epoch을 학습하고, switch epoch 이후 학습 난이도가 높은 샘플들로 여러 epoch을 학습

https://ronan.collobert.com/pub/2009_curriculum_icml.pdf

 

이때, Curriculum Learning을 적용하기 위해선, "데이터 학습 난이도"라는 사전학습 지식이 필요하다. 따라서 위 문제를 해결하기 위해 Self-paced Learning for Latent Variable Models라는 연구에서 사전지식 없이도 Curriculum Learning을 적용할 수 있는 방안을 제시했다.

 

Self-paced Learning for Latent Variable Models

• 특정 Threshold 람다 이하의 손실 값을 가지는 샘플들만 학습에 반영
• Loss 값이 클수록, 현재 학습 단계에서 모델이 잘 못 맞추는 어려운 데이터라고 정의해서 학습에 배제해 학습을 진행
• 이때, Threshold 람다를 단조 증가시켜 학습 단계에 따라 점차적으로 어려운 샘플을 학습할 수 있게함

 

https://papers.nips.cc/paper_files/paper/2010/hash/e57c6b956a6521b28495f2886ca0977a-Abstract.html