[논문 리뷰] self-supervised learning 이 항상 도움될까?

다른 논문들에서도 관측되었지만 답은 No이다. (예전 글에서도 object detection에서 방해가 될 수 있다는 내용을 간단하게 다뤘었다 [논문 리뷰] 잡다한 지식 모음). 

Human pose estimation에서 방해된다는 결과가 최근에 또 나왔다: (https://arxiv.org/pdf/2303.05370.pdf)

 

여기서 PA-MPJPE라는 score은 낮으면 성능이 좋다고 해석하면 된다. 어떻게 보면 놀랍지 않지만, classification에서 그렇게 좋은 성능을 보이는 self-supervised learning 기법들이 random init에 비해서 더 안 좋은 성능을 보인다.

 

SwAV 기법이 face representation을 학습하기에 좋다는 논문이 있는데 (https://arxiv.org/abs/2103.16554), 위에 소개한 human pose estimation 문제와 비슷하게 face mesh reconstruction 관련해서 self-supervised 기법이 별로 도움되지 않는다는 결과를 개인적으로 관측한 적이 있다.

 

SwAV를 포함해서 다양한 self-supervised learning 기법들이 classification에 특화되어있다 보니, 아직 풀 문제는 많은 것 같다.