curiosity killed the cat

개요 논문 링크: https://arxiv.org/pdf/2308.06777.pdf (Shrinking Class Space for Enhanced Certainty in Semi-Supervised Learning) 깃헙: https://github.com/LiheYoung/ShrinkMatch 이전 글: [논문 리뷰] FixMatch [논문 리뷰] ReMixMatch 요약: (classification 관련) semi-supervised learning 에서 SOTA를 찍은 최신 논문이다. FixMatch같은 방식들은 unlabeled data를 활용할 때 pseudo-label의 confidence가 낮으면 버리는 방식으로 학습을 하는데, 이렇게 하면 unlabeled data를 충분히 활용할 수가..

개요 논문 링크: https://arxiv.org/abs/2001.07685 이전 글: [논문 리뷰] ReMixMatch [논문 리뷰] Unsupervised Data Augmentation for Consistency Training semi-supervised learning 논문. 복잡해지는 semi-supervised training방법들에서 중요한 요소들을 잘 통합해서 간단하지만 성능이 좋은 방법이라고 저자들은 설명한다. 간단히 요약하자면 consistency regularization과 pseudo-labeling을 같이 사용하는 semi-supervised training 방법이라고 이해하면 된다. 방법 Notation L: 데이터셋에 class 수 B: batch size (labeled ..

개요 논문 링크:https://arxiv.org/abs/1904.12848 이전 글: [논문 리뷰] MixMatch [논문 리뷰] Virtual Adversarial Training Data augmentation을 잘하는 것이 (semi-supervised training에서) consistency training에 중요하다고 보인 논문 중 하나다. Supervised training에서 augmentation을 잘하는 방법이 발전되어 왔는데, semi-supervised training에 이러한 augmentation 방법들을 적용하면 좋은 결과를 얻을 수 있다는 것이 핵심이다: " To emphasize the use of better data augmentation in consistency tr..

개요 논문 링크: https://arxiv.org/abs/1911.09785 (REMIXMATCH: SEMI-SUPERVISED LEARNING WITH DISTRIBUTION ALIGNMENT AND AUGMENTATION ANCHORING) 이전 글: [논문 리뷰] MixMatch Semi-supervised learning 알고리즘 중 하나다. 이전 논문인 MixMatch에 distribution alignment와 augmentation anchoring이라는 두 가지 기법을 추가해서 성능을 높인 논문이다. Distribution alignment: unlabeled dataset의 pseudo-label distribution을 labeled dataset의 label distribution과 ..

개요 논문 링크: https://arxiv.org/abs/1704.03976 (Virtual Adversarial Training: A Regularization Method for Supervised and Semi-Supervised Learning) Adversarial training 기법을 semi-supervised learning에 적용한 기법이라고 이해하면 된다. Labeled data에 대해서는 평소대로 학습을 하고, unlabeled data + labeled data에 대해서는 다음과 같이 adversarial training을 한다: 모델이 뱉어내는 output (classification probability)를 가장 잘 망가뜨리는 perturbation을 input에 더하고, 이..

개요 논문 링크: https://arxiv.org/abs/1905.02249 (MixMatch: A Holistic Approach to Semi-Supervised Learning) 참고하면 좋은 논문: MixUp: https://arxiv.org/abs/1710.09412 Semi-supervised learning 기법 중 하나. unlabeled data에 label을 단순히 teacher model로 만들지 않고, MixUp을 사용해서 labeled data와 unlabeled data를 섞어버린다. labeled data와 unlabeled data의 '중간' 데이터들을 MixUp으로 만들어서 unlabeled data에 대한 label의 quality를 좋게 만들어 주겠다는 것이 핵심 아이디..

개요 논문 링크: https://arxiv.org/abs/1703.01780 Semi-supervised learning 기법 중 하나. Labeled data와 unlabeled data를 동시에 학습할 때 unlabeled data에 대한 classification target (label)을 teacher network라는 별도의 network를 사용해서 얻는다. 이때 teacher network는 학습하는 network의 parameter들을 exponential moving average를 취해서 얻는 것이 핵심 아이디어다. Figure 1을 보면서 더 자세히 소개를 하겠다. data가 부족하면 overfitting될 수 있다 (a). 이런 경우 data의 의미를 바꾸지 않는 noise를 넣어주..

개요: 제목: Pseudo-label: the simple and efficient semi-supervised learning method for deep neural networks 2013년도에 나온 논문이라 조금 오래되었지만 semi-supervised learning 분야에서 개념적으로 중요하다. semi-supervised learning은 dataset에 일부만 label이 있을 때 label이 없는 데이터도 잘 활용하는 방법이다 (일부 데이터에 대해서는 supervised learning이지만 label이 없는 데이터에 대해서는 unsupervised learning이라서 semi-supervised learning). 이 논문에서는 classification 문제를 다루고, label이 ..