curiosity killed the cat

개요 제목: SELF-LABELLING VIA SIMULTANEOUS CLUSTERING AND REPRESENTATION LEARNING 논문 링크: https://arxiv.org/abs/1911.05371 관련 글: 2023.02.26 - [paper review] - [논문 리뷰] DeepCluster (Deep Clustering for Unsupervised Learning of Visual Features) 2023.02.18 - [paper review] - [논문 리뷰] Sinkhorn Distances: Lightspeed Computation of Optimal Transport ImageNet 같은 dataset에 classification task로 pre-trained netwo..

개요 논문 링크: https://arxiv.org/abs/2006.07733 (Bootstrap Your Own Latent) Self-supervised learning 기법 중 하나이다. 아이디어는 간단하다. 두 개의 network를 사용하는데 논문에서 각각 online network, target network라고 부른다. Target network는 online network의 일부를 (중요) exponential moving average로 얻는다. 이미지를 각각 augmentation을 해서 online network, target network에 통과시키고, target network로 encoding된 feature을 online network가 예측하도록 학습을 한다. 방법 Motivat..

개요 논문 링크: https://arxiv.org/abs/1807.05520 아이디어를 요약하자면 1. neural net에 데이터에 있는 모든 이미지를 통과시켜서 feature을 뽑아내고 2. 이 feature들을 k-means clustering으로 클러스터 시켜서 label을 얻고 3. neural network가 이 label을 학습하는 것을 반복한다. 최근 리뷰한 논문들과는 다르게 contrastive learning을 사용하지 않는다 (SimCLR, MoCo들보다 좀 더 이전 논문이다). 이 글에서는 핵심적인 아이디어만 소개하겠다. 방법 알고리즘의 기본적인 틀 1. N개의 data \( x_n, n\in \{ 1, 2, ..., N\} \)가 있다고 하자. 우선 다음 문제를 풀어서 k-mean..

개요: 논문 링크: https://arxiv.org/abs/2003.04297 (Improved Baselines with Momentum Contrastive Learning) 이전 글: 2023.02.24 - [paper review] - [논문 리뷰] MoCo-v1 (Momentum Contrast for Unsupervised Visual Representation Learning) MoCo-v1에 SimCLR-v1에서 도움 되었던 디자인들을 채용하여 성능을 높이는 논문이다. 방법 기본적으로 MoCo-v1이랑 방법은 같다. Query q를 만드는 encoder은 학습되는 neural network (gradient 를 계산하는 neural net)이고 key k를 만드는 neural network..

개요 논문 링크: https://arxiv.org/abs/1911.05722 이 논문이 나올 당시에 contrastive learning을 통해서 좋은 visual representation을 학습하는 것이 성공적이었다 (SimCLR 등등). 이런 방법들은 보통 데이터를 neural network를 통과시켜서 encode 한다. 이렇게 encoded된 데이터가 query가 되고, query와 매칭되는 key (기본적으로 query와 동일한 데이터를 다양한 방식으로 가공해서 encoded된 값)는 당겨주고, 다른 데이터로부터 얻은 key들과는 밀쳐주는 방식으로 학습한다. 그리고 이러한 아이디어는 다양한 꼴의 contrastive loss를 최소화시켜주는 방식으로 구현을 한다. 이 방식이 잘 작동하려면 qu..

개요 논문 링크: https://arxiv.org/abs/2006.10029 이전 글: 2023.02.01 - [paper review] - [논문 리뷰] SimCLR (A Simple Framework for Contrastive Learning of Visual Representations) Semi-supervised learning: 보통 unlabeled data에 unsupervised/self-supervised 다음 labeled data에 supervised fine-tuning을 한다. 이 방법에서는 unlabeled data는 supervised training에 사용되지 않지만 이것은 낭비이다: supervised training에서 unlabeled data를 사용하는 방식들에 대..

개요 논문 링크: https://arxiv.org/abs/2002.05709 (A Simple Framework for Contrastive Learning of Visual Representations) 최근에 더 좋은 방법들도 있지만 중요한 논문입니다. 이런 류의 논문의 핵심은 레이블이 없는 이미지 데이터에 대해서 supervision 없이 학습시켜서 좋은 visual representation을 얻는 것입니다. 예를 들어서 ImageNet에 대해서 supervision 없이 neural net이 좋은 visual representation을 배우도록 학습시켰다고 합시다. 이런 visual representation (feature) 을 사용해서 linear classifier을 학습시키면 꽤나 좋은..