KalelPark's LAB

Abstract Text의 Unlabeled 데이터는 풍부함. 이에 반하여, 데이터는 풍부하지 못하고, 빈약한 상황임. 이에 따라, 적절한 작업을 수행하기 어려 움. 그러므로, masking을 활용한 학습 방법을 제안 (상당한 성능 개선이 있음.) Masked AutoEncoder와 다르게, Image의 경우 Enocder를 사용하지만, NLP의 경우, Decoder를 사용합니다. Introduction Supervised fine-tunning과 unsupervised pre-training의 결합을 활용하여, language understanding tasks로 접근합니다. Two-stage의 절차를 따라 학습을 진행합니다. 첫 번째는 Unlabeled data를 학습하고, 이후에는 Supervise..

Abstract BERT(Bidirectional Encoder Representations Transformers)에 대해서 소개합니다. BERT는 모든 layer로부터 양방향 정보를 활용하여, 학습합니다. 이후, downstream시, 단지 하나의 layer를 추가하여도, pretraining이 편리하게 되며, 여러 분야에서 SOTA를 달성합니다. Introduction 기존 GPT(Generative Pre-trained Transformer)는 단방향이라 문장의 맥락을 해석하는데 상당히 제한이 있음을 언급합니다. 본 논문에서는, fine-tuning을 개선한 BERT(Bidirectional Encoder Representation)를 소개합니다. 본 논문에서 말하는 주된 기여 3가지는 1. BE..