KalelPark's LAB

Abstract Text의 Unlabeled 데이터는 풍부함. 이에 반하여, 데이터는 풍부하지 못하고, 빈약한 상황임. 이에 따라, 적절한 작업을 수행하기 어려 움. 그러므로, masking을 활용한 학습 방법을 제안 (상당한 성능 개선이 있음.) Masked AutoEncoder와 다르게, Image의 경우 Enocder를 사용하지만, NLP의 경우, Decoder를 사용합니다. Introduction Supervised fine-tunning과 unsupervised pre-training의 결합을 활용하여, language understanding tasks로 접근합니다. Two-stage의 절차를 따라 학습을 진행합니다. 첫 번째는 Unlabeled data를 학습하고, 이후에는 Supervise..