KalelPark's LAB

Abstract BERT(Bidirectional Encoder Representations Transformers)에 대해서 소개합니다. BERT는 모든 layer로부터 양방향 정보를 활용하여, 학습합니다. 이후, downstream시, 단지 하나의 layer를 추가하여도, pretraining이 편리하게 되며, 여러 분야에서 SOTA를 달성합니다. Introduction 기존 GPT(Generative Pre-trained Transformer)는 단방향이라 문장의 맥락을 해석하는데 상당히 제한이 있음을 언급합니다. 본 논문에서는, fine-tuning을 개선한 BERT(Bidirectional Encoder Representation)를 소개합니다. 본 논문에서 말하는 주된 기여 3가지는 1. BE..