KalelPark's LAB

Abstract Text의 Unlabeled 데이터는 풍부함. 이에 반하여, 데이터는 풍부하지 못하고, 빈약한 상황임. 이에 따라, 적절한 작업을 수행하기 어려 움. 그러므로, masking을 활용한 학습 방법을 제안 (상당한 성능 개선이 있음.) Masked AutoEncoder와 다르게, Image의 경우 Enocder를 사용하지만, NLP의 경우, Decoder를 사용합니다. Introduction Supervised fine-tunning과 unsupervised pre-training의 결합을 활용하여, language understanding tasks로 접근합니다. Two-stage의 절차를 따라 학습을 진행합니다. 첫 번째는 Unlabeled data를 학습하고, 이후에는 Supervise..

Abstract 본 논문에서는 Self-supervised Learning으로 확장가능한 masked autoencoder를 소개합니다. input 이미지를 무작위로 patch로 분할 한 후, 몇 개는 정보를 잃게 한후, 다시 생성하도록 학습하는 방식입니다. 주된 기여로는 2가지가 존재합니다. 1. Using the Encoder Decoder structure, and reconsturcture msising patches in decoder. (Encode, Decoder 구조를 사용합니다.) 2. we mask high propotion for self-supervised learning task. (상당히 많은 부분 75%를 missing patches로 활용합니다.) Introduction GP..

BERT가 무엇인지에 관련해서는, 하단의 링크를 참조하시면, 감사하겠습니다..! [논문 리뷰] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding Abstract BERT(Bidirectional Encoder Representations Transformers)에 대해서 소개합니다. BERT는 모든 layer로부터 양방향 정보를 활용하여, 학습합니다. 이후, downstream시, 단지 하나의 layer를 추가하여도, pretraining kalelpark.tistory.com 하단의 링크를 통해서, 데이터를 다운로드 하는 것이 가능합니다..! !git clone https://github.com/e9t/nsm..

Abstract BERT(Bidirectional Encoder Representations Transformers)에 대해서 소개합니다. BERT는 모든 layer로부터 양방향 정보를 활용하여, 학습합니다. 이후, downstream시, 단지 하나의 layer를 추가하여도, pretraining이 편리하게 되며, 여러 분야에서 SOTA를 달성합니다. Introduction 기존 GPT(Generative Pre-trained Transformer)는 단방향이라 문장의 맥락을 해석하는데 상당히 제한이 있음을 언급합니다. 본 논문에서는, fine-tuning을 개선한 BERT(Bidirectional Encoder Representation)를 소개합니다. 본 논문에서 말하는 주된 기여 3가지는 1. BE..