AquaplaneMode

Attention Is All You Need 논문 출처 글 작성에 앞서 : 본 게시글은 개인 학습을 위한 것이므로 모델의 Architecuture에 관해 중점적으로 다루며, 모델의 학습 방법이나 성능에 대해서는 정리하지 않습니다. Model Architecture Encoder Encoder는 6개의 동일한 Layer의 stack으로 구성된다. 또한, 각 레이어는 (1) multi-head self-attention layer, (2) position-wise fully connected feed-forward layer 두 개의 sub-layer로 구성된다. 두 개의 sub-layer는 layer normalization을 거쳐 residual connection된다. 즉, 각 sublayer의 출력..

참조 : Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference 1. Introduction 기존의 주류(predominant) 모델은 레이블된(labeled) 데이터를 바탕으로 학습하여, 처음 보는 데이터에 대한 일반성을 확보하기 위해 학습하였다. 그러나 많은 수의 레이블된 데이터를 필요로 하기 때문에 시간적 비용적 문제가 발생하였고, 적은 수의 레이블된 데이터로 학습하는 "few-shot learning"의 중요성이 대두되었다. 그러나 적은 수의 예제로는 풀고자 하는 문제가 무엇인지 쉽게 파악하기 어렵다는 문제가 존재한다. 따라서 본 논문에서는 패턴 추출 학습(PET;Pattern Expoiti..