마음으로 이해하고 적었습니다 마음으로 이해하고 적었습니다

자연어 처리 글을 보면 가장 많이 인용되고 있는 연구는 transformer와 BERT 입니다. 이 글에서는 transformer와 BERT의 차이를 간략히 정리해보았습니다. 자세히 이해하기 쉽게 설명해 놓은 글들이 워낙 많아 상세한 설명 및 성능은 생략하였습니다. 이해한 것을 간단히 정리하고, 주요하다고 생각하는 부분, 나중에 볼 때 헷갈리는 부분에 대해서만 정리하였습니다. transformer 이후 자연어 처리 분야에서는 transformer 구조가 자연어 처리 task 대부분에 사용되고 있습니다. transformer를 기준으로 자연어 처리 기법 전/후를 나눌 수 있을 정도라고 생각됩니다. BERT는 사전 학습 및 사전 학습 모델에 기본이 되고 있습니다. 두 연구는 자연어 처리라는 분야 안에서 기여..