마음으로 이해하고 적었습니다 마음으로 이해하고 적었습니다

자연어 처리는 사람들이 사용하는 언어를 컴퓨터로 처리한다는 것입니다. 컴퓨터로 처리하기 위해서는 입력인 언어를 숫자로 바꾸어야 합니다. 사람들이 쓰는 언어를 컴퓨터에서 처리할 수 있는 숫자로 바꾸는 것, 더 나아가 언어를 숫자로 잘 표현해 실제 언어의 세계를 한 숫자 공간에 잘 나타내는 것을 text embedding 혹은 text representation 이라고 이해하고 있습니다. word representation one-hot encoding 우선 언어의 기본이 되는 word 표현(word embedding)에 대해서부터 설명하고자 합니다. ( 여기서는 단어보다 더 작은 의미를 갖는 단위가 될 수 있습니다. 설명하기 쉽게 word로 표현합니다. ) 단어를 가장 간단하게 숫자로 바꾸는 방법은 모든 ..

자연어 처리 글을 보면 가장 많이 인용되고 있는 연구는 transformer와 BERT 입니다. 이 글에서는 transformer와 BERT의 차이를 간략히 정리해보았습니다. 자세히 이해하기 쉽게 설명해 놓은 글들이 워낙 많아 상세한 설명 및 성능은 생략하였습니다. 이해한 것을 간단히 정리하고, 주요하다고 생각하는 부분, 나중에 볼 때 헷갈리는 부분에 대해서만 정리하였습니다. transformer 이후 자연어 처리 분야에서는 transformer 구조가 자연어 처리 task 대부분에 사용되고 있습니다. transformer를 기준으로 자연어 처리 기법 전/후를 나눌 수 있을 정도라고 생각됩니다. BERT는 사전 학습 및 사전 학습 모델에 기본이 되고 있습니다. 두 연구는 자연어 처리라는 분야 안에서 기여..