마음으로 이해하고 적었습니다 마음으로 이해하고 적었습니다

자연어 처리는 사람들이 사용하는 언어를 컴퓨터로 처리한다는 것입니다. 컴퓨터로 처리하기 위해서는 입력인 언어를 숫자로 바꾸어야 합니다. 사람들이 쓰는 언어를 컴퓨터에서 처리할 수 있는 숫자로 바꾸는 것, 더 나아가 언어를 숫자로 잘 표현해 실제 언어의 세계를 한 숫자 공간에 잘 나타내는 것을 text embedding 혹은 text representation 이라고 이해하고 있습니다. word representation one-hot encoding 우선 언어의 기본이 되는 word 표현(word embedding)에 대해서부터 설명하고자 합니다. ( 여기서는 단어보다 더 작은 의미를 갖는 단위가 될 수 있습니다. 설명하기 쉽게 word로 표현합니다. ) 단어를 가장 간단하게 숫자로 바꾸는 방법은 모든 ..

* KAIST 서민준교수님 강의자료의 QA 부분을 공부하고, 제가 이해한대로 적었습니다. https://seominjoon.github.io/kaist-ai605/ passage retrieval은 query 에 맞는 passage(문단, 문서)를 찾는 것 입니다. MRC model과 합쳐서 open domain QA 를 풀 수 있습니다. passage retrieval의 원리는 query와 passage들을 embedding 한 뒤 유사도를 측정하는 것 입니다. 즉 query와 passage의 의미를 잘 담도록 embedding 하는 것이 핵심입니다. 따라서 이 글에서는 주로 query와 passage embedding 에 대해서 설명합니다. embedding은 입력 data를 vector로 변화하는 ..