[NLP] 딥러닝을 이용한 자연어 처리 입문 - Text Classification Questions 정리

개띵강 조경현 교수님의 딥러닝을 이용한 자연어 처리 입문을 듣다가 Questions 부분이 너무 좋은 것 같아서 정리한다.
https://www.edwith.org/deepnlp/lecture/29219/

NLP를 공부하면서 평소 익숙하던 ML과는 다른 접근의 NLP가 어려웠다. representation 개념이 Neural net과 어떻게 이용되고 겹치는지 헷갈렸기 때문인데 이 강의는 엄청난 명강의 + 헷갈리던 것을 풀어줌 + 한국어 + ... 완벽한 강의이므로 적극 추천한다.

Text Classification 강의 후에 나온 Question 에 대한 교수님의 답변들을 정리했다.

강의를 듣고 나온 질문들이기 때문에 nlp 에 대해서 어느정도 아는 사람이 아니라면 강의를 듣는 것을 추천한다.
나도 평소에 궁금했던 질문들, 교수님이 추후에 가르칠 것이라고 하신 부분을 제외하고 정리했다.

1. 다의어 해결

1. 각 단어의 space는 굉장히 high dimension space 임
   point는 하나여도 많은 관계가 인코딩 되어있음
2. 그 중에 무엇을 고르는가 -> sentence representation이 들어감

2. 훈련데이터에 없는 새로운 단어는 어떻게 임베딩하는가

1. token define을 어디서 했는지 생각해보기
   syllabus level 이나 alphabet level이면, 새로운 단어에 대해서는 이미 임베딩 된 값으로 새로운 단어에 대해 어떻게 합치나의 차이임
2. morphs 이나 단어 level이면, 다양한 방법이 존재하는데 train에 살짝 합쳐서 fine tunning 해주거나 기존 존재하는 임베딩 값으로 만들어줘야함
   최근 방식 중, (다른 langauge task) a 언어를 weight sum 만 택해서 b 언어로 임베딩하는 케이스가 있었음.

3. 분류 모델 훈련 완료 후, 새로운 클래스가 존재했을 때?

새로 나타난 클래스에 대한 estimation만 추가로 학습시킬 수 있음.
backpropagation 알고리즘의 좋은 점인데, node를 선택해서 진행할 수 있음.
-> 그러면 드는 의문이, 이렇게 학습된 class weight는 다른 class 와 optimal한가?
-> 이 때는 class 의 discription 봐야함. discripttion이 다른 클래스간의 관계를 알려줌.
(새로 나타난 단어가 '늑대' 이면 discription은 이 클래스는 개과의 포유류이다... 등등 임.)
-> zero shot, few-shot learning 등의 키워드로 구글링 하는 것을 추천
-> 실제로 발표된 모델 중에 '와사비' 잘 됨.

4. 임베딩에서 '가깝다'는 벡터공간에서 cosine similarity 인가, 아니면 distance metrics를 정의하는가

word vector 나온 후에 어떤 네트워크로 train 되는지가 가장 중요함.
distance metrics 자체도 하이퍼파라미터이고 이는 model selection과 이어짐