coursera 자연어 특화 과정 중 마지막 4번째 코스 Natural Language Processing with Attention Models 에 대해서 공부한 글입니다. 목차 1. Seq2Seq & Attention 2. Training an NMT with Attention 3. Evaluation for Machine Translation 4. Sampling and Decoding 1. Seq2Seq NMT 기계번역 task 를 배우고 Seq2Seq model을 배운다. Seq2Seq 의 문제점과 해결을 소개한다. (1) Seq2Seq Encoder(인코더), Decoder(디코더)에 RNN계역의 모델을 사용한다. 다양한 길이의 input/output 을 동일한 길이의 memory에 할당한다...
[NLP] 단어부터 문장까지 GloVe Embedding 하기 / Clustering 까지 워드 임베딩 방법론 중 하나인 GloVe에 대해서 직접 임베딩하는 과정을 알아보겠습니다. 단어 단위로 임베딩하고 문장 단위의 임베딩으로 바꾼 후 clustering 까지 하는 과정을 담았습니다. 제가 실제로 해커톤과 프로젝트에 이용한 방법들을 기준으로 합니다. 저는 주로 한국어 문장을 단어(토큰) 별로 피쳐로 바꿔서 이용하기 위해서 GloVe로 임베딩 하는 과정을 사용했습니다. (한국어 데이터들을 사용했습니다.) GloVe 모델 자체에 대한 자세한 설명은 아래 블로그 글을 참고해주세요. 저는 GloVe가 Word2Vec 과 같은 워드 임베딩 방법론 중에 통계 정보 를 추가한 방법론이라고 설명하고 넘어가겠습니다. G..
제가 속한 동아리 투빅스(ToBigs)에서 공부한 자연어처리, 텍스트 세미나를 정리한 블로그를 소개합니다. 스탠포드 대학의 CS224N 2019 강의를 리뷰했습니다. 아래는 블로그 소개글과 설명입니다. 투빅스 텍스트 세미나 블로그 링크 Tobigs Text Seminar, 13&14 AI/빅데이터 연합동아리 투빅스 텍스트 세미나입니다. 투빅스 13&14기가 모여 자연어처리를 공부하고, 해당 내용을 정리해 놓은 블로그입니다. 🌀 커리큘럼 🌀 ✔️ CS224n Winter2019 : Natural Language Processing with Deep Learning ✔️ 강의자료 및 assignment는 git 에 올라와 있습니다. Week Date Lecture Reviewer 0주차 Edwith 조경현 ..
개띵강 조경현 교수님의 딥러닝을 이용한 자연어 처리 입문을 듣다가 Questions 부분이 너무 좋은 것 같아서 정리한다. https://www.edwith.org/deepnlp/lecture/29219/ NLP를 공부하면서 평소 익숙하던 ML과는 다른 접근의 NLP가 어려웠다. representation 개념이 Neural net과 어떻게 이용되고 겹치는지 헷갈렸기 때문인데 이 강의는 엄청난 명강의 + 헷갈리던 것을 풀어줌 + 한국어 + ... 완벽한 강의이므로 적극 추천한다. Text Classification 강의 후에 나온 Question 에 대한 교수님의 답변들을 정리했다. 강의를 듣고 나온 질문들이기 때문에 nlp 에 대해서 어느정도 아는 사람이 아니라면 강의를 듣는 것을 추천한다. 나도 평소..
