말 그대로 Apple 이 아이폰 및 기타 기기에 적용해서 사용하고 있는 모델들에 대한 논문들은 당당하게 홈페이지를 통해 업로드하는 중입니다. 애플은 머신러닝에 아주 관심이 많은 기업 중 하나라고 합니다. apple에서 ML 관련으로 일하는 사람 수는 구체적으로 공개하지는 않지만 매우 많다고 들었습니다. 작년에 보았을 때는 주로 시리에 관련된 stt 나 tts 논문이 많았던 것으로 기억하는데 요즘 논문은 봐야 알 것 같습니다. 저는 앱등이 이기 때문에 공유해놓고 종종 들어가보려고 합니다. machinelearning.apple.com/ Overview Apple machine learning teams are engaged in state of the art research in machine learni..
1. 최대한 작은 complexity를 가지면서 우수한 filter를 표현하기 위한 CNN의 핵심 아이디어는 다음 세 가지이다 sparse interactions (sparse weight) parameter sharing (tied weight) equivariant representations 즉, CNN은 layer와 layer간에 모든 connection을 연결하는 대신 일부만 연결하고 (sparse weight), 그리고 그 weight들을 각각 다른 random variable로 취급하여 따로 update하는 대신 특정 weight group들은 weight 값이 항상 같도록 parameter를 share한다 (parameter sharing). 그리고 앞의 아이디어를 잘 활용하여 shift ..
coursera 자연어 특화 과정 중 마지막 4번째 코스 Natural Language Processing with Attention Models 에 대해서 공부한 글입니다. 목차 1. Seq2Seq & Attention 2. Training an NMT with Attention 3. Evaluation for Machine Translation 4. Sampling and Decoding 1. Seq2Seq NMT 기계번역 task 를 배우고 Seq2Seq model을 배운다. Seq2Seq 의 문제점과 해결을 소개한다. (1) Seq2Seq Encoder(인코더), Decoder(디코더)에 RNN계역의 모델을 사용한다. 다양한 길이의 input/output 을 동일한 길이의 memory에 할당한다...
[NLP] 단어부터 문장까지 GloVe Embedding 하기 / Clustering 까지 워드 임베딩 방법론 중 하나인 GloVe에 대해서 직접 임베딩하는 과정을 알아보겠습니다. 단어 단위로 임베딩하고 문장 단위의 임베딩으로 바꾼 후 clustering 까지 하는 과정을 담았습니다. 제가 실제로 해커톤과 프로젝트에 이용한 방법들을 기준으로 합니다. 저는 주로 한국어 문장을 단어(토큰) 별로 피쳐로 바꿔서 이용하기 위해서 GloVe로 임베딩 하는 과정을 사용했습니다. (한국어 데이터들을 사용했습니다.) GloVe 모델 자체에 대한 자세한 설명은 아래 블로그 글을 참고해주세요. 저는 GloVe가 Word2Vec 과 같은 워드 임베딩 방법론 중에 통계 정보 를 추가한 방법론이라고 설명하고 넘어가겠습니다. G..
개띵강 조경현 교수님의 딥러닝을 이용한 자연어 처리 입문을 듣다가 Questions 부분이 너무 좋은 것 같아서 정리한다. https://www.edwith.org/deepnlp/lecture/29219/ NLP를 공부하면서 평소 익숙하던 ML과는 다른 접근의 NLP가 어려웠다. representation 개념이 Neural net과 어떻게 이용되고 겹치는지 헷갈렸기 때문인데 이 강의는 엄청난 명강의 + 헷갈리던 것을 풀어줌 + 한국어 + ... 완벽한 강의이므로 적극 추천한다. Text Classification 강의 후에 나온 Question 에 대한 교수님의 답변들을 정리했다. 강의를 듣고 나온 질문들이기 때문에 nlp 에 대해서 어느정도 아는 사람이 아니라면 강의를 듣는 것을 추천한다. 나도 평소..
ResNet ResNet 이라는 이름으로 더 유명한 논문을 리뷰해보겠습니다. 최고의 빅데이터 분석 동아리 '투빅스' 과제 겸사겸사 하는 리뷰입니다. (사실 이게 아니라 구현 과제를 해야되는데 어렵네요....) 논문 흐름대로 리뷰되었습니다. https://arxiv.org/pdf/1512.03385.pdf https://arxiv.org/pdf/1603.05027.pdf Abstract 딥러닝에서 neural networks가 깊어질수록 성능은 더 좋지만 train이 어렵다는 것은 알려진 사실입니다. 그래서 이 논문에서는 잔차를 이용한 잔차학습 (residual learning framework)를 이용해서 깊은 신경망에서도 training이 쉽게 이뤄질 수 있다는 것을 보이고 방법론을 제시했습니다. We..
