딥러닝에서 선형변환의 기하학적 의미 Linear Transformation in Neural Networks 딥러닝에서 선형변환의 기하학적 의미는 다음과 같이 시각화한 gif 로 한장으로 볼 수 있다. 원래의 모눈종이가 standard basis들이라고 하면 ([1,0].T , [0,1].T) 모눈종이가 점점 기울어진 평행사변형이 되는 것이 linear transform (선형변환) 이고, 곡선으로 꾸겨지는 부분은 non linear 함수를 사용했을 때의 모습이다. (이 때 0 부분은 거의 그대로 유지되는 모숩을 볼 수 있다.) 흐르는 것은 bias 를 표현한 것이다. 이러한 일련의 과정이 딥러닝의 node에서 이루어지고 있는 모습을 시각화 한 것이다. Affine Layer 추가로 bias 를 포함한 ..
머신러닝 (Machine Learning)에서 Rank of Matrix 의 의미 선형대수에서 rank의 의미는 다음과 같다. Definition : The rank of a matrix A, denoted by rank A, is the dimension of the column space of A: rank A = dim Col A 이는 Col A 의 dimension이 rank A 라는 것이다. (이 때 dimension은 기저백터(basis)의 갯수로 유니크하다.) 이러한 Rank가 Machine Learning에서 의미하는 바는 다음과 같은 예시로 나타낼 수 있다. 다음과 같이 키 몸무게 등의 feature(column)으로 이루어진 데이터셋이 있을 때, 극단적으로 V2, V3, V4가 모두 V..
개띵강 조경현 교수님의 딥러닝을 이용한 자연어 처리 입문을 듣다가 Questions 부분이 너무 좋은 것 같아서 정리한다. https://www.edwith.org/deepnlp/lecture/29219/ NLP를 공부하면서 평소 익숙하던 ML과는 다른 접근의 NLP가 어려웠다. representation 개념이 Neural net과 어떻게 이용되고 겹치는지 헷갈렸기 때문인데 이 강의는 엄청난 명강의 + 헷갈리던 것을 풀어줌 + 한국어 + ... 완벽한 강의이므로 적극 추천한다. Text Classification 강의 후에 나온 Question 에 대한 교수님의 답변들을 정리했다. 강의를 듣고 나온 질문들이기 때문에 nlp 에 대해서 어느정도 아는 사람이 아니라면 강의를 듣는 것을 추천한다. 나도 평소..
신뢰도분석에 자주 쓰이는 Erlang 분포의 MLE 최대우도추정량 유도 과정과 최대우도추정량이다. 신뢰성및보전공학 과제 겸사겸사 구해봤다. 감마분포 감마분포의 밀도함수(pdf) 는 다음과 같다. 이 때 Erlang 분포는 beta 가 정수인 감마분포를 따르는 분포이다. Erlang 분포 Erlang 분포의 밀도함수(pdf) 는 다음과 같다. t가 0보다 크거나 같을 때 성립한다. MLE of Erlang 따라서 beta = 2인 erlang 분포에 대해 최대우도 추정량을 추정하는 과정은 다음과 같이 간단해진다.
건국대학교 최고의 학과~ 응용통계학과 전공 과목인 유규상 교수님의 경제자료분석 팀프로젝트로 진행한 데이터 분석입니다. 경제자료분석 과목은 회귀분석2라고 할 수 있을 정도로 1학기 회귀분석 과목보다 확장되고 다양한 방법론, 그리고 특히 경제자료를 중점으로 어떻게 분석할 수있나에 대해서 배우는 수업이었습니다. 프로젝트는 4-5인 1조, 자유주제, 자유방법, 모든 언어 가능이었고 kick off 발표와 final 발표, 그리고 중간에 교수님과의 면담 2회 이상으로 진행되었습니다. 프로젝트의 주요 채점 기준은 세련되거나 발전된 분석기법의 활용보다는 수업내용의 활용과 충실 등이라고 먼저 공지하셨습니다. 제가 한 분석의 주요 idea는 '버거지수' 에서 영감 받은 '편의점지수' 였으며, improve해야하는 점은 ..
ResNet ResNet 이라는 이름으로 더 유명한 논문을 리뷰해보겠습니다. 최고의 빅데이터 분석 동아리 '투빅스' 과제 겸사겸사 하는 리뷰입니다. (사실 이게 아니라 구현 과제를 해야되는데 어렵네요....) 논문 흐름대로 리뷰되었습니다. https://arxiv.org/pdf/1512.03385.pdf https://arxiv.org/pdf/1603.05027.pdf Abstract 딥러닝에서 neural networks가 깊어질수록 성능은 더 좋지만 train이 어렵다는 것은 알려진 사실입니다. 그래서 이 논문에서는 잔차를 이용한 잔차학습 (residual learning framework)를 이용해서 깊은 신경망에서도 training이 쉽게 이뤄질 수 있다는 것을 보이고 방법론을 제시했습니다. We..
