Orthogonal Projection ŷ of y (y의 정사영 y-hat) y의 Orthogonal Projection 값 ŷ 을 구하는 방법을 알아보자. 1. [2차원에서의 설명] Orthogonal Projection ŷ of y onto Line Line L에 Orthogonal projection (사영) 시키는 경우는 다음과 같다. ŷ 의 값을 구하기 위해서는 ŷ 의 길이와 ŷ 의 방향을 곱한다. y의 길이는 y norm 이다. (||y||) ŷ 의 길이는 ||y|| cosθ이기 때문에 y와 u의 내적에서 유도한다. 방향은 u 벡터의 방향에서 유도한다. u 의 unit vector(단위벡터) 를 구하면, 길이는 1이면서 방향만 남는다. 길이 x 방향 을 해주면 2번과 3번을 곱한..
[선형대수] 딥러닝에서의 일대일대응 (ONE-TO-ONE) Neural Networks : ONE-TO-ONE 그냥 들으면 전혀 상관없을 것 같은, 중학교 때 부터 배운 일대일 대응은 딥러닝의 정보 손실과 딥러닝의 설명할 수 없는 블랙박스 모델의 특성과 관련이 있다. 일대일대응이란 함수에서 정의역의 화살을 맞은 치역들이 화살을 한번 씩만 맞았어야한다는 것이다. (추상적이어도 이게 이해하기 쉬워서 풀어서 이렇게 적는다.) 따라서 3차원에서 2차원으로 가는 것과 같은 정의역(input)의 차원이 더 큰 경우는 일대일 대응이 될 수 없다. 이러한 성질을 Neural Network 와 연관지어 본다면, input 이 hidden node 를 거쳐서 output으로 나오는 일련의 과정은 output 예측을 위해서..
딥러닝에서 선형변환의 기하학적 의미 Linear Transformation in Neural Networks 딥러닝에서 선형변환의 기하학적 의미는 다음과 같이 시각화한 gif 로 한장으로 볼 수 있다. 원래의 모눈종이가 standard basis들이라고 하면 ([1,0].T , [0,1].T) 모눈종이가 점점 기울어진 평행사변형이 되는 것이 linear transform (선형변환) 이고, 곡선으로 꾸겨지는 부분은 non linear 함수를 사용했을 때의 모습이다. (이 때 0 부분은 거의 그대로 유지되는 모숩을 볼 수 있다.) 흐르는 것은 bias 를 표현한 것이다. 이러한 일련의 과정이 딥러닝의 node에서 이루어지고 있는 모습을 시각화 한 것이다. Affine Layer 추가로 bias 를 포함한 ..
머신러닝 (Machine Learning)에서 Rank of Matrix 의 의미 선형대수에서 rank의 의미는 다음과 같다. Definition : The rank of a matrix A, denoted by rank A, is the dimension of the column space of A: rank A = dim Col A 이는 Col A 의 dimension이 rank A 라는 것이다. (이 때 dimension은 기저백터(basis)의 갯수로 유니크하다.) 이러한 Rank가 Machine Learning에서 의미하는 바는 다음과 같은 예시로 나타낼 수 있다. 다음과 같이 키 몸무게 등의 feature(column)으로 이루어진 데이터셋이 있을 때, 극단적으로 V2, V3, V4가 모두 V..
신뢰도분석에 자주 쓰이는 Erlang 분포의 MLE 최대우도추정량 유도 과정과 최대우도추정량이다. 신뢰성및보전공학 과제 겸사겸사 구해봤다. 감마분포 감마분포의 밀도함수(pdf) 는 다음과 같다. 이 때 Erlang 분포는 beta 가 정수인 감마분포를 따르는 분포이다. Erlang 분포 Erlang 분포의 밀도함수(pdf) 는 다음과 같다. t가 0보다 크거나 같을 때 성립한다. MLE of Erlang 따라서 beta = 2인 erlang 분포에 대해 최대우도 추정량을 추정하는 과정은 다음과 같이 간단해진다.
건국대학교 최고의 학과~ 응용통계학과 전공 과목인 유규상 교수님의 경제자료분석 팀프로젝트로 진행한 데이터 분석입니다. 경제자료분석 과목은 회귀분석2라고 할 수 있을 정도로 1학기 회귀분석 과목보다 확장되고 다양한 방법론, 그리고 특히 경제자료를 중점으로 어떻게 분석할 수있나에 대해서 배우는 수업이었습니다. 프로젝트는 4-5인 1조, 자유주제, 자유방법, 모든 언어 가능이었고 kick off 발표와 final 발표, 그리고 중간에 교수님과의 면담 2회 이상으로 진행되었습니다. 프로젝트의 주요 채점 기준은 세련되거나 발전된 분석기법의 활용보다는 수업내용의 활용과 충실 등이라고 먼저 공지하셨습니다. 제가 한 분석의 주요 idea는 '버거지수' 에서 영감 받은 '편의점지수' 였으며, improve해야하는 점은 ..
