[선형대수] 딥러닝에서의 일대일대응 (ONE-TO-ONE) Neural Networks : ONE-TO-ONE 그냥 들으면 전혀 상관없을 것 같은, 중학교 때 부터 배운 일대일 대응은 딥러닝의 정보 손실과 딥러닝의 설명할 수 없는 블랙박스 모델의 특성과 관련이 있다. 일대일대응이란 함수에서 정의역의 화살을 맞은 치역들이 화살을 한번 씩만 맞았어야한다는 것이다. (추상적이어도 이게 이해하기 쉬워서 풀어서 이렇게 적는다.) 따라서 3차원에서 2차원으로 가는 것과 같은 정의역(input)의 차원이 더 큰 경우는 일대일 대응이 될 수 없다. 이러한 성질을 Neural Network 와 연관지어 본다면, input 이 hidden node 를 거쳐서 output으로 나오는 일련의 과정은 output 예측을 위해서..
딥러닝에서 선형변환의 기하학적 의미 Linear Transformation in Neural Networks 딥러닝에서 선형변환의 기하학적 의미는 다음과 같이 시각화한 gif 로 한장으로 볼 수 있다. 원래의 모눈종이가 standard basis들이라고 하면 ([1,0].T , [0,1].T) 모눈종이가 점점 기울어진 평행사변형이 되는 것이 linear transform (선형변환) 이고, 곡선으로 꾸겨지는 부분은 non linear 함수를 사용했을 때의 모습이다. (이 때 0 부분은 거의 그대로 유지되는 모숩을 볼 수 있다.) 흐르는 것은 bias 를 표현한 것이다. 이러한 일련의 과정이 딥러닝의 node에서 이루어지고 있는 모습을 시각화 한 것이다. Affine Layer 추가로 bias 를 포함한 ..
머신러닝 (Machine Learning)에서 Rank of Matrix 의 의미 선형대수에서 rank의 의미는 다음과 같다. Definition : The rank of a matrix A, denoted by rank A, is the dimension of the column space of A: rank A = dim Col A 이는 Col A 의 dimension이 rank A 라는 것이다. (이 때 dimension은 기저백터(basis)의 갯수로 유니크하다.) 이러한 Rank가 Machine Learning에서 의미하는 바는 다음과 같은 예시로 나타낼 수 있다. 다음과 같이 키 몸무게 등의 feature(column)으로 이루어진 데이터셋이 있을 때, 극단적으로 V2, V3, V4가 모두 V..
제가 속한 동아리 투빅스(ToBigs)에서 공부한 자연어처리, 텍스트 세미나를 정리한 블로그를 소개합니다. 스탠포드 대학의 CS224N 2019 강의를 리뷰했습니다. 아래는 블로그 소개글과 설명입니다. 투빅스 텍스트 세미나 블로그 링크 Tobigs Text Seminar, 13&14 AI/빅데이터 연합동아리 투빅스 텍스트 세미나입니다. 투빅스 13&14기가 모여 자연어처리를 공부하고, 해당 내용을 정리해 놓은 블로그입니다. 🌀 커리큘럼 🌀 ✔️ CS224n Winter2019 : Natural Language Processing with Deep Learning ✔️ 강의자료 및 assignment는 git 에 올라와 있습니다. Week Date Lecture Reviewer 0주차 Edwith 조경현 ..
프로젝트 한 내용을 git 레퍼지토리에 push 할 때, 오픈 소스로 사용한 파일을 포함한 경우 git이 복잡해 질 수 있다. git remote -v 로 연결되어있는 git 을 확인 후에 연결을 끊고 다시 배포하자 # 연결 확인 git remote -v # 이런식으로 뜰 것이다. origin https://github.com/****/****.git (fetch) origin https://github.com/****/****.git (push) # 연결 끊기 git remote remove origin
개띵강 조경현 교수님의 딥러닝을 이용한 자연어 처리 입문을 듣다가 Questions 부분이 너무 좋은 것 같아서 정리한다. https://www.edwith.org/deepnlp/lecture/29219/ NLP를 공부하면서 평소 익숙하던 ML과는 다른 접근의 NLP가 어려웠다. representation 개념이 Neural net과 어떻게 이용되고 겹치는지 헷갈렸기 때문인데 이 강의는 엄청난 명강의 + 헷갈리던 것을 풀어줌 + 한국어 + ... 완벽한 강의이므로 적극 추천한다. Text Classification 강의 후에 나온 Question 에 대한 교수님의 답변들을 정리했다. 강의를 듣고 나온 질문들이기 때문에 nlp 에 대해서 어느정도 아는 사람이 아니라면 강의를 듣는 것을 추천한다. 나도 평소..
