(다른 할 일이 많아서 그래프 스터디 정리해놓는 것이 조금 미뤄졌습니다.. ㅎㅎ) 4강은 김태욱님께서 리뷰해주셨습니다. 4강은 네트워크에서 커뮤니티는 어떻게 찾을까?(Community Detection) 에 초점을 맞춘 강의입니다. 3강이 새로운 개념을 마구잡이로 주입하는 내용인 것에 반해, 조금은 더 흥미롭게 술술 읽히는 강의였습니다. 목차 1. Community Structure in Networks 2. Network Communities 3. Louvain Algorithm 4. Detecting Overlapping Communities : BigCLAM 1. Community Structure in Networks 이번 챕터는 서로간에 밀접하게(densely)하게 연결된 노드들을 구분하는 것이..
말 그대로 Apple 이 아이폰 및 기타 기기에 적용해서 사용하고 있는 모델들에 대한 논문들은 당당하게 홈페이지를 통해 업로드하는 중입니다. 애플은 머신러닝에 아주 관심이 많은 기업 중 하나라고 합니다. apple에서 ML 관련으로 일하는 사람 수는 구체적으로 공개하지는 않지만 매우 많다고 들었습니다. 작년에 보았을 때는 주로 시리에 관련된 stt 나 tts 논문이 많았던 것으로 기억하는데 요즘 논문은 봐야 알 것 같습니다. 저는 앱등이 이기 때문에 공유해놓고 종종 들어가보려고 합니다. machinelearning.apple.com/ Overview Apple machine learning teams are engaged in state of the art research in machine learni..
1. 최대한 작은 complexity를 가지면서 우수한 filter를 표현하기 위한 CNN의 핵심 아이디어는 다음 세 가지이다 sparse interactions (sparse weight) parameter sharing (tied weight) equivariant representations 즉, CNN은 layer와 layer간에 모든 connection을 연결하는 대신 일부만 연결하고 (sparse weight), 그리고 그 weight들을 각각 다른 random variable로 취급하여 따로 update하는 대신 특정 weight group들은 weight 값이 항상 같도록 parameter를 share한다 (parameter sharing). 그리고 앞의 아이디어를 잘 활용하여 shift ..
[선형대수] Null Space 와 Orthogonal Complement Null Space(영공간) 과 Orthogonal Complement(직교여집합) 에 대해서 공부한 내용이다. Null Space 정의 선형 방정식 Ax=b에서 b가 zero vector(=Null vector, =0벡터) 일때 식을 만족시키는 모든 가능한 해 x에 대한 집합이다. -> 선형방정식 Ax=0의 해(Solutions)들이 이루는 공간, Null Space를 의미한다. 저번 시간 언젠가, 'Col A : A 의 column에 의해 span 이 되는 space' 라고 정의했다. (직사각행렬 가능) 비슷하게, Nul A 도 Null space of A 로 linear system 에서 Ax=0 을 만족하는 해들의 집합으로..
3강은 오진석님께서 리뷰해주셨습니다. 3강에서는 네트워크의 Subgraph 에 초점을 둬서 Motif 라는 개념과 Graphlet 이라는 개념에 초점을 둡니다. 이 두가지만 정확하게 알고 넘어가도 80%는 성공입니다. 목차 1. Motifs 2. Graphlets : Node feature vectors 3. Finding Motifs and Graphlets 4. Structural Roles in Networks 5. Discovering Structural Roles in Networks Graph 에는 Subnetworks (Subgraph, building blocks of networks) 라는 개념이 있습니다. 이 개념들로 네트워크를 characterize 하고 discriminate(식별)..
coursera 자연어 특화 과정 중 마지막 4번째 코스 Natural Language Processing with Attention Models 에 대해서 공부한 글입니다. 목차 1. Seq2Seq & Attention 2. Training an NMT with Attention 3. Evaluation for Machine Translation 4. Sampling and Decoding 1. Seq2Seq NMT 기계번역 task 를 배우고 Seq2Seq model을 배운다. Seq2Seq 의 문제점과 해결을 소개한다. (1) Seq2Seq Encoder(인코더), Decoder(디코더)에 RNN계역의 모델을 사용한다. 다양한 길이의 input/output 을 동일한 길이의 memory에 할당한다...
