Holder's inequeality 증명 코시슈바르츠 부등식(Cauchy-Schwarz inequality)은 Hölder's inequality 의 특별한 경우이다. (p=q=2의 경우) 따라서 근-본이 되는 holder inequality(Hölder's inequality) 의 증명은 다음과 같다. 이 부등식과 연관된 부등식은, jensen's inequality, Hölder's inequality, Cauchy-Schwarz inequality 이다. 사용되는 Lemma에 대한 증명 Hölder's inequality 증명
말 그대로 Apple 이 아이폰 및 기타 기기에 적용해서 사용하고 있는 모델들에 대한 논문들은 당당하게 홈페이지를 통해 업로드하는 중입니다. 애플은 머신러닝에 아주 관심이 많은 기업 중 하나라고 합니다. apple에서 ML 관련으로 일하는 사람 수는 구체적으로 공개하지는 않지만 매우 많다고 들었습니다. 작년에 보았을 때는 주로 시리에 관련된 stt 나 tts 논문이 많았던 것으로 기억하는데 요즘 논문은 봐야 알 것 같습니다. 저는 앱등이 이기 때문에 공유해놓고 종종 들어가보려고 합니다. machinelearning.apple.com/ Overview Apple machine learning teams are engaged in state of the art research in machine learni..
1. 최대한 작은 complexity를 가지면서 우수한 filter를 표현하기 위한 CNN의 핵심 아이디어는 다음 세 가지이다 sparse interactions (sparse weight) parameter sharing (tied weight) equivariant representations 즉, CNN은 layer와 layer간에 모든 connection을 연결하는 대신 일부만 연결하고 (sparse weight), 그리고 그 weight들을 각각 다른 random variable로 취급하여 따로 update하는 대신 특정 weight group들은 weight 값이 항상 같도록 parameter를 share한다 (parameter sharing). 그리고 앞의 아이디어를 잘 활용하여 shift ..
[선형대수] Null Space 와 Orthogonal Complement Null Space(영공간) 과 Orthogonal Complement(직교여집합) 에 대해서 공부한 내용이다. Null Space 정의 선형 방정식 Ax=b에서 b가 zero vector(=Null vector, =0벡터) 일때 식을 만족시키는 모든 가능한 해 x에 대한 집합이다. -> 선형방정식 Ax=0의 해(Solutions)들이 이루는 공간, Null Space를 의미한다. 저번 시간 언젠가, 'Col A : A 의 column에 의해 span 이 되는 space' 라고 정의했다. (직사각행렬 가능) 비슷하게, Nul A 도 Null space of A 로 linear system 에서 Ax=0 을 만족하는 해들의 집합으로..
coursera 자연어 특화 과정 중 마지막 4번째 코스 Natural Language Processing with Attention Models 에 대해서 공부한 글입니다. 목차 1. Seq2Seq & Attention 2. Training an NMT with Attention 3. Evaluation for Machine Translation 4. Sampling and Decoding 1. Seq2Seq NMT 기계번역 task 를 배우고 Seq2Seq model을 배운다. Seq2Seq 의 문제점과 해결을 소개한다. (1) Seq2Seq Encoder(인코더), Decoder(디코더)에 RNN계역의 모델을 사용한다. 다양한 길이의 input/output 을 동일한 길이의 memory에 할당한다...
[선형대수] 고유값과 고유벡터 (eigenvector & eigenvalue) 이름이 멋있는 eigenvector 와 eigenvalue 다른 개념과 같이 포스팅할까..? 하면서 미루다가 얼른 포스팅한다. 행렬대수학 수강당시에도 돌이켜보니..남은 것은 eigen vector 와 eigen value 뿐...이 랬던 것 같은데 다시 배우니 재밌다. 다음과 같은 순서로 포스팅 하겠다. Eigenvectors 와 Eigenvalues 의 개념 배우는 이유 어떻게 구하는지 1. Eigenvectors 와 Eigenvalues 의 개념 matrix 에 대한 중요한 정보를 가져오는 과정을 Eigen Decomposition 이라고 한다. matrix A가 square matrix 로 주어질 때 (n x n), A의..
