Holder's inequeality 증명 코시슈바르츠 부등식(Cauchy-Schwarz inequality)은 Hölder's inequality 의 특별한 경우이다. (p=q=2의 경우) 따라서 근-본이 되는 holder inequality(Hölder's inequality) 의 증명은 다음과 같다. 이 부등식과 연관된 부등식은, jensen's inequality, Hölder's inequality, Cauchy-Schwarz inequality 이다. 사용되는 Lemma에 대한 증명 Hölder's inequality 증명
[선형대수] Null Space 와 Orthogonal Complement Null Space(영공간) 과 Orthogonal Complement(직교여집합) 에 대해서 공부한 내용이다. Null Space 정의 선형 방정식 Ax=b에서 b가 zero vector(=Null vector, =0벡터) 일때 식을 만족시키는 모든 가능한 해 x에 대한 집합이다. -> 선형방정식 Ax=0의 해(Solutions)들이 이루는 공간, Null Space를 의미한다. 저번 시간 언젠가, 'Col A : A 의 column에 의해 span 이 되는 space' 라고 정의했다. (직사각행렬 가능) 비슷하게, Nul A 도 Null space of A 로 linear system 에서 Ax=0 을 만족하는 해들의 집합으로..
[선형대수] 고유값과 고유벡터 (eigenvector & eigenvalue) 이름이 멋있는 eigenvector 와 eigenvalue 다른 개념과 같이 포스팅할까..? 하면서 미루다가 얼른 포스팅한다. 행렬대수학 수강당시에도 돌이켜보니..남은 것은 eigen vector 와 eigen value 뿐...이 랬던 것 같은데 다시 배우니 재밌다. 다음과 같은 순서로 포스팅 하겠다. Eigenvectors 와 Eigenvalues 의 개념 배우는 이유 어떻게 구하는지 1. Eigenvectors 와 Eigenvalues 의 개념 matrix 에 대한 중요한 정보를 가져오는 과정을 Eigen Decomposition 이라고 한다. matrix A가 square matrix 로 주어질 때 (n x n), A의..
QR분해 (QR Factorization) 그람-슈미트 직교화에서 orthogonal한 벡터를 주고 다시 원래의 벡터를 찾는 것을 matrix factorization, input matrix 복원이라고 언급했다. 이번 글에서는 이 QR Factorization을 설명한다. 1. 그람-슈미트 직교화를 설명한 예제에서 basis를 찾은 모습은 다음과 같다. 선형결합의 꼴로 나타낼 수 있다. 원래의 벡터가 basis와 다른 matrix로 선형결합꼴이 된다. 왼쪽의 벡터가 주어진 basis 이고 입력벡터, 오른쪽을 가중치로 볼 수 있다. 2. 여기서 ㅁ 를 채우는 방법 = 가중치(weight)를 구하는 방법이다. basis 두 가지 중에 제일 첫번째 벡터는 단순히 원래 벡터의 normarlize 로 구했기 때..
그람-슈미트 직교화 (Gram–Schmidt Orthogonalization) 먼저, Gram-Schmidt Orthogonalization, 왜 배우는 걸까? feature 간 수직 (Orthogonal)이 되지 않으면 중복된 정보를 추출하게 된다. -> linearly independent 한 feature를 Orthogonal 하게 만들자! 이전 글(Orthogonal Projection)에 포스팅한 마법의 공식, 다시 등장한다. projection 의 공식이다. 위키피디아에서는 사영 연산자를 다음과 같이 정의한다. 그람-슈미트 과정의 일반화 된 공식은 아래와 같다. 이 공식을 도출해보자. 예제 먼저 2차원에서는 쉽다. Let W = span{v1, v2}, where v1 = [3,6,0].T a..
다중공선성 (Multicollinearity) / correlation 의 기하학적 의미 머신러닝 모델을 만들 때 흔히 발생하는 문제 중 하나가 다중공선성이다. 그렇다면 다중공선성, 즉 변수간의 correlation이 높다는 것은 어떤 뜻이고 어떤 문제를 야기할까? 이 글은 저번 Orthogonal Projection 과 이어진다. 2021/01/26 - [[ Today I Learned ]/Linear algebra] - [선형대수] Orthogonal Projection ŷ of y [선형대수] Orthogonal Projection ŷ of y Orthogonal Projection ŷ of y, (y의 정사영 y-hat) y의 Orthogonal Projection 값 ŷ 을 구하는 방법을..
