[선형대수] 딥러닝에서의 일대일 대응 (ONE-TO-ONE)

[선형대수] 딥러닝에서의 일대일대응 (ONE-TO-ONE)

Neural Networks : ONE-TO-ONE

그냥 들으면 전혀 상관없을 것 같은, 중학교 때 부터 배운 일대일 대응은 딥러닝의 정보 손실과 딥러닝의 설명할 수 없는 블랙박스 모델의 특성과 관련이 있다.

 

일대일대응이란 함수에서 정의역의 화살을 맞은 치역들이 화살을 한번 씩만 맞았어야한다는 것이다. 
(추상적이어도 이게 이해하기 쉬워서 풀어서 이렇게 적는다.)

따라서 3차원에서 2차원으로 가는 것과 같은 정의역(input)의 차원이 더 큰 경우는 일대일 대응이 될 수 없다.

이러한 성질을 Neural Network 와 연관지어 본다면, input 이 hidden node 를 거쳐서 output으로 나오는 일련의 과정은
output 예측을 위해서 여러 데이터를 한 개로 mapping 하는 과정이다. 따라서 고차원 -> 저차원 이기 때문에 일대일 대응이 될 수 없다.

 

일대일 대응이 될 수 없다는 것은 크게 2가지를 나타낸다.

1. 정보손실이 일어난다. 여러가지를 한개로 mapping 하면서 유용한 정보만 살리게 된다.
   아래의 예시에서 over-weighted 노드는 [170, 70, 0] 데이터도 100으로 mapping하고 [180, 80, 0] 데이터도 100으로 mapping하게 된다. (키 - 몸무게를 할 때)
   여러 데이터의 미세한 개개의 차이는 한 가지로 mapping 되어 버린다.

2. 즉 일대일 대응이 아니기 때문에 역추적을 할 수 없으며, 원래 값이 무엇인지 역함수로 보존 할 수 없다.
   딥러닝 모델을 블랙박스 모델이라고 부르게 되는 이유가 여기서 나온다.

 

 

Reference

주재걸 교수님의 인공지능을 위한 선형대수