입력변수의 개수 차원 Dimension, 차원의 저주 Curse of Dimensionality 와 차원축소 Dimensionality Reduction하는 이유

차원

Dimension

입력변수의 개수.

사람 등록을 위해 키, 몸무게, 나이가 필요하다면 이 3개가 차원이 된다 .

x=(170,65,20)

즉 위 벡터는 3개의 요소를 가지므로 3차원 공간의 한 점이 된다. 

 

 

 

 

 

차원의 저주

Curse of Dimensionality

머신러닝에서 매우 중요한 개념. 차원이 증가할 수록 데이터 공간이 기하급수적으로 커지는 현상

 

1차원 

----------

 

2차원

□□□□□

 

3차원

□
□
□

 

이 차원이 100차원이라고 생각해보자 .상상하기 어려운 거대한 공간으로 데이터가 매우 희박하게 분포하며 데이터수가 부족하고 패턴학습이 어려워 성능이 저하할수있다 차원이 과해지면 오히려 문제가 발생하는것. 차원의 저주.

이를 해결하기위해 아래의 방법이 사용된다. 

 

 

 

 

 

 

차원축소

Dimensionality Reduction

데이터가 가지고 있는 특성의 개수(차원)을 줄이는 과정

고차원의 데이터를 적은 수의 변수로 압축하며 중요한 정보를 유지하는 기술

특성을 확인한 결과 일부 핵심요소로 대부분 설명이 가능하다면 n차원을 2차원 등으로 압축할 수 있다. 

변수가 너무 많으면 모델은 많은 계산을 수행해야하고 학습해야할 가중치 수도 증가한다.  CPU, GPU 학습시간이 증가되며 문제가 발생하며 모든 특성이 중요한것이 아니니 불필요한 변수를 제거하는것. 

이를 통해 과적합감소, 사람이 이해할 수 있는 1, 2, 3차원으로 줄여  시각화가능하다.