차원축소의 방법: 특성선택 & 특성추출(선형 & 비선형)

 

 

입력변수 개수를 차원, 차원의 저주를 보완하기위해 혹은 시각화하기위한 과정을 차원축소라고 한다 .

차원축소에 특성추출에는 대표적으로 선형차원축소와 비선형 차원축소가있다. 

Autoencoder는 비선형 차원축소방법에 포함되나 보통 별도의 딥러닝 기반 차원 축소 카테고리로 분류하기도한다.

https://standout.tistory.com/1779

입력변수의 개수 차원 Dimension, 차원의 저주 Curse of Dimensionality 와 차원축소 Dimensionality Reduction하

 

 

차원축소의 방법에는 특성선택, 특성추출이있다. 

차원 축소
│
├─ 특성 선택
│   ├─ Filter
│   ├─ Wrapper
│   └─ Embedded
│
└─ 특성 추출
    │
    ├─ 선형 차원 축소
    │   ├─ PCA
    │   └─ LDA
    │
    ├─ 비선형 차원 축소
    │   ├─ t-SNE
    │   └─ UMAP
    │
    └─ 딥러닝 기반
        └─ Autoencoder

 

 

 

특성선택

Filter 필터방식

통계적으로 상관계수(성적과의 상관관계) , 분산(값 변화가 거의 없는 변수제거)

빠르고 모델과 독립적이나 모델 성능과 직접 연결되지않을 수도 있다. 

 

Wrapper 래퍼방식

실제로 모델을 계속 학습시켜 보면서 선택. 변수를 조합해 학습하며 성능을 비교하며 전진선택(추가), 후진제거(하나씩제거),

RFE(중요도가 낮은 변수부터제거 Fecursive Feature Elimination).. 모델 성능 기준으로 선택할 수 있으나 계산해야하는 비율이 크다.

 

Embedded 임베디드방식

모델 학습과정에서 중요한 변수를 자동으로 선택한다. 학습과 변수선택을 동시에 수행한다.

Lasso(L1정규화, 많은 가중치를 0으로 만들어 불필요한 변수를 제거), Decision Tree(중요한 변수위주로 묶기), Random Froest(여러 트리의 중요도를 평균), XGBoost(트리기반중요도 제공) 학습과 변수선택을 동시에 수행할 수 있으나 모델 종류에 영향을 받는다 .

 

 

특성추출

특성선택이 기존 변수를 유지했다면 새로운 변수를 생성하는 방향으로 해결한다. 

 

선형 차원축소: PCA, LDA

https://standout.tistory.com/1781

선형차원축소, PCA Principal Component Analysis: 가장 기본적인 차원축소

https://standout.tistory.com/1782

선형차원축소, LDA Linear Discriminant Analysis

 

 

 

 

비선형 차원축소: t-SNE, UMAP, Autoencoder

https://standout.tistory.com/1783

비선형 차원축소, t-SNE, t-distributed Stochastic Neighbor Embedding

https://standout.tistory.com/1784

비선형 차원축소, UMAP , Uniform Manifold Approximation and Projection