선형차원축소, LDA Linear Discriminant Analysis

입력변수 개수를 차원, 차원의 저주를 보완하기위해 혹은 시각화하기위한 과정을 차원축소라고 한다 .

https://standout.tistory.com/1779

입력변수의 개수 차원 Dimension, 차원의 저주 Curse of Dimensionality 와 차원축소 Dimensionality Reduction하

 

 

 

차원축소의 방법에는 특성선택, 특성추출이있다. 

https://standout.tistory.com/1780

차원축소의 방법: 특성선택 & 특성추출(선형 & 비선형)

 

 

 

특성추출에서의 선형차원축소 방법중 아래의 방법을 확인해보자 . 

 

LDA Linear Discriminant Analysis 선형판별 분석

분산이 큰 방향을 찾는 pca와 비슷하게 차원을 줄이지만 LDA는 정답 라벨을 사용해 클래스를 가장 잘 구분하는 방향을 찾는다.  = PCA: 데이터가 넓게 퍼지는 방향, LDA 클래스가 잘 나뉘는 방향

https://standout.tistory.com/1781

선형차원축소, PCA Principal Component Analysis: 가장 기본적인 차원축소

 

 

 

 

 

같은 클래스는 가깝게, 다른 클래스는 멀게.

분류문제 클래스간 거리가 최대, 내부거리 최소로 가장 잘 구분하는 방향을 찾는다.

아래는 여러차원을 1차원으로 축소하는 코드.

이때 보아야할점은 위 PCA에서는 x값만 필요했으나 LDA는 y값도 필요로 하는 것을 확인하자.

from sklearn.discriminant_analysis import LinearDiscriminantAnalysis

lda = LinearDiscriminantAnalysis(n_components=1)
X_lda = lda.fit_transform(X, y)