머신러닝/딥러닝에서의 활성화/데이터전처리: Softmax, Sigmoid, MinMaxScaler, StandardScaler

문득 머신러닝/딥러닝을 공부하는데

아래의 내용이 반복해서 나오기 시작했다. 뭔가 정리가 필요하다 .

0~1 사이 숫자
확률
정규화
스케일링
Sigmoid
Softmax
MinMaxScaler

 

Softmax	활성화 함수(Activation Function)
Sigmoid	활성화 함수(Activation Function)
MinMaxScaler	데이터 전처리(Feature Scaling)
StandardScaler	데이터 전처리(Feature Scaling)

 

 

 

활성화함수. Softmax, Sigmoid

출력값을 특정형태로 변환하는 역할

 

데이터전처리 스케일링/정규화 표준화처리 MinMaxScaler, StandardScaler

머신러닝 모델에 넣기전에 데이터를 변환하는 전처리 기법. 

 

 

 

softmax 

모델 출력의 각 라벨에 점수들을 0~1값으로 변환되어 전체의 합이 1이된다. 

출력노드가 여러개이다 .

다중 분류 즉 고양이, 개, 자동차, 비행기 중 하나 선택할때 사용한다. softmax의 결과는 각 클래스일 확률처럼 해석할 수 있다. 

고양이 : 2.1
개     : 8.3
자동차 : 1.2
비행기 : 2.0

고양이 : 0.02
개     : 0.95
자동차 : 0.01
비행기 : 0.02

 

 

 

sigmoid

0~1로 출력한다 .

스팸, 비스팸 분류 등의 이진분류에 사용된다. 출력노드는 1개.

0.95면 95%확률로 스팸으로 해석되는것. softmax와 비슷하지만 출력노드가 여러개가 아님으로 각 클래스를 독립적으로 판단할 수 있다. 또 각 출력이 독립적이기에 전체합이 1일 필요도 없다 .

입력 = 10
출력 = 0.99995

입력 = -10
출력 = 0.00005

 

 

 

 

 

min-max scaling

최솟값을 0, 최댓값을 1로 두고 입력데이터를 정규화하는 것. 

키
150
170
190

0.0
0.5
1.0

 

 

 

standardscaler 

이것도 꽤많이 봤다. 기본적인 정규화 표준화도구인데 

평균을 0, 분산을 1, 표준편차를 1로 둔다.

음수 ~ 양수 로 표시된다. 

각 라벨에서 키와 연봉이 있다면 키보다 연봉의 숫자가 보통 더 크기때문에 머신러닝이 연봉을 더 중요하게 생각할 수 있다. 

KNN, SVM, PCA, Logistic Regression, Neural Network 등 크기에 민감한 알고리즘 학습전에 사용한다. 

 

 

 

즉

softmax = 합이 1

sigmoid = 예/아니오 확률

minmaxscaler 데이터 크기 맞춤 0~1

standardscaler 평균1, 분산 1의 숫자 표준화