머신러닝의 Ensemble Learning 앙상블이란?

Ensemble Learning 앙상블이란?

여러 뜻이있으나,, 머신러닝중점으로 이해해보자 .

 

여러개의 모델을 함께 사용해서 하나의 더 강한 모델을 만드는 방법

과적합, 성능 흔들림, 특정 패턴에 약함 등의 모델 문제를 여러개 모델을 합치면 더 안정적이지 않을까하는것이 핵심 아이디어.

약한 모델을 합쳐 강한 모델을 만든다.

https://namu.wiki/w/%EC%95%99%EC%83%81%EB%B8%94

앙상블

https://namu.wiki/w/%EA%B8%B0%EA%B3%84%ED%95%99%EC%8A%B5#s-7.5

기계학습

 

 

 

 

앙상블의 구조

앙상블 (Ensemble)
 ├─ Bagging (병렬) = 여러개 모델을 따로 학습시켜 결과를 합친다. 
 ├─ Boosting (순차)
 └─ Voting (단순 결합)

 

대표앙상블

Bagging(Random Forest): 여러 트리를 병렬로 만들어 투표.

Random Forest: Bagging에서 특정중요한 변수를 트리 대부분에서 써버리면 비슷해져 다양한 의견을 듣지 못하고 전부 비슷한 내용만 알게 된다 .이때 사용할 특성을 랜덤으로 제한해서 보완한것을 말함.

Boosting: bagging은 트리들이 동시에 학습했으나 Boostring은 앞 모델이 틀린 문제를 뒤 모델이 집중적으로공부한다 .

AdaBoost : 최초의 Boostinㅎ 알고리즘으로 틀린문제에 가중치를 준다. 틀린데이터를 중요데이터로 인식하는것. 

Gradient Boosting: AdaBoost는 틀린데이터 찾기라면 Gradient Boosting은 오차 자체를 학습해 실제값이 100이고 예측값이 80이었다면 오차값 20을 줄이는 방향으로 학습해 성능이 점점 좋아진다. XGBoost, LightGBM, CatBoost 모두 같은 계열