[Machine Learning] 앙상블 기법이란?

Ensemble 기법

Ensemble Learning이란

• 여러개의 분류기를 생성하고 그 예측을 결합하여 보다 정확한 예측을 내는 기법
• 강력한 하나의 모델을 사용하는 대신 보다 약한 모델을 여러개 조합하는 방식

 

Ensemble Learning 종류

앙상블 학습은 3가지 유형으로 분류됨

1. Voting
2. Bagging
3. Boosting

 

Voting

• 여러개의 classifier가 투표를 통해 최종 예측결과 결정
• 서로 다른 알고리즘 여러개 결합하여 사용
• Voting 방식
  • Hard Voting : 다수의 classifier가 예측한 결과값을 최종 결과로 선정 (다수결의 법칙)
  • Soft Voting : 모든 classifier가 예측한 label값의 결정 확률 평균을 구한 뒤 가장 확률이 높은 label값을 최종결과로 선정

 

Bagging

: Bootstrap Aggregating

• Bootstrap(데이터 샘플링)을 통해 모델 학습, 결과 집계(Aggregate)하는 방법
  • Bootstrap? 
    : 데이터 내에서 반복적으로 샘플을 사용하는 resampling 기법
• 모두 같은 유형의 알고리즘 기반의 classifier 사용
• 데이터 분할 시 중복허용 (Bootstrap)
• Aggregate집계 방식
  • 이산형 데이터 : 다수결 투표방식으로 결과 집계
  • 연속형 데이터 : 평균값 집계
• 과적합 방지에 효과적
• 대표 알고리즘 : Random Forest

👇 Random Forest 알고리즘 설명이 궁금하다면..!👇

2021.03.08 - [Computer Science/Data Science] - Random Forest 간.단.명.료

Random Forest 간.단.명.료

 

 

Boosting

• 여러개의 classifier가 순차적으로 학습 수행
• 이전 분류기가 예측을 틀린 데이터에 대해서 올바르게 예측할 수 있도록 다음 분류기에게 가중치를 부여하면서 학습&예측 진행
• 이런식으로 계속해서 분류기에 가중치를 부스팅하며 학습을 진행하는 방식을 “부스팅 방식"이라고 함
• 보통 부스팅 방식은 배깅에 비해 성능이 좋지만, 속도가 느리고 과적합 발생 가능성 존재
• 대표 알고리즘 : XGBoost, LightGBM

 

👇 LightGBM 알고리즘 설명이 궁금하다면..!👇

2021.05.20 - [Computer Science/Data Science] - [Machine Learning] LightGBM이란? ✔ 설명 및 장단점

[Machine Learning] LightGBM이란? ✔ 설명 및 장단점

 

 

 

 

 

 

 

reference: http://www.dinnopartners.com/__trashed-4/