1. 머신러닝의 큰 지도

머신러닝 알고리즘은 학습 방식에 따라 크게 세 가지로 나뉩니다.

  • 지도학습(Supervised Learning)
    정답(label)이 있는 데이터로 학습
    예: 분류(Classification), 회귀(Regression), 스팸 분류, 집값 예측

  • 비지도학습(Unsupervised Learning)
    정답(label) 없이 데이터의 패턴/구조를 찾음
    예: 군집화(Clustering), 차원 축소(PCA), 고객 세분화

  • 강화학습(Reinforcement Learning)
    에이전트가 환경과 상호작용하며 보상을 최대화하도록 학습
    예: 알파고, 로봇 제어, 게임 AI

2. 앙상블 학습(Ensemble Learning)

앙상블은 여러 개의 약한 모델(weak learner)을 결합해 하나의 강한 모델(strong learner)을 만드는 기법입니다.

Bagging (Bootstrap Aggregating)

  • 여러 모델을 병렬로 학습
  • 예측은 평균(회귀) 또는 다수결(분류)
  • 대표 모델: Random Forest

Boosting

  • 여러 모델을 순차로 학습
  • 이전 모델의 오차를 다음 모델이 보완
  • 대표 모델: AdaBoost, Gradient Boosting, XGBoost, LightGBM, CatBoost

즉, 부스팅은 앙상블의 하위 전략입니다.

3. 개념 간 관계

  • 지도/비지도/강화학습: 머신러닝의 학습 패러다임(큰 틀)
  • 앙상블: 모델 성능을 강화하는 방법론
  • 부스팅: 앙상블 내부의 구체 전략

관계 구조:

머신러닝
├─ 지도학습
│  ├─ 단일 모델 (결정트리, 로지스틱 회귀, SVM 등)
│  └─ 앙상블
│     ├─ Bagging (랜덤포레스트)
│     ├─ Boosting (XGBoost, LightGBM, CatBoost 등)
│     └─ Stacking, Voting
├─ 비지도학습 (K-means, PCA 등)
└─ 강화학습 (DQN, 정책경사 등)

앙상블/부스팅은 보통 지도학습에서 성능 강화에 많이 쓰이며, 비지도·강화학습과는 학습 패러다임이 다릅니다.

4. 쉬운 비유

  • 머신러닝: 학교
  • 지도/비지도/강화학습: 수업 방식
  • 앙상블: 스터디 그룹
  • 부스팅: 스터디에서 서로의 약점을 순서대로 보완하며 실력을 끌어올리는 방식

결론

  • 앙상블은 여러 모델 결합 기법
  • 부스팅은 앙상블의 한 방식
  • 지도/비지도/강화학습은 머신러닝의 큰 학습 틀
  • 앙상블/부스팅은 주로 지도학습에서 성능 강화를 위해 활용됩니다.