[Stage 1 - 이론] Ensemble

1️⃣ Ensemble 기법들

1) Model Averaging (Voting)

다양한 Model의 투표를 통해 결과를 내는 방법입니다.

일반적으로 Soft voting 방식의 성능이 Hard voting보다 좋습니다.

 

https://www.edwith.org/bcaitech1

 

2) Stratified K-Fold Cross Validation

가능한 경우를 모두 고려 + Spllit 시에 Class 분포까지 고려하는 방법입니다.

 

단점은 K 숫자에 따라서 iteration이 K배 늘어납니다.

 

https://www.edwith.org/bcaitech1

 

3) TTA (Test Time Augmentation)

Test에 사용되는 이미지를 Augmentation한 후 출력된 여러가지 결과를 Ensemble하는 방법

 

https://www.edwith.org/bcaitech1

 

4) 성능과 효율의 Trade-off

Ensemble 효과는 확실히 있지만 그만큼 학습, 추론 시간이 배로 소모됩니다.

 

https://www.edwith.org/bcaitech1

 

 

2️⃣ Hyperparameter Optimization

Hyperparameter를 최적화시키는 방법입니다. 요즘에는 많이 사용하지 않습니다.

(걸리는 시간에 비해 성능이 좋지 않기 때문)

 

주요한 Hyperparameter는 다음과 같습니다.

 

https://www.edwith.org/bcaitech1