또르르's 개발 Story

1️⃣ Ensemble 기법들 1) Model Averaging (Voting) 다양한 Model의 투표를 통해 결과를 내는 방법입니다. 일반적으로 Soft voting 방식의 성능이 Hard voting보다 좋습니다. 2) Stratified K-Fold Cross Validation 가능한 경우를 모두 고려 + Spllit 시에 Class 분포까지 고려하는 방법입니다. 단점은 K 숫자에 따라서 iteration이 K배 늘어납니다. 3) TTA (Test Time Augmentation) Test에 사용되는 이미지를 Augmentation한 후 출력된 여러가지 결과를 Ensemble하는 방법 4) 성능과 효율의 Trade-off Ensemble 효과는 확실히 있지만 그만큼 학습, 추론 시간이 배로 소모..

1️⃣ Loss 1) Custom Loss Focal Loss Class Imbalance 문제(확률 자체가 낮게 측정됨)가 있는 경우, 맞춘 확률이 높은 Class는 조금의 loss를, 맞춘 확률이 낮은 Class는 Loss를 훨씬 높게 부여합니다. Label Smoothing Loss Class target label을 Onehot 표현으로 사용하기보다는 ex)[0,1,0,0,0,…] 조금 Soft하게 표현해서 일반화 성능을 높이기 위함 ex)[0.025,0.9,0.025,0.025,…] 2️⃣ Optimizer Optimizer는 Loss 값을 실제 Weight에 적용해 조정하는 역할을 합니다. 이때, 중요한 것은 Learning rate (학습률)로 얼마나 움직일지를 결정하는 역할을 합니다. 1)..

1️⃣ Model 정의 1) nn.Modules nn.Modules를 상속받아서 사용하면 model 객체 자체를 print (오른쪽 위) 하거나 modules() 함수를 사용 (오른쪽 아래)해서 모듈의 구조를 파악할 수 있습니다. 또한, forward 함수를 사용하면 a(x)와 같이 객체에 직접 넣어서 (오른쪽 위) 사용할 수 있습니다. 2) nn.Module Family nn.Module을 상속받은 모든 클래스의 공통된 특징은 모든 nn.Module은 child modules를 가질 수 있다는 점입니다. Model을 정의하는 순간, 그 모델에 연결된 모든 module을 확인할 수 있습니다. Pytorch의 nn.Module에 정의되어있는 모든 module들은 forward함수 등 똑같은 양식으로 작성되..

1️⃣ Data Augumentation 라이브러리 torchvision.transforms - RandomCrop : 랜덤으로 crop을 해서 input으로 넣는 방법 - Flip : 상하 또는 좌우로 반전 / 하지만 flip은 사진을 거꾸로 찍는 사람은 거의 없으므로 역효과가 날 수 있습니다. Albumentations Albumentations 라이브러리를 사용하면 더 빠르고 더 다양한 data agumentation들을 사용할 수 있습니다. 2️⃣ Generator 모델 학습을 할 때 Data Generator와 Model의 batch size를 맞춰주는 것이 중요합니다. Data Generator가 초당 10 batch 밖에 되지 않으면 Model의 batch 처리 속도가 아무리 빨라도 Max ..