레이블스무딩

· Data/MLDL
MUSTHAVE 12장을 실습한 내용입니다. 4. 성능 개선 4가지 기법을 추가해 성능 개선에 도전해보겠습니다. 에폭 늘리기 스케줄러 추가 TTA(테스트 단계 데이터 증강) 기법 레이블 스무딩 적용 에폭 늘리기와 스케줄러 추가는 '모델 훈련 및 성능 검증' 단계 초반에 수행합니다. TTA와 레이블 스무딩은 무려 '예측' 단계에서 이루어지는 성능 개선 기법입니다. 모델 생성까지는 베이스라인과 똑같이 실행합니다. ① 모델 훈련 및 성능 검증 손실 함수 및 옵티마이저 설정도 베이스라인과 동일합니다. 스케줄러를 추가로 설정한 후 본격적인 모델훈련에 돌입하겠습니다. 스케줄러 설정 스케줄러는 훈련 과정에서 학습률을 조정하는 기능을 제공합니다. 훈련 초반에는 학습률이 큰 게 좋습니다. 빠르게 가중치를 갱신하기 위해서..
dunedine
'레이블스무딩' 태그의 글 목록