AdamW 썸네일형 리스트형 옵티마이저 비교 (AdamW , RAdam , AdamP) 및 간단 사용법 안녕하세요~! 27년차 진로탐색꾼 조녁입니다! 오늘은 사용해본 옵티마이저 간단한 사용법과 비교 남깁니다. 자세한 내용은 참고자료 남겨두겠습니다. -> 결론 : 저는 AdamW가 제일 안정적으로 잘 나왔습니다. 아직 옵티마이저의 하이퍼파라미터들은 안바꿔봤지만 큰 차이는 없을 것 같습니다. 1.Adam 과 RAdam 비교 - 한 마디로 정리하자면 RAdam은 Adam의 수식에 rectification을 곱해줌으로써 학습 초기에 일어날 수 있는 bad local optima problem을 해결하고, 학습 안정성을 높였다고 할 수 있습니다. 2. AdamW와 AdamP 비교 - AdamW에 비해 norm increase를 adjust하는 방식이라서 weight decay coupling과는 서로 complem.. 더보기 이전 1 다음
