[P-KLUE] 9일차 회고 : 앙상블 , 대회끝, 부캠라디오 , 성공적!!

 

 

 

안녕하세요~~

27년차 진로탐색꾼 조녁입니다!!

 

말로만 듣던 그걸 제가 오늘 해냈습니다!!

바로 "멘.탈.승.리!!" ㅋㅋㅋㅋㅋ 등수는 낮았지만 그래도 마지막에 점수가 올랐고 많이 배울 수 있었던 대회였습니다.

무엇보다 시험을 잘보든 못보든 시험기간이 끝나면 기분이 좋은(=지금 제 기분) 그 기분입니다 ㅎㅎ 

 

이번에도 성장했다! 다른사람들과 속도가 다를 순 있지만 나는 성장하고 있다!

(wrap-up 다 쓰면 변성윤 마스터님이 추천해주신 회고도 적어보자)

 

 

0. TO DO

---

1. epoch 짧게씩 이어서 돌려보기 (seed 바뀌면서 앙상블 효과 있지 않을까?)
2. 가장 잘 나온 checkpoint들로 softmax 전에 앙상블해보기
3. 대회 종료 후 정리
   1. 노션에 개인 wrap-up 틀 잡기
   2. 서버 사라지기 전에 깃헙에 정리해서 올리기

 

 

1. 오늘 배운 내용

---

• 앙상블을 할때 갯수 , 성능을 따지기 전에 일단 와구와구 모아서 해보면 성능이 오르긴한다.
• 앙상블 한것들로 또 앙상블을 해도 좀수가 조금씩 오른다. 결국 약 2점올랐다.
• k-fold도 해주면 무족권 오른다!! (우린 안했네 ... )

 

 

2. 오늘나온 질문 & 답변

---

• 왜 내꺼는 동일 조건으로 돌리는 다른 사람보다 낮을까?? 
  • 배치 & 씨드는 다음 문제일 듯
    • 바꿔가면서 실험한 결과 이거떄문은 아니다. 차이가 그렇게 크지 않기 떄문이다.
  • 러닝 스케줄러 & lr 바꿔봐야할 듯!!
    • 어차피 2에폭씩 짧게 이어서 돌릴거면 돌릴때마다 lr 낮추면 될듯 (warm-up step 짧게 300으로)
      • 추론해보기론, lr이 너무 낮아서 오히려 학습이 안되는 것 같다.
      • 다음 대회에선 학습할만큼 하고 잘된 모델에 그 이후에 엄청 낮은 에폭으로 추가학습해보는 걸 해봐야겠다!

      

      

 

 

3. 나중에 보면 좋은 자료

 

• What is Gradient Accumulation in Deep Learning? : https://towardsdatascience.com/what-is-gradient-accumulation-in-deep-learning-ec034122cfa
• 허깅페이스 기초 : https://hyunlee103.tistory.com/118
• 허깅페이스 이용해서 GPT-2로 분류문제 파이프라인 만들기 : https://ichi.pro/ko/hugging-face-transformersleul-sayonghan-tegseuteu-bunlyu-yong-gpt2-95955294951474

 

 

(오늘은 wrap-up도 적어야하고 코드 백업도 해야하니 바로 회고해버리자)

 

4. 회고 : 앙상블 , 대회끝, 부캠라디오 , 성공적!!

---

진짜 오늘 하루 다이나믹했는데 지금 부캠라디오를 들으며 회고를 쓰다보니 그냥 라디오 생각밖에 안난다 ㅋㅋㅋㅋㅋ 준비해주시는 운영진분들도 (황.. 핑님과 퐁님) 너무 너무 감사드린다. 덕분에 대회동안 쌓인 피로가 끝과함께 풀리는 기분이다.

 

내일은 우선 오전에 코드 정리 및 질답 형식으로(내가 생각해본 인상적인 레포트 형태) 개인 레포트 정리하는 게 목표다. 일단 틀을 잡고 살 붙이는 건 생각나면 해도되고, 멘토님 피드백 받고해도되니 일단 빠르게 만들고 뉴스요약 task 레포트랑 다음 대회(대화 요약 & MRC)에 대해 공부하자!!

 

추가로 pandas나 시각화 강의도 찾아서 듣자!! 기본이지만 굉장히 중요하다는 걸 또한번느꼈다. (토요일까지 국립국어원 데이터셋구축까지해가야함 잊지말자..)

 

오늘도 , KLUE 대회도 수고많았다!! 푹자고 내일 맑은 기운으로 정리도 잘하자 !!