[P-KLUE] 7일차 회고 : 하루에 1% 씩 성장하자는 마음으로 하자!

 

 

 

안녕하세요~~~

27년차 진로탐색꾼 조녁입니다!!

 

날씨가 오락가락하는데 변함없는 건 오늘도 부스트캠퍼의 하루가 지나갔다는 것이겠죠? ,, 

요즘 한국어 데이터로된 대회를 진행하면서, pre-train된 모델을 가져와 쓰는게 생각보다 비중이 크구나를 많이 느낍니다..

지금 진행하는 KLUE대회가 외부데이터를 못가져온다는 제약조건 하에 진행되서도 있겠지만, 살짝 허무한 감도 있지만,

그래도  TAPT(Task-Adaptive Pretraining) 는 끝나기 전에 해보면 좋겠다 싶네요! (해도된다는 공지를 이제해줌,,)

 

 

0. 오늘의 TO DO

---

1. 스케줄러 커스터마이징해보기
2. 강의 듣기

 

 

1. 오늘 공부한 내용

---

[10/05] GPT 언어모델 + 실습

[10/05] GPT 언어모델 + 실습

 

 

 

2. 오늘 시도한 것들

---

• roberta-large-base 로 돌리기 (valid 없이)
  • hyper params 최적화 한 후 다시 돌리기로함 (script로 돌리고 wandb 체크)
• callback_early stopping 추가

  • ### callback & optimizer & scheduler 추가
      MyCallback = EarlyStoppingCallback(early_stopping_patience=5, early_stopping_threshold=0.0001)
      optimizer = RAdam(model.parameters(), lr=args.lr, betas=(0.9, 0.999), eps=1e-8, weight_decay=0, degenerated_to_sgd=False)
    
      trainer = Trainer(... callbacks=[MyCallback],
        optimizers = (
          optimizer, get_cosine_with_hard_restarts_schedule_with_warmup(
                optimizer, num_warmup_steps=args.warmup_steps, num_training_steps=len(RE_train_dataset)* args.epochs)
        )
      )

• trainer 내에서 scheduler 및 optimizer 커스터마이징
  • get_cosine_with_hard_restarts_schedule_with_warmup & RAdam 적용, 아래와 같이 lr 왔다갔다함
  
  • 참고자료
    • scheduler 정리 : https://gaussian37.github.io/dl-pytorch-lr_scheduler/#lambdalr-1huggingface trainer 공식문서 : https://huggingface.co/transformers/main_classes/trainer.html
    • pytorch scheduler 공식문서: https://pytorch.org/docs/stable/optim.html
    • pytorch 에서 제공하는 스케줄러 정리 : https://sanghyu.tistory.com/113
    • 허깅페이스 옵티마이저 : https://huggingface.co/transformers/main_classes/optimizer_schedules.html
• 파라미터 논문 대로 돌려보기

 

• 백단에서 돌아가도록 설정하는 코드

- "1> /dev/null 2>&1" 추가해주면 log 생략해줌

- &&로 이어지면 앞에가 완료되어야 뒤에 코드 실행하며, 마지막에 &로 마무리

nohup sh -c 'python train.py && python train.py --max_len 256 1> /dev/null 2>&1 && python train.py --batch_size 16 1> /dev/null 2>&1' &

 

- 잘 돌아가고 있는 지 확인하는 코드 (싸-하다 싶으면 찍어보도 kill해주기)

#돌아가고 있는 지 확인(pid 찾기)- 확인할때마다 달라진다.
#그냥 ps -ef 해서 나오는거에서 grep으로 추출한거라고 보시면 될거같은..
ps -ef | grep {pid}


#{pid}에 process id 넣어준다.
kill -9 {pid}

 

 

3. 오늘 만난 오류 & 공부 자료

---

• ValueError: batch length of text: 1 does not match batch length of text_pair: 32470.
  • 줄이 하나 밀려있어서 바꿔줌.
• 리눅스 명령어 모음 : https://medium.com/sysf/bash-scripting-everything-you-need-to-know-about-bash-shell-programming-cd08595f2fba
  • 명령어를 보다가 이해되면 그떄 글읽기!

 

 

4. 회고 : 하루에 1% 씩 성장하자는 마음으로 하자!

---

 또 잊고 있었다. 대회형식으로 진행되지만 등수보단 성장이 더 중요하다. 그러니 점수가 안나온다고 조급해하기보단 근거와 추론을 통해 대회에 참여하며 잘 기록하는 것이 더 중요하다.

오늘은 학습을 좀 더 효율적으로 해주도록 lr scheduler에 대해 공부하고 바꿔줬다. 그러나 효과는 잘 모르겠다..

그래도 오늘 리눅스에 대해 이것저것 배웠다. 그 덕분에 파라미터 서칭을 좀 더 지혜롭게할 수 있게됐다.

내일은 데이터 증강을 한번해봐야겠다. 오늘도 수고많았다!!!