본문 바로가기

Naver AI Boost Camp/캠퍼 기록

[P-KLUE] 7일차 회고 : 하루에 1% 씩 성장하자는 마음으로 하자!

반응형

 

 

 

안녕하세요~~~

27년차 진로탐색꾼 조녁입니다!!

 

날씨가 오락가락하는데 변함없는 건 오늘도 부스트캠퍼의 하루가 지나갔다는 것이겠죠? ,, 

요즘 한국어 데이터로된 대회를 진행하면서, pre-train된 모델을 가져와 쓰는게 생각보다 비중이 크구나를 많이 느낍니다..

지금 진행하는 KLUE대회가 외부데이터를 못가져온다는 제약조건 하에 진행되서도 있겠지만, 살짝 허무한 감도 있지만,

그래도  TAPT(Task-Adaptive Pretraining) 는 끝나기 전에 해보면 좋겠다 싶네요! (해도된다는 공지를 이제해줌,,)

 

 

0. 오늘의 TO DO


  1. 스케줄러 커스터마이징해보기
  2. 강의 듣기

 

 

1. 오늘 공부한 내용


[10/05] GPT 언어모델 + 실습

 

[10/05] GPT 언어모델 + 실습

1. GPT-1

www.notion.so

 

 

 

2. 오늘 시도한 것들


 

  • 백단에서 돌아가도록 설정하는 코드

- "1> /dev/null 2>&1" 추가해주면 log 생략해줌

- &&로 이어지면 앞에가 완료되어야 뒤에 코드 실행하며, 마지막에 &로 마무리

nohup sh -c 'python train.py && python train.py --max_len 256 1> /dev/null 2>&1 && python train.py --batch_size 16 1> /dev/null 2>&1' &

 

- 잘 돌아가고 있는 지 확인하는 코드 (싸-하다 싶으면 찍어보도 kill해주기)

#돌아가고 있는 지 확인(pid 찾기)- 확인할때마다 달라진다.
#그냥 ps -ef 해서 나오는거에서 grep으로 추출한거라고 보시면 될거같은..
ps -ef | grep {pid}


#{pid}에 process id 넣어준다.
kill -9 {pid}

 

 

3. 오늘 만난 오류 & 공부 자료


 

 

4. 회고 : 하루에 1% 씩 성장하자는 마음으로 하자!


 또 잊고 있었다. 대회형식으로 진행되지만 등수보단 성장이 더 중요하다. 그러니 점수가 안나온다고 조급해하기보단 근거와 추론을 통해 대회에 참여하며 잘 기록하는 것이 더 중요하다.

오늘은 학습을 좀 더 효율적으로 해주도록 lr scheduler에 대해 공부하고 바꿔줬다. 그러나 효과는 잘 모르겠다..

그래도 오늘 리눅스에 대해 이것저것 배웠다. 그 덕분에 파라미터 서칭을 좀 더 지혜롭게할 수 있게됐다.

내일은 데이터 증강을 한번해봐야겠다. 오늘도 수고많았다!!!

반응형