KLUE 썸네일형 리스트형 [P-KLUE] 9일차 회고 : 앙상블 , 대회끝, 부캠라디오 , 성공적!! 안녕하세요~~ 27년차 진로탐색꾼 조녁입니다!! 말로만 듣던 그걸 제가 오늘 해냈습니다!! 바로 "멘.탈.승.리!!" ㅋㅋㅋㅋㅋ 등수는 낮았지만 그래도 마지막에 점수가 올랐고 많이 배울 수 있었던 대회였습니다. 무엇보다 시험을 잘보든 못보든 시험기간이 끝나면 기분이 좋은(=지금 제 기분) 그 기분입니다 ㅎㅎ 이번에도 성장했다! 다른사람들과 속도가 다를 순 있지만 나는 성장하고 있다! (wrap-up 다 쓰면 변성윤 마스터님이 추천해주신 회고도 적어보자) 0. TO DO epoch 짧게씩 이어서 돌려보기 (seed 바뀌면서 앙상블 효과 있지 않을까?) 가장 잘 나온 checkpoint들로 softmax 전에 앙상블해보기 대회 종료 후 정리 노션에 개인 wrap-up 틀 잡기 서버 사라지기 전에 깃헙에 정리.. 더보기 [P-KLUE] 8일차 회고 : 큰 모델일수록 , 많이 학습할 수록 (그러기 위해 데이터가 많을수록)~ 좋다! 안녕하세요~! 27년차 진로탐색꾼 조녁입니다!! 대회가 이제 몇시간 안남았다.. 디버깅하느라 회고는 첨부만 합니다.. 내일의 나에게 토스 오늘의 제가 잘 받아서 정리해보도록 하겠습니다!! 감사하게도 ... 마지막날 TAPT(Task-Adaptive Pretraining) 돌리고 잔게 잘나왔고 앙상블했는데 꽤나 올라서 꽤나 만족스럽게 마칠 수 있었습니다 ㅋㅋㅋㅋ 이제 정리만 잘하면되겠쥬! 0. TO DO hyper param best 모델 2개 no_valid로 제출 앙상블 준비하기 1. 오늘 배운 내용 hyper params search : loss가 줄어드는데 f1이 오르기도 한다. 그러니 에폭 크게해봐도 좋을 듯, 그런데 에폭 늘리려면 데이터 증강 해보자!! 그리고 배치는 16-32(적당한 크기)!!.. 더보기 [P-KLUE] 7일차 회고 : 하루에 1% 씩 성장하자는 마음으로 하자! 안녕하세요~~~ 27년차 진로탐색꾼 조녁입니다!! 날씨가 오락가락하는데 변함없는 건 오늘도 부스트캠퍼의 하루가 지나갔다는 것이겠죠? ,, 요즘 한국어 데이터로된 대회를 진행하면서, pre-train된 모델을 가져와 쓰는게 생각보다 비중이 크구나를 많이 느낍니다.. 지금 진행하는 KLUE대회가 외부데이터를 못가져온다는 제약조건 하에 진행되서도 있겠지만, 살짝 허무한 감도 있지만, 그래도 TAPT(Task-Adaptive Pretraining) 는 끝나기 전에 해보면 좋겠다 싶네요! (해도된다는 공지를 이제해줌,,) 0. 오늘의 TO DO 스케줄러 커스터마이징해보기 강의 듣기 1. 오늘 공부한 내용 [10/05] GPT 언어모델 + 실습 [10/05] GPT 언어모델 + 실습 1. GPT-1 www.noti.. 더보기 [P-KLUE] 6일차 회고 : 지치고 곤하여도 3일만 더!! 안녕하세요~! 27년차 진로탐색꾼 조녁입니다!! 지난 주에 바쁜 시간 + 지친 시간으로 인해서 노션에서 블로그로 회고를 옮기지 못했었네요 ,, 그래도 성현 마스터님 강의도 유익하고 대회 2개(KLUE-RE , news summarization) 도 너무너무 배운게 많다. 일단 눈앞에 3일동안은 KLUE대회에 몰입하고 이후에 wrap-up도 두개다 적고 코드도 잘 정리해야지!! (근데 토요일에 개회식이다 ㅋㅋㅋ) 0. 오늘의 TO DO 모델 커스터마이징 해보기 added_data로 학습해보기 최적의 파라미터 찾기 깃헙에 코드 올리기 1. 오늘 알게된 내용 data 의 질이 나쁘면 양이 많아도 오히려 학습 효율이 떨어진다. entity 교차해서 데이터 늘렸지만 오히려 역효과로 no_relation이 많아짐 .. 더보기 이전 1 다음
