Naver AI Boost Camp/캠퍼 기록 썸네일형 리스트형 [P-KLUE] 9일차 회고 : 앙상블 , 대회끝, 부캠라디오 , 성공적!! 안녕하세요~~ 27년차 진로탐색꾼 조녁입니다!! 말로만 듣던 그걸 제가 오늘 해냈습니다!! 바로 "멘.탈.승.리!!" ㅋㅋㅋㅋㅋ 등수는 낮았지만 그래도 마지막에 점수가 올랐고 많이 배울 수 있었던 대회였습니다. 무엇보다 시험을 잘보든 못보든 시험기간이 끝나면 기분이 좋은(=지금 제 기분) 그 기분입니다 ㅎㅎ 이번에도 성장했다! 다른사람들과 속도가 다를 순 있지만 나는 성장하고 있다! (wrap-up 다 쓰면 변성윤 마스터님이 추천해주신 회고도 적어보자) 0. TO DO epoch 짧게씩 이어서 돌려보기 (seed 바뀌면서 앙상블 효과 있지 않을까?) 가장 잘 나온 checkpoint들로 softmax 전에 앙상블해보기 대회 종료 후 정리 노션에 개인 wrap-up 틀 잡기 서버 사라지기 전에 깃헙에 정리.. 더보기 [P-KLUE] 8일차 회고 : 큰 모델일수록 , 많이 학습할 수록 (그러기 위해 데이터가 많을수록)~ 좋다! 안녕하세요~! 27년차 진로탐색꾼 조녁입니다!! 대회가 이제 몇시간 안남았다.. 디버깅하느라 회고는 첨부만 합니다.. 내일의 나에게 토스 오늘의 제가 잘 받아서 정리해보도록 하겠습니다!! 감사하게도 ... 마지막날 TAPT(Task-Adaptive Pretraining) 돌리고 잔게 잘나왔고 앙상블했는데 꽤나 올라서 꽤나 만족스럽게 마칠 수 있었습니다 ㅋㅋㅋㅋ 이제 정리만 잘하면되겠쥬! 0. TO DO hyper param best 모델 2개 no_valid로 제출 앙상블 준비하기 1. 오늘 배운 내용 hyper params search : loss가 줄어드는데 f1이 오르기도 한다. 그러니 에폭 크게해봐도 좋을 듯, 그런데 에폭 늘리려면 데이터 증강 해보자!! 그리고 배치는 16-32(적당한 크기)!!.. 더보기 [P-KLUE] 7일차 회고 : 하루에 1% 씩 성장하자는 마음으로 하자! 안녕하세요~~~ 27년차 진로탐색꾼 조녁입니다!! 날씨가 오락가락하는데 변함없는 건 오늘도 부스트캠퍼의 하루가 지나갔다는 것이겠죠? ,, 요즘 한국어 데이터로된 대회를 진행하면서, pre-train된 모델을 가져와 쓰는게 생각보다 비중이 크구나를 많이 느낍니다.. 지금 진행하는 KLUE대회가 외부데이터를 못가져온다는 제약조건 하에 진행되서도 있겠지만, 살짝 허무한 감도 있지만, 그래도 TAPT(Task-Adaptive Pretraining) 는 끝나기 전에 해보면 좋겠다 싶네요! (해도된다는 공지를 이제해줌,,) 0. 오늘의 TO DO 스케줄러 커스터마이징해보기 강의 듣기 1. 오늘 공부한 내용 [10/05] GPT 언어모델 + 실습 [10/05] GPT 언어모델 + 실습 1. GPT-1 www.noti.. 더보기 [P-KLUE] 6일차 회고 : 지치고 곤하여도 3일만 더!! 안녕하세요~! 27년차 진로탐색꾼 조녁입니다!! 지난 주에 바쁜 시간 + 지친 시간으로 인해서 노션에서 블로그로 회고를 옮기지 못했었네요 ,, 그래도 성현 마스터님 강의도 유익하고 대회 2개(KLUE-RE , news summarization) 도 너무너무 배운게 많다. 일단 눈앞에 3일동안은 KLUE대회에 몰입하고 이후에 wrap-up도 두개다 적고 코드도 잘 정리해야지!! (근데 토요일에 개회식이다 ㅋㅋㅋ) 0. 오늘의 TO DO 모델 커스터마이징 해보기 added_data로 학습해보기 최적의 파라미터 찾기 깃헙에 코드 올리기 1. 오늘 알게된 내용 data 의 질이 나쁘면 양이 많아도 오히려 학습 효율이 떨어진다. entity 교차해서 데이터 늘렸지만 오히려 역효과로 no_relation이 많아짐 .. 더보기 [U-NLP] 8주차 주간 회고 : 특강 유익하다. 앞으로 해야할 일들을 잘 정리해보자. 안녕하세요~! 27년차 진로탐색꾼 조녁입니다!! 뭐했다고 또 P-stage가 시작하네요 .. 참 감사한 피어세션 조원들을 만나서 많이 성장한 U-stage였지만 진짜 조원들의 열정과함께 시간이 불타버렸네요 ㅋㅋㅋㅋ 왜때문에 또 P-stage인 지... 이번 P-stage 때는 외부대회를 병행하기도 하고, 취업준비를 해야할 시간이 머지않았기 때문에 실험하는 것들을 잘 정리하면서 참여해나가야겠다는 생각이 든다. 그래야 대회 후 정리도 편하고 시간을 2번 사용하지 않을 수 있을 것 같다. 1. 이번 주 새롭게 배운 내용 Electra Model 학습할 때, Generator가 sampling한 값들을 Discriminator에 넣어준다. 15% 마스킹된 데이터만 학습하는 것이 아니라 100% 데이터에 대해 T.. 더보기 [U-NLP] 9일차 회고 : 매일 매일 뇌를 적시다보면 조금씩 채워질 거란 마음으로 공부하자. 안녕하세요!! 27년차 진로탐색꾼 조녁입니다! 오늘도 하루가 순식간에 지나갔네요 ... 확실히 코딩을 해야 느는데 , 온갖 오류만나다가 하루 끝나기가 참 쉽네요 ㅠㅠ 1. 오늘 새롭게 배운 내용 오전 : 서버가 터졌다. 그래서 P-stage 1라운드 코드들을 깃헙에 백업하며 정리했다. Covy 멘토님이 주셨던 템플릿에 대한 이해가 더 필요하다고 느꼈다. 오후 : 명훈님 특강(BERT 구조 , MT-DNN) -> 논문리뷰(KLUE , seq2seq) -> 과제리뷰 (필수과제4 , 선택과제 2,3) 사실 인풋이 너무많은 하루여서 다 정리를 못했다. 그래도 조금씩 더 적셔지고 있다. 2. 공부하며 질문한 내용 & 답변 - 만났던 오류들 => vs code 랑 ssh 연결하면서 계속 오류났었는데 권한 문제였고 .. 더보기 [U-NLP] 8일차 회고 : 왜 하루가 끝나있는 것이냐... 안녕하세요!! 27년차 진로탐색꾼 조녁입니다! 요즘은 진로탐색이라는 말이 무색할 정도로 하루하루가 여유가 없네요 ... 원래 진로탐색할때 책도 보고 산도 보고 산책도하고 해야하는데.. 무튼 오늘도 왜 하루가 벌써 끝나있는 지 모르겠습니다. 강의 조금 듣다가 .. 오류 몇개 만났다가 .. 허깅페이스 좀 살펴보다 보니 잘 시간이네요 ㅠㅠ 캠프를 시작하며 "추석을 위한 공부자료"를 엄청 쌓아놨는데 추석때 약속을 잡고 있는 ㄴ ㅏ는 .... 내일모레 백신 맞는데 우선 내일까지 최대한 이번주 공부를 끝낼 수 있으면 좋겠네요!! 1. 오늘 공부한 내용 https://jonhyuk0922.notion.site/U-NLP-8-Advanced-Self-supervised-Pre-training-Models-90eec79.. 더보기 [U-NLP] 7일차 회고 : 모임이 너무 많았던 하루.. 안녕하세요!! 27년차 진로탐색꾼 조녁입니다!! 오늘은 공부를 많이 못했는데 특이하게 피곤하네요 .. 트릭인가.. 무튼 그래서 하루를 돌아보면 오전에 아침 묵상 줌모임(45분)하고, 밥먹고 하루를 시작했는데 오전에 선택과제 본거랑 오늘 강의 들었던 것 이후론.. 1시~2시(명훈님 논문 스터디) -> 2시 ~ 3시 15분(팀 이름 정하기, P stage 시작전 해야할 일 정하기) -> 3시 30분 ~ 6시 5분(피어세션) -> 8시 ~9시 10분(한국어임베딩 스터디) ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 어이가 없군... 이렇게 회의 혹은 모임이 많았던 날은 또 오랜만 인것 같네요. 무튼 그래서 오전 시간 이후론 강의들을 시간(계속 뭘 듣긴 했지만..)이 정말 부족하더라고요. 머릿속에 떠다니는 건 많은데 오늘.. 더보기 이전 1 2 3 4 5 다음
