조녁 코딩일기 썸네일형 리스트형 [P-KLUE] 8일차 회고 : 큰 모델일수록 , 많이 학습할 수록 (그러기 위해 데이터가 많을수록)~ 좋다! 안녕하세요~! 27년차 진로탐색꾼 조녁입니다!! 대회가 이제 몇시간 안남았다.. 디버깅하느라 회고는 첨부만 합니다.. 내일의 나에게 토스 오늘의 제가 잘 받아서 정리해보도록 하겠습니다!! 감사하게도 ... 마지막날 TAPT(Task-Adaptive Pretraining) 돌리고 잔게 잘나왔고 앙상블했는데 꽤나 올라서 꽤나 만족스럽게 마칠 수 있었습니다 ㅋㅋㅋㅋ 이제 정리만 잘하면되겠쥬! 0. TO DO hyper param best 모델 2개 no_valid로 제출 앙상블 준비하기 1. 오늘 배운 내용 hyper params search : loss가 줄어드는데 f1이 오르기도 한다. 그러니 에폭 크게해봐도 좋을 듯, 그런데 에폭 늘리려면 데이터 증강 해보자!! 그리고 배치는 16-32(적당한 크기)!!.. 더보기 [P-KLUE] 7일차 회고 : 하루에 1% 씩 성장하자는 마음으로 하자! 안녕하세요~~~ 27년차 진로탐색꾼 조녁입니다!! 날씨가 오락가락하는데 변함없는 건 오늘도 부스트캠퍼의 하루가 지나갔다는 것이겠죠? ,, 요즘 한국어 데이터로된 대회를 진행하면서, pre-train된 모델을 가져와 쓰는게 생각보다 비중이 크구나를 많이 느낍니다.. 지금 진행하는 KLUE대회가 외부데이터를 못가져온다는 제약조건 하에 진행되서도 있겠지만, 살짝 허무한 감도 있지만, 그래도 TAPT(Task-Adaptive Pretraining) 는 끝나기 전에 해보면 좋겠다 싶네요! (해도된다는 공지를 이제해줌,,) 0. 오늘의 TO DO 스케줄러 커스터마이징해보기 강의 듣기 1. 오늘 공부한 내용 [10/05] GPT 언어모델 + 실습 [10/05] GPT 언어모델 + 실습 1. GPT-1 www.noti.. 더보기 [P-KLUE] 6일차 회고 : 지치고 곤하여도 3일만 더!! 안녕하세요~! 27년차 진로탐색꾼 조녁입니다!! 지난 주에 바쁜 시간 + 지친 시간으로 인해서 노션에서 블로그로 회고를 옮기지 못했었네요 ,, 그래도 성현 마스터님 강의도 유익하고 대회 2개(KLUE-RE , news summarization) 도 너무너무 배운게 많다. 일단 눈앞에 3일동안은 KLUE대회에 몰입하고 이후에 wrap-up도 두개다 적고 코드도 잘 정리해야지!! (근데 토요일에 개회식이다 ㅋㅋㅋ) 0. 오늘의 TO DO 모델 커스터마이징 해보기 added_data로 학습해보기 최적의 파라미터 찾기 깃헙에 코드 올리기 1. 오늘 알게된 내용 data 의 질이 나쁘면 양이 많아도 오히려 학습 효율이 떨어진다. entity 교차해서 데이터 늘렸지만 오히려 역효과로 no_relation이 많아짐 .. 더보기 [U-NLP] 8주차 주간 회고 : 특강 유익하다. 앞으로 해야할 일들을 잘 정리해보자. 안녕하세요~! 27년차 진로탐색꾼 조녁입니다!! 뭐했다고 또 P-stage가 시작하네요 .. 참 감사한 피어세션 조원들을 만나서 많이 성장한 U-stage였지만 진짜 조원들의 열정과함께 시간이 불타버렸네요 ㅋㅋㅋㅋ 왜때문에 또 P-stage인 지... 이번 P-stage 때는 외부대회를 병행하기도 하고, 취업준비를 해야할 시간이 머지않았기 때문에 실험하는 것들을 잘 정리하면서 참여해나가야겠다는 생각이 든다. 그래야 대회 후 정리도 편하고 시간을 2번 사용하지 않을 수 있을 것 같다. 1. 이번 주 새롭게 배운 내용 Electra Model 학습할 때, Generator가 sampling한 값들을 Discriminator에 넣어준다. 15% 마스킹된 데이터만 학습하는 것이 아니라 100% 데이터에 대해 T.. 더보기 [독서 리뷰] 틈새로 내린 빛 _ 오현정 안녕하세요~! 27년차 진로탐색꾼 조녁입니다!! 새로운 주제로 글을 쓰게 되어 새롭네요. 앞으로 분야를 가리지 않고 다양한 책을 읽으며 리뷰를 남겨볼까합니다! 내돈내산도 있고, 서평단으로 선정되어 책을 제공받는 경우도 있을 거에요!! (바로지금) * 이 리뷰는 작가님에게 책을 제공받아 작성하였습니다. [책인상] * 내용 정리보단 제가 책에 대해 남아있는 인상을 적어봤습니다. 진로탐색을 시작할 때쯤(20년 11월)부터 방역수칙으로 인한 인원제한 => 집콕생활이 시작되었습니다. 그러면서 사람들의 근황을 접할 수 있는 기회가 참 많이 줄었습니다. 오죽하면 카페에 갈수없었던 올 겨울, 몇달만에 카페에 갈 수 있게되어서 카페에서 공부를 하는데 옆사람들 떠드는 소리가 그렇게 반갑고 정겨울 수가 없었죠. 이 책은 그.. 더보기 [오류해결] VS code에서 ssh 연결해서 사용하다 만난 오류들 안녕하세요~! 27년차 진로탐색꾼 조녁입니다!! 오늘은 서버와 로컬을 SSH 로 연결하는 과정에서 만났던 오류들을 정리해보려고 합니다. 확실히 오류에 대한 이해가 잘 안되니까 이런 저런 글들을 봐도 적용이 잘 안되더라고요! 또 같은 오류더라도 상황마다 다르니 제 상황에 맞춰서 만났던 오류들과 해결한 방안을 설명하도록 하겠습니다!! 0. 기본 설절 - 서버 key값을 ~/.ssh/key 에 저장해주고, ~/.ssh/config 파일에 서버 ip와 포트번호를 저장해준다. 그러나!! 오류를 만났다... (처음에 포트번호 잘못 입력해서 나온 오류는 제외) 1. 첫번째 오류 : ssh로 서버 연결 시 vs code에서 password를 입력하라고 나옴 - 찾은 이유 : key file에 대한 권한 설정이 안되어 .. 더보기 [U-NLP] 9일차 회고 : 매일 매일 뇌를 적시다보면 조금씩 채워질 거란 마음으로 공부하자. 안녕하세요!! 27년차 진로탐색꾼 조녁입니다! 오늘도 하루가 순식간에 지나갔네요 ... 확실히 코딩을 해야 느는데 , 온갖 오류만나다가 하루 끝나기가 참 쉽네요 ㅠㅠ 1. 오늘 새롭게 배운 내용 오전 : 서버가 터졌다. 그래서 P-stage 1라운드 코드들을 깃헙에 백업하며 정리했다. Covy 멘토님이 주셨던 템플릿에 대한 이해가 더 필요하다고 느꼈다. 오후 : 명훈님 특강(BERT 구조 , MT-DNN) -> 논문리뷰(KLUE , seq2seq) -> 과제리뷰 (필수과제4 , 선택과제 2,3) 사실 인풋이 너무많은 하루여서 다 정리를 못했다. 그래도 조금씩 더 적셔지고 있다. 2. 공부하며 질문한 내용 & 답변 - 만났던 오류들 => vs code 랑 ssh 연결하면서 계속 오류났었는데 권한 문제였고 .. 더보기 [U-NLP] 8일차 회고 : 왜 하루가 끝나있는 것이냐... 안녕하세요!! 27년차 진로탐색꾼 조녁입니다! 요즘은 진로탐색이라는 말이 무색할 정도로 하루하루가 여유가 없네요 ... 원래 진로탐색할때 책도 보고 산도 보고 산책도하고 해야하는데.. 무튼 오늘도 왜 하루가 벌써 끝나있는 지 모르겠습니다. 강의 조금 듣다가 .. 오류 몇개 만났다가 .. 허깅페이스 좀 살펴보다 보니 잘 시간이네요 ㅠㅠ 캠프를 시작하며 "추석을 위한 공부자료"를 엄청 쌓아놨는데 추석때 약속을 잡고 있는 ㄴ ㅏ는 .... 내일모레 백신 맞는데 우선 내일까지 최대한 이번주 공부를 끝낼 수 있으면 좋겠네요!! 1. 오늘 공부한 내용 https://jonhyuk0922.notion.site/U-NLP-8-Advanced-Self-supervised-Pre-training-Models-90eec79.. 더보기 이전 1 ··· 5 6 7 8 9 10 11 ··· 27 다음
