[U-NLP] 7일차 회고 : 모임이 너무 많았던 하루..
안녕하세요!!
27년차 진로탐색꾼 조녁입니다!!
오늘은 공부를 많이 못했는데 특이하게 피곤하네요 .. 트릭인가..
무튼 그래서 하루를 돌아보면 오전에 아침 묵상 줌모임(45분)하고, 밥먹고 하루를 시작했는데
오전에 선택과제 본거랑 오늘 강의 들었던 것 이후론.. 1시~2시(명훈님 논문 스터디) -> 2시 ~ 3시 15분(팀 이름 정하기, P stage 시작전 해야할 일 정하기) -> 3시 30분 ~ 6시 5분(피어세션) -> 8시 ~9시 10분(한국어임베딩 스터디) ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ
어이가 없군...
이렇게 회의 혹은 모임이 많았던 날은 또 오랜만 인것 같네요. 무튼 그래서 오전 시간 이후론 강의들을 시간(계속 뭘 듣긴 했지만..)이 정말 부족하더라고요. 머릿속에 떠다니는 건 많은데 오늘 뭘했냐라고 물으면 분명 힘들었는데 할 말이 없네요 ...
1. 오늘 배운 내용 정리
[U-NLP 7일차] Self-supervised Pre-training Models
Self-supervised pre-training models : GPT-1 , BERT , GPT-2
www.notion.so
(해야하는 내용들) : 트랜스포머 , 버트 , GPT1 , ElMo , ... 주말아 부탁해 오늘도 내가 미안하다..
2. 질문 & 답변
- ALBERT 에서 factorized embedding 하면 메모리 사용이 더 늘어나는 게 아닌가??
- 프리 트레인할때 배치사이즈가 클수록 좋다는데 왜 실제로 해보면 일정 이상 커지면 성능이 저하될까??
(범진님 답변) : 프리트레인때는 파라미터수도 많고 데이터도 많지만 , 우리가 학습할때 사용하는 데이터가 적거나 , 파라미터수가 작다면 일정 배치 이상 커지면 과대적합되서인 것 같다!! (맞는 것 같다!..)
3. 나중에 보면 좋을 자료들
- 9월에 여유있을 떄 보면 좋을 것 같다. (봐야한다)
- Huggingface Tutorial step by step: https://huggingface.co/course/chapter0?fw=pt
- Huggingface Examples: https://huggingface.co/transformers/notebooks.html
- Bert 강의: https://tacademy.skplanet.com/live/player/onlineLectureDetail.action?seq=164
4. 회고
모임이 너무 많다. 줄일 수 있는 방법 혹은 , 줄이지 못한다면 그 모임들을 잘 정리해서 내것으로 만드는 것이 필요해보인다.
1. 우선, 명훈님 강의 이전에 피피티한번 보면서 질문을 꼭 만들어가자. 그리고 발표해주시는 내용들 잘 정리하자!
2. 피어세션 때 나오는 이야기들 잘 적어두기! 그리고 논문 리뷰 & 모더레이터 발표해주신 자료들 자기전에 복습하고 자자.
3. 모든 모임 전에 몇가지 생각해보고 가자.( 내가 얻을 수 있는 것이 무엇인지 , 내가 준비해가면 더 좋을 것이 있는 지, 내가 어떤 말을 할 것인 지)
내일은 위에 써놓은 회고대로 모임을 좀 더 집중해봐야겠다. 그리고 코어타임 내에 강의 들을 시간이 부족하다면, 1.2배속으로 듣되 좀 더 집중해서 들어보자 (강의 듣기전 피피티 한번씩 보기, 질문을 미리 가져보고 그것에 답하며 강의듣기)
무엇보다 코드 실습 & 과제할 때 궁금하면 넘어가지 말기 , 이해한대로 주석달면서 공부하기
그리고 다양한 환경에 익숙해질 수 있도록 최대한 코랩환경에서 피하기!!
오늘의 피드백
+) 아침에 일찍일어나서 계획대로 하루를 시작함
-) 오랜만에 일찍일어나니 컨디션 난조에 .... 딜레마다.