[U-NLP] 8주차 주간 회고 : 특강 유익하다. 앞으로 해야할 일들을 잘 정리해보자.

 

안녕하세요~!

27년차 진로탐색꾼 조녁입니다!!

 

뭐했다고 또 P-stage가 시작하네요 .. 참 감사한 피어세션 조원들을 만나서 많이 성장한 U-stage였지만 진짜 조원들의 열정과함께 시간이 불타버렸네요 ㅋㅋㅋㅋ 왜때문에 또 P-stage인 지... 

 

이번 P-stage 때는 외부대회를 병행하기도 하고, 취업준비를 해야할 시간이 머지않았기 때문에 실험하는 것들을 잘 정리하면서 참여해나가야겠다는 생각이 든다. 그래야 대회 후 정리도 편하고 시간을 2번 사용하지 않을 수 있을 것 같다.

 

 

1. 이번 주 새롭게 배운 내용

---

• Electra Model
  • 학습할 때, Generator가 sampling한 값들을 Discriminator에 넣어준다. 15% 마스킹된 데이터만 학습하는 것이 아니라 100% 데이터에 대해 True/False를 학습하므로 효율적이다.
  • G 와 D는 모두 인코더 구조이며, 일반적으로 2개의 인코더를 학습하면 2배의 시간이 들것이므로 G의 사이즈를 줄여서 사용한다. 이는 G가 너무 학습이 잘되면 D가 학습하기 힘들기때문에, (뇌피셜 : G가 너무 잘하면 True data에 편향되어 D가 힘들듯) G의 크기를 줄여주었을 때 오히려 성능은 올라갔다.
  • Generator 와 Discrimiator로 사전학습하지만 전이학습해서 사용할 땐 Discriminator만 사용한다.
• KLUE
  • 8가지 task가 있다.(TC, STS , RE , MRC , ... 정도 기억나네) 각각 task가 다른만큼 데이터셋이나 평가방법도 다르다.
  • 보통 Roberta 모델이 가장 성능이 잘나오는 것으로 확인된다.

[특강 정리]

• Fullstack_ML_Engineer
  • 중요한 것은 현재 상태가 아니라 방향성이다. 또한, 시간이 주어졌을 때 스스로 모든 stack을 해낼 수 있다면 full-stack이다.
  • 모든 stack은 시작이 가장어렵다. 그러니 가장 쉬운 framework에 해당되는 언어로 시작하자. 그리고 완성이 주는 성취감이 중요하므로 세부사항은 제쳐두고 시작은 무조건 완성을 목표로 하자!
  • 초반 기획단계(데이터 기획 포함)이 잘되어야하며 많은 시간이 들어간다. 이 과정에서 기획 , 소통 , 글쓰는 능력도 중요하다!!
• AI 개발자 커리어
  • 어떤 개발자를 회사가 원할까에 대해서, 나라면 어떤 사람과 함께하고 싶을 지를 생각해보자.
  • ML 스킬보단 소프트웨어적 역량, CS 기초가 잘 갖춰진 사람을 더 선호한다. (왜냐하면 개발자니까!)

[실습]

• Ko-electra , NSMC
• BERT in HuggingFace

 

 

2.  나중에 보면 좋을 자료들

---

1. back Translation https://dev-sngwn.github.io/2020-01-07-back-translation/
2. 메모리 문제 Contiguous : https://f-future.tistory.com/entry/Pytorch-Contiguous
3. BERT 동작 원리 : https://ichi.pro/ko/bert-naebu-jag-eob-30993906734481
4. 허깅페이스에 모델 올리기 : https://monologg.kr/2020/05/01/transformers-porting/
5. 상욱님이 정리하신 허깅페이스 튜토리얼 : https://lswkim322.gitbook.io/til/til-ml/untitled-2/hugging-face-tutorial
6. WandB 튜토리얼 : https://colab.research.google.com/drive/1aBY4np-7naveAKIvwMyCNZgVCgq9uOcL#scrollTo=yP5-kK6U6mQS
7. 정규화 vs 표준화 : https://bskyvision.com/849

 

 

3. 피어세션 정리

---

새로운 팀 meet-up

1. 20살 이후 부캠에 오기까지 이야기에 대해서 나눴다.
2. 팀명에 대한 4행시와 그라운드 룰을 정했다.

 

추가 나눈 내용

[ 회사 지원 여부/ 지원 상한선 및 하한선] 공유함 (내용은 미첨부)

 

[ 정규과정 외 하고 싶은 것들] : 보기) 자소서 , 코테준비 , 사이드 프로젝트(개발) , 경진대회(ML) , 스터디

* 주말 혹은 코어타임 외 시간 활용예정

 

 

4. 주간 회고 : U-stage 정비 → P-stage 준비

---

공부할 게 이번주도 차곡차곡 잘 쌓였다. ㅎ. 줄어야되는데 또 쌓였네 ... 

그래도 새로운 공부를 시작하기보단 앞으로 다가올 P-stage를 위해서 기존에 벌여뒀던 공부들을 잘 마무리해야될 것 같다. 

허깅페이스와 wandb를 집중적으로 주말을 보내면 좋을 것 같다! (근데 너 쉴거지?? 아.. 아냐)

 

그리고 새로운 피어세션 조가 시작되었다. U stage 조를 잘만나서 함께 자랄수 있었다.

이젠 P stage가 이어지는 만큼 어떤 전략으로 기존에 배운 것들을 잘 활용하고, 새로운 것들을 학습할 지 정리하는 주말이 되어야 할 것 같다. 11월부터 지원한다고 생각했을 떄 이제 온전히 공부만 할 수 있는 시간이 많지 않다. 다음주부터 주어진 시간들에 하루하루 최선을 다해야겠다. 

 

그리고 새로 구성된 조에 녹아들어서 한팀으로 P stage가 진행될 수 있길 기도해야겠다! 

그래도 이미 노션, wandb , github 등 준비해나가고 있어서 다행이다!!

 

한주의 피드백

 

+) 허깅페이스와 친해진 것, 노션 템플릿 정리한 것 

 

-) U-stage 복습 안한 것 , 으ㅏㅏㅏㅏㅏㅏㅏ 언제하지.. 10월에 휴일이 좀 있던데