[P-MRC] 2일차 회고 : 팀이 점점 자라가고 있음을 느꼈다.

 

 

 

안녕하세요~!

27년차 진로탐색꾼 조녁입니다!

 

오늘은 백신 2차를 맞았는데 힘에 겨운데 벌써 1시네요 얼른 적고 자야겠어요 ..

 

0. TO DO

---

1. 강의 듣기 및 정리 (2~4강)
2. AI HUB 데이터 확인하기

 

1. 오늘 공부한 내용 정리

---

AI HUB 데이터 정리

AI HUB 데이터 정리

[MRC 2강] Extraction-based MRC

[MRC 2강] Extraction-based MRC

[MRC 3강] Generation-based MRC

[MRC 3강] Generation-based MRC

[MRC 4강] Passage Retrieval - Sparse Embedding

[MRC 4강] Passage Retrieval - Sparse Embedding

 

2. 오늘 생긴 질문 및 답변

---

• 왜 버트이후 token type embed를 쓰지 않은걸까?
• BART는 어떤 구조로 학습하는 거지?

 

3. 피어세션 정리

---

• 오전 약 1시간 + 오후 1~2시간 ... 피어세션 시간이 너무 길다! 그래서 우선순위를 정하고 시간을 정해서 좀 더 밀집도 있는 피어세션을 운영하자는 의견이 나왔다. (좋은 것 같다)
• 그래서 앞으로는 오전 30분 & 오후 1시간으로 해보기로 했다! (시간에 쫒겨야 초사이언이되는 한국인)
• 각자 강의에 대해 퀴즈만들어와서 나누는 시간을 가졌는데 생각보다 풍성했다. 다만, 질문에 대해서는 피어세션 시간에 고민하다보니 시간이 길어졌다.
• AI HUB에 올라와 있는 코드 보기 , 스케터랩에서 사용했던 모델 보기
• 앞으로 해야할 일 : AI HUB 데이터 EDA → 데이터 전처리해서 pre-training 시키기 → fine-tunning하기
  • 제약사항 : training data만 사용 가능 , pre-training 모델 사용불가, 오픈 소스 사용불가, 데이터 로드 불가

 

 

4. 나중에 보면 도움될 자료

---

요한님 팀 레포 :

KLUE - Relation Extraction

KLUE - Relation Extraction

Trainer - mt5

mT5

mT5

Dialog-BERT _ 스케터랩 발표

Dialog-BERT: 100억 건의 메신저 대화로 일상대화 인공지능 서비스하기

Dialog-BERT: 100억 건의 메신저 대화로 일상대화 인공지능 서비스하기

 

5. 회고 : 팀이 점점 자라가고 있음을 느꼈다.

 

---

현재 우리조는 새로운 대회가 2개 동시에 시작하면서 할게 너무나도 많은 상황에 있다. 그러나 오히려 할게 너무 많다보니 피어세션 시간을 몰입감있게 써야했다. 하지만 지금까지는 피어세션 시간을 늘려서 감당했었다. 하지만 피어세션 시간이 늘어나면 자연스레 공부할 시간이 줄어든다. 그러니 시간을 줄이되 밀도를 높여서 공부할 시간을 확보하자!는 의견이었는데 너무 좋았다. 내일부터는 피어세션 전에 어떤말을 할지도 잘 정리해서 가야겠다!

그리고 내일 cs231n듣자! 모델이 어떻게 학습하는 지 기본 원리를 알아야 거기에 살을 붙일 수 있을 것 같다.

이제 자야겠다. 오늘 백신 2차맞았는데 컨디션이 걱정이다. 잘 자고 일어나야지!

 

 

오늘의 피드백

+) 수업 & 실습 코드 꼼꼼하게 본 것 , NSML 공부한 것

-) 백신 2차 왜 오늘 맞았니?