[P-MRC] 4일차 회고 : 그 순간 결과가 없을지라도 노력은 모여서 결실을 맺는다.

 

 

 

안녕하세요~!

27년차 진로탐색꾼 조녁입니다!

 

어제 골골대다가 오늘은 조금 회복했습니다!! 

이제 곧 주말인데 주말에 몰아서 들어야할 것들이 많지만 또 주말의 내 컨디션이 어떨지 모르니 ... 다음주의 나에게 부탁할게!!

 

그래도 감사한건 마스터클래스를 통해 동기부여도 얻고 위로도 받는 시간이었다. (거의 마스터클래스아니고 부캠라디오 느낌)

요즘느끼는 건데, 인생은 마라톤이므로 내면을 잘 살피고 쉬어주는 것도 중요한 것 같다!

 

0. TO DO

---

1. 몸의 회복과 팀원들의 리더보드가 오르길 기도하기..
2. 강의(4,5강) 듣기!! & 미션 이해하기

 

1. 오늘 공부한 내용 정리

---

[MRC 4강] Passage Retrieval - Sparse Embedding

[MRC 4강] Passage Retrieval - Sparse Embedding

• passage embedding : passage를 임베딩 형태로 만들어서 유사도를 측정할 수 있게 한다.
• TF-IDF : 문장 내에 자주 등장하면 점수 높고, 문서 내에 자주등장하면(의미없는 단어일 확률이 높으므로) 점수 낮아짐.

[마스터클래스] 서민준 교수님

[마스터클래스] 서민준 교수님

• 한줄 정리 : 노력이 모이면 어느순간 빛을 발한다. 잘하는 사람들을 너무 특별하게 바라보며 우상삼지말자. 그분들도 다 노력하시고 인내하신거다!! 화이탱

 

2. 오늘 생긴 질문 및 답변

---

• 만난 오류
  • 상황 : 베이스라인에서 bert-base만 roberta-large로 바꾸고 토큰 타입 임베딩 값 지워주고 돌렸다. 
    • Some weights of the model checkpoint at klue/roberta-large were not used when initializing RobertaForQuestionAnswering: ['lm_head.bias', 'lm_head.dense.weight', 'lm_head.dense.bias', 'lm_head.layer_norm.weight', 'lm_head.layer_norm.bias', 'lm_head.decoder.weight', 'lm_head.decoder.bias']
    • This IS expected if you are initializing RobertaForQuestionAnswering from the checkpoint of a model trained on another task or with another architecture (e.g. initializing a BertForSequenceClassification model from a BertForPreTraining model).
    • This IS NOT expected if you are initializing RobertaForQuestionAnswering from the checkpoint of a model that you expect to be exactly identical (initializing a BertForSequenceClassification model from a BertForSequenceClassification model). Some weights of RobertaForQuestionAnswering were not initialized from the model checkpoint at klue/roberta-large and are newly initialized: ['qa_outputs.weight', 'qa_outputs.bias'] You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference. <class 'transformers.training_args.TrainingArguments'> <class 'arguments.ModelArguments'> <class 'datasets.dataset_dict.DatasetDict'> <class 'transformers.models.bert.tokenization_bert_fast.BertTokenizerFast'> <class 'transformers.models.roberta.modeling_roberta.RobertaForQuestionAnswering'>

 

3. 피어세션 정리

---

[대학원 지원할 때 Check]

• 실험실에서 논문지도 어떻게 하시는 지
• 한달에 몇번정도 개인 미팅하는지? 2주에 한번이 적당하다.
• 기왕갈거면 AI대학원 같은 특수대학원보다 일반대학원이 낫다.
  • 그런데 이제 많이 생겼으니 기업에서 인정해줄 것 같다. 다만 , 대학원은 자기 연구실적, 논문이 중요해서 학교나 대학원보단 이게 중요하다!!!!

 

4. 나중에 보면 도움될 자료

---

requirements.txt 사용해서 install 하기 : https://itholic.github.io/python-requirements/

pip freeze > requirements.txt #설치된 모듈들 requirements.txt로 내보내준다.

 

5. 회고 : 그 순간 결과가 없을지라도 노력은 모여서 결실을 맺는다.

---

이번주는 MRC 대회 + 강의 + 요약대회까지 바빴어야하는 주간인데 백신맞고 한 3일을 잃었다. 그럼에도 어제를 생각하면 오늘 점차 컨디션이 올라오는 건 감사한 일이지만 그럼에도 조급함이 생긴다.

어차피 하루이틀하고 끝낼 공부아니니 조급함보단 현재 할 수 있는 것들을 하나씩 해나가자! 현업에 가서도 이렇게 종종 아픈날은 꼭 생길것이다. 그때를 경험했다고 생각하자. 그럼에도 배려해준 조원들에게 감사하고 그마음 가지고 다음주는 최선을 다하자.

마스터클래스를 들으면서 뭐든 한순간에 이뤄진 것은 없고 매순간 최선을 다하다보면 그 기회가 온다고 느꼈다. 교수님께선 운이좋았다고하셨지만 그 전에 노력하셨던 것들이 그 때 결실을 맺은 거라는 생각이 들었다. 그러니 이제 반정도 남은 캠프기간 몰입하며 즐기고 싶다는 생각이 들었다. "잘.노, 노.즐!"