머신러닝 & 딥러닝 공부 썸네일형 리스트형 읽어봐야할 논문 리스트(feat. NLP , Recsys) 안녕하세요~! 27년차 진로탐색꾼 조녁입니다! 마음속으로 숫자 100을 세면서 최대한 미루다가 드디어 정리를 합니다.. 앤드류 응 선생님께서 논문을 읽기전에 읽을 리스트를 적어보라고 하셨고, 부캠 멘토님께서 읽어보고 싶은 논문 -> 정통 논문 -> 최신 논문 순으로 흥미 붙이며 읽어보라고 하셔서 우선 그렇게 리스트업 해보고자합니다. [22.02.25 (금)] 그러나 어느새 28년차가 되면서 내가 멘토가 되어있구나 .. 맞아 .. 이때라도 리스트 만들고 읽었어야하는데 ㅠㅠ 하지만 이제부터라도 읽으면 되니까!! (합리화) 다시 리스트 적어놓고 읽기 시작하자!! 이제는 법률 도메인이라는 내 도메인도 정해졌으니 관련 논문과 NLP 및 Recsys 번갈아 가면서 읽자!! 원칙 : 일주일에 1편은 최소한 읽기 , .. 더보기 [논문리뷰] Decoupled Side Information Fusion for Sequential Recommendation 논문 리뷰 안녕하세요~! 28년차 진로탐색꾼🧳 조녁입니다. 오랜만에 글을 쓰게됐네요! 오늘 리뷰할 논문은 업스테이지 & 홍콩과기대에서 발표한 "Decoupled Side Information Fusion for Sequential Recommendation"입니다. 기존의 방법론과 달리 SR을 수행할때 Side information을 통합한채로 어텐션에 집어넣는 것이 아니라, 어텐션을 진행한 후 통합하는 형태의 DIF-SR 방법론을 제시하고 있습니다. 논문선정 이유 회사에서 추천솔루션 고도화 업무를 하다가 리서치를 통해 업스테이지에서 AI Pack이라는 솔루션을 내보인다는 것을 보고 해당 논문을 보게됐다. 공개된 AI Pack은 Recbole 기반에다가 DIF-SR 아키텍처를 추가한 오픈소스로 DIF-SR 아키텍처.. 더보기 [논문리뷰] Deep Neural Networks for YouTube Recommendations 논문 리뷰 안녕하세요~! 28년차 진로탐색꾼 조녁입니다!! 오늘은 구글의 유튜브(YouTube)추천 논문 3편 중 2번째 논문인 Deep Neural Networks for YouTube Recommendations를 리뷰해보려합니다. 원논문의 순서를 따라 리뷰했으며, 내용에 있어 어떠한 의견도 늘 환영입니다!! 0. 논문 선정 이유 시작하기 전에, 6년전 논문임에도 원논문을 선정한 이유에 대해서 얘기해보고 싶습니다. 1. 유튜브는 제가 겪어본 가장 강력한 추천 시스템이기에 선정했습니다. 지금도 매달 만원이상의 돈이 제 통장에서 빠져나가고 있습니다 ㅎ.. (유튜브 프리미엄 못잃어..) 2. 연구가 아닌, 실제 서비스를 기반으로 작성된 논문이라서 선정하게되었습니다. 이전에 주로 사용되던 MovieLens , Netf.. 더보기 옵티마이저 비교 (AdamW , RAdam , AdamP) 및 간단 사용법 안녕하세요~! 27년차 진로탐색꾼 조녁입니다! 오늘은 사용해본 옵티마이저 간단한 사용법과 비교 남깁니다. 자세한 내용은 참고자료 남겨두겠습니다. -> 결론 : 저는 AdamW가 제일 안정적으로 잘 나왔습니다. 아직 옵티마이저의 하이퍼파라미터들은 안바꿔봤지만 큰 차이는 없을 것 같습니다. 1.Adam 과 RAdam 비교 - 한 마디로 정리하자면 RAdam은 Adam의 수식에 rectification을 곱해줌으로써 학습 초기에 일어날 수 있는 bad local optima problem을 해결하고, 학습 안정성을 높였다고 할 수 있습니다. 2. AdamW와 AdamP 비교 - AdamW에 비해 norm increase를 adjust하는 방식이라서 weight decay coupling과는 서로 complem.. 더보기 내가 보는 정말 자잘한 Tip 1. zip파일 풀어서 tmp 디렉토리에 저장해주기 import zipfile local_zip = 'PATH' zip_ref = zipfile.ZipFile(local_zip,'r') zip_ref.extractall('/tmp') zip_ref.close() 2. 판다스 숫자 출력 포맷 변경 pd.options.display.float_format = '{:.1f}'.format #원래대로 복원 pd.reset_option('display.float_format') 3. train data 상관관계 시각화 import seaborn as sns sns.heatmap(train.corr(),annot=True) 4. NAN 결측치 처리하는 방법 import pandas as pd #dataFrame =.. 더보기 네이버 AI RUSH 2021 참여 후기 (2) 안녕하세요~! 27년차 진로탐색꾼 조녁입니다!! 오늘은 상반기에 참여했던 네이버 채용연계용 AI해커톤 'CLOVA AI RUSH 2021' 후기를 이어서 남겨보도록 하겠습니다! 전반적인 진행과정은 앞선 글에 남겨두었습니다!! 오늘은 2번과 3번 , 진행하며 노력했던 것과 그를 통해 얻었던 것들을 정리해보겠습니다! 목차 1. 해커톤 과정 및 내용 → 2. 진행하며 노력했던 것 → 3. 해커톤을 통해 배운 것 → 4. 앞으로 공부 방향 → 5. 느낀점 및 포부 2. 진행하며 노력했던 것 서류 및 코딩테스트 → 1일 1커밋 & 1일 1코테 : 서류를 제출할 때 깃허브에 레파지토리 갯수 쓰는 란이 있었다. 이 때부터 1일 1커밋을 시작하게되었다. 당시에는 보여주는 무언가가 있어야 뽑힐 것 같다는 마음에 시작했지.. 더보기 네이버 AI RUSH 2021 참여 후기 (1) 안녕하세요~! 27년차 진로탐색꾼 조녁입니다!! 오늘은 상반기에 참여했던 네이버 채용연계용 AI해커톤 'CLOVA AI RUSH 2021' 후기를 남겨보고자 합니다. 안끝날 줄 알았던 해커톤이 진짜 어느덧 끝난 지 일주일이 지났네요.. 서류 접수(4.16) 부터하면 최종 종료(7.1), 그리고 컨퍼런스(7.7)까지하면 두달하고 반정도가 지났습니다. 여러가지로 많이 얻을 수 있었어서 지나온 과정과 앞으로의 방향을 정리해보고자 합니다. 혹시 향후 이 대회에 관심이 있으시거나 , AI 대회 및 네이버 취업에 관심 있으신 분들은 나름 정보들 있으니 참고해주세요! 아마 자세한 대회 내용은 다루지 못할 것 같지만 아래 내용들을 다뤄볼까합니다. 목차 1. 해커톤 과정 및 내용 → 2. 진행하며 노력했던 것 → 3. .. 더보기 [MLOps]2-1. 실험관리 - Weights and Biases 안녕하세요~ 27년차 진로탐색꾼 조녁입니다!! 드디어 해커톤이 끝나서 다시 블로그에 글을 쓰려고합니다!! 조만간 상반기 감사할 것들 정리도하고 그간 공부하면서 노션에 정리해놓은 것들도 잘 정리해서 포스팅할 계획입니다. 오늘은 다시 MLOps 강의 들은 것도 포스팅 시작하려합니다!! 특별히 형상관리가 필요한 이유와 , 한 가지툴을 추천하는 강의였습니다. 1. 실험관리 개요 1-1. 실험관리가 필요한이유 실험 관리라도 해서 인사이트 리포트라도 만들어야하는 상황 발생보고해야하는데, 한달동안 된게 없네? .. 저번에 학습잘됐는데 lr 몇이었지? .. 저번에 논문 썼는데, 실험 재연이 안되네? .. (하이퍼파라미터 안적어놓음 ㅠ ) 가장 성능 좋은 모델이 뭐지? 2. 실습(Weights and Biases) ht.. 더보기 이전 1 2 3 4 5 다음
