인기글
-
[딥러닝] 에폭(epoch) & 배치 사이즈(batch size) & 반복(iteration) 개념 정리
https://link.coupang.com/a/rGMRQ 경사하강법(gradient descent)을 통해 결과를 내기 위해서 여러번의 최적화 과정을 거쳐야 하는 알고리즘을 iterative 하다고 한다. 아래 그림과 같이 반복해서 많은 양의 데이터 학습을 진행할 때, 보통 한번에 최적화된 값을 찾기는 힘듭니다. 그렇기에 머신러닝에서 최적화(optimization)를 하기 위해 여러번의 학습 과정을 거칩니다. 또한 한번에 모든 양의 데이터를 넣지 않고 데이터를 나눠서 학습시키는데 이때 등장하는 개념이 batch size , epoch , iteration 입니다. 1. 에폭(epoch) : One Epoch is when an ENTIRE dataset is passed forward and backw..
더보기
-
[알쓸신잡]DS_STORE 이란?
안녕하세요~ 27년차 진로탐색꾼 조녁입니다!! 오늘은 개인프로젝트를 진행하면서 알게된 것들을 정리해볼까합니다.그중에서 내 디렉토리에 자꾸 생기는 DS_STORE 에 대해 알아보고 , 삭제방법까지 함께 알아봤습니다. 1. .DS_STORE 란? Desktop Services Store 의 약자로 , 애플에서 정의한 파일 포맷입니다. 애플의 맥OS X 시스템이 폴더에 접근할 때 생기며, 해당 폴더에 대한 메타데이터를 저장하는 파일입니다.즉, mac의 finder로 폴더에 접근하면 자동으로 생기는 파일입니다. 여기서 메타데이터는 해당 디렉토리의 특성, 구조 등에 관한 내용을 말합니다. .DS_store 파일은 프로젝트와 하등 관련없는 파일로 ,윈도우의 thumb.db 파일과 비슷하다고 볼 수 있습니다.맥에서 ..
더보기
-
[진로탐색] ML/DL 분야 과제테스트 및 코딩테스트 후기 1탄
안녕하세요~!28년차 진로탐색꾼 조녁입니다! 일전에는 계속해서 진행했던 면접과 관련하여 기록하였는데, 이번에 진로탐색하면서 과제테스트를 많이 진행하다보니 제 스스로 제가 본 과제들에 대한 회고를 적고 싶어서, 과제테스트와 AI분야 코딩테스트에 대한 진로탐색 일기를 적어볼까합니다! (반성일기입니다 흑흑) 받은 과제 : 리플에이아이(코딩테스트, 복합어 추출 과제, 당뇨예측 과제), 보이스루(코테), 클래스101(코테), 원티드랩(사전면접) 후기는 개인적인 회고에 가깝습니다!1. 리플에이아이 머신러닝 엔지니어 : 코딩테스트와 과제테스트를 동시에 보내준다(프로그래머스 진행). 최근에 딥러닝을 쓰지 않아도 되면 안쓰는게 낫다는 생각이 있어서 안쓰고 풀었더니 다시 딥러닝으로 풀라고 과제테스트를 다시 보내주셨다...
더보기
-
[진로탐색] ML/DL 분야 스스로 다녀본 중소기업(스타트업) 탐방후기 5탄
안녕하세요~! 28년차 진로탐색꾼 조녁입니다!! 제가 28년차가 되고는 당분간 진로탐색 일기를 올릴 일은 없을 줄 알았는데 .. 생각보다 빠르게 찾아왔네요!!! 저는 로앤컴퍼니를 뒤로하고 새로운 둥지를 찾고 있습니다!! (아마 이 글이 올라갈때쯤엔 온보딩 후기도 올라와있겠죠?!) 이미 합격까지 한 사이클 돌아본 경험이 있어서 그런지, 이번 진로탐색은 조금 더 수월했던 것 같아요!! 다만 이번엔 유독 과제/코테가 많았어서 조만간 고민해보고 과제 후기도 올려볼까합니다. 다닌 곳 : 버블콘, 세이지리서치, 라이앤캐처스, 포자랩스, 쿤텍, 엘리스 면접 후기 1. 버블콘 NLP 개발자 1차 면접 : 대표님과 1대1 대면 면접으로 90분 가량 진행, 백엔드 & 서버 사이드 이야기를 많이 나눔 - 느낀점 나만의 믿거..
더보기
-
옵티마이저 비교 (AdamW , RAdam , AdamP) 및 간단 사용법
안녕하세요~! 27년차 진로탐색꾼 조녁입니다! 오늘은 사용해본 옵티마이저 간단한 사용법과 비교 남깁니다. 자세한 내용은 참고자료 남겨두겠습니다. -> 결론 : 저는 AdamW가 제일 안정적으로 잘 나왔습니다. 아직 옵티마이저의 하이퍼파라미터들은 안바꿔봤지만 큰 차이는 없을 것 같습니다. 1.Adam 과 RAdam 비교 - 한 마디로 정리하자면 RAdam은 Adam의 수식에 rectification을 곱해줌으로써 학습 초기에 일어날 수 있는 bad local optima problem을 해결하고, 학습 안정성을 높였다고 할 수 있습니다. 2. AdamW와 AdamP 비교 - AdamW에 비해 norm increase를 adjust하는 방식이라서 weight decay coupling과는 서로 complem..
더보기
-
[Git-hub 오류해결] remote : Write access to repository not granted , git the requested URL returend error : 403 해결방법(CLI Token 연결, Organization)
안녕하세요~!28년차 진로탐색꾼 조녁입니다!! 오늘은 새로운 노트북에서 CLI로 깃헙을 사용하다가, 작년에 만났던 토큰방식 로그인의 필요성을 만났습니다. 잊고 있었던 토큰방식 접근방법을 한번 정리해놓으면 좋을 것 같아서 글 작성했습니다. 0. 시작하기 전에 까먹었던 것들 정리를 먼저 해볼까합니다. 우선 깃헙의 글로벌 변수를 확인합니다. 만약 name과 email이 등록안되어있다면 등록해줍니다. (만약 잘못등록했다면 아래 방법으로 삭제후 다시 등록) # git config 확인git config --list# git config 설정git config --global user.name "user-name"git config --global user.email abcd@naver.com# 잘못등록한 co..
더보기
-
주피터노트북(jupyter notebook)에 가상환경(virtual env) 연결하기
안녕하세요~! 27년차 진로탐색꾼 조녁입니다. 오늘은 원격서버 주피터랩에서 노트북 환경을 설정하면서 만난 상황들을 정리하고자 합니다. 1. 주피터랩에서 노트북 실행 시 kernel 이 연결되지 않는다. - 해결법 : 터미널에서 아래 커맨드를 입력해주니 해결되었다. conda install --name base ipykernel -y 2. Vs-code에서 사용하던 가상환경을 주피터랩 환경에서도 사용하고 싶다! (사실 EDA만 할거라 몇개 안깔아도 되서 금방했겠지만, 뭔가 가상환경 만들어놓은거 쓰고 싶었다..궁시렁) - 해결법 : 나는 이미 설정한 가상환경이 있으므로 , 가상환경에 해당되는 커널을 하나 생성해준 후 노트북에 연결해줬다! python -m ipykernel install --user --na..
더보기
-
[오류해결] UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc0 in position 0: invalid start byte
안녕하세요~!28년차 진로탐색꾼 조녁입니다! 오늘은 pandas에서 csv 파일을 불러올때 만났던 간단한 에러에 대해 기록해 두려고 합니다. 1. 상황- 대회용 데이터 샘플을 csv 파일로 전달받았는데 pandas.read_csv 함수 사용했을때 위와 같은 에러메시지 발생 UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc0 in position 0: invalid start byte 2. 해결- 인코딩 과정에서의 에러이므로, pandas.read_csv 함수의 파라미터로 "encoding='cp949'"를 포함시켜준다. df = pd.read_csv(PATH , encoding='cp949') 3. 다른에러 ParserError: Error toke..
더보기
