인기글
-
[오류해결] UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc0 in position 0: invalid start byte
안녕하세요~! 28년차 진로탐색꾼 조녁입니다! 오늘은 pandas에서 csv 파일을 불러올때 만났던 간단한 에러에 대해 기록해 두려고 합니다. 1. 상황 - 대회용 데이터 샘플을 csv 파일로 전달받았는데 pandas.read_csv 함수 사용했을때 위와 같은 에러메시지 발생 UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc0 in position 0: invalid start byte 2. 해결 - 인코딩 과정에서의 에러이므로, pandas.read_csv 함수의 파라미터로 "encoding='cp949'"를 포함시켜준다. df = pd.read_csv(PATH , encoding='cp949') 3. 다른에러 ParserError: Error toke..
더보기
-
[Git-hub 오류해결] remote : Write access to repository not granted , git the requested URL returend error : 403 해결방법(CLI Token 연결, Organization)
안녕하세요~! 28년차 진로탐색꾼 조녁입니다!! 오늘은 새로운 노트북에서 CLI로 깃헙을 사용하다가, 작년에 만났던 토큰방식 로그인의 필요성을 만났습니다. 잊고 있었던 토큰방식 접근방법을 한번 정리해놓으면 좋을 것 같아서 글 작성했습니다. 0. 시작하기 전에 까먹었던 것들 정리를 먼저 해볼까합니다. 우선 깃헙의 글로벌 변수를 확인합니다. 만약 name과 email이 등록안되어있다면 등록해줍니다. (만약 잘못등록했다면 아래 방법으로 삭제후 다시 등록) # git config 확인 git config --list # git config 설정 git config --global user.name "user-name" git config --global user.email abcd@naver.com # 잘못등록..
더보기
-
[딥러닝] 에폭(epoch) & 배치 사이즈(batch size) & 반복(iteration) 개념 정리
https://link.coupang.com/a/rGMRQ 경사하강법(gradient descent)을 통해 결과를 내기 위해서 여러번의 최적화 과정을 거쳐야 하는 알고리즘을 iterative 하다고 한다. 아래 그림과 같이 반복해서 많은 양의 데이터 학습을 진행할 때, 보통 한번에 최적화된 값을 찾기는 힘듭니다. 그렇기에 머신러닝에서 최적화(optimization)를 하기 위해 여러번의 학습 과정을 거칩니다. 또한 한번에 모든 양의 데이터를 넣지 않고 데이터를 나눠서 학습시키는데 이때 등장하는 개념이 batch size , epoch , iteration 입니다. 1. 에폭(epoch) : One Epoch is when an ENTIRE dataset is passed forward and backw..
더보기
-
[진로탐색] ML/DL 분야 과제테스트 및 코딩테스트 후기 1탄
안녕하세요~! 28년차 진로탐색꾼 조녁입니다! 일전에는 계속해서 진행했던 면접과 관련하여 기록하였는데, 이번에 진로탐색하면서 과제테스트를 많이 진행하다보니 제 스스로 제가 본 과제들에 대한 회고를 적고 싶어서, 과제테스트와 AI분야 코딩테스트에 대한 진로탐색 일기를 적어볼까합니다! (반성일기입니다 흑흑) 받은 과제 : 리플에이아이(코딩테스트, 복합어 추출 과제, 당뇨예측 과제), 보이스루(코테), 클래스101(코테), 원티드랩(사전면접) 후기는 개인적인 회고에 가깝습니다! 1. 리플에이아이 머신러닝 엔지니어 : 코딩테스트와 과제테스트를 동시에 보내준다(프로그래머스 진행). 최근에 딥러닝을 쓰지 않아도 되면 안쓰는게 낫다는 생각이 있어서 안쓰고 풀었더니 다시 딥러닝으로 풀라고 과제테스트를 다시 보내주셨다...
더보기
-
[알쓸신잡]DS_STORE 이란?
안녕하세요~ 27년차 진로탐색꾼 조녁입니다!! 오늘은 개인프로젝트를 진행하면서 알게된 것들을 정리해볼까합니다. 그중에서 내 디렉토리에 자꾸 생기는 DS_STORE 에 대해 알아보고 , 삭제방법까지 함께 알아봤습니다. 1. .DS_STORE 란? Desktop Services Store 의 약자로 , 애플에서 정의한 파일 포맷입니다. 애플의 맥OS X 시스템이 폴더에 접근할 때 생기며, 해당 폴더에 대한 메타데이터를 저장하는 파일입니다. 즉, mac의 finder로 폴더에 접근하면 자동으로 생기는 파일입니다. 여기서 메타데이터는 해당 디렉토리의 특성, 구조 등에 관한 내용을 말합니다. .DS_store 파일은 프로젝트와 하등 관련없는 파일로 ,윈도우의 thumb.db 파일과 비슷하다고 볼 수 있습니다. 맥..
더보기
-
[SQL] SQLD 공부방법 & 합격후기 (꿀팁 많음)
안녕하세요~! 27년차 진로탐색꾼 조녁입니다! 이번에는 제가 지난 3월 20일에 응시했던 SQLD 자격증 시험 공부방법 / 시험보며 느낀 점 / 합격 후기를 남기려합니다. 참고로 저도 전공자는 아니고, 여유롭게 공부할 수있는 상황도 아니었습니다. 궁금하신 분은 아래를 클릭해주세요. (TMI) - 바쁜 분들은 그냥 넘어가세요. 우선 저는 시험을 신청해놓고 까먹고 있다가 일주일전에 기억이 났습니다 .. 그런데 그나마도 코딩에 맛들려있었어서 바로 공부를 시작 못했고, 시험을 취소하려했습니다. 근데 취소기간도 놓치고 .. 그 시점이었어요. 제가 3일 남기고 공부를 시작했습니다. 이 포스팅은 절대 3일만에 딸수있다~ 여러분도 편하게 취득하세요!!! 가 아니라 제가 그 안타까운 상황속에서 정말 많은 분들의 도움을 ..
더보기
-
Parquet 파일 Spark, Pandas에서 읽는 법
안녕하세요~! 27년차 진로탐색꾼 조녁입니다! 오늘은 대용량 데이터를 처리할때 쓰는 컬럼 기반 저장 포맷 Parquet(파케이)에 대해 공부했습니다. 1. Parquet(파케이)에 대해서 Parquet(파케이)는 나무조각을 붙여넣은 마룻바닥이라는 뜻을 가지고 있습니다. 아래 사진처럼 데이터를 차곡차곡 정리해서 저장한다는 의미를 지닌게 아닐까 합니다. 우리가 보통 빅데이터를 처리할 때, 이를 위해 많은 시간과 비용이 들어갑니다. 이러한 리소스를 줄이기 위해 데이터를 압축하는데, 그 방법 중 하나가 컬럼기반 포맷입니다. 컬럼 기반 포맷은 같은 종류(열)의 데이터가 모여있으므로 압축률이 더 높고, 일부 칼럼만 선택해서 읽으므로 처리량을 줄일 수 있습니다. Parquet(파케이)는 컬럼 기반 포맷의 업계 표준에..
더보기
-
[Librosa] 음성인식 기초 및 음악분류 & 추천 알고리즘
https://link.coupang.com/a/NS8jv Apple 2022 아이패드 에어 5세대 COUPANG www.coupang.com 안녕하세요~ 27년차 진로탐색꾼 조녁입니다!! 오늘은 음성파일을 인식하고 거기서 특징추출하는 기초적인 내용부터 추출한 특징들을 통해 노래의 장르를 분류하는 모델과 비슷한 장르의 노래를 추천해주는 알고리즘을 살펴보겠습니다! Tensorflow Dev 공부할 때, 텍스트를 LSTMs 로 학습시켜서 시를 작성해본 적이 있는데 음성파일을 다루는 건 처음이네요! * 오늘의 과제 : 노래 장르 분류 알고리즘 & 간단한 추천 알고리즘 구현해보기! 1. 데이터셋 다운로드 : 우선 저는 kaggle 데이터 셋을 사용하였고, 직접 다운로드 받아 사용할 수도 있지만, kaggle 과..
더보기
