프로그래밍 공부/보면 도움이 될걸?! 썸네일형 리스트형 구글클라우드(GCP)에서 최신 GPU(V100) 인스턴스 할당받기 (vs-code, ssh, gcp) 안녕하세요~ 29년차 진로탐색꾼 조녁입니다. 오늘은 클라우드에서 고성능 GPU 인스턴스를 할당받아서 사용해보는 방법을 정리해볼까합니다. 최대한 차근차근 작성했지만 혹시 따라하시다 잘 안되시는 부분은 댓글로 남겨주세요. 1. 구글 클라우드 프로젝트 세팅하기 0 - 구글 클라우드 플랫폼(GCP) 가입하기 우선 구글 클라우드 플랫폼에 가입하지 않으신 분들은 가입을 해주셔야합니다. 가입하는 내용은 구글 계정 (유튜브 보는 분들이라면 한개씩 있으시겠죠!)으로 간편히 할 수 있으니 스킵하겠습니다. 추가로 처음 가입하실떄 무료 크레딧 300 달러를 받게 됩니다. 이때 회사 계정(이메일)인증을 하게되면, 다른 이메일에서 가입하실떄도 100 달러를 추가로 받아 총 400달러 크레딧을 받게됩니다. 1 - 프로젝트 생성 및.. 더보기 [오류해결] UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc0 in position 0: invalid start byte 안녕하세요~! 28년차 진로탐색꾼 조녁입니다! 오늘은 pandas에서 csv 파일을 불러올때 만났던 간단한 에러에 대해 기록해 두려고 합니다. 1. 상황 - 대회용 데이터 샘플을 csv 파일로 전달받았는데 pandas.read_csv 함수 사용했을때 위와 같은 에러메시지 발생 UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc0 in position 0: invalid start byte 2. 해결 - 인코딩 과정에서의 에러이므로, pandas.read_csv 함수의 파라미터로 "encoding='cp949'"를 포함시켜준다. df = pd.read_csv(PATH , encoding='cp949') 3. 다른에러 ParserError: Error toke.. 더보기 [오류해결] ValueError: Mixing dicts with non-Series may lead to ambiguous ordering 안녕하세요~! 28년차 진로탐색꾼 조녁입니다! 순서 및 내용은 아래와 같습니다. 1. 상황 이해 : 어떤 에러메시지이며, 어떤 상황에서 발생했는 지 기록 2. 해결 방법 : 해결 성공여부를 떠나 시도한 방법들 순서대로 정리 3. 얻은 인사이트 : 해결해가는 과정에서 배운내용들 1. 상황 이해 the ValueError occurs because the data types are all over the place, some strings, some lists, multiple {} etc. 데이터 정리 후 dataframe을 json으로 저장하고 불러오는 상황에서 발생함 train_df.to_json('path/file.json', orient='table') 2. 해결 방법 This error may b.. 더보기 [오류해결] Pyenv & Poetry 사용하다가 만난 에러 정리 안녕하세요~! 28년차 진로탐색꾼 조녁입니다. 이 글은 제가 가상환경을 관리해주는 pyenv와 의존성을 관리해주는 poetry를 사용하다가 만난 에러들을 정리해두는 글입니다. 제가 다시 만났을 때 시간아끼려고 정리하는 거지만, 같은 에러로 답답해하실 누군가에게도 도움이 되길 바랍니다. 1. ModuleNotFoundError: No module named 'webencodings' - poetry 사용하려니 위와같은 에러 발생 => 모듈 다운로드로 해결함 pip install webencodings 2. ValueError: relative path can't be expressed as a file URI - poetry add or install 시 에러 발생함. 에러 메세지따라 pathlib.py .. 더보기 주피터노트북(jupyter notebook)에 가상환경(virtual env) 연결하기 안녕하세요~! 27년차 진로탐색꾼 조녁입니다. 오늘은 원격서버 주피터랩에서 노트북 환경을 설정하면서 만난 상황들을 정리하고자 합니다. 1. 주피터랩에서 노트북 실행 시 kernel 이 연결되지 않는다. - 해결법 : 터미널에서 아래 커맨드를 입력해주니 해결되었다. conda install --name base ipykernel -y 2. Vs-code에서 사용하던 가상환경을 주피터랩 환경에서도 사용하고 싶다! (사실 EDA만 할거라 몇개 안깔아도 되서 금방했겠지만, 뭔가 가상환경 만들어놓은거 쓰고 싶었다..궁시렁) - 해결법 : 나는 이미 설정한 가상환경이 있으므로 , 가상환경에 해당되는 커널을 하나 생성해준 후 노트북에 연결해줬다! python -m ipykernel install --user --na.. 더보기 [오류해결] VS code에서 ssh 연결해서 사용하다 만난 오류들 안녕하세요~! 27년차 진로탐색꾼 조녁입니다!! 오늘은 서버와 로컬을 SSH 로 연결하는 과정에서 만났던 오류들을 정리해보려고 합니다. 확실히 오류에 대한 이해가 잘 안되니까 이런 저런 글들을 봐도 적용이 잘 안되더라고요! 또 같은 오류더라도 상황마다 다르니 제 상황에 맞춰서 만났던 오류들과 해결한 방안을 설명하도록 하겠습니다!! 0. 기본 설절 - 서버 key값을 ~/.ssh/key 에 저장해주고, ~/.ssh/config 파일에 서버 ip와 포트번호를 저장해준다. 그러나!! 오류를 만났다... (처음에 포트번호 잘못 입력해서 나온 오류는 제외) 1. 첫번째 오류 : ssh로 서버 연결 시 vs code에서 password를 입력하라고 나옴 - 찾은 이유 : key file에 대한 권한 설정이 안되어 .. 더보기 [선형대수학] 벡터 - 벡터의 연산 , 노름(norm) , 거리 , 내적 안녕하세요~! 27년차 진로탐색꾼 조녁입니다!! 이번주부터 AI 부스트캠프 2기 과정이 시작했는데 배우는 양이 많아서 머릿속이 만원 버스 같네요 ,, 마스터 세션에서 임성빈 교수님께서 추천해주신대로 , 몇가지 정리하고 싶은 것들만 골라서 정리하고자 합니다! 벡터(vector)란? 벡터는 숫자를 원소로 가지는 리스트(list) 또는 배열(array)이다. 벡터는 공간에서 한 점을 나타내며, 원점으로부터 상대적 위치를 표현합니다. 벡터는 모양(차원)을 고려하여 연산을 계산해줄 수 있습니다. 두 벡터의 덧셈과 뺄셈은 상대적 위치이동이다. 노름(norm)이란? 벡터의 노름(norm)은 원점에서부터의 거리를 말합니다. 노름은 아래 3가지를 만족합니다. (벡터의 노름은 또한 임의의 차원 d에서 성립한다.) L1 노.. 더보기 Parquet 파일 Spark, Pandas에서 읽는 법 안녕하세요~! 27년차 진로탐색꾼 조녁입니다! 오늘은 대용량 데이터를 처리할때 쓰는 컬럼 기반 저장 포맷 Parquet(파케이)에 대해 공부했습니다. 1. Parquet(파케이)에 대해서 Parquet(파케이)는 나무조각을 붙여넣은 마룻바닥이라는 뜻을 가지고 있습니다. 아래 사진처럼 데이터를 차곡차곡 정리해서 저장한다는 의미를 지닌게 아닐까 합니다. 우리가 보통 빅데이터를 처리할 때, 이를 위해 많은 시간과 비용이 들어갑니다. 이러한 리소스를 줄이기 위해 데이터를 압축하는데, 그 방법 중 하나가 컬럼기반 포맷입니다. 컬럼 기반 포맷은 같은 종류(열)의 데이터가 모여있으므로 압축률이 더 높고, 일부 칼럼만 선택해서 읽으므로 처리량을 줄일 수 있습니다. Parquet(파케이)는 컬럼 기반 포맷의 업계 표준에.. 더보기 이전 1 2 다음
