조녁 코딩일기 썸네일형 리스트형 [UNIX] 디렉토리와 파일 안녕하세요~ 27년차 진로탐색꾼 조녁입니다!! 오늘은 디렉토리와 파일에 대해서 공부했는데 세부 내용으로는 다음과 같이 정리할 수 있습니다. 1. 상대경로와 절대 경로 및 디렉토리 이동(pwd, cd) 2. 디렉토리 내부 확인(ls + -a -l) 3.디렉토리& 파일 생성(mkdir , touch) 4. 디렉토리 간 파일 이동 & 복사 , 삭제 (mv, cp, rm) 5. 파일 내용 출력하기 (cat , less, head, tail) 1. 상대경로와 절대 경로 및 디렉토리 이동(cd) 절대경로와 상대경로에 대해서는 기존에 공부한 적이 있어서 가볍게 몇가지 커맨드만 보고 넘어갔다. https://jonhyuk0922.tistory.com/112 [Terminal] 디렉토리와 터미널 안녕하세요~ 27년차 진.. 더보기 [UNIX] CLI환경과 UNIX 안녕하세요~ 27년차 진로탐색꾼 조녁입니다!! 평소 부족하다 생각하던 CS기초(운영체제, 자료구조, 알고리즘, 네트워크 , DB 등) 를 채워나가려 합니다. 특별히 이번에 코드잇에서하는 코딩 캠프가 있어서 기회로 삼아 공부하면서 정리하도록 하겠습니다!! 1. CLI vs GUI 비교하기 CLI는 Comment line interface 로 아래와 같은 터미널 창에서 command(명령어)로 동작하는 화면을 말한다. GUI는 Graphic user interface로 흔히 우리가 쓰는 window 나 MacOS 화면을 말한다. 그렇다면 편리한 GUI 환경이 있는데 왜 CLI를 사용했을까요? 우선 GUI가 등장하기전에는 마우스가 없었기 떄문에 CLI를 사용했습니다. 또한 현재도 CLI 가 사라지지 않는 건,.. 더보기 Parquet 파일 Spark, Pandas에서 읽는 법 안녕하세요~! 27년차 진로탐색꾼 조녁입니다! 오늘은 대용량 데이터를 처리할때 쓰는 컬럼 기반 저장 포맷 Parquet(파케이)에 대해 공부했습니다. 1. Parquet(파케이)에 대해서 Parquet(파케이)는 나무조각을 붙여넣은 마룻바닥이라는 뜻을 가지고 있습니다. 아래 사진처럼 데이터를 차곡차곡 정리해서 저장한다는 의미를 지닌게 아닐까 합니다. 우리가 보통 빅데이터를 처리할 때, 이를 위해 많은 시간과 비용이 들어갑니다. 이러한 리소스를 줄이기 위해 데이터를 압축하는데, 그 방법 중 하나가 컬럼기반 포맷입니다. 컬럼 기반 포맷은 같은 종류(열)의 데이터가 모여있으므로 압축률이 더 높고, 일부 칼럼만 선택해서 읽으므로 처리량을 줄일 수 있습니다. Parquet(파케이)는 컬럼 기반 포맷의 업계 표준에.. 더보기 [Git-hub] 잔디가 심기지 않는 이유 안녕하세요~ 27년차 진로탐색꾼 조녁입니다!! 오늘은 제 깃헙에 잔디가 심기지 않았던 이유에 대해 찾아봤습니다!! 추측하기론 default branch가 아닌 branch를 통해서 올리는 경우에만 그런거라 뭔가 그게 영향이 있나했는데.. 역시나! 맞았습니다. 제 default branch가 main 일 때, 제 로컬 브런치가 master여서 master로 upstream 되는데 그러면서 브런치가 두개로 되곤 했었어요. (반대로 master가 default 인데 colab에서 올려서 main에 생기기도함) 그러나 이 부분은 나중에 두 브런치를 merge해줄 때 잔디가 심긴다고 합니다! 그래서 두 branch를 merge하는 방법도 찾아봤습니다!! (왜냐면 전 의도적으로 브런치를 나눠서 작업한게 아니라..!.. 더보기 [Git 오류해결] git 탈출하기 (feat rm -rf .git으로도 안될때) 안녕하세요~ 27년차 진로탐색꾼 조녁입니다! 오늘은 제가 만났던 git 오류중에 저를 하루종일 괴롭게 한 걸 나누고자 합니다!! 저는 깃헙 커밋할때 뺴곤 거의 colab만 쓰고 vs,phcarm,구름IDE는 강의들을 때만 써서 로컬에 많이 취약했습니다.. 그런데 해커톤 참여하다보니 로컬에서 클라우드 연결해서 써야하는데 진짜 .... 로컬환경에 익숙해져야한다는 걸 뼈저리게 느꼈습니다. 오늘의 목표: 디렉토리명 git(branch명) -> 디렉토리명으로 탈출하기 git 에서 탈출하는 것을 목표로 구글링해보고 공식문서도 들어가봤는데 제 상황을 정확히 모르니까 못찾겠더라구요! 가장 처음 했던 방법부터 순서대로 정리했습니다. 1. rm -rf .git git파일 앞에 점(.)이 찍혀있는데 이건 안보이는 파일이라는.. 더보기 [MLOps] 1-2.머신러닝 파이프라인 단계 안녕하세요~ 27년차 진로탐색꾼 조녁입니다!! 두번째 강좌는 머신러닝의 파이프라인을 다루고 있습니다. 주로 ML 엔지니어 입장에서 설명해주고 계십니다. 특별히 좋았던 점은 , 실제로 실무에서 모델이 서비스에 쓰이고 있을 때, 어떻게 파이프라인을 짜야하는 지를 상세하게 다뤄주십니다. 1. 머신러닝 파이프라인 단계 개요 1-1. 머신러닝 프로젝트의 이점 머신러닝 파이프라인은 새로운 학습 데이터 수집하는 것으로 시작 → 모델 피드백 받는 것으로 끝난다. 일반적으로 데이터가 많을수록 모델이 개선된다. 실제로 좋은 성능을 유지하기 위해 지속적으로 재학습하기 위해선 자동화가핵심이다. 2. 데이터 수집, 버전 관리 , 데이터 검증 2-1. 데이터 수집(Data ingestion/versioning) Data vers.. 더보기 [특강정리] 제2차 AI 미래포럼 웨비나 : 인공지능의 기대와 현실 안녕하세요~ 27년차 진로탐색꾼 조녁입니다! 오늘은 어제(210513) 라이브로 진행되었던 2차 AI 미래포럼 웨비나 들으면서 정리해본 걸 포스팅하려합니다. 실제 현업에서 각 기업에 방향을 제시하시는 위치에 계신분들이 직접 말씀해주셔서 더 와닿았고 내용들 자체가 너무너무 재밌고 유익했습니다!! 다른 분들도 시간되시면 한번 직접 들어보시길 추천드려요! 저는 제가 감명깊었던 것들 위주로 요약하여 정리하였습니다. 제2차 AI 미래포럼 웨비나 210513 인공지능의 기대와 현실 1. 기조연설 김윤 SKT CTO AI의 실상과 허상: Are we solving the right problems with AI? Q. 어떻게 하면 인간에게 이로운 인공지능을 만들 수 있을까? 라는 질문에서 출발한다. 1.AI Desi.. 더보기 [MLOps] 1-1.머신러닝 파이프라인 안녕하세요~ 27년차 진로탐색꾼 조녁입니다!! 4월 한달동안은 짧게 일도하고 5월부터는 깃헙 잔디를 가꾸기 시작하면서 자연스레 블로그와 멀어지더라고요 ..ㅠ 다시 돌아온 계기는! 제가 처음으로 인프런에서 유료강의를 결제했는데 내용이 너무 좋아서 블로그에 정리해놓고자합니다! 내용은 실무에서 MLOps 가 어떻게 이뤄지고 있는 지에 대한 것인데 첫번째로 머신러닝 파이프라인에 대해 정리해보려합니다. 1. 머신러닝 파이프라인의 이해 eg) 헨리 포드의 자동차 조립 라인(컨베이어 벨트) : 제작시간을 12시간 → 3시간 단축시김으로 자동차가 대중화되었다. 1-1. 머신러닝 프로젝트의 이점 즉, 파이프라인을 통해 얻는 이점은 🧚생산성 향상 , 🧚예측 가능한 품질 , 🧚장애 대응능력 향상이다. 1-2. 머신러닝 파이.. 더보기 이전 1 ··· 9 10 11 12 13 14 15 ··· 27 다음
