머신러닝 & 딥러닝 공부 썸네일형 리스트형 [MLOps] 1-2.머신러닝 파이프라인 단계 안녕하세요~ 27년차 진로탐색꾼 조녁입니다!! 두번째 강좌는 머신러닝의 파이프라인을 다루고 있습니다. 주로 ML 엔지니어 입장에서 설명해주고 계십니다. 특별히 좋았던 점은 , 실제로 실무에서 모델이 서비스에 쓰이고 있을 때, 어떻게 파이프라인을 짜야하는 지를 상세하게 다뤄주십니다. 1. 머신러닝 파이프라인 단계 개요 1-1. 머신러닝 프로젝트의 이점 머신러닝 파이프라인은 새로운 학습 데이터 수집하는 것으로 시작 → 모델 피드백 받는 것으로 끝난다. 일반적으로 데이터가 많을수록 모델이 개선된다. 실제로 좋은 성능을 유지하기 위해 지속적으로 재학습하기 위해선 자동화가핵심이다. 2. 데이터 수집, 버전 관리 , 데이터 검증 2-1. 데이터 수집(Data ingestion/versioning) Data vers.. 더보기 [MLOps] 1-1.머신러닝 파이프라인 안녕하세요~ 27년차 진로탐색꾼 조녁입니다!! 4월 한달동안은 짧게 일도하고 5월부터는 깃헙 잔디를 가꾸기 시작하면서 자연스레 블로그와 멀어지더라고요 ..ㅠ 다시 돌아온 계기는! 제가 처음으로 인프런에서 유료강의를 결제했는데 내용이 너무 좋아서 블로그에 정리해놓고자합니다! 내용은 실무에서 MLOps 가 어떻게 이뤄지고 있는 지에 대한 것인데 첫번째로 머신러닝 파이프라인에 대해 정리해보려합니다. 1. 머신러닝 파이프라인의 이해 eg) 헨리 포드의 자동차 조립 라인(컨베이어 벨트) : 제작시간을 12시간 → 3시간 단축시김으로 자동차가 대중화되었다. 1-1. 머신러닝 프로젝트의 이점 즉, 파이프라인을 통해 얻는 이점은 🧚생산성 향상 , 🧚예측 가능한 품질 , 🧚장애 대응능력 향상이다. 1-2. 머신러닝 파이.. 더보기 [딥러닝] 에폭(epoch) & 배치 사이즈(batch size) & 반복(iteration) 개념 정리 https://link.coupang.com/a/rGMRQ 경사하강법(gradient descent)을 통해 결과를 내기 위해서 여러번의 최적화 과정을 거쳐야 하는 알고리즘을 iterative 하다고 한다. 아래 그림과 같이 반복해서 많은 양의 데이터 학습을 진행할 때, 보통 한번에 최적화된 값을 찾기는 힘듭니다. 그렇기에 머신러닝에서 최적화(optimization)를 하기 위해 여러번의 학습 과정을 거칩니다. 또한 한번에 모든 양의 데이터를 넣지 않고 데이터를 나눠서 학습시키는데 이때 등장하는 개념이 batch size , epoch , iteration 입니다. 1. 에폭(epoch) : One Epoch is when an ENTIRE dataset is passed forward and backw.. 더보기 [딥러닝] 왜 CNN의 Input_shape 은 4D일까? 딥러닝에서 컴퓨터 비전에서 많이 쓰이는 CNN 모델은 컨볼루션 레이어에 들어가는 입력값을 늘 4D 여야한다. 만약 모양을 맞춰주지 않는다면, 컨볼루션 레이어에 넣을 수 없다. 왜 그런걸까? 그것은 4D의 의미를 파악하면 알 수 있다. 아래 사진을 살펴보자. (batch_size, height, width, depth) 여기서 2D 이미지의 가로, 세로는 이해하기 다들 인지하므로, Image depth 와 Batch size를 이야기하고자 한다. 우선, Image depth 는 이미지의 채널값을 나타낸다. 만약 흑백사진이면 1이고, 컬러사진이면 R.G.B 각각의 값으로 해서 채널값은 3이 된다. 다음으로 Batch_size는 한 번의 batch마다 주는 데이터 샘플의 size이다. 만약 3D 텐서가 있다면.. 더보기 [Librosa] 음성인식 기초 및 음악분류 & 추천 알고리즘 https://link.coupang.com/a/NS8jv Apple 2022 아이패드 에어 5세대 COUPANG www.coupang.com 안녕하세요~ 27년차 진로탐색꾼 조녁입니다!! 오늘은 음성파일을 인식하고 거기서 특징추출하는 기초적인 내용부터 추출한 특징들을 통해 노래의 장르를 분류하는 모델과 비슷한 장르의 노래를 추천해주는 알고리즘을 살펴보겠습니다! Tensorflow Dev 공부할 때, 텍스트를 LSTMs 로 학습시켜서 시를 작성해본 적이 있는데 음성파일을 다루는 건 처음이네요! * 오늘의 과제 : 노래 장르 분류 알고리즘 & 간단한 추천 알고리즘 구현해보기! 1. 데이터셋 다운로드 : 우선 저는 kaggle 데이터 셋을 사용하였고, 직접 다운로드 받아 사용할 수도 있지만, kaggle 과.. 더보기 [BeautyGAN] 화장해주는 인공지능 구현 안녕하세요~ 27년차 진로탐색꾼 조녁입니다!! 오늘은 색다르게 개인프로젝트로 찾아왔습니다!! 텐서플로우 개발자 자격증 취득 후 실제로 사용해보면 좋겠다 싶어서 개인 프로젝트를 해볼까합니다!! 다행히 좋은 유튜브 , 깃허브 오픈소스 , 논문 등등 좋은 선생님들이 많아서 참 감사합니다 ㅎㅎ (샤라웃투 빵형) * 오늘의 과제 : 다른 사람의 화장을 내 얼굴에 입히는 Makeup transfer를 구현해봐요! 0. 이론 : BeautyGAN: Instance-level Facial Makeup Transfer with Deep Generative Adversarial Network : 두장의 사진이 있다. 한장은 생얼(x)이고, 한장은 화장한 사진(y)이다. 이 두장을 통해 4장을 만드는데 x,y에 x+make.. 더보기 [Tensorflow developer Certificate] 구글 공인 텐서플로우 개발자 자격증 공부방법 & 합격 후기 안녕하세요 ~~ 27년차 프로 진로탐색꾼 조녁입니다!! 2월 1일에 호기롭게 시작한 제 인생 두번째 자격증 여정(?)이 막을 내렸습니다!.. 사실 취득은 3월 2일에 했는데 코세라 강의 기간안에 한번 더 복습하고 싶어서 부랴부랴 듣느라 이제야 후기를 쓰네요. 짜잔~!!!! 끝나서 너무 좋다. 시험은 허무했지만 그래도 공부하는 과정에서 코세라 강의가 너무나도 유익했고, 양질의 자료들 잘 정리할 수 있어서 보람찼던 것 같다. 간략하게나마 1) 어떠한 자격증인지(신청 방법, 난이도, 내용, 공부기간 등), 2)취득하는 TIp, 3)자격증 취득 시 장점!! 을 다뤄보겠습니다. 1. Tensorflow Developer Certificate는 어떠한 자격증인가요? 가장 큰 메리트는 구글에서 공인하는 자격증이라는 .. 더보기 [Tensorflow dev 자격증] Real-world time series data 안녕하세요 27년차 진로탐색꾼 조녁입니다! 오늘은 텐서플로우 자격증 과정 네번째 강좌인 'Sequences, Time Series and Prediction ' 4주차 강의(Real-world time series data) 및 자료를 공부했습니다. 드디어 .. 마지막 강의네요. 2월 한달은 중간 중간에 이벤트가 많았던 것도 있지만, 꼬박 한달을 텐서플로우 자격증 공부에 쏟았던 것 같아요.. (부끄럽지만 제가 좀 느립니다) 얼른 끝내고 오늘 시험봐야지!! 첫번째 영상, Week4 - A conversation with Andrew Ng 지금까지 배워온 것들을 실제 데이터(여기서는 sunspots)에 적용시킬 것이다. CNN, 1D cams , LSTMs, DNN 을 함께 사용해서 흑점 운동에 대한 나이스.. 더보기 이전 1 2 3 4 5 다음
