머신러닝 & 딥러닝 공부/호기심 기록 썸네일형 리스트형 옵티마이저 비교 (AdamW , RAdam , AdamP) 및 간단 사용법 안녕하세요~! 27년차 진로탐색꾼 조녁입니다! 오늘은 사용해본 옵티마이저 간단한 사용법과 비교 남깁니다. 자세한 내용은 참고자료 남겨두겠습니다. -> 결론 : 저는 AdamW가 제일 안정적으로 잘 나왔습니다. 아직 옵티마이저의 하이퍼파라미터들은 안바꿔봤지만 큰 차이는 없을 것 같습니다. 1.Adam 과 RAdam 비교 - 한 마디로 정리하자면 RAdam은 Adam의 수식에 rectification을 곱해줌으로써 학습 초기에 일어날 수 있는 bad local optima problem을 해결하고, 학습 안정성을 높였다고 할 수 있습니다. 2. AdamW와 AdamP 비교 - AdamW에 비해 norm increase를 adjust하는 방식이라서 weight decay coupling과는 서로 complem.. 더보기 [딥러닝] 에폭(epoch) & 배치 사이즈(batch size) & 반복(iteration) 개념 정리 https://link.coupang.com/a/rGMRQ 경사하강법(gradient descent)을 통해 결과를 내기 위해서 여러번의 최적화 과정을 거쳐야 하는 알고리즘을 iterative 하다고 한다. 아래 그림과 같이 반복해서 많은 양의 데이터 학습을 진행할 때, 보통 한번에 최적화된 값을 찾기는 힘듭니다. 그렇기에 머신러닝에서 최적화(optimization)를 하기 위해 여러번의 학습 과정을 거칩니다. 또한 한번에 모든 양의 데이터를 넣지 않고 데이터를 나눠서 학습시키는데 이때 등장하는 개념이 batch size , epoch , iteration 입니다. 1. 에폭(epoch) : One Epoch is when an ENTIRE dataset is passed forward and backw.. 더보기 [딥러닝] 왜 CNN의 Input_shape 은 4D일까? 딥러닝에서 컴퓨터 비전에서 많이 쓰이는 CNN 모델은 컨볼루션 레이어에 들어가는 입력값을 늘 4D 여야한다. 만약 모양을 맞춰주지 않는다면, 컨볼루션 레이어에 넣을 수 없다. 왜 그런걸까? 그것은 4D의 의미를 파악하면 알 수 있다. 아래 사진을 살펴보자. (batch_size, height, width, depth) 여기서 2D 이미지의 가로, 세로는 이해하기 다들 인지하므로, Image depth 와 Batch size를 이야기하고자 한다. 우선, Image depth 는 이미지의 채널값을 나타낸다. 만약 흑백사진이면 1이고, 컬러사진이면 R.G.B 각각의 값으로 해서 채널값은 3이 된다. 다음으로 Batch_size는 한 번의 batch마다 주는 데이터 샘플의 size이다. 만약 3D 텐서가 있다면.. 더보기 [Librosa] 음성인식 기초 및 음악분류 & 추천 알고리즘 https://link.coupang.com/a/NS8jv Apple 2022 아이패드 에어 5세대 COUPANG www.coupang.com 안녕하세요~ 27년차 진로탐색꾼 조녁입니다!! 오늘은 음성파일을 인식하고 거기서 특징추출하는 기초적인 내용부터 추출한 특징들을 통해 노래의 장르를 분류하는 모델과 비슷한 장르의 노래를 추천해주는 알고리즘을 살펴보겠습니다! Tensorflow Dev 공부할 때, 텍스트를 LSTMs 로 학습시켜서 시를 작성해본 적이 있는데 음성파일을 다루는 건 처음이네요! * 오늘의 과제 : 노래 장르 분류 알고리즘 & 간단한 추천 알고리즘 구현해보기! 1. 데이터셋 다운로드 : 우선 저는 kaggle 데이터 셋을 사용하였고, 직접 다운로드 받아 사용할 수도 있지만, kaggle 과.. 더보기 [BeautyGAN] 화장해주는 인공지능 구현 안녕하세요~ 27년차 진로탐색꾼 조녁입니다!! 오늘은 색다르게 개인프로젝트로 찾아왔습니다!! 텐서플로우 개발자 자격증 취득 후 실제로 사용해보면 좋겠다 싶어서 개인 프로젝트를 해볼까합니다!! 다행히 좋은 유튜브 , 깃허브 오픈소스 , 논문 등등 좋은 선생님들이 많아서 참 감사합니다 ㅎㅎ (샤라웃투 빵형) * 오늘의 과제 : 다른 사람의 화장을 내 얼굴에 입히는 Makeup transfer를 구현해봐요! 0. 이론 : BeautyGAN: Instance-level Facial Makeup Transfer with Deep Generative Adversarial Network : 두장의 사진이 있다. 한장은 생얼(x)이고, 한장은 화장한 사진(y)이다. 이 두장을 통해 4장을 만드는데 x,y에 x+make.. 더보기 나를 위한 딥러닝 용어정리 [딥러닝] - 텐서(Tensor) : 수학적인 개념으로 데이터의 배열이라고 할 수 있다. - MLP : 다층 퍼셉트론(Multi-Layer Perceptron, MLP)이다. - DNN : 심층 신경망(Deep Neural Network) 로 입력층(Input layer)과 출력층(output layer) 사이에 여러 개의 은닉층(hidden layer)들로 이뤄진 인공 신경망(Artificial Neural Network, ANN)이다. -Sequential: 신경망에서 계층의 순서를 정의합니다. -Flatten: 정사각셩을 1차원 세트로 바꾼다. 주로 첫줄에서 이미지 따위를 변환할 때 쓰인다. -Relu : X> 0 일때는 X를 반환하고 그렇지 않으면 0을 반환합니다. 현재 가장 많이 쓰이는 활성화 .. 더보기 나를 위한 머신러닝 용어정리 [머신러닝] - 인공지능 : 학습, 문제 해결, 패턴 인식 등 인지 문제를 해결하는 컴퓨터 공학 분야로 1943년 처음으로 개념이 태동했다. - 머신러닝 : 인공지능을 구현하는 기존방식(:코드로 수행 방법 명시)과 달리 대량의 데이터로부터 학습하고 , 학습 된 모델을 통해 예측/판단 -지도학습(Supervised Learning) : 라벨이 붙은 데이터를 학습한 후 신규 데이터에 라벨을 붙임 eg) 분류 : 이미지 분류 , 회귀 : 가격 예측 -비지도학습(Unsupervised Learning) : 라벨이 없는 데이터 들에서 패턴을 찾음 eg) 연관 규칙 : 유사 단어 클러스터링, 군집 : 유사 이미지 클러스터링 -강화학습(Reinforcement Learning) : 피드백 또는 보상을 통하여 학습을 .. 더보기 [머신러닝]sklearn 활용해서 Iris(붓꽃) 분류 모델 구현 안녕하세요~ 27년차 진로탐색꾼 조녁입니다! 오늘은 눈이 와서 날이 춥네요! 다들 빙판길 조심하세요~ 오늘은 가장 많이 사용되는 파이썬 머신러닝 라이브러리인 sklearn(사이킷런)을 이용해서 간단한 붗꽃 분류 모델을 구현해보겠습니다! 특별히 의사 결정 트리를 이용해서 모델을 구현해보겠습니다! 우선 머신러닝을 공부할 때 중요한 건 내가 어떤 방식으로 모델을 구현하는 지 익숙해 지는 것이므로 단계를 나눠서 주석처리 해주는 것이 중요합니다! [Decision Tree(의사 결정 트리)를 이용하여 Iris 품종 분류 모델 구현] 1.Import Libraries import sklearn print(sklearn.__version__) #내가 사용하는 sklearn의 버전을 확인해준다. 저는 colab not.. 더보기 이전 1 다음
