Tech blog

1. 로컬에서 MLflow 시작하기 1) 터미널에 아래 코드로 설치함 pip3 install mlflow 2) 호스트에 자기 자신의 IP를 할당하라고 명령 $ mlflow server --host 0.0.0.0 혹시 나처럼 'ModuleNotFoundError: No module named 'pkg_resources' 에러가 나는 경우에는 setuptools를 설치해주고 그 다음 mlflow 설치 해주면 된다. pip3 install setuptools pip3 install mlflow 실행이 되면 아래 화면과 같이 작동하고, 두번째 줄의 주소 http://0.0.0.0:5000 를 통해 MLflow를 실행할 수 있다. 3) 주소로 웹페이지 실행 (http://0.0.0.0:5000) 주소 실행하면 m..

## 머신러닝의 실험관리 - 머신러닝에서 '실험 관리'란, 데이터 - 모델 학습 - 모델 평가로 이어지는 일련의 실험 과정을 체계적으로 기록 및 관리하는 것. - 실험을 거듭할 수록 수기나 엑셀로 정리 불가, 관리의 '자동화'의 필요성이 대두됨. ## 실험 관리의 대상 1. 실험중 발생하는 정보들 : train loss history, metric score ... 2. 실험 재현을 위한 정보들 : data, package version, code, parameters... ## 실험 관리 도구들 대표적인 실험 관리 도구들 아래와 같으며, 순서대로 local -> cloud 환경에 가깝다. 1. Tensorboard : local에 쉽게 설치 가능, tensorflow에 친화적 2. MLflow : 자체..

1. 설치된 패키지 확인하기 $pip3 freeze 설치된 패키지들 및 버전을 확인할 수 있다. 2. 도커 설치하기 나는 맥북을 사용중이라 아래 사이트에서 맥용 데스크탑 버전을 다운 받았다. https://docs.docker.com/desktop/install/mac-install/ 3. 도커 파일 만들기 매우 단순한 iris ML 모델을 아래와 같이 train.py 파일에 미리 저장 후, 도커로 빌드해주려고 한다. train.py파일 내용은 아래 참고 from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.ensemble import RandomForestClassifi..

# MLOps의 대두 배경 ## 1. 머신러닝의 발달 전통적인 소프트웨어에서는 Frontend + Backend + Infra구조였다면 머신러닝의 중요성 및 복잡성이 늘어나고 독립적으로 Backend, Infra와 소통하는 경우가 많아지면서 하나의 영역으로 분리됨 ## 2. 머신러닝의 복잡도 증대 AI는 데이터에 따른 소프트웨어. AI = software(data) 같은 코드로도 학습 데이터가 무엇인지에 따라 AI 결과 달라짐. 해결하는 문제의 유형에 따라, 같은 문제 유형 안에서도 데이터의 범위 및 특성에 따라, 모델의 유형에 따라 달라짐 다양한 경우의수 등으로 복잡도가 높아지면서 MLOps의 필요성이 대두 ## 3. 어떤 기대 효과? 1. 데이터 사이언티스트 등이 문제풀이와 모델링에 더 집중 가능 2..

설명 노션 포트폴리오 작성시, 특정 이미지를 클릭하면 원하는 링크로 이동되도록 하고 싶을 때가 있을 것이다. 그럴때는 따로 링크가 포함된 이미지 임베딩 링크를 만들어주어야 하는데, 아래 사이트에서 만들 수 있다. https://www.notion-tools.com/embeds/imglink