Tech blog

* 프로그래머스의 마키나락스 MLOPS 강의를 참고하여 작성함 이전 포스팅에서 MLflow에 모델을 저장하고 다시 불러와 사용하는 법에 대해서 알아보았다.모델을 로드시 Sklearn, 혹은 Pyfunc 모듈을 활용할 수 있었는데, Sklearn 모듈은 주로 Sklearn 전용 모델을 저장 및 활용할 수 있었고, 그 외의 작업들, 모든 다른 유형의 모델 저장에 대해서는 Pyfunc를 활용할 수 있다는 점을 배웠다. 이전 포스팅은 아래 참고.https://ysryuu.tistory.com/38 [MLOps] 18. MLflow에서 모델 불러오기 실습* 프로그래머스의 마키나락스 MLOPS 강의를 참고하여 작성함 이제 저장한 모델을 불러와서 불러온 데이터로 predict 해보도..ysryuu.tistory.co..

* 프로그래머스의 마키나락스 MLOPS 강의를 참고하여 작성함 이제 저장한 모델을 불러와서 불러온 데이터로 predict 해보도록 하겠다.모델을 저장하는 방법에 대해서는 지난 포스팅의 실습을 참고https://ysryuu.tistory.com/37 [MLOps] 17. 모델 저장하기 실습이제 모델을 저장소에 저장하는 실습을 해보도록 한다. 모델의 저장 방법 및 구조 (docker compose)에 대해서는 이전 포스팅 참고https://ysryuu.tistory.com/36 ysryuu.tistory.com 모델 불러오기 방법 저장된 모델을 불러오는 코드는 두가지가 있다. 1. Sklearn 모듈의 load_model 활용def load_sklearn_model(run_id, model_name) : ..

* 프로그래머스의 마키나락스 MLOPS 강의를 참고하여 작성함 이제 모델을 저장소에 저장하는 실습을 해보도록 한다. 모델의 저장 방법 및 구조 (docker compose)에 대해서는 이전 포스팅 참고https://ysryuu.tistory.com/36  [MLOps] 16. 모델 저장소 구축 방법 (feat. 도커 컴포즈)* 프로그래머스의 마키나락스 MLOPS 강의를 참고하여 작성함 앞서 기획했던 모델 저장 아키텍쳐대로, 모델 저장소를 구축해 보도..ysryuu.tistory.com  모델 저장하기의 전체 구조는 아래와 같다.  1) Minio에서 최신 데이터를 다운로드하고 2) HPO (옵튜나를 활용해 하이퍼 파라미터를 최적화 하면서) 과정에서 MLflow에 실험 내용을 로깅한다 3) 최적화를 통해 ..

* 프로그래머스의 마키나락스 MLOPS 강의를 참고하여 작성함 앞서 기획했던 모델 저장 아키텍쳐대로, 모델 저장소를 구축해 보도록하겠다.https://ysryuu.tistory.com/33 [MLOps] 15. 모델 저장 개념 및 구조* 프로그래머스의 마키나락스 MLOPS 강의를 참고하여 작성함 모델 저장소는 학습이 완료된 모델을 저장할 수 있게 한다...ysryuu.tistory.com 백앤드 스토어 구축, 아티펙트 스토어 구축 (모델 저장) -> MLflow 실행 순으로 진행할 것이며,  원하는 순서대로 실행하기 위해 도커 컴포즈를 활용할 것이다.도커 컴포즈는 도커 명령어를 한줄씩 터미널에 입력하지 않고 한 파일 내에서 코드로 관리 가능하며, 무엇보다 컨테이너의 실행 순서를 지정할 수 있다는 점이 장..

* 프로그래머스의 마키나락스 MLOPS 강의를 참고하여 작성함 모델 저장소는 학습이 완료된 모델을 저장할 수 있게 한다.아래 그림과 같이 모델 재현을 위한 실험관리 내용과 함께 모델을 저장해볼 것이다.프로그래머스 MLops 강의에서 진행하는 순서대로 따라가면서 모델 저장소를 구축하고 실행할 예정이다.하나의 저장 구조의 예시로 보면 될 것 같다.  모델 저장을 위한 아키텍처  모델 저장의 전체 구조는 1개의 local host 와 3개의 remote host로 구성되어 있다.각각의 역할을 살펴보자면 아래와 같다.  1. 로컬 호스트 (LocalHost) 사용자가 직접 접근하는 호스트로, 모델 관리 시스템의 인터페이스 역할을 한다. 로컬 호스트를 통해서 모델을 등록하고 추적할 수 있다.  2. 원격 서버 (..

MLflow와 Optuna를 함께 사용 해보도록 하겠다. 시작하기 전, MLflow만 실습한 내용과 Optuna만 실습한 내용 각각은 아래 링크를 참고. https://ysryuu.tistory.com/14 https://ysryuu.tistory.com/16 [MLOps] 7. MLflow 로깅 실습 모델 파일 실행시 mlflow로 로깅해보기 모델이 있는 py파일에 로깅 코드를 함께 추가해서 실행해보자. 원래 train.py에 있는 내용은 아래 링크 참고하면 된다. 아래 파일 내용에서 mlflow관련 부분 제 ysryuu.tistory.com [MLOps] 9. Optuna 실습 Optuna란? 하이퍼파라미터를 최적화 할 수 있는 대표적인 프레임워크 중 하나에 대해 모른다면 아래 포스팅 참고. http..

모델 파일 실행시 mlflow로 로깅해보기 모델이 있는 py파일에 로깅 코드를 함께 추가해서 실행해보자. 원래 train.py에 있는 내용은 아래 링크 참고하면 된다. 아래 파일 내용에서 mlflow관련 부분 제외된 것. https://ysryuu.tistory.com/4?category=1165111 [MLOps] 2. 도커 사용 실습 - 이미지 build 및 .py파일 재현 1. 설치된 패키지 확인하기 $pip3 freeze 설치된 패키지들 및 버전을 확인할 수 있다. 2. 도커 설치하기 나는 맥북을 사용중이라 아래 사이트에서 맥용 데스크탑 버전을 다운 받았다. https://docs.docker.c ysryuu.tistory.com import mlflow from sklearn.datasets ..

MLflow를 통해 실험을 로깅해보자. 파라미터와 메트릭을 로깅하는 방법을 알아보자. 1. MLflow 환경 설정 우선 docker compose 이용해서 환경 설정을 하고 MLflow를 연다. https://ysryuu.tistory.com/8?category=1165111 [MLOps] 5. 도커 Compose로 MLflow 시작하기 도커 Compose란? : 복잡한 명령 arguments, 다수 컨테이너를 처리해야 할때 활용 - 도커 명령어들을 코드로 관리할 수 있다. - 여러 컨테이너들의 실행 순서를 지정할 수 있다. - 여러 컨테이너 간의 볼 ysryuu.tistory.com 2. MLflow에서 새로운 실험 만들기 python을 실행한 후, 아래의 코드를 순차적으로 실행하면, MLflow 사이..

1. 로컬에서 MLflow 시작하기 1) 터미널에 아래 코드로 설치함 pip3 install mlflow 2) 호스트에 자기 자신의 IP를 할당하라고 명령 $ mlflow server --host 0.0.0.0 혹시 나처럼 'ModuleNotFoundError: No module named 'pkg_resources' 에러가 나는 경우에는 setuptools를 설치해주고 그 다음 mlflow 설치 해주면 된다. pip3 install setuptools pip3 install mlflow 실행이 되면 아래 화면과 같이 작동하고, 두번째 줄의 주소 http://0.0.0.0:5000 를 통해 MLflow를 실행할 수 있다. 3) 주소로 웹페이지 실행 (http://0.0.0.0:5000) 주소 실행하면 m..