Tech blog

* 프로그래머스의 마키나락스 MLOPS 강의를 참고하여 작성함 이제 저장한 모델을 불러와서 불러온 데이터로 predict 해보도록 하겠다.모델을 저장하는 방법에 대해서는 지난 포스팅의 실습을 참고https://ysryuu.tistory.com/37 [MLOps] 17. 모델 저장하기 실습이제 모델을 저장소에 저장하는 실습을 해보도록 한다. 모델의 저장 방법 및 구조 (docker compose)에 대해서는 이전 포스팅 참고https://ysryuu.tistory.com/36 ysryuu.tistory.com 모델 불러오기 방법 저장된 모델을 불러오는 코드는 두가지가 있다. 1. Sklearn 모듈의 load_model 활용def load_sklearn_model(run_id, model_name) : ..

* 프로그래머스의 마키나락스 MLOPS 강의를 참고하여 작성함 이제 모델을 저장소에 저장하는 실습을 해보도록 한다. 모델의 저장 방법 및 구조 (docker compose)에 대해서는 이전 포스팅 참고https://ysryuu.tistory.com/36  [MLOps] 16. 모델 저장소 구축 방법 (feat. 도커 컴포즈)* 프로그래머스의 마키나락스 MLOPS 강의를 참고하여 작성함 앞서 기획했던 모델 저장 아키텍쳐대로, 모델 저장소를 구축해 보도..ysryuu.tistory.com  모델 저장하기의 전체 구조는 아래와 같다.  1) Minio에서 최신 데이터를 다운로드하고 2) HPO (옵튜나를 활용해 하이퍼 파라미터를 최적화 하면서) 과정에서 MLflow에 실험 내용을 로깅한다 3) 최적화를 통해 ..

* 프로그래머스의 마키나락스 MLOPS 강의를 참고하여 작성함 앞서 기획했던 모델 저장 아키텍쳐대로, 모델 저장소를 구축해 보도록하겠다.https://ysryuu.tistory.com/33 [MLOps] 15. 모델 저장 개념 및 구조* 프로그래머스의 마키나락스 MLOPS 강의를 참고하여 작성함 모델 저장소는 학습이 완료된 모델을 저장할 수 있게 한다...ysryuu.tistory.com 백앤드 스토어 구축, 아티펙트 스토어 구축 (모델 저장) -> MLflow 실행 순으로 진행할 것이며,  원하는 순서대로 실행하기 위해 도커 컴포즈를 활용할 것이다.도커 컴포즈는 도커 명령어를 한줄씩 터미널에 입력하지 않고 한 파일 내에서 코드로 관리 가능하며, 무엇보다 컨테이너의 실행 순서를 지정할 수 있다는 점이 장..

* 프로그래머스의 마키나락스 MLOPS 강의를 참고하여 작성함 오늘은 MinIO 기본 사용 방법을 알아보려고 한다.앞서 데이터 관리의 중요성과 MinIO에 대해 소개한 바 있다. 관련 내용은 아래 포스팅 참고.https://ysryuu.tistory.com/19 [MLOps] 12. 데이터 관리 (feat.MinIO 소개)데이터 관리의 필요성 1. ML Research vs ML Production ML에서 다양한 이유에서 데이터 관리의 필요성이 대두되나, 특히 연구와 배포의 괴리 문제 해결을 위해 중요함. 배포 이전 연구 단계에서, Competitionysryuu.tistory.com MinIO 시작하기 1. 터미널에 docker Run 명령$ docker run [OPTIONS] IMAGE [COMM..

* 프로그래머스의 마키나락스 MLOPS 강의를 참고하여 작성함 이번 포스팅에서는, 모델 실행 파일에 MinIO에 저장하는 내용을 반영하고 실행해 볼 예정이다.MinIO로부터 데이터를 다운로드 및 로드하고 이를 활용해서 모델을 실행할 예정.  이전까지 업데이트된 train.py 코드는 아래 내용을 참고https://ysryuu.tistory.com/18 [MLOps] 11. 교차검증 (Cross-validation)앞서 HPO를 통해 찾은 파라미터가 최적의 값인지 알아보는 방법은 무엇일까? 하이퍼파라미터 최적화의 대표적인 툴인 Optuna 활용 예시는 아래 실습 포스팅을 참고. https://ysryuu.tistory.com/16 [MLOps] 9.ysryuu.tistory.com 반영할 부분데이터를 다운..

* 프로그래머스의 마키나락스 MLOPS 강의를 참고하여 작성함 모델 저장소는 학습이 완료된 모델을 저장할 수 있게 한다.아래 그림과 같이 모델 재현을 위한 실험관리 내용과 함께 모델을 저장해볼 것이다.프로그래머스 MLops 강의에서 진행하는 순서대로 따라가면서 모델 저장소를 구축하고 실행할 예정이다.하나의 저장 구조의 예시로 보면 될 것 같다.  모델 저장을 위한 아키텍처  모델 저장의 전체 구조는 1개의 local host 와 3개의 remote host로 구성되어 있다.각각의 역할을 살펴보자면 아래와 같다.  1. 로컬 호스트 (LocalHost) 사용자가 직접 접근하는 호스트로, 모델 관리 시스템의 인터페이스 역할을 한다. 로컬 호스트를 통해서 모델을 등록하고 추적할 수 있다.  2. 원격 서버 (..

함수함수의 구조함수명, 파라미터, 코드 내용, 함수 설명 독스트링 등으로 구성>>> def my_function():... '''이 부분은 독스트링이다.... ... 무엇을 하는 함수인지, ... 파라미터는 무엇인지, ... 함수의 반환값은 무엇인지 설명한다... ''' - 위치 파라미터 positioned parameters (==인수)>>> def positioned(first, second):... '''순서대로 할당하기'''... print(f'first:{first}')... print(f'second:{second}')... >>> positioned(1,2)first:1second:2 - 키워드 파라미터 keyword parameter..