Tech blog

* 프로그래머스의 마키나락스 MLOPS 강의를 참고하여 작성함 이제 저장한 모델을 불러와서 불러온 데이터로 predict 해보도록 하겠다.모델을 저장하는 방법에 대해서는 지난 포스팅의 실습을 참고https://ysryuu.tistory.com/37 [MLOps] 17. 모델 저장하기 실습이제 모델을 저장소에 저장하는 실습을 해보도록 한다. 모델의 저장 방법 및 구조 (docker compose)에 대해서는 이전 포스팅 참고https://ysryuu.tistory.com/36 ysryuu.tistory.com 모델 불러오기 방법 저장된 모델을 불러오는 코드는 두가지가 있다. 1. Sklearn 모듈의 load_model 활용def load_sklearn_model(run_id, model_name) : ..

* 프로그래머스의 마키나락스 MLOPS 강의를 참고하여 작성함 앞서 기획했던 모델 저장 아키텍쳐대로, 모델 저장소를 구축해 보도록하겠다.https://ysryuu.tistory.com/33 [MLOps] 15. 모델 저장 개념 및 구조* 프로그래머스의 마키나락스 MLOPS 강의를 참고하여 작성함 모델 저장소는 학습이 완료된 모델을 저장할 수 있게 한다...ysryuu.tistory.com 백앤드 스토어 구축, 아티펙트 스토어 구축 (모델 저장) -> MLflow 실행 순으로 진행할 것이며,  원하는 순서대로 실행하기 위해 도커 컴포즈를 활용할 것이다.도커 컴포즈는 도커 명령어를 한줄씩 터미널에 입력하지 않고 한 파일 내에서 코드로 관리 가능하며, 무엇보다 컨테이너의 실행 순서를 지정할 수 있다는 점이 장..

* 프로그래머스의 마키나락스 MLOPS 강의를 참고하여 작성함 모델 저장소는 학습이 완료된 모델을 저장할 수 있게 한다.아래 그림과 같이 모델 재현을 위한 실험관리 내용과 함께 모델을 저장해볼 것이다.프로그래머스 MLops 강의에서 진행하는 순서대로 따라가면서 모델 저장소를 구축하고 실행할 예정이다.하나의 저장 구조의 예시로 보면 될 것 같다.  모델 저장을 위한 아키텍처  모델 저장의 전체 구조는 1개의 local host 와 3개의 remote host로 구성되어 있다.각각의 역할을 살펴보자면 아래와 같다.  1. 로컬 호스트 (LocalHost) 사용자가 직접 접근하는 호스트로, 모델 관리 시스템의 인터페이스 역할을 한다. 로컬 호스트를 통해서 모델을 등록하고 추적할 수 있다.  2. 원격 서버 (..

데이터 관리의 필요성 1. ML Research vs ML Production ML에서 다양한 이유에서 데이터 관리의 필요성이 대두되나, 특히 연구와 배포의 괴리 문제 해결을 위해 중요함. 배포 이전 연구 단계에서, Competition 의 경우 지정된 데이터만, Research 의 경우 벤치마크 데이터만 사용하는 경우가 다수인데, 배포 이후 시간의 흐름에 따라 데이터가 변화하면서 모델의 성능은 필연적으로 떨어짐. 2. Data Drift 문제의 발생 이런 문제를 Data Drift 현상이라고 하는데, Train 데이터의 distribution과 Real world 데이터의 distribution이 서로 다르기 때문에 발생. 현실에서는 순간적으로, 지속적으로, 점진적으로, 일시적으로 등 데이터가 변화하므..