Tech blog

* 코드잇의 자연어 처리 강의를 참고하여 작성함 1. 자연어처리 (Natural Language Processing)자연어처리 (Natural Language Processing)은 컴퓨터가 인간이 사용하는 자연어를 이해하고 처리하는 분야이다.언어는 인공어(프로그래밍 언어 등) 와 자연어(한글, 영어, 불어 등) 로 분류 가능하며, 사람이 쓰는 일상어는 모두 자연어라 볼 수 있다.자연어처리는 언어의 다양한 차원에서 이루어질 수 있고 주요 단계는 아래와 같다.어휘 분석 (Lexical Analysis) : 텍스트를 문장을 구성하는 토큰(token)이라는 최소 의미단위로 구분하여 분석.구문 분석 (Syntactic Analysis) : 텍스트를 구문 단위로 구분하여 문장의 구조를 분석. 각 토큰의 역할, 문..

본 포스팅에서는 본격적으로 선형 회귀를 활용하여 협업필터링 추천시스템을 만들어보겠다.협업필터링 추천 시스템의 개념은 아래 포스팅 참고 https://ysryuu.tistory.com/24 [RecSys] 4. 협업 필터링이란?협업 필터링 (Collaborative Filtering) 이란? 내용 기반 추천에서는, 한 유저의 평점이 다른 유저의 평점에 영향을 미치지 않고 서로 독립적이라고 가정했다. 그러나 현실에서는 유저들 간의 영화 평점ysryuu.tistory.com 1. 데이터 표현협업 필터링을 위해서는 데이터를 어떻게 수학적으로 표현해야 할까?내용기반 필터링에서는 각 유저에 대해서 액션, 로맨스, 감동 등의 영화 속성을 활용해 영화에 대한 선호도를 표시했었다.협업 필터링에서는 영화의 내용, 즉 속성..

* 프로그래머스의 마키나락스 MLOPS 강의를 참고하여 작성함 이전 포스팅에서 MLflow에 모델을 저장하고 다시 불러와 사용하는 법에 대해서 알아보았다.모델을 로드시 Sklearn, 혹은 Pyfunc 모듈을 활용할 수 있었는데, Sklearn 모듈은 주로 Sklearn 전용 모델을 저장 및 활용할 수 있었고, 그 외의 작업들, 모든 다른 유형의 모델 저장에 대해서는 Pyfunc를 활용할 수 있다는 점을 배웠다. 이전 포스팅은 아래 참고.https://ysryuu.tistory.com/38 [MLOps] 18. MLflow에서 모델 불러오기 실습* 프로그래머스의 마키나락스 MLOPS 강의를 참고하여 작성함 이제 저장한 모델을 불러와서 불러온 데이터로 predict 해보도..ysryuu.tistory.co..

* 프로그래머스의 마키나락스 MLOPS 강의를 참고하여 작성함 이제 저장한 모델을 불러와서 불러온 데이터로 predict 해보도록 하겠다.모델을 저장하는 방법에 대해서는 지난 포스팅의 실습을 참고https://ysryuu.tistory.com/37 [MLOps] 17. 모델 저장하기 실습이제 모델을 저장소에 저장하는 실습을 해보도록 한다. 모델의 저장 방법 및 구조 (docker compose)에 대해서는 이전 포스팅 참고https://ysryuu.tistory.com/36 ysryuu.tistory.com 모델 불러오기 방법 저장된 모델을 불러오는 코드는 두가지가 있다. 1. Sklearn 모듈의 load_model 활용def load_sklearn_model(run_id, model_name) : ..

* 프로그래머스의 마키나락스 MLOPS 강의를 참고하여 작성함 이제 모델을 저장소에 저장하는 실습을 해보도록 한다. 모델의 저장 방법 및 구조 (docker compose)에 대해서는 이전 포스팅 참고https://ysryuu.tistory.com/36  [MLOps] 16. 모델 저장소 구축 방법 (feat. 도커 컴포즈)* 프로그래머스의 마키나락스 MLOPS 강의를 참고하여 작성함 앞서 기획했던 모델 저장 아키텍쳐대로, 모델 저장소를 구축해 보도..ysryuu.tistory.com  모델 저장하기의 전체 구조는 아래와 같다.  1) Minio에서 최신 데이터를 다운로드하고 2) HPO (옵튜나를 활용해 하이퍼 파라미터를 최적화 하면서) 과정에서 MLflow에 실험 내용을 로깅한다 3) 최적화를 통해 ..

* 프로그래머스의 마키나락스 MLOPS 강의를 참고하여 작성함 앞서 기획했던 모델 저장 아키텍쳐대로, 모델 저장소를 구축해 보도록하겠다.https://ysryuu.tistory.com/33 [MLOps] 15. 모델 저장 개념 및 구조* 프로그래머스의 마키나락스 MLOPS 강의를 참고하여 작성함 모델 저장소는 학습이 완료된 모델을 저장할 수 있게 한다...ysryuu.tistory.com 백앤드 스토어 구축, 아티펙트 스토어 구축 (모델 저장) -> MLflow 실행 순으로 진행할 것이며,  원하는 순서대로 실행하기 위해 도커 컴포즈를 활용할 것이다.도커 컴포즈는 도커 명령어를 한줄씩 터미널에 입력하지 않고 한 파일 내에서 코드로 관리 가능하며, 무엇보다 컨테이너의 실행 순서를 지정할 수 있다는 점이 장..

* 프로그래머스의 마키나락스 MLOPS 강의를 참고하여 작성함 오늘은 MinIO 기본 사용 방법을 알아보려고 한다.앞서 데이터 관리의 중요성과 MinIO에 대해 소개한 바 있다. 관련 내용은 아래 포스팅 참고.https://ysryuu.tistory.com/19 [MLOps] 12. 데이터 관리 (feat.MinIO 소개)데이터 관리의 필요성 1. ML Research vs ML Production ML에서 다양한 이유에서 데이터 관리의 필요성이 대두되나, 특히 연구와 배포의 괴리 문제 해결을 위해 중요함. 배포 이전 연구 단계에서, Competitionysryuu.tistory.com MinIO 시작하기 1. 터미널에 docker Run 명령$ docker run [OPTIONS] IMAGE [COMM..

* 프로그래머스의 마키나락스 MLOPS 강의를 참고하여 작성함 이번 포스팅에서는, 모델 실행 파일에 MinIO에 저장하는 내용을 반영하고 실행해 볼 예정이다.MinIO로부터 데이터를 다운로드 및 로드하고 이를 활용해서 모델을 실행할 예정.  이전까지 업데이트된 train.py 코드는 아래 내용을 참고https://ysryuu.tistory.com/18 [MLOps] 11. 교차검증 (Cross-validation)앞서 HPO를 통해 찾은 파라미터가 최적의 값인지 알아보는 방법은 무엇일까? 하이퍼파라미터 최적화의 대표적인 툴인 Optuna 활용 예시는 아래 실습 포스팅을 참고. https://ysryuu.tistory.com/16 [MLOps] 9.ysryuu.tistory.com 반영할 부분데이터를 다운..

* 프로그래머스의 마키나락스 MLOPS 강의를 참고하여 작성함 모델 저장소는 학습이 완료된 모델을 저장할 수 있게 한다.아래 그림과 같이 모델 재현을 위한 실험관리 내용과 함께 모델을 저장해볼 것이다.프로그래머스 MLops 강의에서 진행하는 순서대로 따라가면서 모델 저장소를 구축하고 실행할 예정이다.하나의 저장 구조의 예시로 보면 될 것 같다.  모델 저장을 위한 아키텍처  모델 저장의 전체 구조는 1개의 local host 와 3개의 remote host로 구성되어 있다.각각의 역할을 살펴보자면 아래와 같다.  1. 로컬 호스트 (LocalHost) 사용자가 직접 접근하는 호스트로, 모델 관리 시스템의 인터페이스 역할을 한다. 로컬 호스트를 통해서 모델을 등록하고 추적할 수 있다.  2. 원격 서버 (..

함수함수의 구조함수명, 파라미터, 코드 내용, 함수 설명 독스트링 등으로 구성>>> def my_function():... '''이 부분은 독스트링이다.... ... 무엇을 하는 함수인지, ... 파라미터는 무엇인지, ... 함수의 반환값은 무엇인지 설명한다... ''' - 위치 파라미터 positioned parameters (==인수)>>> def positioned(first, second):... '''순서대로 할당하기'''... print(f'first:{first}')... print(f'second:{second}')... >>> positioned(1,2)first:1second:2 - 키워드 파라미터 keyword parameter..