joblib
-
모델 파일 load 속도 비교 (joblib vs Pickle vs cPickle)Data & ML & AI/기타 모델, 알고리즘, 툴 2023. 6. 28. 18:46
프로젝트를 진행하는 과정에서 모델을 돌리는 시간보다 모델파일을 불러오는 시간이 훨씬 길다는 문제가 발생했습니다. 지금까지 저는 특별한 이유 없이 관습적으로 joblib을 사용하고 있었는데, 이번 기회에 joblib과 Pickle, 그리고 cPickle의 로딩 속도를 비교하고 선택해보기로 했습니다. 1. 레퍼런스 우선 아래의 stackoverflow 글을 확인했습니다. What are the different use cases of joblib versus pickle? Background: I'm just getting started with scikit-learn, and read at the bottom of the page about joblib, versus pickle. it may be mor..
-
[Python] AWS S3에 모델파일 저장하기, 불러오기 (boto3)Programing/AWS 2023. 2. 16. 10:17
기존에는 모델학습, 저장, load 후 flask 서버 활용 모두 하나의 EC2에서 진행했으나, 이제는 규모도 조금 커졌겠다, EC2 자원 잡아먹지 않도록 분리를 해야겠다는 생각이 들었습니다. 모델학습은 로컬에서 진행하고, 만들어진 모델파일은 S3에 저장, EC2내의 flask 서버가 S3의 모델파일을 읽어와 서비스를 제공하도록 변경하고자 했습니다. 그러려면 파이썬이 S3의 파일 데이터에 접근 가능해야겠죠. 방법은 매우 간단합니다. boto3를 이용하면 됩니다. 사전준비 1) AWS 엑세스 키 발급 기존에 access key가 없었다면 아래의 docs를 참고해서 키를 만들어주세요 AWS 계정 및 액세스 키 - AWS Tools for PowerShell 이 페이지에 작업이 필요하다는 점을 알려 주셔서 감..