속도
-
모델 파일 load 속도 비교 (joblib vs Pickle vs cPickle)Data & ML & AI/기타 모델, 알고리즘, 툴 2023. 6. 28. 18:46
프로젝트를 진행하는 과정에서 모델을 돌리는 시간보다 모델파일을 불러오는 시간이 훨씬 길다는 문제가 발생했습니다. 지금까지 저는 특별한 이유 없이 관습적으로 joblib을 사용하고 있었는데, 이번 기회에 joblib과 Pickle, 그리고 cPickle의 로딩 속도를 비교하고 선택해보기로 했습니다. 1. 레퍼런스 우선 아래의 stackoverflow 글을 확인했습니다. What are the different use cases of joblib versus pickle? Background: I'm just getting started with scikit-learn, and read at the bottom of the page about joblib, versus pickle. it may be mor..
-
[Pandas] pd.merge 속도 빠르게 바꾸기Data & ML & AI/Pandas & Scikit-Learn 2023. 3. 2. 12:16
새로 서비스를 개발하는데 request에 대한 반응이 너무 느린 문제가 발생하였습니다. 모델 돌아가는게 느린가? 모델을 더 경량화 해야하나? 했는데 pd.merge 가 압도적으로 가장 많은 시간을 잡아먹고 있음을 확인할 수 있었습니다. pd.merge에 소요되는 시간을 줄여봅시다. 아래의 글을 참조했습니다. FAST PANDAS LEFT JOIN (357x faster than pd.merge) Explore and run machine learning code with Kaggle Notebooks | Using data from Riiid Answer Correctness Prediction www.kaggle.com 1) 매우 기본적인 형태의 pd.merge() df_test.merge(df_use..