load
-
모델 파일 load 속도 비교 (joblib vs Pickle vs cPickle)Data & ML & AI/기타 모델 및 알고리즘 2023. 6. 28. 18:46
프로젝트를 진행하는 과정에서 모델을 돌리는 시간보다 모델파일을 불러오는 시간이 훨씬 길다는 문제가 발생했습니다. 지금까지 저는 특별한 이유 없이 관습적으로 joblib을 사용하고 있었는데, 이번 기회에 joblib과 Pickle, 그리고 cPickle의 로딩 속도를 비교하고 선택해보기로 했습니다. 1. 레퍼런스 우선 아래의 stackoverflow 글을 확인했습니다. What are the different use cases of joblib versus pickle? Background: I'm just getting started with scikit-learn, and read at the bottom of the page about joblib, versus pickle. it may be mor..
-
Neo4j csv파일 열기(LOAD CSV)Data & ML & AI/GraphDB(Neo4j) 2022. 7. 11. 00:43
많은 수의 원본데이터, raw데이터는 csv, 엑셀과 같은 테이블 형식의 데이터입니다. 처음부터 그래프DB로 시작하는 극히 드문 경우가 아니라면 테이블 형식의 데이터를 그래프DB로 옮겨와야 한다는 뜻입니다. Neo4j에서 csv파일을 열고 데이터를 가져와 봅시다. 출처: http://data.neo4j.com/northwind/products.csv 그 전에 주의사항 데이터를 import 함에 있어 제약조건이 좀 있습니다. 1) CSV파일만 load 가능하다. xlsx등의 기타 포맷은 지원하지 않습니다. (neo4j 밖에서 특정한 처리를 통해 csv로 변경해줘야 합니다.) csv파일 외에 API, RDBMS에서 가져오는 방법도 있지만 일단 여기서는 생략합니다. 로컬에 저장된 데이터 읽어오기 Neo4j D..