전체 글
-
[onnxruntime] CUDAExecutionProvider가 적용되지 않을 때Programing/기타 오류 해결 2024. 5. 8. 20:21
GPU 딸린 새 VM에 환경을 구축하고 테스트를 진행하는데Applied privider가 'CPUExecutionProvider'로 적용되고 있습니다. CUDA, cuDNN, onnxruntime 간 버전이 맞지 않아 발생한 문제일 가능성이 큽니다. 클라우드 서비스에서 제공하는 GPU VM은 적어도 CUDA, cuDNN 간 버전은 맞춰진 상태이므로,onnxruntime만 조정해보도록 하겠습니다. CUDA, cuDNN 버전 확인CUDAnvcc -V cuDNNcat /usr/include/x86_64-linux-gnu/cudnn_v*.h | grep CUDNN_MAJOR -A 2 ONNX Runtime 재설치이미 onnxruntime이 설치가 되어있었다면 충돌문제가 발생할 수 있기 때문에 먼저 삭제해주세..
-
[OCI VM] https 인증하기 #2 로드 밸런서 설정Programing/OCI 2024. 4. 2. 00:06
[OCI VM] https 인증하기 #1 인증서 생성 OCI에서는 인스턴스 1개에 대한 로드밸런서를 상시 무료 서비스로 제공하고 있습니다. 즉, 로드밸런서에 VM(무료)를 한개만 연결하고 certificate(무료)를 관리하면 무료로 https 인증된 서비스를 배포 brain-nim.tistory.com 지난 글에 이어 계속 진행하겠습니다. 5. Load Balancer 생성 (참고 - 로드밸런서 vs 네트워크 로드밸런서) 더보기 1) 세부정보추가 Add details 내부용 로드밸런서인 경우 "프라이빗 (Private)"를 선택하시면 됩니다. 예약한 Public IP가 있다면 "예약된 IP 주소 (Reserved IP address)"를 선택하시면 됩니다. 2) 백엔드 선택 Choose backends..
-
[OCI VM] https 인증하기 #1 인증서 생성Programing/OCI 2024. 4. 2. 00:05
OCI에서는 인스턴스 1개에 대한 로드밸런서를 상시 무료 서비스로 제공하고 있습니다. 즉, 로드밸런서에 VM(무료)를 한개만 연결하고 certificate(무료)를 관리하면 무료로 https 인증된 서비스를 배포할 수 있다는 뜻입니다. 로드밸런서의 목적이...ㅎ.. 아래의 포스팅을 참고했습니다. 16.1 Load Balancer의 인증서를 OCI Certificate로 관리하기 16.1 Load Balancer의 인증서를 OCI Certificate로 관리하기 OCI Certificate는 Load Balancer, API Gateway와의 연동을 지원합니다. Compute 인스턴 thekoguryo.github.io 이 포스팅에서 전반적인 과정을 매우 친절하게 설명하고 있지만, 그 사이 OCI 콘솔에서..
-
[streamlit] 원격VM으로 streamlit 앱 배포하기Programing/python 어플 개발 2024. 3. 30. 17:38
이전 글에서는 streamlit sharing을 통해 앱을 쉽게 배포하는 방법에 대해 다루었습니다. [streamlit] streamlit앱 배포하기 데이터분석 프로젝트나 간단한 AI모델링 프로젝트에서 Streamlit을 종종 사용하곤 하죠. Streamlit Sharing을 사용하면 Streamlit으로 만든 어플리케이션을 쉽게 배포할 수 있습니다. 무료계정 옵션의 경 brain-nim.tistory.com 쉽게 배포하고 git에 올리면 자동으로 수정되어 배포된다는 점이 매우 큰 장점이지만 커스터마이징에 한계가 있고, 타 서비스들과 연계하기 어렵다는 단점이 있습니다. 일주일에 한번 이상 접속하지 않으면 일종의 휴면모드로 전환된다는 단점도 있습니다. 이번에는 AWS EC2, OCI VM 등의 클라우드 서..
-
[streamlit] streamlit앱 배포하기Programing/python 어플 개발 2024. 3. 26. 23:54
데이터분석 프로젝트나 간단한 AI모델링 프로젝트에서 Streamlit을 종종 사용하곤 하죠. Streamlit Sharing을 사용하면 Streamlit으로 만든 어플리케이션을 쉽게 배포할 수 있습니다. 무료계정 옵션의 경우 아래와 같은 제한사항이 있습니다. 최대 3개의 어플리케이션까지 한 어플리케이션 당 RAM 1GB 제한 Github repo 중, Puiblic만 배포 가능 제한사항이야 많지만 무료도 감지덕지입니다. 그 이상을 필요로 한다면 유료옵션을 이용하거나 타 호스팅 자원을 사용해야겠습니다. 자세한 내용은 아래의 공식문서를 참조해주세요 Streamlit Docs Join the community Streamlit is more than just a way to make data apps, it'..
-
[AWS Bedrock] Langchain과 Bedrock 함께쓰기Programing/AWS 2024. 3. 12. 18:43
이 전 글에서는 RAG를 위한 지식베이스를 생성할 때, AWS Opensearch serverless를 사용했습니다. [AWS Bedrock] RAG를 위한 지식베이스 생성이전 글에서는 Bedrock을 이용해 간단한 서비스를 생성했습니다. [AWS Bedrock] Bedrock 시작하기 LLM의 빠른 도입과 테스트를 위해 Bedrock을 이용해 LLM서비스를 구축하기로 선택했습니다. (아래의 이전brain-nim.tistory.com S3의 데이터를 바로 활용 가능하고 따로 서버를 관리할 필요가 없다는 장점이 있지만,비용이 생각 이상으로 비싸다는 단점이 있었습니다.(짐작은 했지만 실험해보니 생각 이상으로 더 비쌌습니다.) 이번엔 Langchain을 이용해 지식베이스 벡터를 로컬에 생성한 뒤 Bedrock..
-
[LangChain] ValueError: The de-serialization relies loading a pickle file.Programing/기타 오류 해결 2024. 3. 12. 10:00
로컬에 저장한 벡터저장소를 불러오는 과정에서 다음과 같은 에러가 발생했습니다. Traceback (most recent call last): File "C:\Program Files\JetBrains\PyCharm Community Edition 2023.1.3\plugins\python-ce\helpers\pydev\pydevconsole.py", line 364, in runcode coro = func() File "", line 1, in File "C:\Users\Lee\Documents\python_scripts\AWS_Bedrock\venv\lib\site-packages\langchain_community\vectorstores\faiss.py", line 1115, in load_loca..
-
[AWS Bedrock] Agents로 Bedrock 기능 구체화하기Programing/AWS 2024. 3. 3. 00:59
이전 글에서 AWS Bedrock을 이용해 RAG를 진행했지만, 퀄리티가 마음에 들지 않습니다. 말투도 바꾸고 싶고, 보여줄 정보와 보여주고 싶지 않은 정보를 구분하고 싶은데 방법이 마땅치 않았습니다. 이런 부분에서 AWS Bedrock이 제공하는 Agents기능이 도움이 됩니다. 자연어를 사용해 프롬프트하고 응답 작업을 세분화하고 조율(오케스트레이션) 동적으로 API를 호출하여 작업 완료 회사 데이터에 안전하고 비공개적으로 액세스 CoT(chain-of-thought) 및 기본 에이전트 프롬프트 표시 당연히 제공되어야 하는 1번째(LLM사용) 사항은 논외로 하고, Amazon Bedrock Agents의 장점은 나머지 사항들이 비교적 손쉽게 자동으로 이루어진다는 점입니다. 예를 들어, 인사관리용 Ass..