S3
-
[AWS Bedrock] RAG를 위한 지식베이스 생성Programing/AWS 2024. 2. 27. 23:19
이전 글에서는 Bedrock을 이용해 간단한 서비스를 생성했습니다. [AWS Bedrock] Bedrock 시작하기 LLM의 빠른 도입과 테스트를 위해 Bedrock을 이용해 LLM서비스를 구축하기로 선택했습니다. (아래의 이전 글 참조) [생성AI 서비스 선택] AWS Sagemaker VS AWS Bedrock 생성AI를 비즈니스에 도입하는 경우가 brain-nim.tistory.com 하지만 이정도만 할 거라면 굳이 AWS를 사용할 필요가 없죠. OpenAI나 기타 서비스가 제공하는 API를 이용하는게 훨씬 간편하고 저렴하니까요. 클라우드를 이용할 때의 장점 중 하나는 여러 서비스 자원을 쉽게 활용할 수 있다는 것이므로, 이번에는 Bedrock이 S3 저장소에 있는 자료를 참고해서 답변을 하도록 해..
-
[Python] AWS S3에 모델파일 저장하기, 불러오기 (boto3)Programing/AWS 2023. 2. 16. 10:17
기존에는 모델학습, 저장, load 후 flask 서버 활용 모두 하나의 EC2에서 진행했으나, 이제는 규모도 조금 커졌겠다, EC2 자원 잡아먹지 않도록 분리를 해야겠다는 생각이 들었습니다. 모델학습은 로컬에서 진행하고, 만들어진 모델파일은 S3에 저장, EC2내의 flask 서버가 S3의 모델파일을 읽어와 서비스를 제공하도록 변경하고자 했습니다. 그러려면 파이썬이 S3의 파일 데이터에 접근 가능해야겠죠. 방법은 매우 간단합니다. boto3를 이용하면 됩니다. 사전준비 1) AWS 엑세스 키 발급 기존에 access key가 없었다면 아래의 docs를 참고해서 키를 만들어주세요 AWS 계정 및 액세스 키 - AWS Tools for PowerShell 이 페이지에 작업이 필요하다는 점을 알려 주셔서 감..
-
AWS S3 한번에 다운받기 (AWS CLI)Programing/AWS 2022. 10. 7. 11:19
AWS 콘솔은 어지간히 불편한게 많습니다. 별 것 아닌 것 같은 기능이 지원이 안되죠. 대표적인게 S3의 데이터를 폴더째 다운받거나 여러개를 한번에 다운받는게 안된다는 것입니다. 현재로서는 콘솔 대신 CLI를 이용하는 게 최선인 것 같습니다. 1. CLI 다운받기 최신 버전의 AWS CLI 설치 또는 업데이트 - AWS Command Line Interface 설치 관리자의 아무 위치에서나 Cmd+L을 눌러 설치에 대한 디버그 로그를 볼 수 있습니다. 이렇게 하면 로그를 필터링하고 저장할 수 있는 로그 창이 열립니다. 로그 파일도 /var/log/install.log에 자 docs.aws.amazon.com 위의 사이트에서 본인의 OS에 맞게 AWS CLI를 설치해주세요 설치가 완료되었다면 CMD에서 정..