Programing/AWS
-
[AWS Bedrock] LLM 모델 성능 벤치마크 비교Programing/AWS 2024. 11. 1. 20:30
현재 AWS Bedrock이 제공하는 파운데이션 모델은 굉장히 많습니다.OpenAI의 모델들을 제외한 웬만한 주요 모델들을 다 사용할 수 있습니다. 파운데이션 모델(FM)을 사용하여 생성형 AI 애플리케이션을 구축 - Amazon Bedrock 요금 - AWSAmazon Bedrock 기술 자료는 FM과 에이전트가 회사의 개인 데이터 소스에서 컨텍스트 정보에 액세스할 수 있도록 완전관리형 엔드 투 엔드 검색 증강 생성(RAG) 워크플로를 제공합니다. 이를 통해 더aws.amazon.com 그런데 막상 쓰려 하니 어떤 모델이 싸고 어떤 모델이 성능이 좋을지 한눈에 잘 안들어와서 정리해봤습니다. 굳이 직접 정리해본 이유ChatGPT나 기타 큼직큼직한 모델들의 성능비교는 이미 자료가 많음그런데 Bedrock..
-
[AWS Bedrock] Claude3.5와 Langchain 연동하기 (24년 10월 기준)Programing/AWS 2024. 10. 10. 21:46
올해 초에는 AWS Bedrock에서 제공하는 모델이 그렇게 많지는 않았는데 그 사이에 많이 늘었습니다. 기존에는 Claude 2.1을 사용하고 있었는데 이제 Claude 3.5를 사용해볼까 하고 요금을 확인해봤습니다. 2.1보다 3이 성능도 훨씬 좋은데 요금도 훨씬 싸다고? 당장 바꿔야겠습니다. 이슈발생그런데 문제가 발생했습니다.기존의 langchain - Bedrock 연동은 이전 3월달에 작성한 포스트에서와 같은 방식이였습니다.# 기존 연결 방식from langchain.llms.bedrock import Bedrockchat_model_id = 'anthropic.claude-v2:1'llm = Bedrock(model_id=chat_model_id, client=bedrock) 여기서 chat_..
-
[AWS Bedrock] Langchain과 Bedrock 함께쓰기Programing/AWS 2024. 3. 12. 18:43
이 전 글에서는 RAG를 위한 지식베이스를 생성할 때, AWS Opensearch serverless를 사용했습니다. [AWS Bedrock] RAG를 위한 지식베이스 생성이전 글에서는 Bedrock을 이용해 간단한 서비스를 생성했습니다. [AWS Bedrock] Bedrock 시작하기 LLM의 빠른 도입과 테스트를 위해 Bedrock을 이용해 LLM서비스를 구축하기로 선택했습니다. (아래의 이전brain-nim.tistory.com S3의 데이터를 바로 활용 가능하고 따로 서버를 관리할 필요가 없다는 장점이 있지만,비용이 생각 이상으로 비싸다는 단점이 있었습니다.(짐작은 했지만 실험해보니 생각 이상으로 더 비쌌습니다.) 이번엔 Langchain을 이용해 지식베이스 벡터를 로컬에 생성한 뒤 Bedrock..
-
[AWS Bedrock] Agents로 Bedrock 기능 구체화하기Programing/AWS 2024. 3. 3. 00:59
이전 글에서 AWS Bedrock을 이용해 RAG를 진행했지만, 퀄리티가 마음에 들지 않습니다. 말투도 바꾸고 싶고, 보여줄 정보와 보여주고 싶지 않은 정보를 구분하고 싶은데 방법이 마땅치 않았습니다. 이런 부분에서 AWS Bedrock이 제공하는 Agents기능이 도움이 됩니다. 자연어를 사용해 프롬프트하고 응답 작업을 세분화하고 조율(오케스트레이션) 동적으로 API를 호출하여 작업 완료 회사 데이터에 안전하고 비공개적으로 액세스 CoT(chain-of-thought) 및 기본 에이전트 프롬프트 표시 당연히 제공되어야 하는 1번째(LLM사용) 사항은 논외로 하고, Amazon Bedrock Agents의 장점은 나머지 사항들이 비교적 손쉽게 자동으로 이루어진다는 점입니다. 예를 들어, 인사관리용 Ass..
-
[AWS Bedrock] RAG를 위한 지식베이스 생성Programing/AWS 2024. 2. 27. 23:19
이전 글에서는 Bedrock을 이용해 간단한 서비스를 생성했습니다. [AWS Bedrock] Bedrock 시작하기 LLM의 빠른 도입과 테스트를 위해 Bedrock을 이용해 LLM서비스를 구축하기로 선택했습니다. (아래의 이전 글 참조) [생성AI 서비스 선택] AWS Sagemaker VS AWS Bedrock 생성AI를 비즈니스에 도입하는 경우가 brain-nim.tistory.com 하지만 이정도만 할 거라면 굳이 AWS를 사용할 필요가 없죠. OpenAI나 기타 서비스가 제공하는 API를 이용하는게 훨씬 간편하고 저렴하니까요. 클라우드를 이용할 때의 장점 중 하나는 여러 서비스 자원을 쉽게 활용할 수 있다는 것이므로, 이번에는 Bedrock이 S3 저장소에 있는 자료를 참고해서 답변을 하도록 해..
-
[AWS Bedrock] Bedrock 시작하기Programing/AWS 2024. 2. 27. 00:59
LLM의 빠른 도입과 테스트를 위해 Bedrock을 이용해 LLM서비스를 구축하기로 선택했습니다. (아래의 이전 글 참조) [생성AI 서비스 선택] AWS Sagemaker VS AWS Bedrock 생성AI를 비즈니스에 도입하는 경우가 급증하고 있는 만큼, '우리도...!!'를 외치게 되는 분들이 많으실 겁니다. OpenAI나 기타 기업 및 서비스의 API를 직접 가져다 쓰기에는 리소스가 만만치 않고, brain-nim.tistory.com 이제 AWS Bedrock이 제공하는 Foundation Model 중 하나를 선택해 서비스를 구축해봅시다. 주의사항 주의1) 리전 별 이용 가능한 모델, 가격이 다릅니다. 미국 동부, 미국 서부를 제외하면 선택 가능 모델이 매우 제한됩니다. 같은 모델이더라도 미국..
-
[생성AI 서비스 선택] AWS Sagemaker VS AWS BedrockPrograming/AWS 2024. 2. 26. 19:12
생성AI를 비즈니스에 도입하는 경우가 급증하고 있는 만큼, '우리도...!!'를 외치게 되는 분들이 많으실 겁니다. OpenAI나 기타 기업 및 서비스의 API를 직접 가져다 쓰기에는 리소스가 만만치 않고, 타 리소스와의 유연한 연계, 특히 RAG와 같은 벡터DB를 연계하고 관리비용을 줄이고자 한다면 클라우드 서비스부터 시작하는게 맞는 것 같기도 합니다. 그렇게 이런 저런 비교를 하며 AWS로 왔는데 (아마 가장 많은 비율로 '원래 AWS를 사용하고 있었으니까' or 'AWS 관련 자료가 가장 찾기 쉬워서'겠죠?) AWS 안에서도 LLM을 지원한다는 서비스가 Sagemaker, Bedrock로 나뉩니다. AWS에 익숙치 않거나, 기존 Sagemaker를 이용하지 않고 자체적으로 모델을 구축 관리해왔던 입..
-
[Python] AWS S3에 모델파일 저장하기, 불러오기 (boto3)Programing/AWS 2023. 2. 16. 10:17
기존에는 모델학습, 저장, load 후 flask 서버 활용 모두 하나의 EC2에서 진행했으나, 이제는 규모도 조금 커졌겠다, EC2 자원 잡아먹지 않도록 분리를 해야겠다는 생각이 들었습니다. 모델학습은 로컬에서 진행하고, 만들어진 모델파일은 S3에 저장, EC2내의 flask 서버가 S3의 모델파일을 읽어와 서비스를 제공하도록 변경하고자 했습니다. 그러려면 파이썬이 S3의 파일 데이터에 접근 가능해야겠죠. 방법은 매우 간단합니다. boto3를 이용하면 됩니다. 사전준비 1) AWS 엑세스 키 발급 기존에 access key가 없었다면 아래의 docs를 참고해서 키를 만들어주세요 AWS 계정 및 액세스 키 - AWS Tools for PowerShell 이 페이지에 작업이 필요하다는 점을 알려 주셔서 감..