[생성AI 서비스 선택] AWS Sagemaker VS AWS Bedrock

---

 

생성AI를 비즈니스에 도입하는 경우가 급증하고 있는 만큼, '우리도...!!'를 외치게 되는 분들이 많으실 겁니다.

 

OpenAI나 기타 기업 및 서비스의 API를 직접 가져다 쓰기에는 리소스가 만만치 않고,

타 리소스와의 유연한 연계, 특히 RAG와 같은 벡터DB를 연계하고 관리비용을 줄이고자 한다면 클라우드 서비스부터 시작하는게 맞는 것 같기도 합니다.

 

그렇게 이런 저런 비교를 하며 AWS로 왔는데

(아마 가장 많은 비율로 '원래 AWS를 사용하고 있었으니까' or 'AWS 관련 자료가 가장 찾기 쉬워서'겠죠?)

 

AWS 안에서도 LLM을 지원한다는 서비스가 Sagemaker, Bedrock로 나뉩니다.

AWS에 익숙치 않거나, 기존 Sagemaker를 이용하지 않고 자체적으로 모델을 구축 관리해왔던 입장에서는 난감합니다.

그저 LLM을 써보고 싶었을 뿐인데... 뭘 선택해야 하는걸까?

 

Sagemaker는 생성AI가 대두되기 전 부터 AWS에서 제공하고 있던 서비스 기능인데,

이번 글의 기반이 생성형AI인 만큼, 생성AI에 초점을 맞춰서 비교해 보겠습니다.

 

요약

생성AI기준	Bedrock	Sagemaker
주 서비스	생성AI 사전학습 기초모델(FM), 서버리스	전체 ML 생애주기, 보다 넓은 범위의 커스터마이징
서비스유형	API기반 서버리스 환경	인스턴스를 이용한 컴퓨팅
기본적인 요금 지불방식	API 호출 및 사용 토큰단위 비용 지불	인스턴스 run 시간 비용 지불
가용리전	상대적으로 매우 적음 (서울 없음)	다양
가용모델	Titan, Llama, Claude등 총 7개	그 외, 기타 모델, hugging face 연계 등 매우 다양
관리 리소스	상대적으로 덜 들어감	상대적으로 더 들어감
유연성	상대적으로 낮음	상대적으로 높음

(24년 02월 기준)

 

1. 주요특징

Bedrock

모델 구축, 인프라 관리의 번거로움 없이 생성AI 서비스를 빠르게 구축하고자 하는 경우에 적합합니다.

https://docs.aws.amazon.com/ko_kr/bedrock/latest/userguide/models-supported.html

• 기초모델: 텍스트 요약, 다국어 텍스트 생성, 대화, 이미지 생성 등 사전 학습된 다양한 Foundation Model 제공
• 서버리스 환경: 관리할 서버나 인프라가 없으며 간단한 API를 통해 상호작용.
  인프라, 확장, 가용성 등을 관리하는 비용이 적음

 

Sagemaker

모델 생성부터 학습, 배포까지 프로세스 전반에 대한 세부적인 제어, 커스터마이징의 자유도가 필요한 경우에 적합합니다.

https://pages.awscloud.com/rs/112-TZM-766/images/ML%20Fridays%20-%20Deployment%20of%20LLM%20using%20Sagemaker%20-%2015%20September%202023.pdf

 

• MLOps 지원: 기본 제공 알고리즘, 자동 모델 튜닝, 학습, 배포 등 ML 라이프사이클의 모든 단계 지원.
• 다양한 모델: 보다 다양한 Foundation Model, 허깅페이스 등 다양한 소스와의 연계 가능, 자체구축 모델 활용 가능
• 커스터마이징: 보다 세부적인 커스터마이징 및 모델 fine-tuning 가능
• 환경: 인스턴스 및 서비스 환경을 사용자가 직접 정의. 세부적인 환경설정 가능.

 

2. 커스터마이징 가능성 vs 설정 리소스

Bedrock

• AWS에서 Fully managed 하므로, 상대적으로 사용하기 쉬움.
• setup에 대한 리소스가 상대적으로 덜 들어감
• 커스터마이징의 범위는제공되는 Foundation Model으로 제한됨

Sagemaker

• 사용자가 데이터, 인프라에 대해 완전히 제어
• 기능이 많으면 많을수록 setup에 대한 리소스가 상대적으로 많이 들어감
• 다양한 알고리즘과 프레임워크 선택 가능, 모델에 대한 세부적인 커스터마이징 가능

 

3. RAG

Bedrock

• 주로 OpenSearch Serverless를 활용
• Redis Enterprise Cloud, Pinecone, Amazon Aurora 활용 가능
• MongoDB 연동 가능하도록 출시 예정

Sagemaker

• 보다 많은 벡터엔진 및 벡터DB와 연계 가능