분류 전체보기
-
[AWS Bedrock] LLM 모델 성능 벤치마크 비교Programing/AWS 2024. 11. 1. 20:30
현재 AWS Bedrock이 제공하는 파운데이션 모델은 굉장히 많습니다.OpenAI의 모델들을 제외한 웬만한 주요 모델들을 다 사용할 수 있습니다. 파운데이션 모델(FM)을 사용하여 생성형 AI 애플리케이션을 구축 - Amazon Bedrock 요금 - AWSAmazon Bedrock 기술 자료는 FM과 에이전트가 회사의 개인 데이터 소스에서 컨텍스트 정보에 액세스할 수 있도록 완전관리형 엔드 투 엔드 검색 증강 생성(RAG) 워크플로를 제공합니다. 이를 통해 더aws.amazon.com 그런데 막상 쓰려 하니 어떤 모델이 싸고 어떤 모델이 성능이 좋을지 한눈에 잘 안들어와서 정리해봤습니다. 굳이 직접 정리해본 이유ChatGPT나 기타 큼직큼직한 모델들의 성능비교는 이미 자료가 많음그런데 Bedrock..
-
[Flutter] A problem occurred configuring project > Namespace not specified. (오래된 패키지 namespace 오류 해결)Programing/Flutter 2024. 10. 19. 21:16
새 프로젝트를 시작하고 auto_start_flutter를 추가하려는데 아래와 같이 에러가 발생했습니다.더보기FAILURE: Build failed with an exception. * What went wrong: A problem occurred configuring project ':auto_start_flutter'. > Could not create an instance of type cohttp://m.android.build.api.variant.impl.LibraryVariantBuilderImpl. > Namespace not specified. Specify a namespace in the module's build file. See https://d.android.com/r/to..
-
[AWS Bedrock] Claude3.5와 Langchain 연동하기 (24년 10월 기준)Programing/AWS 2024. 10. 10. 21:46
올해 초에는 AWS Bedrock에서 제공하는 모델이 그렇게 많지는 않았는데 그 사이에 많이 늘었습니다. 기존에는 Claude 2.1을 사용하고 있었는데 이제 Claude 3.5를 사용해볼까 하고 요금을 확인해봤습니다. 2.1보다 3이 성능도 훨씬 좋은데 요금도 훨씬 싸다고? 당장 바꿔야겠습니다. 이슈발생그런데 문제가 발생했습니다.기존의 langchain - Bedrock 연동은 이전 3월달에 작성한 포스트에서와 같은 방식이였습니다.# 기존 연결 방식from langchain.llms.bedrock import Bedrockchat_model_id = 'anthropic.claude-v2:1'llm = Bedrock(model_id=chat_model_id, client=bedrock) 여기서 chat_..
-
[LlamaIndex] Llama-Index와 DB 연동하기(DatabaseReader, feat. agent)Data & ML & AI/LLM 2024. 10. 8. 21:31
LlamaIndex를 이용하면 DB와 LLM을 쉽게 연결할 수 있습니다.주관적으로는 LangChain보다 더 간편하다고 생각합니다. 0. 세팅1) pip installpip install llama-index # 라마인덱스 기본pip install llama-index-readers-database # DB와 연결 2) LLM 세팅a. Open AI의 ChatGPT를 사용하는 경우# Open AI의 ChatGPT를 사용하는 경우import osfrom llama_index.core import Settingsos.environ["OPENAI_API_KEY"] = "$$$$$$$$$$$$$$"llm = OpenAI(model="gpt-3.5-turbo-0613")Settings.llm = llm b. ..
-
[Ollama] 모델 저장위치 변경하기Data & ML & AI/LLM 2024. 7. 26. 19:36
Ollama는 기본적으로 시스템 기본 위치에 설치되고 돌아갑니다.윈도우라면 C드라이브, 리눅스라면 usr 밑에 깔립니다. 그런데 이런 위치에 모델을 깔기엔, 모델의 용량이 너무 무겁습니다.(24년 7월 기준) llama3.1:8b = 4.7GB llama3.1:70b = 40GB llama3.1:405b = 231GB Ollama작동위치와 모델의 설치위치를 D드라이브나 기타 Block으로 변경해봅시다. 1. Ollama 설치 (기존과 동일)curl -fsSL https://ollama.com/install.sh | sh 2. 모델위치 환경설정 (기존엔 없었음)# Environment="OLLAMA_MODELS=/folder/ollama/models"Environment="OLLAMA_MODELS=/h..
-
[Llama3] Ollama와 Llama-Index로 Llama3 쉽게 시작하기(ubuntu)Data & ML & AI/LLM 2024. 6. 29. 15:59
1. 사전 세팅1) Ollama 준비# ollama 설치curl -fsSL https://ollama.com/install.sh | sh# ollama app 실행ollama serve# 정상 작동여부 확인 (새 터미널에서)ollama run llama3모델을 처음 돌릴 때는 해당 모델 설치를 진행합니다.8B외, 타 모델을 돌리고 싶다면 ollama run llama3:70b와 같이 입력하면 됩니다. 2) llama-index 설치pip install llama-index 2. Llama3 사용하기Ollama app 실행상태(Ollama serve) 상태여야 합니다.1) 단순 1회성 대화from llama_index.llms.ollama import Ollamallm = Ollama(model="l..
-
(후기) 한국 인터넷 밈의 계보학일상/문화 2024. 6. 20. 01:22
사실은 오래전부터 당신같은 책을 기다려왔다우 얼마 전 알라딘에서 책 펀딩이 있었다. X(구 트위터)에서 가영이짤로 마무리하는 논문이 있다는 풍문을 들은적 있었는데 그게 출판된다고 하더라.목차 보고 바로 질렀다. 다 아는 밈들이구먼 책에서 다루는 밈들은 거진 다 아는 밈들이다.설령 그 유래와 어둠의 출처는 몰랐을 지언정,SNS, 커뮤니티를 좀 활발히 했던 2030이라면 어렵지 않게 들어보고 봤을 법한 밈들이다. 방대한 밈 백과사전을 바란 사람들에게는 아쉬운 책이다. 단, 이건 작가가 첫 페이지부터 밝히는 내용이다.실망했다면 바이럴 마케팅을 욕해보자 (그러나 아직까지 그런 마케팅을 보진 못했다) 이 책은 한국의 밈들을 정리한 백과사전이 아니다. 애초에 저자의 석사논문에서 시작한 책이다.그걸 바랐다면 나..