AI BriefingHugging Face, OpenAI 호환 Messages API 출시
From OpenAI to Open LLMs with Messages API on Hugging Face
·2024.02.08 09:00
핵심 내용
Hugging Face가 OpenAI API와 호환되는 Messages API를 출시하여 오픈 LLM으로의 전환을 지원한다.
자세히 보기
Hugging Face가 Text Generation Inference (TGI) 및 Inference Endpoints에서 OpenAI의 Chat Completion API와 호환되는 Messages API를 도입했다.
이 업데이트를 통해 개발자는 기존에 사용하던 OpenAI 클라이언트 라이브러리나 LangChain, LlamaIndex와 같은 도구를 수정 없이 그대로 활용하면서, 모델만 OpenAI에서 Mixtral이나 Llama 2와 같은 오픈 소스 LLM으로 손쉽게 교체할 수 있다.
주요 사항:
- 지원 범위: TGI 1.4.0 버전부터 지원하며, Inference Endpoints의 전용(dedicated) 및 서버리스(serverless) 환경 모두에서 사용 가능하다.
- 제약 사항: 현재 Function Calling 기능은 지원하지 않으며, 토크나이저 설정에
chat_template이 정의된 모델에서만 작동한다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
