Hugging Face, OpenAI 호환 Messages API 출시
From OpenAI to Open LLMs with Messages API on Hugging Face
·2024.02.08 09:00
Hugging Face가 OpenAI API와 호환되는 Messages API를 출시하여 오픈 LLM으로의 전환을 지원한다.
Hugging Face가 Text Generation Inference (TGI) 및 Inference Endpoints에서 OpenAI의 Chat Completion API와 호환되는 Messages API를 도입했다.
이 업데이트를 통해 개발자는 기존에 사용하던 OpenAI 클라이언트 라이브러리나 LangChain, LlamaIndex와 같은 도구를 수정 없이 그대로 활용하면서, 모델만 OpenAI에서 Mixtral이나 Llama 2와 같은 오픈 소스 LLM으로 손쉽게 교체할 수 있다.
주요 사항:
- 지원 범위: TGI 1.4.0 버전부터 지원하며, Inference Endpoints의 전용(dedicated) 및 서버리스(serverless) 환경 모두에서 사용 가능하다.
- 제약 사항: 현재 Function Calling 기능은 지원하지 않으며, 토크나이저 설정에
chat_template이 정의된 모델에서만 작동한다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.