LLM 연동 C 라이브러리

llm은 OpenAI, Anthropic, Groq, Ollama, Together AI, Mistral, Cohere, Gemini, DeepSeek, OpenRouter, Perplexity, Fireworks, vLLM, custom을 지원하는 header-only C 라이브러리다.

Anthropic과 Cohere는 네이티브 요청 형식을 쓰고, 나머지는 OpenAI 호환 chat completions 형식으로 통일했다.

• 스트리밍, async fire-and-forget, 최대 8개 병렬 배치를 지원한다.
• tool calling, JSON mode, seed, stop sequence, 프록시, SSL 검증, OpenAI org/project ID 설정을 제공한다.
• 자동 재시도는 429, 5xx, 타임아웃에 적용되고, 백오프와 최대 지연을 조절할 수 있다.

응답에는 latency_ms, retries, time_to_first_token_ms, stream_chunks, 토큰 사용량, 에러 코드, HTTP 상태가 포함된다. llm_complete는 thread-safe이며, llm_complete_batch와 llm_complete_async는 자체 스레드를 관리한다.

함께 제공되는 llm.c CLI는 환경변수 API 키, 파일 첨부, 스트리밍, stats 출력, 커스텀 엔드포인트를 지원하고, 빌드에는 libcurl, pthread, lm 링크가 필요하다.