AI Briefing#llm
#llm와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
LangChain이 2024년 AI 개발 트렌드와 LLM 인프라 사용 현황을 담은 연례 보고서를 발표했다.
FuriosaAI의 AI 추론 칩 RNGD가 Llama 3.1 모델에서 압도적인 처리량과 전력 효율성을 입증했다.
OpenAI가 추론 모델 o1의 API 지원과 Realtime API 개선 등 개발자를 위한 신규 도구들을 공개했다.
자연어 설명만으로 맞춤형 데이터셋을 생성할 수 있는 노코드 도구, Synthetic Data Generator가 공개되었다.
Zalando가 GPT-4o mini를 도입해 다국어 지원과 개인화 추천 기능을 강화하며 고객 경험과 운영 효율을 동시에 높였다.
한국어 벤치마크 평균 75.1점으로 GPT-4o(61.9점)를 상회하며, Native resolution과 C-Abstractor 구조를 채택했다.
LLM 기반 데이터 라벨링으로 소형 모델의 성능을 높이고 운영 비용을 최대 80배 절감한 CFM의 사례를 소개한다.
Qwen Team이 수학 및 코딩 분야의 심층 추론 능력을 강화한 실험적 모델 QwQ-32B-Preview를 공개했다.
가비지 컬렉터가 있는 언어에서도 전역 캐시 등을 통해 메모리 누수가 발생할 수 있으며, Replit은 이를 통해 에이전트의 메모리 문제를 확인했다.
Rox는 OpenAI 모델을 활용한 AI 에이전트 스웜을 통해 영업 팀의 생산성을 50% 향상시킨다.
뱅크샐러드 QA팀이 LLM과 프롬프트 엔지니어링을 활용해 복잡한 마이데이터 테스트 데이터를 자동 생성하는 방식을 공개했다.
Qwen2.5-Turbo가 컨텍스트 길이를 100만 토큰으로 확장하고 추론 속도와 비용 효율성을 대폭 개선했다.
가트너는 AI 하드웨어 도입 시 운영 비용 절감을 위해 FuriosaAI의 전력 효율적인 칩을 주목해야 한다고 밝혔다.
카카오가 한국어 처리에 특화된 AI 모델 '카나나' 패밀리를 공개했으며, 글로벌 SOTA 모델 대비 한국어에서 압도적인 성능을 보이며 카카오톡 등 서비스에 적용됐다.
카카오가 3T 토큰으로 학습한 Kanana Essence가 llama-3.1-8b 대비 벤치마크 평균에서 더 높은 성능을 기록했으며, Kanana Nano는 프루닝 및 증류 기법으로 효율성을 극대화했다.
SFT와 DPO 및 모델 병합을 통해 개발된 Kanana LLM이 LogicKor 등 한국어 벤치마크에서 유사 규모 모델 대비 월등한 성능을 입증했다.
GPT-4o 수준의 코딩 성능을 갖춘 Qwen2.5-Coder 시리즈가 다양한 모델 크기로 오픈소스 공개되었다.