AI Briefing#benchmark
#benchmark와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#benchmark와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
SkinBench가 범용 AI 모델의 주름 탐지 및 피부 유형 분류 성능 저하를 확인했다
inclusionAI가 560B 파라미터와 1M 컨텍스트를 갖춘 Ling-3.1-flash-1019를 출시했다
LLM 가중치 고정 상태에서 사례 은행을 활용해 GAIA 검증 세트 87.88%를 기록했다.
StepFun이 Pi에서 파생한 Step Code를 공개하며 서브에이전트와 웹 배포 기능을 내장했다.
Claude Sonnet 5.5가 10.8% 통과율로 DAYJOB: Tax 벤치마크 1위를 차지했다
OpenAI가 API 비용 50% 절감된 GPT-6.1 Terra를 출시했다.
Kimi K3.1 Pro가 지능 지수 4위를 기록했으나 출력 속도와 다사가 지적됐다
Nanbeige4.3-33B가 Terminal-Bench 2.1에서 Qwen3.8-27B를 앞섰지만 SWE-Bench Pro에서는 뒤처졌다
학습 불필요한 오케스트레이션 기법으로 Qwen3.8-27B 정확도를 92.4%까지 끌어올렸다
LambdaDB 파이프라인이 토큰을 95% 절감하며 LongMemEval 정확도 96.0%를 달성했다.
오픈소스 모듈이 Nvidia 3000 시리즈 GPU의 BF16 처리량을 최대 81%까지 끌어올렸다
에이전트 모델 전환 시 KV 캐시 한계와 대화 상태 관리 전략을 벤치마크로 제시했다.
ThinkingBox RL 학습으로 Qwen3.8-27B의 신뢰성 지표가 21.10%까지 상승했다.
816B Muse Spark Open이 39점을 기록하며 40점을 얻은 Qwen3.8-Flash-Next에 근소하게 뒤처졌다
Cohere가 Rerank 5를 출시해 딥서치 벤치마크에서 토큰 사용량을 41% 줄였다.
FairStress 벤치마크가 LLM의 소수자 후보 선택 시 정답 포기 빈도가 9.3% 더 높음을 입증했다
8KB 스킬 파일로 REA의 207개 MCP 도구를 대체해, 저자의 자체 벤치마크에서 실행 시간 38%와 비용 35%를 절감했다.