AI Briefing#benchmark
#benchmark와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#benchmark와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
basal-omni-2.0-mini가 Werdykt 벤치마크에서 0.811점을 기록하며 초기 공개됐다.
DeepSeek v4.1 flash (max)가 SWE-sweep에서 1%를 넘긴 첫 오픈웨이트 모델이 됐다.
VIDRAFT가 현업 예보를 매일 채점하는 리더보드와 융합 모델을 Hugging Face에 공개했다.
OpenAI 내부 모델이 ExploitGym에서 77.0% 달성하며 Anthropic 모델 압도했다
Google DeepMind가 Gemini 4 Hydrogen을 출시했다.
Decider v1.3이 63개 분류 작업에서 91.6% 정확도로 기존 모델보다 6.54%p 우세했다
ParseBench-2가 41개 파서를 평가해 LlamaParse Agentic Plus가 1위를 차지했다
Unsloth가 Qwen3.8-27B V3.1 GGUF를 출시해 정확도를 5-10% 높였다
Claude Fable 5.2가 회로 수정 없이 3개 하드웨어 프로토타입을 설계했다
Anthropic이 Claude Fable 5.2와 Mythos 5.2를 출시하며 가격을 인하하고 출력 속도를 최대 30% 개선했다.
Einsia 벤치마크 결과, 가장 강한 모델을 조정자로 쓰면 작업 에이전트 성능이 반드시 좋아지지 않는다.
DeepSeek V4.1 Flash가 SWE-Pair 벤치마크에서 90% 성공률을 기록하며 GPT-6 Luna를 추월했다
Anthropic 분석 결과, 에이전트 메모리의 효과는 모델과 지침에 따라 달라지며 검증과 재구조화가 중요함을 보여준다.
Frontier3DBench에서 GPT-6.1-sol이 3D 생성 벤치마크 1위를 차지했다.
GPT-6 Astra가 Co-Design Bench에서 26.4% 완수율로 1위 차지했다
Anthropic이 출력 속도 30% 개선된 Claude Fable 5.2와 Mythos 5.2를 출시했다.
Anthropic이 Claude 20만 세션을 분석해 AI가 과학 연구의 데이터 분석과 글쓰기 단계를 크게 가속한다고 밝혔다.
Ai2가 로봇 스킬 일반화 테스트용 시뮬레이터 ToyBlocks를 출시했다
vc-bench에서 GitButler이 AI 코딩 에이전트 버전 관리 작업에서 최저 지연시간을 기록했다.
Inkling 2 Small이 RL 파인튜닝에서 75 스텝 만에 1세대 최종 점수를 달성했다.
CASP-DREAM TAP 챌린지가 5,800개 미확인 펩타이드 조합으로 T세포 활성화 예측을 평가한다.
AI 서명 PR 평균 비중이 10.3%로 늘었으나 중앙값은 0.9%에 머물렀다.
Thinking Machines AI가 Inkling 2 Small을 공개하고 다음 주 오픈 웨이트 릴리스를 예고했다