AI Briefing#ab-testing
#ab-testing와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#ab-testing와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Yandex Music의 단일 모델 Sona가 A/B 테스트에서 활성 사용자 4.53%, 청취 시간 6.30% 증가를 기록했다.
후보 수를 절반으로 줄여 사용자당 주문 수 10.13% 높이고 CTR은 3.71% 감소했다
토스뱅크가 자산관리 리포트를 플로팅 카드로 분리해 클릭률과 전환율을 3배 개선했다.
ElevenLabs가 대화형 AI의 품질, 경험, 운영 지표를 정의하고 A/B 테스트 및 시뮬레이션을 통한 평가 방법을 제시했다.
Meta가 인과 추론을 적용해 A/B 테스트로 측정 불가능했던 AI 인프라 투자의 증분 수익을 정량화하는 방법론을 공개했다.
Spotify는 Bayesian A/B 테스트의 보장이 prior와 stopping rule 등 구성에 따라 달라지며, 현재 자사의 실험 프로그램에서는 별도 Bayesian 모드를 추가할 이점이 운영 비용을 넘지 않는다고 설명한다.
여기어때가 JTBD 기반 홈 화면 셀러카드 개선을 통해 약 100만 명 대상 A/B 테스트에서 구매 전환율 상승을 달성했다.
여기어때가 홈 화면의 낮은 클릭률을 해결하기 위해 기존 상품 카드의 형태가 아닌 모듈의 역할을 재정의하고, A/B 테스트를 통해 새로운 탐색 경험을 검증하는 프로젝트를 진행했다.
Anthropic이 Claude Code 최신 버전에서 추론 노력 수준을 낮추는 서버 측 A/B 테스트를 진행 중인 것으로 파악됨.
LLM 예측을 A/B 테스트의 대리 지표로 활용하려면 특정 통계적 가정과 보정 작업이 반드시 선행되어야 한다.
Cursor는 Vercel Microfrontends와 Flags를 활용해 웹 서비스를 통합하고 데이터 기반의 성장 실험 루프를 구축했다.
ElevenLabs가 ElevenAgents의 성능을 실시간 트래픽으로 테스트하고 최적화할 수 있는 Experiments 기능을 출시했다.
PostHog가 Vercel Marketplace에 입점하여 기능 플래그, 실험 및 분석 기능을 제공한다.
PolicyEngine으로 실험 설정과 리뷰 시간을 2일에서 30분으로 줄였다.
뱅크샐러드가 홈 탭 개발에 POC와 114일간의 단계적 실험을 적용해 제품 완성도를 확보하고 안정적으로 출시했다.
카카오페이가 오픈소스의 한계를 극복하고 유연한 타겟팅과 안정성을 갖춘 자체 AB 테스트 서비스를 개발했다.
뱅크샐러드는 실험 플랫폼을 통해 전사 A/B 테스트 문화를 정착시키고, 데이터 직군의 제품 기획 참여를 확대했다.
뱅크샐러드가 수동 분석의 한계를 극복하기 위해 자동화된 실험 분석 파이프라인 V2를 구축해 데이터 신뢰성과 의사결정 속도를 개선했다.
데브시스터즈 데이터플랫폼셀은 엔지니어링을 통해 데이터가 원활하게 흐르고 구성원이 데이터 기반으로 의사결정할 수 있는 환경을 구축한다.