AI BriefingMeta Catching JiTTests, 2026년 상반기 74개 프라이버시 버그 탐지
·2026.10.30 01:00
핵심 내용
Meta의 AI 테스트 시스템이 2026년 상반기 프라이버시 SEV를 20% 줄였다
자세히 보기
- Meta가 Catching JiTTests를 프로덕션 인프라에 배포하여 연구 프로토타입 단계를 넘어 코드 머지 전 버그 탐지 체계로 전환함
- 2026년 상반기 diff 단계에서 74건의 중대(SEV) 프라이버시 버그를 식별하여 전체 프라이버시 SEV 발생률을 20% 감소시킴
- 589명의 엔지니어(연락 대상의 64%)가 시스템에 참여했으며, 실행 가능한 발견 사항에 대한 60%의 정예율(true-positive rate)을 기록함
- 표준 LLM 코드 리뷰와 달리, 구체적인 동작 차이를 시연하는 실행 가능 테스트를 생성하는 LLM 기반 접근법을 채택함
- 테스트 생성을 위해 'intent-aware' 워크플로우(예상 실패 지점 타겟팅)와 'dodgy diff' 워크플로우(모든 변경 사항을 잠재적 mutant로 취급)를 병행 적용함
- 'LLM-as-Judge' 앙상블과 결정론적 규칙 기반 평가기 RubFake를 활용해 오탐(False positives)을 필터링함
- human-on-the-loop 모델을 도입하여 엔지니어가 개별 테스트 감독 대신 기준 설정과 집계 결과 검토에 집중하도록 업무 부하를 경감함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.