Airbnb, 비정형 데이터 분석용 AI 에이전트 하네스 'Insight Miner' 공개

Airbnb는 LLM 기반 분석의 불투명성을 해결하고 과학적 방법론을 인프라로 구축하기 위해 Insight Miner를 공개했다. 이 도구는 기존에 수개월이 걸리던 비정형 데이터 조사를 며칠 만에 완료할 수 있게 하여 엄격함과 속도를 동시에 확보했다.

방법론의 인프라화

기존 데이터 과학 워크플로우는 개별 노트북과 수동 큐레이션에 의존해 확장성이 떨어졌다. Insight Miner는 extract, embed, cluster 과정을 내장하고, 프롬프트 튜닝, 하드 예제 마이닝, 대조 라벨링 등 고급 기법을 하나의 공유 패키지로 통합했다. 이를 통해 엔지니어링 지식이 없는 사용자도 대규모 분석을 수행할 수 있게 됐다.

운영 효율 및 확장성

도구 도입 1년 만에 수십 개 팀과 수백 가지 조사 유형으로 확장되었으며, 비기술직 사용자 비중이 높다. 데이터 과학자들은 기계적 작업에서 벗어나 모호한 데이터 검사나 가설 테스트 등 인간 판단이 필요한 전략적 업무에 집중할 수 있게 됐다. 또한 별도 에이전트 시스템이 모델 릴리스에 따라 지침을 자동 업데이트하며 시스템을 지속 개선한다.