Block, Claude Fable 5로 대규모 마이그레이션 시 1,000개 PR 오케스트레이션

Block은 대규모 코드 마이그레이션 작업에서 Claude Fable 5를 오케스트레이터로 활용하는 방식으로 엔지니어링 접근법을 전환했다. 이는 과거 상당한 수동 조정이 필요했던 작업이다. 단일 모델이 모든 편집을 처리하는 대신, Fable이 데이터 모델과 API 사양 등 고수준 설계를 담당하고, Opus와 Sonnet 같은 비용 효율적인 소형 모델에게 개별 파일 편집 및 테스트 실행을 지시한다. 이러한 계층적 오케스트레이션은 품질을 유지하고 비용을 절감하면서 마이그레이션당 최대 1,000개의 풀 리퀘스트 병합을 가능하게 한다.

오케스트레이션 및 모델 효율성

Block 전략의 핵심은 추상화 수준을 높이는 것이다. Fable이 프론티어 토큰을 사용해 복잡한 사전 계획을 수립하고, 기계적인 작업의 대부분은 워커 모델에 위임한다. 이는 모든 작업에 가장 강력한 모델을 사용하던 기존 관행에서 벗어난 것이다. Block은 다중 에이전트 워크플로 지원을 위해 오픈소스 워크스페이스 Buzz를 활용하며, 인간 엔지니어와 AI 에이전트가 공유 채널에서 협업하는 과정을 시각화한다. 그 결과 엔지니어들은 반복적인 코드 변경 대신 어려운 설계 결정에 집중할 수 있다.

안전장치 및 인간 감독

자동화 규모에도 불구하고 Block은 핵심 작업에 대해 엄격한 인간 개입(Human-in-the-loop) 안전장치를 유지한다. 에이전트는 풀 리퀘스트 생성, 코드 리뷰, 데이터베이스 조회가 허용되지만, 승인 없이는 메인 브랜치 병합이나 프로덕션 배포가 불가능하다. 회사는 배포 시 이중 승인 계층을 강제하여 LLM이 독립적으로 프로덕션에 변경 사항을 푸시하지 못하도록 한다. 또한, 네트워크 허용 목록과 효율적인 비-LLM 보안 검사(정규식, 소형 분류기 등)를 통해 일반적인 오류와 보안 위험을 방지하며, 모델 루프가 생산적인 작업에 집중하도록 한다. 위험한 요청은 Anthropic의 안전 분류기가 거부하도록 한다.