Meta 엔지니어, RSI 업무 90%는 코딩이라고 설명

Meta의 리서치 엔지니어 Tom Mann은 재귀적 자기 개선(RSI) 프로젝트에서 업무의 90%가 신뢰할 수 있는 소프트웨어 구축과 인프라 유지보수를 위한 코딩이며, 아이디어 구상 및 테스트는 10%에 불과하다고 설명함
AI 에이전트가 토큰과 컴퓨트를 활용해 난제를 해결하도록 교육하는 데 초점을 맞추며, 자기 개선의 두 가지 주요 경로는 기반 모델 자체를 업데이트하거나 프롬프트, 도구, 메모리, 코드 등 스캐폴드를 개선하는 것임
리서치 엔지니어링에 필요한 핵심 역량으로는 LLM 아키텍처와 학습 사이클 이해, 에이전트 오케스트레이션, Codex나 Claude 같은 코딩 에이전트 활용, 평가 원칙, 데이터 기초 지식이 포함됨
시니어 리서처를 구분하는 '리서치 테이스트'의 중요성을 강조하며, 결과를 질문과 변경 사항 설명이 가능하도록 제시하는 것이 결과치가 실제보다 좋아 보이게 만드는 버그를 방지하는 데 필수적이라고 지적함
그의 팀은 모든 후보 실험을 실행하는 비용이 높을 때 유망한 실험을 선택하는 방법을 다루는 AI Research Preference Models(RPM) 논문을 발표했으며, 이는 95% 신뢰 구간을 가진 AIRS-Bench로 평가됨

핵심 내용