최고의 AI조차 충분히 똑똑하지 않을 때, Benchling이 에이전트를 구축하는 방법

생명과학 R&D 데이터 플랫폼인 Benchling은 과학자들이 실험을 설계하고 데이터를 찾는 과정을 돕기 위해 Benchling AI를 출시했다. 이들은 단순히 하나의 강력한 모델에 의존하는 대신, 여러 모델 제공업체의 모델을 동시에 실행하는 전략을 사용한다.

각 모델은 서로 다른 유형의 오류를 범하기 때문에, 여러 모델의 결과가 일치하면 데이터 품질이 높다고 판단하고, 서로 다르면 오류가 발생한 것으로 간주하여 정확도를 높인다.

또한, Benchling은 다음과 같은 방식으로 에이전트의 성능을 관리한다.

• 트레이스 리뷰(Trace Review): 매주 순번제로 지정된 '파이어 치프(Fire Chief)'가 프로덕션 트레이스를 검토하고 기술 운영 회의에서 이슈를 다룬다.
• 사용자 피드백: 사용자의 '따봉(Thumbs up/down)' 신호를 외부 신호로 활용한다.
• 워크플로우 압축: 에이전트를 통해 실험 단계 사이의 대기 시간을 줄여, 하루의 작업을 일주일 단위의 효율로 개선한다.

결과적으로 이러한 AI 에이전트는 실험 설계의 엄격함을 높이고, 결론에 도달하기 위해 필요한 실험 횟수를 줄이는 등 과학적 연구 방식에 큰 변화를 주고 있다.