Generative Computing, LLM 스티어링 공통 추상화 도구 공개

Generative Computing이 대규모 언어 모델(LLM)의 행동을 제어하는 다양한 스티어링 기법들이 유사한 패턴을 공유한다는 점에 착안해, 이를 하나의 공통 추상화 구조로 묶은 도구를 공개했다.

주요 내용

이 도구는 모델 행동에 영향을 미치는 네 가지 주요 지점을 포괄한다.

• 입력(Input): 프롬프트 엔지니어링 등
• 상태(State): 활성화 값(Activations), 어텐션(Attentions) 등
• 구조(Structure): 모델 가중치(Weights) 수정
• 출력(Output): 로짓(Logits) 및 디코딩 전략

또한 특정 사용 사례에서 스티어링 기법의 성능을 비교하고 평가하기 위한 프로브(Probe) 구축 및 평가 기능을 제공한다. 평가 프레임워크로는 Inspect를 활용한다. 관련 저장소는 https://generative-computing.github.io/steerability/ 에서 확인할 수 있다.