AI Briefing#mechanistic-interpretability
#mechanistic-interpretability와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#mechanistic-interpretability와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
LG AI Research가 TokenGT의 그래프 재구성 메커니즘을 규명했다.
Anthropic 연구팀이 2층 Attention-only Transformer에서 Induction Heads가 In-context Learning을 수행하는 핵심 메커니즘임을 입증하는 수학적 프레임워크를 공개했다.
Anthropic이 LLM 중간 레이어의 활성화를 어휘 토큰으로 해석하는 도구 Jacobian Lens를 오픈소스로 공개했다.
기계적 해석 가능성(Mechanistic Interpretability)을 통해 AI 에이전트의 도구 사용 결정을 모니터링하는 연구가 발표되었다.
코딩 에이전트의 내부 표현이 실제 코드 수정보다 약 25단계 앞서 미래 상태를 예측한다는 연구 결과가 발표됨.
Anthropic이 모델의 내부 활성화 공간(J-space)을 통해 모델의 의사결정 과정을 모니터링하는 기술을 공개했다.
Gemma-3-12B 분석 결과, 질문 전 입력되는 중립적 문맥이 모델의 내부 상태를 변화시켜 답변 거절을 유도함이 밝혀짐.
LLM의 안전성 및 유도(Sycophancy) 동작이 모델의 후반부 레이어에 집중되어 있다는 연구 결과가 발표되었습니다.
Anthropic의 연구를 통해 LLM의 내부 작동 원리를 규명하는 기계적 해석 가능성의 진전을 설명한다.
자기 참조적 프롬프팅이 LLM의 주관적 경험 보고를 유도하며, 이것이 기만 및 역할 수행 기능과 연관되어 있음을 밝힌 연구이다.
Anthropic이 Claude 내부 활성값을 자연어로 설명하는 NLA를 공개했다.
가중치의 대부분을 0으로 만드는 sparse models를 통해 신경망의 내부 동작을 쉽게 파악할 수 있는 sparse circuits를 구현했다.