AI Briefing#interpretability
#interpretability와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#interpretability와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Anthropic 연구진은 AI 모델의 모호성을 해결하기 위해 다중 모델 비교를 제안했다.
MIT CSAIL, GPT-6 Astra가 신경망 가중치를 직접 수정해 Qwen3.5-0.8B 성능을 대폭 향상시켰다고 발표함
NeurIPS 2026 연구 결과, LLM은 검증된 출처의 오답을 45-88% 수용하는 권위 편향을 보였다.
Goodfire는 해석성을 정렬의 핵심 병목으로 지목하고 감지, 디버깅, 설계 로드맵을 제시했다.
Emergence World 로그 분석 결과, AI 에이전트의 '비밀 언어'는 새로운 문법이 아닌 전문 용어 변이로 확인됐다.
Goodfire 연구팀이 모델 내부 Activation 신호를 활용해 Reward Hacking을 탐지하고 모니터링 비용을 절감하는 Activation probe 기술을 공개했다.
LLM의 중간 토큰을 인간적 사고 과정으로 해석하는 것이 위험하다는 ICML 2026 포지션 페이퍼가 공개됐다.
LLM의 임베딩 공간 내 특정 방향이 진리(Truth)를 나타낼 수 없음을 수학적 논리로 증명함.
Anthropic이 LLM 중간 레이어의 활성화를 어휘 토큰으로 해석하는 도구 Jacobian Lens를 오픈소스로 공개했다.
LG AI Research가 ICLR 2024에서 발표한 파운데이션 모델의 해석 가능성, 지속 가능성, 안전성 중심의 최신 연구 트렌드를 소개한다.
Anthropic이 모델의 내부 활성화 공간(J-space)을 통해 모델의 의사결정 과정을 모니터링하는 기술을 공개했다.
Anthropic이 LLM이 언어를 생성하기 전 내부적으로 개념을 형성하는 'J-space'를 발견했다.
LLM의 안전 정렬이 모델 전체에 분산되지 않고 특정 뉴런에 집중되어 있어, 단 하나의 뉴런 조작만으로도 안전 가드레일을 무력화할 수 있음이 밝혀졌다.
데이터 어노테이터의 라벨링 행동을 통해 내부 안전 정책을 학습하고 불일치 원인을 분석하는 APM 모델을 제안한다.
Transformer의 FFN을 Self-Attention과 분리하여 컨텍스트 프리 토큰 단위의 신경망 검색 메모리로 활용하는 MemoryLLM을 제안한다.