LLM이 오퍼코드로

고정된 Qwen 1.5B에서 text generation head를 제거하고, 대신 38M 파라미터 cross-attention head가 CHIP-8 opcodes를 바로 내보내게 만들었다.

입력의 instruction tokens는 query로 쓰고, machine state(display, registers, previous opcode)는 keys/values로 넣어, 모델이 텍스트를 생성하지 않고도 명령을 직접 출력하도록 설계했다.

데모에서는 다음이 가능했다.

• "add 7 and 8": 16개 opcode로 17ms에 BCD 추출과 숫자 그리기까지 수행
• "draw a star using a subroutine called twice": CALL/RET를 포함한 18개 opcode로 두 개의 별을 다른 위치에 그림
• "wait for 10 ticks": GETDT, SKE, JUMP로 busy-wait 루프를 만들고 타이머 이후 실행
• "count from 1 to 5": 증가, 조건 분기, 역방향 점프로 루프 구성

모든 opcode는 실제 CHIP-8 emulator에서 실행됐고, 실행 속도는 opcode당 1~3ms 수준이었다.

다만 **"two plus three"**는 실패했다. arithmetic program 자체는 생성했지만 operand가 틀렸고, 저자는 그 원인을 hidden state 해석으로 설명한다. 숫자 단어와 숫자 토큰의 표현이 arithmetic context에서 거의 직교에 가깝게 떨어졌고, 그 간극은 텍스트 생성 과정에서만 메워지는 듯했다.

핵심 결론은, 이해는 hidden states에 있고 계산은 decoding에 있다는 점이다. decoder를 제거하면 계산 능력도 같이 사라진다. CHIP-8용 PoC이지만, instruction query + machine state cross-attention 패턴 자체는 다른 VM이나 소프트웨어 제어에도 확장 가능하다는 주장이다.