긴 컨텍스트(Long Context) 프롬프팅 기법

Claude는 100,000 토큰의 긴 컨텍스트 창을 통해 방대한 기술 문서나 책 전체를 처리할 수 있다. Anthropic은 Claude의 잠재력을 극대화하기 위해 정보 회상(recall) 성능을 높이는 두 가지 프롬프팅 기술을 제안한다.

주요 기법은 다음과 같다:

• 질문에 답변하기 전, 관련 있는 **참조 인용구(reference quotes)**를 먼저 추출하기
• 문서의 다른 섹션에 대해 올바르게 답변한 예시를 프롬프트에 추가하기

실험을 위해 Claude의 학습 데이터 컷오프 이후의 정부 문서를 활용했다. 문서 섹션을 나누고 Claude를 이용해 다지선다형 문제를 생성한 뒤, 이를 무작위로 재조합한 '랜덤 콜라주(randomized collage)' 방식으로 테스트를 진행했다.

평가 데이터셋 구축 시에는 모델이 이미 알고 있는 상식 질문을 피하고, 토큰 단위 처리 특성상 단어 수를 묻는 질문을 지양하며, 정답에 힌트가 포함되지 않도록 하는 등 정교한 프롬프트 설계 과정을 거쳤다. 이번 평가는 성능 개선 효과를 명확히 확인하기 위해 Claude Instant (version 1.2) 모델을 중심으로 진행되었다.