OlmoEarth v1.1 3배 절감

AllenAI가 OlmoEarth v1.1을 Hugging Face에 공개했다. 원격탐사(위성영상)용 모델군으로, v1과 같은 데이터셋을 유지한 채 토큰 설계와 사전학습 절차를 바꿔 연산 비용을 최대 3배 낮췄다. Base, Tiny, Nano 모델과 가중치, 훈련 코드, tech report가 함께 제공된다.

핵심은 token sequence length를 줄이는 설계다. Sentinel-2 입력은 해상도별 패치와 timestep별 토큰이 곱해지며 토큰 수가 빠르게 늘어나는데, 해상도 토큰을 하나로 합치면 3배 적은 토큰으로 줄어든다. 이 변화는 프리트레이닝, 파인튜닝, 추론 전반의 비용을 동시에 낮춘다.

단순 결합은 m-eurosat kNN에서 10%p 하락을 만들었다. 이를 보완하기 위해 사전학습 절차를 수정했고, 주요 벤치마크와 파트너 태스크에서는 v1 수준의 성능을 유지했다. 다만 일부 태스크에서는 회귀도 확인됐다.

• 활용 사례: 맹그로브 변화 추적, 산림 손실 원인 분류, 국가 규모 작물 지도 작성
• 연구 의미: 같은 데이터셋에서 방법론 변화의 효과를 분리해 볼 수 있음