AI의 자율적 발견, 인간 데이터 기여 가능성 제기

소량 데이터의 불균형적 영향

UK AI Security Institute, Anthropic, Oxford 등 연구진의 데이터 오염(data-poisoning) 연구에 따르면, 모델 크기와 클린 데이터 양을 늘려도 특정 백도어를 심는 데 필요한 오염된 문서 수는 거의 일정하게 유지된다. 13B 파라미터 모델에 2600억 토큰을 학습시킬 때, 백도어 심기에 필요한 오염 문서는 단 250개(전체 학습 토큰의 0.00016%)에 불과했다. 미세 조정 실험에서도 GPT-3.5 기준 약 50~90개의 오염된 예시로 80% 이상의 공격 성공률을 달성했다.

AI 발견과 인간 아이디어의 관계

이러한 연구 결과는 Navier-Stokes 방정식 해결 등 AI의 '자율적' 발견 과정에서 수백만 사용자의 미완성 아이디어가 기여했을 가능성을 시사한다. OpenAI는 특정 사용자의 데이터 접근을 부인했으나, 비식별화된 파생 데이터가 모델 개선에 기여했을 가능성을 완전히 배제하지는 않았다. 소량의 타겟된 데이터가 거대한 데이터셋에 희석되지 않고 불균형적으로 큰 영향을 미칠 수 있다는 점은, AI가 독립적 발명가라기보다 인간들이 생성한 부분 아이디어의 클라우드를 재조합하고 확장하는 도구일 수 있음을 의미한다.

분산형 인간-기계 발견

저자는 이를 **