Cohere CEO, AI 기업들의 반독점 면제 요구 비판… "소수 기업이 규칙 독점해선 안 돼"

Cohere CEO Aidan Gomez는 소수의 실리콘밸리 AI 기업들이 전 세계 AI 규칙과 안전 기준을 정의하는 시도를 비판했다. 그는 AI 가드레일의 필요성은 인정하지만, 규칙 작성 주체가 소수 기업에 독점되고 반독점 면제를 통해 경쟁을 제한하려는 시도는 부당하다고 지적했다.

과거 사례와 유사한 독점 구조

Gomez는 1985년 유럽 자동차 제조사의 로비 사례를 언급하며, 안전을 명분으로 기존 사업자의 시장 지배력을 보호하는 구조가 형성되어 왔음을 경고했다. 최근 Anthropic CEO가 제안한 로드맵은 안전을 명목으로 정부에 반독점 면제를 요청한 것으로, 이는 다른 개발자와 사회의 의견 개진 없이 규칙을 강제하는 것과 같다고 비판했다.

규모 중심 규제 프레임워크의 한계

기존 안전 프레임워크는 모델의 **규모(scale)**를 위험의 함수로 정의하여 초대형 시스템 보유 기업만 판단 자격이 있다고 간주한다. Gomez는 잘 설계된 작은 모델의 도구 활용 능력이나 **사이버 스웜(cyber swarm)**과 같은 새로운 위험 표면을 대규모 컴퓨트 임계값 기반 체제가 포착하지 못한다고 지적했다. 또한, 조율된 접근이 상업적 우위를 희생하지 않는다고 주장하지만, 이는 사실상 현재 시장 상위 기업들의 우위를 고정화하여 경쟁을 제한하는 결과를 낳는다고 분석했다.

더 나은 규칙을 위한 제안

Gomez는 민주적 입법 과정을 위해 다음과 같은 실용적 아이디어를 제안했다.

• 증거 기반 리스크 프레임워크: 피해, 원인, 정부 개입 시점을 공개적으로 합의하고, 기술자 및 다양한 분야 전문가가 참여하는 국제적 협력을 강조한다. 규제 적용 기준은 개발 주체가 아닌 시스템의 '능력'과 '배치 위치'에 따라야 한다.
• 의무적 투명성: 심각한 사고를 보고하여 전체 분야의 교훈으로 삼아야 하며, test-time observability 또는 로깅 표준을 마련해 나쁜 행동을 조기에 감지해야 한다.
• 핵심 인프라 격리: 병원이나 변전소 등 핵심 인프라에 연결된 시스템은 온프레미스 등으로 격리되어야 한다. 작은 모델이라도 병원에 배치되면 즉각적인 위험이 되므로, 기업 규모가 아닌 시스템이 닿는 범위에 따라 규제해야 한다.

공포 마케팅과 실제 리스크의 괴리

Gomez는 AI를 실존적 위협으로 규정해 경쟁사를 금지하려는 의도가 오히려 더 안전한 세계를 만들지 못한다고 주장한다. 그는 초지능 시스템의 인류 멸망 가능성 같은 수치가 근본적 현실이 아닌 직관에 기반한다고 비판했다. 대신 그는 음성 클론, 자동화 결정 시스템 등 현재 진행 중인 피해를 해결하기 위해 실질적인 대안을 제시했다.

결국 Gomez는 AI 규칙이 폐쇄적 소수 기업이 아닌, 학계, 시민단체, 소규모 랩, 오픈소스 개발자 등이 참여하는 공개적이고 검증 가능한 다자간 프로세스를 통해 제정되어야 한다고 강조했다.