반특이점

LLM이 복잡한 설계를 끝없이 반복해 휴리스틱을 만드는 방식이 차세대 패러다임이 될 수 있다는 전제에서 출발해, 미래는 우리가 기대하는 특이점이 아니라 반특이점일 수 있다는 문제를 제기한다. 핵심은 하나의 범용 지능(GAI) 이 모든 문제를 푸는 세계가 아니라, 과제별 휴리스틱 최적화기들이 퍼져 있는 세계다.

전통적 특이점은 GAI → 재귀적 자기개선(RSI) → 초지능(SAI) 으로 이어지는 유토피아적 서사를 따른다. 반특이점에서는 지능의 더 깊은 통일 이론이 없고, 다윈의 맹목적 진화처럼 목적 없는 탐색과 우연이 성과를 만든다.

생물학은 이 관점의 대표 사례다. 자연이라는 방대한 데이터와 막대한 자본이 있어도 약물 개발은 수십억 달러 손실로 끝나기 쉽고, 가장 단순한 생명체조차 아직 디지털로 재현하지 못했다. AI 스타트업이 수조 달러 가치를 받는 동안 생물학 스타트업은 미미한 수준에 그친다.

이산수학도 비슷하다. Rule 30 같은 단순 규칙이 복잡한 패턴을 낳고, 워프람의 A New Kind of Science 는 자연과 과학을 계산으로 환원할 수 있다고 기대했지만, 실제로는 computational irreducibility 때문에 효율적인 범용 해법이 거의 없다. 결국 무엇이 일어나는지 직접 돌려보는 시행착오가 최선이 된다.

이 세계에서 AI는 여전히 강력하다. 최선의 방법 자체가 많은 가능성을 시험하는 것이라면, 인간보다 훨씬 많은 시도를 할 수 있는 AI가 압도적인 우위를 갖기 때문이다. 다만 AI 정렬의 문제는 단일한 SAI 를 통제하는 일이 아니라, 서로 다른 환경에 맞춘 heuristic optimizers 들의 생태계를 관리하는 일로 바뀐다. 이 휴리스틱 최적화기들은 국지적 환경에 맞춰져 있어 단일 초지능보다 덜 위험할 수 있지만, computational irreducibility 때문에 왜 꼬였는지 설명하기는 더 어렵다.

• 사고의 단위는 전 우주적 종말이 아니라, 특정 에이전트가 이상하게 종이클립을 많이 만드는 국지적 실패가 된다.
• 인간은 마지막 발명 이후 쉬는 존재가 아니라, 다양한 에이전트를 돌보고 고치는 정원사가 된다.
• 반특이점이 현실이라면 인간이 35억 년에 걸쳐 축적한 직관과 휴리스틱이 더 값질 수 있어, 특이점 이후 돈이 무의미하다는 식의 준비론보다 다양성, 복원력, 적응성 이 중요해진다.

가능성의 순서는 좋은 특이점 > 반특이점 > 나쁜 특이점 으로 제시된다. 다만 어느 쪽이 오는지는 바꿀 수 없으며, 두 미래를 구분할 지표와 양쪽 모두에 통하는 대응책, 그리고 현재 수학계의 혼란과의 관계가 남은 질문으로 제시된다.