Pandas 창시자가 본 AI 시대의 개발 미래

Pandas와 Apache Arrow를 만든 경험을 바탕으로 Wes McKinney는 AI 시대에도 고성능 데이터 시스템 설계에는 전문성, 판단력, 취향이 핵심이라고 강조한다.

Apache Arrow의 역할: 표 형식 데이터를 위한 범용 인메모리 계층으로 시스템 간 전송과 처리를 표준화한다. 채택하는 시스템이 늘어날수록 상호운용성의 가치도 커진다.

LLM의 한계: DuckDB, DataFusion 같은 정교한 시스템은 LLM의 평균적인 코드 생성만으로 대체하기 어렵다. 오픈소스의 경쟁력에는 코드뿐 아니라 장기간 축적한 신뢰와 품질 기록도 포함된다.

에이전트 수렁(Agentic Tarpit): AI 도구는 주도성 높은 개발자의 생산성을 크게 높이지만, 무엇을 만들지 명확하지 않으면 평균적인 해법과 코드가 쌓여 에이전트도 빠져나오기 어려운 상황이 생길 수 있다.

향후 개발 스킬의 변화: 언어 문법과 손코딩보다 아키텍처 설계, 문제 정의, 의사소통, 결과 판별 능력이 중요해진다. 조직은 늘어난 의사결정 부담과 토큰 비용도 함께 관리해야 한다.