Agent에게 눈이 생겼다 — 클릭, 설명, 완료

앱의 UI 요소를 일일이 텍스트로 설명할 필요 없이, 클릭 한 번으로 수정할 수 있는 Element Selector 기능이 도입되었다. 이제 사용자는 Agent나 Assistant를 통해 앱의 특정 요소를 직접 선택하고 즉시 변경할 수 있다.

Element Selector의 작동 방식은 다음과 같다:

• Element Selector 활성화: Agent 및 Assistant의 채팅 입력 도구 옆에서 기능을 켠다.
• 클릭하여 선택: 버튼, 헤딩 등 수정하고 싶은 UI 요소를 직접 클릭한다.
• 변경 사항 설명: Assistant는 텍스트, 색상, 스타일을 업데이트하며, Agent는 정적 리스트를 검색 가능한 리스트로 만드는 등의 기능 추가를 수행한다.

이 기능의 핵심은 UI 컴포넌트를 코드베이스의 정확한 위치와 매핑한다는 점이다. 요소를 선택하면 Agent는 다음과 같은 정보를 즉시 파악한다:

• 정확한 파일 및 라인 번호 참조
• 스타일 속성 및 현재 상태
• 관련 기능 및 이벤트 핸들러

이를 통해 Agent는 단순한 추측이 아니라, 사용자가 원하는 변경 사항을 정확히 이해하고 실행한다. 현재 이 기능은 새로운 JavaScript 기반 앱에서 사용할 수 있으며, 향후 다른 기술 스택으로 확대될 예정이다.