mq - jq 스타일의 Markdown 쿼리 언어

Markdown 문서를 구조화된 데이터로 처리하여 LLM 워크플로우 및 데이터 변환을 지원하는 CLI 도구 mq가 공개되었습니다.

mq는 JSON의 jq와 유사한 문법을 사용하여 Markdown 문서를 질의, 필터링 및 변환할 수 있는 CLI 도구입니다. Markdown을 구조화된 데이터로 다루어 슬라이스, 필터링, 매핑 등의 작업을 배치 처리할 수 있습니다.

특히 LLM의 주요 입력 형식인 Markdown을 조작하는 데 특화되어 있어, 프롬프트 및 출력 관리, 콘텐츠 분석, LLM 워크플로우 자동화에 매우 유용합니다.

주요 특징은 다음과 같습니다:

다양한 포맷 지원: markdown, mdx, html, csv, json, toml, xml, yaml 등을 지원하며, 파일 확장자나 플래그를 통해 자동 파싱이 가능합니다.
정교한 셀렉터: 헤딩, 코드 블록, 링크, 테이블 셀 추출은 물론, 제목 기반의 섹션 단위 추출을 지원합니다.
문서 변환: mq conv 명령어로 Excel, Word, PDF를 Markdown으로 변환한 뒤 Unix 파이프라인으로 즉시 연결할 수 있습니다.
개발자 친화적 환경: Rust로 구현되었으며 REPL, LSP, VSCode 확장, 디버거를 제공합니다. 또한 Python, Go, Java 등 다양한 언어용 바인딩을 지원합니다.