token-optimization

에이전트를 위한 마크 (새 탭에서 열림)

웹 콘텐츠 소비의 주체가 인간에서 AI 에이전트로 이동함에 따라, 복잡한 HTML 대신 AI가 이해하기 쉬운 구조화된 데이터를 제공하는 것이 기업의 필수 과제가 되었습니다. 클라우드플레어(Cloudflare)는 이러한 변화에 발맞춰 기존의 HTML 페이지를 실시간으로 마크다운(Markdown)으로 변환해 주는 'Markdown for Agents' 기능을 출시했습니다. 이 서비스는 토큰 사용량을 획기적으로 줄여 AI 처리 효율을 높이고, 콘텐츠 제작자가 자신의 데이터가 AI 모델 학습 등에 어떻게 사용될지 제어할 수 있는 표준을 제시합니다. ### AI 최적화를 위한 마크다운의 효율성 * **토큰 절감:** HTML은 본문 내용 외에도 각종 `<div>` 태그, 네비게이션 바, 스크립트 등 무의미한 요소를 포함하고 있어 AI가 처리해야 할 토큰 양이 매우 많습니다. 마크다운으로 변환 시 HTML 대비 토큰 사용량을 약 80%까지 줄일 수 있어 비용 효율적입니다. * **의미적 명확성:** 마크다운은 구조가 명확하여 AI 에이전트가 별도의 복잡한 파싱 과정 없이도 콘텐츠의 핵심 정보를 정확하게 파악할 수 있도록 돕는 'AI 시스템의 공용어' 역할을 합니다. * **비용 및 복잡성 감소:** 기존에는 AI 파이프라인 내부에서 HTML을 마크다운으로 변환하는 추가 연산 과정이 필요했으나, 이를 네트워크 단에서 처리함으로써 전체적인 처리 속도를 높이고 복잡성을 제거합니다. ### 실시간 콘텐츠 협상 및 변환 기술 * **콘텐츠 협상(Content Negotiation):** 클라이언트는 HTTP 요청 헤더에 `Accept: text/markdown`을 포함하여 마크다운 형식을 요청할 수 있습니다. 클라우드플레어 네트워크는 이를 감지하여 원본 HTML을 즉석에서 마크다운으로 변환해 응답합니다. * **편리한 구현:** `curl` 명령어나 Cloudflare Workers의 TypeScript 코드를 통해 간단히 구현할 수 있으며, Claude Code나 OpenCode와 같은 주요 코딩 에이전트들은 이미 이러한 요청 방식을 채택하고 있습니다. * **토큰 정보 제공:** 응답 헤더에 `x-markdown-tokens`를 포함하여 변환된 문서의 예상 토큰 수를 전달합니다. 개발자는 이 값을 활용해 컨텍스트 윈도우 크기를 계산하거나 청킹(chunking) 전략을 세울 수 있습니다. ### 콘텐츠 시그널 정책을 통한 권한 제어 * **사용 권한 명시:** 변환된 응답에는 `Content-Signal: ai-train=yes, search=yes, ai-input=yes`와 같은 헤더가 포함됩니다. 이는 해당 콘텐츠가 AI 학습, 검색 결과 노출, 에이전트 입력값으로 사용될 수 있음을 명시적으로 허용하는 신호입니다. * **제어권 확보:** 향후 클라우드플레어는 비즈니스 요구에 맞춰 콘텐츠 제작자가 AI의 데이터 활용 범위를 세부적으로 정의할 수 있는 맞춤형 정책 설정 기능을 제공할 예정입니다. AI 에이전트가 웹을 탐색하는 주요 주체로 부상하는 시대에, 기업들은 단순한 SEO를 넘어 'AI를 위한 데이터 제공 최적화'를 고려해야 합니다. 클라우드플레어의 이번 기능을 통해 웹사이트 소유자는 별도의 인프라 변경 없이도 자신의 사이트를 AI 친화적인 환경으로 즉각 전환할 수 있으며, 이는 곧 AI 검색 및 에이전트 환경에서의 노출 경쟁력으로 이어질 것입니다.

Dash가 더 스마트한 AI를 위해 (새 탭에서 열림)

Dropbox Dash는 단순한 검색 시스템을 넘어 사용자의 의도를 이해하고 실행하는 에이전트형 AI로 진화하면서, 모델에 제공되는 정보를 정교하게 관리하는 '컨텍스트 엔지니어링'을 핵심 전략으로 채택했습니다. 단순히 많은 정보를 제공하는 것이 아니라 모델이 추론하고 행동하는 데 꼭 필요한 정보만을 선별하여 전달함으로써, AI의 '분석 마비' 현상과 토큰 낭비를 방지했습니다. 결과적으로 이러한 전략적 컨텍스트 관리는 모델의 판단 속도와 작업 정확도를 동시에 높이는 성과를 거두었습니다. ### 도구 정의의 최소화와 통합 인터페이스 구축 * 모델에게 너무 많은 API 호출 선택지를 주면 판단 속도가 느려지고 정확도가 떨어지는 현상이 발생했습니다. 이를 해결하기 위해 개별 서비스(Confluence, Jira, Google Docs 등)의 검색 도구를 하나로 묶은 '유니버설 검색 인덱스' 기반의 단일 도구를 구축했습니다. * Model Context Protocol(MCP)을 활용하여 도구 설명을 간결하게 유지함으로써, 모델의 컨텍스트 창(Context Window)이 사용자 요청이라는 본연의 목적에 더 많이 할애되도록 설계했습니다. * 하나의 일관된 인터페이스를 통해 정보를 검색하게 함으로써 모델의 계획 수립 과정을 단순화하고 효율성을 극대화했습니다. ### 지식 그래프를 통한 맥락적 데이터 필터링 * 단순히 여러 API에서 데이터를 가져오는 것에 그치지 않고, 검색된 결과 중 가장 관련성 높은 정보만 모델에 전달되도록 필터링 시스템을 강화했습니다. * 통합 인덱스 위에 사람, 활동, 콘텐츠 간의 관계를 연결한 '지식 그래프'를 구축하여 사용자별 맞춤형 순위 산출이 가능하게 했습니다. * 모델이 런타임에 방대한 정보를 직접 분석하는 대신, 이미 관계가 정립된 고가치 정보만 수신함으로써 추론의 질을 높이고 성능 저하를 방지했습니다. ### 복잡한 작업을 위한 전담 에이전트 도입 * 검색 쿼리 생성과 같이 복잡한 지침과 예시가 필요한 작업은 메인 모델의 컨텍스트 창을 과도하게 점유하는 문제를 일으켰습니다. * 이를 해결하기 위해 메인 에이전트는 전체적인 계획만 세우고, 구체적인 쿼리 작성은 별도의 '전담 에이전트'에게 위임하는 구조를 도입했습니다. * 역할 분담을 통해 메인 모델은 복잡한 세부 사항에 매몰되지 않고 전체 작업의 흐름에 집중할 수 있으며, 각 에이전트는 자신에게 할당된 컨텍스트 내에서 최적의 결과를 도출합니다. 효과적인 에이전트형 AI를 구축하기 위해서는 무조건 많은 데이터를 입력하기보다 모델이 처리해야 할 정보의 양과 질을 전략적으로 제어해야 합니다. 도구의 통합, 지식 그래프 기반의 정교한 필터링, 그리고 전문 에이전트로의 역할 분담은 성능 향상과 비용 절감을 동시에 달성할 수 있는 실무적인 context engineering 방안이 될 것입니다.