순위에서 추천으로: AI 에이전트 시대에 성공할 수 있도록 사이트를 준비하세요 (새 탭에서 열림)

AI 에이전트가 검색엔진을 대신해 고객의 질문에 답하고 제품·서비스를 추천하는 시대가 오면서, 웹사이트의 발견 가능성은 검색 순위뿐 아니라 에이전트가 사이트를 읽고 신뢰하며 추천할 수 있는지에 달려 있다. Cloudflare는 이를 위해 에이전트가 사이트를 실제로 이용할 수 있는지 점검하는 Agent Readiness Diagnostics와, AI 답변에서 브랜드가 얼마나 추천·인용되는지 측정하는 AEO 도구를 제공한다. 앞으로는 사람이 읽기 좋은 사이트를 넘어, 에이전트가 쉽게 찾고 읽고 호출할 수 있는 사이트가 경쟁력을 갖게 된다.

에이전트 중심으로 바뀌는 웹사이트 발견 방식

• 고객은 검색 결과 페이지보다 AI 어시스턴트에게 직접 질문하고 추천을 받을 가능성이 커지고 있다.
• HTML 페이지 요청 중 인간이 직접 발생시키는 요청은 절반 이하이며, 나머지에는 크롤러·자동화 도구·AI 에이전트 등이 포함된다.
• 기존의 클릭 수와 페이지뷰만으로는 다음을 알기 어렵다.
  • AI 에이전트가 사이트에 접근하고 콘텐츠를 사용할 수 있는지
  • AI 답변에서 경쟁사 대신 자사 브랜드가 추천되는지
• 에이전트에게 중요한 사이트의 조건은 다음과 같다.
  • 쉽게 발견될 것
  • 기계가 읽기 쉬울 것
  • 정보의 출처와 신뢰성이 명확할 것
  • 필요한 경우 API나 도구를 통해 직접 작업할 수 있을 것

Agent Readiness Diagnostics: 에이전트가 사이트를 사용할 수 있는가

Diagnostics는 사람이 브라우저로 접속하는 방식이 아니라, 에이전트가 사이트를 해석하는 방식으로 기술 상태를 점검한다.

• 주요 점검 대상
  • robots.txt 접근 규칙
  • XML 사이트맵
  • HTTP 응답 헤더
  • 에이전트용 Markdown 콘텐츠
  • 인증 및 도구 사용을 위한 공개 메타데이터
• 결과는 “Not Ready”부터 완전한 에이전트 네이티브 상태까지 하나의 준비도 화면으로 통합된다.
• 각 항목은 다음 정보를 제공한다.
  • 통과, 실패, 중립 상태
  • 해당 검사가 중요한 이유
  • 실제 요청과 응답을 확인할 수 있는 증거
• 개선 항목은 구현 난이도와 우선순위에 따라 나뉜다.

빠른 개선 항목

• 크롤러가 읽을 수 있는 robots.txt
• XML 사이트맵
• AI 크롤러를 위한 접근 규칙
• 에이전트가 처리하기 쉬운 정제된 Markdown 콘텐츠

기술적 기반

• 콘텐츠를 어떤 방식으로 사용해도 되는지 선언하는 Content Signals
• API 카탈로그
• 링크 헤더
• 에이전트 로그인 지침

고급 에이전트 통합

• OAuth 검색·발견 기능
• MCP(Model Context Protocol)
• A2A(Agent2Agent) 에이전트 카드
• skills index
• Web Bot Auth
• WebMCP

에이전트 상거래

• x402: HTTP 402 Payment Required를 확장한 결제 표준
• ACP(Agent Commerce Protocol)
• UCP(Universal Commerce Protocol)
• AP2(Agent Payments Protocol)

상거래 관련 항목은 현재 정보 제공 목적이며 준비도 점수에는 포함되지 않는다.

진단 결과를 실제 개선으로 연결하는 방식

• Cloudflare 기능으로 해결할 수 있는 문제에는 바로 설정 화면으로 이동하는 “Set up in Cloudflare” 링크가 제공된다.
  • 예: 에이전트용 Markdown 활성화
  • 관리형 robots.txt 설정
• 별도 개발이 필요한 경우 “Copy Agent Prompt” 버튼으로 코딩 에이전트에 전달할 구현 지침을 생성할 수 있다.
• 변경 후 다시 스캔해 해결 여부를 확인하고, 통과한 항목을 즉시 확인할 수 있다.

AEO: AI 어시스턴트가 브랜드를 추천하는가

AEO는 사이트를 읽을 수 있는지에서 더 나아가, 실제 고객 질문에 AI가 해당 브랜드를 추천하는지를 측정한다.

• Cloudflare는 사이트에서 산업과 카테고리를 추론한다.
  • 예: 건강·피트니스 산업
  • 예: 스포츠 의류 카테고리
• 이후 Claude와 GPT 같은 주요 AI 어시스턴트에 실제 고객이 할 법한 질문을 입력한다.
• 질문 유형은 다음을 포함한다.
  • 제품·서비스 추천
  • 경쟁 제품 비교
  • 카테고리 전반에 대한 조언
• 특정 브랜드를 질문에 직접 넣지 않고, 자연스러운 시장 탐색 상황에서 어떤 사이트와 브랜드가 선택되는지 측정한다.

AEO에서 사용하는 주요 지표

• Citation Rate
  • 해당 카테고리의 AI 답변 중 자사 사이트가 출처로 인용된 비율
• Prominence
  • 인용된 경우 답변의 얼마나 앞부분에 등장하는지
  • 답변 내용 중 자사 사이트에 얼마나 많은 비중이 귀속되는지
• Mention Rate
  • 출처 링크 여부와 관계없이 답변에서 브랜드명이 언급되는 비율
  • 언급률은 높지만 인용률이 낮다면 브랜드 인지도는 있으나 신뢰할 만한 출처로 인정받지는 못하고 있다는 뜻이다.
• Share of Voice
  • 경쟁사 대비 자사가 차지하는 인용 비중
  • 어떤 질문에서 경쟁사에 밀리는지 파악할 수 있다.
• Industry Fit
  • AI가 해당 사이트를 실제 경쟁사들과 함께 인식하는 정도를 나타내는 점수

카테고리별 벤치마크와 사전 계산

• Cloudflare는 산업·카테고리별로 브랜드를 지정하지 않은 질문을 AI에 먼저 질의한다.
• 이 과정에서 다음 정보를 수집한다.
  • 어떤 사이트가 인용되는지
  • 답변에서 어느 위치에 등장하는지
  • 얼마나 큰 비중으로 다뤄지는지
• 카테고리별 기준 데이터를 한 번 구축한 뒤 여러 계정에서 재사용한다.
• 이 방식의 장점
  • 매번 AI 모델을 다시 호출하지 않아 결과가 즉시 표시된다.
  • 수천 개 사이트가 같은 질문을 반복하는 데 따른 컴퓨팅 비용을 줄인다.
  • 동일 시장에서 함께 등장하는 브랜드를 파악해 Industry Fit을 계산할 수 있다.

AI 답변의 변동성을 반영한 평가 방식

• AI는 같은 질문에도 매번 완전히 동일한 답변을 생성하지 않는다.
• 이를 보완하기 위해 Cloudflare AI Gateway를 사용해 여러 모델과 여러 번의 질의를 수행한다.
• 평가 대상은 단순한 브랜드 언급이 아니다.
  • 사이트가 출처로 인용됐는지
  • 인용이 답변의 앞부분에 나오는지
  • 답변의 실질적인 내용이 사이트에 얼마나 귀속되는지
• Workers AI가 답변을 분석하고 점수를 계산한다.
• 모델이 자기 답변을 다시 평가하는 방식이 아니라, 응답 텍스트와 출처를 대상으로 정확한 텍스트 분석을 함께 사용한다.
• 따라서 직접 다중 모델 평가 시스템을 구축하지 않아도 실행 가능한 AEO 지표를 얻을 수 있다.

AI Operator Activity로 실제 유입과 오류 확인

• AI Operator Activity는 실제 운영자별 크롤링 및 추천 트래픽을 보여준다.
• 확인 가능한 정보
  • OpenAI, Google 등 어떤 운영자가 사이트를 읽는지
  • 어떤 운영자가 방문자를 사이트로 보내는지
  • 크롤링·추천 과정에서 발생한 오류
    • 403: 접근 차단
    • 404: 잘못되거나 사라진 링크
• 이를 통해 AI가 사이트를 발견하지 못하는 문제와, 발견했지만 접근·탐색 과정에서 실패하는 문제를 구분할 수 있다.

사이트 운영자는 먼저 robots.txt, 사이트맵, Markdown 콘텐츠 같은 기본적인 기계 가독성을 확보한 뒤, API·OAuth·MCP 등 직접 실행 가능한 인터페이스를 추가하는 것이 좋다. 이후 AEO 지표를 통해 인용률과 경쟁사 대비 점유율을 지속적으로 추적해야 하며, 단순히 AI 봇 방문 수를 늘리는 것보다 실제 추천과 출처 인용으로 이어지는 구조를 만드는 데 집중해야 한다.