cloudflare2026년 7월 1일

Attribution Business Insights로 크롤링의 실체 밝히기 (새 탭에서 열림)

웹사이트의 기존 검색엔진 생태계는 크롤링의 대가로 방문자를 보내는 구조였지만, AI 크롤러의 확산으로 이 균형이 무너지고 있다. AI 봇은 콘텐츠를 대량 수집하면서도 원 사이트로 유입되는 방문자는 거의 제공하지 않아, 게시자는 트래픽·수익·인프라 비용 측면에서 손해를 입을 수 있다. Cloudflare는 이를 판단할 수 있도록 봇별 활동과 크롤링 대비 추천 비율을 보여주는 **Attribution Business Insights** 대시보드를 공개했다. ## 검색엔진 시대에서 ‘제로 클릭’ 시대로 - 전통적인 검색엔진은 콘텐츠를 크롤링한 뒤 사용자에게 원문 페이지를 추천했다. - 게시자는 검색 유입을 통해 광고, 제휴, 구독 수익과 독자 관계를 확보할 수 있었다. - 검색엔진의 크롤링 횟수와 추천 방문자 수 사이에는 비교적 균형 잡힌 관계가 있었다. - 그러나 AI 챗봇은 원문을 수집해 답변을 직접 생성하면서 사용자를 원 사이트로 보내지 않는 ‘제로 클릭’ 환경을 만들고 있다. - 이에 따라 인터넷의 최적화 전략도 SEO에서 AEO(Answer Engine Optimization), GEO(Generative Engine Optimization) 중심으로 변화하고 있다. ## AI 크롤러의 불균형한 트래픽 - Cloudflare가 관찰한 주요 AI 크롤러의 크롤링 대비 추천 방문 비율은 약 **118:1에서 거의 50,000:1**까지 나타났다. - 일부 AI 크롤러는 방문자 한 명을 보내기 위해 콘텐츠를 수십만 번에 가깝게 요청할 수 있다. - 게시자는 두 가지 손실을 동시에 부담한다. - 광고 노출, 직접 방문, 독자 관계 등 수익으로 이어지는 트래픽 감소 - 상업적 가치가 불분명한 봇 요청을 처리하는 서버·대역폭 비용 증가 - 따라서 모든 크롤러를 허용해 노출을 기대하는 기존 전략은 더 이상 합리적이지 않을 수 있다. ## Attribution Business Insights 대시보드 - Cloudflare Bot Management 고객에게 제공되는 대시보드다. - 복잡한 로그 분석이나 수동 필터링 없이 사이트의 봇 트래픽을 사업 관점에서 파악하도록 설계됐다. - 주요 제공 정보는 다음과 같다. - 콘텐츠 페이지에 접근한 인간 사용자와 봇의 전체 트래픽 비교 - 사이트 전체 및 봇 운영자별 크롤링 대비 추천 방문 비율 - 24시간, 7일, 30일 단위의 비율 변화 - 트래픽 규모가 큰 봇 목록 - 봇의 국가, 사용 대역폭, 현재 허용·차단 상태 - 이를 통해 어떤 봇이 콘텐츠를 많이 사용하고 실제 방문자를 유도하는지 확인할 수 있다. ## 행동 기반 AI 크롤러 분류 Cloudflare는 AI 봇을 단순히 ‘AI 크롤러’로 묶지 않고 목적에 따라 분류한다. - **Training** - 차세대 대규모 언어 모델을 학습하기 위해 콘텐츠를 수집하는 크롤러 - **Search** - RAG(검색 증강 생성)에 사용할 데이터베이스를 갱신하는 크롤러 - **Agent** - 최종 사용자의 요청에 답하기 위해 에이전트형 상호작용에서 콘텐츠를 조회하는 크롤러 - 이러한 분류를 통해 게시자는 단순한 요청량뿐 아니라 콘텐츠가 어떤 용도로 사용되는지도 판단할 수 있다. ## 데이터에서 콘텐츠 비즈니스 전략으로 - 사이트 운영자는 보안 전문가가 아니더라도 대시보드의 요약 지표만으로 현재 콘텐츠 보안 정책의 효과를 점검할 수 있다. - 더 자세한 분석이 필요한 경우 봇 운영자별로 다음 정보를 비교할 수 있다. - 봇 유형 - 크롤링 대비 추천 비율 - 전체 요청량 - 현재 허용 또는 차단 정책 - 이 데이터는 AI 기업과의 협상이나 콘텐츠 라이선스 재검토에도 활용할 수 있다. - 예를 들어 특정 회사의 크롤링량이 다른 회사보다 20배 많거나, 이미 콘텐츠 사용료를 지급하는 회사가 있다면 이를 근거로 접근 정책과 계약 조건을 조정할 수 있다. - 핵심은 AI 트래픽을 일괄적으로 허용하거나 차단하는 것이 아니라, 실제 사업 가치와 비용을 기준으로 운영하는 것이다. ## 실용적인 적용 방향 게시자는 봇별 크롤링량, 추천 방문자, 대역폭 비용을 함께 비교해 허용·제한·차단 정책을 세워야 한다. 특히 Training, Search, Agent 목적을 구분하고, 유입 가치가 낮은 대량 크롤러에는 속도 제한이나 차단을 적용하며, 수익 또는 라이선스와 연결되는 봇에는 차별화된 접근 정책을 검토하는 것이 바람직하다.

seollmragai-crawlers+4

stripe2026년 6월 23일

HITEC 2026에서 본 여행 및 호스피탈리티 트렌드 네 가지 (새 탭에서 열림)

호텔 업계의 AI 투자는 빠르게 확대되고 있지만, 실제로 핵심 운영에 AI를 통합하고 투자수익률을 입증한 기업은 10% 미만이다. 성공의 걸림돌은 모델 성능보다 데이터 단절, 낡은 결제 인프라, 실제 업무 흐름과 연결되지 않은 기술에 있다. 앞으로는 검색 최적화보다 AI 답변에 노출되는 구조화된 데이터, 원활한 결제, 눈에 띄지 않게 작동하는 개인화 기술이 경쟁력을 좌우할 전망이다. ## AI 시대의 직접 예약 경쟁 - 기존 호텔 업계는 SEO와 검색 순위 개선을 통해 Expedia, Booking.com 같은 OTA를 거치지 않고 직접 예약을 유도했다. - 그러나 AI Overview가 포함된 Google 검색의 65%는 사용자가 웹사이트를 클릭하지 않고 종료되며, 모바일에서는 이 비율이 78%까지 높아진다. - 업계의 전통적인 검색 트래픽은 약 25% 감소하고 있어, 키워드와 백링크 중심의 SEO만으로는 충분하지 않다. - AI 모델에 노출되려면 다음 정보가 정확하고 기계가 읽기 쉬운 형태로 제공되어야 한다. - 객실 유형과 세부 조건 - 편의시설 - 취소 및 환불 정책 - 주변 지역 정보 - 실시간 재고와 요금 - 숙박업체 사이트의 90% 이상이 아직 AI 모델에 제대로 탐지되지 않는다. - 여행자의 56%가 최근 1년 동안 여행 계획, 예약 또는 현지 지원에 AI를 사용했다. - 따라서 대규모 AI 투자보다 먼저, 주요 AI 서비스가 자사 호텔을 정확히 설명하고 있는지 데이터 감사를 수행해야 한다. - AI 검색 노출만으로는 부족하며, 현지 결제수단·통화, 원클릭 결제, 사기 방지 기능을 갖춘 결제 과정까지 연결해야 예약 전환이 가능하다. ## 호텔 AI의 병목은 모델보다 데이터 연결성 - 많은 호텔이 AI 기능을 도입하고 있지만, 전략과 데이터 기반, 운영 아키텍처가 부족해 안정적으로 확장하지 못하고 있다. - 주요 시스템이 분리되어 있어 동일 고객에 대한 정보가 여러 곳에 흩어진다. - PMS(호텔 운영 시스템) - CRM - 멤버십·로열티 시스템 - 식음료 시스템 - 결제 시스템 - 이로 인해 AI 개인화가 부정확해지고, 재무팀의 대사 업무가 늘며, 고객 프로필이 불완전해지고, 고객 경험에도 마찰이 발생한다. - 중요한 것은 AI를 만드는 것보다 실제 운영 환경에서 안정적으로 실행하는 ‘AI 운영화’다. - 효과적인 기업은 정제되고 연결된 데이터를 업무 흐름 안에 제공해 직원이 적시에 행동하도록 만든다. - 예를 들어: - Delta Air Lines는 고객 프로필과 운영 데이터를 활용한 AI 컨시어지를 모바일 앱의 고객 지원 과정에 통합했다. - Wynn Las Vegas는 목표 대비 실적이 하락할 때 수익 관리자에게 예측 알림과 구체적인 대응 방안을 함께 제공한다. - 즉, 대부분의 여행 기업에서 우선 해결해야 할 문제는 더 좋은 AI 모델이 아니라 데이터의 통합과 업무 시스템 연결이다. ## 결제 인프라가 예약과 고객 경험을 좌우한다 - 호텔 업계는 결제를 단순한 비용과 운영 기능으로 취급해왔지만, 이제 결제 방식 자체가 성장과 경쟁력의 요소가 되고 있다. - 호텔 경영진 설문에서: - 90%는 결제가 성장에 중요하다고 답했다. - 37%는 결제수단 부족이 고객 경험을 가장 크게 해치는 요인이라고 답했다. - 58%는 사기 방지 시스템이 정상 거래까지 차단한다고 답했다. - 74%는 결제 시스템 분절로 대사 업무에 과도한 시간이 든다고 답했다. - 특정 국가에서 널리 쓰이는 결제수단을 지원하지 않으면 고객은 결제가 가능한 OTA나 다른 플랫폼으로 이동한다. - 대형 OTA는 결제 전문 인력을 대규모로 운영할 수 있지만, 독립 호텔이나 소규모 사업자는 같은 방식으로 투자하기 어렵다. - 대신 적절한 결제 인프라를 사용하면 적은 인력으로도 여러 국가의 결제수단, 통화, 사기 방지 기능을 운영할 수 있다. - 결제 범위의 작은 차이가 직접 예약을 잃고 OTA에 고객을 빼앗기는 결과로 이어질 수 있다. ## 성공적인 기술은 고객에게 보이지 않는다 - 고객은 작동하지 않는 기술에 큰 불만을 느끼며, 반드시 항의하지 않더라도 재방문하지 않을 수 있다. - 기술의 성공 기준은 고객이 기술의 존재를 인식하지 못할 정도로 자연스럽게 작동하는 것이다. - 이상적인 개인화 경험의 예시는 다음과 같다. - 고객이 도착하기 전에 객실 온도가 선호 수준으로 설정됨 - TV에 선호 채널이 표시됨 - 선호하는 베개가 준비됨 - 고객이 매번 자신의 취향을 직접 입력하지 않아도, 과거 투숙·멤버십·운영 데이터를 바탕으로 필요한 서비스를 예측해야 한다. - 다만 개인화는 “AI가 무엇을 했는지”를 과시하는 방식보다, 자연스럽고 방해 없이 서비스에 녹아드는 방식이 효과적이다. ## 실무적인 시사점 호텔과 여행 기업은 유행하는 AI 기능을 무작정 추가하기보다, 먼저 고객·객실·재고·결제 데이터를 통합해야 한다. 이후 AI 검색에서 자사 정보가 정확히 노출되는지 점검하고, 선호 결제수단을 지원하며, 예측 결과가 실제 직원 업무와 자동화된 조치로 이어지는지 확인하는 것이 우선이다. საბოლო적으로 경쟁력 있는 기술은 가장 화려한 기술이 아니라 예약을 늘리고 운영을 단순화하면서 고객이 불편을 느끼지 않게 하는 기술이다.

seoaillmai-agent+4

cloudflare2026년 1월 30일

구글의 AI 우위: (새 탭에서 열림)

구글은 검색 시장의 독점적 지위를 이용해 검색 인덱싱용 크롤러로 생성형 AI를 위한 데이터를 함께 수집하며, 이는 발행자(Publisher)들에게 선택권 없는 데이터 제공을 강요하는 결과를 초래하고 있습니다. 영국의 경쟁시장청(CMA)은 구글을 '전략적 시장 지위(SMS)' 사업자로 지정하고 규제를 검토 중이나, 진정한 공정성을 확보하기 위해서는 검색용 크롤러와 AI 학습용 크롤러를 법적으로 분리해야 합니다. 이러한 크롤러 분리만이 발행자가 검색 노출은 유지하면서도 AI의 무단 데이터 사용을 거부할 수 있게 하여, 건강한 디지털 생태계와 공정한 AI 경쟁 환경을 조성할 수 있는 유일한 길입니다. ### 영국 CMA의 구글 시장 지배력 지정과 규제적 배경 * **디지털 시장 경쟁 체제 도입**: 영국은 2024년 디지털 시장, 경쟁 및 소비자법(DMCC)을 시행하며, 검색 및 검색 광고 분야에서 90% 이상의 점유율을 가진 구글을 '전략적 시장 지위(SMS)' 사업자로 지정했습니다. * **법적 구속력 있는 규제**: 이번 지정으로 인해 CMA는 구글의 AI 개요(AI Overviews) 및 AI 모드와 같은 검색 생태계 전반에 대해 법적 구속력이 있는 행동 요구사항을 부과할 수 있는 권한을 갖게 되었습니다. * **발행자 보호의 필요성**: CMA는 발행자들이 구글 검색의 시장 지배력 때문에 자신의 콘텐츠가 AI 서비스에 활용되는 것을 알고도 크롤링을 허용할 수밖에 없는 구조적 한계를 인식하기 시작했습니다. ### 발행자의 딜레마와 검색·AI 크롤링의 결합 문제 * **거부권의 부재**: 발행자들은 웹사이트 트래픽과 광고 수익의 핵심인 구글 검색 결과에서 제외되는 것을 감당할 수 없기에, 구글의 크롤러(Googlebot)를 차단하지 못하는 실정입니다. * **수익 모델의 붕괴**: 구글은 검색 크롤링을 통해 확보한 데이터를 AI Overviews 등에 활용하여 사용자에게 직접 답변을 제공하며, 이는 발행자 사이트로의 트래픽 유입을 급감시키고 광고 기반 비즈니스 모델을 위협합니다. * **불공정 경쟁 우위**: 구글은 검색봇을 통해 사실상 무료로 대규모 데이터를 확보하는 반면, 다른 AI 기업들은 발행자와 데이터 사용료를 협상해야 하는 불리한 위치에 놓여 시장 왜곡이 발생합니다. ### 클라우드플레어 데이터를 통해 본 구글의 압도적 우위 * **압도적인 크롤링 규모**: 클라우드플레어의 관측 데이터에 따르면, 구글봇은 GPTBot보다 약 1.76배, PerplexityBot보다는 무려 167배나 더 많은 고유 URL에 접근하고 있습니다. * **차단율의 현격한 차이**: 발행자들은 다른 AI 크롤러(ClaudeBot, GPTBot 등)는 적극적으로 차단하거나 robots.txt로 제한하는 반면, 검색 노출을 위해 구글봇에 대해서는 거의 차단을 설정하지 않습니다. * **네트워크 점유율**: 구글봇은 클라우드플레어 네트워크 내 관측된 고유 URL의 약 8%를 크롤링하고 있으며, 이는 다른 어떤 검색 엔진이나 AI 봇보다 월등히 높은 수치입니다. ### 크롤러 분리: 공정한 인터넷을 위한 실질적 대안 * **선택권의 보장**: 구글이 검색 인덱싱용 크롤러와 AI 학습/추론용 크롤러를 별도로 운영하도록 강제해야 합니다. 이를 통해 발행자는 검색 트래픽은 유지하면서 AI의 데이터 활용만 선택적으로 거부할 수 있습니다. * **데이터 시장의 정상화**: 크롤러가 분리되면 구글 또한 다른 AI 기업들과 마찬가지로 양질의 데이터를 확보하기 위해 발행자와 공정한 가치 산정 및 보상 협상에 임해야 할 유인이 생깁니다. * **기술적 규제 필요성**: 단순한 robots.txt 정책 준수를 넘어, 웹 응용 프로그램 방화벽(WAF) 등을 통해 발행자가 각 목적별 크롤러를 기술적으로 독립 제어할 수 있는 환경이 마련되어야 합니다. 구글의 검색 독점력이 AI 시장의 독점으로 전이되는 것을 막으려면, 규제 당국은 '검색 노출'을 볼모로 잡은 구글의 통합 크롤링 관행을 즉시 중단시켜야 합니다. 크롤러 분리는 발행자의 권익 보호와 더불어 AI 산업 전반의 공정한 경쟁을 가능케 하는 필수적인 안전장치입니다.

seogen-aiagentic-aiweb-application-firewall+3