workers-ai

우리가 배포하는 플랫폼 위에 내부적으로 구축한 AI 엔지니어링 스택 (새 탭에서 열림)

Cloudflare는 자사 플랫폼의 기술력을 집약한 내부 AI 엔지니어링 스택을 구축하여 전체 R&D 인력의 93%가 AI 도구를 일상적으로 사용하는 환경을 조성했으며, 그 결과 주간 머지 리퀘스트(Merge Request) 수를 약 두 배 가까이 증가시키는 생산성 혁신을 이뤄냈습니다. 이들은 단순한 도구 도입을 넘어 MCP(Model Context Protocol), AI Gateway, Workers AI 등을 결합한 포괄적인 아키텍처를 통해 보안과 운영 효율성을 동시에 확보했습니다. 특히 이번 프로젝트는 실제 고객에게 제공되는 상용 제품들을 내부 워크플로우에 직접 적용하여 그 실효성을 검증했다는 점에서 중요한 기술적 이정표를 제시합니다. ### 통합 플랫폼 및 보안 계층 * **보안 및 인증 관리**: Cloudflare Access를 통한 제로 트러스트 인증으로 보안을 강화하고, 모든 LLM 요청을 AI Gateway로 라우팅하여 중앙 집중식 키 관리, 비용 추적 및 데이터 보존 정책을 적용합니다. * **Workers AI 활용**: 프론티어 모델(OpenAI, Anthropic 등)뿐만 아니라 Workers AI를 통해 Kimi K2.5와 같은 오픈 소스 모델을 병행 운용하며, 특히 보안 에이전트 등의 작업에서 상용 모델 대비 약 77%의 비용 절감 효과를 거두고 있습니다. * **프록시 워커 패턴**: 모든 클라이언트 요청을 단일 프록시 워커를 통해 처리함으로써 클라이언트 설정 변경 없이도 사용자별 권한 부여 및 모델 카탈로그 관리가 가능한 제어 평면(Control Plane)을 구축했습니다. ### 에이전트 기반 인프라와 MCP * **원스톱 온보딩**: `opencode auth login` 명령 하나로 MCP 서버, 에이전트, 명령 및 권한 설정을 자동으로 구성하여 엔지니어가 설정 파일에 손대지 않고도 즉시 AI 도구를 사용할 수 있게 했습니다. * **상태 유지 및 격리 실행**: Durable Objects 기반의 Agents SDK를 사용해 장기 실행되는 에이전트 세션을 관리하며, Sandbox SDK를 통해 에이전트가 생성한 코드를 안전한 격리 환경에서 빌드하고 테스트합니다. * **워크플로우 자동화**: 복잡한 다단계 엔지니어링 작업은 Workflows 기능을 통해 자동화하며, 이는 대규모 리포지토리 전반에 걸친 변경 사항 전파를 효율적으로 지원합니다. ### 지식 체계와 품질 관리 * **기술 지식 그래프**: 오픈소스인 Backstage를 활용해 16,000개 이상의 엔티티를 포함한 지식 그래프를 구축함으로써 에이전트가 조직 내 복잡한 시스템 구조를 정확히 이해할 수 있도록 지원합니다. * **AGENTS.md와 코드 리뷰**: 각 저장소의 컨텍스트를 담은 `AGENTS.md` 파일을 생성하여 에이전트의 정확도를 높이고, CI 파이프라인에 통합된 AI 코드 리뷰어를 통해 급증하는 코드 생산량 속에서도 품질을 유지합니다. Cloudflare의 사례는 AI 도입을 고민하는 기업들에게 '플랫폼 중심 접근법'의 중요성을 시사합니다. 단순한 챗봇 도입이 아니라, 중앙 집중식 게이트웨이를 통한 가시성 확보, 격리된 샌드박스 실행 환경 구축, 그리고 내부 지식 시스템(Backstage 등)과의 결합이 뒷받침될 때 비로소 실제적인 엔지니어링 생산성 향상을 기대할 수 있습니다.

Cloudflare의 AI 플랫폼: 에이전트를 위해 설계된 추론 레이어 (새 탭에서 열림)

클라우드플레어는 AI 에이전트 개발의 복잡성을 해결하기 위해 여러 제공업체의 모델을 하나의 인터페이스로 통합한 '통합 추론 계층(Unified Inference Layer)'을 선보였습니다. 개발자는 단 한 줄의 코드 수정만으로 70개 이상의 다양한 모델을 교체하며 사용할 수 있으며, 이를 통해 비용 관리, 신뢰성 확보, 레이턴시 최적화 문제를 동시에 해결할 수 있습니다. 특히 여러 모델을 체이닝하여 사용하는 에이전트 환경에서 발생하기 쉬운 연쇄적 실패와 성능 저하를 방지하는 데 최적화되어 있습니다. **단일 엔드포인트를 통한 모델 통합 관리** * `AI.run()` 바인딩을 통해 Workers AI뿐만 아니라 OpenAI, Anthropic, Google 등 12개 이상의 제공업체가 제공하는 모델을 동일한 방식으로 호출할 수 있습니다. * 코드 한 줄로 모델을 교체할 수 있어 특정 서비스 제공업체에 종속되는 현상(Vendor lock-in)을 방지하고 유연한 아키텍처를 유지합니다. * 텍스트 모델 외에도 이미지, 비디오, 음성 등 멀티모달 모델 지원이 확대되어 복합적인 애플리케이션 구축이 가능해졌습니다. * REST API 지원을 통해 Workers 외부 환경에서도 클라우드플레어의 전체 모델 카탈로그에 접근할 수 있습니다. **중앙 집중식 비용 분석 및 사용량 모니터링** * AI Gateway를 통해 여러 제공업체에 분산된 AI 사용량과 지출 비용을 한곳에서 통합 모니터링할 수 있습니다. * 요청 시 커스텀 메타데이터를 포함할 수 있어, 유료/무료 사용자별 또는 특정 워크플로우별로 정밀한 비용 분석이 가능합니다. * 통합된 크레딧 시스템을 통해 여러 업체와의 개별 결제 번거로움 없이 AI 자원을 효율적으로 관리할 수 있습니다. **사용자 정의 모델 지원 (Bring Your Own Model)** * Replicate의 Cog 기술을 활용하여 사용자가 직접 파인튜닝하거나 최적화한 모델을 컨테이너화하여 Workers AI에서 실행할 수 있습니다. * `cog.yaml`과 Python 스크립트를 통해 복잡한 CUDA 의존성이나 라이브러리 설정을 추상화하여 배포 과정을 간소화했습니다. * GPU 스냅샷(GPU Snapshotting) 기술을 적용하여 커스텀 모델의 고질적인 문제인 콜드 스타트(Cold Start) 시간을 획기적으로 단축할 예정입니다. **에이전트 성능 및 신뢰성 최적화** * 전 세계 330개 이상의 도시에 분포한 엣지 네트워크를 활용하여 사용자와 추론 엔드포인트 간의 거리를 좁히고, 첫 번째 토큰 생성 시간(TTFT)을 최소화합니다. * 업스트림 서비스 장애 시 자동 재시도(Automatic Retries) 기능을 제공하여 에이전트의 다단계 작업 연쇄가 중단되지 않도록 보장합니다. * 상세한 로깅 제어 기능을 통해 복잡한 에이전트 추론 과정의 병목 현상을 투명하게 진단하고 최적화할 수 있습니다. 다양한 AI 모델을 조합하여 고성능 에이전트를 구축하려는 개발자라면, 클라우드플레어의 통합 추론 계층을 통해 운영 부담을 줄이고 서비스의 확장성과 안정성을 동시에 확보할 것을 권장합니다.

Powering the agents: Workers AI now runs large models, starting with Kimi K2.5 (새 탭에서 열림)

Cloudflare는 자사의 AI 추론 플랫폼인 Workers AI에서 Moonshot AI의 **Kimi K2.5**를 시작으로 대규모 프런티어 모델 지원을 공식화했습니다. 이를 통해 개발자는 Durable Objects, Workflows 등 기존의 강력한 인프라와 고성능 LLM을 결합하여 에이전트의 전체 라이프사이클을 단일 플랫폼에서 관리할 수 있게 되었습니다. 특히 대형 모델의 추론 비용을 획기적으로 낮추고 성능을 최적화함으로써, 복잡한 추론 기능이 필요한 지능형 에이전트 구축의 진입 장벽을 제거했다는 점이 핵심입니다. ### Kimi K2.5 도입과 경제적 효용성 * **성능 사양:** 256k의 방대한 컨텍스트 윈도우를 지원하며, 멀티턴 도구 호출(Tool Calling), 비전 입력, 구조화된 출력 기능에 특화되어 복잡한 에이전트 작업에 적합합니다. * **비용 절감:** Cloudflare 내부의 보안 리뷰 에이전트에 적용한 결과, 기존 유료 독점 모델 대비 성능 저하 없이 비용을 약 77% 절감하는 효과를 거두었습니다. * **확장성:** 개인용 에이전트나 코딩 에이전트의 사용량이 급증하는 추세에서, 독점 모델의 높은 비용 문제를 해결하고 엔터프라이즈급 추론 능력을 경제적으로 제공합니다. ### 대규모 모델 추론 스택의 기술적 최적화 * **커스텀 커널 및 엔진:** 자체 추론 엔진인 'Infire'를 기반으로 Kimi K2.5에 최적화된 커스텀 커널을 적용하여 GPU 활용도와 처리 속도를 극대화했습니다. * **병렬화 및 분산 처리:** 데이터, 텐서, 전문가(Expert) 병렬화 기술뿐만 아니라, 프리필(Prefill)과 생성(Generation) 단계를 분리하는 '분산 프리필' 전략을 통해 높은 처리량을 확보했습니다. * **서버리스 편의성:** ML 엔지니어나 DevOps 전문가 없이도 API 호출만으로 이러한 고차원적인 최적화 기술이 적용된 대형 모델을 즉시 사용할 수 있습니다. ### 에이전트 워크로드를 위한 플랫폼 개선 * **프리픽스 캐싱(Prefix Caching):** 대화 맥락이나 시스템 프롬프트 등 중복되는 입력 텐서를 캐싱하여 프리필 단계의 계산을 생략함으로써, 첫 토큰 생성 시간(TTFT)을 단축하고 처리량을 높였습니다. * **세션 어피니티(Session Affinity) 헤더:** `x-session-affinity` 헤더를 도입하여 요청을 동일한 모델 인스턴스로 라우팅함으로써 캐시 히트율을 높이고 추론 비용을 추가로 절감할 수 있도록 지원합니다. * **캐시 토큰 할인:** 캐싱된 토큰 사용량을 명확히 시각화하여 제공하며, 일반 입력 토큰보다 저렴한 가격 정책을 적용하여 대규모 컨텍스트를 사용하는 에이전트의 비용 부담을 줄였습니다. 고성능 추론 능력이 필요한 복잡한 AI 에이전트를 구축하고자 한다면, Cloudflare Workers AI 플랫폼에서 Kimi K2.5와 세션 어피니티 기능을 활용해 보시기 바랍니다. 인프라 구축의 복잡성을 Cloudflare에 맡김으로써 개발자는 에이전트의 논리와 비즈니스 가치 창출에만 집중할 수 있습니다.