inference

Building the agentic cloud: everything we launched during Agents Week 2026 (새 탭에서 열림)

Cloudflare는 인공지능 에이전트가 주요 워크로드로 자리 잡는 미래를 위해 기존의 클라우드 구조를 재정의한 'Cloud 2.0(에이전트 클라우드)' 비전을 제시했습니다. 수천만 개의 에이전트 세션이 동시에 실행될 수 있도록 연산 인프라부터 보안, 도구 모음까지 스택 전반에 걸친 대대적인 신규 기능들을 공개했습니다. 이를 통해 개발자들은 단순한 프로토타입을 넘어 확장성과 보안을 갖춘 에이전트 기반 애플리케이션을 생산 환경에서 구현할 수 있게 되었습니다. **에이전트 전용 연산 환경 및 워크플로우** * **Git 호환 저장소 'Artifacts':** 에이전트가 생성한 코드와 데이터를 관리하기 위해 수천만 개의 레포지토리를 생성할 수 있고, 표준 Git 클라이언트와 연동되는 버전 관리 저장소를 제공합니다. * **격리된 실행 환경 'Sandboxes' (GA):** 에이전트에게 셸, 파일 시스템, 백그라운드 프로세스를 갖춘 독립된 컴퓨터 환경을 제공하며, 작업 중단 지점부터 즉시 재개할 수 있는 영속성을 보장합니다. * **상태 저장 및 확장성:** 'Durable Object Facets'를 통해 에이전트가 생성한 앱마다 독립된 SQLite 데이터베이스를 할당하며, 개선된 워크플로우 엔진으로 최대 50,000개의 동시 실행을 지원합니다. **에이전트를 위한 보안 및 ID 관리** * **Cloudflare Mesh:** 에이전트가 프라이빗 네트워크 내의 데이터베이스나 API에 안전하게 접근할 수 있도록 제로 트러스트 기반의 비공개 네트워크 연결을 지원합니다. * **Managed OAuth:** 에이전트가 보안상 취약한 서비스 계정 대신, 사용자를 대행해 내부 애플리케이션에 안전하게 인증하고 탐색할 수 있는 체계를 구축했습니다. * **비인간 식별자(Non-human Identity) 보호:** 에이전트용 API 토큰의 권한 범위를 세밀하게 제어하고 자동 취소 기능을 도입하여 자격 증명 유출에 따른 리스크를 최소화했습니다. **에이전트의 사고와 소통을 돕는 툴박스** * **다중 채널 소통 지원:** 실시간 음성 상호작용(STT/TTS) 기능을 약 30줄의 코드로 구현할 수 있게 되었으며, 이메일을 직접 송수신하고 처리할 수 있는 'Cloudflare Email Service' 베타를 출시했습니다. * **추론 성능 및 효율 최적화:** LLM의 품질 저하 없이 모델 크기를 22% 압축하는 'Unweight' 기술을 도입하여 더 빠르고 경제적인 추론 인프라를 구축했습니다. * **통합 추론 및 기억:** 14개 이상의 모델 공급자를 연결하는 통합 추론 레이어와 함께, 에이전트가 과거의 맥락을 기억하고 지속적으로 학습할 수 있는 'Agent Memory' 서비스를 제공합니다. 이번 발표는 에이전트가 단순히 텍스트를 생성하는 도구를 넘어, 독립적인 실행 환경과 보안 권한을 가지고 업무를 수행하는 '실행 주체'로 거듭나도록 돕는 데 초점이 맞춰져 있습니다. 대규모 에이전트 시스템을 구축하려는 팀이라면 Cloudflare가 제공하는 Sandboxes와 Mesh 기반의 보안 아키텍처를 활용하여 인프라 구축 비용과 보안 리스크를 획기적으로 낮출 수 있을 것입니다.

차분 프라이버시 LL (새 탭에서 열림)

구글 리서치는 별도의 미세 조정(Fine-tuning) 과정 없이 기성 대규모 언어 모델(LLM)의 추론만을 활용하여 차분 프라이버시(Differential Privacy, DP)가 보장된 합성 데이터를 생성하는 새로운 접근 방식을 제안했습니다. 이 방법은 여러 개의 민감한 예시를 병렬 프롬프트로 입력하고 그 응답을 프라이버시를 보호하는 방식으로 집계하여, 기존 방식보다 훨씬 많은 양의 고품질 데이터를 생성할 수 있게 합니다. 결과적으로 복잡한 DP 학습 파이프라인 없이도 민감한 데이터를 안전하게 대체할 수 있는 고성능 합성 데이터셋 구축이 가능해졌습니다. ### 병렬 프롬프팅과 토큰 집계 메커니즘 * 민감한 데이터 하나당 하나의 프롬프트를 할당하여 여러 개의 독립적인 프롬프트를 LLM에 동시에 입력합니다. * 각 프롬프트에서 도출된 다음 토큰 예측(Next-token prediction) 결과들을 집계하고, 특정 개인의 데이터가 결과에 과도한 영향을 미치지 않도록 DP 기법을 적용해 토큰을 최종 선택합니다. * 선택된 토큰을 모든 프롬프트 끝에 다시 추가하고 다음 토큰을 예측하는 과정을 반복함으로써, 개별 데이터의 세부 정보는 가리면서도 데이터셋 전체의 통계적 특성은 유지하는 합성 텍스트를 생성합니다. ### 지수 메커니즘을 통한 프라이버시 예산 최적화 * LLM의 표준 생성 과정인 소프트맥스 샘플링(Softmax sampling)과 DP의 핵심 기법인 지수 메커니즘(Exponential mechanism) 사이의 수학적 연결 고리를 활용합니다. * 다음 토큰을 샘플링할 때 발생하는 고유한 무작위성을 프라이버시 보호를 위한 노이즈로 활용하여, 제한된 프라이버시 예산 안에서도 출력 데이터의 양을 극대화했습니다. * 이를 통해 기존 연구들이 10개 미만의 데이터 포인트 생성에 그쳤던 것과 달리, 수천 개의 고품질 합성 데이터를 성공적으로 생성하며 실무 적용 가능성을 입증했습니다. ### 연산 효율성 개선 및 공개 드래프터 도입 * 기존 방식은 매 토큰 생성 시마다 새로운 데이터 배치를 사용해야 했으나, 이번 연구에서는 동일한 문맥을 유지하며 여러 토큰을 생성할 수 있는 새로운 프라이버시 분석 기법을 도입했습니다. * 이를 통해 KV 캐싱(KV caching)과 같은 표준적인 추론 최적화 기술을 그대로 적용할 수 있어 연산 속도와 효율성을 비약적으로 높였습니다. * 또한, 민감한 데이터가 아닌 공개 데이터에만 기반해 토큰을 제안하는 '공개 드래프터(Public Drafter)' 모델과 희소 벡터 기법(Sparse Vector Technique)을 결합했습니다. 문장 구조나 서식 등 일반적인 정보 생성에는 프라이버시 예산을 소모하지 않도록 설계하여 효율성을 더욱 강화했습니다. 이 방식은 민감한 개인 정보를 다루는 조직이 복잡한 DP 모델 학습 없이도 안전한 합성 데이터를 생성하여 데이터 과학자나 외부 협업 팀에 제공할 수 있는 실무적인 인터페이스 역할을 할 수 있습니다. 특히 데이터 형식이 정형화된 작업에서 높은 성능을 보이므로, 보안이 중요한 환경에서의 데이터 활용도를 높이는 데 적극 권장됩니다.