inference-engine

Introducing Anthropic’s Claude Opus 4.7 model in Amazon Bedrock | Amazon Web Services (새 탭에서 열림)

Amazon Bedrock에 Anthropic의 가장 지능적인 모델인 Claude Opus 4.7이 정식 출시되었습니다. 이 모델은 코딩, 장기 실행 에이전트, 전문 지식 작업 전반에서 이전 모델보다 뛰어난 성능을 발휘하며, Bedrock의 차세대 추론 엔진을 통해 기업급 인프라와 보안성을 보장합니다. 사용자는 이를 통해 복잡한 모호성을 해결하고 더 정교한 자율적 문제 해결 능력을 워크플로우에 도입할 수 있습니다. ### Claude Opus 4.7의 주요 성능 향상 - **에이전트 코딩 능력**: 자율적인 시스템 엔지니어링 및 복잡한 코드 추론 능력이 대폭 강화되었습니다. SWE-bench Verified(87.6%)와 Terminal-Bench 2.0(69.4%) 등 주요 벤치마크에서 업계 최고 수준의 성적을 기록했습니다. - **고도화된 지식 업무**: 금융 분석 및 다단계 연구 워크플로우에 최적화되었습니다. 모호한 요청에 대해 합리적인 가정을 스스로 세우고 출력을 자가 검증(Self-verify)함으로써 첫 단계부터 높은 품질의 결과물을 생성합니다. - **장기 작업 및 컨텍스트 처리**: 100만 토큰의 넓은 컨텍스트 윈도우 전체에서 일관성을 유지합니다. 긴 호흡의 작업 중에도 목표를 벗어나지 않고 모호한 상황을 추론하며 안정적으로 과업을 수행합니다. - **시각 지각 능력 강화**: 고해상도 이미지를 지원하여 차트, 밀집된 텍스트 문서, 정밀한 화면 UI 등 미세한 디테일이 중요한 시각 자료 분석 정확도가 개선되었습니다. ### 차세대 추론 엔진과 엔터프라이즈 보안 - **동적 용량 할당**: 새로운 스케줄링 및 확장 로직을 도입하여 워크로드 수요에 따라 용량을 동적으로 할당합니다. 이는 서비스 가용성을 높이고 급격한 트래픽 증가에도 유연하게 대응하게 해줍니다. - **제로 오퍼레이터 액세스**: 고객의 프롬프트와 응답 데이터에 대해 Anthropic이나 AWS 운영자가 접근할 수 없도록 설계되어, 민감한 데이터를 다루는 기업의 프라이버시를 철저히 보호합니다. - **효율적인 수요 관리**: 수요가 급증하는 시기에는 요청을 즉시 거절하는 대신 큐(Queue)에 대기시켜 처리합니다. 기본적으로 리전당 계정별 분당 최대 10,000건(RPM)의 요청을 즉시 처리할 수 있는 성능을 제공합니다. ### 개발자 편의 기능 및 활용 방법 - **적응형 사고(Adaptive Thinking)**: 요청의 복잡도에 따라 모델이 스스로 '사고 토큰(Thinking tokens)' 예산을 동적으로 할당합니다. 이를 통해 복잡한 논리 구성이 필요한 질문에 대해 더 깊은 추론 과정을 거칠 수 있습니다. - **다양한 API 선택지**: 대화형 인터페이스를 위한 Converse API, 직접 제어가 가능한 Invoke API, 그리고 Anthropic SDK를 통한 Messages API 등을 지원하여 기존 환경에 쉽게 통합할 수 있습니다. - **즉각적인 시작**: Amazon Bedrock 콘솔의 플레이그라운드에서 바로 테스트할 수 있으며, OpenAI 호환 API를 사용하거나 AWS CLI를 통해 프로그래밍 방식으로 모델을 호출하는 것도 가능합니다. 현재 Claude Opus 4.7은 미국 동부(버지니아 북부), 아시아 태평양(도쿄), 유럽(아일랜드, 스톡홀름) 리전에서 즉시 사용할 수 있습니다. 복잡한 코딩 에이전트를 구축하거나 고도의 추론이 필요한 엔터프라이즈 애플리케이션을 개발 중이라면, 이전 버전인 4.6에서 프롬프트를 미세 조정하여 Opus 4.7의 향상된 성능을 극대화해 보시기 바랍니다.

Powering the agents: Workers AI now runs large models, starting with Kimi K2.5 (새 탭에서 열림)

Cloudflare는 자사의 AI 추론 플랫폼인 Workers AI에서 Moonshot AI의 **Kimi K2.5**를 시작으로 대규모 프런티어 모델 지원을 공식화했습니다. 이를 통해 개발자는 Durable Objects, Workflows 등 기존의 강력한 인프라와 고성능 LLM을 결합하여 에이전트의 전체 라이프사이클을 단일 플랫폼에서 관리할 수 있게 되었습니다. 특히 대형 모델의 추론 비용을 획기적으로 낮추고 성능을 최적화함으로써, 복잡한 추론 기능이 필요한 지능형 에이전트 구축의 진입 장벽을 제거했다는 점이 핵심입니다. ### Kimi K2.5 도입과 경제적 효용성 * **성능 사양:** 256k의 방대한 컨텍스트 윈도우를 지원하며, 멀티턴 도구 호출(Tool Calling), 비전 입력, 구조화된 출력 기능에 특화되어 복잡한 에이전트 작업에 적합합니다. * **비용 절감:** Cloudflare 내부의 보안 리뷰 에이전트에 적용한 결과, 기존 유료 독점 모델 대비 성능 저하 없이 비용을 약 77% 절감하는 효과를 거두었습니다. * **확장성:** 개인용 에이전트나 코딩 에이전트의 사용량이 급증하는 추세에서, 독점 모델의 높은 비용 문제를 해결하고 엔터프라이즈급 추론 능력을 경제적으로 제공합니다. ### 대규모 모델 추론 스택의 기술적 최적화 * **커스텀 커널 및 엔진:** 자체 추론 엔진인 'Infire'를 기반으로 Kimi K2.5에 최적화된 커스텀 커널을 적용하여 GPU 활용도와 처리 속도를 극대화했습니다. * **병렬화 및 분산 처리:** 데이터, 텐서, 전문가(Expert) 병렬화 기술뿐만 아니라, 프리필(Prefill)과 생성(Generation) 단계를 분리하는 '분산 프리필' 전략을 통해 높은 처리량을 확보했습니다. * **서버리스 편의성:** ML 엔지니어나 DevOps 전문가 없이도 API 호출만으로 이러한 고차원적인 최적화 기술이 적용된 대형 모델을 즉시 사용할 수 있습니다. ### 에이전트 워크로드를 위한 플랫폼 개선 * **프리픽스 캐싱(Prefix Caching):** 대화 맥락이나 시스템 프롬프트 등 중복되는 입력 텐서를 캐싱하여 프리필 단계의 계산을 생략함으로써, 첫 토큰 생성 시간(TTFT)을 단축하고 처리량을 높였습니다. * **세션 어피니티(Session Affinity) 헤더:** `x-session-affinity` 헤더를 도입하여 요청을 동일한 모델 인스턴스로 라우팅함으로써 캐시 히트율을 높이고 추론 비용을 추가로 절감할 수 있도록 지원합니다. * **캐시 토큰 할인:** 캐싱된 토큰 사용량을 명확히 시각화하여 제공하며, 일반 입력 토큰보다 저렴한 가격 정책을 적용하여 대규모 컨텍스트를 사용하는 에이전트의 비용 부담을 줄였습니다. 고성능 추론 능력이 필요한 복잡한 AI 에이전트를 구축하고자 한다면, Cloudflare Workers AI 플랫폼에서 Kimi K2.5와 세션 어피니티 기능을 활용해 보시기 바랍니다. 인프라 구축의 복잡성을 Cloudflare에 맡김으로써 개발자는 에이전트의 논리와 비즈니스 가치 창출에만 집중할 수 있습니다.