ai-inference

정밀한 데이터 제어를 위한 커스텀 리전 소개 (새 탭에서 열림)

Cloudflare는 전 세계적인 보안망을 유지하면서도 각국의 데이터 주권 및 규제 요구사항을 충족할 수 있도록 돕는 '지역 서비스(Regional Services)'를 대폭 강화했습니다. 이번 업데이트를 통해 터키, UAE 등을 포함한 35개 이상의 관리형 지역을 제공할 뿐만 아니라, 고객이 직접 데이터 처리 경계를 정의할 수 있는 '사용자 정의 지역(Custom Regions)' 기능을 새롭게 도입했습니다. 이를 통해 기업은 글로벌 수준의 DDoS 방어 성능을 누리면서도, 특정 지리적 경계 내에서만 데이터 복호화와 서비스 처리가 이루어지도록 정교하게 제어할 수 있습니다. **지역 서비스의 독특한 보안 아키텍처** * **글로벌 수집 및 L3/L4 DDoS 방어**: 트래픽은 전 세계에서 가장 가까운 Cloudflare 데이터 센터로 유입되며, 이 시점에서 대규모 볼륨 공격을 차단하여 클린 트래픽만 내부로 전달합니다. * **지능형 지역 내 라우팅**: 데이터가 복호화되기 전 메타데이터를 검사하여, 지정된 지역 외부의 데이터 센터에 도착한 경우 Cloudflare의 전용 프라이빗 백본을 통해 해당 지역 내의 데이터 센터로 신속하게 전달합니다. * **지역 내 TLS 종단 및 L7 처리**: 지정된 지역 내의 데이터 센터에 도착한 후에만 TLS 복호화가 수행되며, WAF(웹 방화벽), 봇 관리, Cloudflare Workers 등의 애플리케이션 계층 서비스가 실행됩니다. * **안전한 원격지 전송**: 처리가 완료된 요청은 다시 암호화되어 고객의 원본(Origin) 서버로 안전하게 전송됩니다. **사용자 정의 지역(Custom Regions)을 통한 정교한 제어** * **유연한 경계 설정**: 사전 정의된 목록에서 선택하는 대신, 특정 국가 코드(`country_code`)를 조합하거나 특정 국가를 제외하는 논리식을 사용하여 고유한 처리 지역을 구축할 수 있습니다. * **AI 및 데이터 현지화**: LLM 프롬프트와 응답 데이터를 특정 국가 그룹 내에 유지하여 성능을 최적화하고 법적 의무를 준수할 수 있습니다. * **기업 및 정부 요구사항 대응**: EMEA(유럽·중동·아프리카)나 APAC(아시아 태평양)과 같은 기업 내부 조직 구조에 맞추거나, 정부 기관과의 계약에 명시된 지리적 제약 조건을 완벽하게 이행할 수 있습니다. * **하이퍼 타겟 마케팅**: 특정 국가 조합에 최적화된 콘텐츠 서비스 및 캠페인 운영이 가능해집니다. 데이터 주권법이 강화되는 현대 비즈니스 환경에서 Cloudflare의 사용자 정의 지역은 보안성 저하 없이 규제를 준수할 수 있는 실질적인 해법을 제시합니다. 특정 지역 내에서만 민감한 데이터를 처리해야 하는 금융, 의료, 정부 관련 기업은 이 기능을 통해 글로벌 인프라의 확장성과 지역적 통제권을 동시에 확보할 것을 권장합니다.

Amazon EC2 C8id, M8id, R8id 인스턴스, 최대 22.8 TB 로컬 NVMe 스토리지 일반 제공 | 아마존 웹 서비스 (새 탭에서 열림)

AWS가 커스텀 Intel Xeon 6 프로세서와 최대 22.8TB의 대용량 로컬 NVMe SSD를 탑재한 Amazon EC2 C8id, M8id, R8id 인스턴스를 출시했습니다. 이번 8세대 인스턴스는 이전 6세대 대비 컴퓨팅 성능은 최대 43%, 메모리 대역폭은 3.3배 향상되어 고성능 I/O가 요구되는 데이터베이스 및 실시간 분석 워크로드에 최적화되었습니다. 특히 최대 384개의 vCPU와 3TiB의 메모리를 지원하여 대규모 애플리케이션의 확장성과 운영 효율성을 획기적으로 개선했습니다. ### 인스턴스 패밀리별 특화 용도 * **C8id (컴퓨팅 최적화):** 비디오 인코딩, 이미지 조작 등 고속·저지연 로컬 스토리지가 필수적인 컴퓨팅 집약적 작업에 적합합니다. * **M8id (범용):** 데이터 로깅, 미디어 처리 등 컴퓨팅과 메모리 리소스의 균형이 필요한 워크로드에 최적의 성능을 제공합니다. * **R8id (메모리 최적화):** 대규모 SQL/NoSQL 데이터베이스, 인메모리 DB, 대규모 데이터 분석 및 AI 추론 등 고용량 메모리가 필요한 환경을 위해 설계되었습니다. ### 하드웨어 사양 및 확장성 * 6세대 인스턴스 대비 vCPU, 메모리, 로컬 스토리지 용량이 각각 3배 증가했습니다. * 최대 96xlarge 크기에서 384 vCPU, 3TiB RAM, 22.8TB 스토리지를 제공하며, 물리 리소스에 직접 접근해야 하는 환경을 위해 두 가지 베어메탈 사이즈(metal-48xl, metal-96xl)도 지원합니다. * I/O 집약적인 데이터베이스 워크로드에서 최대 46% 높은 성능을, 실시간 데이터 분석 쿼리에서 최대 30% 빠른 결과를 보여줍니다. ### 고급 네트워킹 및 가상화 기술 * **IBC(Instance Bandwidth Configuration):** 네트워크와 Amazon EBS 대역폭 사이에서 리소스를 유연하게 할당할 수 있으며, 필요에 따라 각 대역폭을 25%까지 확장할 수 있습니다. * **6세대 AWS Nitro 카드:** CPU 가상화, 스토리지, 네트워킹 기능을 전용 하드웨어로 오프로드하여 성능 병목을 줄이고 보안성을 강화했습니다. * **드라이버 호환성:** ENA(Elastic Network Adapter) 및 NVMe 드라이버가 포함된 최신 AWS Windows 및 Linux AMI를 통해 즉시 성능을 활용할 수 있습니다. ### 로컬 NVMe 스토리지 보안 및 관리 * **자동 인식:** 별도의 블록 디바이스 매핑 설정 없이도 부팅 후 `/dev/nvme` 장치로 자동 인식되어 사용이 간편합니다. * **하드웨어 암호화:** 모든 로컬 데이터는 XTS-AES-256 블록 암호를 통해 하드웨어 수준에서 암호화되며, 인스턴스 종료 시 고유 키가 파기되어 보안을 유지합니다. * **휘발성 주의:** 로컬 NVMe 스토리지의 데이터는 인스턴스의 수명 주기와 동일하므로, 인스턴스 중지(Stop)나 종료(Terminate) 시 데이터가 보존되지 않음에 유의해야 합니다. 현재 이 인스턴스들은 미국 동부(버지니아 북부, 오하이오), 미국 서부(오리건) 리전에서 사용 가능하며, 고성능 로컬 스토리지가 필요한 실시간 분석이나 대규모 데이터베이스를 운영하는 기업에 강력한 성능 향상 기회를 제공할 것입니다.

NVIDIA RTX PRO 60 (새 탭에서 열림)

Amazon은 NVIDIA RTX PRO 6000 Blackwell 서버 에디션 GPU를 탑재한 새로운 EC2 G7e 인스턴스의 정식 출시를 발표했습니다. 이 인스턴스는 생성형 AI 추론 워크로드에서 뛰어난 비용 효율성을 제공하며, 이전 세대인 G6e 대비 최대 2.3배 향상된 추론 성능을 자랑합니다. 공간 컴퓨팅 및 과학적 컴퓨팅과 같이 높은 그래픽 성능이 요구되는 작업에 최적화된 하이엔드 솔루션입니다. ### NVIDIA Blackwell GPU 기반의 성능 혁신 * **메모리 용량 및 대역폭:** NVIDIA RTX PRO 6000 Blackwell GPU를 통해 G6e 대비 2배의 GPU 메모리(개당 96GB)와 1.85배의 메모리 대역폭을 제공합니다. * **대규모 모델 처리:** 향상된 메모리 사양 덕분에 단일 GPU 환경에서도 FP8 정밀도로 최대 700억 개(70B) 파라미터 규모의 중간급 모델을 실행할 수 있습니다. * **컴퓨팅 파워:** 최신 Intel Emerald Rapids 프로세서를 탑재하여 강력한 CPU 성능과 GPU 성능의 조화를 이룹니다. ### 멀티 GPU 효율성 및 상호 연결 기술 * **NVIDIA GPUDirect P2P 지원:** 단일 GPU 메모리를 초과하는 대규모 모델을 위해 PCIe 인터커넥트를 통한 GPU 간 직접 통신을 지원하여 지연 시간을 최소화합니다. * **대역폭 향상:** G6e에 탑재된 L40s GPU 대비 GPU 간 대역폭이 최대 4배 증가하여, 멀티 GPU 워크로드의 처리 효율이 비약적으로 상승했습니다. * **확장성:** 단일 노드에서 최대 8개의 GPU를 사용하여 총 768GB의 GPU 메모리를 확보할 수 있어, 거대 언어 모델(LLM) 추론에 유리합니다. ### 네트워킹 및 스토리지 가속화 * **고속 네트워크:** G6e 대비 4배 더 넓은 최대 1,600Gbps의 네트워크 대역폭을 제공하여 소규모 멀티 노드 워크로드에 적합합니다. * **지연 시간 감소:** Elastic Fabric Adapter(EFA)를 통한 GPUDirect RDMA를 지원하여 원격 GPU 간 통신 시 병목 현상을 줄였습니다. * **데이터 로딩 최적화:** Amazon FSx for Lustre와 GPUDirectStorage를 결합하여 최대 1.2Tbps의 처리량을 지원하므로, 대용량 모델 데이터를 매우 빠르게 로드할 수 있습니다. ### 상세 인스턴스 사양 * **인스턴스 구성:** 최소 `g7e.2xlarge`(1 GPU, 8 vCPU)부터 최대 `g7e.48xlarge`(8 GPU, 192 vCPU)까지 총 6가지 크기를 제공합니다. * **시스템 자원:** 최대 2,048GiB의 시스템 메모리와 15.2TB의 로컬 NVMe SSD 스토리지를 선택할 수 있어 데이터 집약적인 작업에 대응합니다. 생성형 AI 모델의 크기가 커짐에 따라 고용량 GPU 메모리와 빠른 상호 연결 성능이 필수적인 환경에서 G7e 인스턴스는 최적의 선택지입니다. 특히 기존 G6e 인스턴스 사용자가 성능 한계를 느끼거나, 70B급 모델을 보다 효율적으로 서빙하고자 하는 개발 팀에게 이 인스턴스로의 전환을 적극 추천합니다. 현재 미국 동부(버지니아 북부) 및 미국 서부(오레곤) 리전에서 바로 사용할 수 있습니다.

맞춤형 Intel Xeon 6 프로세 (새 탭에서 열림)

AWS가 Intel Xeon 6 프로세서를 탑재한 차세대 메모리 최적화 인스턴스인 Amazon EC2 X8i의 정식 출시를 발표했습니다. 이 인스턴스는 이전 세대인 X2i 대비 최대 1.5배의 메모리 용량과 3.4배의 대역폭을 제공하여 대규모 데이터베이스 및 분석 작업에 최적화되었습니다. 특히 SAP 인증을 획득하여 SAP HANA와 같은 고성능 인메모리 워크로드에서 압도적인 효율성을 보여줍니다. **커스텀 Intel Xeon 6 기반의 독보적인 성능** * AWS 전용으로 설계된 커스텀 Intel Xeon 6 프로세서를 탑재하여 전 코어 3.9GHz의 지속적인 터보 주파수를 제공합니다. * 이전 세대(X2i)와 비교했을 때 전체적으로 최대 43%의 성능 향상을 실현했습니다. * 최대 6TB의 메모리 용량을 지원하며, 메모리 대역폭은 3.4배 더 넓어져 데이터 집약적인 처리에 유리합니다. **주요 워크로드별 벤치마크 및 비용 효율성** * SAP HANA 워크로드에서 이전 세대 대비 최대 50% 향상된 SAPS(SAP Application Performance Standard) 성능을 기록했습니다. * PostgreSQL 성능은 최대 47%, Memcached는 최대 88%, AI 추론 성능은 최대 46%까지 개선되었습니다. * 실제 고객 사례인 Orion의 경우, X8i의 높은 성능 덕분에 활성 코어 수를 줄이면서도 동일 성능을 유지하여 SQL Server 라이선스 비용을 50% 절감했습니다. **유연한 인스턴스 규격과 대역폭 옵션** * 가상화 인스턴스(48xlarge, 64xlarge, 96xlarge 등)부터 베어메탈(metal-48xl, metal-96xl)까지 총 14가지 크기를 제공합니다. * 최대 100Gbps의 네트워크 대역폭(EFA 지원)과 80Gbps의 Amazon EBS 대역폭을 통해 대규모 데이터 전송 병목 현상을 최소화합니다. * IBC(Instance Bandwidth Configuration) 기능을 지원하여 사용자가 필요에 따라 네트워크와 EBS 대역폭 할당량을 조정할 수 있습니다. **가용성 및 구매 방식** * 현재 미국 동부(버지니아 북부), 미국 서부(오레곤), 유럽(프랑크푸르트, 아일랜드), 아시아 태평양(시드니, 도쿄) 리전에서 즉시 사용 가능합니다. * 온디맨드, 예약 인스턴스(RI), Savings Plans 및 스팟 인스턴스 등 다양한 구매 옵션을 통해 비용을 최적화할 수 있습니다. SAP HANA와 같은 대규모 인메모리 데이터베이스를 운영하거나, 높은 컴퓨팅 파워와 방대한 메모리가 동시에 필요한 EDA(전자 설계 자동화) 및 데이터 분석 환경이라면 X8i 인스턴스로의 전환을 통해 성능 향상과 라이선스 비용 절감 효과를 동시에 거둘 수 있을 것입니다.