aws-graviton

3 개의 포스트

aws3분 읽기큐레이션 요약

Amazon Redshift, 통합 데이터 레이크 쿼리 엔진을 탑재한 AWS Graviton 기반 RG 인스턴스 출시 | Amazon Web Services

Amazon Redshift의 새로운 RG 인스턴스는 AWS Graviton 기반으로, 기존 RA3보다 데이터 웨어하우스 워크로드를 최대 2.2배 빠르게 처리하면서 vCPU당 가격은 30% 낮춘다. 또한 데이터 웨어하우스와 Amazon S3 데이터 레이크를 하나의 엔진에서 SQL로 조회할 수 있어, Apache Iceberg는 최대 2.4배, Apache Parquet은 최대 1.5배 향상된 성능을 제공한다. 이를 통해 대규모 AI 에이전트 쿼리와 저지연 분석 workload의 비용과 운영 복잡성을 함께 줄이는 것이 핵심이다. ## 데이터 웨어하우스와 데이터 레이크를 함께 처리해야 하는 배경 - 기업은 구조화되고 자주 조회되는 데이터는 데이터 웨어하우스에, 대규모·다양한 데이터는 비용 효율적인 데이터 레이크에 저장하는 방식으로 운영하고 있다. - AI 에이전트가 사람보다 훨씬 많은 쿼리를 실행하면서 쿼리 처리량과 운영 비용이 급증하고 있다. - Redshift는 BI 대시보드, ETL, 실시간 분석, 자율형 AI 에이전트처럼 빠른 응답이 필요한 workload를 대상으로 성능 개선을 이어 왔다. - 2026년 3월에는 신규 쿼리 성능을 최대 7배 높여 BI와 ETL 응답 시간을 단축했다고 설명한다. ## AWS Graviton 기반 RG 인스턴스 - RG 인스턴스는 AWS Graviton 프로세서 기반의 새로운 Amazon Redshift 인스턴스 제품군이다. - RA3 대비 데이터 웨어하우스 workload를 최대 2.2배 빠르게 처리한다. - vCPU당 가격은 RA3보다 30% 낮다. - 고빈도 쿼리와 낮은 지연 시간이 중요한 분석 및 agentic AI workload에 적합하다. - 기존 RA3 인스턴스와 `ra3.xlplus`, `ra3.4xlarge` 및 대응하는 `rg.xlarge`, `rg.4xlarge` 구성을 비교할 수 있다. ## 통합 데이터 레이크 쿼리 엔진 - Redshift의 단일 SQL 엔진으로 데이터 웨어하우스 테이블과 Amazon S3 데이터 레이크를 함께 조회할 수 있다. - Apache Iceberg 데이터 조회 성능은 RA3 대비 최대 2.4배, Apache Parquet은 최대 1.5배 빠르다. - 데이터 레이크 쿼리는 별도의 Spectrum 서비스가 아니라 Redshift 클러스터 노드에서 실행된다. - 기존 외부 테이블, 스키마, 쿼리 문법과 Spectrum 쿼리를 그대로 사용할 수 있어 애플리케이션 코드 수정이나 외부 테이블 재생성이 필요 없다. ## 비용 및 보안상의 변화 - 데이터 웨어하우스와 데이터 레이크를 각각 별도 시스템으로 운영할 필요가 줄어든다. - 데이터 레이크 쿼리가 VPC 내부에서 실행되므로 네트워크 경계를 단순하게 유지할 수 있다. - 기존 IAM 역할을 그대로 사용할 수 있다. - Spectrum의 데이터 스캔 요금인 TB당 5달러가 발생하지 않아 전체 Redshift 비용을 낮출 수 있다. - 실제 절감액은 쿼리량, 데이터 레이크 스캔 규모, 인스턴스 구성에 따라 달라지므로 AWS Pricing Calculator로 산정해야 한다. ## 마이그레이션 방법 - AWS Management Console, AWS CLI, AWS API를 통해 새 RG 클러스터를 생성하거나 기존 클러스터를 이전할 수 있다. - 통합 데이터 레이크 쿼리 엔진은 기본적으로 활성화된다. - **Elastic Resize** - 호환되는 구성에서 인플레이스 마이그레이션을 수행한다. - 약 10~15분의 다운타임이 발생한다. - **Snapshot and Restore** - RA3 스냅샷으로 RG 클러스터를 새로 생성한다. - 마이그레이션 과정에서 클러스터 설정을 변경하려는 경우 적합하다. - 마이그레이션 경로를 통해 비용, 호환성, 실행 계획을 확인하고 자동화할 수 있다. ## 리전 및 요금 옵션 - RG 인스턴스는 미국, 캐나다, 유럽, 아시아 태평양, 남아메리카의 여러 AWS 리전에서 제공된다. - 한국 리전(서울)도 지원 대상에 포함되어 있다. - Provisioned Redshift에서는 약정 없는 시간 단위 온디맨드 요금제와 비용 절감을 위한 Reserved Instance를 선택할 수 있다. - 제공 리전은 변경될 수 있으므로 실제 도입 전 AWS 리전별 지원 현황을 확인해야 한다. 실제로 도입할 때는 기존 RA3 workload의 쿼리 패턴과 S3 데이터 스캔량을 기준으로 RG의 성능·비용을 비교하는 것이 좋다. 호환 가능한 클러스터라면 Elastic Resize를 우선 검토하고, 설정 변경이나 검증이 필요하면 Snapshot and Restore 방식을 사용하는 것이 적절하다.

원문 읽기(새 탭에서 열림)
coupang원문

클라우드 서비스 사용량 관리를 통한 운영 비용 최적화 (새 탭에서 열림)

쿠팡은 파이낸스 및 엔지니어링 팀의 긴밀한 협력을 통해 클라우드 온디맨드 비용을 최적화하고 재정적 책임을 강화하는 운영 모델을 구축했습니다. 'Hate Waste'라는 리더십 원칙에 따라 데이터 기반의 분석 도구를 도입하고 리소스 사용량을 효율적으로 통제함으로써, 서비스의 신뢰성을 유지하면서도 연간 수백만 달러 이상의 운영 비용을 절감하는 성과를 거두었습니다. **최적화 전담 팀 구성과 데이터 기반 의사결정 체계 구축** * 클라우드 인프라 엔지니어와 TPM(Technical Program Manager)을 중심으로 전담 프로젝트 팀을 구성하여 각 도메인 팀이 클라우드의 가변 비용 모델을 깊이 이해하도록 지원했습니다. * Amazon Athena를 통해 처리된 CloudWatch 데이터와 AWS CUR(Cost & Usage Reports)을 활용하여 실시간 비용 및 사용량을 분석할 수 있는 맞춤형 BI 대시보드를 개발했습니다. * 파이낸스 팀과의 협업을 통해 월별·분기별 예산 준수의 중요성을 강조하고, 각 팀이 주도적으로 리소스를 관리하는 엔지니어링 문화를 정착시켰습니다. **리소스 효율화와 기술적 최적화를 통한 실질적 비용 절감** * **사용량 절감(Use Less):** 비-프로덕션(Non-prod) 환경에서 리소스가 필요할 때만 자동으로 시작되도록 설정하여 해당 환경의 운영 비용을 약 25% 절감했습니다. * **비용 최적화(Pay Less):** 사용량 패턴을 분석하여 방치된 EC2 리소스를 수동으로 제거하고, 인스턴스를 최신 세대로 조정하여 성능 향상과 가용성 확보를 동시에 달성했습니다. * **기술적 수단 활용:** Amazon S3 스토리지 구조를 최적화하고, AWS Spot Instances 및 ARM 기반의 AWS Graviton 인스턴스를 도입하여 데이터 처리 및 저장 비용을 획기적으로 낮추었습니다. 클라우드 비용 관리는 단순히 지출을 줄이는 작업을 넘어, 인프라를 얼마나 더 똑똑하고 효율적으로 활용하느냐에 대한 기술적 성숙도를 의미합니다. 조직 전체가 비용에 대한 주인의식을 갖고 데이터를 바탕으로 리소스를 관리할 때, 비즈니스의 성장과 인프라의 지속 가능성을 동시에 확보할 수 있습니다.

coupang원문

비용 효율성을 위한 클라우 (새 탭에서 열림)

쿠팡은 재무와 엔지니어링 팀 간의 긴밀한 협력을 통해 클라우드 지출을 최적화하고 재무적 책임감을 강화하는 전략적 로드맵을 실행했습니다. 이를 위해 구성된 중앙 관리 팀(Central team)은 '낭비 지양(Hate Waste)'이라는 기업 원칙 아래 데이터 기반의 분석 도구와 가변 비용 모델을 도입하여 전사적인 비용 관리 문화를 정착시켰습니다. 결과적으로 비즈니스 성장을 저해하지 않으면서도 리소스 사용 효율을 극대화하여 수백만 달러 규모의 온디맨드 비용을 절감하는 성과를 거두었습니다. ### 중앙 관리 팀 조직과 분석 체계 구축 * 인프라 엔지니어와 기술 프로그램 매니저(TPM)로 구성된 중앙 팀을 조직하여 각 도메인 팀이 클라우드 효율성을 스스로 관리할 수 있도록 지원했습니다. * Amazon CloudWatch, Amazon Athena, 그리고 AWS CUR(비용 및 사용 보고서) 데이터를 활용한 맞춤형 대시보드를 구축하여 실시간으로 비용을 모니터링하고 데이터에 기반한 의사결정을 내릴 수 있는 환경을 마련했습니다. * 재무 팀과의 파트너십을 통해 각 도메인 팀이 할당된 월간 및 분기별 예산을 준수하도록 관리하는 거버넌스 체계를 확립했습니다. ### 지출 감소 및 단가 최적화 전략 (Spend Less & Pay Less) * **지출 감소(Spend Less):** 비운영 환경(Non-production)에서 리소스가 필요할 때만 자동으로 실행되도록 자동화 프로세스를 도입하여, 해당 환경의 비용을 약 25% 절감했습니다. * **단가 최적화(Pay Less):** 사용 패턴 분석을 통해 사용되지 않거나 효율이 낮은 EC2 리소스를 수동으로 제거하고, 워크로드에 맞는 적정 사양으로 조정(Rightsizing)했습니다. * **인프라 현대화:** 기존 인스턴스를 최신 세대로 전환하고, x86 대비 가성비가 뛰어난 ARM 기반의 AWS Graviton 인스턴스 도입을 확대하여 처리 성능은 높이고 비용은 낮추었습니다. ### 기술적 세부 최적화 실행 * **데이터 처리 및 저장:** Amazon S3의 저장 구조를 최적화하고 스토리지 계층화(Tiering)를 적용하여 데이터 보관 비용을 효율화했습니다. * **빅데이터 워크로드:** EMR(Elastic MapReduce) 환경에서 Spot 인스턴스 활용도를 높여 데이터 분석 및 처리 비용을 획기적으로 줄였습니다. * **문화적 확산:** 엔지니어들이 클라우드 비용을 단순한 지출이 아닌 관리해야 할 리소스로 인식하도록 교육하고, 기술적 최적화가 비즈니스 가치로 이어지는 선순환 구조를 만들었습니다. 성공적인 클라우드 비용 최적화를 위해서는 단순히 리소스를 삭제하는 것을 넘어, 엔지니어링 팀과 재무 팀이 공통의 목표를 공유하는 것이 중요합니다. 특히 데이터 분석을 통해 가시성을 확보하고, Graviton 인스턴스나 Spot 인스턴스 같은 클라우드 고유의 가변 비용 모델을 적극적으로 활용할 것을 권장합니다.