amazon-s3

6 개의 포스트

Amazon S3 Tables를 위한 복 (새 탭에서 열림)

AWS가 Amazon S3 Tables를 위한 '인텔리전트 티어링(Intelligent-Tiering)'과 '복제(Replication)' 기능을 새롭게 출시했습니다. 이번 업데이트를 통해 사용자는 데이터 액세스 패턴에 따라 스토리지 비용을 자동으로 최적화하고, 별도의 복잡한 아키텍처 없이도 여러 리전 및 계정 간에 Apache Iceberg 테이블 복제본을 일관되게 유지할 수 있습니다. 결과적으로 대규모 정형 데이터 관리의 비용 효율성과 글로벌 데이터 가용성이 획기적으로 향상되었습니다. **S3 테이블 인텔리전트 티어링을 통한 비용 최적화** * 데이터 액세스 빈도에 따라 Frequent Access, Infrequent Access(40% 저렴), Archive Instant Access(IA보다 68% 저렴) 등 세 가지 저지연 계층으로 데이터를 자동 이동합니다. * 30일 동안 접근이 없으면 IA 계층으로, 90일이 지나면 AIA 계층으로 전환되며, 이 과정에서 애플리케이션 코드 수정이나 성능 저하가 발생하지 않습니다. * 테이블 압축(Compaction), 스냅샷 만료, 미참조 파일 제거와 같은 유지 관리 작업은 데이터의 액세스 계층에 영향을 주지 않고 수행됩니다. * 특히 압축 작업은 Frequent Access 계층의 데이터만 대상으로 실행되어, 활발하게 쿼리되는 데이터의 성능은 높이고 차가운(Cold) 데이터에 대한 불필요한 처리 비용은 줄입니다. * AWS CLI의 `put-table-bucket-storage-class` 명령을 사용해 테이블 버킷 수준에서 기본 스토리지 클래스를 설정할 수 있습니다. **리전 및 계정 간 S3 테이블 복제 지원** * 수동 동기화 없이도 AWS 리전 및 계정 간에 일관된 Apache Iceberg 읽기 전용 복제본(Read Replica)을 생성하고 유지합니다. * 소스 테이블에서 발생한 모든 업데이트를 시간 순서대로 복제하며, Iceberg 테이블의 핵심인 스냅샷의 부모-자식 관계를 그대로 보존합니다. * 소스 테이블이 업데이트된 후 몇 분 이내에 복제본에 반영되며, 각 복제본은 소스와 독립적인 암호화 설정 및 데이터 보존 정책을 가질 수 있습니다. * 전 세계에 분산된 팀들이 로컬 리전에서 복제된 데이터를 쿼리하게 함으로써 네트워크 지연 시간을 최소화하고 데이터 보호 및 규정 준수 요건을 충족합니다. 대규모 Iceberg 데이터셋을 운영하는 조직은 인텔리전트 티어링을 통해 운영 부담 없이 스토리지 비용을 절감하고, 복제 기능을 활용해 글로벌 규모의 데이터 메쉬 아키텍처를 보다 쉽게 구축할 수 있습니다. 특히 데이터가 늘어남에 따라 수동으로 비용을 관리하기 어려운 환경에서 이 두 기능은 필수적인 관리 도구가 될 것입니다.

Amazon S3 Storage Lens, 성능 (새 탭에서 열림)

Amazon S3 Storage Lens에 성능 지표 추가, 수십억 개의 접두사(Prefix) 지원, S3 테이블(S3 Tables)로의 데이터 내보내기 등 세 가지 주요 기능이 업데이트되었습니다. 이번 업데이트를 통해 사용자는 스토리지 성능과 사용 패턴에 대한 더 깊은 통찰력을 얻고, 데이터 기반의 의사결정을 통해 애플리케이션 성능 최적화와 비용 절감을 실현할 수 있습니다. 특히 대규모 데이터 세트 관리의 복잡성을 해결하고 분석 효율성을 대폭 향상시킨 것이 특징입니다. ### 8가지 신규 성능 지표 카테고리 도입 * **성능 병목 현상 파악**: 읽기/쓰기 요청 크기, 객체 크기 분포, 동시 PUT 503 에러 등의 지표를 통해 애플리케이션 성능을 저하시키는 요인을 식별합니다. * **최적화 가이드 제공**: 작은 객체가 성능을 저하시키는 경우 객체 번들링이나 S3 Express One Zone 스토리지 클래스 활용을 제안하며, 대용량 요청은 멀티파트 업로드(MPU)나 AWS CRT 사용을 권장합니다. * **데이터 전송 효율성 분석**: 리전 간 데이터 전송량과 요청 수를 확인하여 교차 리전 액세스로 인한 성능 저하 및 비용 증가 문제를 파악하고, 컴퓨팅 자원과 데이터의 배치를 최적화할 수 있습니다. * **활성 데이터 식별**: 특정 기간 내에 액세스된 고유 객체의 비율을 분석하여 빈번하게 사용되는 '핫 데이터'를 고성능 스토리지 계층으로 이동시키는 근거로 활용합니다. ### 수십억 개 규모의 접두사(Prefix) 분석 지원 * **대규모 확장성**: 기존의 분석 범위를 뛰어넘어 수십억 개의 접두사가 포함된 거대한 스토리지 구조에서도 세밀한 가시성을 제공합니다. * **계층적 가시성**: 조직, 계정, 버킷뿐만 아니라 매우 깊고 복잡한 접두사 수준에서도 성능 및 사용량 지표를 모니터링할 수 있어 대규모 데이터 레이크 관리에 용이합니다. ### S3 테이블로의 직접 내보내기 및 분석 통합 * **데이터 통합 분석**: S3 Storage Lens의 지표 데이터를 신규 기능인 S3 Tables로 직접 내보낼 수 있어, 별도의 복잡한 ETL 과정 없이도 대규모 메타데이터를 효율적으로 쿼리할 수 있습니다. * **SQL 기반 분석**: 내보낸 데이터를 S3 테이블 형식으로 저장하면 표준 SQL을 사용하여 장기적인 스토리지 트렌드를 분석하거나 커스텀 보고서를 생성하기가 훨씬 수월해집니다. S3 Storage Lens의 고급 티어(Advanced Tier)를 활성화하면 이러한 신규 성능 지표를 즉시 활용할 수 있습니다. 특히 성능에 민감한 워크로드를 운영 중이라면, '고유 객체 액세스' 지표를 통해 자주 사용되는 데이터를 식별하고 이를 S3 Express One Zone으로 이전하여 지연 시간을 최소화하고 비용 효율성을 극대화할 것을 추천합니다.

Amazon RDS for SQL Server 및 Oracle의 (새 탭에서 열림)

AWS는 Amazon RDS for Oracle 및 SQL Server 사용자를 위해 비용 효율성과 확장성을 극대화할 수 있는 네 가지 신규 기능을 발표했습니다. 이번 업데이트에는 비프로덕션 환경을 위한 SQL Server Developer Edition 지원, CPU 최적화가 가능한 최신 M7i/R7i 인스턴스 도입, 그리고 최대 128TiB까지 확장된 스토리지 용량이 포함되었습니다. 이를 통해 기업은 개발부터 운영 단계까지 데이터베이스 라이선스 및 인프라 비용을 대폭 절감하면서도 성능 요구 사항에 맞춰 유연하게 자원을 관리할 수 있게 되었습니다. **비프로덕션 환경을 위한 SQL Server Developer Edition 지원** * 개발 및 테스트 워크로드에서 Enterprise Edition의 모든 기능을 라이선스 비용 없이 무료로 사용할 수 있는 SQL Server Developer Edition이 RDS에 추가되었습니다. * 사용자는 Amazon S3에 SQL Server 바이너리 파일을 업로드하여 인스턴스를 생성할 수 있으며, 기존 데이터를 백업 및 복원 방식으로 간편하게 마이그레이션할 수 있습니다. * 자동 백업, 소프트웨어 업데이트, 모니터링 등 RDS의 관리형 기능을 그대로 활용하면서 비프로덕션 환경의 운영 비용을 효과적으로 줄일 수 있습니다. **M7i 및 R7i 인스턴스 도입과 CPU 최적화** * RDS for SQL Server에서 M7i 및 R7i 인스턴스를 지원하여 이전 세대 인스턴스 대비 최대 55%의 비용 절감 효과를 제공합니다. * 인스턴스 비용과 라이선스 비용을 분리하여 청구함으로써 비용 구조의 투명성을 높였으며, 최신 사양의 컴퓨팅 성능을 보다 저렴하게 이용할 수 있습니다. * 'CPU 최적화(Optimize CPU)' 기능을 통해 메모리와 스토리지 용량은 유지하면서 필요한 vCPU 수만 활성화함으로써, 코어 기반 라이선스 비용을 최적화할 수 있습니다. **스토리지 용량 및 성능 확장** * RDS for Oracle 및 SQL Server의 최대 스토리지 용량이 기존 64TiB에서 128TiB로 두 배 확장되었습니다. * io2 Block Express 볼륨을 지원하여 대규모 엔터프라이즈 데이터베이스 운영에 필수적인 고성능 IOPS와 고용량을 동시에 확보할 수 있습니다. * 확장된 스토리지 한도와 유연한 확장 옵션을 통해 급증하는 데이터 규모에도 인프라 재설계 없이 안정적으로 대응이 가능합니다. 비용 절감이 시급한 프로젝트라면 개발 및 테스트 환경을 즉시 SQL Server Developer Edition으로 전환하여 라이선스 비용을 제거하는 것이 좋습니다. 또한, 라이선스 비용 부담이 큰 고사양 데이터베이스의 경우 M7i/R7i 인스턴스로 전환하고 CPU 최적화 기능을 적용하여 성능과 비용의 균형을 맞추는 전략을 권장합니다.

성능 및 확장성이 (새 탭에서 열림)

Amazon S3 Vectors가 정식 출시(GA)되어 클라우드 객체 스토리지에서 기본적으로 벡터 데이터를 저장하고 검색할 수 있는 길이 열렸습니다. 기존 전용 벡터 데이터베이스 대비 비용을 최대 90% 절감할 수 있으며, 서버리스 아키텍처를 통해 인프라 관리 부담 없이 대규모 AI 애플리케이션을 구축할 수 있습니다. 이번 정식 버전은 프리뷰 대비 확장성과 성능이 대폭 강화되어, 대규모 RAG(검색 증강 생성) 및 AI 에이전트 워크로드를 안정적으로 지원합니다. **비약적인 확장성 및 성능 향상** * **인덱스 규모 확장:** 단일 인덱스에서 최대 20억 개의 벡터를 지원하며, 벡터 버킷당 총 20조 개의 벡터를 저장할 수 있어 프리뷰 대비 확장성이 40배 향상되었습니다. * **검색 속도 최적화:** 빈번한 쿼리의 경우 응답 속도를 100ms 이하로 단축했으며, 간헐적인 쿼리도 1초 미만의 지연 시간을 유지하여 실시간 대화형 AI에 적합합니다. * **검색 결과 확대:** 쿼리당 반환 가능한 검색 결과 수를 기존 30개에서 100개로 늘려 RAG 애플리케이션에 더 풍부한 컨텍스트를 제공합니다. * **쓰기 처리량 강화:** 초당 최대 1,000건의 PUT 트랜잭션을 지원하여 실시간 데이터 스트리밍 및 대량의 동시 쓰기 작업을 원활하게 처리합니다. **서버리스 아키텍처를 통한 운영 및 비용 효율화** * **완전 관리형 서비스:** 별도의 인프라 설정이나 프로비저닝이 필요 없는 서버리스 구조로, 사용한 만큼만 비용을 지불하는 종량제 모델을 채택했습니다. * **비용 절감:** 전용 벡터 데이터베이스 솔루션과 비교했을 때 벡터 저장 및 쿼리 비용을 최대 90%까지 낮출 수 있어 경제적입니다. * **개발 수명 주기 지원:** 초기 프로토타이핑부터 대규모 프로덕션 배포까지 동일한 스토리지 환경에서 유연하게 대응할 수 있습니다. **에코시스템 통합 및 가용성 확대** * **Amazon Bedrock 연동:** Amazon Bedrock 지식 기반(Knowledge Base)의 벡터 스토리지 엔진으로 정식 지원되어 고성능 RAG 어플리케이션 구축이 용이해졌습니다. * **Amazon OpenSearch 통합:** S3 Vectors를 스토리지 계층으로 사용하면서 OpenSearch의 강력한 검색 및 분석 기능을 결합하여 사용할 수 있습니다. * **지역 확장:** 프리뷰 당시 5개였던 지원 리전을 서울을 포함한 전 세계 14개 AWS 리전으로 확대하여 접근성을 높였습니다. 전용 벡터 DB 도입에 따른 비용과 운영 복잡성이 부담스러웠던 기업이라면, S3의 높은 가용성과 보안을 그대로 누리면서 대규모 벡터 검색을 구현할 수 있는 S3 Vectors 도입을 적극 검토해 보시기 바랍니다. 특히 Amazon Bedrock과의 유연한 통합을 통해 생산성 높은 AI 서비스를 빠르게 시장에 출시할 수 있습니다.

클라우드 서비스 사용량 관리를 통한 운영 비용 최적화. 쿠팡 엔지니어링 조직들의 클라우드 비용을 줄이기 위해 들인 노력과… | by 쿠팡 엔지니어링 | Coupang Engineering Blog | Medium (새 탭에서 열림)

쿠팡은 파이낸스 및 엔지니어링 팀의 긴밀한 협력을 통해 클라우드 온디맨드 비용을 최적화하고 재정적 책임을 강화하는 운영 모델을 구축했습니다. 'Hate Waste'라는 리더십 원칙에 따라 데이터 기반의 분석 도구를 도입하고 리소스 사용량을 효율적으로 통제함으로써, 서비스의 신뢰성을 유지하면서도 연간 수백만 달러 이상의 운영 비용을 절감하는 성과를 거두었습니다. **최적화 전담 팀 구성과 데이터 기반 의사결정 체계 구축** * 클라우드 인프라 엔지니어와 TPM(Technical Program Manager)을 중심으로 전담 프로젝트 팀을 구성하여 각 도메인 팀이 클라우드의 가변 비용 모델을 깊이 이해하도록 지원했습니다. * Amazon Athena를 통해 처리된 CloudWatch 데이터와 AWS CUR(Cost & Usage Reports)을 활용하여 실시간 비용 및 사용량을 분석할 수 있는 맞춤형 BI 대시보드를 개발했습니다. * 파이낸스 팀과의 협업을 통해 월별·분기별 예산 준수의 중요성을 강조하고, 각 팀이 주도적으로 리소스를 관리하는 엔지니어링 문화를 정착시켰습니다. **리소스 효율화와 기술적 최적화를 통한 실질적 비용 절감** * **사용량 절감(Use Less):** 비-프로덕션(Non-prod) 환경에서 리소스가 필요할 때만 자동으로 시작되도록 설정하여 해당 환경의 운영 비용을 약 25% 절감했습니다. * **비용 최적화(Pay Less):** 사용량 패턴을 분석하여 방치된 EC2 리소스를 수동으로 제거하고, 인스턴스를 최신 세대로 조정하여 성능 향상과 가용성 확보를 동시에 달성했습니다. * **기술적 수단 활용:** Amazon S3 스토리지 구조를 최적화하고, AWS Spot Instances 및 ARM 기반의 AWS Graviton 인스턴스를 도입하여 데이터 처리 및 저장 비용을 획기적으로 낮추었습니다. 클라우드 비용 관리는 단순히 지출을 줄이는 작업을 넘어, 인프라를 얼마나 더 똑똑하고 효율적으로 활용하느냐에 대한 기술적 성숙도를 의미합니다. 조직 전체가 비용에 대한 주인의식을 갖고 데이터를 바탕으로 리소스를 관리할 때, 비즈니스의 성장과 인프라의 지속 가능성을 동시에 확보할 수 있습니다.

비용 효율성을 위한 클라우드 (새 탭에서 열림)

쿠팡은 재무와 엔지니어링 팀 간의 긴밀한 협력을 통해 클라우드 지출을 최적화하고 재무적 책임감을 강화하는 전략적 로드맵을 실행했습니다. 이를 위해 구성된 중앙 관리 팀(Central team)은 '낭비 지양(Hate Waste)'이라는 기업 원칙 아래 데이터 기반의 분석 도구와 가변 비용 모델을 도입하여 전사적인 비용 관리 문화를 정착시켰습니다. 결과적으로 비즈니스 성장을 저해하지 않으면서도 리소스 사용 효율을 극대화하여 수백만 달러 규모의 온디맨드 비용을 절감하는 성과를 거두었습니다. ### 중앙 관리 팀 조직과 분석 체계 구축 * 인프라 엔지니어와 기술 프로그램 매니저(TPM)로 구성된 중앙 팀을 조직하여 각 도메인 팀이 클라우드 효율성을 스스로 관리할 수 있도록 지원했습니다. * Amazon CloudWatch, Amazon Athena, 그리고 AWS CUR(비용 및 사용 보고서) 데이터를 활용한 맞춤형 대시보드를 구축하여 실시간으로 비용을 모니터링하고 데이터에 기반한 의사결정을 내릴 수 있는 환경을 마련했습니다. * 재무 팀과의 파트너십을 통해 각 도메인 팀이 할당된 월간 및 분기별 예산을 준수하도록 관리하는 거버넌스 체계를 확립했습니다. ### 지출 감소 및 단가 최적화 전략 (Spend Less & Pay Less) * **지출 감소(Spend Less):** 비운영 환경(Non-production)에서 리소스가 필요할 때만 자동으로 실행되도록 자동화 프로세스를 도입하여, 해당 환경의 비용을 약 25% 절감했습니다. * **단가 최적화(Pay Less):** 사용 패턴 분석을 통해 사용되지 않거나 효율이 낮은 EC2 리소스를 수동으로 제거하고, 워크로드에 맞는 적정 사양으로 조정(Rightsizing)했습니다. * **인프라 현대화:** 기존 인스턴스를 최신 세대로 전환하고, x86 대비 가성비가 뛰어난 ARM 기반의 AWS Graviton 인스턴스 도입을 확대하여 처리 성능은 높이고 비용은 낮추었습니다. ### 기술적 세부 최적화 실행 * **데이터 처리 및 저장:** Amazon S3의 저장 구조를 최적화하고 스토리지 계층화(Tiering)를 적용하여 데이터 보관 비용을 효율화했습니다. * **빅데이터 워크로드:** EMR(Elastic MapReduce) 환경에서 Spot 인스턴스 활용도를 높여 데이터 분석 및 처리 비용을 획기적으로 줄였습니다. * **문화적 확산:** 엔지니어들이 클라우드 비용을 단순한 지출이 아닌 관리해야 할 리소스로 인식하도록 교육하고, 기술적 최적화가 비즈니스 가치로 이어지는 선순환 구조를 만들었습니다. 성공적인 클라우드 비용 최적화를 위해서는 단순히 리소스를 삭제하는 것을 넘어, 엔지니어링 팀과 재무 팀이 공통의 목표를 공유하는 것이 중요합니다. 특히 데이터 분석을 통해 가시성을 확보하고, Graviton 인스턴스나 Spot 인스턴스 같은 클라우드 고유의 가변 비용 모델을 적극적으로 활용할 것을 권장합니다.