AWS / amazon-s3

Announcing replication support and Intelligent-Tiering for Amazon S3 Tables (새 탭에서 열림)

AWS가 Amazon S3 Tables를 위한 '인텔리전트 티어링(Intelligent-Tiering)'과 '복제(Replication)' 기능을 새롭게 출시했습니다. 이번 업데이트를 통해 사용자는 데이터 액세스 패턴에 따라 스토리지 비용을 자동으로 최적화하고, 별도의 복잡한 아키텍처 없이도 여러 리전 및 계정 간에 Apache Iceberg 테이블 복제본을 일관되게 유지할 수 있습니다. 결과적으로 대규모 정형 데이터 관리의 비용 효율성과 글로벌 데이터 가용성이 획기적으로 향상되었습니다. **S3 테이블 인텔리전트 티어링을 통한 비용 최적화** * 데이터 액세스 빈도에 따라 Frequent Access, Infrequent Access(40% 저렴), Archive Instant Access(IA보다 68% 저렴) 등 세 가지 저지연 계층으로 데이터를 자동 이동합니다. * 30일 동안 접근이 없으면 IA 계층으로, 90일이 지나면 AIA 계층으로 전환되며, 이 과정에서 애플리케이션 코드 수정이나 성능 저하가 발생하지 않습니다. * 테이블 압축(Compaction), 스냅샷 만료, 미참조 파일 제거와 같은 유지 관리 작업은 데이터의 액세스 계층에 영향을 주지 않고 수행됩니다. * 특히 압축 작업은 Frequent Access 계층의 데이터만 대상으로 실행되어, 활발하게 쿼리되는 데이터의 성능은 높이고 차가운(Cold) 데이터에 대한 불필요한 처리 비용은 줄입니다. * AWS CLI의 `put-table-bucket-storage-class` 명령을 사용해 테이블 버킷 수준에서 기본 스토리지 클래스를 설정할 수 있습니다. **리전 및 계정 간 S3 테이블 복제 지원** * 수동 동기화 없이도 AWS 리전 및 계정 간에 일관된 Apache Iceberg 읽기 전용 복제본(Read Replica)을 생성하고 유지합니다. * 소스 테이블에서 발생한 모든 업데이트를 시간 순서대로 복제하며, Iceberg 테이블의 핵심인 스냅샷의 부모-자식 관계를 그대로 보존합니다. * 소스 테이블이 업데이트된 후 몇 분 이내에 복제본에 반영되며, 각 복제본은 소스와 독립적인 암호화 설정 및 데이터 보존 정책을 가질 수 있습니다. * 전 세계에 분산된 팀들이 로컬 리전에서 복제된 데이터를 쿼리하게 함으로써 네트워크 지연 시간을 최소화하고 데이터 보호 및 규정 준수 요건을 충족합니다. 대규모 Iceberg 데이터셋을 운영하는 조직은 인텔리전트 티어링을 통해 운영 부담 없이 스토리지 비용을 절감하고, 복제 기능을 활용해 글로벌 규모의 데이터 메쉬 아키텍처를 보다 쉽게 구축할 수 있습니다. 특히 데이터가 늘어남에 따라 수동으로 비용을 관리하기 어려운 환경에서 이 두 기능은 필수적인 관리 도구가 될 것입니다.

Amazon S3 Storage Lens adds performance metrics, support for billions of prefixes, and export to S3 Tables (새 탭에서 열림)

Amazon S3 Storage Lens에 성능 지표 추가, 수십억 개의 접두사(Prefix) 지원, S3 테이블(S3 Tables)로의 데이터 내보내기 등 세 가지 주요 기능이 업데이트되었습니다. 이번 업데이트를 통해 사용자는 스토리지 성능과 사용 패턴에 대한 더 깊은 통찰력을 얻고, 데이터 기반의 의사결정을 통해 애플리케이션 성능 최적화와 비용 절감을 실현할 수 있습니다. 특히 대규모 데이터 세트 관리의 복잡성을 해결하고 분석 효율성을 대폭 향상시킨 것이 특징입니다. ### 8가지 신규 성능 지표 카테고리 도입 * **성능 병목 현상 파악**: 읽기/쓰기 요청 크기, 객체 크기 분포, 동시 PUT 503 에러 등의 지표를 통해 애플리케이션 성능을 저하시키는 요인을 식별합니다. * **최적화 가이드 제공**: 작은 객체가 성능을 저하시키는 경우 객체 번들링이나 S3 Express One Zone 스토리지 클래스 활용을 제안하며, 대용량 요청은 멀티파트 업로드(MPU)나 AWS CRT 사용을 권장합니다. * **데이터 전송 효율성 분석**: 리전 간 데이터 전송량과 요청 수를 확인하여 교차 리전 액세스로 인한 성능 저하 및 비용 증가 문제를 파악하고, 컴퓨팅 자원과 데이터의 배치를 최적화할 수 있습니다. * **활성 데이터 식별**: 특정 기간 내에 액세스된 고유 객체의 비율을 분석하여 빈번하게 사용되는 '핫 데이터'를 고성능 스토리지 계층으로 이동시키는 근거로 활용합니다. ### 수십억 개 규모의 접두사(Prefix) 분석 지원 * **대규모 확장성**: 기존의 분석 범위를 뛰어넘어 수십억 개의 접두사가 포함된 거대한 스토리지 구조에서도 세밀한 가시성을 제공합니다. * **계층적 가시성**: 조직, 계정, 버킷뿐만 아니라 매우 깊고 복잡한 접두사 수준에서도 성능 및 사용량 지표를 모니터링할 수 있어 대규모 데이터 레이크 관리에 용이합니다. ### S3 테이블로의 직접 내보내기 및 분석 통합 * **데이터 통합 분석**: S3 Storage Lens의 지표 데이터를 신규 기능인 S3 Tables로 직접 내보낼 수 있어, 별도의 복잡한 ETL 과정 없이도 대규모 메타데이터를 효율적으로 쿼리할 수 있습니다. * **SQL 기반 분석**: 내보낸 데이터를 S3 테이블 형식으로 저장하면 표준 SQL을 사용하여 장기적인 스토리지 트렌드를 분석하거나 커스텀 보고서를 생성하기가 훨씬 수월해집니다. S3 Storage Lens의 고급 티어(Advanced Tier)를 활성화하면 이러한 신규 성능 지표를 즉시 활용할 수 있습니다. 특히 성능에 민감한 워크로드를 운영 중이라면, '고유 객체 액세스' 지표를 통해 자주 사용되는 데이터를 식별하고 이를 S3 Express One Zone으로 이전하여 지연 시간을 최소화하고 비용 효율성을 극대화할 것을 추천합니다.

New capabilities to optimize costs and improve scalability on Amazon RDS for SQL Server and Oracle (새 탭에서 열림)

AWS는 Amazon RDS for Oracle 및 SQL Server 사용자를 위해 비용 효율성과 확장성을 극대화할 수 있는 네 가지 신규 기능을 발표했습니다. 이번 업데이트에는 비프로덕션 환경을 위한 SQL Server Developer Edition 지원, CPU 최적화가 가능한 최신 M7i/R7i 인스턴스 도입, 그리고 최대 128TiB까지 확장된 스토리지 용량이 포함되었습니다. 이를 통해 기업은 개발부터 운영 단계까지 데이터베이스 라이선스 및 인프라 비용을 대폭 절감하면서도 성능 요구 사항에 맞춰 유연하게 자원을 관리할 수 있게 되었습니다. **비프로덕션 환경을 위한 SQL Server Developer Edition 지원** * 개발 및 테스트 워크로드에서 Enterprise Edition의 모든 기능을 라이선스 비용 없이 무료로 사용할 수 있는 SQL Server Developer Edition이 RDS에 추가되었습니다. * 사용자는 Amazon S3에 SQL Server 바이너리 파일을 업로드하여 인스턴스를 생성할 수 있으며, 기존 데이터를 백업 및 복원 방식으로 간편하게 마이그레이션할 수 있습니다. * 자동 백업, 소프트웨어 업데이트, 모니터링 등 RDS의 관리형 기능을 그대로 활용하면서 비프로덕션 환경의 운영 비용을 효과적으로 줄일 수 있습니다. **M7i 및 R7i 인스턴스 도입과 CPU 최적화** * RDS for SQL Server에서 M7i 및 R7i 인스턴스를 지원하여 이전 세대 인스턴스 대비 최대 55%의 비용 절감 효과를 제공합니다. * 인스턴스 비용과 라이선스 비용을 분리하여 청구함으로써 비용 구조의 투명성을 높였으며, 최신 사양의 컴퓨팅 성능을 보다 저렴하게 이용할 수 있습니다. * 'CPU 최적화(Optimize CPU)' 기능을 통해 메모리와 스토리지 용량은 유지하면서 필요한 vCPU 수만 활성화함으로써, 코어 기반 라이선스 비용을 최적화할 수 있습니다. **스토리지 용량 및 성능 확장** * RDS for Oracle 및 SQL Server의 최대 스토리지 용량이 기존 64TiB에서 128TiB로 두 배 확장되었습니다. * io2 Block Express 볼륨을 지원하여 대규모 엔터프라이즈 데이터베이스 운영에 필수적인 고성능 IOPS와 고용량을 동시에 확보할 수 있습니다. * 확장된 스토리지 한도와 유연한 확장 옵션을 통해 급증하는 데이터 규모에도 인프라 재설계 없이 안정적으로 대응이 가능합니다. 비용 절감이 시급한 프로젝트라면 개발 및 테스트 환경을 즉시 SQL Server Developer Edition으로 전환하여 라이선스 비용을 제거하는 것이 좋습니다. 또한, 라이선스 비용 부담이 큰 고사양 데이터베이스의 경우 M7i/R7i 인스턴스로 전환하고 CPU 최적화 기능을 적용하여 성능과 비용의 균형을 맞추는 전략을 권장합니다.

Amazon S3 Vectors now generally available with increased scale and performance (새 탭에서 열림)

Amazon S3 Vectors가 정식 출시(GA)되어 클라우드 객체 스토리지에서 기본적으로 벡터 데이터를 저장하고 검색할 수 있는 길이 열렸습니다. 기존 전용 벡터 데이터베이스 대비 비용을 최대 90% 절감할 수 있으며, 서버리스 아키텍처를 통해 인프라 관리 부담 없이 대규모 AI 애플리케이션을 구축할 수 있습니다. 이번 정식 버전은 프리뷰 대비 확장성과 성능이 대폭 강화되어, 대규모 RAG(검색 증강 생성) 및 AI 에이전트 워크로드를 안정적으로 지원합니다. **비약적인 확장성 및 성능 향상** * **인덱스 규모 확장:** 단일 인덱스에서 최대 20억 개의 벡터를 지원하며, 벡터 버킷당 총 20조 개의 벡터를 저장할 수 있어 프리뷰 대비 확장성이 40배 향상되었습니다. * **검색 속도 최적화:** 빈번한 쿼리의 경우 응답 속도를 100ms 이하로 단축했으며, 간헐적인 쿼리도 1초 미만의 지연 시간을 유지하여 실시간 대화형 AI에 적합합니다. * **검색 결과 확대:** 쿼리당 반환 가능한 검색 결과 수를 기존 30개에서 100개로 늘려 RAG 애플리케이션에 더 풍부한 컨텍스트를 제공합니다. * **쓰기 처리량 강화:** 초당 최대 1,000건의 PUT 트랜잭션을 지원하여 실시간 데이터 스트리밍 및 대량의 동시 쓰기 작업을 원활하게 처리합니다. **서버리스 아키텍처를 통한 운영 및 비용 효율화** * **완전 관리형 서비스:** 별도의 인프라 설정이나 프로비저닝이 필요 없는 서버리스 구조로, 사용한 만큼만 비용을 지불하는 종량제 모델을 채택했습니다. * **비용 절감:** 전용 벡터 데이터베이스 솔루션과 비교했을 때 벡터 저장 및 쿼리 비용을 최대 90%까지 낮출 수 있어 경제적입니다. * **개발 수명 주기 지원:** 초기 프로토타이핑부터 대규모 프로덕션 배포까지 동일한 스토리지 환경에서 유연하게 대응할 수 있습니다. **에코시스템 통합 및 가용성 확대** * **Amazon Bedrock 연동:** Amazon Bedrock 지식 기반(Knowledge Base)의 벡터 스토리지 엔진으로 정식 지원되어 고성능 RAG 어플리케이션 구축이 용이해졌습니다. * **Amazon OpenSearch 통합:** S3 Vectors를 스토리지 계층으로 사용하면서 OpenSearch의 강력한 검색 및 분석 기능을 결합하여 사용할 수 있습니다. * **지역 확장:** 프리뷰 당시 5개였던 지원 리전을 서울을 포함한 전 세계 14개 AWS 리전으로 확대하여 접근성을 높였습니다. 전용 벡터 DB 도입에 따른 비용과 운영 복잡성이 부담스러웠던 기업이라면, S3의 높은 가용성과 보안을 그대로 누리면서 대규모 벡터 검색을 구현할 수 있는 S3 Vectors 도입을 적극 검토해 보시기 바랍니다. 특히 Amazon Bedrock과의 유연한 통합을 통해 생산성 높은 AI 서비스를 빠르게 시장에 출시할 수 있습니다.