amazon-sagemaker

AWS 주간 소식: Amazon Bed (새 탭에서 열림)

AWS는 Amazon Bedrock에 Claude Sonnet 4.6 모델을 도입하고 Kiro의 가용성을 GovCloud로 확장하며 AI 에이전트 개발 및 배포 지원을 대폭 강화했습니다. 이번 발표는 고성능 컴퓨팅(HPC) 인스턴스 출시와 데이터베이스 보안 자동화를 포함하여, 개발자가 AI 기술을 실제 운영 환경에 더 쉽고 안전하게 적용할 수 있도록 돕는 데 중점을 두고 있습니다. 특히 인간과 AI가 공동 개발자로 협력하는 '재탄생하는 소프트웨어(Renascent Software)' 개념을 실현하기 위한 구체적인 도구와 에코시스템을 제시하고 있습니다. **Claude Sonnet 4.6 및 AI 모델 고도화** * **Claude Sonnet 4.6 출시:** Amazon Bedrock에서 사용 가능한 이 모델은 코딩, 에이전트 수행, 전문 업무 전반에서 최상위 성능을 제공하며, Opus 4.6 수준의 지능을 더 낮은 비용과 빠른 속도로 구현합니다. * **SageMaker 기반 Nova 모델 최적화:** Amazon SageMaker Inference를 통해 커스텀 Nova 모델의 인스턴스 유형, 오토스케일링 정책, 동시성 설정을 사용자의 요구에 맞춰 구성할 수 있습니다. * **자동화된 추론과 신뢰:** AI가 생성한 코드나 결정의 정확성을 검증하기 위해 AWS가 지난 10년간 다듬어온 '자동화된 추론(Automated Reasoning)' 기술을 에이전틱 시스템에 적용하고 있습니다. **컴퓨팅 인프라 및 가상화 혁신** * **EC2 Hpc8a 인스턴스:** 5세대 AMD EPYC 프로세서를 탑재하여 기존 대비 최대 40% 향상된 성능과 300 Gbps의 Elastic Fabric Adapter(EFA) 네트워킹을 제공하며, 복잡한 HPC 시뮬레이션에 최적화되었습니다. * **중첩 가상화(Nested Virtualization):** 가상 EC2 인스턴스 위에서 KVM이나 Hyper-V를 실행할 수 있게 되어, 모바일 앱 에뮬레이터나 차량용 하드웨어 시뮬레이션, Windows용 Linux 하위 시스템(WSL) 실행이 가능해졌습니다. **보안 및 규제 환경 대응** * **Aurora 기본 암호화:** 모든 신규 Amazon Aurora 데이터베이스 클러스터에 AWS 소유 키를 사용한 서버 측 암호화(SSE)가 기본 적용됩니다. 이는 별도의 비용이나 성능 저하 없이 투명하게 관리됩니다. * **Kiro의 GovCloud 확장:** 엄격한 보안 통제가 필요한 정부 기관 및 규제 환경의 개발 팀도 Kiro의 에이전틱 AI 도구를 활용하여 미션을 수행할 수 있습니다. **에이전트 개발 생태계 및 도구** * **오픈 소스 에이전트 플러그인:** 'deploy-on-aws'와 같은 플러그인을 통해 코딩 에이전트가 직접 아키텍처 추천, 비용 추정, 인프라 코드(IaC) 생성을 수행할 수 있도록 지원합니다. * **AWS DevOps Agent의 성과:** 운영 효율성을 높이기 위해 도입된 DevOps 에이전트는 Amazon 내부에서 수천 건의 에스컬레이션을 처리하며 86% 이상의 근본 원인 파악률을 기록했습니다. * **커뮤니티 및 이벤트:** 25개의 MCP 도구를 통합한 Kiro Power 사례와 함께, 총 4만 달러의 상금이 걸린 'Amazon Nova AI 해커톤'을 통해 에이전틱 AI 및 멀티모달 솔루션 개발을 장려하고 있습니다. 개발자들은 Claude Sonnet 4.6과 새로운 에이전트 플러그인을 활용해 단순 코딩을 넘어 인프라 배포까지 자동화하는 고성능 AI 에이전트를 구축할 수 있습니다. 특히 운영 효율을 극대화하려는 기업은 AWS DevOps Agent의 모범 사례를 참고하고, 다가오는 AWS Summit이나 해커톤을 통해 최신 에이전틱 AI 기술 역량을 확보하는 것을 추천합니다.

사용자 정의 Amazon Nova 모델 (새 탭에서 열림)

Amazon SageMaker Inference에서 사용자 정의 Amazon Nova 모델 지원이 정식 출시되었습니다. 이를 통해 고객은 Nova Micro, Nova Lite, Nova 2 Lite 등 맞춤형으로 학습된 모델을 운영 환경에 최적화된 형태로 배포하고, 인스턴스 유형과 오토스케일링 정책 등을 유연하게 제어할 수 있습니다. 결과적으로 기업은 지연 시간과 비용, 정확도 간의 균형을 맞춘 고성능 추론 환경을 관리형 서비스 기반으로 손쉽게 구축할 수 있게 되었습니다. **맞춤형 Nova 모델 지원과 비용 최적화** * Nova Micro, Nova Lite, Nova 2 Lite 모델의 맞춤형 버전(Full-rank)을 SageMaker Inference 인프라에 원활하게 배포 가능합니다. * 고가의 P5 인스턴스 외에도 Amazon EC2 G5 및 G6 인스턴스를 활용할 수 있어, GPU 활용도를 높이고 추론 비용을 효과적으로 절감합니다. * 5분 단위의 사용 패턴에 기반한 오토스케일링(Auto-scaling) 기능을 통해 프로덕션 워크로드의 변동성에 유연하게 대응합니다. * 계속 사전 학습(Continued pre-training), 지도 미세 조정(SFT), 강화 학습 미세 조정(RLHF)을 거친 다양한 맞춤형 모델 아티팩트를 지원합니다. **유연한 인프라 및 추론 설정 제어** * 모델 체급별로 최적화된 인스턴스 선택권을 제공합니다. * **Nova Micro:** g5/g6(12xl, 24xl, 48xl) 및 p5.48xlarge 지원 * **Nova Lite:** g5.48xlarge, g6.48xlarge, p5.48xlarge 지원 * **Nova 2 Lite:** p5.48xlarge 지원 * 컨텍스트 길이(Context length), 최대 동시성(Max concurrency), 온도(Temperature), Top-P 등 상세 파라미터를 환경 변수로 설정하여 모델 성능을 미세 조정할 수 있습니다. * 특히 `reasoning_effort`(low, high) 옵션을 통해 복잡한 추론 작업에 대한 모델의 사고 과정을 제어할 수 있는 기능을 포함합니다. **통합된 개발 환경 및 배포 워크플로** * SageMaker Studio의 UI를 통해 클릭 몇 번으로 모델 아티팩트 선택부터 엔드포인트 생성까지 전 과정을 시각적으로 관리할 수 있습니다. * SageMaker AI SDK를 사용하여 모델 생성, 엔드포인트 구성, 배포 자동화 코드를 작성할 수 있으며, 컨테이너 이미지 URI와 S3 모델 경로를 직접 지정하는 구조를 가집니다. * 실시간 추론 시 스트리밍(Streaming) 및 비스트리밍 모드를 모두 지원하여 사용자 경험을 개선하며, 대량의 데이터 처리를 위한 비동기 엔드포인트 구성도 가능합니다. * 배포 완료 후에는 SageMaker Playground 탭에서 채팅 모드로 즉시 모델 성능을 테스트하고 프로토타이핑할 수 있습니다. 도메인 특화 데이터로 Nova 모델을 미세 조정하여 실제 서비스에 적용하려는 팀은 SageMaker Inference를 통해 관리 부담을 줄이면서도 최적의 가성비를 확보할 수 있습니다. 특히 비용 효율성이 중요한 경우 G6 인스턴스를 우선적으로 검토하고, 대규모 트래픽 처리가 필요한 경우 5분 단위 오토스케일링 정책을 결합하여 운영 효율을 극대화할 것을 추천합니다.

AWS 주간 업데이트: Amazon Bedrock (새 탭에서 열림)

이번 AWS Weekly Roundup은 생성형 AI 에이전트의 워크플로우 강화와 데이터 보안 및 운영 효율성을 높이는 다양한 업데이트를 다루고 있습니다. 특히 Amazon Bedrock의 서버 측 도구 지원과 S3의 암호화 관리 방식 개선 등 개발자가 더욱 안전하고 고도화된 애플리케이션을 구축할 수 있도록 돕는 기능들이 대거 출시되었습니다. 이번 업데이트들을 통해 기업들은 인프라 관리의 복잡성을 줄이면서도 고성능의 탄력적인 클라우드 환경을 구현할 수 있게 되었습니다. ### Amazon Bedrock 및 AI 에이전트 워크플로우 강화 * **서버 측 도구 지원**: Bedrock 에이전트가 AWS 보안 경계 내에서 웹 검색, 코드 실행, 데이터베이스 업데이트 등의 작업을 수행할 수 있는 서버 측 도구 기능이 추가되었습니다. (OpenAI GPT OSS 20B/120B 모델 지원) * **프롬프트 캐싱 TTL 확장**: 멀티 턴(multi-turn) 대화의 성능을 높이고 비용을 절감하기 위해 프롬프트 캐싱에 1시간 TTL(Time-to-Live) 옵션이 도입되었습니다. * **자연어 기반 배포(MCP Server)**: AI 에이전트가 자연어 프롬프트만으로 AWS CDK 인프라를 생성하고 CloudFormation 스택을 배포할 수 있는 표준 운영 절차(SOP)가 미리보기로 제공됩니다. ### 데이터 보안 및 네트워크 연결성 최적화 * **S3 객체 암호화 변경**: `UpdateObjectEncryption` API를 통해 데이터를 이동하거나 다시 업로드하지 않고도 기존 객체의 서버 측 암호화 유형(SSE-S3에서 SSE-KMS 등)을 변경하거나 키를 교체할 수 있습니다. * **SageMaker Unified Studio 프라이빗 연결**: AWS PrivateLink를 지원하여 공용 인터넷을 거치지 않고 VPC와 SageMaker Unified Studio 간의 안전한 데이터 통신이 가능해졌습니다. * **Network Firewall 가시성**: 생성형 AI 애플리케이션 트래픽을 식별하는 웹 카테고리가 추가되어, AI 도구에 대한 액세스 제어 및 URL 수준의 필터링이 가능합니다. ### 데이터베이스 및 이벤트 기반 아키텍처 성능 향상 * **Amazon Keyspaces 테이블 예열(Pre-warming)**: 높은 읽기/쓰기 트래픽이 예상되는 시점에 미리 테이블을 예열하여 콜드 스타트 지연 없이 즉각적인 처리량을 확보할 수 있습니다. * **EventBridge 페이로드 용량 확대**: 이벤트 페이로드 제한이 기존 256KB에서 1MB로 크게 늘어나, 대규모 JSON 구조나 텔레메트리 데이터를 외부 저장소 없이 한 번에 전송할 수 있습니다. * **DynamoDB MRSC 결함 주입 테스트**: AWS Fault Injection Service와 통합되어 다중 리전 강력한 일관성(MRSC) 글로벌 테이블의 리전 장애 시뮬레이션 및 복원력 검증이 가능합니다. ### 모니터링 및 운영 도구 개선 * **Lambda-Kafka 관측성 강화**: Kafka 이벤트 소스 매핑에 대한 CloudWatch 로그 및 지표가 추가되어, 폴링 설정 및 스케일링 상태를 더욱 세밀하게 모니터링할 수 있습니다. * **AI 지원 관측성 워크플로우**: Amazon CloudWatch Application Signals와 Kiro의 통합으로 AI 에이전트의 도움을 받아 서비스 상태 및 SLO 준수 여부를 더 빠르게 조사할 수 있습니다. 이번 업데이트의 핵심은 AI 에이전트가 실제 비즈니스 로직을 안전하게 수행하도록 돕는 인프라를 구축하고, 대규모 데이터 처리 시 발생하는 운영상의 병목 현상을 제거하는 데 있습니다. 특히 S3 암호화 변경이나 EventBridge 용량 확대와 같은 기능은 기존 아키텍처의 수정 없이도 운영 효율을 즉각적으로 개선할 수 있는 실용적인 변화이므로 적극적인 도입 검토를 추천합니다.

Amazon SageMaker AI의 새로운 서버리스 (새 탭에서 열림)

Amazon SageMaker AI는 Amazon Nova, DeepSeek, Llama 등 주요 AI 모델에 대해 인프라 관리 없이 미세 조정(Fine-tuning)을 수행할 수 있는 새로운 서버리스 커스터마이징 기능을 발표했습니다. 이 기능은 복잡한 리소스 프로비저닝을 자동화하여 모델 최적화 기간을 수개월에서 수일 수준으로 단축하며, 사용자가 인프라 대신 모델 튜닝 자체에 집중할 수 있는 환경을 제공합니다. 개발자는 SageMaker Studio의 직관적인 인터페이스를 통해 최신 강화 학습 기법을 몇 번의 클릭만으로 적용하고 모델을 즉시 배포할 수 있습니다. ### 서버리스 기반의 인프라 자동화 및 효율성 * **자동 리소스 프로비저닝**: 모델의 크기와 학습 데이터의 양에 맞춰 SageMaker AI가 최적의 컴퓨팅 리소스를 자동으로 선택하고 할당합니다. * **관리 부담 제거**: 서버리스 환경에서 구동되므로 사용자가 직접 인스턴스를 관리하거나 확장성을 고민할 필요가 없습니다. * **실험 추적 통합**: 새롭게 도입된 서버리스 MLflow 애플리케이션을 통해 하이퍼파라미터 및 실험 과정을 체계적으로 기록하고 관리할 수 있습니다. ### 고도화된 모델 커스터마이징 기법 지원 * **다양한 학습 기법**: 지도 학습 기반 미세 조정(SFT)뿐만 아니라 직접 선호도 최적화(DPO), 검증 가능한 보상을 통한 강화 학습(RLVR), AI 피드백 기반 강화 학습(RLAIF) 등 최신 기법을 지원합니다. * **사용자 친화적 UI**: SageMaker Studio 내 'Customize with UI' 기능을 통해 코딩 부담을 줄이면서도 배치 크기, 학습률, 에포크(Epoch) 등 상세 설정을 조정할 수 있습니다. * **연속적인 최적화**: 학습 완료 후 'Continue customization' 기능을 사용하여 하이퍼파라미터를 조정하거나 다른 기법으로 추가 학습을 진행하는 반복 작업이 용이합니다. ### 평가 및 유연한 배포 옵션 * **성능 비교 평가**: 커스터마이징된 모델이 기본 모델 대비 얼마나 개선되었는지 확인할 수 있는 평가(Evaluate) 기능을 제공합니다. * **멀티 플랫폼 배포**: 학습과 평가가 완료된 모델은 Amazon SageMaker 또는 Amazon Bedrock 중 원하는 환경을 선택하여 원클릭으로 배포할 수 있습니다. * **보안 및 암호화**: 네트워크 보안 설정 및 저장 볼륨 암호화 등 기업용 애플리케이션에 필요한 고급 보안 설정을 동일하게 지원합니다. 이 서비스는 인프라 구축의 복잡성 때문에 최신 LLM 성능 최적화를 망설였던 기업에게 매우 실용적인 대안입니다. 특히 RLVR이나 RLAIF 같은 고난도 강화 학습 기법을 복잡한 설정 없이 테스트해보고 싶은 팀에게 SageMaker AI의 서버리스 워크플로우를 우선적으로 활용해 볼 것을 추천합니다.