AWS / gen-ai

Announcing Amazon EC2 G7e instances accelerated by NVIDIA RTX PRO 6000 Blackwell Server Edition GPUs (새 탭에서 열림)

Amazon은 NVIDIA RTX PRO 6000 Blackwell 서버 에디션 GPU를 탑재한 새로운 EC2 G7e 인스턴스의 정식 출시를 발표했습니다. 이 인스턴스는 생성형 AI 추론 워크로드에서 뛰어난 비용 효율성을 제공하며, 이전 세대인 G6e 대비 최대 2.3배 향상된 추론 성능을 자랑합니다. 공간 컴퓨팅 및 과학적 컴퓨팅과 같이 높은 그래픽 성능이 요구되는 작업에 최적화된 하이엔드 솔루션입니다. ### NVIDIA Blackwell GPU 기반의 성능 혁신 * **메모리 용량 및 대역폭:** NVIDIA RTX PRO 6000 Blackwell GPU를 통해 G6e 대비 2배의 GPU 메모리(개당 96GB)와 1.85배의 메모리 대역폭을 제공합니다. * **대규모 모델 처리:** 향상된 메모리 사양 덕분에 단일 GPU 환경에서도 FP8 정밀도로 최대 700억 개(70B) 파라미터 규모의 중간급 모델을 실행할 수 있습니다. * **컴퓨팅 파워:** 최신 Intel Emerald Rapids 프로세서를 탑재하여 강력한 CPU 성능과 GPU 성능의 조화를 이룹니다. ### 멀티 GPU 효율성 및 상호 연결 기술 * **NVIDIA GPUDirect P2P 지원:** 단일 GPU 메모리를 초과하는 대규모 모델을 위해 PCIe 인터커넥트를 통한 GPU 간 직접 통신을 지원하여 지연 시간을 최소화합니다. * **대역폭 향상:** G6e에 탑재된 L40s GPU 대비 GPU 간 대역폭이 최대 4배 증가하여, 멀티 GPU 워크로드의 처리 효율이 비약적으로 상승했습니다. * **확장성:** 단일 노드에서 최대 8개의 GPU를 사용하여 총 768GB의 GPU 메모리를 확보할 수 있어, 거대 언어 모델(LLM) 추론에 유리합니다. ### 네트워킹 및 스토리지 가속화 * **고속 네트워크:** G6e 대비 4배 더 넓은 최대 1,600Gbps의 네트워크 대역폭을 제공하여 소규모 멀티 노드 워크로드에 적합합니다. * **지연 시간 감소:** Elastic Fabric Adapter(EFA)를 통한 GPUDirect RDMA를 지원하여 원격 GPU 간 통신 시 병목 현상을 줄였습니다. * **데이터 로딩 최적화:** Amazon FSx for Lustre와 GPUDirectStorage를 결합하여 최대 1.2Tbps의 처리량을 지원하므로, 대용량 모델 데이터를 매우 빠르게 로드할 수 있습니다. ### 상세 인스턴스 사양 * **인스턴스 구성:** 최소 `g7e.2xlarge`(1 GPU, 8 vCPU)부터 최대 `g7e.48xlarge`(8 GPU, 192 vCPU)까지 총 6가지 크기를 제공합니다. * **시스템 자원:** 최대 2,048GiB의 시스템 메모리와 15.2TB의 로컬 NVMe SSD 스토리지를 선택할 수 있어 데이터 집약적인 작업에 대응합니다. 생성형 AI 모델의 크기가 커짐에 따라 고용량 GPU 메모리와 빠른 상호 연결 성능이 필수적인 환경에서 G7e 인스턴스는 최적의 선택지입니다. 특히 기존 G6e 인스턴스 사용자가 성능 한계를 느끼거나, 70B급 모델을 보다 효율적으로 서빙하고자 하는 개발 팀에게 이 인스턴스로의 전환을 적극 추천합니다. 현재 미국 동부(버지니아 북부) 및 미국 서부(오레곤) 리전에서 바로 사용할 수 있습니다.

AWS Weekly Roundup: AWS re:Invent keynote recap, on-demand videos, and more (December 8, 2025) (새 탭에서 열림)

AWS re:Invent 2025는 단순한 기술 발표를 넘어 AI 어시스턴트가 자율적인 'AI 에이전트'로 진화하는 중대한 변곡점을 시사했습니다. AWS는 개발자들에게 발명의 자유를 제공한다는 핵심 미션을 재확인하며, 자연어로 복잡한 작업을 수행하고 코드를 실행하는 에이전트 중심의 미래 비전을 제시했습니다. 이번 행사는 AI 투자가 실질적인 비즈니스 가치로 전환되는 시점에서 보안, 가용성, 성능이라는 클라우드의 본질적 가치를 다시 한번 강조했습니다. **AI 에이전트 중심의 비즈니스 혁신** * **어시스턴트에서 에이전트로의 진화:** 단순한 답변 제공을 넘어 스스로 계획을 세우고, 코드를 작성하며, 필요한 도구를 호출해 작업을 완수하는 자율형 에이전트가 핵심 기술로 부상했습니다. * **실질적 비즈니스 수익 창출:** AI가 단순한 실험 단계를 지나 기업의 업무를 자동화하고 효율성을 높임으로써 구체적인 재무적 성과를 내기 시작하는 단계에 진입했습니다. * **비결정적 특성에 최적화된 인프라:** 결과가 매번 다를 수 있는 AI 에이전트의 특성(Non-deterministic)을 고려하여, 안전하고 신뢰할 수 있으며 확장이 용이한 전용 인프라를 구축하고 있습니다. **아키텍트의 르네상스와 개발자 생태계** * **설계 역량의 재발견:** 기술적 세부 사항에 매몰되기보다 시스템 전체를 조망하고 설계하는 고수준 아키텍처 역량이 중요해진 '아키텍트의 르네상스' 시대가 도래했습니다. * **커뮤니티 기여의 가치:** 필리핀의 AWS 히어로 라피(Rafi)가 'Now Go Build' 상을 수상한 사례를 통해, 기술 혁신만큼이나 커뮤니티 빌딩과 개발자 역량 강화가 중요함을 강조했습니다. * **발명의 자유(Freedom to Invent):** 지난 20년간 AWS의 중심이었던 개발자들이 창의성을 발휘할 수 있도록 도구와 환경을 제공하는 것이 AWS의 변함없는 목표임을 천명했습니다. **클라우드 기반 기술의 지속적 고도화** * **커스텀 실리콘과 인프라:** 보안, 가용성, 성능이라는 클라우드의 기본 속성을 유지하면서도 AI 워크로드에 최적화된 하드웨어 혁신을 지속하고 있습니다. * **자연어 기반 솔루션 구현:** 사용자가 달성하고자 하는 목적을 자연어로 설명하면 시스템이 실행 가능한 솔루션으로 변환하는 인터페이스의 혁신이 가속화되고 있습니다. AI 에이전트가 주도하는 기술 환경 변화에 대응하기 위해, 기업들은 단순한 챗봇 도입을 넘어 비즈니스 프로세스 자체를 자동화할 수 있는 에이전트 활용 전략을 수립해야 합니다. AWS re:Invent 2025의 주요 세션 영상과 발표 자료가 온디맨드로 제공되고 있으므로, 조직의 요구 사항에 맞는 AI 아키텍처를 재설계하고 새로운 기술 도구들을 선제적으로 검토해 보시길 권장합니다.

Amazon Bedrock adds reinforcement fine-tuning simplifying how developers build smarter, more accurate AI models (새 탭에서 열림)

Amazon Bedrock에 새롭게 도입된 '강화 미세 조정(Reinforcement Fine-tuning)'은 대규모 라벨링 데이터셋 없이도 피드백 루프를 통해 AI 모델의 정확도와 효율성을 극대화하는 혁신적인 맞춤화 기능입니다. 이 서비스는 복잡한 기계 학습 워크플로를 자동화하여 전문 지식이 부족한 개발자도 기본 모델 대비 평균 66% 향상된 성능의 모델을 구축할 수 있게 지원합니다. 결과적으로 기업은 높은 비용이 드는 대형 모델 대신, 특정 업무에 최적화된 작고 빠른 모델을 경제적으로 운용할 수 있습니다. **강화 미세 조정의 작동 원리와 차별점** * 기존의 미세 조정 방식이 사람이 일일이 라벨을 붙인 방대한 데이터셋을 필요로 했던 것과 달리, 보상 함수(Reward functions)를 사용하여 모델의 응답 품질을 평가하고 학습시킵니다. * 고정된 예시를 암기하는 것이 아니라, 어떤 응답이 비즈니스 요구사항에 더 적합한지 판단하는 '보상 신호'를 통해 모델이 반복적으로 개선됩니다. * 이러한 피드백 기반 접근 방식은 데이터 준비 비용을 획기적으로 줄이면서도 모델이 사용자의 의도를 더 정확하게 파악하도록 돕습니다. **비즈니스 효율성을 위한 주요 장점** * **사용 편의성:** Amazon Bedrock 내의 기존 API 로그나 업로드된 데이터셋을 그대로 활용할 수 있어, 복잡한 인프라 설정 없이도 즉시 학습을 시작할 수 있습니다. * **성능 및 비용 최적화:** Amazon Nova 2 Lite와 같은 가볍고 빠른 모델을 강화 미세 조정함으로써, 더 크고 비싼 모델보다 뛰어난 특정 작업 수행 능력을 갖추게 할 수 있습니다. * **보안 및 신뢰성:** 모델 맞춤화의 모든 과정이 보안이 유지되는 AWS 환경 내에서 이루어지므로, 기업의 민감한 데이터 유출 우려 없이 안전하게 학습이 가능합니다. **세부 최적화 기법: RLVR 및 RLAIF** * **RLVR (Verifiable Rewards):** 수학적 추론이나 코드 생성처럼 정답이 명확한 객관적 작업에 대해 규칙 기반의 채점기를 사용하여 모델을 개선합니다. * **RLAIF (AI Feedback):** AI가 생성한 피드백을 활용하여 모델의 응답 품질을 높이는 방식으로, 보다 복잡하고 주관적인 맥락이 포함된 작업에 유용합니다. 방대한 데이터를 준비하기 어렵거나 모델 운영 비용을 절감하면서도 높은 정확도를 원하는 기업에게 Amazon Bedrock의 강화 미세 조정은 매우 실용적인 대안이 됩니다. 특히 Amazon Nova 2 Lite 모델을 시작으로 점차 지원 모델이 확대될 예정이므로, 특정 도메인에 특화된 가성비 높은 AI 서비스를 구축하고자 하는 개발팀에게 이 기능을 적극 활용해 볼 것을 추천합니다.

New serverless customization in Amazon SageMaker AI accelerates model fine-tuning (새 탭에서 열림)

Amazon SageMaker AI는 Amazon Nova, DeepSeek, Llama 등 주요 AI 모델에 대해 인프라 관리 없이 미세 조정(Fine-tuning)을 수행할 수 있는 새로운 서버리스 커스터마이징 기능을 발표했습니다. 이 기능은 복잡한 리소스 프로비저닝을 자동화하여 모델 최적화 기간을 수개월에서 수일 수준으로 단축하며, 사용자가 인프라 대신 모델 튜닝 자체에 집중할 수 있는 환경을 제공합니다. 개발자는 SageMaker Studio의 직관적인 인터페이스를 통해 최신 강화 학습 기법을 몇 번의 클릭만으로 적용하고 모델을 즉시 배포할 수 있습니다. ### 서버리스 기반의 인프라 자동화 및 효율성 * **자동 리소스 프로비저닝**: 모델의 크기와 학습 데이터의 양에 맞춰 SageMaker AI가 최적의 컴퓨팅 리소스를 자동으로 선택하고 할당합니다. * **관리 부담 제거**: 서버리스 환경에서 구동되므로 사용자가 직접 인스턴스를 관리하거나 확장성을 고민할 필요가 없습니다. * **실험 추적 통합**: 새롭게 도입된 서버리스 MLflow 애플리케이션을 통해 하이퍼파라미터 및 실험 과정을 체계적으로 기록하고 관리할 수 있습니다. ### 고도화된 모델 커스터마이징 기법 지원 * **다양한 학습 기법**: 지도 학습 기반 미세 조정(SFT)뿐만 아니라 직접 선호도 최적화(DPO), 검증 가능한 보상을 통한 강화 학습(RLVR), AI 피드백 기반 강화 학습(RLAIF) 등 최신 기법을 지원합니다. * **사용자 친화적 UI**: SageMaker Studio 내 'Customize with UI' 기능을 통해 코딩 부담을 줄이면서도 배치 크기, 학습률, 에포크(Epoch) 등 상세 설정을 조정할 수 있습니다. * **연속적인 최적화**: 학습 완료 후 'Continue customization' 기능을 사용하여 하이퍼파라미터를 조정하거나 다른 기법으로 추가 학습을 진행하는 반복 작업이 용이합니다. ### 평가 및 유연한 배포 옵션 * **성능 비교 평가**: 커스터마이징된 모델이 기본 모델 대비 얼마나 개선되었는지 확인할 수 있는 평가(Evaluate) 기능을 제공합니다. * **멀티 플랫폼 배포**: 학습과 평가가 완료된 모델은 Amazon SageMaker 또는 Amazon Bedrock 중 원하는 환경을 선택하여 원클릭으로 배포할 수 있습니다. * **보안 및 암호화**: 네트워크 보안 설정 및 저장 볼륨 암호화 등 기업용 애플리케이션에 필요한 고급 보안 설정을 동일하게 지원합니다. 이 서비스는 인프라 구축의 복잡성 때문에 최신 LLM 성능 최적화를 망설였던 기업에게 매우 실용적인 대안입니다. 특히 RLVR이나 RLAIF 같은 고난도 강화 학습 기법을 복잡한 설정 없이 테스트해보고 싶은 팀에게 SageMaker AI의 서버리스 워크플로우를 우선적으로 활용해 볼 것을 추천합니다.

Amazon Bedrock AgentCore adds quality evaluations and policy controls for deploying trusted AI agents (새 탭에서 열림)

Amazon Bedrock AgentCore는 AI 에이전트가 자율적으로 동작할 때 발생할 수 있는 보안 및 품질 제어 문제를 해결하기 위해 정책 제어와 품질 평가 등 새로운 기능을 도입했습니다. 이를 통해 개발자는 에이전트의 권한을 세밀하게 제한하고 실제 운영 환경에서의 성능을 지속적으로 모니터링함으로써, 기업용 수준의 신뢰할 수 있는 AI 에이전트를 대규모로 안전하게 배포할 수 있습니다. **신규 정책 제어(Policy)를 통한 보안 경계 구축** * AgentCore Gateway를 활용하여 에이전트가 도구(Tool)를 호출하기 직전에 정책에 따른 세밀한 권한 검사를 수행함으로써 부적절한 데이터 접근이나 승인되지 않은 작업을 차단합니다. * 정책 제어는 에이전트의 자체 추론 루프(Reasoning Loop) 외부에서 독립적으로 작동하므로, 에이전트의 판단과 상관없이 비즈니스 가드레일을 강제로 적용할 수 있습니다. * 에이전트를 통제 가능한 자율적 행위자로 정의하여 민감한 시스템이나 데이터와 상호작용할 때 발생할 수 있는 리스크를 최소화합니다. **품질 평가(Evaluations)를 활용한 에이전트 신뢰도 검증** * 에이전트의 실제 행동 데이터를 기반으로 정확성(Correctness)과 유용성(Helpfulness) 등의 핵심 지표를 측정할 수 있는 기본 평가 도구를 제공합니다. * 기업의 특정 비즈니스 요구사항에 맞춘 커스텀 평가 지표를 생성하여 실제 고객 대응이나 내부 업무 프로세스에 적합한지 정밀하게 분석할 수 있습니다. * 에이전트 배포 전후의 성능을 정량화함으로써 불확실성을 제거하고 지속적인 품질 개선을 위한 데이터 기반의 인사이트를 확보합니다. **메모리 및 런타임 기능 확장을 통한 사용자 경험 강화** * **에피소드형 메모리(Episodic Memory):** 에이전트가 과거의 경험을 장기적으로 기억하고 학습하여, 유사한 상황이 발생했을 때 일관성 있고 최적화된 해결책을 제시할 수 있도록 돕습니다. * **양방향 스트리밍(Bidirectional Streaming):** 사용자와 에이전트가 동시에 말을 주고받는 자연스러운 대화 흐름을 지원하여 실시간 음성 에이전트 서비스의 반응성을 높였습니다. AI 에이전트의 강력한 자율성을 비즈니스 현장에 도입하려는 조직은 AgentCore의 새로운 정책 제어와 평가 기능을 통해 운영 안정성을 확보해야 합니다. 특히 대규모 데이터 처리나 실시간 고객 응대가 필요한 환경에서는 에피소드형 메모리와 양방향 스트리밍 기능을 결합하여 단순한 챗봇 이상의 고도화된 에이전트 서비스를 구축할 것을 추천합니다.

Amazon OpenSearch Service improves vector database performance and cost with GPU acceleration and auto-optimization (새 탭에서 열림)

Amazon OpenSearch Service가 벡터 데이터베이스의 성능을 극대화하고 비용을 절감하기 위해 서버리스 GPU 가속 및 자동 최적화 기능을 도입했습니다. 이 기능을 통해 사용자는 수십억 건 규모의 벡터 인덱스를 기존보다 최대 10배 빠른 속도와 4분의 1 수준의 비용으로 구축할 수 있으며, 복잡한 수동 튜닝 없이도 최적의 검색 품질을 유지할 수 있습니다. 결과적으로 생성형 AI 애플리케이션 개발에 필요한 대규모 벡터 검색 환경을 훨씬 더 경제적이고 효율적으로 운영할 수 있게 되었습니다. **GPU 가속을 통한 대규모 벡터 데이터베이스 구축** * **성능 및 비용 혁신:** 비가속 환경 대비 인덱싱 속도는 10배 빨라진 반면, 관련 비용은 75%까지 절감되었습니다. 이를 통해 10억 개 규모의 벡터 데이터베이스를 1시간 이내에 생성할 수 있는 놀라운 확장성을 제공합니다. * **서버리스 관리 모델:** 사용자가 직접 GPU 인스턴스를 할당하거나 관리할 필요가 없으며, 실제 처리량에 따른 OCU(OpenSearch Compute Units) 단위로만 비용을 지불하면 됩니다. * **보안 및 통합:** 가속화된 작업은 사용자의 VPC(Amazon Virtual Private Cloud) 내에서 안전하게 격리되어 실행되며, 기존 OpenSearch 서비스의 워크플로우 내에서 자연스럽게 통합됩니다. **자동 최적화(Auto-optimization) 기반 성능 튜닝** * **자동화된 균형 탐색:** 벡터 데이터의 특성에 맞춰 검색 지연 시간, 검색 품질(재현율), 메모리 요구 사항 사이의 최적의 균형점을 시스템이 자동으로 찾아냅니다. * **전문성 장벽 완화:** 과거에는 벡터 인덱스 최적화에 몇 주간의 수동 튜닝과 전문 지식이 필요했으나, 이제는 설정 하나만으로 기본 구성보다 뛰어난 비용 효율성과 재현율을 확보할 수 있습니다. * **유연한 적용 범위:** 새 도메인이나 컬렉션을 생성할 때는 물론, 기존에 운영 중인 환경에서도 설정을 업데이트하여 즉시 최적화 기능을 활성화할 수 있습니다. **실제 적용 방법 및 권장 사항** 생성형 AI 애플리케이션이나 대규모 지식 베이스를 구축하려는 개발자는 AWS 콘솔의 '고급 기능' 섹션에서 GPU 가속을 활성화하는 것만으로 즉시 성능 향상을 경험할 수 있습니다. 기술적으로는 인덱스 설정 시 `index.knn.remote_index_build.enabled` 옵션을 `true`로 설정하여 GPU 기반의 원격 인덱스 빌드를 활성화할 것을 권장하며, 이를 통해 대량의 데이터를 벌크(Bulk) API로 처리할 때 최적의 가속 효과를 얻을 수 있습니다.

Amazon Bedrock adds 18 fully managed open weight models, including the new Mistral Large 3 and Ministral 3 models (새 탭에서 열림)

Amazon Bedrock이 Mistral Large 3와 Ministral 3를 포함한 18개의 새로운 오픈 웨이트(Open weight) 모델을 추가하며, 총 100여 개의 서버리스 모델 라인업을 구축하게 되었습니다. 개발자들은 인프라를 변경하거나 코드를 재작성할 필요 없이 단일 API를 통해 구글, 엔비디아, 오픈AI 등 선도적인 AI 기업들의 최신 모델을 자유롭게 선택하고 평가할 수 있습니다. 이번 확장을 통해 기업들은 비용 효율성과 성능 사이의 최적점을 찾아 비즈니스 특성에 맞는 생성형 AI 애플리케이션을 더욱 신속하게 구축할 수 있는 환경을 갖추게 되었습니다. **Mistral AI의 최신 모델 라인업** * **Mistral Large 3**: 긴 문맥(Long-context) 이해와 멀티모달 추론, 코딩 능력에 최적화된 모델로, 복잡한 엔터프라이즈 지식 작업과 에이전트 워크플로우에 강력한 성능을 발휘합니다. * **Ministral 3 3B**: 에지(Edge) 환경에 최적화된 소형 모델로, 단일 GPU에서 효율적으로 구동되며 실시간 번역, 데이터 추출, 이미지 캡셔닝 등 저지연 애플리케이션에 적합합니다. * **Ministral 3 8B/14B**: 텍스트와 시각 정보 처리에 있어 동급 최강의 성능을 제공하며, 하드웨어 제약이 있는 온디바이스 환경이나 프라이빗 AI 배포 시 고급 에이전트 기능을 구현하는 데 사용됩니다. **다양한 산업군을 위한 오픈 웨이트 모델 확장** * **Google Gemma 3 4B**: 노트북이나 모바일 기기에서 로컬로 실행할 수 있는 효율적인 다국어 모델로, 개인화된 온디바이스 AI 경험을 제공하는 데 유리합니다. * **광범위한 파트너십**: 구글, MiniMax AI, Moonshot AI, NVIDIA, OpenAI, Qwen 등의 최신 모델이 포함되어, 특정 언어나 산업 도메인에 특화된 선택지가 대폭 늘어났습니다. * **서버리스 및 통합 관리**: 모든 모델은 AWS가 완전히 관리하는 서버리스 방식으로 제공되므로, 사용자들은 별도의 GPU 서버 관리 부담 없이 API 호출만으로 최첨단 모델을 즉시 활용할 수 있습니다. **Bedrock 플랫폼의 유연성과 편의성** * **통합 API 아키텍처**: 서로 다른 제조사의 모델이라도 동일한 API 구조를 사용하므로, 성능 평가 결과에 따라 애플리케이션의 모델을 손쉽게 교체하거나 업그레이드할 수 있습니다. * **지속적인 큐레이션**: AWS는 고객의 요구사항과 기술적 발전을 모니터링하여 유망한 신규 모델과 검증된 업계 표준 모델을 지속적으로 업데이트하고 있습니다. 개발자는 Amazon Bedrock의 통합 인터페이스를 활용해 각 모델의 벤치마크와 비용 효율성을 비교 분석한 후, 서비스 규모와 하드웨어 환경(에지 컴퓨팅 vs 클라우드)에 가장 적합한 모델을 선별하여 도입하는 전략이 필요합니다. 특히 Ministral 시리즈와 같은 에지 최적화 모델은 클라우드 비용 절감과 데이터 보안이 중요한 프로젝트에서 훌륭한 대안이 될 것입니다.