amazon-ebs

2 개의 포스트

aws4분 읽기큐레이션 요약

런타임 인스턴스: Amazon Bedrock AgentCore에서 프로덕션 AI 에이전트를 위한 지속적 컴퓨팅 | Amazon Web Services

Amazon Bedrock AgentCore의 **runtime instances**는 장시간 실행, GPU 사용, 다중 에이전트 협업이 필요한 프로덕션 AI 에이전트를 위한 AWS 관리형 EC2 기반 실행 환경이다. 최대 14일 동안 세션 상태를 유지하고, 여러 에이전트가 같은 호스트와 파일 시스템을 공유할 수 있다. 기존에 직접 구성해야 했던 EC2, 네트워크, 세션 관리, 확장, 모니터링을 AgentCore API·IAM·관측성 체계와 함께 관리해 복잡한 에이전트 워크로드를 단순화한다. ## runtime instances가 해결하는 문제 - 프로토타입 에이전트를 프로덕션으로 전환하면 다음 요구사항이 발생한다. - 수 시간에서 수일 동안 지속되는 워크플로 - 여러 단계에 걸친 상태 유지 - 에이전트 간 협업과 컨텍스트 공유 - GPU 또는 운영체제 수준 접근 - 대용량·지속형 컴퓨팅 환경 - 기존에는 EC2 인스턴스, 네트워크, 세션 관리, 확장, 모니터링을 직접 구축해야 했다. - runtime instances는 이러한 인프라를 AWS가 관리하면서 기존 AgentCore API, 인증 제어, 관측성 기능과 통합한다. ## runtime microVM과 runtime instances의 차이 - **runtime microVM** - 빠른 확장에 적합한 경량 실행 환경 - 개별 호출을 최대 8시간까지 실행 - 관리형 세션 저장소를 통해 상태 기반 워크플로 지원 - **runtime instances** - AWS 관리형 EC2 기반의 지속형 실행 환경 - 공유 세션을 최대 14일까지 유지 - GPU, 직접적인 OS 접근, 장시간 실행 지원 - 여러 에이전트를 하나의 런타임에서 실행 가능 - 유휴 기간에는 세션을 중지하고 나중에 재개해 비용 절감 - 두 환경은 독립적으로 사용하거나 함께 구성할 수 있다. - 예를 들어 microVM의 오케스트레이터가 작업을 분배하고, instances의 워커 에이전트가 코드 컴파일·보안 검사·GUI 자동화 같은 무거운 작업을 수행한다. ## 에이전트 배포와 협업 방식 - CrewAI, LangGraph, LlamaIndex, Strands 등 원하는 프레임워크와 모델을 사용할 수 있다. - 애플리케이션은 `@app.entrypoint` 데코레이터를 사용하며, ZIP 파일 또는 컨테이너 이미지로 패키징한다. - 같은 세션에 속한 에이전트들은 서로를 도구처럼 호출하며 자율적으로 작업을 반복할 수 있다. - 세션이 며칠간 중단되어도 상태를 유지한 채 재개할 수 있다. - 세션을 초월해 보존해야 하는 지식은 다음 서비스와 결합할 수 있다. - Amazon EBS: 지속적인 파일 시스템과 작업 데이터 저장 - AgentCore Memory: 세션·환경을 넘어 유지되는 장기 기억 ## 코드 작성 에이전트와 리뷰 에이전트 예시 - 예제에서는 두 개의 Python 에이전트를 만든다. - **Writer**: 자연어 요구사항을 Python 코드로 변환 - **Reviewer**: 생성된 코드의 버그, 보안 문제, 스타일을 검토 - Writer는 세션 ID를 기반으로 공유 디렉터리를 만든 뒤 `code.py`를 저장한다. - Reviewer는 같은 세션 ID로 해당 파일을 읽어 코드 리뷰를 수행한다. - 두 에이전트가 같은 파일 시스템을 공유하므로 다음이 필요 없다. - 코드 파일을 별도로 업로드하거나 다운로드하는 과정 - 에이전트 간 API를 통한 데이터 전송 - 실제 운영 환경에서는 예외 처리, 파일 접근 권한, 동시성 제어, 세션 ID 검증 등을 추가해야 한다. ## 용량 공급자 설정 - 먼저 에이전트가 실행될 EC2 인프라를 정의하는 **capacity provider**를 생성한다. - 주요 설정 항목은 다음과 같다. - 운영체제: Linux 64-bit ARM - 인스턴스 유형: 예시에서는 `c7g.2xlarge` - 컴퓨팅 자원: 8 vCPU, 16 GiB 메모리 - VPC, 서브넷, 보안 그룹 - gp3 EBS 볼륨 - EC2 관리를 위한 서비스 역할과 인프라 역할 - 생성 후 상태가 `Active`가 되면 런타임에서 사용할 수 있다. - 생성 이후에는 설명 외 설정 변경이 제한되므로 인스턴스 유형, 네트워크, 보안 설정을 처음부터 검토해야 한다. ## 런타임 생성과 에이전트 배포 - Runtime에서 Compute type으로 **Instances**를 선택한다. - 앞서 만든 capacity provider를 연결한다. - 에이전트 소스는 S3에서 가져오며, ZIP 파일을 업로드할 수 있다. - 배포 시 다음 정보를 지정한다. - Python 3.13 등 언어 런타임 - `agent.py`와 같은 엔트리포인트 파일 - 에이전트의 `@app.entrypoint` 함수 - AWS Management Console뿐 아니라 AgentCore CLI, AWS CLI, IaC 도구로도 배포할 수 있다. ## 실용적인 선택 기준 - 빠른 확장과 짧은 호출 중심의 오케스트레이션에는 runtime microVM이 적합하다. - 장시간 실행, GPU, 공유 파일 시스템, 다중 에이전트 협업, OS 접근이 필요하면 runtime instances를 고려하는 것이 좋다. - 일반적으로는 microVM을 오케스트레이터로, runtime instances를 전문 워커 실행 환경으로 조합하는 구조가 효과적이다. - 비용을 줄이려면 작업이 없는 시간에 세션을 중지하고, EBS와 AgentCore Memory를 목적에 맞게 분리해 사용하는 것이 권장된다.

원문 읽기(새 탭에서 열림)
aws원문

Amazon EC2 C8id, M8id, R8id 인스턴스, 최대 22.8 TB 로컬 NVMe 스토리지 일반 제공 | 아마존 웹 서비스 (새 탭에서 열림)

AWS가 커스텀 Intel Xeon 6 프로세서와 최대 22.8TB의 대용량 로컬 NVMe SSD를 탑재한 Amazon EC2 C8id, M8id, R8id 인스턴스를 출시했습니다. 이번 8세대 인스턴스는 이전 6세대 대비 컴퓨팅 성능은 최대 43%, 메모리 대역폭은 3.3배 향상되어 고성능 I/O가 요구되는 데이터베이스 및 실시간 분석 워크로드에 최적화되었습니다. 특히 최대 384개의 vCPU와 3TiB의 메모리를 지원하여 대규모 애플리케이션의 확장성과 운영 효율성을 획기적으로 개선했습니다. ### 인스턴스 패밀리별 특화 용도 * **C8id (컴퓨팅 최적화):** 비디오 인코딩, 이미지 조작 등 고속·저지연 로컬 스토리지가 필수적인 컴퓨팅 집약적 작업에 적합합니다. * **M8id (범용):** 데이터 로깅, 미디어 처리 등 컴퓨팅과 메모리 리소스의 균형이 필요한 워크로드에 최적의 성능을 제공합니다. * **R8id (메모리 최적화):** 대규모 SQL/NoSQL 데이터베이스, 인메모리 DB, 대규모 데이터 분석 및 AI 추론 등 고용량 메모리가 필요한 환경을 위해 설계되었습니다. ### 하드웨어 사양 및 확장성 * 6세대 인스턴스 대비 vCPU, 메모리, 로컬 스토리지 용량이 각각 3배 증가했습니다. * 최대 96xlarge 크기에서 384 vCPU, 3TiB RAM, 22.8TB 스토리지를 제공하며, 물리 리소스에 직접 접근해야 하는 환경을 위해 두 가지 베어메탈 사이즈(metal-48xl, metal-96xl)도 지원합니다. * I/O 집약적인 데이터베이스 워크로드에서 최대 46% 높은 성능을, 실시간 데이터 분석 쿼리에서 최대 30% 빠른 결과를 보여줍니다. ### 고급 네트워킹 및 가상화 기술 * **IBC(Instance Bandwidth Configuration):** 네트워크와 Amazon EBS 대역폭 사이에서 리소스를 유연하게 할당할 수 있으며, 필요에 따라 각 대역폭을 25%까지 확장할 수 있습니다. * **6세대 AWS Nitro 카드:** CPU 가상화, 스토리지, 네트워킹 기능을 전용 하드웨어로 오프로드하여 성능 병목을 줄이고 보안성을 강화했습니다. * **드라이버 호환성:** ENA(Elastic Network Adapter) 및 NVMe 드라이버가 포함된 최신 AWS Windows 및 Linux AMI를 통해 즉시 성능을 활용할 수 있습니다. ### 로컬 NVMe 스토리지 보안 및 관리 * **자동 인식:** 별도의 블록 디바이스 매핑 설정 없이도 부팅 후 `/dev/nvme` 장치로 자동 인식되어 사용이 간편합니다. * **하드웨어 암호화:** 모든 로컬 데이터는 XTS-AES-256 블록 암호를 통해 하드웨어 수준에서 암호화되며, 인스턴스 종료 시 고유 키가 파기되어 보안을 유지합니다. * **휘발성 주의:** 로컬 NVMe 스토리지의 데이터는 인스턴스의 수명 주기와 동일하므로, 인스턴스 중지(Stop)나 종료(Terminate) 시 데이터가 보존되지 않음에 유의해야 합니다. 현재 이 인스턴스들은 미국 동부(버지니아 북부, 오하이오), 미국 서부(오리건) 리전에서 사용 가능하며, 고성능 로컬 스토리지가 필요한 실시간 분석이나 대규모 데이터베이스를 운영하는 기업에 강력한 성능 향상 기회를 제공할 것입니다.