amazon-sqs

4 개의 포스트

aws4분 읽기큐레이션 요약

AWS 주간 정리: 원클릭 Lambda 설정 프롬프트, Bedrock의 OpenAI GPT-5.6 모델 등 (2026년 7월 20일) | Amazon Web Services

AWS의 이번 주 주요 소식은 코딩 에이전트의 Lambda 설정 자동화와 Amazon Bedrock의 OpenAI GPT-5.6 모델 출시다. 이와 함께 S3 스토리지 비용 절감, Lambda 코드 저장 방식 개선, Cognito 사용자 가져오기 기능 등이 추가됐다. AWS는 AI 에이전트 개발과 서버리스 운영을 단순화하는 한편, 비용 효율성과 대규모 데이터 처리 기능도 강화하고 있다. ## AWSKRUG와 개발자 커뮤니티 협력 - AWS 팀이 서울을 방문해 AWS Korea User Group(AWSKRUG) 리더들과 교류했다. - AWSKRUG는 주제·지역별 20개 밋업 그룹으로 구성된 한국 최대 규모의 클라우드 개발자 커뮤니티다. - 매년 100회 이상의 행사를 개최하며, AWS Developer Experience 팀에 대한 피드백과 개선 요구를 공유했다. ## 코딩 에이전트의 원클릭 Lambda 설정 - Lambda 콘솔에서 제공하는 프롬프트를 AI 코딩 에이전트에 전달하면 AWS 서버리스 개발 환경을 자동으로 구성할 수 있다. - AWS Serverless 스킬과 Serverless MCP 서버가 포함되어 서버리스 모범 사례를 에이전트에 기본 적용한다. - Claude Code, Kiro, Cursor, GitHub Copilot, Codex, Devin Desktop, OpenCode 등을 지원한다. - 다음 URL을 에이전트에 입력해 설정 가이드를 불러올 수 있다. ```text fetch https://docs.aws.amazon.com/lambda/latest/dg/samples/aws-lambda-agent-setup.md ``` - AWS Agent Toolkit을 사용하면 에이전트에 최신 AWS 지식과 안전한 리소스 접근 권한을 제공할 수 있다. ```text fetch https://raw.githubusercontent.com/aws/agent-toolkit-for-aws/refs/heads/main/setup-instructions/setup.md ``` ## Amazon Bedrock의 OpenAI GPT-5.6 모델 - Amazon Bedrock에서 OpenAI의 GPT-5.6 계열 모델인 Sol, Terra, Luna를 사용할 수 있다. - 모델별 용도는 다음과 같다. - **Sol**: 최고 수준의 추론 성능을 제공하는 플래그십 모델 - **Terra**: 성능과 비용의 균형을 중시하는 모델 - **Luna**: 빠르고 비용 효율적인 추론에 적합한 모델 - Bedrock의 고성능·보안·신뢰성 중심 추론 엔진과 Responses API를 통해 접근할 수 있다. ## S3 저장 클래스의 당일 전환 - 이제 객체 생성 당일부터 S3 Standard-IA 또는 S3 One Zone-IA로 전환할 수 있다. - 기존에는 S3 Standard에 최소 30일 보관해야 했다. - 두 저장 클래스는 S3 Standard보다 최대 40% 저렴하면서도 필요할 때 밀리초 단위로 접근할 수 있다. - 생성 직후 빠르게 사용 빈도가 낮아지는 백업, 로그 분석, 규정 준수 데이터를 저장하는 데 적합하다. ## Lambda 코드의 자체 S3 저장 - 사용자가 직접 관리하는 Amazon S3 버킷에 Lambda 소스 코드를 저장하고 이를 직접 참조할 수 있다. - Lambda가 중간 복사본을 생성하는 과정이 사라진다. - 이에 따라 Lambda 코드 저장 용량 제한을 없애고, 함수 생성·업데이트 후 활성화 시간을 줄일 수 있다. ## Cognito 비밀번호 해시 가져오기 - Amazon Cognito CSV 사용자 가져오기 과정에서 기존 시스템의 비밀번호 해시를 함께 등록할 수 있다. - 사용자는 최초 로그인 시 비밀번호를 재설정하지 않고 기존 자격 증명으로 바로 로그인할 수 있다. - CSV를 생성할 때 원본 시스템에서 사용한 비밀번호 해시 알고리즘을 지정해야 한다. ## SQS 20주년과 AI 에이전트용 개방형 프로토콜 - Amazon SQS가 공개 출시 20주년을 맞았다. - 생산자와 소비자를 분리해 시스템 간 결합도를 낮추는 메시징 패턴이 여전히 핵심 가치다. - Strands Agents SDK를 활용해 MCP, A2A, UTCP, AG-UI, x402 등 AI 에이전트용 개방형 프로토콜이 어떻게 연동되는지 소개했다. - 특정 프레임워크에 종속되지 않고 여러 에이전트 시스템에 적용할 수 있는 통합 패턴을 다룬다. ## DynamoDB 대량 작업 자동화 - 오픈소스 Bulk Executor for DynamoDB가 테이블 전체 항목을 대상으로 하는 대량 작업을 단순화한다. - 별도 코드를 작성하지 않고 다음 작업을 수행할 수 있다. - `count`: 전체 항목 수 계산 - `find`: 조건에 맞는 항목 검색 - `delete`: 항목 대량 삭제 - `update`: 항목 대량 수정 - 대규모 테이블에서도 일괄 작업을 쉽게 실행할 수 있다. ## Kiro CLI를 활용한 AWS Support 자동화 - Kiro CLI의 MCP 통합으로 장애 조사, AWS 문서 검색, 지원 사례 생성 과정을 하나의 대화형 인터페이스로 처리할 수 있다. - 주요 활용 사례는 다음과 같다. - AWS Glue 작업 실패 분석 - AWS Lambda 콜드 스타트 원인 조사 - AWS WAF 오탐 분석 - 지원 담당자가 여러 도구를 오가며 수행하던 작업을 대화형 워크플로로 통합한다. ## Cost Explorer 요금 표시 오류 - 일부 고객의 Cost Explorer에서 예상 청구액과 비용·사용량 데이터가 부정확하게 표시되는 문제가 발생했다. - 잘못된 예산 경고와 비용 이상 탐지 알림이 발생하거나 예상 비용이 부풀려질 수 있었다. - 문제는 해결됐으며 AWS는 재발 방지와 청구 관련 장애 대응 개선을 위한 사후 검토를 진행 중이다. - 자세한 내용은 AWS Health Dashboard에서 확인할 수 있다. 서버리스 개발자는 Lambda 에이전트 설정 프롬프트와 자체 S3 코드 저장 기능을 우선 검토할 만하다. 데이터 저장 비용이 중요한 환경에서는 S3의 당일 IA 전환을 활용하고, 대규모 DynamoDB 일괄 작업이나 AWS 지원 업무에는 Bulk Executor와 Kiro CLI를 적용하면 운영 효율을 높일 수 있다.

원문 읽기(새 탭에서 열림)
aws4분 읽기큐레이션 요약

Amazon SQS 20주년: 대규모 환경에서 20년간 이어온 안정적인 메시징 | Amazon Web Services

Amazon SQS는 서비스 간 결합도를 낮추고 장애 전파를 막기 위해 메시지를 비동기적으로 전달하는 AWS의 관리형 메시지 큐 서비스다. 출시 20년 동안 FIFO 고처리량, 암호화 기본 적용, DLQ 복구, 대규모 메시지 처리 등 기능이 크게 발전했지만, 서비스 간 분리·트래픽 버퍼링·장애 격리라는 핵심 역할은 변하지 않았다. 최근에는 멀티테넌트 시스템과 AI 에이전트·추론 워크로드에도 활용 범위가 확대되고 있다. ## 비동기 메시징을 통한 서비스 결합도 완화 - 서비스가 서로 직접 호출하면 호출 대상의 지연이나 장애가 연쇄적으로 전체 시스템에 영향을 줄 수 있다. - SQS를 사용하면 생산자는 메시지를 큐에 저장한 뒤 작업을 계속하고, 소비자는 처리 가능한 시점에 메시지를 가져갈 수 있다. - 이를 통해 다음과 같은 효과를 얻는다. - 서비스 간 의존성 및 결합도 감소 - 트래픽 급증 시 메시지 큐를 버퍼로 활용 - 특정 서비스 장애가 전체 시스템으로 확산되는 것을 방지 - 소비자의 처리 속도에 맞춘 안정적인 작업 처리 ## FIFO 큐의 처리량과 동시성 향상 - 2021년 FIFO 큐 고처리량 모드가 출시되며 API 작업당 초당 3,000건(TPS)을 지원했다. - 이후 처리량이 단계적으로 증가했다. - 2022년: 6,000 TPS - 2023년 8월: 9,000 TPS - 2023년 10월: 18,000 TPS - 2023년 11월: 일부 리전에서 최대 70,000 TPS - 2024년에는 FIFO 큐의 인플라이트 메시지 한도가 20,000개에서 120,000개로 증가했다. - 소비자가 동시에 처리할 수 있는 메시지가 늘어나 대규모 순서 보장 처리에 유리해졌다. ## 암호화와 세분화된 접근 제어 - 2021년 SQS 관리형 키를 사용하는 서버 측 암호화 방식인 SSE-SQS가 도입됐다. - 2022년 10월부터 새로 생성되는 큐에는 SSE-SQS가 기본 적용됐다. - 고객이 직접 암호화 키를 생성하고 관리하지 않아도 메시지를 보호할 수 있다. - 2022년에는 ABAC(Attribute-Based Access Control)가 추가됐다. - 큐의 고정된 리소스 정책 대신 태그를 기준으로 권한을 부여할 수 있다. - 큐와 환경이 늘어나는 대규모 시스템에서 권한 정책 관리 부담을 줄인다. ## DLQ 메시지 복구 기능 강화 - 처리에 실패한 메시지를 보관하는 Dead-Letter Queue(DLQ)에서 원래 큐로 메시지를 되돌리는 기능이 단계적으로 확대됐다. - 2021년에는 SQS 콘솔에서 DLQ 메시지를 소스 큐로 직접 재전송할 수 있게 됐다. - 2023년에는 SDK와 CLI에서도 다음 API를 사용할 수 있게 됐다. - `StartMessageMoveTask`: 메시지 이동 작업 시작 - `CancelMessageMoveTask`: 이동 작업 취소 - `ListMessageMoveTasks`: 이동 작업 목록 조회 - 같은 해 FIFO 큐에도 redrive 기능이 지원됐다. - 운영 중 실패한 메시지를 수동으로 재처리하거나 별도 개발 없이 복구할 수 있다. ## 메시지 처리 성능과 연동성 개선 - 2023년 AWS SDK에 JSON 프로토콜 지원이 추가됐다. - 5KB 페이로드 기준 종단 간 처리 지연을 최대 23% 줄이고, 클라이언트의 CPU·메모리 사용량도 낮췄다. - SQS 콘솔에서 EventBridge Pipes와 큐를 직접 연결할 수 있게 됐다. - 별도의 통합 코드를 작성하지 않고도 큐 메시지를 다양한 AWS 서비스 대상으로 라우팅할 수 있다. ## 대용량 메시지와 페이로드 확장 - 2024년 Python용 Extended Client Library가 제공됐다. - 최대 2GB 크기의 메시지를 Amazon S3에 저장하고, SQS에는 해당 데이터의 참조 정보만 전달할 수 있다. - 2025년에는 표준 큐와 FIFO 큐의 최대 메시지 크기가 256KiB에서 1MiB로 증가했다. - AWS Lambda의 SQS 이벤트 소스 매핑도 이 새로운 페이로드 크기를 지원하도록 업데이트됐다. ## 멀티테넌트 환경을 위한 공정한 처리 - 2025년 표준 큐에 fair queues가 도입됐다. - 메시지를 보낼 때 메시지 그룹 ID를 포함하면 특정 테넌트가 큐를 독점하는 ‘시끄러운 이웃(noisy neighbor)’ 문제를 완화할 수 있다. - 소비자 측 코드를 변경하지 않고도 한 테넌트의 대량 메시지가 다른 테넌트의 처리 지연을 유발하는 상황을 줄일 수 있다. ## AI 시스템으로 확장되는 SQS의 활용 - SQS의 기본 패턴은 AI 워크로드에도 적용된다. - 활용 사례는 다음과 같다. - 대규모 언어 모델 요청을 큐에 저장해 추론 요청량 조절 - 추론 처리량을 소비자 수와 처리 속도에 맞춰 관리 - 독립적으로 동작하는 AI 에이전트 간 작업과 통신 조정 - AI 서비스가 일시적으로 느려지거나 중단돼도 요청을 큐에 보관해 전체 시스템의 안정성을 유지할 수 있다. 실무에서는 서비스 간 직접 호출이 장애 전파나 트래픽 급증 문제를 일으키는 경우 SQS를 우선 검토할 수 있다. 순서 보장과 중복 처리 방지가 필요하면 FIFO 큐를, 실패 메시지 복구가 중요하면 DLQ와 redrive 기능을 함께 설계하는 것이 좋다.

원문 읽기(새 탭에서 열림)
aws3분 읽기큐레이션 요약

AWS CloudFormation Express 모드로 인프라 배포를 최대 4배 가속화하세요 | Amazon Web Services

AWS CloudFormation Express mode는 리소스가 완전히 안정화될 때까지 기다리지 않고 설정 적용이 확인되는 즉시 배포를 완료해, 반복적인 인프라 개발 속도를 최대 4배 높이는 기능이다. 리소스 안정화는 백그라운드에서 계속 진행되며, 일시적인 프로비저닝 실패는 CloudFormation이 자동 재시도한다. 다만 트래픽 전환이나 테스트 전에 리소스의 완전한 운영 가능 상태가 필요하다면 기존 Standard 모드를 사용해야 한다. ## Express mode의 동작 방식 - Standard 모드는 리소스 설정 적용 후 안정화 검사를 수행한 뒤 배포를 완료한다. - Express mode는 설정이 적용되었다고 CloudFormation이 확인하면 안정화 검사를 기다리지 않고 배포를 완료한다. - 배포 완료 이후에도 리소스는 백그라운드에서 계속 운영 상태로 전환된다. - 의존 리소스에서 일시적인 오류가 발생하면 동일 스택 내에서 CloudFormation이 자동으로 재시도한다. - 리소스 프로비저닝 방식 자체를 바꾸는 것이 아니라, CloudFormation이 배포 완료를 보고하는 시점만 앞당긴다. ## 적합한 사용 사례 - 인프라 설정을 반복적으로 수정하는 개발 및 실험 workflow - 애플리케이션의 개별 구성 요소를 빠르게 테스트하는 경우 - AI 도구를 활용한 인프라 개발처럼 1분 이내의 피드백이 필요한 경우 - 리소스가 완전히 안정화되기 전에 다음 개발 작업을 진행해도 되는 프로덕션 환경 ## 배포 시간 단축 사례 - SQS 큐와 DLQ 생성: - Standard mode: 약 64초 - Express mode: 최대 약 10초 - 네트워크 인터페이스가 연결된 Lambda 함수 삭제: - Standard mode: 약 20~30분 - Express mode: 벤치마크 기준 최대 약 10초 실제 시간은 리소스 종류와 환경에 따라 달라질 수 있지만, 안정화 대기 시간이 긴 작업일수록 효과가 크다. ## 활성화 방법과 롤백 설정 - 콘솔에서 스택 생성 시 **Stack deployment options → Express mode → Enable**을 선택한다. - AWS CLI, SDK, CDK, Kiro 같은 AI 도구에서도 사용할 수 있다. - CLI에서는 `--deployment-config`에 `EXPRESS` 모드를 지정한다. ```bash aws cloudformation create-stack \ --stack-name my-app \ --template-body file://template.yaml \ --deployment-config '{"mode": "EXPRESS", "disableRollback": true}' ``` - Express mode는 빠른 반복 작업을 위해 기본적으로 롤백이 비활성화된다. - 프로덕션 환경에서 롤백을 사용하려면 `disableRollback: false`로 설정한다. - 롤백을 비활성화할 경우 실패한 배포에 대한 모니터링과 정리 절차를 별도로 마련해야 한다. ## 점진적 인프라 개발 Express mode는 리소스를 하나씩 추가하는 방식의 개발에 적합하다. - 1단계: IAM 역할 배포 - 2단계: Lambda 함수 추가 - 3단계: SQS 큐와 이벤트 소스 매핑 추가 - 각 단계에서 `create-stack` 또는 `update-stack`과 함께 Express mode를 사용할 수 있다. - IAM 역할 템플릿은 최소 권한 원칙을 따라야 한다. ## CDK 및 CloudFormation 호환성 - AWS CDK에서는 다음 명령으로 활성화한다. ```bash cdk deploy --express ``` - 기존 CloudFormation 템플릿을 수정하지 않아도 된다. - 변경 세트, 중첩 스택 등 기존 CloudFormation 기능을 지원한다. - 부모 스택에서 Express mode를 활성화하면 중첩 스택에도 적용된다. - 리소스가 완전히 운영 가능해진 뒤 트래픽을 전환하거나 테스트해야 한다면 Standard 모드를 유지해야 한다. ## 제공 범위 - 모든 AWS 상용 리전에서 추가 비용 없이 제공된다. - 리전별 지원 현황과 향후 계획은 AWS 리전별 기능 문서에서 확인할 수 있다. 개발 중 빠른 피드백이 중요하다면 Express mode를 우선 사용하되, 롤백 비활성화에 따른 정리 및 모니터링 체계를 준비하는 것이 좋다. 운영 트래픽이나 테스트가 리소스의 완전한 안정화에 의존한다면 기존 Standard 모드가 더 안전하다.

원문 읽기(새 탭에서 열림)
netflix원문

넷플릭스에서 Write-Ahead (새 탭에서 열림)

넷플릭스는 대규모 데이터 환경에서 발생하는 데이터 손실, 시스템 엔트로피, 복제 및 재시도 메커니즘의 한계를 극복하기 위해 분산 **Write-Ahead Log(WAL)** 추상화 레이어를 구축했습니다. 이 시스템은 데이터 변경 사항을 캡처하고 강력한 내구성을 보장하며 하위 소비자에게 데이터를 안정적으로 전달하는 단일 인터페이스를 제공합니다. 결과적으로 개발자는 복잡한 데이터 정합성 문제를 직접 해결할 필요 없이 비즈니스 로직에 집중할 수 있게 되었으며, 플랫폼 전반의 탄력성과 운영 효율성이 크게 향상되었습니다. **WAL의 핵심 구조와 유연한 API** * **WriteToLog API:** 단순한 인터페이스를 통해 내부 구현을 추상화하며, 데이터 내구성을 '성공/실패/알 수 없음'의 세 가지 상태(Trilean)로 반환하여 신뢰성을 높였습니다. * **네임스페이스(Namespace):** 데이터의 저장 위치와 방식을 정의하는 논리적 격리 단위로, 설정에 따라 Kafka, SQS 등 다양한 기반 스토리지를 선택할 수 있습니다. * **페르소나 기반 아키텍처:** 네임스페이스 설정에 따라 지연 큐, 복제 도구, 인덱싱 도구 등 목적에 맞는 다양한 '페르소나'로 동작합니다. **지연 큐와 신뢰할 수 있는 재시도 메커니즘** * 네트워크 오류나 다운스트림 서비스 장애 발생 시 데이터 처리 처리량을 희생하지 않고도 실패한 메시지를 안전하게 재시도합니다. * SQS를 기본 스토리지로 활용하여 메시지 전달 시점을 조절하는 지연 기능을 구현함으로써 실시간 데이터 파이프라인의 안정성을 확보했습니다. **범용 교차 리전 복제 및 데이터 동기화** * Kafka를 활용하여 서로 다른 리전 간에 데이터를 복제하며, 기본적으로 복제를 지원하지 않는 스토리지 엔진에서도 리전 간 데이터 정합성을 유지할 수 있게 합니다. * Key-Value 저장소와 Elasticsearch 같은 서로 다른 데이터 저장소 간의 상태를 동기화하여 구체화된 뷰(Materialized Views)나 보조 인덱스를 안정적으로 구축합니다. **안정적인 데이터 삭제 및 부하 관리** * 데이터베이스에서 대량의 데이터를 삭제할 때 발생하는 메모리 부족(OOM) 문제를 해결하기 위해 WAL을 활용합니다. * 삭제 요청을 WAL에 기록한 후 처리 속도를 제어(Rate-limiting)하거나 예약된 시간에 실행함으로써 데이터베이스 노드에 가해지는 충격을 완화합니다. **시스템 설계 원칙과 격리 전략** * **수집 및 소비의 분리:** 고가용성 수집 레이어와 신뢰 중심의 소비 레이어를 분리하여 트래픽 급증이나 다운스트림 장애가 전체 시스템으로 전이되는 것을 방지합니다. * **멀티테넌시와 격리:** 공유 리소스를 사용하되 네임스페이스별로 격리된 리소스 풀을 할당하여 특정 작업이 다른 서비스의 성능에 영향을 주지 않도록 설계되었습니다. 데이터 플랫폼 차원의 통합 WAL 솔루션 도입은 각 서비스 팀이 개별적으로 구축하던 복제 및 재시도 로직의 중복을 제거하고 기술 부채를 크게 줄여줍니다. 대규모 분산 시스템을 운영하는 조직이라면 데이터의 최종 정합성과 시스템 탄력성을 확보하기 위해 이러한 추상화된 로그 계층을 검토하는 것이 권장됩니다.