datadog·2024년 11월 20일·3분 읽기큐레이션 요약

신뢰할 수 있는 분산 시스템

Datadog이 Gartner의 2026년 Observability Platforms 매직 쿼드런트에서 **Leader**로 선정되었다는 소식과 함께, Datadog의 관측성 및 운영 플랫폼 제품군을 소개하는 내용입니다. 플랫폼은 인프라·애플리케이션·로그·보안·디지털 경험·소프트웨어 제공·서비스 관리·AI까지 폭넓은 영역을 하나의 생태계로 다룹니다. 다만 제공된 본문에는 Gartner의 평가 기준이나 Datadog이 리더로 선정된 구체적인 근거는 포함되어 있지 않습니다. ### Gartner 매직 쿼드런트 리더 선정 - Datadog은 Gartner의 **Observability Platforms** 부문에서 Leader로 소개됩니다. - 이는 인프라, 애플리케이션, 로그, 사용자 경험 등 여러 관측성 데이터를 통합해 제공하는 플랫폼 역량을 강조하는 메시지입니다. - 제공된 내용만으로는 Gartner의 실행 능력·비전 평가 점수나 경쟁사 대비 세부 분석은 확인할 수 없습니다. ### 인프라와 클라우드 관측성 - 인프라 모니터링과 메트릭 수집을 통해 호스트 및 시스템 상태를 확인합니다. - 컨테이너와 Kubernetes 환경을 모니터링하고, Kubernetes Autoscaling으로 리소스 확장을 지원합니다. - 네트워크, 서버리스 애플리케이션, 스토리지, GPU를 별도 영역으로 관측할 수 있습니다. - Cloud Cost Management와 Cloudcraft를 통해 클라우드 비용 및 인프라 구조 시각화도 다룹니다. ### 애플리케이션 성능 모니터링 - APM으로 서비스 성능, 요청 흐름, 분산 트레이싱을 분석합니다. - Universal Service Monitoring은 서비스 간 의존성과 전체 서비스 토폴로지를 파악하는 데 사용됩니다. - Continuous Profiler는 코드 실행 중 CPU·메모리 사용량을 분석해 성능 병목을 찾습니다. - Dynamic Instrumentation은 코드를 다시 배포하지 않고 런타임 데이터를 수집하는 기능으로 소개됩니다. - AI 에이전트 관측성 기능을 통해 AI 기반 애플리케이션과 에이전트의 동작도 모니터링합니다. ### 로그와 데이터 관측성 - Log Management로 로그를 수집·검색·분석합니다. - Sensitive Data Scanner를 사용해 로그나 관측성 데이터에 포함된 민감정보를 탐지할 수 있습니다. - Observability Pipelines는 데이터 수집·필터링·라우팅을 담당합니다. - Database Monitoring과 Data Streams Monitoring을 통해 데이터베이스 및 서비스 간 데이터 흐름을 관찰합니다. - 데이터 품질과 배치·작업 실행 상태를 점검하는 Quality Monitoring, Jobs Monitoring도 제공합니다. ### 보안 플랫폼 통합 - 코드 보안, SAST, IAST, 소프트웨어 구성 분석(SCA), IaC 보안을 지원합니다. - Cloud Security와 CSPM을 통해 클라우드 설정 오류와 보안 상태를 점검합니다. - CIEM, 취약점 관리, 컴플라이언스, Cloud SIEM, 워크로드 보호 기능을 제공합니다. - 애플리케이션·API 보호와 시크릿 스캐닝까지 포함해 개발부터 운영 단계까지 보안을 통합하려는 구조입니다. ### 디지털 사용자 경험 분석 - Browser·Mobile RUM으로 실제 사용자의 웹·모바일 경험을 측정합니다. - Session Replay를 통해 사용자의 실제 세션을 재현할 수 있습니다. - Synthetic Monitoring은 가상 사용자의 테스트로 서비스 가용성과 응답성을 검증합니다. - Product Analytics, Experiments, Error Tracking을 통해 사용자 행동과 오류를 분석합니다. ### 소프트웨어 제공과 서비스 운영 - CI Visibility, Test Optimization, Continuous Testing으로 빌드와 테스트 파이프라인을 관측합니다. - 코드 커버리지, 기능 플래그, IDE 플러그인 등을 제공해 개발 프로세스와 운영 데이터를 연결합니다. - Software Catalog와 SLO를 통해 서비스 소유권과 신뢰성 목표를 관리합니다. - Event Management, Incident Response, Case Management, Workflow Automation으로 장애 대응 및 운영 절차를 지원합니다. ### AI 기반 운영 기능 - Bits AI Agents, Bits Chat, Bits Investigation 등 AI 기반 조사·대화·자동화 기능을 제공합니다. - Bits Security Analyst는 보안 분석을, Bits Code는 코드 관련 작업을 지원합니다. - MCP Server와 Agent Builder를 통해 외부 도구 및 사내 워크플로와 AI 에이전트를 연결할 수 있습니다. - Watchdog은 이상 징후 탐지와 운영 분석을 자동화하는 기능으로 제시됩니다. ### 실용적인 시사점 Datadog은 단순한 모니터링 도구라기보다 관측성, 보안, 사용자 경험, 개발·운영 자동화를 통합한 플랫폼으로 포지셔닝하고 있습니다. 도입을 검토한다면 필요한 기능 범위뿐 아니라 데이터 수집 비용, 제품 간 통합 수준, 기존 도구와의 중복, 조직의 운영 방식까지 함께 비교하는 것이 좋습니다.

원문 읽기(새 탭에서 열림)

쿠버네티스datadog옵저버빌리티애플리케이션 성능 모니터링+3

datadog·2024년 11월 20일원문

신뢰할 수 있는 분산 시스템을 설계하기 위해 형식 모델링, 경량 시뮬레이션, 카오스 테스트를 활용하는 방법 (새 탭에서 열림)

분산 시스템의 복잡성으로 인해 발생하는 시스템 수준의 설계 오류를 해결하기 위해, 데이터독(Datadog)은 차세대 메시지 큐 서비스인 'Courier'의 설계 과정에서 포멀 모델링(Formal Modeling)과 경량 시뮬레이션을 도입했습니다. 이 방식은 전통적인 단위 테스트나 카오스 테스트가 발견하기 어려운 고차원적인 설계 결함을 설계 단계에서 미리 검증하고, 시스템의 성능 특성을 통계적으로 예측할 수 있게 해줍니다. 결과적으로 이러한 접근법은 가용성과 신뢰성이 필수적인 핵심 인프라 서비스가 복잡한 실패 모드에서도 안정적으로 동작함을 확인하는 강력한 도구가 되었습니다. **포멀 모델링과 경량 시뮬레이션의 도입** - **포멀 모델링(Formal Modeling):** 고수준의 명세 언어를 사용해 시스템의 속성을 기술하고, 모델 체커를 통해 발생 가능한 모든 상태를 전수 조사함으로써 설계상의 논리적 결함이 없는지 검증합니다. - **경량 시뮬레이션(Lightweight Simulation):** 포멀 모델링이 확인하기 어려운 지연 시간(Latency), 비용, 확장성 등의 통계적 성능 지표를 실제 부하 환경과 유사한 조건에서 실행하여 분석합니다. - **도입 배경 및 트레이드오프:** 구현 자체를 검증하지는 못하고 모델 유지 보수의 오버헤드가 발생하지만, 대규모 장애(2023년 3월 사례)를 방지하고 설계의 정확성을 보장하기 위해 도입되었습니다. **차세대 메시지 큐 서비스: Courier** - **배경:** 기존 Redis 기반 시스템의 처리량 및 확장성 한계를 극복하기 위해 설계된 멀티테넌트 메시지 큐 서비스입니다. - **최소 1회 전달(At-least-once delivery):** 메시지 손실 없이 전송을 보장하며, 실패 시 데드 레터 큐(DLQ)로 이동하여 알림 누락을 방지합니다. - **점진적 성능 저하(Graceful Degradation):** 가용 컴퓨팅 자원이 줄어들더라도 처리량이 급격히 추락하지 않고 선형적으로 감소하도록 설계하여 전체 서비스 마비를 방지합니다. - **수평적 확장성:** 컴퓨팅 자원 추가에 따라 처리량이 선형적으로 증가하는 구조를 목표로 합니다. **멀티테넌시 및 고가용성을 위한 아키텍처** - **FoundationDB 기반 샤딩:** 여러 개의 FoundationDB 클러스터를 구축하고, 각 테넌트를 특정 클러스터 조합(예: 8개 중 4개 선택)에 샤딩하여 테넌트 간 간섭을 최소화합니다. - **폭발 반경(Blast Radius) 제어:** 특정 테넌트가 4개의 클러스터에 부하를 주더라도, 다른 테넌트는 최소 25% 이상의 가용 용량을 확보할 수 있도록 격리 수준을 높였습니다. - **브로커 레이어(Broker Layer):** gRPC API를 통해 샤딩 로직을 처리하고, 백엔드 클러스터의 상태 점검(Health Check)을 수행하며 3개의 가용 영역(AZ)에 분산 배치되어 고가용성을 유지합니다. 이러한 포멀 모델링과 시뮬레이션 기법은 복잡한 분산 시스템을 구축할 때 직관에 의존하는 대신 수학적·통계적 근거를 바탕으로 의사결정을 내릴 수 있게 합니다. 특히 Courier와 같이 신뢰성이 최우선인 기반 시스템을 설계할 때, 초기 단계에서의 철저한 검증은 추후 발생할 수 있는 막대한 수정 비용과 대규모 장애 위험을 줄이는 데 매우 효과적인 투자입니다.

분산 시스템grpchigh-availabilityfoundationdb+4

datadog·2024년 11월 1일원문

테스트 시간을 50 (새 탭에서 열림)

개발 효율성을 저해하는 길고 불안정한 CI 파이프라인 문제를 해결하기 위해, 테스트와 소스 코드 간의 의존성을 분석하여 변경된 코드와 관련된 테스트만 선택적으로 실행하는 '테스트 영향 분석(Test Impact Analysis)' 기술이 주목받고 있습니다. Datadog은 Ruby 환경에서 이를 실현하기 위해 성능 저하를 최소화하면서도 기존 도구와 호환되는 전용 라이브러리를 개발하였으며, 이는 전체 테스트 시간을 절반 수준으로 단축하는 성과를 거두었습니다. 이 과정에서 개발 팀은 Ruby 내장 모듈의 한계를 극복하기 위해 C 확장을 통한 저수준 인터프리터 이벤트 활용 방식을 채택했습니다. ## 테스트 영향 분석(TIA)의 개념과 필요성 - 소프트웨어 규모가 커짐에 따라 전체 테스트 수트 실행 시간은 비대해지며, 코드 변경과 무관한 '불안정한 테스트(Flaky tests)'로 인해 CI가 실패하는 빈도가 높아집니다. - 테스트 영향 분석은 각 테스트가 실행될 때 접근하는 소스 파일 목록을 동적으로 맵핑하여 저장하는 기술입니다. - Git 커밋 시 변경된 파일과 맵핑된 파일 목록에 교집합이 있는 테스트만 실행함으로써, 불필요한 리소스 낭비를 줄이고 파이프라인의 안정성을 높일 수 있습니다. - Datadog의 'Intelligent Test Runner'는 이러한 원리를 바탕으로 정확성, 성능, 사용자 투명성을 핵심 가치로 설계되었습니다. ## 기존 Ruby 솔루션의 성능 한계 - **내장 Coverage 모듈:** Ruby 3.1에서 추가된 resume/suspend 메서드를 통해 테스트별 커버리지를 측정할 수 있으나, `simplecov`와 같은 기존 도구와 충돌하며 약 300% 수준의 매우 높은 성능 오버헤드가 발생합니다. - **TracePoint API:** 코드 실행 시 이벤트를 구독하는 표준 API로 구현이 용이하고 호환성도 뛰어나지만, 순수 코드 실행 위주의 벤치마크(RuboCop 등)에서 200~400%의 오버헤드를 기록하여 실무 적용이 어렵습니다. - 이러한 기존 방식들은 대규모 테스트 수트를 빠르게 실행하려는 원래의 목적에 부합하지 않는 성능 결과(기존보다 3~4배 느려짐)를 보였습니다. ## C 확장을 이용한 저수준 인터프리터 이벤트 활용 - 성능 문제를 해결하기 위해 Ruby VM의 내부 동작을 분석하고, C 언어로 직접 커버리지 수집 도구를 개발했습니다. - Ruby 인터프리터 내부에서 사용하는 `rb_thread_add_event_hook` 함수를 활용해 `RUBY_EVENT_LINE` 이벤트를 직접 훅(hook)하는 방식을 취했습니다. - 테스트 시작(start)과 종료(stop) 시점에만 이벤트 훅을 등록 및 해제하며, 실행되는 파일의 경로가 프로젝트 루트 내에 있는지 C 수준에서 빠르게 필터링하여 해시 구조에 저장합니다. - 이 방식은 Ruby 레벨의 추상화 단계를 건너뛰고 VM 이벤트에 직접 접근함으로써, 데이터 수집의 정확성을 유지하면서도 실행 오버헤드를 획기적으로 낮추는 기반이 되었습니다. Ruby 기반의 대규모 프로젝트를 운영 중이라면 매번 전체 테스트를 실행하기보다, 변경 사항에 기반한 지능형 테스트 실행 방식을 도입하여 CI 비용과 시간을 최적화할 것을 권장합니다. 특히 성능에 민감한 환경에서는 표준 API에 의존하기보다 저수준 최적화가 포함된 전문적인 모니터링 도구를 활용하는 것이 효과적입니다.

datadogCI/CD성능 최적화ruby-on-rails+4

datadog·2024년 11월 1일원문

테스트 시간을 50% 단축하는 Ruby 라이브러리를 만든 방법 (새 탭에서 열림)

소프트웨어 프로젝트의 규모가 커짐에 따라 발생하는 길고 불안정한 CI 파이프라인은 개발 생산성을 저해하는 주요 원인입니다. 데이터독(Datadog)은 코드 변경 사항과 관련된 테스트만 선택적으로 실행하는 '테스트 영향 분석(Test Impact Analysis)' 기술을 통해 이 문제를 해결하고자 했으며, 성능 오버헤드를 최소화한 Ruby용 Intelligent Test Runner를 구축했습니다. 이를 위해 기존 도구들의 한계를 넘어 Ruby VM 인터프리터 이벤트를 직접 활용하는 C 익스텐션을 개발함으로써 테스트 시간을 절반으로 단축하는 성과를 거두었습니다. **테스트 영향 분석의 개념과 필요성** * CI 파이프라인의 병렬 실행은 속도를 높일 수 있지만, 클라우드 컴퓨팅 비용이 증가하고 관련 없는 코드의 결함으로 인한 테스트 실패(Flaky tests) 문제를 해결하지 못합니다. * 테스트 영향 분석은 각 테스트와 해당 테스트가 실행하는 소스 파일 간의 매핑 정보를 동적으로 생성하여 관리합니다. * Git 커밋에서 변경된 파일과 특정 테스트가 의존하는 파일 목록이 겹칠 때만 해당 테스트를 실행하고, 관련이 없는 경우 건너뜁니다. * 이 시스템은 정확성(필요한 테스트를 거르지 않음), 성능(매 커밋마다 실행 가능할 정도로 낮은 오버헤드), 투명성(사용자 코드 수정 없음)이라는 세 가지 핵심 요구사항을 충족해야 합니다. **기존 Ruby 솔루션의 한계** * **내장 Coverage 모듈:** Ruby 3.1에서 추가된 테스트별 커버리지 수집 기능은 `SimpleCov`와 같은 기존 커버리지 도구와 호환되지 않으며, 성능 오버헤드가 약 300%에 달해 테스트 속도가 4배나 느려지는 단점이 있습니다. * **TracePoint API:** VM 이벤트를 구독하는 `TracePoint` 방식은 사용이 간편하고 기존 도구와 충돌하지 않지만, 여전히 200~400% 수준의 높은 성능 저하를 유발하여 실제 개발 환경에 적용하기 어렵습니다. **Ruby VM 이벤트를 활용한 맞춤형 C 익스텐션** * 성능 최적화를 위해 Ruby 소스 코드의 `coverage.c`와 `thread.c`를 분석하여, C 언어 수준에서 직접 인터프리터 이벤트를 가로채는 방식을 채택했습니다. * Ruby의 C API인 `rb_add_event_hook2`를 사용하여 `RUBY_EVENT_LINE` 이벤트를 등록함으로써, 코드가 실행되는 시점에 즉각적으로 파일 정보를 수집하도록 설계했습니다. * `dd_cov_update_line_coverage`와 같은 콜백 함수 내에서 실행 중인 파일이 프로젝트 루트 내에 있는지 확인하는 필터링 로직을 구현하여 데이터 수집의 효율성을 높였습니다. * 이 접근 방식은 Ruby 인터프리터 내부 메커니즘을 직접 활용함으로써 성능 오버헤드를 획기적으로 낮추고, 대규모 테스트 수트에서도 무리 없이 작동합니다. 규모가 큰 Ruby 프로젝트에서 테스트 속도 정체와 CI 비용 증가 문제를 겪고 있다면, 전체 테스트를 매번 실행하는 대신 테스트 영향 분석 도구를 도입하여 파이프라인의 효율성을 극대화할 것을 권장합니다. 특히 성능이 중요한 환경이라면 Ruby 내장 도구에만 의존하기보다 VM 이벤트를 직접 제어하는 방식이 유효한 해결책이 될 수 있습니다.

datadogCI/CD클라우드 컴퓨팅성능 최적화+4

datadog·2024년 9월 23일·2분 읽기큐레이션 요약

비용, 품질, 안전성을 고려

Datadog은 Gartner의 2026년 Observability Platforms 매직 쿼드런트에서 ‘Leader’로 선정되었다고 홍보한다. 제공된 내용은 실제 기술 블로그 본문이 아니라 Datadog 제품 메뉴와 관련 링크가 대부분이므로, 포스트모템에서 LLM을 활용하는 구체적인 방법이나 기술적 결론은 확인할 수 없다. ### Gartner 매직 쿼드런트 선정 - Datadog이 관측성 플랫폼 분야의 리더로 평가받았다는 내용이다. - 관련 링크는 Gartner 보고서 다운로드 또는 안내 페이지로 연결된다. - 이는 Datadog의 시장 영향력과 제품 역량을 강조하기 위한 홍보성 메시지다. ### Datadog 관측성 제품 범위 제공된 메뉴는 Datadog이 단일 모니터링 도구를 넘어 여러 운영 영역을 통합하려는 플랫폼 전략을 보여준다. - **인프라 모니터링** - 호스트 맵, 메트릭, 컨테이너, Kubernetes 오토스케일링 - 네트워크, 서버리스, GPU, 스토리지, 클라우드 비용 관리 - **애플리케이션 성능 관리** - APM, 서비스 모니터링, 연속 프로파일링 - 동적 계측과 AI 에이전트 관측성 - **로그·데이터 관측성** - 로그 관리, 민감 데이터 탐지, 감사 추적 - 데이터베이스, 데이터 스트림, 데이터 품질 및 작업 모니터링 - **보안** - 코드 보안, SAST, IAST, IaC·클라우드 보안 - SIEM, 워크로드 보호, 취약점 및 비밀정보 탐지 - **디지털 경험** - 브라우저·모바일 RUM, 세션 리플레이 - 신세틱 모니터링, 오류 추적, 제품 분석 - **소프트웨어 제공 및 서비스 관리** - CI/CD 가시성, 테스트 최적화, 코드 커버리지 - 인시던트 대응, SLO, 이벤트 관리, 워크플로 자동화 - **AI 기능** - Bits AI 에이전트와 조사 기능 - AI 통합, MCP 서버, GPU 모니터링, AI 에이전트 관측성 ### 제공된 자료의 한계 - 링크의 제목으로 보아 원문은 LLM을 활용한 포스트모템 작성 또는 분석을 다루는 글로 보인다. - 그러나 본문, 구현 방식, 프롬프트, 데이터 처리 과정, 정확성 검증 방법은 제공되지 않았다. - 따라서 LLM 기반 포스트모템 자동화의 장단점이나 실제 적용 절차를 이 자료만으로 요약할 수는 없다. 실제 기술 블로그 본문을 요약하려면 링크의 본문 내용이나 전체 텍스트를 추가로 제공해야 한다.

원문 읽기(새 탭에서 열림)

AI 에이전트쿠버네티스옵저버빌리티애플리케이션 성능 모니터링+4

datadog·2024년 9월 23일원문

장애 회고 작성을 지원하기 위해 비용, 품질, 안전성 측면에서 LLM 활용을 최적화한 방법 (새 탭에서 열림)

장애 해결 후 포스트모템(장애 회고록)을 작성하는 과정은 조직의 학습과 복구 능력 향상을 위해 필수적이지만, 엔지니어들에게는 상당한 시간과 노력이 드는 번거로운 작업입니다. 이를 해결하기 위해 Datadog은 Bits AI에 LLM을 도입하여 정형화된 장애 메타데이터와 슬랙의 비정형 대화 데이터를 결합해 포스트모템 초안을 자동 생성하는 기능을 구현했습니다. 이 프로젝트는 단순한 자동화를 넘어, 환각 현상을 억제하고 엔지니어가 직접 내용을 검토하며 학습하는 '인간 중심의 통제권'을 유지하는 데 초점을 맞추었습니다. ### LLM 기반 포스트모템 도입 시 직면한 과제 * **데이터 정확성 및 환각(Hallucinations):** LLM은 문법적으로는 완벽해 보이지만 사실이 아닌 내용을 그럴듯하게 생성하는 경향이 있습니다. 팩트가 생명인 장애 보고서에서 이러한 비결정론적 특성을 제어하는 것이 가장 큰 과제였습니다. * **비용, 속도, 품질의 트레이드오프:** GPT-4와 같은 고성능 모델은 정확도가 높지만 GPT-3.5에 비해 비용이 최대 50배 비싸고 생성 속도가 느려, 사용자 경험과 운영 비용 사이의 균형점이 필요했습니다. * **학습 과정의 훼손 방지:** AI가 완성된 결과물을 그대로 제공하면 엔지니어가 장애 원인을 깊이 파고드는 학습 기회를 놓칠 수 있습니다. 따라서 AI는 '작성 보조 도구'로서 초안을 제공하고 최종 판단은 인간이 하도록 설계해야 했습니다. * **보안 및 개인정보 보호:** 장애 데이터에는 민감한 정보나 비밀번호 등이 포함될 수 있으므로, LLM에 데이터를 전달하기 전 이를 사전에 필터링하는 보안 레이어가 필수적이었습니다. ### 정확도 향상을 위한 기술적 해결책 * **커스텀 API 및 데이터 정제 프레임워크:** 슬랙 대화와 장애 관리 앱에서 데이터를 추출한 뒤, 민감 정보를 제거하고 구조화하여 LLM이 처리하기 쉬운 형태로 변환하는 전용 API를 개발했습니다. * **정형·비정형 데이터의 결합:** 수동으로 입력된 장애 메타데이터(정형)뿐만 아니라, 장애 당시의 급박한 상황이 담긴 슬랙 대화 내용(비정형)을 함께 분석하여 문맥적으로 더 정확한 초안을 생성하도록 했습니다. * **프롬프트 엔지니어링 및 파라미터 튜닝:** 100시간 이상을 투입해 프롬프트 구조를 반복 수정했으며, 모델의 온도(Temperature) 설정을 낮추어 출력의 일관성을 높이고 무작위성을 줄였습니다. * **점진적 검증 프로세스:** 포스트모템 작성을 돕기 전, 먼저 짧은 '장애 요약 기능'을 구현하여 모델의 성능을 테스트하고 여기서 얻은 인사이트를 긴 문서 작성 기능에 피드백하는 방식을 취했습니다. ### 모델 출력 평가 및 피드백 루프 * **정성적/정량적 평가 병행:** 기존에 사람이 작성한 포스트모템과 AI가 생성한 초안을 정확성, 간결성, 유용성 등의 항목으로 비교하는 설문 조사를 실시하여 품질을 지속적으로 개선했습니다. * **사용자 피드백 반영:** 초안 생성 과정에서 엔지니어가 수정하는 내용을 추적하여, 어떤 부분이 부족하고 어떤 정보가 더 보강되어야 하는지 데이터 기반으로 파악하고 있습니다. LLM을 이용한 포스트모템 작성 지원은 엔지니어의 업무 부담을 줄여주는 동시에, 장애로부터 배우는 조직 문화를 더욱 공고히 하는 강력한 도구가 될 수 있습니다. 다만, AI의 결과물을 맹신하기보다는 엔지니어가 비판적으로 검토할 수 있는 '초안' 단계로 활용하는 것이 시스템의 신뢰성과 교육적 가치를 유지하는 핵심입니다.

대규모 언어 모델datadogslack데이터 사이언스+4

datadog·2024년 6월 28일원문

대규모 시계열 인덱싱 (새 탭에서 열림)

Datadog은 5년 사이 데이터 규모가 30배 이상 급증함에 따라, 기존의 시계열 인덱싱 시스템에서 발생하는 성능 병목과 유지보수 문제를 해결하기 위해 아키텍처를 재설계했습니다. 수조 건의 이벤트를 효율적으로 처리하기 위해 인덱스 서비스를 시계열 데이터 저장소와 분리하였으며, 쿼리 로그를 분석해 인덱스를 자동으로 생성하는 전략을 취했습니다. 이 글은 RocksDB와 SQLite를 기반으로 한 초기 인덱싱 서비스의 구조와 대규모 시계열 데이터를 관리하기 위한 Datadog의 기술적 접근 방식을 다룹니다. ### 메트릭 플랫폼의 계층별 구조 * **수집(Intake) 계층:** 데이터 포인트는 메트릭 이름, 태그(env, host, service 등), 타임스탬프, 수치 값으로 구성됩니다. 수집된 데이터는 메시지 브로커인 Kafka로 전달되어 분석, 인덱싱, 아카이빙 등 다양한 용도로 독립적으로 소비됩니다. * **저장(Storage) 계층:** 데이터 저장소는 두 개의 서비스로 나뉩니다. '시계열 데이터베이스'는 `<시계열_ID, 타임스탬프, 값>` 튜플을 저장하고, '시계열 인덱스' 서비스는 RocksDB를 기반으로 `<시계열_ID, 태그>`를 매핑하여 쿼리 시 필터링과 그룹화를 담당합니다. * **쿼리(Query) 계층:** 분산 쿼리 계층은 인덱스 노드에서 검색된 식별자를 바탕으로 시계열 데이터베이스에서 실제 값을 가져와 병합하며, 필터와 집계 함수(avg 등)를 적용해 최종 결과를 도출합니다. ### 쿼리 로그 분석을 통한 자동 인덱싱 전략 * **풀 스캔 방지:** 특정 메트릭의 전체 데이터를 조회하는 비효율적인 스캔을 피하고자, 태그 기반의 인덱스를 생성하여 쿼리 실행 속도를 최적화했습니다. * **동적 인덱스 생성:** 시스템은 백그라운드 프로세스를 통해 실시간 쿼리 로그를 분석합니다. 쿼리 횟수, 실행 시간, 입력 대비 출력 식별자 비율을 따져 리소스 소모가 큰 '고선택성' 쿼리에 대해 자동으로 인덱스를 생성합니다. * **구체화된 뷰(Materialized Views):** 자주 사용되는 복잡한 쿼리를 미리 계산된 인덱스 형태로 저장함으로써, 반복되는 쿼리 요청을 단순한 키-값 조회로 변환해 CPU와 메모리 리소스를 획기적으로 절감합니다. ### 임베디드 데이터베이스를 활용한 시스템 설계 * **SQLite 기반의 메타데이터 관리:** 인덱스 정의와 쿼리 로그 등 읽기 중심의 데이터는 Go 애플리케이션 내에 임베디드된 SQLite에 저장됩니다. SQL의 유연성 덕분에 CLI를 통한 디버깅과 테이블 관리가 용이합니다. * **RocksDB를 통한 고성능 쓰기 처리:** 매일 발생하는 수조 건의 인덱싱 데이터는 고성능 키-값 저장소인 RocksDB가 처리합니다. 별도의 서버 프로세스 없이 애플리케이션에 직접 통합되어 성능 극대화를 꾀했습니다. * **인덱스 수명 주기 관리:** 일정 기간 쿼리가 발생하지 않아 쓸모없어진 인덱스는 시스템이 자동으로 삭제하여 저장 공간을 효율적으로 관리합니다. 대규모 분산 환경에서 모든 데이터에 대해 미리 인덱스를 생성하는 것은 불가능에 가깝습니다. Datadog의 사례처럼 실제 사용자의 쿼리 패턴을 모니터링하고, 리소스 집약적인 쿼리에 대해 인덱스를 동적으로 생성하는 '쿼리 기반 최적화' 방식은 폭발적인 데이터 성장세 속에서 시스템 가용성을 유지하는 매우 실용적인 전략입니다.

데이터베이스 설계datadogApache KafkaGo+4

datadog·2024년 6월 28일·1분 읽기큐레이션 요약

대규모 시계열 인

제공된 내용에는 본문이 거의 없고, Datadog 웹사이트의 메뉴 목록과 “Gartner Observability Platforms 2026 리더 선정” 문구만 포함되어 있습니다. 따라서 링크된 기술 글인 **“Timeseries Indexing at Scale”**의 핵심 주장이나 구현 세부사항은 정확히 요약할 수 없습니다. ### 확인 가능한 내용 - Datadog이 Gartner의 Observability Platforms 2026 Magic Quadrant에서 Leader로 선정되었다는 홍보 문구가 포함되어 있습니다. - 페이지 메뉴에는 다음과 같은 Datadog 제품군이 나열되어 있습니다. - 인프라 모니터링, 메트릭, 컨테이너·네트워크 모니터링 - APM, 데이터베이스·로그 모니터링 - 보안, RUM, CI/CD, 서비스 관리 - AI 에이전트, 대시보드, 알림 및 워크플로 자동화 - 링크 주소상 원래 기술 글의 주제는 대규모 환경에서의 **시계열 데이터 인덱싱**입니다. ### 정확한 요약을 위해 필요한 내용 - 기술 글 본문 전체를 붙여 넣거나 - 본문이 포함된 링크 내용을 다시 제공해 주세요. 현재 자료만으로는 시계열 인덱싱의 데이터 구조, 샤딩·파티셔닝, 쓰기 및 조회 최적화 방식 같은 기술적 세부사항을 신뢰성 있게 설명하기 어렵습니다.

원문 읽기(새 탭에서 열림)

쿠버네티스옵저버빌리티애플리케이션 성능 모니터링로그 관리+4

datadog·2024년 5월 23일원문

정적 분석기를 Java에서 Rust로 마이그레이션한 방법 (새 탭에서 열림)

Datadog은 정적 분석 도구의 성능 병목 현상을 해결하고 제한된 CI 환경에서의 효율성을 극대화하기 위해 기존 Java 기반의 엔진을 Rust로 완전히 재작성했습니다. 이 과정에서 ANTLR 대신 Tree-sitter를 도입하고 JavaScript 규칙 실행 엔진을 GraalVM에서 Deno(V8)로 교체함으로써, 분석 속도는 3배 향상시키고 메모리 사용량은 10배 절감하는 성과를 거두었습니다. 결과적으로 이번 전환은 고성능 정적 분석을 위해 언어와 런타임 수준의 근본적인 변화가 필수적이었음을 보여줍니다. **Java 기반 정적 분석기의 한계와 환경적 제약** * **CI 자원 최적화 문제:** 고객의 CI 환경(예: GitHub Actions)에서 분석기를 실행할 때, 2코어 및 7GB RAM과 같은 제한된 자원 내에서 Java 분석기는 수천 개의 파일을 스캔하는 데 5분 이상 소요되어 목표치(3분 이내)를 충족하지 못했습니다. * **환경 충돌 및 오버헤드:** Java 기반 분석기는 최신 JVM(17+)을 요구하는데, 이는 고객의 기존 CI 환경에 설치된 Java 버전과 충돌을 일으키거나 불필요한 설정 부담을 주었습니다. * **파싱 성능 저하:** 기존에 사용하던 ANTLR은 대규모 저장소에서 파싱 속도가 느렸고, 특정 언어에 대한 지원이 부분적이라는 기술적 한계가 있었습니다. **Tree-sitter 도입과 Rust로의 전환 결정** * **파서 교체:** 성능 향상을 위해 C로 구현되어 속도가 빠르고 오픈소스 커뮤니티가 활발한 Tree-sitter를 채택했습니다. * **Java 라이브러리의 한계:** Tree-sitter용 Java 라이브러리는 분석기 최적화에 필수적인 패턴 매칭 기능을 지원하지 않는 등 기능이 제한적이었습니다. * **언어 선택의 기로:** Tree-sitter가 가장 견고하게 지원하는 언어가 Rust라는 점에 착안하여, 예측 가능한 성능을 위해 Rust로의 전체 재작성이라는 도전적인 경로를 선택했습니다. **Rust 기반의 새로운 아키텍처 구성** * **AST 구축(Tree-sitter):** Rust는 Tree-sitter 생태계의 "일등 시민(First-class citizen)"으로, 직접적인 라이브러리 연동을 통해 별도의 Java 바인딩 유지보수 없이도 강력한 파싱 기능을 확보했습니다. * **자바스크립트 규칙 실행(Deno):** 정적 분석 규칙은 자바스크립트로 작성되는데, 기존 Java의 GraalVM 대신 Deno(deno-core)를 런타임으로 도입했습니다. * **보안 및 효율성:** Deno의 V8 엔진을 활용하되, 분석 규칙이 디스크나 네트워크에 접근하지 못하도록 `deno-core` 크레이트만 통합하여 보안이 강화된 샌드박스 환경을 구축했습니다. **마이그레이션 결과 및 기술적 권고** 성공적인 Rust 전환을 통해 동일한 프로그램에 대해 Java 버전과 일치하는 분석 결과를 보장하면서도 성능은 3배, 메모리 효율은 10배 개선되었습니다. 특히 리소스가 제한된 CI/CD 파이프라인에서 정적 분석 도구를 운영해야 한다면, JVM과 같은 무거운 런타임보다는 Rust와 같이 저수준 제어가 가능하고 메모리 오버헤드가 적은 언어를 선택하는 것이 장기적으로 유리합니다.

데이터베이스 설계CI/CDJavaScriptRust+4

datadog·2024년 5월 23일·1분 읽기큐레이션 요약

자바에서 러스트로 정

제공된 내용에는 본문이 아니라 Datadog 웹사이트의 메뉴와 링크 목록만 포함되어 있습니다. 확인 가능한 글 제목은 **“How we migrated our static analyzer from Java to Rust”**뿐이므로, 마이그레이션 동기·구현 방식·성능 개선 수치 등은 정확히 요약할 수 없습니다. - 확인 가능한 주제: Java로 구현된 정적 분석기를 Rust로 이전한 과정 - 본문에 필요한 정보: 기존 Java 구현의 문제점, Rust를 선택한 이유, 단계적 이전 전략, Java와 Rust 간 연동 방식, 테스트·검증 방법, 성능 및 메모리 개선 결과 - 현재 제공된 메뉴 목록은 인프라 모니터링, APM, 보안, 로그 등 Datadog 제품 탐색용 내용이며 해당 기술 글의 본문이 아닙니다. 글의 본문이나 본문이 포함된 원문을 보내주시면 요청하신 형식으로 구체적으로 요약할 수 있습니다.

원문 읽기(새 탭에서 열림)

쿠버네티스datadog옵저버빌리티애플리케이션 성능 모니터링+4

datadog·2024년 5월 21일·3분 읽기큐레이션 요약

엔지니어링 부사장 스

Datadog이 Gartner의 2026년 Observability Platforms Magic Quadrant에서 ‘Leader’로 선정되었다는 소식을 소개하는 페이지입니다. 제공된 내용은 평가 근거와 세부 분석보다는 Datadog의 제품군과 기능을 폭넓게 나열하는 데 초점을 둡니다. 따라서 리더 선정의 구체적인 이유나 경쟁사 비교는 본문만으로 확인하기 어렵습니다. ### Gartner 리더 선정 - Datadog은 Gartner의 **Observability Platforms Magic Quadrant 2026**에서 Leader로 소개됩니다. - 링크 제목과 배너를 통해 시장 내 관측성 플랫폼 공급업체로서의 위치를 강조합니다. - 다만 제공된 텍스트에는 Gartner의 평가 기준, 점수, 강점과 약점, 경쟁사 비교 내용이 포함되어 있지 않습니다. ### 인프라 및 애플리케이션 모니터링 - 인프라 영역에서는 다음 기능을 제공합니다. - 인프라·컨테이너·네트워크 모니터링 - 메트릭 수집 - Kubernetes 오토스케일링 - 서버리스 및 GPU 모니터링 - 클라우드 비용·스토리지 관리 - Cloudcraft를 통한 클라우드 아키텍처 시각화 - 애플리케이션 영역에는 다음 기능이 포함됩니다. - APM(Application Performance Monitoring) - 서비스 모니터링 - 지속적 프로파일링 - 동적 계측 - AI 에이전트 관측성 ### 로그 및 데이터 관측성 - 로그 관리와 Observability Pipelines를 통해 로그 수집·처리·전송을 지원합니다. - Sensitive Data Scanner로 로그에 포함된 민감정보를 탐지할 수 있습니다. - 데이터베이스 모니터링, 데이터 스트림 모니터링, 데이터 품질 및 작업 모니터링 기능도 제공합니다. - 이를 통해 애플리케이션뿐 아니라 데이터 파이프라인과 저장소까지 관측 범위를 확장합니다. ### 보안 관측성과 클라우드 보안 - 코드 보안, SAST, IAST, 소프트웨어 구성 분석(SCA), IaC 보안을 제공합니다. - 클라우드 환경에서는 다음을 다룹니다. - 취약점 관리 - CSPM(클라우드 보안 형상 관리) - CIEM(클라우드 인프라 권한 관리) - 컴플라이언스 - Cloud SIEM - 워크로드 보호 - 애플리케이션·API 보호 - 관측성과 보안 기능을 하나의 플랫폼에서 연계하려는 방향이 드러납니다. ### 사용자 경험과 소프트웨어 전달 - Browser·Mobile RUM으로 실제 사용자 경험을 추적합니다. - Session Replay, Synthetic Monitoring, 모바일 앱 테스트, 오류 추적, 제품 분석 및 실험 기능을 제공합니다. - CI Visibility, 테스트 최적화, 지속적 테스트, 코드 커버리지, 피처 플래그 등으로 소프트웨어 개발·배포 과정도 관측합니다. - 내부 개발자 포털과 IDE 플러그인을 통해 개발자 워크플로와 서비스 정보를 연결합니다. ### 서비스 관리와 AI 기능 - 이벤트 관리, 서비스 카탈로그, SLO, 인시던트 대응, 케이스 관리, 워크플로 자동화를 지원합니다. - Watchdog과 Bits 계열 AI 기능을 통해 이상 탐지, 장애 조사, 보안 분석, 대화형 질의 등을 자동화하려는 구성을 갖추고 있습니다. - AI 에이전트 관측성, GPU 모니터링, MCP Server 등 AI 애플리케이션 운영을 위한 기능도 포함됩니다. 제공된 자료만으로는 Gartner 선정의 세부 근거를 판단하기 어렵기 때문에, 실제 도입을 검토한다면 Gartner 원문에서 평가 기준과 제한사항을 확인한 뒤, 사용 중인 클라우드·Kubernetes·로그·보안 도구와의 연동성 및 전체 운영 비용을 별도로 검증하는 것이 좋습니다.

원문 읽기(새 탭에서 열림)

쿠버네티스datadog옵저버빌리티애플리케이션 성능 모니터링+3

datadog·2024년 5월 21일원문

엔지니어링 부문 VP 스포트라이트: 이보 디미트로프 (새 탭에서 열림)

데이터독(Datadog)의 엔지니어링 VP 이보 디미트로프(Ivo Dimitrov)는 30년 이상의 경력을 가진 베테랑으로서, 고성능 저수준 시스템 개발자에서 대규모 분산 시스템을 총괄하는 리더로 성장해 온 인물입니다. 그는 마이크로소프트와 링크드인에서 쌓은 대규모 스토리지 인프라 구축 경험을 바탕으로, 현재 데이터독에서 메트릭과 이벤트 플랫폼의 기술적 혁신을 이끌고 있습니다. 기술적 깊이와 조직적 비전 사이의 균형을 강조하는 그의 여정은 복잡한 데이터 시스템을 다루는 엔지니어와 관리자들에게 중요한 통찰을 제공합니다. ### 저수준 시스템 개발에서 엔지니어링 리더십으로의 전환 * 전기 공학 전공 중 실시간 운영체제(RTOS) 커널 기여를 통해 소프트웨어 개발에 입문했으며, 이후 10년간 C/C++ 기반의 고성능 시스템 프로그래밍에 집중했습니다. * 마이크로소프트의 Azure Blob Storage 초기 팀에서 근무하던 중 조직 개편을 계기로 관리직을 맡게 되었으며, 현장에서의 실무 교육과 멘토링을 통해 리더십 역량을 쌓았습니다. * 자신의 업무에만 집중하는 단계를 넘어 타인의 성장을 촉진하고 조직 간의 경계를 조율하는 '오너십(Ownership)'의 가치를 발견하며 매니지먼트의 매력을 느꼈습니다. ### 대규모 분산 스토리지 플랫폼 구축 경험 * 링크드인 재직 당시, 현재까지 전체 데이터셋의 95% 이상을 처리하는 독점 키-값(Key-Value) 저장소인 'Espresso'를 초기 단계에서 성숙한 플랫폼으로 성장시켰습니다. * 파생 데이터 서빙을 위한 'Venice', 오픈소스 블록 스토리지인 'Ambry', 클러스터 관리자인 'Helix' 등 인터넷 규모의 스토리지 인프라 프로젝트들을 주도했습니다. * 이러한 경험을 통해 대규모 레거시 환경의 제약에서 벗어나, 기술적 위험을 감수하고 빠르게 혁신할 수 있는 문화적 유연성의 중요성을 깨달았습니다. ### 데이터독의 분산 데이터 시스템과 기술적 지향점 * 현재 데이터독에서 메트릭(Metrics), 이벤트(Events), 로그 및 트레이스 등 반정형 데이터를 처리하는 분산 데이터 시스템 조직을 총괄하고 있습니다. * 온라인 분석 워크로드에 최적화된 특수 메인 메모리 데이터베이스인 'Driveline'을 통해 시계열 데이터 처리의 효율성을 극대화하고 있습니다. * 서로 다른 도메인별 API를 통합하는 '교차 플랫폼 쿼리(Cross-Platform Queries)' 팀을 운영하여, 고객과 엔지니어 모두가 통일된 인터페이스로 데이터에 접근할 수 있도록 추상화 계층을 구축 중입니다. * 전체 쿼리의 80% 이상을 차지하는 알람(Alerts) 플랫폼을 메트릭 및 이벤트 플랫폼과 통합하여 시스템의 일관성을 높이고 있습니다. **실용적인 제언** 개인 기여자(IC)에서 관리자로 전환할 때는 기술적 전문성을 포기하는 것이 아니라, 그 전문성을 바탕으로 조직의 비전을 설계하고 팀원들이 역량을 발휘할 수 있는 환경을 조성하는 데 집중해야 합니다. 특히 데이터독의 사례처럼 쿠버네티스(Kubernetes) 기반의 현대적 인프라와 실험을 장려하는 문화를 결합할 때, 기술적 부채를 최소화하면서도 폭발적인 성장을 뒷받침하는 시스템을 구축할 수 있습니다.

데이터베이스 설계쿠버네티스PostgreSQL분산 시스템+4

datadog·2024년 5월 20일원문

.NET 연속 프로파일러: 메모리 사용량 (새 탭에서 열림)

Datadog의 .NET 프로파일러는 가비지 컬렉션(GC)의 효율성과 메모리 할당 패턴을 분석하여 애플리케이션의 성능 병목 현상을 진단합니다. 이 시스템은 모든 할당을 추적하는 대신 `AllocationTick` 이벤트를 활용한 샘플링 방식을 채택하여 운영 환경에서의 오버헤드를 최소화하면서도 정밀한 데이터를 제공합니다. 특히 .NET 7의 최신 API를 통해 객체의 생존 주기를 추적함으로써, CPU 부하의 원인이 되는 과도한 GC 작업과 잠재적인 메모리 누수 지점을 정확히 찾아내는 데 결론적인 도움을 줍니다. ### 가비지 컬렉터가 CPU에 미치는 영향 측정 * **전용 스레드 모니터링**: 서버 GC 설정 시 CLR이 생성하는 코어당 전용 스레드(.NET Server GC 및 .NET BGC)의 CPU 소비량을 운영체제로부터 직접 수집합니다. * **Pull 모델 채택**: GC 발생 시마다 이벤트를 받는 Push 방식과 달리, 프로파일러가 1분마다 주기적으로 GC 스레드의 CPU 사용 통계를 가져와 'Garbage Collector'라는 단일 프레임을 가진 네이티브 콜 스택 샘플로 기록합니다. * **버전별 차이**: .NET 5 이상에서는 GC 스레드 식별이 가능하여 정확한 측정이 가능하지만, 이전 버전에서는 스레드 ID 정보 부족으로 인해 이 기능을 완벽히 지원하기 어렵습니다. ### AllocationTick을 활용한 효율적인 할당 추적 * **샘플링 기반 추적**: 모든 객체 할당을 기록하는 `ObjectAllocated` 방식은 성능 저하가 극심하므로, 약 100KB의 할당이 누적될 때마다 발생하는 `AllocationTick` 이벤트를 사용하여 데이터를 수집합니다. * **상세 정보 수집**: 이벤트 페이로드에서 클래스 ID(ClassID), 타입 이름, 메모리 주소, 객체 크기뿐만 아니라 해당 객체가 할당된 힙의 종류(SOH, LOH, POH)까지 식별합니다. * **동기적 콜 스택 캡처**: 해당 이벤트는 할당을 수행한 스레드에서 동기적으로 발생하므로, 즉시 콜 스택을 워킹(Stack Walking)하여 어떤 비즈니스 로직이 메모리 압박을 유발하는지 특정할 수 있습니다. ### Weak Handle을 이용한 생존 객체 및 누수 탐지 * **객체 이동 대응**: GC의 컴팩션(Compaction) 단계에서 객체 주소가 변경되는 문제를 해결하기 위해, 샘플링된 객체에 대해 Weak 핸들을 생성하여 관리합니다. * **ICorProfilerInfo13 활용**: .NET 7에서 추가된 이 프로파일링 API를 통해, GC 이후에도 핸들이 가리키는 객체가 여전히 메모리에 살아있는지(`IsAllocated`)를 확인합니다. * **생명 주기 분석**: GC가 끝날 때마다 참조되지 않는 객체의 핸들은 제거하고, 생존한 객체들은 다음 프로필에 포함시켜 어떤 데이터가 메모리에 오래 머무르며 누수를 유발하는지 추적합니다. 운영 환경에서 메모리 문제를 분석할 때는 단순한 할당량 확인을 넘어, GC로 인한 CPU 점유율과 객체의 생존 기간을 함께 살펴야 합니다. 특히 .NET 7 이상의 최신 런타임을 활용하면 프로파일러의 Weak 핸들 추적 기능을 통해 메모리 누수 탐지의 정확도를 대폭 높일 수 있습니다.

datadog성능 최적화dotnetgarbage-collection+4

datadog·2024년 5월 20일·2분 읽기큐레이션 요약

.NET 컨티뉴어스 프로

Datadog은 Gartner의 2026년 Observability Platforms Magic Quadrant에서 ‘Leader’로 선정되었다고 발표합니다. 제공된 내용은 이 발표와 Datadog 제품군의 탐색 메뉴를 중심으로 구성되어 있어, 선정 근거나 Gartner의 세부 평가 내용은 확인할 수 없습니다. ## Gartner Magic Quadrant 리더 선정 - Datadog이 **Gartner® Magic Quadrant™ for Observability Platforms 2026**에서 Leader로 분류되었다는 소식입니다. - 다만 제공된 본문에는 다음 정보가 포함되어 있지 않습니다. - 평가 기준 - Datadog의 구체적인 강점과 약점 - 경쟁 업체와의 비교 - Gartner 보고서의 원문 분석 - 따라서 이 글은 기술적 분석보다는 Datadog의 리더 선정 사실을 알리는 홍보성 콘텐츠에 가깝습니다. ## Datadog의 인프라·애플리케이션 관측성 - 인프라 모니터링 - 메트릭, 컨테이너, Kubernetes 오토스케일링 - 네트워크, 서버리스, GPU, 스토리지 모니터링 - 클라우드 비용 관리와 Cloudcraft - 애플리케이션 성능 관리 - APM과 Universal Service Monitoring - Continuous Profiler를 통한 코드 성능 분석 - Dynamic Instrumentation과 Agent Observability - 데이터 계층 - 데이터베이스 및 데이터 스트림 모니터링 - 데이터 품질과 작업(Job) 모니터링 ## 로그·보안·디지털 경험 관리 - 로그 관리 - Log Management와 Observability Pipelines - Sensitive Data Scanner를 통한 민감 정보 탐지 - Audit Trail을 통한 활동 추적 - 보안 - 코드 보안, SAST, IAST, 소프트웨어 구성 분석 - 클라우드 보안, 취약점 관리, Cloud SIEM - 워크로드 및 애플리케이션·API 보호 - 디지털 경험 - 브라우저·모바일 RUM - 세션 재생, 신세틱 모니터링, 오류 추적 - 제품 분석과 모바일 앱 테스트 ## 소프트웨어 전달·서비스 관리·AI - 소프트웨어 개발 및 배포 - CI Visibility, 테스트 최적화, 지속적 테스트 - 코드 커버리지, 기능 플래그, 내부 개발자 포털 - 서비스 관리 - 이벤트 관리, 인시던트 대응, SLO - 서비스 카탈로그, 케이스 관리, 워크플로 자동화 - AI 기능 - Bits AI Agents, Bits Chat, Bits Investigation - AI 에이전트 관측성, GPU 모니터링 - MCP Server와 AI 기반 보안 분석 도구 ## 실용적인 결론 제공된 자료만으로는 Datadog이 Gartner에서 리더로 선정된 구체적 이유를 판단하기 어렵습니다. 도입이나 비교를 검토한다면 원문 Gartner 보고서에서 평가 기준과 제한 사항을 확인한 뒤, 실제 환경의 로그·메트릭·트레이스 비용, 데이터 보존 기간, 연동 범위, 보안 요구사항을 함께 검증하는 것이 좋습니다.

원문 읽기(새 탭에서 열림)

쿠버네티스datadog옵저버빌리티애플리케이션 성능 모니터링+4

datadog·2024년 5월 1일·3분 읽기큐레이션 요약

임의의 규모에서 시간에 따른

Datadog의 Heatmap은 시간에 따른 값의 분포를 시각화해 평균이나 단일 백분위수만으로는 보이지 않는 이상치와 분산을 보여준다. 핵심은 대규모 원시 데이터를 모두 저장하거나 조회하지 않고도 분포 정보를 유지하는 근사 자료구조와 다단계 집계를 활용하는 것이다. 그 결과 데이터 규모와 조회 범위가 커져도 일정한 응답성과 시각화 품질을 제공한다. ## 평균 그래프만으로는 부족한 이유 - 평균값은 데이터의 분산, 꼬리 분포, 이상치를 숨길 수 있다. - 예를 들어 요청 시간의 평균이 200ms여도 일부 요청이 수 초 이상 걸리면 사용자 경험에 큰 문제가 생길 수 있다. - Heatmap은 다음 두 축을 함께 표현한다. - 가로축: 시간 - 세로축: 관측값의 크기 - 색상: 해당 시간대와 값 구간에 포함된 데이터 수 또는 밀도 - 이를 통해 특정 시간대에 지연 시간이 어느 구간에 집중됐는지, 긴 꼬리가 발생했는지 확인할 수 있다. ## 대규모 분포 데이터를 다루는 문제 - 모든 원시 측정값을 저장한 뒤 요청마다 분포를 계산하면 저장 공간과 조회 비용이 지나치게 커진다. - 데이터가 많을수록 정확한 히스토그램을 만들기 위해 필요한 값 구간도 복잡해진다. - 시간 범위와 화면 크기에 따라 필요한 시간 버킷 수가 달라지므로, 고정된 해상도의 데이터만으로는 확대·축소와 다양한 쿼리를 지원하기 어렵다. - 따라서 저장 단계에서부터 분포를 압축하고, 조회 시 필요한 해상도로 재구성할 수 있어야 한다. ## 스케치 기반 분포 집계 - Datadog은 개별 값을 모두 보관하는 대신 분포를 요약하는 스케치 자료구조를 사용한다. - 스케치는 값의 정확한 목록을 저장하지 않고, 값이 어떤 범위에 얼마나 많이 존재하는지를 근사한다. - 이러한 구조는 다음 특성을 가진다. - 메모리 사용량이 데이터 개수에 비례해 계속 증가하지 않는다. - 여러 호스트나 서비스에서 생성한 스케치를 병합할 수 있다. - 분산 환경에서 수집기와 저장소가 독립적으로 집계할 수 있다. - 평균, 분위수, 개수 등 분포 관련 질의를 효율적으로 계산할 수 있다. - 특히 로그 형태의 값 분포를 다룰 때는 작은 값에는 세밀한 구간을, 큰 값에는 상대적으로 넓은 구간을 적용해 넓은 값 범위를 적은 수의 버킷으로 표현할 수 있다. ## 시간축과 값축의 버킷화 - Heatmap은 데이터를 시간 구간과 값 구간의 2차원 셀로 나누어 표현한다. - 각 셀에는 해당 시간·값 범위에 속하는 관측치의 개수가 저장된다. - 시간축은 조회 범위와 화면의 픽셀 수에 맞춰 적절한 해상도로 조정된다. - 값축 역시 선형 또는 로그 스케일로 변환할 수 있어, 밀리초 단위의 작은 지연과 수 초 단위의 큰 지연을 동시에 표현할 수 있다. - 확대하면 더 세밀한 버킷을 사용하고, 축소하면 여러 버킷을 합쳐 전송 데이터와 렌더링 비용을 줄인다. ## 병합 가능한 집계의 장점 - 각 에이전트, 호스트, 서비스 또는 시간 파티션에서 만든 요약 데이터를 중앙에서 병합할 수 있다. - 병합은 원시 데이터를 다시 전송하는 것보다 훨씬 적은 네트워크·저장 비용으로 수행된다. - 서로 다른 집계 수준의 데이터를 조합할 수 있으므로 짧은 기간은 높은 정밀도로, 긴 기간은 낮은 정밀도로 조회할 수 있다. - 이 방식은 데이터 수가 매우 많아져도 처리 비용을 원시 이벤트 수가 아닌 요약 데이터 크기에 가깝게 유지한다. ## 시각화와 성능의 균형 - 브라우저가 모든 이벤트를 직접 처리하지 않고, 서버가 화면에 필요한 형태의 버킷 데이터를 반환한다. - 프런트엔드는 반환된 셀의 개수와 색상 강도를 이용해 캔버스 또는 유사한 그래픽 방식으로 Heatmap을 그린다. - 데이터 해상도를 화면 크기에 맞추면 다음 효과를 얻을 수 있다. - 불필요한 데이터 전송 감소 - 렌더링 속도 향상 - 확대·축소와 시간 범위 변경에 대한 빠른 응답 - 다만 근사 집계이므로 정확한 원시값 목록이 필요한 분석에는 적합하지 않고, 전체적인 분포와 이상 패턴을 파악하는 용도로 사용하는 것이 적절하다. ## 실용적인 결론 평균이나 단일 백분위수만으로 시스템 상태를 판단하기보다 Heatmap으로 분포 전체를 확인하면 지연 시간 급증, 이상치, 특정 구간의 집중 현상을 더 쉽게 발견할 수 있다. 대규모 관측 데이터를 처리하는 시스템을 설계할 때는 원시 데이터 보존과 별개로 병합 가능한 스케치, 다단계 시간 버킷, 화면 해상도 기반 쿼리를 함께 고려하는 것이 효과적이다.

원문 읽기(새 탭에서 열림)

datadog옵저버빌리티data-visualizationmetrics+1