datadog·2022년 2월 28일·3분 읽기큐레이션 요약

Go 1.18의 프로

Datadog이 Gartner의 **2026 Observability Platforms Magic Quadrant에서 Leader로 선정되었다**는 홍보성 페이지입니다. 제공된 내용에는 선정 근거, 평가 기준, 경쟁사 비교 등 본문은 포함되지 않고, Datadog의 제품 메뉴와 기능 목록이 주로 담겨 있습니다. 따라서 구체적인 기술적 결론보다는 Datadog이 통합 관측성 플랫폼으로 다양한 영역을 제공한다는 점을 확인할 수 있습니다. ### Gartner Magic Quadrant 리더 선정 - Datadog은 Gartner의 **Observability Platforms 부문 2026 Magic Quadrant에서 Leader로 평가**되었다고 소개합니다. - 다만 제공된 발췌문에는 다음과 같은 세부 정보가 없습니다. - Gartner의 평가 기준 - Datadog의 강점과 약점 - 다른 공급업체와의 비교 - 리더 선정의 구체적인 근거와 점수 ### 인프라 및 애플리케이션 모니터링 - 인프라 영역에서는 다음 기능을 제공합니다. - 호스트 및 인프라 모니터링 - 메트릭 수집과 분석 - 컨테이너 및 Kubernetes 모니터링·오토스케일링 - 네트워크, 서버리스, GPU 모니터링 - 클라우드 비용 및 스토리지 관리 - 애플리케이션 영역에는 다음 기능이 포함됩니다. - APM(Application Performance Monitoring) - 서비스 간 상태를 확인하는 Universal Service Monitoring - Continuous Profiler를 통한 코드 성능 분석 - Dynamic Instrumentation - 데이터베이스 및 데이터 스트림 모니터링 ### 로그 및 데이터 관측성 - 로그 관리와 민감 데이터 탐지를 지원합니다. - Observability Pipelines를 통해 로그의 수집·가공·전송 흐름을 관리할 수 있습니다. - 데이터 품질 모니터링과 작업(Job) 모니터링도 제공해 데이터 파이프라인의 상태를 관찰할 수 있습니다. - Audit Trail을 이용해 플랫폼 내 활동을 추적할 수 있습니다. ### 보안과 디지털 경험 - 보안 플랫폼에는 다음 기능이 포함됩니다. - 클라우드 보안 및 보안 상태 관리(CSPM) - 취약점 관리와 권한 관리 - Cloud SIEM 및 워크로드 보호 - 코드 보안, SAST, IAST, IaC 보안 - 비밀정보 및 민감 데이터 탐지 - 디지털 경험 영역에서는 다음을 제공합니다. - 브라우저·모바일 Real User Monitoring - 세션 리플레이 - Synthetic Monitoring - 오류 추적 - 제품 분석 및 실험 기능 ### 소프트웨어 개발 및 운영 관리 - CI Visibility, 테스트 최적화, 지속적 테스트, 코드 커버리지 등 소프트웨어 전달 과정을 모니터링합니다. - Feature Flags와 IDE 플러그인을 통해 개발 워크플로와 배포 과정도 지원합니다. - 서비스 카탈로그, SLO, 이벤트 관리, 인시던트 대응, 워크플로 자동화 기능을 제공합니다. - 이를 통해 개발·운영·보안팀이 동일한 플랫폼에서 장애 대응과 서비스 상태 관리를 수행하도록 구성되어 있습니다. ### AI 기반 기능 - Datadog은 AI 에이전트 관측성, GPU 모니터링, AI 통합 기능을 별도 영역으로 제공합니다. - Bits AI Agents, Bits Chat, Bits Investigation 등은 장애 분석과 운영 자동화를 지원하는 기능으로 소개됩니다. - MCP Server, Agent Builder, Agent Directory 등을 통해 AI 에이전트와 Datadog 기능을 연결하는 구조도 제시합니다. 실제로 Gartner 평가의 의미나 Datadog 도입 타당성을 판단하려면 원문 보고서에서 평가 기준과 경쟁 제품 비교를 추가로 확인해야 합니다. 제공된 페이지 내용만 보면 Datadog은 인프라·애플리케이션·로그·보안·사용자 경험·개발 운영을 하나의 플랫폼에서 통합하려는 제품 전략을 강조하고 있습니다.

원문 읽기(새 탭에서 열림)

쿠버네티스datadog옵저버빌리티애플리케이션 성능 모니터링+4

datadog·2022년 2월 28일원문

Go 1.18의 프로파일링 개선 사항 (새 탭에서 열림)

Go 1.18은 제네릭과 퍼징(Fuzzing) 외에도 프로파일링 측면에서 비약적인 발전을 이루었으며, 특히 리눅스 환경에서의 CPU 프로파일링 정확도를 획기적으로 개선했습니다. 기존 버전에서 멀티코어 시스템의 CPU 사용량을 실제보다 낮게 측정하던 고질적인 버그를 해결하고, 프로파일러 레이블(pprof labels)의 신뢰성을 높인 것이 핵심입니다. 이러한 변화 덕분에 개발자들은 고부하 분산 시스템에서도 더욱 정밀하게 성능 병목 지점을 파악할 수 있게 되었습니다. ### 리눅스 CPU 프로파일링의 정확도 향상 * **기존 방식의 한계**: Go 1.17까지는 `setitimer(2)` 시스템 콜을 사용하여 10ms마다 `SIGPROF` 신호를 발생시켰으나, POSIX 신호의 특성상 큐에 쌓이지 않아 신호가 처리되기 전 다른 신호가 오면 유실되는 문제가 있었습니다. * **멀티코어에서의 과소측정**: 커널의 시간 측정 단위인 '지피(jiffy)' 해상도 한계로 인해 여러 코어에서 발생한 신호가 특정 시점에 몰리게 되며, 이 과정에서 대량의 신호가 누락되어 실제 CPU 사용량(예: 20코어)보다 훨씬 적은 수치(예: 2.4코어)만 기록되는 현상이 발생했습니다. * **timer_create(2) 도입**: Go 1.18은 스레드별로 신호를 관리할 수 있는 `timer_create(2)`를 도입하여 신호 유실을 방지했습니다. 이를 통해 멀티코어 시스템에서도 모든 CPU 버스트를 정확하게 포착할 수 있습니다. * **cgo 스레드 대응**: Go 런타임이 생성한 스레드뿐만 아니라 cgo 코드에서 생성된 스레드까지 아우르기 위해 `timer_create(2)`와 `setitimer(2)`를 정교하게 조합하여 구현했습니다. ### 프로파일러 레이블(pprof labels) 버그 수정 * **레이블 누락 문제**: 고루틴에 특정 키/값 쌍을 할당하여 프로파일을 분류할 수 있게 해주는 pprof 레이블이 간혹 스택 트레이스에서 누락되는 현상이 발견되었습니다. * **근본 원인 해결**: CPU 프로파일러가 레이블 정보를 수집할 때 엉뚱한 고루틴 객체를 참조하던 로직을 발견했습니다. 이를 현재 스레드에서 실제로 실행 중인 고루틴(`gp.m.curg`)을 정확히 가리키도록 수정하여 데이터의 일관성을 확보했습니다. * **트레이싱 연동 강화**: 이번 수정을 통해 프로파일링 데이터를 분산 트레이싱(Tracing)과 연결하여 분석하는 작업의 신뢰도가 크게 향상되었습니다. Go 1.18은 고성능 멀티코어 서비스를 운영하는 환경에서 필수적인 업데이트입니다. 특히 리눅스 서버에서 Go 애플리케이션의 성능을 분석할 때 이전 버전보다 훨씬 신뢰할 수 있는 데이터를 제공하므로, CPU 프로파일링 기반의 최적화를 진행 중이라면 즉시 업데이트할 것을 권장합니다.

GoLinuxcpu-profilingprofiling+4

datadog·2022년 2월 22일원문

Datadog이 Datadog을 사용해 Datadog 사용자 경험에 대한 가시성을 확보하는 방법 (새 탭에서 열림)

Datadog은 정성적인 사용자 인터뷰를 보완하기 위해 자사의 모니터링 도구인 RUM(Real User Monitoring)과 로그를 직접 활용하여 디자인 의사결정에 필요한 정량적 데이터를 확보합니다. 이른바 '개밥 먹기(Dogfooding)' 전략을 통해 디자이너들은 실제 사용자의 행동 패턴을 정밀하게 분석하고, 이를 바탕으로 UI/UX의 복잡성을 줄이거나 기능을 고도화합니다. 결과적으로 자사 제품을 디자인 도구로 활용함으로써 데이터에 기반한 효율적인 개선과 팀 간의 원활한 협업을 이끌어내고 있습니다. ## 고정폭 글꼴(Monospace Font) 최적화 로그, 소스 코드 등 구조화된 데이터를 표시할 때 글자 폭이 일정한 고정폭 글꼴은 가독성과 레이아웃 예측 가능성 측면에서 매우 중요합니다. * 기존에는 사용자의 시스템 폰트에 의존했으나, 복잡한 테이블 구조에서 레이아웃 깨짐을 방지하기 위해 표준 폰트 도입이 필요했습니다. * Web API의 `Document.font` 인터페이스와 CSS Font Loading API를 활용하여 사용자의 브라우저에 실제로 로드된 폰트 데이터를 RUM으로 수집했습니다. * 수집된 데이터를 분석하여 가장 많은 사용자가 보고 있는 폰트와 유사한 시각적 크기를 가진 'Roboto Mono'를 최종 선정했습니다. * 배포 후에도 RUM 대시보드를 통해 모든 사용자에게 의도한 폰트가 정상적으로 적용되는지 검증했습니다. ## 사용자 상호작용 데이터를 통한 DraggablePane 단순화 패널 크기를 조절하는 DraggablePane 컴포넌트의 핸들은 크기가 작음에도 불구하고 너무 많은 제어 기능이 포함되어 사용자에게 혼란을 줄 우려가 있었습니다. * 어떤 기능이 실제로 유용한지 판단하기 위해 컴포넌트 내부에 커스텀 로거를 설치하여 개별 클릭 이벤트를 추적했습니다. * 데이터 분석 결과, 핸들에 위치한 최소화 및 최대화 버튼의 사용률이 극히 저조하다는 사실을 발견했습니다. * 시각적 노이즈를 줄이기 위해 해당 버튼들을 제거하는 대신, 핸들을 더블 클릭하면 동일한 기능이 수행되도록 상호작용 방식을 개선했습니다. ## 입력 오류 분석을 통한 시간 범위 구문 확장 사용자가 직접 텍스트를 입력해 시간 범위를 설정하는 기능에서, 시스템이 해석하지 못하는 구문을 파악하여 사용자 편의성을 높이고자 했습니다. * Datadog Logs를 사용하여 사용자가 입력한 구문 중 시스템이 해석에 실패한 '유효하지 않은 입력' 데이터를 전수 조사했습니다. * 데이터 분석을 통해 많은 사용자가 당시 지원되지 않던 "weeks" 키워드(예: last 1 week)를 빈번하게 입력하고 있음을 식별했습니다. * 분석된 패턴을 바탕으로 구문 해석 로직을 업데이트한 결과, 기능 출시 초기 약 10%에 달했던 입력 오류율을 5~6% 수준으로 즉시 낮추는 성과를 거두었습니다. 실제 사용자 데이터를 기반으로 한 디자인은 추측이 아닌 확신을 제공합니다. 디자이너가 직접 모니터링 도구를 활용해 사용자 피드백의 빈틈을 정량적으로 메우고, 이를 대시보드로 공유하여 엔지니어와 소통하는 프로세스는 제품의 완성도를 높이는 가장 강력한 방법 중 하나입니다.

데이터베이스 설계사용자 경험datadogreal-user-monitoring+4

datadog·2022년 2월 22일원문

Datadog이 Dat (새 탭에서 열림)

Datadog의 프로덕트 디자이너들은 사용자 경험을 개선하기 위해 인터뷰와 같은 정성적 조사뿐만 아니라, 자사 도구를 직접 활용하는 '도그푸딩(Dogfooding)'을 통해 정량적 데이터를 수집합니다. RUM(Real User Monitoring)과 로그 분석을 통해 실제 사용자의 행동 패턴을 파악함으로써, 디자인 가설을 검증하고 데이터에 기반한 의사결정을 내리고 있습니다. 이러한 접근 방식은 사용자 입장에서 제품을 이해하고 협업 효율을 높이는 데 큰 기여를 합니다. ## 데이터 기반의 고정폭 글꼴(Monospace Font) 선정 * 로그, 스택 트레이스, 소스 코드 등 정보 밀도가 높은 데이터를 일관되게 보여주기 위해 특정 고정폭 글꼴을 도입할 필요성이 제기되었습니다. * 기존에는 시스템 폰트에 의존했기 때문에, 새로운 폰트 도입 시 발생할 수 있는 레이아웃의 시각적 변화를 최소화하고자 사용자들이 현재 가장 많이 보고 있는 폰트가 무엇인지 파악해야 했습니다. * CSS Font Loading API와 Datadog RUM을 결합하여 사용자의 브라우저에 실제 로드된 폰트 정보를 수집하고 대시보드화했습니다. * 분석 결과 'Roboto Mono'를 최종 후보로 선정하여 앱 전체에 적용했으며, 배포 후에도 RUM을 통해 의도한 대로 폰트가 출력되는지 성공적으로 검증했습니다. ## 사용자 인터랙션 분석을 통한 컴포넌트 간소화 * 패널 크기를 조절하는 'DraggablePane' 컴포넌트의 핸들이 너무 좁아 다양한 기능을 담기에 UI가 복잡해지는 문제가 있었습니다. * 어떤 기능이 실제로 사용되는지 확인하기 위해 커스텀 로거를 심어 각 버튼(최소화, 최대화 등)의 클릭 빈도를 추적했습니다. * 로그 분석 결과 최소화 및 최대화 버튼의 사용량이 거의 없다는 사실을 발견하고, 해당 버튼들을 제거하는 대신 핸들 더블 클릭 이벤트로 기능을 대체하여 UI를 간소화했습니다. ## 입력 오류 데이터 분석을 통한 구문 지원 확장 * 사용자가 자유롭게 시간 범위를 텍스트로 입력할 수 있는 'DateRangePicker'를 개발했으나, 초기에는 지원하는 구문이 한정적이어서 사용자 의도를 정확히 파악하지 못하는 경우가 많았습니다. * 시스템이 해석하지 못한 '잘못된 입력(invalid input)' 데이터와 해당 입력이 발생한 페이지, 국가 등의 정보를 로그로 수집하여 패턴을 분석했습니다. * 분석 결과 다수의 사용자가 'weeks'라는 키워드를 포함한 구문(예: last 1 week)을 입력하고 있음을 확인했습니다. * 해당 키워드를 지원하도록 구문 분석 로직을 업데이트한 결과, 입력 에러율이 기존 10%에서 5~6%로 즉각 감소하는 성과를 거두었습니다. 사용자 경험(UX) 디자인 과정에서 데이터 모니터링 도구를 활용하는 것은 단순히 수치를 확인하는 것을 넘어, 디자이너가 개발자와 같은 언어로 소통하고 객관적인 근거로 제품을 개선할 수 있게 해줍니다. 특히 실시간 로그와 에러 데이터를 추적하는 환경을 구축하면 사용자 피드백을 기다리지 않고도 제품의 미비점을 선제적으로 발견하여 수정할 수 있습니다.

데이터베이스 설계사용자 경험datadogreal-user-monitoring+4

datadog·2021년 10월 15일원문

쿠버네티스 상태 메트 (새 탭에서 열림)

Datadog은 대규모 Kubernetes 환경에서 오픈소스 도구인 kube-state-metrics(KSM)를 운영하며 겪은 확장성 문제를 해결하기 위해 오픈소스 커뮤니티에 직접 기여하여 성능을 대폭 개선했습니다. 기존 KSM은 수천 개의 노드와 수만 개의 포드가 있는 환경에서 지표 수집 시간이 수십 초에 달하고 데이터 용량이 비대해지는 성능 저하 문제를 안고 있었습니다. 이를 해결하기 위해 KSM v2 개발 과정에 참여하여 지표 생성 프로세스를 최적화함으로써 수집 속도를 15배 향상하고 대규모 클러스터에서도 고해상도 데이터를 안정적으로 확보할 수 있게 되었습니다. **KSM의 작동 원리와 기존의 한계** * KSM은 Kubernetes API 서버를 리스닝하며 객체의 상태 지표를 생성하는 서비스로, 인포머(Informer) 패턴을 사용해 클러스터 수준의 메타데이터를 OpenMetrics 형식으로 노출합니다. * Datadog 에이전트는 15초마다 `/metrics` 엔드포인트를 크롤링하여 데이터를 수집하며, 필요에 따라 `label_joins` 설정을 통해 메타데이터를 결합해 지표의 가독성을 높입니다. * 하지만 기존 구조에서는 쿼리 시점에 대량의 데이터가 한꺼번에 덤프되고, 지표 생성 과정에 개입할 수 있는 훅(hook)이 부족하여 성능 확장에 제약이 있었습니다. **대규모 환경에서의 확장성 병목 현상** * 리소스당 지표 생성량을 분석한 결과 노드는 약 9개, 포드는 약 40개의 지표를 생성하며, 수만 개의 포드가 있는 환경에서는 매 수집 주기마다 수백만 개의 지표를 처리해야 합니다. * 이로 인해 네트워크 호출 시간이 수십 초로 늘어나고 데이터 크기가 수십 메가바이트에 달하게 되어, 지표의 정밀도를 낮추거나 수집 주기를 강제로 늦춰야 하는 상황이 발생했습니다. * Datadog은 이를 해결하기 위해 포드, 노드, 기타 리소스별로 KSM 배포를 물리적으로 분리하는 전략을 사용했으나 이는 임시방편에 불과했습니다. **오픈소스 기여를 통한 성능 최적화** * Datadog 팀은 내부적인 수정을 넘어 KSM v2.0.0의 메인 커뮤니티와 협력하여 지표 생성 로직과 빌더(Builder) 구조를 근본적으로 개선했습니다. * 결과적으로 지표 수집 프로세스 소요 시간을 기존 대비 15배 단축하는 성과를 거두었으며, 이는 대규모 인프라 운영의 핵심적인 전환점이 되었습니다. * 이러한 경험은 오픈소스 커뮤니티에 기여하는 것이 개별 기업의 인프라 문제를 해결함과 동시에 기술적 생태계 전체의 성능을 끌어올리는 가장 효과적인 방법임을 시사합니다. **실용적인 결론 및 추천** 대규모 Kubernetes 클러스터를 운영 중이라면 KSM v2 이상의 버전을 채택하여 최적화된 지표 수집 성능을 확보하는 것이 필수적입니다. 또한 단일 KSM 배포에서 성능 저하가 발생할 경우, 본문에서 언급된 것처럼 리소스 유형별(Collectors)로 배포를 분리하여 부하를 분산하는 전략을 검토해 보시기 바랍니다.

데이터베이스 설계쿠버네티스datadog옵저버빌리티+3

datadog·2021년 10월 15일원문

Kubernetes 상태 메트릭을 한 단계 끌어올린 우리의 여정 (새 탭에서 열림)

Datadog은 대규모 쿠버네티스 환경에서 `kube-state-metrics`(KSM)를 운영하며 발생한 성능 병목 현상을 해결하기 위해 오픈소스 커뮤니티에 직접 기여했습니다. 기존의 텍스트 기반 엔드포인트 스크래핑 방식은 수백만 개의 메트릭을 처리할 때 심각한 네트워크 부하와 지연 시간을 유발했으나, 이번 개선을 통해 메트릭 수집 속도를 기존 대비 15배 향상시키는 성과를 거두었습니다. 결과적으로 대규모 클러스터에서도 데이터의 정밀도를 유지하며 안정적인 관측성을 확보할 수 있게 되었습니다. ### KSM의 기본 작동 원리와 메트릭 수집 - KSM은 인포머(Informer) 패턴을 활용하여 쿠버네티스 API 서버의 객체 상태 변화를 관찰하고 이를 Openmetrics 형식의 텍스트로 노출합니다. - Datadog 에이전트는 15초 주기로 KSM의 `/metrics` 엔드포인트를 크롤링하여 데이터를 수집하며, 이 과정에서 `label_joins` 설정을 통해 메타데이터 레이블을 결합하여 분석 가치를 높입니다. - 예를 들어, 특정 배포(Deployment)의 레이블 정보를 다른 관련 메트릭에 태그로 추가하여 다각적인 모니터링이 가능하도록 지원합니다. ### 대규모 인프라에서의 확장성 병목 현상 - 클러스터 규모가 수천 개의 노드와 수만 개의 파드로 커지면, 한 번의 수집 주기마다 처리해야 할 메트릭이 수백만 개에 달하게 됩니다. - 파드 하나당 약 40개의 메트릭이 생성되는데, 이로 인해 네트워크 호출 시 전송되는 데이터 양이 수십 메가바이트에 달하고 크롤링 시간은 수십 초까지 늘어납니다. - 이러한 지연 시간 때문에 수집 주기를 억지로 늘려야 했고, 이는 데이터의 세밀함(granularity)을 떨어뜨려 내부 사용자들의 경험을 저해하는 결과를 초래했습니다. ### 오픈소스 기여를 통한 KSM 구조 개선 - Datadog 팀은 내부적인 임시방편을 만드는 대신 KSM v2.0 릴리스 시점에 맞춰 업스트림 소스 코드에 직접 기여하는 방식을 택했습니다. - 기존 KSM v1은 빌더(Builder)가 스토어를 관리하며 쿼리 시점에 데이터를 한꺼번에 덤프하는 구조였으나, 이를 개선하여 메트릭 생성 과정에 직접 개입(Hook)할 수 있는 유연성을 확보했습니다. - 리소스 유형별로 KSM 배포를 분리(Pods, Nodes, 기타 리소스 등)하는 전략과 함께, 메트릭 생성 로직 자체를 최적화하여 대규모 데이터 처리 효율을 극대화했습니다. 대규모 쿠버네티스 환경을 운영하는 조직이라면 KSM v2.0 이상의 개선된 구조를 적극적으로 도입하고, 리소스의 양에 따라 KSM 배포를 적절히 분할하여 메트릭 수집 지연 시간을 최소화할 것을 권장합니다.

데이터베이스 설계쿠버네티스datadog옵저버빌리티+4

datadog·2021년 9월 30일원문

Datadog의 Continuous Profil (새 탭에서 열림)

Datadog은 자바 기반 어플리케이션에서 Akka 프레임워크를 사용할 때 발생하는 예상치 못한 CPU 사용량 급증 문제를 조사하였으며, 그 원인이 `ForkJoinPool`의 비효율적인 스레드 관리임을 밝혀냈습니다. 불규칙한 작업 흐름을 가진 액터(Actor)가 과도한 스레드 활성화 및 비활성화를 유발하여 전체 CPU의 20~30%를 낭비하고 있었으나, 이를 안정적인 작업 부하를 가진 디스패처로 이동시킴으로써 문제를 해결했습니다. 이 사례는 추상화된 프레임워크 하부의 스레드 풀 동작 원리를 이해하고 프로파일링을 통해 실질적인 병목 지점을 찾는 것이 얼마나 중요한지 보여줍니다. ### 프로파일링을 통한 병목 지점 탐색 * 로그 파싱 알고리즘을 최적화했음에도 불구하고 CPU 사용량이 줄어들지 않거나 오히려 늘어나는 현상이 발생하여 Datadog Continuous Profiler를 통해 심층 분석을 수행했습니다. * 플레임 그래프(Flame Graph) 분석 결과, 실제 비즈니스 로직이 아닌 `ForkJoinPool.scan()` 및 `Unsafe.park()` 메서드에서 상당한 CPU 시간이 소비되고 있음을 확인했습니다. * 특정 스레드 풀의 상태를 조사한 결과, 별도의 설정 없이 기본 Akka 디스패처를 사용하는 `LatencyReportActor`가 이 현상의 주범으로 지목되었습니다. ### ForkJoinPool의 동작 원리와 병목 원인 * `ForkJoinPool`은 대기 중인 작업 수에 따라 내부 워커 스레드를 동적으로 생성, 중지(`park`), 재개(`unpark`)하며 활성 스레드 수를 관리합니다. * 작업 흐름이 불규칙할 경우 스레드를 빈번하게 깨우고 다시 재우는 과정에서 비용이 큰 네이티브 호출인 `Unsafe.park()`와 `unpark()`가 대량으로 발생하여 CPU를 낭비하게 됩니다. * 문제의 액터는 매초 짧은 시간 동안만 데이터를 처리하고 나머지 시간은 대기하는 특성을 가졌는데, 이때마다 CPU 코어 수만큼 설정된 32개의 스레드가 일시에 깨어났다가 다시 잠드는 현상이 반복되었습니다. ### 설정 변경을 통한 성능 최적화 * 불규칙한 작업을 수행하는 액터를 기본 디스패처에서 이미 안정적인 작업 흐름을 유지하고 있는 메인 'work' 디스패처로 이동시키는 단 한 줄의 설정 변경을 적용했습니다. * 이 변경을 통해 `ForkJoinPool.scan()`에서 소비되는 CPU 시간이 급격히 감소하였으며, 서비스 전체의 평균 CPU 사용량이 약 30% 줄어드는 성과를 거두었습니다. * 또한 32개까지 치솟았던 기본 디스패처의 스레드 풀 크기가 2개로 줄어들어 불필요한 컨텍스트 스위칭과 리소스 낭비가 해결되었음을 확인했습니다. ### 효율적인 ForkJoinPool 관리를 위한 권장 사항 `ForkJoinPool`이나 Akka를 사용하는 환경에서 성능을 유지하려면 `ForkJoinPool.scan()` 메서드의 CPU 점유율을 모니터링해야 합니다. 만약 이 수치가 10~15%를 초과한다면 다음과 같은 조치를 고려하십시오. * **액터 인스턴스 제한**: 불필요하게 많은 액터가 생성되지 않도록 조절합니다. * **스레드 풀 최대치 제한**: 워크로드에 맞춰 스레드 풀의 최대 크기를 적절히 제한합니다. * **스레드 풀 통합**: 여러 개의 풀을 사용하기보다 풀의 개수를 줄여 작업 부하가 골고루 분산되도록 유도합니다. * **태스크 큐 활용**: 급격한 작업 급증(Spike)을 완충할 수 있는 큐를 도입하여 스레드 풀이 급격하게 변동하는 것을 방지합니다.

datadogJavascalaakka+4

datadog·2021년 9월 30일원문

Datadog의 Continuous Profiler를 사용해 Akka 애플리케이션을 최적화한 방법 (새 탭에서 열림)

Datadog은 Akka 프레임워크 기반 서비스에서 예상치 못한 20~30%의 CPU 과점유 문제를 발견했으며, 이는 성능 프로파일링 도구를 통해 `ForkJoinPool` 내부의 비효율성 때문인 것으로 밝혀졌습니다. 불규칙한 작업 부하를 가진 액터가 기본 디스패처에서 실행될 때, 스레드의 빈번한 생성과 정지(`park`/`unpark`)가 반복되면서 과도한 네이티브 호출 오버헤드가 발생한 것이 원인이었습니다. 이를 안정적인 작업 흐름을 가진 전용 디스패처로 분리함으로써 시스템 전반의 CPU 효율을 획기적으로 개선할 수 있었습니다. **성능 병목 현상의 발견과 프로파일링** * 로그 파싱 알고리즘을 최적화했음에도 불구하고 CPU 사용량이 줄어들지 않고 오히려 성능이 저하되는 기현상이 발생했습니다. * Datadog Continuous Profiler의 플레임 그래프 분석 결과, 예상 밖으로 `ForkJoinPool.scan()` 및 `Unsafe.park()` 메서드에서 전체 CPU의 상당 부분이 소모되고 있었습니다. * 상세 분석 결과, 특정 작업 풀(Work pool)이 아닌 Akka의 기본 디스패처(Default Dispatcher) 소속 스레드들이 대부분의 CPU 시간을 점유하고 있었으며, 이는 주로 지표를 보고하는 `LatencyReportActor`와 연관되어 있었습니다. **ForkJoinPool 오버헤드의 근본 원인** * `ForkJoinPool`은 대기 중인 작업량에 따라 내부 워커 스레드를 동적으로 추가하거나 `Unsafe.park()`/`unpark()`를 호출하여 스레드를 일시 중지 및 재개합니다. * 문제가 된 액터는 매초 수백 개의 이벤트를 순식간에 처리한 뒤 다음 배치가 올 때까지 대기하는 불규칙한(Irregular) 작업 흐름을 가지고 있었습니다. * 이로 인해 매초 가용한 모든 코어(예: 32코어)만큼의 스레드가 동시에 깨어났다가 작업 완료 후 즉시 잠드는 과정이 반복되었고, 이 과정에서 발생하는 네이티브 호출 비용이 실제 작업 비용보다 커지는 결과가 초래되었습니다. **디스패처 분리를 통한 문제 해결** * 불규칙한 부하를 가진 액터를 기본 디스패처에서 분리하여, 부하가 일정하게 유지되는 메인 "work" 디스패처로 이동시키는 단 한 줄의 설정 변경을 적용했습니다. * 수정 후 서비스 전체 CPU 사용량이 평균 30% 감소했으며, 프로파일링 결과 `ForkJoinPool.scan()`에서 소모되던 시간이 거의 사라진 것을 확인했습니다. * 기본 디스패처의 스레드 풀 크기가 32개에서 2개로 줄어들며 스레드 관리 효율이 극대화되었습니다. **안정적인 성능 유지를 위한 권장 사항** * `ForkJoinPool.scan()` 메서드의 CPU 점유율이 10~15%를 초과한다면 스레드 풀 설정과 부하의 안정성을 반드시 점검해야 합니다. * Akka 사용 시 액터 인스턴스 수를 제한하거나 스레드 풀의 최대 크기를 적절히 설정하여 무분별한 스레드 확장을 방지해야 합니다. * 작업 큐를 활용해 급격한 작업 스파이크를 완만하게 조절하거나, 사용되는 스레드 풀의 수를 줄여 부하 밀집도를 높임으로써 활성 스레드 수를 일정하게 유지하는 것이 중요합니다.

데이터베이스 설계Javaprofilingscala+4

datadog·2021년 4월 30일·3분 읽기큐레이션 요약

Datadog IT 팀이 제3

Datadog이 Gartner의 **2026년 Observability Platforms 매직 쿼드런트에서 Leader로 선정되었다**는 소식이 핵심입니다. 제공된 내용에는 선정 이유나 평가 세부사항보다 Datadog의 제품군과 플랫폼 구성이 주로 나열되어 있습니다. 따라서 Datadog이 인프라·애플리케이션·로그·보안·디지털 경험·소프트웨어 제공·AI를 아우르는 통합 관측성 플랫폼을 제공한다는 점을 확인할 수 있습니다. ### Gartner 매직 쿼드런트 리더 선정 - Datadog은 Gartner의 **Observability Platforms** 평가에서 Leader로 소개됩니다. - 링크 제목과 본문상 이번 평가는 2026년 관측성 플랫폼 시장을 대상으로 합니다. - 다만 제공된 텍스트에는 Gartner의 평가 기준, Datadog의 구체적인 강점, 경쟁사 비교, 고객 사례는 포함되어 있지 않습니다. ### 인프라와 애플리케이션 모니터링 - 인프라 모니터링, 메트릭, 컨테이너 및 Kubernetes 모니터링을 제공합니다. - 네트워크, 서버리스, GPU, 스토리지, 클라우드 비용도 관리 대상에 포함됩니다. - 애플리케이션 성능 모니터링(APM), 서비스 모니터링, 지속적 프로파일링, 동적 계측 기능을 지원합니다. - 데이터베이스와 데이터 스트림, 데이터 품질, 작업 실행 상태까지 관찰할 수 있도록 구성되어 있습니다. ### 로그 및 데이터 관측성 - 로그 관리와 민감 데이터 탐지 기능을 제공합니다. - Observability Pipelines를 통해 로그와 관측 데이터를 수집·처리·전송할 수 있습니다. - 데이터 품질 모니터링과 작업 모니터링을 통해 데이터 파이프라인의 이상 여부도 확인할 수 있습니다. - 감사 추적 기능은 사용자 활동과 변경 사항을 관리하는 데 활용됩니다. ### 보안 플랫폼 통합 - 코드 보안, SAST, IAST, 소프트웨어 구성 분석(SCA)을 제공합니다. - 클라우드 보안, 취약점 관리, 권한 관리, 규정 준수 기능을 포함합니다. - Cloud SIEM, 워크로드 보호, 애플리케이션·API 보호 기능으로 런타임 보안까지 확장합니다. - 관측성 데이터와 보안 데이터를 같은 플랫폼에서 연결해 분석하는 방향을 제시합니다. ### 디지털 경험과 소프트웨어 제공 - 브라우저·모바일 Real User Monitoring(RUM), 세션 리플레이, 제품 분석을 제공합니다. - Synthetic Monitoring과 모바일 앱 테스트로 실제 사용자 경험과 사전 검증을 모두 지원합니다. - CI Visibility, 테스트 최적화, 지속적 테스트, 코드 커버리지 등 소프트웨어 delivery 영역도 포함합니다. - 기능 플래그와 내부 개발자 포털을 통해 배포 및 개발 프로세스와의 연계를 강화합니다. ### 서비스 관리와 AI 기능 - 이벤트 관리, 서비스 카탈로그, SLO, 인시던트 대응, 케이스 관리, 워크플로 자동화를 제공합니다. - Watchdog과 Bits 계열 AI 기능을 통해 이상 탐지, 조사, 대화형 분석, 보안 분석을 지원합니다. - Agent Observability와 GPU Monitoring은 AI 에이전트 및 AI 인프라 운영을 대상으로 합니다. - MCP Server, Agent Builder, Agent Directory 등으로 AI 에이전트와 운영 플랫폼의 통합을 추진합니다. 제공된 자료만으로는 Gartner의 상세 평가 내용을 검증하기 어렵습니다. 실제 도입을 검토한다면 Leader 선정 자체보다 필요한 데이터 유형, 수집 비용, 보존 정책, 기존 도구와의 연동성, 보안·규정 준수 요구사항을 기준으로 Datadog의 각 제품을 평가하는 것이 좋습니다.

원문 읽기(새 탭에서 열림)

쿠버네티스datadog옵저버빌리티애플리케이션 성능 모니터링+4

datadog·2021년 4월 30일원문

Datadog IT 팀이 서드파티 계정 모니터링을 자동화한 방법 (새 탭에서 열림)

현대 기업이 사용하는 수많은 SaaS 애플리케이션의 계정을 수동으로 관리하는 것은 보안 위협과 비용 낭비를 초래할 수 있는 매우 어렵고 비효율적인 작업입니다. Datadog은 이를 해결하기 위해 사내 인사 관리 시스템(HRIS)인 Workday를 단일 진실 공급원(Single Source of Truth)으로 삼아 SaaS 계정을 자동으로 전수 조사하는 자체 도구 'Clarity'를 구축했습니다. 이 시스템은 정기적인 감사를 통해 퇴사자나 미승인 계정을 실시간으로 탐지하고, 티켓팅 및 알림 시스템과 연동하여 즉각적인 조치를 가능하게 함으로써 기업의 보안 거버넌스를 강화합니다. **SaaS 계정 감사의 필요성과 요구사항** * **보안 및 비용 관리:** 관리되지 않는 유령 계정은 민감 데이터 유출의 통로가 될 수 있으며, 불필요한 라이선스 비용을 발생시키므로 정기적이고 자동화된 감사가 필수적입니다. * **신뢰할 수 있는 데이터원 확보:** 모든 직원의 상태를 정확히 반영하는 Workday(또는 Okta, ADP 등)를 기준으로 삼아 SaaS 앱의 사용자 목록과 대조해야 합니다. * **운영 효율성:** 감사는 수시로 자동 실행될 수 있어야 하며, 필요에 따라 수동 실행도 가능해야 합니다. 또한 기존 업무 흐름을 방해하지 않도록 사내에서 이미 사용 중인 도구들과 긴밀하게 통합되어야 합니다. **Clarity의 작동 아키텍처 및 프로세스** * **자동 실행 및 데이터 수집:** AWS CloudWatch Event Rule을 통해 매일 정해진 시간에 실행되며, AWS Lambda를 사용하여 Workday와 주요 SaaS(Slack, GitHub, Zoom 등)의 활성 사용자 명단을 동시에 가져옵니다. * **교차 검증(Auditing):** SaaS 앱의 이메일 주소 목록을 Workday의 현직자 명단과 비교하여, 일치하는 기록이 없는 계정을 즉시 식별합니다. * **데이터 이력 관리:** 감사 결과 발견된 비정상 계정 정보는 추후 추적 및 분석을 위해 DynamoDB 테이블에 기록됩니다. **로깅, 알림 및 사후 조치 통합** * **Datadog 메트릭 활용:** 탐지된 각 계정 정보는 Datadog Metrics API를 통해 전송됩니다. 이때 'gauge' 타입을 사용하여 시간 경과에 따른 비정상 계정 추이를 시각화합니다. * **태그 기반의 상세 분석:** 메트릭 전송 시 환경(prod/dev), 담당 팀, 해당 SaaS 서비스명, 사용자 이메일 등을 태그로 포함하여 문제 발생 시 즉각적인 식별이 가능하도록 합니다. * **워크플로우 연동:** 감사가 완료되면 Freshservice를 통해 자동으로 조치 티켓을 생성하고, Slack으로 요약 보고서를 발송하여 담당 팀이 Datadog 로그 링크를 통해 즉시 상세 내용을 확인할 수 있게 합니다. SaaS 환경이 확장됨에 따라 수동 감사는 한계에 부딪힐 수밖에 없습니다. Datadog의 사례처럼 인사 시스템을 API로 연결하고 기존의 모니터링 및 알림 도구(Slack, Jira 등)를 통합한 자동화 파이프라인을 구축한다면, 최소한의 운영 리소스로도 기업 전체의 SaaS 보안 가시성을 획기적으로 높일 수 있습니다.

데이터베이스 설계datadogslackaws-lambda+4

datadog·2021년 2월 22일·2분 읽기큐레이션 요약

잡 시스템에서 쿠버네티스

제공된 내용에는 기술 블로그 본문이 포함되어 있지 않고, Datadog 웹사이트의 내비게이션 메뉴와 링크 목록만 담겨 있습니다. 따라서 글의 주장, 구현 방식, 기술적 근거와 결론을 정확히 요약하기는 어렵습니다. 확인 가능한 정보로는 Datadog이 2026년 Gartner Observability Platforms Magic Quadrant에서 Leader로 선정되었다는 홍보 문구와 다양한 제품군뿐입니다. ### 확인 가능한 내용 - Datadog은 다음 영역을 아우르는 통합 플랫폼을 제공한다고 소개합니다. - 인프라 모니터링: 호스트, 메트릭, 컨테이너, Kubernetes, 네트워크, 서버리스 - 애플리케이션: APM, 서비스 모니터링, 프로파일링, 동적 계측 - 데이터 및 로그: 데이터베이스, 데이터 스트림, 로그 관리, 관측성 파이프라인 - 보안: 클라우드 보안, 취약점 관리, SIEM, 워크로드 보호 - 디지털 경험: RUM, 세션 리플레이, 합성 모니터링, 오류 추적 - 소프트웨어 전달 및 서비스 관리: CI 가시성, 테스트 최적화, 인시던트 대응, SLO - AI: AI 에이전트 관측성, GPU 모니터링, AI 기반 조사 및 자동화 ### 링크에서 추정되는 원문 주제 - 링크 경로에는 `moving-a-jobsystem-to-kubernetes`가 포함되어 있어, 원문은 작업 시스템(Job System)을 Kubernetes로 이전하는 과정을 다룬 글일 가능성이 있습니다. - 다만 Kubernetes 이전의 배경, 아키텍처 변화, 작업 스케줄링 방식, 장애 처리, 확장 전략 등의 본문 내용은 제공되지 않았습니다. 원문 본문이나 블로그 링크의 실제 내용을 보내주시면 요청하신 형식에 맞춰 정확하게 요약할 수 있습니다.

원문 읽기(새 탭에서 열림)

쿠버네티스datadog옵저버빌리티인프라 모니터링+1

datadog·2021년 2월 22일원문

우리 작업 시스템에서 쿠버네티스 오버헤드를 최소화한 방법 (새 탭에서 열림)

Datadog은 기존 작업 시스템을 Kubernetes로 이전하는 과정에서 CPU 사용량은 증가하고 작업 처리 속도는 40-50% 저하되는 성능 퇴행 문제를 겪었습니다. 이를 해결하기 위해 VM과 Kubernetes 간의 정밀한 비교 실험을 설계하고, 지표 측정 방식과 리소스 할당(Resource Requests) 설정을 최적화하여 성능을 이전 수준으로 복구했습니다. 본 분석을 통해 Kubernetes 오버헤드의 실체를 파악하고, 고성능 워크로드를 위한 포드 배치 전략을 도출했습니다. ### 실험 환경의 통제와 정렬 * **환경 변수 통일**: 성능 차이의 원인을 정확히 규명하기 위해 VM과 Kubernetes 클러스터의 인스턴스 유형(c5.2xlarge), 커널 버전(3.13.0-141), 실행 스크립트를 동일하게 맞추어 비교 대상을 단일화했습니다. * **배치 구조 최적화**: 기존 VM 방식과 유사하게 하나의 포드 내에 하나의 부모 프로세스와 그 자식 워커들을 배치하여, 노드당 부모 프로세스 수와 포드 수가 일치하도록 구성했습니다. ### 측정 지표의 재정의: Idle CPU의 중요성 * **Load Average의 한계**: Kubernetes에서는 상태 확인 등을 위한 배경 프로세스가 빈번하게 실행되는데, 이는 실제 CPU 사용량과 무관하게 Load Average 수치를 비정상적으로 높여 시스템이 바쁜 것처럼 오해하게 만듭니다. * **Idle CPU 활용**: 프로세스 개수가 아닌 '실제 CPU가 일하지 않는 시간'을 측정하는 Idle CPU 지표를 선택함으로써, 시스템의 남은 용량을 더 정확하게 파악하고 성능 분석의 신뢰도를 높였습니다. * **처리량(Throughput) 중심**: 배치 작업의 특성에 맞춰 지연 시간(Latency)보다는 30초당 완료된 작업 수라는 처리량 지표를 핵심 성능 지표로 설정했습니다. ### 리소스 요청(Resource Requests) 및 스케줄링 튜닝 * **스케줄링 병목 해결**: 초기에 각 포드가 1 Core CPU를 요청하도록 설정했을 때, 노드당 4개의 포드만 배치되는 과소 활용 문제가 발생했습니다. 목표치인 노드당 6개 포드 배치를 위해 CPU 요청을 100m으로, 메모리 요청을 500MB로 대폭 낮췄습니다. * **단일 리소스 기준 권장**: 여러 리소스(CPU, 메모리 등)의 요청 값을 모두 엄격하게 잡으면 스케줄링이 복잡해지므로, 하나의 주된 리소스를 기준으로 배치를 유도하고 나머지는 실제 필요량에 가깝게 설정하는 것이 효율적임을 확인했습니다. * **Request와 Limit의 구분**: `request`는 스케줄링을 위한 최소 보장치이며, 실제 실행 중의 제약은 `limit`이 담당하므로 `request`를 낮추는 것이 실행 성능에 부정적인 영향을 주지 않는다는 점을 활용했습니다. ### 포드별 오버헤드의 실체 분석 * **프로세스 구조**: `pstree`를 통해 분석한 결과, 포드당 오버헤드는 주로 컨테이너 런타임인 `containerd-shim`에서 발생했습니다. * **CPU 및 메모리 비용**: 실험 결과 포드당 CPU 오버헤드는 무시할 수 있는 수준이었으며, 메모리는 포드당 약 24MB(containerd-shim 및 pause 컨테이너 포함) 수준으로 측정되었습니다. * **결론적 선택**: 오버헤드가 크지 않기 때문에, 관리 효율성을 위해 포드 하나에 여러 부모 프로세스를 억지로 집어넣기보다 '포드당 1 부모 프로세스' 구조를 유지하는 것이 더 유리하다는 결론을 내렸습니다. Kubernetes로 이전 시 발생하는 성능 저하는 플랫폼 자체의 문제라기보다 잘못된 리소스 요청 설정과 지표 해석에서 기인하는 경우가 많습니다. 노드당 포드 밀도를 최적화하기 위해 `Resource Requests`를 전략적으로 낮게 설정하고, 시스템의 부하를 판단할 때는 Load Average 대신 Idle CPU를 관찰함으로써 VM에 근접한 성능을 확보할 수 있습니다.

데이터베이스 설계쿠버네티스Pythonresource-management+4

datadog·2021년 2월 10일·3분 읽기큐레이션 요약

엔지니어링 스포트

Datadog은 Gartner의 2026년 Observability Platforms 매직 쿼드런트에서 ‘Leader’로 선정되었다고 발표한다. 글은 이를 단일 플랫폼에서 인프라·애플리케이션·로그·보안·디지털 경험·소프트웨어 개발·AI까지 폭넓은 데이터를 통합하고 운영할 수 있는 역량의 근거로 제시한다. 다만 제공된 내용은 제품 영역과 링크 중심의 소개로, Gartner 평가의 세부 기준이나 경쟁사 비교 결과는 포함하지 않는다. ## Gartner 매직 쿼드런트 리더 선정 - Datadog은 Gartner® Magic Quadrant™ for Observability Platforms 2026에서 Leader로 이름을 올렸다고 밝혔다. - 이 발표는 Datadog의 관측성 플랫폼 전략과 제품 범위에 대한 외부 평가를 강조하는 데 목적이 있다. - 제공된 본문에는 Gartner의 평가 점수, 세부 강점·약점, 다른 벤더와의 비교 내용은 제시되지 않았다. ## 통합 인프라 및 애플리케이션 모니터링 - 인프라 영역에서는 다음 기능을 제공한다고 소개한다. - 호스트 및 인프라 모니터링 - 메트릭 수집·분석 - 컨테이너와 Kubernetes 모니터링 및 오토스케일링 - 네트워크, 서버리스, GPU 모니터링 - 클라우드 비용 및 스토리지 관리 - 애플리케이션 영역에는 다음 기능이 포함된다. - APM(Application Performance Monitoring) - 서비스 간 동작을 파악하는 Universal Service Monitoring - Continuous Profiler를 통한 코드 성능 분석 - Dynamic Instrumentation - AI 에이전트 관측성 ## 로그·데이터 관측성 - 로그 관리와 민감 정보 탐지를 통해 로그 데이터를 수집하고 보안 위험을 식별한다. - Observability Pipelines를 사용해 로그와 관측성 데이터를 필터링·변환·라우팅할 수 있다고 설명한다. - 데이터베이스, 데이터 스트림, 데이터 품질, 데이터 처리 작업을 각각 모니터링하는 기능도 제공한다. - 이를 통해 애플리케이션뿐 아니라 데이터 파이프라인과 저장 계층까지 관측 범위를 확장한다. ## 보안과 디지털 경험의 결합 - 보안 제품군에는 다음 기능이 포함된다. - SAST, IAST, 소프트웨어 구성 분석(SCA) - IaC 및 클라우드 보안 - 취약점 관리와 컴플라이언스 - Cloud SIEM, 워크로드 보호 - 애플리케이션·API 보호와 시크릿 스캐닝 - 디지털 경험 영역에서는 실제 사용자 모니터링(RUM), 세션 리플레이, 합성 모니터링, 모바일 앱 테스트, 오류 추적 등을 제공한다. - 따라서 백엔드 장애뿐 아니라 실제 사용자 요청, 모바일 환경, API 오류까지 하나의 관측성 체계에서 분석하는 방향을 제시한다. ## 소프트웨어 개발과 서비스 운영 지원 - CI Visibility, 테스트 최적화, 지속적 테스트, 코드 커버리지 등 개발·배포 과정의 상태를 추적한다. - 내부 개발자 포털, 소프트웨어 카탈로그, SLO, 인시던트 대응, 케이스 관리, 워크플로 자동화 기능도 포함한다. - 운영팀과 개발팀이 모니터링 데이터를 공유하고 장애 대응 및 서비스 수준 관리를 수행하도록 지원하는 구조다. ## AI 기반 운영 - Datadog은 AI 영역에서 다음 기능을 강조한다. - Bits AI Agents와 Bits Chat - 장애 원인 분석을 위한 Bits Investigation - 보안 분석을 위한 Bits Security Analyst - 에이전트 구축용 Bits Agent Builder - MCP Server 및 에이전트 디렉터리 - AI 에이전트 자체의 동작을 관측하는 Agent Observability와 GPU Monitoring도 함께 제공한다. - 이는 AI 애플리케이션을 운영하는 데 필요한 인프라 성능, 모델·에이전트 동작, 보안 및 비용을 함께 관리하려는 접근으로 볼 수 있다. ## 실용적인 시사점 Datadog 도입을 검토한다면 ‘Leader’ 선정만으로 판단하기보다 실제 환경에서 필요한 데이터 소스, 저장 비용, 보존 기간, 알림 품질, 통합 범위, 보안·규정 준수 기능을 검증해야 한다. 특히 인프라부터 애플리케이션, 보안, 사용자 경험까지 한 플랫폼으로 통합할 필요가 큰 조직에 적합성이 높을 수 있다.

원문 읽기(새 탭에서 열림)

쿠버네티스datadog옵저버빌리티CI/CD+4

datadog·2021년 2월 10일원문

엔지니어링 스포트라이트: 마엘 니송 (새 탭에서 열림)

인도양의 작은 섬 레위니옹에서 시작해 자바스크립트 생태계의 핵심 도구인 Yarn의 메인 유지보수자가 되기까지, Maël Nison의 여정은 끊임없는 호기심과 오픈소스에 대한 열정으로 가득 차 있습니다. 그는 페이스북 부트캠프를 통해 Yarn 프로젝트에 합류한 뒤, 단순한 기여자를 넘어 프로젝트를 TypeScript 기반의 모듈형 구조로 재설계하고 커뮤니티 주도형 프로젝트로 탈바꿈시키는 데 결정적인 역할을 했습니다. 현재 Datadog의 프론트엔드 플랫폼 팀에서 근무하면서도 Yarn의 비전과 로드맵을 이끄는 그는, 기술적 해결책을 모두와 공유하는 오픈소스 정신이 개인과 공동체를 어떻게 성장시키는지 잘 보여줍니다. **Yarn의 진화와 다각적인 리더십** * 페이스북 입사 초기, 신규 입사자 교육 프로그램인 '부트캠프'를 통해 Yarn 프로젝트를 접하고 업무 시간의 상당 부분을 오픈소스 기여에 투입하기 시작했습니다. * 초기 내부 도구 성격이 강했던 Yarn을 TypeScript로 완전히 재작성하고 아키텍처를 모듈화하여, 특정 기업에 종속되지 않는 진정한 커뮤니티 오픈소스 프로젝트로 발전시켰습니다. * 프로젝트를 관리하며 개발자 역할을 넘어 제품 매니저, 팀 리드, 고객 지원, 인프라 설계, 웹 디자인 등 다방면의 역할을 수행하며 '1인 CEO'와 같은 경험을 쌓았습니다. **DarkBASIC에서 시작된 프로그래밍의 기초** * 프랑스 툴루즈의 중학교 시절, 점심시간마다 모이던 프로그래밍 클럽에서 DarkBASIC이라는 게임 제작 언어를 배우며 개발의 세계에 입문했습니다. * 화면 위에서 물고기가 움직이고 거품을 쏘는 간단한 2D 게임을 만들며, 코드를 수정하면 즉시 결과가 바뀌는 논리적인 과정에 매료되어 평생의 직업으로 삼기로 결심했습니다. * 2000년대 초반 3G 네트워크와 펜티엄 III 프로세서가 표준이던 시절부터 PHP 웹사이트를 구축하고 SQL 취약점을 직접 경험하며 실전 기술을 익혔습니다. **워크플로우 최적화와 실용적 교육** * 깃허브(GitHub)가 없던 시절, 포럼을 통해 소스 코드를 공유하며 누구나 필요한 해결책을 사용할 수 있게 하는 오픈소스의 본질을 체득했습니다. * 기존 CMS(콘텐츠 관리 시스템)들의 복잡한 관리 페이지 구조에 의문을 품고, 게시물을 클릭해 즉시 수정하는 직관적인 워크플로우를 고민하며 '사용자 경험 최적화'에 대한 철학을 세웠습니다. * 이론보다 실무 중심의 프로젝트와 동료 평가를 중시하는 프랑스의 교육 기관 EPITECH에서 수학하며, 자기 주도적 학습 역량과 실용적인 엔지니어링 기술을 연마했습니다. Maël Nison의 사례는 단순히 기술적인 숙련도를 높이는 것을 넘어, 자신이 마주한 불편함을 해결하고 그 결과물을 커뮤니티와 공유하는 습관이 어떻게 세계적인 오픈소스 리더로 성장하는 밑거름이 되는지 보여줍니다. 새로운 기술을 익힐 때 단순히 사용법을 익히는 데 그치지 않고, 오픈소스 프로젝트에 작은 기여부터 시작해 보는 것은 커리어 개발과 기술적 통찰력을 동시에 얻을 수 있는 가장 확실한 방법입니다.

데이터베이스 설계오픈 소스TypeScriptJavaScript+4

datadog·2021년 2월 2일원문

PHP 8: 옵저버빌리티가 기본으로 내장되다 (새 탭에서 열림)

PHP의 Zend Engine은 버전 7과 8을 거치며 비약적인 성능 향상을 이루었으나, 이를 모니터링하는 관측성(Observability) 도구들은 오랫동안 노후화된 메커니즘에 의존하여 성능 저하와 불안정성 문제를 겪어왔습니다. PHP 8은 이러한 한계를 극복하기 위해 현대적인 **Observer API**를 도입하였으며, 이를 통해 JIT 컴파일러와 호환되면서도 시스템 부하를 최소화하는 새로운 모니터링 표준을 제시합니다. ## 기존 zend_execute_ex 훅의 한계 가장 널리 사용되던 `zend_execute_ex` 방식은 가상 머신의 함수 실행 포인터를 직접 재정의하는 구조로 인해 여러 심각한 부작용을 야기했습니다. * **스택 오버플로 및 충돌:** PHP의 유연한 콜 스택을 제한적인 네이티브 C 스택으로 강제 전환시켜, 함수 호출이 깊어질 경우 시스템 제한(`ulimit -s`)을 초과하여 프로세스가 충돌하는 현상이 발생합니다. * **과도한 실행 오버헤드:** 관찰이 필요한 특정 함수뿐만 아니라 모든 사용자 정의 함수 호출을 가로채기 때문에, 호출이 빈번한 스크립트에서 성능이 크게 저하됩니다. * **컴파일러 최적화 방해:** 컴파일러가 사용자 함수(DO_UCALL)와 내부 함수(DO_ICALL)를 구분하여 최적화하는 과정을 방해하여 런타임 효율성을 떨어뜨립니다. * **JIT 및 확장 프로그램 호환성 결여:** PHP 8의 핵심 기능인 JIT와 호환되지 않으며, 여러 확장 프로그램이 동일한 훅을 사용할 경우 서로 간섭하거나 충돌하는 "Noisy Neighbor" 문제가 빈번했습니다. ## 커스텀 Opcode 핸들러의 문제점 일부 도구들은 스택 폭발 문제를 피하고자 특정 실행 코드(Opcode)에 커스텀 핸들러를 등록하는 방식을 사용했으나, 이 역시 완벽한 대안이 되지 못했습니다. * **핸들러 전달 실패:** 여러 확장 프로그램이 설치된 경우, 이전 핸들러의 정보를 다음 프로그램으로 제대로 전달하지 않아 기능이 오작동하는 경우가 많았습니다. * **VM 상태 변조의 위험성:** 실행 중 가상 머신의 상태를 임의로 변경하여 원본 Opcode 실행을 건너뛸 수 있는데, 이는 여러 도구가 동시에 작동할 때 예측 불가능한 결과를 초래합니다. * **기술적 제약:** PHP 제너레이터(Generators)의 구조적 특성상 완전한 계측이 불가능하며, 역시 PHP 8의 JIT 환경을 지원하지 못합니다. ## Zend 확장 훅과 AST 주입 방식의 시도 성능과 정밀도를 높이기 위한 다른 시도들도 있었으나 운영 환경에서 사용하기에는 효율성이 떨어졌습니다. * **Zend Extension Hooks:** 함수 호출 전후에 핸들러를 배치할 수 있지만, 모든 호출마다 추가적인 Opcode(`EXT_FCALL_BEGIN/END`)를 생성하도록 강제하여 성능 부하가 매우 큽니다. * **AST(추상 구문 트리) 주입:** 컴파일 단계에서 관측용 노드를 직접 삽입하는 방식이 연구되었으나, 결과적으로 Zend 확장 방식과 유사한 수준의 높은 오버헤드가 발생하여 실용화에 어려움이 있었습니다. ## 결론 및 제언 PHP 8 이전의 관측성 도구들은 성능 최적화와 안정적인 모니터링 사이에서 큰 기술적 부채를 안고 있었습니다. PHP 8에서 도입된 **Observer API**는 이러한 구형 훅들의 고질적인 문제였던 스택 충돌과 JIT 비호환성을 해결하므로, 성능에 민감한 운영 환경에서 PHP 애플리케이션을 운용한다면 해당 API를 지원하는 최신 트레이싱 도구와 PHP 8 이상의 환경을 적극적으로 도입할 것을 권장합니다.

데이터베이스 설계datadog옵저버빌리티php+4