metrics

POPM 과정은 어떻게 하나의 ‘제품’이 되었나 (새 탭에서 열림)

카카오의 POPM 교육은 단순한 지식 전달 과정을 넘어, PO와 PM이 공통의 언어로 협업하고 문제를 해결할 수 있도록 돕는 하나의 '제품'으로 설계되었습니다. 교육 과정을 제품 개발 프로세스와 동일하게 '구조화'와 '반복 실험'의 관점에서 접근했으며, 수강생의 피드백을 데이터로 치환하여 지속적으로 기능을 개선하듯 커리큘럼을 고도화했습니다. 결과적으로 이 과정은 전략이 실제 실행으로 이어지도록 만드는 조직 차원의 구조적 프레임워크를 구축하는 성과를 거두었습니다. **POPM 교육의 탄생 배경과 목적** * PO와 PM의 역할이 모호하고 비가시적인 업무가 많아 발생하는 의사결정의 혼선을 줄이기 위해 시작되었습니다. * 문제 정의, 지표 해석, 실험 설계 등 실무에서 반복되는 질문들에 대해 조직이 공유할 수 있는 공통 언어를 수립하는 것이 핵심 목표입니다. * PO의 전략적 고민과 PM의 실행이 단절되지 않고 하나의 목표로 이어질 수 있는 구조적 기틀을 마련하고자 했습니다. **제품 개발 프로세스를 닮은 교육 설계** * 파일럿 과정(1기)의 8개 세션을 시작으로, 매 기수마다 '사용자 피드백'을 반영하여 구조를 최적화했습니다. * 3기부터는 '전략 → 지표 → 실험 → 디자인 → 실행'의 5개 핵심 세션으로 고정하여 흐름을 단순화하고 몰입도를 높였습니다. * 교육 설계자는 PM의 관점에서 교육을 하나의 제품으로, 각 세션을 기능으로, 각 기수를 소프트웨어 버전으로 정의하여 반복 개선을 수행했습니다. **데이터 기반의 기회 점수 도출과 리디자인** * 수강생 대상의 사전/사후 설문을 통해 각 세션의 '중요도'와 '만족도' 매트릭스를 분석했습니다. * 중요도는 높으나 만족도가 낮은 영역(예: 데이터/지표 세션)을 '기회 영역'으로 정의하고, 이를 제품 기능의 우선순위처럼 취급하여 최우선적으로 개선했습니다. * 단순한 내용 수정을 넘어 슬라이드 재구성, 실습 난이도 조정, 워크시트 포맷 변경 등 구조적인 해결책을 적용하여 기회 점수를 관리했습니다. **설계자가 얻은 구조적 인사이트** * 교육은 사람의 변화보다 '구조의 누적'에 집중해야 하며, 시스템이 바뀌지 않으면 동일한 시행착오가 반복된다는 점을 확인했습니다. * 지식의 전달보다 '질문의 리듬'을 설계하는 것이 중요하며, 슬라이드 하나에도 질문과 예시, 흐름을 유기적으로 배치하여 수강생의 사고를 유도했습니다. * 실습의 목적은 정답 작성이 아니라 '생각의 구조화'에 있으며, 실습 과정이 실제 팀의 업무 루틴으로 자연스럽게 이어지도록 설계했습니다. 조직 내 교육이나 프로세스를 설계할 때 이를 하나의 고정된 커리큘럼이 아닌, 지속적으로 개선 가능한 '제품'으로 바라보는 시각이 필요합니다. 수강생을 사용자로 정의하고 그들의 불편함을 데이터로 측정하여 구조를 개선해 나간다면, 교육은 단순한 학습을 넘어 조직의 실행력을 높이는 강력한 도구가 될 수 있습니다.

디자인 시스템의 가치 측정하기 (새 탭에서 열림)

디자인 시스템의 성공을 증명하기 위해서는 단순히 라이브러리의 크기를 측정하는 수준을 넘어, 그것이 비즈니스 목표와 어떻게 연결되는지 입증해야 합니다. 이 글은 단순한 수치 나열(허영 지표)에서 벗어나 조직의 효율성과 제품의 품질에 실질적으로 기여하는 데이터를 수집하고 활용하는 방법을 제시합니다. 결국 적절한 지표 설정은 디자인 시스템 팀이 조직 내에서 지속적인 지원과 투자를 끌어내는 강력한 도구가 됩니다. ### 허영 지표(Vanity Metrics)의 함정 많은 팀이 측정하기 쉽다는 이유로 단순히 숫자에 매몰되는 실수를 범하곤 합니다. * **컴포넌트 개수와 다운로드 수:** 생성된 컴포넌트의 수나 피그마 라이브러리 다운로드 횟수는 시스템의 활성도를 보여줄 순 있지만, 그것이 실제 제품의 가치로 이어졌는지는 설명하지 못합니다. * **데이터의 맥락 부재:** 단순히 "많이 쓰이고 있다"는 지표는 해당 컴포넌트가 올바르게 사용되고 있는지, 혹은 개발 효율성을 정말로 높이고 있는지에 대한 해답을 주지 않습니다. * **위험성:** 이러한 지표에만 의존하면 비즈니스 결정권자들에게 디자인 시스템의 진정한 ROI(투자 대비 효율)를 설득하는 데 실패할 가능성이 높습니다. ### 비즈니스 가치를 증명하는 지표 설정 디자인 시스템의 성과를 측정할 때는 '무엇을(What)'이 아닌 '그래서 어떠한가(So what)'에 집중해야 합니다. * **효율성 및 속도 (Efficiency):** 기능 구현 단계에서 디자인 시스템 도입 전후의 작업 시간을 비교합니다. 예를 들어, 동일한 복잡도의 페이지를 구축하는 데 걸리는 시간이 얼마나 단축되었는지 측정합니다. * **품질 및 일관성 (Quality):** 사용자 경험의 파편화를 줄이고 버그 발생률을 낮추는 능력을 평가합니다. 코드베이스에서 중복되는 CSS 선언이나 커스텀 컴포넌트의 감소율을 추적하는 것이 구체적인 예시입니다. * **팀의 만족도 (Morale):** 시스템 사용자가 느끼는 작업의 편의성과 도구에 대한 신뢰도를 설득력 있는 지표로 활용합니다. 정기적인 서베이를 통해 순수 추천 지수(NPS)를 관리합니다. ### GSM(Goal-Signal-Metric) 프레임워크 활용 체계적인 측정을 위해 목표(Goal)에서 지표(Metric)로 이어지는 논리적인 단계가 필요합니다. * **목표(Goal):** 우리가 달성하고자 하는 비즈니스 결과는 무엇인가? (예: 제품 출시 속도 향상) * **신호(Signal):** 목표 달성을 알 수 있는 사용자 행동의 변화는 무엇인가? (예: 개발자가 기존 컴포넌트를 사용하여 UI를 구성하는 빈도 증가) * **지표(Metric):** 그 신호를 어떻게 수치화할 것인가? (예: 전체 코드 중 시스템 컴포넌트가 차지하는 비중, 즉 Adoption Rate) ### 도입 단계별 측정 전략 디자인 시스템의 성숙도에 따라 집중해야 할 지표가 달라져야 합니다. * **초기 단계:** 시스템 채택률(Adoption)에 집중합니다. 얼마나 많은 팀이 시스템을 사용하기 시작했는지, 주요 라이브러리가 프로젝트에 얼마나 설치되었는지를 추적합니다. * **성장 및 성숙 단계:** 사용성(Usability)과 효율성에 집중합니다. 컴포넌트가 가이드라인에 맞게 올바르게 사용되고 있는지, 시스템을 통해 절약된 시간과 비용이 어느 정도인지를 구체적으로 산출합니다. 디자인 시스템 지표는 한 번 정하고 끝내는 것이 아니라 제품의 성장과 함께 진화해야 합니다. 처음부터 완벽하고 복잡한 대시보드를 만들기보다는, 조직의 현재 비즈니스 우선순위에 가장 부합하는 2~3개의 핵심 지표를 설정해 데이터를 쌓기 시작하는 것이 좋습니다. 측정된 데이터를 바탕으로 시스템의 기여도를 정량화하여 공유할 때, 디자인 시스템은 단순한 도구 모음을 넘어 조직의 핵심 자산으로 인정받을 수 있습니다.

디자인 시스템을 뒷받침 (새 탭에서 열림)

디자인 시스템의 성공을 증명하고 지속적인 운영 동력을 얻기 위해서는 단순한 컴포넌트 구축을 넘어 데이터 기반의 성과 측정이 필수적입니다. 이 글은 디자인 시스템이 비즈니스 가치에 기여하는 방식을 증명하기 위해 정량적 지표와 정성적 지표를 결합하는 프레임워크를 제시하며, 지표 그 자체보다 데이터가 전달하는 '맥락'이 중요함을 강조합니다. 결과적으로 지표는 팀의 의사결정을 돕고 디자인 시스템의 로드맵을 최적화하는 핵심 도구로 기능해야 합니다. ### 지표 설정의 목적과 비즈니스 정렬 * 지표는 단순히 숫자를 나열하는 것이 아니라, 디자인 시스템이 해결하고자 하는 문제(예: 일관성 부족, 개발 속도 저하)와 비즈니스 목표를 연결하는 매개체가 되어야 합니다. * 성공적인 지표 설정을 위해 '무엇을 측정할 것인가(What)', '어떻게 측정할 것인가(How)', '그것이 왜 중요한가(Why)'라는 세 가지 질문을 통해 지표의 타당성을 검토해야 합니다. * 지표는 팀원들에게 신뢰를 주고, 경영진에게는 시스템에 대한 투자 가치(ROI)를 입증하는 근거로 사용됩니다. ### 정량적 데이터 분석: Figma 라이브러리 분석 활용 * **컴포넌트 사용량 및 채택률(Adoption):** 디자인 파일 내에서 시스템 컴포넌트가 얼마나 활발히 사용되는지 추적하여 시스템의 영향력을 파악합니다. * **컴포넌트 해제(Detachments) 추적:** 디자이너가 시스템 컴포넌트를 해제하여 사용하는 시점과 이유를 분석함으로써, 현재 라이브러리의 부족한 점이나 유연성이 필요한 부분을 식별합니다. * **라이브러리 삽입 수:** 특정 기간 동안 새로운 컴포넌트가 디자인에 도입된 빈도를 측정하여 팀의 작업 흐름에 시스템이 얼마나 깊게 침투했는지 확인합니다. ### 정성적 데이터 분석: 사용자 경험과 만족도 * **설문 조사(Surveys):** 정기적인 만족도 조사를 통해 디자인 시스템이 작업 속도를 높여주는지, 사용하기 편리한지 등 사용자(디자이너 및 개발자)의 실제 체감 수치를 측정합니다. * **인터뷰 및 피드백 루프:** 숫자로 나타나지 않는 구체적인 고충점(Pain points)을 파악하기 위해 사용자 인터뷰를 진행하고, 이를 통해 시스템 고도화의 우선순위를 정합니다. * **Net Promoter Score (NPS):** 디자인 시스템을 동료에게 추천할 의향이 있는지를 측정하여 시스템에 대한 전반적인 신뢰도와 충성도를 가늠합니다. ### 효율성 및 비즈니스 임팩트 측정 * **시장 출시 속도(Time-to-market):** 디자인 시스템 도입 전후의 프로젝트 소요 시간을 비교하여, 재사용 가능한 자산이 개발 및 디자인 프로세스를 얼마나 단축시켰는지 계산합니다. * **코드 일관성:** 디자인 사양과 실제 구현된 코드 사이의 일치도를 검토하여 불필요한 커스텀 코드를 줄이고 유지보수 비용을 절감하는 효과를 측정합니다. * **협업 효율성:** 디자이너와 개발자 간의 소통 횟수나 핸드오프 과정에서의 마찰이 얼마나 줄어들었는지를 평가합니다. 디자인 시스템 지표는 한 번에 완성되는 것이 아니라 시스템의 성숙도에 따라 함께 진화해야 합니다. 초기에는 컴포넌트 채택률과 같은 기본 지표에 집중하고, 시스템이 안정화됨에 따라 업무 효율성과 비즈니스 가치를 증명하는 복합적인 지표로 확장해 나가는 것을 권장합니다. 데이터를 수집하는 것만큼이나 중요한 것은 그 데이터를 바탕으로 팀과 소통하고 실제 시스템 개선으로 연결하는 실행력입니다.

동료 응원하기: Dat (새 탭에서 열림)

데이터독(Datadog)의 엔지니어들은 6일 동안 약 850km를 달리는 초장거리 레이스에 출전한 동료를 응원하기 위해 실시간 레이스 모니터링 대시보드를 구축했습니다. 이 프로젝트는 웹 스크래핑 기술과 데이터독의 지표 수집 기능을 결합하여 외부 데이터를 대시보드에 시각화하는 과정을 보여줍니다. 이를 통해 기술적인 도구가 단순한 시스템 관제를 넘어 커뮤니티의 결속과 응원을 위한 도구로 어떻게 활용될 수 있는지 증명했습니다. ### 데이터 추출 및 파싱 대시보드 구축의 첫 단계는 대회 공식 웹사이트에서 선수의 실시간 데이터를 가져오는 것이었습니다. - 파이썬(Python)의 인기 라이브러리인 **Requests**를 사용하여 웹페이지의 HTML 코드를 수집하는 간단한 크롤러를 구현했습니다. - 수집된 HTML 데이터는 **BeautifulSoup** 라이브러리를 통해 파싱되어 현재 순위, 총 주행 거리 등 필요한 수치 데이터로 변환되었습니다. - 대회 사이트가 일반 텍스트 형태의 HTML로 데이터를 제공했기에 복잡한 API 없이도 손쉽게 데이터를 확보할 수 있었습니다. ### StatsD를 활용한 지표 전송 확보된 데이터는 데이터독 에이전트와 StatsD를 통해 실시간 지표(Metrics)로 변환되었습니다. - **dog.gauge** 메서드를 사용하여 세 가지 핵심 지표를 생성했습니다: 주행 거리(`runner.distance`), 현재 순위(`runner.ranking`), 경과 시간(`runner.elapsed_time`). - 각 지표에는 `name` 태그를 부여하여 여러 러너의 데이터를 구분하고 개별적으로 필터링할 수 있도록 설계했습니다. - 파이썬 스크립트를 통해 주기적으로 데이터를 갱신함으로써 실시간에 가까운 데이터 흐름을 유지했습니다. ### 대시보드 구성 및 시각화 수집된 지표들은 뉴욕과 파리 사무실에서 누구나 볼 수 있는 인터랙티브 대시보드로 구성되었습니다. - 단순히 숫자만 나열하는 것이 아니라 실시간 비디오 스트리밍과 재미를 위한 GIF 이미지를 포함하여 시각적 즐거움을 더했습니다. - 거리 차이(Lead)와 남은 시간 등 레이스 상황을 한눈에 파악할 수 있는 유의미한 지표들을 배치했습니다. - 이를 통해 전 세계 사무실의 동료들이 원격으로 레이스 상황을 공유하며 선수를 응원할 수 있는 환경을 조성했습니다. 만약 특정 이벤트나 실시간 경주 데이터를 모니터링하고 싶다면, 이 사례와 같이 파이썬의 웹 스크래핑 라이브러리와 데이터독의 Gauge 지표 기능을 결합해 보시기 바랍니다. 데이터가 HTML 형태로 존재하기만 한다면, 어떤 외부 활동이라도 전문적인 인프라 모니터링 도구를 통해 실시간 대시보드로 구현할 수 있습니다.