figma·2026년 8월 11일·3분 읽기큐레이션 요약

Figma Make를 통한 시간 절약 측정 | Figma 블로그

Figma 데이터 과학팀은 Figma Make가 디자인 작업을 얼마나 단축하는지 측정하기 위해 100명 대상의 무작위 대조 실험(RCT)을 설계했다. 그 결과 전체 디자인 작업은 20% 빨라지고 16% 쉬워졌으며, 특히 PM은 작업 시간이 23% 단축되고 난이도가 37% 낮아지는 가장 큰 효과를 보였다. 기존 A/B 테스트나 로그 기반 인과 추론만으로는 작업 복잡도와 사용자 경험 같은 교란 요인을 충분히 통제하기 어려워 RCT가 선택됐다. ## AI 시간 절감 측정의 어려움 - AI가 반복적·기계적인 업무를 대신하면 팀이 더 중요한 작업에 집중할 수 있지만, 실제 절감 시간과 효율 개선 지점을 정량화하기는 어렵다. - 작업 완료 시간에는 AI 사용 여부 외에도 다음과 같은 교란 요인이 영향을 준다. - 근속 기간 - 경력과 숙련도 - 작업의 복잡성 - 개인의 주관적인 디자인 경험 - 이런 요인을 통제하지 않으면 생산성 향상이 AI 때문인지, 다른 조건 때문인지 구분하기 어렵다. ## 기존 방법의 한계 ### 온라인 A/B 테스트 - 한 그룹에는 Figma Make를 제공하고 다른 그룹에는 제공하지 않는 방식이다. - 무작위 배정으로 사용자 특성의 차이는 어느 정도 줄일 수 있다. - 그러나 사용자마다 수행하는 작업이 달라 작업 난이도와 유형을 동일하게 맞추기 어렵다. - 따라서 두 그룹의 완료 시간 차이가 AI 효과인지, 과제 차이 때문인지 판단하기 어렵다. ### 로그 데이터 기반 인과 추론 - AI 기능을 사용한 작업과 사용하지 않은 작업의 평균 소요 시간을 비교하는 방식이다. - **성향 점수 매칭(PSM)**은 각 작업이 AI 사용 조건에 속할 확률을 계산해 비교하지만, 모든 교란 요인이 로그에 기록되어 있어야 한다. - 익명화된 사용자 ID만으로는 사용자의 주관적인 디자인 숙련도나 경험을 알 수 없어 PSM 적용에 한계가 있다. - **도구 변수(IV)** 방법은 AI 사용 여부에 영향을 주면서 작업 속도에는 다른 방식으로 영향을 주지 않는 변수가 필요하다. - 하지만 Figma 로그에는 이러한 조건을 만족하는 유효한 도구 변수가 없었다. ## 무작위 대조 실험을 선택한 이유 - RCT는 인과적 효과를 측정하는 표준적인 방법으로, 데이터 수집 단계에서 교란 요인을 직접 통제할 수 있다. - 연구에서는 다음 세 가지 요소를 결합했다. - **무작위 배정:** 참가자를 실험군과 대조군에 나누어 개인별 차이를 양쪽에 대체로 균등하게 분산 - **동일한 과제:** 모든 참가자가 같은 작업을 수행하게 해 과제 속성의 영향을 제거 - **실험 진행 관리:** 숙련된 연구팀이 실험을 감독해 수행 과정의 변동과 통계적 오류를 줄임 - 제품 디자이너와 PM이 일상적인 디자인 업무에서 Figma Make를 사용할 때 얻는 시간 절감 효과를 측정하기 위해 Figma 안팎의 사용자 연구팀과 협력했다. ## 연구 대상과 실험 도구 - 여러 AI 도구를 동시에 허용하면 어떤 도구가 시간 절감에 기여했는지 구분하기 어려워, 연구 대상 AI를 Figma Make 하나로 제한했다. - Figma Make는 사용자 기반이 크고 다양한 디자인 작업에 활용될 수 있어 연구 도구로 선정됐다. - 참가자는 총 100명으로 구성됐다. - 제품 디자이너 50명 - 제품 관리자 50명 - 표본 수는 GitHub Copilot 무작위 대조 실험 등 기존 연구에서 관찰된 효과 크기를 참고해 산출했다. - 이후 통계적으로 유의미한 효과를 탐지할 수 있도록 검정력 분석(power analysis)을 수행해 최종 표본 규모를 결정했다. ## 관찰된 효과 - 전체적으로 Figma Make 사용 시: - 디자인 작업이 **20% 더 빨라짐** - 작업이 **16% 더 쉬워짐** - 직군별로는 PM의 효과가 가장 컸다. - 작업 시간 **23% 단축** - 작업 난이도 **37% 감소** 실무에서 AI의 생산성 효과를 검증하려면 단순한 사용 로그 비교보다, 동일한 과제와 무작위 배정을 포함한 통제된 실험이 더 신뢰할 만하다. 특히 AI 도입 효과를 직군별로 비교하려면 사용자 특성뿐 아니라 과제 복잡도와 실험 진행 방식까지 함께 표준화하는 것이 중요하다.

원문 읽기(새 탭에서 열림)

데이터 사이언스AIfigma-makea-b-testing+2

github·2026년 7월 23일·1분 읽기큐레이션 요약

쿨다운이 필요한 이유: Dependabot이 이제 버전 업데이트를 내놓기 전에 기다리는 이유

Carlin은 GitHub Advanced Security에서 Dependabot을 담당하는 제품 관리자입니다. 소프트웨어 엔지니어링과 데이터 과학 경험을 바탕으로 데이터 중심의 제품 관리 방식을 활용합니다. 워싱턴에서 파트너와 반려견 Cookie와 함께 살며, 여가 시간에는 사이클링과 경쟁적인 보드게임을 즐깁니다. ### GitHub에서의 역할 - GitHub Advanced Security 조직에서 제품 관리 업무를 담당합니다. - 주요 담당 분야는 Dependabot입니다. - 보안과 의존성 관리 기능을 발전시키는 데 집중하고 있습니다. ### 기술적 배경과 업무 방식 - 소프트웨어 엔지니어링 경험을 보유하고 있습니다. - 데이터 과학 배경을 바탕으로 의사결정과 제품 전략을 수립합니다. - 데이터에 근거한 제품 관리 접근 방식을 중요하게 여깁니다. ### 개인 생활과 관심사 - 워싱턴에서 파트너 및 반려견 Cookie와 함께 생활합니다. - 여가 시간에는 사이클링을 즐깁니다. - 경쟁적인 보드게임에도 참여합니다. 전반적으로 Carlin은 개발 및 데이터 전문성을 활용해 GitHub의 보안 제품을 이끄는 제품 관리자입니다.

원문 읽기(새 탭에서 열림)

데이터 사이언스product-managementsoftware-engineeringdependabot+1

google·2026년 3월 17일원문

The Check Up에서의 구글 리서치: 헬스케어 혁신에서 실제 의료 현장까지 (새 탭에서 열림)

구글 리서치는 AI가 단순한 건강 데이터 추적 도구를 넘어 환자와 의료진 모두를 지원하는 통합적인 협업자가 되는 새로운 의료 시대를 제시합니다. 멀티모달 모델과 글로벌 파트너십을 통해 개인화된 건강 관리부터 암 진단, 공중 보건 최적화까지 아우르는 기술 혁신을 실현하고 있으며, 이를 통해 전 세계 누구나 고품질의 의료 서비스를 누릴 수 있도록 민주화하는 것을 목표로 합니다. **개인화된 건강 관리를 위한 지능형 에이전트** * Fitbit과의 협업으로 개발된 '개인 건강 에이전트(PHA)'는 단순한 걸음 수 측정을 넘어 데이터 과학자, 도메인 전문가, 건강 코치의 역할을 동시에 수행하며 장기적인 건강 증진을 돕습니다. * 대규모 멀티모달 모델을 기반으로 웨어러블 기기의 일상 데이터를 분석하여 수면, 건강 상태, 피트니스에 대한 개인별 맞춤형 통찰력과 가이드를 제공합니다. **의료진의 역량을 강화하는 협업형 AI** * 유방암 진단 AI 시스템은 기존 선별 검사에서 놓치기 쉬운 '간격암(interval cancers)'의 25%를 추가로 발견하는 성과를 거두었으며, 전문의의 업무 부하를 줄여 환자 대면 시간을 늘리는 데 기여합니다. * 멀티 에이전트 시스템인 'AMIE'는 병력, 검사 결과, 복잡한 의료 영상을 통합적으로 추론하여 의료진이 놓칠 수 있는 패턴을 식별하며, 현재 실제 임상 환경에서 실시간 병력 청취 보조 도구로 테스트 중입니다. * 당뇨망막병증 선별 모델은 인도, 태국 등지에서 100만 건 이상의 검사를 수행하며 2분 만에 진단 결과를 제공해 실명 예방의 효율성을 극대화하고 있습니다. **의료 개발자 생태계를 위한 개방형 기초 기술** * '의료 AI 개발자 파운데이션(HAI-DEF)'을 통해 오픈 웨이트 모델과 오픈소스 도구를 무료로 제공하여 전 세계 개발자들이 독자적인 의료 앱을 구축할 수 있도록 지원합니다. * 의료 특화 모델인 'MedGemma'는 텍스트와 3D 영상 해석, 의료 전용 음성 인식을 지원하며 인도와 싱가포르 등에서 외래 환자 분류 및 일차 진료 서비스 구축에 활용되고 있습니다. **공중 보건 및 과학적 발견의 가속화** * 'Google Earth AI'의 지형 공간 모델을 공중 보건에 접목하여 홍역 예방 접종률을 우편번호 단위의 초고해상도로 추정함으로써 보건 당국이 취약 지역에 선제적으로 대응할 수 있도록 돕습니다. * 가설 생성을 지원하는 'Co-Scientist'와 암 관련 유전적 변이를 정확히 식별하는 'DeepSomatic' 등의 도구를 통해 생물 의학 및 유전학 연구의 속도를 혁신적으로 높이고 있습니다. 구글의 이러한 행보는 AI 기술의 임상적 투명성과 안전성을 확보하기 위해 학술지 논문 게재 및 글로벌 의료 기관과의 협업을 병행하고 있음을 보여줍니다. 의료 기술 개발자와 관련 종사자들은 HAI-DEF와 같은 개방형 플랫폼을 활용해 검증된 AI 모델을 각 지역의 특성에 맞게 최적화함으로써 실질적인 의료 서비스의 질을 높일 수 있을 것입니다.

데이터 사이언스AItelehealthpublic-health+4

airbnb·2026년 2월 24일원문

학술 논문 및 에 (새 탭에서 열림)

Airbnb는 2025년 한 해 동안 KDD, CIKM, EMNLP 등 세계적인 AI 및 데이터 사이언스 학술대회에서 다수의 논문을 발표하며, 여행 및 주거 플랫폼으로서의 기술적 리더십을 공고히 했습니다. 이들은 단순히 학술적 성과에 그치지 않고 검색 알고리즘 고도화, 개인화 추천 시스템, 다중 모달(Multi-modal) 임베딩 등 실제 비즈니스 문제를 해결하기 위한 응용 머신러닝 기술에 집중했습니다. 결과적으로 이러한 연구들은 예약 전환율 향상과 수천만 달러의 추가 수익 창출이라는 실질적인 성과로 이어졌습니다. ### 검색 랭킹 및 개인화 기술 고도화 (KDD) * **교차 배치(Interleaving) 및 반사실적 평가(Counterfactual Evaluation):** 숙소 예약과 같이 전환 주기가 긴 상품의 경우 A/B 테스트 결과를 얻는 데 시간이 오래 걸립니다. 이를 해결하기 위해 실제 온라인 테스트 전 신속하게 알고리즘 성능을 예측하는 기법을 개발하여 실험 프로세스의 효율성을 높였습니다. * **극한 분류(Extreme Classification)를 통한 검색 지역 확장:** 사용자의 의도를 정밀하게 파악하기 위해 위치 검색 시 단순히 지리적 반경을 사용하는 대신, 고정밀 카테고리 기반의 위치 셀(Cell) 시스템을 도입하여 검색 정확도를 개선했습니다. ### 검색 보조 및 지도 UI 최적화 (CIKM) * **추천 시스템을 통한 검색 결과 보완:** 사용자가 지나치게 좁은 조건(필터)으로 검색하여 결과가 부족할 경우, 날짜 조정이나 편의시설 완화 등 대안적인 추천을 동적으로 제공하여 사용자 경험과 예약률을 개선했습니다. * **지도 기반 랭킹 최적화:** 전체 검색 상호작용의 80%가 발생하는 지도 UI는 기존 리스트 기반의 NDCG 지표로는 사용자 주의 집중도를 정확히 모델링하기 어렵습니다. 이에 지도 전용 NDCG 지표를 설계하고 이를 최적화하여 실제 예약 증대 효과를 거두었습니다. ### 다중 모달 데이터 활용 및 비교 쇼핑 모델링 (CIKM) * **BListing(이봉 분포 리스팅) 임베딩:** 숙소의 텍스트 정보와 사진 데이터를 대규모 언어 모델(LLM)과 이미지 모델을 통해 하나의 벡터로 통합했습니다. 이 다중 모달 임베딩 도입을 통해 수천만 달러의 점진적 수익 성장을 달성했습니다. * **비교 쇼핑 학습(Learning-to-Comparison-Shop):** 전통적인 랭킹 모델은 각 아이템을 개별적으로 평가하지만, 새로운 시스템은 사용자가 검색 결과 페이지에서 여러 아이템을 서로 비교하는 행동 자체를 모델링합니다. 이를 통해 예약 전환율을 0.6% 향상시켰습니다. ### NLP 및 대규모 언어 모델(LLM)의 실무 적용 (EMNLP) * **고객 지원 및 신뢰와 안전:** EMNLP에서는 LLM을 활용한 고객 상담 지원, 검색 및 발견 기능 강화, 플랫폼 내 신뢰 시스템 구축을 위한 최신 아키텍처와 학습 전략을 공유했습니다. * **실제 프로덕션 환경의 LLM:** 단순한 모델 성능을 넘어 대규모 서비스 환경에서 LLM을 안전하고 효율적으로 운영하기 위한 평가 체계와 오픈소스 라이브러리 활용 방안을 제시했습니다. 데이터 기반의 의사결정과 정교한 머신러닝 모델링은 복잡한 양면 시장(Two-sided Marketplace)에서 사용자 만족도를 높이는 핵심 동력입니다. 특히 사용자 경험에 직접적인 영향을 미치는 검색 UI(지도 vs 리스트)별 전용 지표를 설정하거나, 텍스트와 이미지를 통합한 다중 모달 임베딩을 구축하는 접근 방식은 유사한 도메인의 엔지니어들에게 실무적인 영감을 제공합니다.

데이터 사이언스대규모 언어 모델머신러닝자연어 처리+4

figma·2026년 2월 17일·4분 읽기큐레이션 요약

데이터 사이언티스트로서 영향력을

데이터 과학의 영향력은 A/B 테스트나 최적화에만 있지 않으며, 복잡한 시스템을 이해하기 쉽게 만들고 정확성과 운영 안정성을 높이는 데에도 있다. 특히 빌링처럼 여러 시스템과 상태 변화가 얽힌 영역에서는 데이터 과학자가 도메인 지식, 데이터 모델링, 검증 도구, 엔지니어링 협업을 함께 수행해야 한다. 글은 데이터 과학을 ‘풀스택’ 분야로 보고, 과거와 현재의 시스템 동작을 설명하며, 기술적 방향과 품질 기준까지 정의해야 한다고 주장한다. ## 데이터 과학은 풀스택 분야다 - 데이터 과학자의 역할은 팀에 따라 실험 설계, 제품 분석, 데이터 모델링, 계측, 시스템 검증 등 크게 달라진다. - Figma는 한 프로젝트 안에서도 여러 역할을 수행할 수 있는 풀스택 데이터 과학자를 지향한다. - 빌링은 사용자에게 직접 보이는 제품이면서 동시에 복잡한 백엔드 시스템이므로, 단순한 기회 분석이나 실험만으로는 충분하지 않다. - 정확한 청구는 고객 경험과 플랫폼에 대한 신뢰에 직접 영향을 미친다. - 따라서 데이터 과학자는 다음과 같은 업무를 수행한다. - 빌링 도메인과 업무 규칙 이해 - 여러 팀과의 협업 - 시스템 동작을 설명하고 검증하는 도구 개발 - 데이터 품질과 계측 개선 - 정해진 데이터 과학 플레이북을 적용하기보다, 파트너 팀과 함께 실제로 필요한 지원 방식을 정의하는 것이 중요하다. ## 차트와 모델 외에도 시스템을 설명하는 방법이 있다 - 예측이나 추론 모델이 항상 가장 영향력 있는 데이터 과학 작업은 아니다. - 복잡한 시스템에서는 현재 또는 과거의 결과가 왜 발생했는지 설명하는 일이 더 중요할 수 있다. - Figma의 좌석 기반 빌링에서는 다음 요소가 여러 시스템에 걸쳐 상호작용한다. - 좌석 할당 및 제거 - 권한 변경 - 계약 조건 - 업그레이드 경로 - 워크스페이스 상태 - 특정 시점에 발생한 상태 전환 - 인보이스의 단순한 한 줄 청구 항목도 실제로는 여러 제품 이벤트와 빌링 규칙의 결과다. - 이를 해결하기 위해 **Invoice Seat Report**라는 데이터 애플리케이션을 구축했다. - 제품 사용 이벤트, 계약 메타데이터, 빌링 규칙, 과거 상태 전환을 통합한다. - 각 좌석 요금이 왜 발생했는지 평이한 언어로 설명한다. - 고객 지원, 주문 관리, 엔터프라이즈 담당자가 고객에게 청구 내역을 설명할 수 있게 한다. - 엔지니어가 예상치 못한 청구 동작을 디버깅할 때도 활용된다. ## 신뢰할 수 있는 설명에는 데이터 기반이 필요하다 - 보고서를 만드는 일은 단순히 여러 테이블을 조회하는 작업이 아니었다. - 좌석 상태가 시스템마다 어떻게 변화하는지에 대한 공통된 정신 모델을 먼저 만들어야 했다. - 이를 위해 다음 작업이 필요했다. - 엔지니어와 데이터 흐름 및 업무 규칙 검증 - 과거 데이터의 불일치 정리 - 누락된 이벤트에 대한 새로운 계측 요청 - “무슨 일이 일어났는가”뿐 아니라 “왜 일어났는가”를 기록하도록 로그 개선 - 기존 로그는 결과만 남기고 원인을 기록하지 않는 경우가 있어, 미래의 분석 가능성을 높이기 위한 시스템 변경도 함께 진행했다. - 특히 레거시 다년 계약처럼 좌석 이력이 드문 경우나, 초기 업그레이드로 데이터에 공백이 생기는 경우를 별도로 처리해야 했다. - 빌링 규칙을 SQL과 데이터 변환 로직으로 옮길 때는 각 규칙을 추적하고 디버깅할 수 있도록 구현해야 했다. ## 데이터 과학자는 기술적 방향도 정의할 수 있다 - 비즈니스 규칙을 측정 가능한 검증 조건으로 바꾸면 데이터 과학은 제품 분석을 넘어 시스템 품질 관리에 기여할 수 있다. - 이런 검증은 다음 목적에 활용된다. - 무엇이 “정상”인지 정의 - 데이터 및 시스템 동작의 드리프트 감시 - 회귀 버그 조기 탐지 - 미묘한 이상 상태 발견 - 개발 환경과 운영 환경에서 결과 검증 - 빌링처럼 상태가 누적되는 시스템에서는 좌석 할당, 상태 전환, 인보이스 계산이 모두 의도한 규칙과 일치해야 한다. - 작은 계산 오류도 고객의 청구 금액과 서비스 신뢰도에 영향을 줄 수 있다. - Figma가 가격·상품 구성·빌링 로직을 대규모로 재설계했을 때도 데이터 과학은 다음을 검증하는 역할을 맡았다. - 새 로직이 의도대로 작동하는지 - 데이터가 파이프라인을 통해 정확히 흐르는지 - 예상하지 못한 빌링 상태가 발생하지 않는지 - 개발과 운영 환경 모두에서 결과가 일관적인지 복잡하고 중요한 시스템에서 데이터 과학자는 분석 결과를 제공하는 사람을 넘어, 시스템을 설명 가능하게 만들고 정확성을 검증하는 기술 파트너가 되어야 한다. 따라서 실험 중심의 역할에만 한정하지 말고, 도메인 모델링·데이터 품질·계측·자동 검증까지 업무 범위를 확장하는 것이 실용적인 접근이다.

원문 읽기(새 탭에서 열림)

데이터 사이언스옵저버빌리티sql데이터 엔지니어링+3

airbnb·2026년 1월 28일원문

나의 에어비앤비 (새 탭에서 열림)

에어비앤비의 정책 부문 수석 경제학자이자 데이터 사이언스 디렉터인 피터 콜스(Peter Coles)는 학문적 이론과 비즈니스 실무를 결합하여 거대 플랫폼의 복잡한 문제를 해결해 온 여정을 소개합니다. 그는 게임 이론과 시장 설계(Market Design)라는 학문적 토대가 어떻게 실제 마켓플레이스의 효율성을 높이고 정책적 의사결정을 뒷받침하는 데이터 분석으로 진화할 수 있는지를 자신의 경력을 통해 증명합니다. 결국 이 글은 학계의 정교한 방법론이 기업의 실시간 데이터와 만났을 때 사회적 영향력과 비즈니스 성장을 동시에 달성할 수 있음을 시사합니다. ### 학문적 토대와 시장 설계에 대한 관심 * 피터 콜스는 스탠퍼드 대학교에서 경제학 박사 학위를 취득하며 복잡한 문제를 단순화하여 분석하는 법을 배웠으며, 게임 이론을 바탕으로 수학과 전략의 접점을 연구했습니다. * 하버드 경영대학원(HBS) 조교수 시절, 노벨 경제학상 수상자인 앨빈 로스(Al Roth)와 함께 '시장 설계' 분야를 공동 강의하며 가격만으로는 해결되지 않는 '매칭(Matching)' 메커니즘을 깊이 있게 다루었습니다. * 이론적 연구에 머물지 않고 실제 기술 산업에 매력을 느낀 그는, 이베이(eBay)의 데이터 랩(Data Labs)을 이끌며 아이템의 공정 시장 가치를 산출하는 등 실무적인 모델링 경험을 쌓았습니다. ### 에어비앤비에서의 데이터 사이언스 3단계 여정 * **1단계: 정책과 경제의 결합**: 초기에는 글로벌 데이터 사이언티스트 및 경제학자 팀을 구성하여 단기 임대 서비스가 도시에 미치는 경제적 영향과 규제 문제를 분석하는 데 집중했습니다. * **2단계: 중앙 전략 및 통찰(CSI) 팀 창립**: 부서 간 경계를 넘나드는 전사적 문제를 해결하기 위해 'CSI(Central Strategy & Insights)' 팀을 설립했습니다. 마치 과학 수사대처럼 데이터를 추적하여 팬데믹 기간 중 변화된 여행 트렌드를 분석하고, 기업 공개(IPO)를 앞두고 주주들에게 비즈니스 모델을 설명하는 분석을 주도했습니다. * **3단계: 사회적 영향력 측정과 학술 협력**: 팬데믹 이후 여행 수요가 회복되는 과정에서 에어비앤비가 게스트, 호스트, 그리고 사회 전체에 미치는 영향을 평가하는 모델을 개발했습니다. 또한 외부 학계 연구자들과 협력하여 에어비앤비의 방대한 데이터를 바탕으로 한 학술적 연구 프로그램을 확장하고 있습니다. ### 이론과 실무의 균형을 통한 시너지 * 피터 콜스는 학계의 깊이 있는 연구 방식과 기업의 빠른 실행 속도 사이에서 균형을 잡는 것이 중요하다고 강조합니다. * 그는 에어비앤비에서 수백만 명의 사용자 데이터를 직접 다루며 제품 결정과 정책 수립에 실질적인 영향력을 행사하는 동시에, 여전히 학계와 긴밀히 소통하며 데이터 기반의 통찰을 공유하고 있습니다. 이 글은 데이터 사이언티스트나 경제학자를 꿈꾸는 이들에게 학문적 전문성이 어떻게 글로벌 플랫폼의 핵심 전략으로 치환될 수 있는지를 보여주는 실무적인 가이드를 제공합니다. 전문 지식을 갖춘 인재라면 단순히 기술적 분석에 그치지 않고, 비즈니스의 거시적 흐름과 정책적 맥락을 읽는 능력을 키울 것을 추천합니다.

데이터 사이언스data-modelingmarketplace-designeconomics+3

stripe·2025년 12월 17일원문

Stripe Capital을 통해 자 (새 탭에서 열림)

Stripe Capital은 중소상공인(SMB)의 자금 조달 문제를 해결함으로써 비즈니스 성장을 가속화하며, 실제 실험 결과 금융 지원을 받은 기업은 대조군보다 평균 27%p 더 높은 매출 성장률을 기록했습니다. 특히 소규모 기업이나 성장 중심의 프로젝트에 자금을 투입한 경우 그 효과가 극대화되었으며, 이는 전통적 금융권의 높은 문턱을 넘지 못하는 기업들에게 대안 금융이 실질적인 비즈니스 확장의 기회를 제공함을 입증합니다. ### 무작위 대조 실험(RCT)을 통한 성장의 인과관계 증명 * 단순한 상관관계를 넘어 금융 지원이 성장에 미치는 직접적인 영향을 확인하기 위해 2020~2021년과 2023~2025년 두 차례에 걸쳐 대규모 무작위 대조 실험을 실시했습니다. * 신용도, 매출액, 업력 등이 유사한 기업들을 대조군으로 설정하여 분석한 결과, 거시경제 환경과 관계없이 지속적인 성장 촉진 효과가 나타남을 확인했습니다. * 최근 조사(2023~2025년)에서는 금융 지원을 받은 기업이 평균 27%p 더 높은 성장률을 보였으며, 성과가 가장 좋은 상위 10% 기업은 평균 211%p라는 폭발적인 성장을 달성했습니다. ### 금융 사각지대 해소와 소규모 기업의 성장 * 연 매출 3,000달러에서 76,000달러 사이의 소규모 기업에서 33~43%p의 높은 성장률 향상이 관찰되었으며, 우수한 신용 점수를 가진 연 매출 52,000달러 미만 기업은 최대 106%p의 성장을 기록했습니다. * 전통적인 은행은 대출 심사에 14~40일이 소요되고 거절률이 약 50%에 달하지만, Stripe Capital은 결제 데이터를 기반으로 평균 1~2일 내에 신속하게 자금을 제공합니다. * 신용 점수가 낮거나 정보가 부족한 기업들조차 자금 지원을 통해 대조군 대비 평균 11~18%p 더 빠르게 성장하며 금융 접근성의 중요성을 보여주었습니다. ### 성장 중심 프로젝트와 자금 활용의 시너지 * 신규 제품 출시, 사업 확장, 인프라 구축 등 '성장 지향적 목적'으로 자금을 활용한 기업은 70~95%p의 비약적인 성장률 보너스를 얻었습니다. * 데이터 기반의 선제적 제안(Proactive offers)은 사업자가 주저하던 리스크를 감수하고 새로운 시장(예: 해외 서버 확충, 기기 도입 등)에 과감히 도전하게 만드는 촉매제 역할을 합니다. * 실제로 자금을 지원받은 기업들은 이를 통해 즉각적인 매출을 창출하거나 글로벌 시장으로 서비스를 확장하는 등 실질적인 사업 지표를 개선했습니다. 전 세계 SMB의 자금 조달 격차는 약 5.7조 달러에 달하며, Stripe Capital과 같은 비전통적 금융 서비스는 이를 메워 글로벌 GDP 성장에 기여할 잠재력이 큽니다. 비즈니스 운영 도구에 통합된 금융 서비스는 단순한 자금 제공을 넘어, SMB가 성장 기회를 포착하고 적기에 과감한 투자를 결정할 수 있도록 돕는 핵심적인 파트너가 될 것입니다.

데이터 사이언스fintechcausal-inferenceexperiment-design+3

google·2025년 11월 5일원문

DS-STAR: 최첨 (새 탭에서 열림)

DS-STAR는 통계 분석부터 시각화, 데이터 가공에 이르는 방대한 작업을 자동화하는 최첨단 데이터 과학 에이전트로, 특히 구조화되지 않은 다양한 형식의 데이터를 처리하는 데 탁월한 성능을 보입니다. 이 에이전트는 데이터 파일의 맥락을 자동으로 추출하고, 생성된 계획을 검증하며, 피드백에 따라 계획을 반복적으로 수정하는 세 가지 핵심 혁신을 통해 기존 모델의 한계를 극복했습니다. 결과적으로 DABStep을 포함한 주요 데이터 과학 벤치마크에서 기존의 최첨단 모델들을 제치고 1위를 차지하며 그 실효성을 입증했습니다. **다양한 데이터 형식의 자동 분석 및 맥락 추출** * 기존 데이터 과학 에이전트들이 CSV와 같은 정형 데이터에 의존했던 것과 달리, DS-STAR는 JSON, 비구조화 텍스트, 마크다운 등 현실 세계의 다양한 데이터 형식을 처리할 수 있습니다. * 워크플로의 첫 단계에서 디렉토리 내의 모든 파일을 자동으로 조사하여 데이터의 구조와 내용을 텍스트 요약 형태로 추출합니다. * 이 요약 정보는 에이전트가 당면한 과제를 해결하는 데 필요한 필수적인 맥락 데이터로 활용됩니다. **반복적 계획 수립 및 검증 프레임워크** * DS-STAR는 계획(Planner), 구현(Coder), 검증(Verifier), 라우팅(Router) 단계로 구성된 반복 루프를 통해 작동합니다. * LLM 기반의 검증 에이전트(Verifier)가 각 단계에서 수립된 계획의 충분성을 평가하며, 만약 미흡하다고 판단될 경우 라우터(Router)가 단계를 수정하거나 추가하도록 유도합니다. * 이는 전문가가 구글 코랩(Google Colab)과 같은 도구를 사용하여 중간 결과를 확인하며 순차적으로 분석을 진행하는 방식을 모방한 것으로, 최대 10회까지 반복 정제 과정을 거칩니다. **벤치마크 성능 및 실전 데이터 대응 능력** * DABStep, KramaBench, DA-Code와 같은 주요 벤치마크 평가에서 AutoGen 및 DA-Agent와 같은 기존 모델들을 일관되게 압도했습니다. * 특히 DABStep 벤치마크에서는 정확도를 기존 41.0%에서 45.2%로 끌어올리며 공공 리더보드 1위를 기록했습니다. * 단일 파일 작업(Easy task)뿐만 아니라 여러 이기종 데이터 소스를 결합해야 하는 복잡한 작업(Hard task)에서 경쟁 모델 대비 압도적인 성능 우위를 보였습니다. DS-STAR는 정형 데이터에 국한되지 않고 실제 비즈니스 현장의 파편화된 데이터를 통합 분석해야 하는 환경에서 매우 유용한 도구가 될 수 있습니다. 복잡한 데이터 과학 워크플로를 자동화하고자 하는 조직은 DS-STAR의 순차적 계획 수립 및 자기 검증 메커니즘을 도입함으로써 분석의 정확도와 신뢰성을 획기적으로 높일 수 있을 것입니다.

데이터 사이언스AI대규모 언어 모델머신러닝+4

netflix·2025년 11월 4일원문

넷플릭스의 Meta (새 탭에서 열림)

넷플릭스는 머신러닝(ML) 및 AI 워크플로우의 프로토타이핑부터 프로덕션 운영까지의 전 과정을 효율화하기 위해 오픈소스 프레임워크인 메타플로우(Metaflow)를 지속적으로 발전시켜 왔습니다. 특히 최신 업데이트인 Metaflow 2.19 버전에서는 'Spin'이라는 기능을 도입하여, 대규모 데이터와 모델을 다루는 ML 개발 과정에서 필수적인 빠른 반복 시도(Iterative development)와 상태 유지(Stateful iteration)를 획기적으로 가속화했습니다. 이를 통해 개발자는 코드 변경 사항을 즉각적으로 확인하면서도 운영 환경의 안정성을 동시에 확보할 수 있습니다. **ML 및 AI 워크플로우에서의 반복 개발 특성** * **데이터와 모델 중심의 반복:** 전통적인 소프트웨어 공학의 코드 중심 개발과 달리, ML/AI 개발은 크기가 크고 가변적인 데이터 및 모델을 중심으로 이루어집니다. * **비결정적 과정:** 데이터 변환이나 모델 학습은 실행 시마다 결과가 조금씩 달라지는 확률적 특성을 가지며, 연산 비용이 매우 높습니다. * **노트북의 장점과 한계:** 주피터(Jupyter)와 같은 노트북 도구는 메모리에 상태를 유지하여 빠른 피드백을 주지만, 실행 순서의 불명확성, 숨겨진 상태 문제, 재현성 부족 등의 고질적인 문제를 안고 있습니다. **메타플로우의 체크포인트 기반 상태 관리** * **@step을 통한 체크포인트 설정:** 메타플로우의 각 단계(`@step`)는 체크포인트 경계 역할을 수행하며, 단계가 종료될 때 모든 인스턴스 변수를 아티팩트(Artifact)로 자동 저장합니다. * **Resume 기능의 활용:** 기존의 `resume` 명령어를 사용하면 특정 단계부터 실행을 재개할 수 있어, 실패한 지점이나 수정이 필요한 지점부터 다시 시작할 수 있습니다. * **노트북 방식과의 차별점:** 실행 순서가 명시적이고 결정적이며, 모든 상태가 버전화되어 저장되므로 결과의 추적과 재현이 매우 용이합니다. **Spin: 반복 개발 속도의 극대화** * **지연 시간 단축:** 기존의 `resume` 방식은 특정 단계부터 전체를 다시 실행해야 하므로 반복 주기 사이에 일정 수준의 지연(Latency)이 발생했습니다. * **점진적 실험의 가속화:** 새로운 'Spin' 기능은 이러한 지연을 최소화하여 노트북 수준의 즉각적인 피드백을 제공하면서도 메타플로우의 견고한 상태 관리 기능을 그대로 활용합니다. * **워크플로우 엔진과의 통합:** 메타플로우는 넷플릭스의 워크플로우 오케스트레이터인 마에스트로(Maestro)와 긴밀하게 연동되어, 개발 환경에서 테스트한 로직을 프로덕션 규모로 확장하는 데 소요되는 오버헤드를 최소화합니다. 데이터 과학자와 엔지니어는 Metaflow 2.19 버전을 통해 Spin 기능을 직접 체험해 볼 수 있습니다. 실험적인 탐색 단계에서는 노트북처럼 빠른 속도를 누리고, 배포 단계에서는 엔지니어링 표준을 준수하는 견고한 파이프라인을 구축하고자 한다면 메타플로우의 새로운 반복 개발 워크플로우를 도입해 보길 권장합니다.

데이터 사이언스AI머신러닝workflow-orchestration+3

google·2025년 9월 29일원문

개인 건강 에이전트 (새 탭에서 열림)

구글 리서치는 웨어러블 기기의 시계열 데이터와 혈액 지표 등 다중 모드(multimodal) 데이터를 분석하여 개인화된 건강 통찰력을 제공하는 LLM 기반의 '개인 건강 에이전트(PHA)' 연구 프레임워크를 공개했습니다. 이 시스템은 데이터 과학, 도메인 전문가, 건강 코치라는 세 가지 전문 서브 에이전트로 구성된 멀티 에이전트 아키텍처를 채택하여 사용자의 복잡하고 모호한 건강 질문에 정밀하게 대응합니다. 대규모 실제 사용자 데이터를 활용한 광범위한 평가 결과, PHA는 기존 단일 LLM 대비 데이터 분석 및 의학적 근거 기반 조언 측면에서 월등한 성능을 입증하며 차세대 개인용 건강 관리 도구의 가능성을 제시했습니다. **사용자 중심 설계와 멀티 에이전트 구조** * 1,300개 이상의 실제 건강 질문과 500명 이상의 사용자 설문 조사를 분석하여 일반 건강 지식 이해, 개인 데이터 해석, 실천 가능한 조언, 증상 평가라는 4가지 핵심 요구 사항을 도출했습니다. * 인간 전문가 팀의 업무 방식을 모방하여 데이터 과학자, 도메인 전문가, 개인 건강 코치 역할을 수행하는 서브 에이전트들이 협업하는 구조를 설계했습니다. * 약 1,200명의 사용자로부터 동의를 얻은 핏빗(Fitbit) 활동 데이터, 건강 설문, 혈액 검사 결과를 포함한 리얼 월드 데이터셋을 평가에 활용하여 실무적인 유효성을 검증했습니다. **데이터 과학 에이전트: 시계열 데이터의 수치적 해석** * 웨어러블 기기의 복잡한 시계열 데이터를 분석하며, "최근에 더 건강해졌나요?"와 같은 사용자의 모호한 질문을 구체적인 통계 분석 계획으로 변환합니다. * 분석 계획 수립과 코드 생성의 2단계 프로세스를 거쳐 통계적으로 유효한 답변을 도출하며, 생성된 코드는 실제 데이터에서 즉시 실행 가능한 수준의 정확도를 갖췄습니다. * 평가 결과, 데이터 분석 계획 수립 능력에서 75.6%의 점수를 기록하며 기본 모델(Gemini, 53.7%)을 크게 상회하는 성능을 보였습니다. **도메인 전문가 에이전트: 근거 기반의 신뢰할 수 있는 정보** * NCBI(미국 국립생물정보센터)와 같은 권위 있는 외부 데이터베이스에 접근하여 검증된 사실에 기반한 답변을 생성하는 다단계 추론 프레임워크를 사용합니다. * 사용자의 기저 질환이나 개인 프로필에 맞춰 정보를 맞춤화하여 제공하며, 전문 보건 자격시험 문항 및 감별 진단 능력을 평가하는 벤치마크에서 우수한 성과를 거두었습니다. * 의료 전문가와 일반 소비자 모두를 대상으로 한 인간 평가를 통해 정보의 정확성과 안전성을 동시에 확보했습니다. 이 연구는 범용 LLM의 한계를 넘어 전문화된 에이전트 간의 협업이 개인화된 의료 AI 서비스에서 얼마나 중요한지를 잘 보여줍니다. 앞으로 이러한 기술이 실제 서비스에 적용된다면, 사용자는 자신의 건강 데이터를 단순히 수집하는 것을 넘어 능동적으로 이해하고 실질적인 생활 습관 변화를 이끌어내는 강력한 조력자를 얻게 될 것입니다.

데이터 사이언스AI대규모 언어 모델gemini+5

datadog·2024년 9월 23일원문

장애 회고 작성을 지원하기 위해 비용, 품질, 안전성 측면에서 LLM 활용을 최적화한 방법 (새 탭에서 열림)

장애 해결 후 포스트모템(장애 회고록)을 작성하는 과정은 조직의 학습과 복구 능력 향상을 위해 필수적이지만, 엔지니어들에게는 상당한 시간과 노력이 드는 번거로운 작업입니다. 이를 해결하기 위해 Datadog은 Bits AI에 LLM을 도입하여 정형화된 장애 메타데이터와 슬랙의 비정형 대화 데이터를 결합해 포스트모템 초안을 자동 생성하는 기능을 구현했습니다. 이 프로젝트는 단순한 자동화를 넘어, 환각 현상을 억제하고 엔지니어가 직접 내용을 검토하며 학습하는 '인간 중심의 통제권'을 유지하는 데 초점을 맞추었습니다. ### LLM 기반 포스트모템 도입 시 직면한 과제 * **데이터 정확성 및 환각(Hallucinations):** LLM은 문법적으로는 완벽해 보이지만 사실이 아닌 내용을 그럴듯하게 생성하는 경향이 있습니다. 팩트가 생명인 장애 보고서에서 이러한 비결정론적 특성을 제어하는 것이 가장 큰 과제였습니다. * **비용, 속도, 품질의 트레이드오프:** GPT-4와 같은 고성능 모델은 정확도가 높지만 GPT-3.5에 비해 비용이 최대 50배 비싸고 생성 속도가 느려, 사용자 경험과 운영 비용 사이의 균형점이 필요했습니다. * **학습 과정의 훼손 방지:** AI가 완성된 결과물을 그대로 제공하면 엔지니어가 장애 원인을 깊이 파고드는 학습 기회를 놓칠 수 있습니다. 따라서 AI는 '작성 보조 도구'로서 초안을 제공하고 최종 판단은 인간이 하도록 설계해야 했습니다. * **보안 및 개인정보 보호:** 장애 데이터에는 민감한 정보나 비밀번호 등이 포함될 수 있으므로, LLM에 데이터를 전달하기 전 이를 사전에 필터링하는 보안 레이어가 필수적이었습니다. ### 정확도 향상을 위한 기술적 해결책 * **커스텀 API 및 데이터 정제 프레임워크:** 슬랙 대화와 장애 관리 앱에서 데이터를 추출한 뒤, 민감 정보를 제거하고 구조화하여 LLM이 처리하기 쉬운 형태로 변환하는 전용 API를 개발했습니다. * **정형·비정형 데이터의 결합:** 수동으로 입력된 장애 메타데이터(정형)뿐만 아니라, 장애 당시의 급박한 상황이 담긴 슬랙 대화 내용(비정형)을 함께 분석하여 문맥적으로 더 정확한 초안을 생성하도록 했습니다. * **프롬프트 엔지니어링 및 파라미터 튜닝:** 100시간 이상을 투입해 프롬프트 구조를 반복 수정했으며, 모델의 온도(Temperature) 설정을 낮추어 출력의 일관성을 높이고 무작위성을 줄였습니다. * **점진적 검증 프로세스:** 포스트모템 작성을 돕기 전, 먼저 짧은 '장애 요약 기능'을 구현하여 모델의 성능을 테스트하고 여기서 얻은 인사이트를 긴 문서 작성 기능에 피드백하는 방식을 취했습니다. ### 모델 출력 평가 및 피드백 루프 * **정성적/정량적 평가 병행:** 기존에 사람이 작성한 포스트모템과 AI가 생성한 초안을 정확성, 간결성, 유용성 등의 항목으로 비교하는 설문 조사를 실시하여 품질을 지속적으로 개선했습니다. * **사용자 피드백 반영:** 초안 생성 과정에서 엔지니어가 수정하는 내용을 추적하여, 어떤 부분이 부족하고 어떤 정보가 더 보강되어야 하는지 데이터 기반으로 파악하고 있습니다. LLM을 이용한 포스트모템 작성 지원은 엔지니어의 업무 부담을 줄여주는 동시에, 장애로부터 배우는 조직 문화를 더욱 공고히 하는 강력한 도구가 될 수 있습니다. 다만, AI의 결과물을 맹신하기보다는 엔지니어가 비판적으로 검토할 수 있는 '초안' 단계로 활용하는 것이 시스템의 신뢰성과 교육적 가치를 유지하는 핵심입니다.

데이터 사이언스대규모 언어 모델datadogslack+4

figma·2023년 10월 24일·3분 읽기큐레이션 요약

Figma의 데이터 사이언스 및

Figma의 데이터 과학팀과 사용자 조사팀은 알림 문제를 정량 데이터와 정성적 사용자 의견으로 함께 분석했다. 그 결과 알림 클릭률보다 앞선 단계인 “알림을 아예 받지 못하는 문제”가 가장 큰 개선 기회임을 발견했다. Figma는 이를 해결하기 위해 새로운 알림 유형을 추가하고, 누가 언제 알림을 받아야 하는지 재검토하는 실험을 시작했다. ## 정량 데이터와 정성 조사의 결합 - 데이터 과학은 대규모 사용자 행동을 통해 **무슨 일이 일어나는지(What)** 보여준다. - 사용자 조사는 사용자가 왜 그렇게 행동하는지 **이유(Why)** 를 파악하는 데 도움을 준다. - 수치만으로는 사용자의 동기와 맥락을 알기 어렵고, 인터뷰만으로는 전체 사용자에게 나타나는 패턴을 확인하기 어렵다. - 두 방법을 함께 사용하면 각 분석의 한계를 보완해 더 완전한 제품 이해가 가능하다. - 두 팀은 이를 날실과 씨실을 엮어 천을 만드는 과정에 비유했다. ## Figma 알림 퍼널과 문제 정의 - Figma 알림은 이메일, Slack, 모바일, 파일 브라우저·시스템 트레이·데스크톱 알림 등 여러 경로로 전달된다. - 알림 유형에는 댓글, 댓글 답글, 댓글 반응, 파일·팀·프로젝트 초대, 편집 초대, 멘션 등이 있다. - 사용자가 알림과 상호작용하려면 다음 단계를 통과해야 한다. - 알림 대상이 될 수 있음 - 알림을 받음 - 알림을 확인함 - 알림과 상호작용함 - 활동 팀은 어느 단계에서 사용자가 가장 많이 이탈하는지, 어떤 단계에 투자해야 하는지 알지 못했다. - 분석 결과 가장 큰 문제는 많은 사용자가 알림을 열지 않는 것이 아니라 **알림 자체를 받지 못하고 있다는 점**이었다. ## 협업형 분석 프로세스 구축 - Caitlin Hudon과 Jennifer Sanders는 FigJam에서 팀 전체 브레인스토밍을 진행했다. - 팀은 알림을 받은 사용자, 열어본 사용자, 클릭한 사용자의 비율과 현재 상태를 공유했다. - 이후 다음과 같은 질문을 함께 정리했다. - 분기별로 어떤 지표를 개선할 것인가? - 새로운 알림 유형이 필요한가? - 현재 데이터만으로 알 수 없는 것은 무엇인가? - 질문을 데이터 과학으로 답할지, 사용자 조사로 답할지 각자의 전문 영역에 따라 나누었다. - 두 연구자는 각자 프로젝트를 진행하면서도 지속적으로 소통하고, 공통된 질문과 발견을 맞춰 갔다. - 이런 지속적인 동기화와 결과 종합에 충분히 투자하는 것이 단순히 두 연구 결과를 나열하는 것보다 중요했다. ## 행동 데이터가 보여준 것과 사용자 조사가 밝혀야 한 것 - 데이터 분석은 알림 퍼널의 각 단계에서 사용자가 얼마나 줄어드는지 파악하는 데 적합했다. - 특히 알림 수신 여부와 실제 상호작용 사이의 차이를 수치로 확인할 수 있었다. - 사용자 조사는 사용자가 알림을 받지 못하거나 활용하지 않는 상황의 맥락과 기대를 이해하는 데 사용됐다. - 사용자는 자신의 행동 이유를 항상 정확히 설명하지 못할 수 있으므로, 인터뷰 결과를 행동 데이터와 함께 검증해야 했다. - 정량 결과와 정성적 설명을 결합해 팀은 단순한 클릭률 개선이 아닌 알림 전달 구조 자체를 개선해야 한다고 판단했다. ## 발견을 제품 개선으로 연결 - 활동 팀은 알림을 통해 팀원 간 연결과 협업을 강화하는 것을 목표로 했다. - 가장 큰 개선 영역은 기존 알림의 클릭을 유도하는 것보다 다음 문제를 해결하는 데 있었다. - 적절한 사용자가 알림을 받지 못하는 문제 - 필요한 상황을 포괄하지 못하는 알림 유형 - 알림을 받을 시점과 대상이 적절하지 않은 문제 - 이후 팀은 여러 알림 실험을 시작했다. - 사용자의 주요 불편을 해결하기 위한 새로운 알림 유형도 출시됐다. ## 실용적인 결론 제품 문제를 분석할 때 퍼널의 마지막 행동만 보지 말고, 사용자가 그 단계에 도달하기 전 어디에서 이탈하는지 확인해야 한다. 대규모 행동 데이터로 문제의 범위를 파악한 뒤, 사용자 조사로 원인과 맥락을 보완하고, 두 결과를 공동으로 종합하는 방식이 효과적이다.

원문 읽기(새 탭에서 열림)

데이터 사이언스figjamslackuser-research+2

figma·2022년 10월 12일·3분 읽기큐레이션 요약

데이터를 활용하는 방법 | 피그

Figma는 서비스를 제공하는 데 필요한 **기능 데이터**와 제품 개선에 활용하는 **분석 데이터**를 구분해 수집·활용한다. 분석 데이터는 기능 개발, 성능 개선, 커뮤니티 보호를 위한 의사결정을 지원하며, A/B 테스트와 데이터 분석을 통해 사용자 경험을 정량적으로 검증한다. 글은 데이터 활용이 제품을 발전시키는 동시에 고객에게 수집 목적과 책임을 투명하게 설명해야 한다고 강조한다. ## 기능 데이터: 서비스 제공에 필요한 최소 정보 - 이메일 주소는 사용자 이름 부여와 비밀번호 재설정 등 중요한 안내에 사용된다. - 가입 시 이름과 역할을 추가로 수집하며, 이 정도의 기본 정보만으로 파일 생성과 협업을 시작할 수 있다. - 다른 클라우드 서비스와 달리 신원 확인 서류나 문서 등 민감한 정보를 일반적으로 요구하지 않는다. - 유료 플랜의 결제 정보는 Figma가 직접 처리하지 않고 결제 인프라 제공업체인 Stripe가 수집·처리한다. ## 분석 데이터: 제품 개선을 위한 사용 정보 - 사용자가 어떤 기능을 사용하는지, 사용하지 않는지, 이용 과정에서 어려움을 겪는지를 파악한다. - 플랫폼에 접근하는 방식과 같은 메타데이터도 분석 대상에 포함된다. - 사용자 의견이나 소셜미디어 반응만으로는 전체 사용 패턴을 파악하기 어렵기 때문에 정량적 데이터가 필요하다. - 데이터 과학팀이 수집된 정보를 처리·분석해 제품 개발 방향을 세운다. - 주요 활용 목적은 기능 개선, 애플리케이션 성능 최적화, Figma 커뮤니티 보호다. ## A/B 테스트를 통한 기능 개선 - Figma는 UX 리서치, 데이터 분석, 제품 직관에서 세운 가설을 실험으로 검증한다. - 새로운 기능이나 UI 변경이 사용자 행동에 미치는 영향을 정량적으로 비교해 출시 여부를 판단한다. - 공유 모달 개선 사례에서는 가입 후 첫 달에 공유 모달을 여는 사용자가 20%에 불과했고, 그중 실제 파일 공유에 성공하는 비율도 절반이었다. - Figma는 UI를 단순화하고 부차적인 기능을 별도 탭으로 옮겨 공유 과정을 쉽게 만들었다. - 실험 결과: - 초대장을 보내는 사용자 비율이 2% 증가했다. - 파일마다 초대되는 사용자 수가 2% 증가했다. - Figma Community에 작업물을 게시하려는 성향에는 부정적인 변화가 없었다. - 이 결과는 이후 공유 경험을 개선하는 작업의 방향을 설정하는 근거가 됐다. ## 성능 문제와 장애 원인 분석 - Figma의 여러 팀은 플랫폼별 애플리케이션 성능 데이터를 지속적으로 분석한다. - 분석 결과는 성능 개선 과제와 전반적인 사용자 경험 향상에 활용된다. - iOS 앱 베타 출시 후에는 충돌 발생 빈도, 충돌 상황, 영향을 받는 플랫폼을 조사했다. - 분석 결과 프로토타입이 iOS 충돌의 주요 원인 중 하나였으며, 프로토타입 관련 충돌의 25%가 로딩 시작 후 10초 이내에 발생했다. - 이처럼 단순히 충돌 횟수만 보는 것이 아니라, 특정 기능·플랫폼·사용 시점과 연결해 문제의 우선순위를 정한다. Figma의 사례는 필요한 기능 데이터는 최소한으로 수집하고, 분석 데이터는 구체적인 제품 문제를 해결하는 데 사용해야 한다는 점을 보여준다. 데이터 기반 의사결정은 사용자 행동을 더 정확히 이해하게 하지만, 실험 결과를 사용자 경험과 개인정보 보호라는 관점에서 함께 검토하는 것이 중요하다.

원문 읽기(새 탭에서 열림)

데이터 사이언스iOSa-b-testingdata-analytics+2

figma·2022년 1월 19일·3분 읽기큐레이션 요약

Draft 3 (Standard blog style):

Figma는 댓글이 팀 협업과 사용자 유지에 중요한 기능이라는 데이터를 확인했지만, 실제 사용률이 낮은 원인을 실험으로 검증했다. 댓글 진입점을 더 쉽게 노출하자 댓글 작성이 45% 증가했지만, 위치를 단순히 왼쪽에서 오른쪽으로 옮긴 실험은 발견 가능성을 20% 낮췄다. 이 과정은 제품 가설을 직관이 아니라 데이터로 검증하고, 작은 실험을 반복해 전면적인 댓글 경험 개편으로 발전시킨 사례다. ## 댓글과 팀 성장의 관계 - 첫 달에 협업한 팀은 그렇지 않은 팀보다: - 유지될 가능성이 1.75배 높았다. - 유료 고객이 될 가능성이 6.5배 높았다. - Figma는 편집자뿐 아니라 보기 전용 사용자도 디자인 과정에 참여해야 팀 전체의 협업이 성장한다고 판단했다. - 댓글은 파일에 대한 피드백을 주고받는 기능이므로, 팀 협업을 시작하게 하는 ‘마법 같은 순간’이 될 수 있다고 가설을 세웠다. - 그러나 댓글이 팀 성장과 참여도의 강한 지표임에도 실제 사용률은 높지 않아, 데이터와 사용자 행동 사이의 차이를 실험으로 조사했다. ## 댓글 발견 가능성 가설 - 기존에는 Figma 편집기 왼쪽 상단의 아이콘을 눌러 댓글 모드에 진입해야 했다. - 사용자 조사에서 댓글의 가치는 인정했지만, 기능 자체를 찾기 어렵다는 문제가 확인됐다. - 첫 번째 실험은 보기 전용 개발자를 대상으로 진행했다. - 이 사용자들은 디자이너와 긴밀히 협업하지만, 기존에는 댓글을 가장 적게 사용하는 집단이었다. - 실험군과 대조군을 50 대 50으로 나누고 2주간 관찰했다. - 댓글 작성을 유도해 기능을 노출한 결과: - 실험군의 댓글 작성이 45% 증가했다. - 다음 주 댓글로 다시 돌아오는 비율에는 부정적인 영향이 없었다. - 즉, 댓글 자체의 가치가 부족한 것이 아니라 사용자가 기능을 발견하지 못한 것이 주요 장벽이었다. ## 댓글 진입점 이동 실험의 반전 - 두 번째 실험에서는 댓글 진입점을 메뉴 바 왼쪽에서 오른쪽으로 옮겼다. - 왼쪽은 디자인 도구와 캔버스 기능이 모여 있고, 오른쪽에는 협업·보기 기능이 많으므로 댓글도 오른쪽이 더 적합할 것이라고 예상했다. - 신규 가입자를 대상으로 50 대 50 실험을 진행하고, 가입 후 7일 안에 댓글을 발견한 비율을 측정했다. - 예상과 달리 댓글 발견 가능성이 전체적으로 20% 감소했다. - 기능의 의미와 무관하게 위치, 주변 UI, 사용자의 기존 탐색 습관 같은 작은 변화가 발견성과 사용률에 큰 영향을 줄 수 있음을 보여줬다. ## 데이터 기반 제품 개발의 교훈 - 제품 가설은 대부분 맞지 않을 수 있으므로, 직관만으로 전면 출시하지 않고 실험으로 검증해야 한다. - 첫 번째 실험은 ‘노출을 높이면 사용이 늘어난다’는 가설을 입증했다. - 두 번째 실험은 ‘오른쪽이 협업 기능에 적합하므로 댓글도 더 잘 발견될 것’이라는 가설을 반박했다. - 실패한 실험도 사용자의 행동 패턴과 제품 구조를 이해하는 데 중요한 정보를 제공한다. - 여러 차례의 작은 실험과 사용자 조사 결과가 쌓이면서 댓글 기능의 재설계와 전체 사용자 대상 출시로 이어졌다. 댓글 같은 협업 기능은 기능을 추가하는 것보다 사용자가 자연스럽게 발견하고 진입하도록 만드는 일이 중요하다. 따라서 UI 위치를 변경할 때는 직관에 의존하지 말고, 대상 사용자와 명확한 지표를 정한 뒤 통제 실험으로 효과와 부작용을 함께 측정하는 것이 바람직하다.

원문 읽기(새 탭에서 열림)

데이터 사이언스Figmacollaborationuser-research+2

figma·2021년 8월 15일·3분 읽기큐레이션 요약

Figma 인사이드:

2021년 Figma의 인턴과 신입사원 네 명이 초기 커리어에서 어떤 기준으로 직무와 회사를 선택했는지 이야기한다. 이들은 직무 적합성뿐 아니라 공감하는 문화, 성장 기회, 팀과 관리자의 지원, 제품과 미션에 대한 구성원의 열정을 중요하게 평가했다. 다양한 인턴십과 현직자와의 대화를 통해 자신에게 맞는 일을 구체화하고, 실제 업무에서 주도권과 장기적인 성장 가능성을 확인하라고 조언한다. ## 초기 커리어 역할을 선택할 때의 기준 - **Emily**는 데이터 과학 직무의 다양성을 고려해 자신의 기술적 배경과 목표에 맞는 역할을 찾았다. - 빠르게 성장하는 스타트업의 초기 데이터 팀 - 기술 중심이면서도 제품에 가까운 업무 - 서로 연결되고 소통하려는 공감 능력 중심의 문화 - **Daniela**는 회사와 구성원의 진정성을 중요하게 보았다. - 형식적인 구호가 아니라 실제로 커뮤니티를 만들려는 문화 - 회사의 미션과 사용자 문제에 깊이 공감하는 구성원 - 디자인을 더 많은 사람에게 접근 가능하게 만들려는 목표 - **Langston**은 엔지니어로서의 성장 가능성을 핵심 기준으로 삼았다. - 주니어 엔지니어가 프로젝트를 소유할 수 있는지 - 자신의 일이 회사의 큰 목표에 영향을 주는지 - 엔지니어가 장기적으로 머물고 싶어 하는 회사인지 - 경력이 정체되지 않고 발전할 기회가 있는지 ## 인턴십과 현직자 대화로 적성 확인 - 여러 회사와 직무를 직접 경험하는 것이 자신이 원하는 일을 파악하는 데 도움이 됐다. - 여름 인턴십과 학기 중 인턴십을 통해 다양한 업무를 비교 - 실제로 무엇을 좋아하고 싫어하는지 업무 현장에서 확인 - 동문과 면접관, 현직 엔지니어에게 구체적인 질문을 했다. - 일상적인 업무 내용뿐 아니라 그 역할을 통해 어떻게 성장했는지 질문 - “몇 년 뒤 나도 이런 성장을 원할까?”라는 관점으로 판단 - 업무 자체만큼 팀과 관리자의 지원도 중요하다는 점을 확인했다. - 성장할 수 있도록 피드백과 기회를 제공하는 관리자 - 심리적으로 안전하고 협력적인 팀 - 직무 내용과 조직 환경을 함께 평가해야 함 ## Figma에 끌린 이유 - **Emily**는 Figma 구성원이 자신의 경험과 관점을 외부에 공유할 수 있다는 점에서 개방적인 문화를 느꼈다. - 신입 엔지니어의 경험을 다룬 블로그 글을 접한 뒤 회사에 관심을 가짐 - 데이터 팀이 성장과 영향력 확대의 전환점에 있었음 - 첫 신입사원 채용을 진행하며 팀 문화를 신중하게 만들어 가고 있었음 - **Langston**은 Figma 엔지니어들이 제품에 강한 열정을 보이는 점에 주목했다. - 구성원들이 Figma 제품에 진심으로 관심을 갖고 있었음 - 혁신적인 프로젝트를 맡고 엔지니어로 성장할 기회가 있다고 판단 - **Daniela**는 사이드 프로젝트에서 Figma를 직접 사용하며 제품의 가치를 경험했다. - 친구와 디자인을 함께 수정하고 아이디어를 주고받은 경험 - 제품에 대한 애정과 개인의 개성을 존중하는 문화에 매력을 느낌 - **Jago**는 Figma를 통해 디자인의 본질과 좋은 디자인의 기준을 배웠다. - 디자인을 민주화한다는 Figma의 미션에 공감 - Figma for Education 같은 프로그램을 통해 미션에 기여하고자 함 - Figma Community 팀에서 그 목표를 실현할 수 있다고 보았음 ## 초기 커리어를 준비하는 방법 - 가능한 한 다양한 인턴십과 직무를 경험해 자신의 선호를 구체화한다. - 회사와 팀의 구성원에게 성장 경로와 실제 업무 환경을 질문한다. - 직무 설명뿐 아니라 다음 사항을 확인한다. - 신입 구성원의 프로젝트 소유권 - 팀과 관리자의 성장 지원 방식 - 회사의 장기적인 커리어 발전 가능성 - 구성원이 제품과 회사의 미션에 실제로 공감하는지 - 회사가 외부에 어떤 이야기를 공유하는지 살펴보면 조직 문화와 구성원 경험을 파악하는 데 도움이 된다. 자신에게 맞는 첫 직장을 고를 때는 연봉이나 직무명만 비교하기보다, 실제 구성원의 성장 경험과 팀의 지원 방식, 회사의 미션에 대한 진정성을 함께 확인하는 것이 좋다.

원문 읽기(새 탭에서 열림)

데이터 사이언스Figma디자인 시스템프로덕트 디자인+2