쿠팡

클라우드 서비스 사용량 관리를 통한 운영 비용 최적화. 쿠팡 엔지니어링 조직들의 클라우드 비용을 줄이기 위해 들인 노력과… | by 쿠팡 엔지니어링 | Coupang Engineering Blog | Medium (새 탭에서 열림)

쿠팡은 파이낸스 및 엔지니어링 팀의 긴밀한 협력을 통해 클라우드 온디맨드 비용을 최적화하고 재정적 책임을 강화하는 운영 모델을 구축했습니다. 'Hate Waste'라는 리더십 원칙에 따라 데이터 기반의 분석 도구를 도입하고 리소스 사용량을 효율적으로 통제함으로써, 서비스의 신뢰성을 유지하면서도 연간 수백만 달러 이상의 운영 비용을 절감하는 성과를 거두었습니다. **최적화 전담 팀 구성과 데이터 기반 의사결정 체계 구축** * 클라우드 인프라 엔지니어와 TPM(Technical Program Manager)을 중심으로 전담 프로젝트 팀을 구성하여 각 도메인 팀이 클라우드의 가변 비용 모델을 깊이 이해하도록 지원했습니다. * Amazon Athena를 통해 처리된 CloudWatch 데이터와 AWS CUR(Cost & Usage Reports)을 활용하여 실시간 비용 및 사용량을 분석할 수 있는 맞춤형 BI 대시보드를 개발했습니다. * 파이낸스 팀과의 협업을 통해 월별·분기별 예산 준수의 중요성을 강조하고, 각 팀이 주도적으로 리소스를 관리하는 엔지니어링 문화를 정착시켰습니다. **리소스 효율화와 기술적 최적화를 통한 실질적 비용 절감** * **사용량 절감(Use Less):** 비-프로덕션(Non-prod) 환경에서 리소스가 필요할 때만 자동으로 시작되도록 설정하여 해당 환경의 운영 비용을 약 25% 절감했습니다. * **비용 최적화(Pay Less):** 사용량 패턴을 분석하여 방치된 EC2 리소스를 수동으로 제거하고, 인스턴스를 최신 세대로 조정하여 성능 향상과 가용성 확보를 동시에 달성했습니다. * **기술적 수단 활용:** Amazon S3 스토리지 구조를 최적화하고, AWS Spot Instances 및 ARM 기반의 AWS Graviton 인스턴스를 도입하여 데이터 처리 및 저장 비용을 획기적으로 낮추었습니다. 클라우드 비용 관리는 단순히 지출을 줄이는 작업을 넘어, 인프라를 얼마나 더 똑똑하고 효율적으로 활용하느냐에 대한 기술적 성숙도를 의미합니다. 조직 전체가 비용에 대한 주인의식을 갖고 데이터를 바탕으로 리소스를 관리할 때, 비즈니스의 성장과 인프라의 지속 가능성을 동시에 확보할 수 있습니다.

쿠팡 SCM 워크플로우: 효율적이고 확장 가능한 low-code, no-code 플랫폼 개발 | by 쿠팡 엔지니어링 | Coupang Engineering Blog | Medium (새 탭에서 열림)

쿠팡 SCM 팀은 복잡한 공급망 관리 과정에서 발생하는 다양한 직군 간의 협업 비용을 줄이고 시스템 확장성을 높이기 위해 'SCM 워크플로우 플랫폼'을 구축했습니다. 이 플랫폼은 Low-code와 No-code 방식을 도입하여 개발자뿐만 아니라 비개발자도 직접 데이터 파이프라인을 설계하고 서비스에 적용할 수 있는 환경을 제공합니다. 이를 통해 요구사항 변화에 민첩하게 대응하며, 데이터 생성부터 프로덕션 연동까지의 전 과정을 효율화하는 것을 목표로 합니다. **No-code 데이터 빌더를 통한 데이터 접근성 혁신** * **다양한 데이터 소스 통합:** Redshift, Hive, Presto, Aurora, MySQL, Elasticsearch, S3 등 산재한 공용 데이터 소스에 대한 접근 및 질의를 코드 없이 수행할 수 있습니다. * **시각적 노드 기반 설계:** 사용자는 데이터 추출, 계산, 연동 등의 과정을 시각적인 '노드'로 생성하고 연결함으로써 직관적인 데이터 워크플로우를 구성할 수 있습니다. * **협업 효율화:** 비즈니스 분석가(BA)나 데이터 사이언티스트가 개발자에게 매번 파이프라인 생성을 요청하던 기존 프로세스를 개선하여, 스스로 데이터를 가공하고 시스템에 반영할 수 있게 함으로써 커뮤니케이션 비용을 획기적으로 낮췄습니다. **Low-code 기반의 서비스 확장 및 운영 효율화** * **도메인 확장성 확보:** 새로운 시스템을 매번 구축하지 않고도 워크플로우 설정을 통해 도메인을 확장할 수 있어, 변화가 빠른 이커머스 환경에 유연하게 대처합니다. * **기존 도구의 복잡성 해소:** Jenkins, Airflow, Notebook 등 파편화된 도구들이 가진 연결성 문제를 단일 플랫폼 안에서 통합하여 관리 편의성을 높였습니다. * **신속한 서비스 론칭:** 간단한 조작만으로 데이터를 시각화하거나 간단한 서비스를 출시할 수 있는 환경을 제공하여 아이디어의 실행 속도를 높였습니다. **실용적인 결론 및 제언** SCM 워크플로우 플랫폼은 데이터 기반 의사결정의 주체를 전 직군으로 확대하는 '데이터 민주화'를 실현하는 도구입니다. 복잡한 MSA(마이크로서비스 아키텍처) 환경에서 데이터 파이프라인 유지보수에 많은 리소스를 소모하고 있는 조직이라면, 이러한 로우코드 기반의 워크플로우 플랫폼을 도입하여 엔지니어링 역량을 핵심 알고리즘 개발에 집중시키고 운영 효율을 극대화할 것을 추천합니다.

기계 학습 모델을 활용한 물류 입고 프로세스 최적화. 쿠팡 풀필먼트 센터로 제품 입고 시 필요한 운송 트럭의 적정 수량을… | by 쿠팡 엔지니어링 | Coupang Engineering Blog | Medium (새 탭에서 열림)

쿠팡은 물류 센터 입고 과정에서 발생하는 자원 낭비를 최소화하고 배송 효율을 극대화하기 위해 머신러닝 기반의 트럭 수량 예측 모델을 도입했습니다. 입고 예약 단계에서 필요한 슬롯(트럭 하역 시간 단위) 수를 정확히 예측함으로써, 자원 부족으로 인한 입고 지연과 유휴 자원 발생 문제를 동시에 해결했습니다. 이를 통해 쿠팡은 직매입 제품의 풀필먼트 센터 입고 프로세스를 최적화하고 고객에게 더 빠른 배송 서비스를 제공하는 기반을 마련했습니다. **물류 입고 프로세스의 병목 현상과 자원 낭비** * 풀필먼트 센터의 한정된 도크(dock)와 시간당 사용 가능한 슬롯은 물류 효율의 핵심 자원입니다. * 입고에 필요한 슬롯을 과소 예측할 경우 하역 작업이 지연되어 전체 물류 흐름에 차질이 생기며, 과대 예측 시에는 다른 업체가 사용할 수 있는 소중한 자원이 낭비되는 문제가 발생합니다. * 이를 해결하기 위해 업체 및 제품 특성을 반영한 데이터 기반의 정교한 예측 시스템이 필요했습니다. **도메인 지식과 데이터 분석을 통한 특징 추출** * 약 2년간 축적된 80만 건의 입고 신청 데이터를 분석하여 학습 데이터 세트를 구성했습니다. * 탐색적 데이터 분석(EDA)뿐만 아니라 물류 현장 전문가들과의 심층 인터뷰를 병행하여 현장의 실질적인 입고 패턴을 파악했습니다. * 피처 엔지니어링 단계에서는 단순 통계 수치를 넘어 업체 특성, 제품군별 물성 등 트럭 수량에 영향을 미치는 다수의 범주형(categorical) 특징들을 도출해 냈습니다. **LightGBM을 활용한 고성능 모델 학습** * 대량의 데이터 세트를 빠르게 처리하고 범주형 특징에 대해 우수한 성능을 보이는 LightGBM 알고리즘을 채택했습니다. * 기존 트리 기반 알고리즘의 수평적 확장(Level-wise) 방식 대신 수직적 확장(Leaf-wise) 방식을 사용하는 LightGBM의 특성을 활용해 학습 속도를 높이고 손실을 최소화했습니다. * 모델의 성능을 극대화하기 위해 베이지안 최적화(Bayesian Optimization) 기법을 적용하여 하이퍼 파라미터 튜닝을 효율적으로 수행했습니다. **시스템 연계 및 운영 최적화** * 학습된 모델을 실제 입고 예약 시스템과 실시간으로 연계하여 업체가 예약을 신청하는 즉시 최적의 트럭 수량을 확인할 수 있도록 자동화했습니다. * 단순히 정확도만 높이는 것이 아니라, 현장의 안정성을 위해 과소 예측과 과대 예측 사이의 트레이드 오프(Trade-off)를 정교하게 관리하여 운영 리스크를 방어했습니다. 데이터에 기반한 입고 프로세스 자동화는 물류 운영의 가시성을 높이고 인적 판단 오류를 줄이는 데 큰 기여를 합니다. 특히 물류와 같이 변동성이 큰 산업군에서는 LightGBM과 같은 고성능 알고리즘과 현장 도메인 전문가의 통찰을 결합하는 것이 실질적인 비즈니스 성과를 내는 핵심 전략이 될 수 있습니다.

쿠팡의 머신러닝 플랫폼을 통한 ML 개발 가속화. 쿠팡의 머신러닝 개발 속도를 높이는 쿠팡만의 ML 플랫폼에 대하여 | by 쿠팡 엔지니어링 | Coupang Engineering Blog | Medium (새 탭에서 열림)

쿠팡은 검색, 가격 책정, 물류 등 비즈니스 전반에 머신러닝(ML)을 적극적으로 활용하며, 개발 효율을 극대화하기 위해 통합 ML 플랫폼을 구축했습니다. 이 플랫폼은 데이터 준비부터 모델 배포 및 모니터링까지의 전 과정을 자동화하고 표준화하여, 개발자가 인프라 관리보다는 모델 로직에 집중할 수 있는 환경을 제공합니다. 이를 통해 쿠팡은 대규모 컴퓨팅 자원을 효율적으로 관리하면서도 고객 경험을 개선하기 위한 혁신적인 기능들을 빠르게 시장에 선보이고 있습니다. **ML 개발 가속화를 위한 도전 과제** * **Time-to-Market 단축:** 아이디어 단계에서 모델을 실제 서비스에 적용하기까지 발생하는 복잡한 인프라 설정 과정을 간소화해야 함. * **표준화된 CI/CD 통합:** 머신러닝 모델의 학습, 검증, 배포 과정을 소프트웨어 공학의 지속적 통합 및 배포 체계와 결합하여 운영 안정성을 확보. * **확장성 있는 컴퓨팅 자원:** 대규모 데이터와 복잡한 딥러닝 모델 학습을 위해 GPU 및 CPU 자원을 효율적으로 할당하고 확장할 수 있는 시스템 필요. **효율적인 파이프라인 및 피처 관리** * **노트북 및 워크플로우:** 주피터 노트북(Jupyter Notebook) 환경과 Kubeflow 기반 파이프라인을 제공하여, 데이터 탐색부터 모델 학습까지의 워크플로우를 코드 형태로 관리하고 자동화함. * **피처 스토어(Feature Store):** 실시간 추론과 배치 학습 환경 간의 데이터 불일치를 방지하고, 검증된 피처를 재사용할 수 있는 중앙 집중형 저장소 운영. * **일관성 유지:** 온라인과 오프라인 환경에서 동일한 피처 엔지니어링 로직을 적용하여 모델 성능의 신뢰성을 높임. **모델 훈련 및 실시간 추론 인프라** * **분산 훈련 지원:** 고성능 GPU 클러스터를 활용한 분산 훈련 환경을 구축하여 Ko-BERT와 같은 대규모 언어 모델의 학습 시간을 획기적으로 단축. * **안정적인 추론 서비스:** 실시간 트래픽 처리를 위한 고가용성 서빙 환경과 대량의 데이터를 한 번에 처리하는 배치 추론 시스템을 동시에 지원. * **자동화된 배포:** 훈련된 모델을 검증한 후 클릭 몇 번으로 실제 운영 환경에 배포할 수 있는 셀프 서비스 기능 제공. **지속적인 모니터링 및 자원 최적화** * **가시성 확보:** 모델의 성능 지표뿐만 아니라 입력 데이터의 분포 변화(Data Drift)를 실시간으로 감지하여 모델 재학습 시점을 파악. * **Kubernetes 기반 관리:** 모든 ML 워크로드를 컨테이너화하여 Kubernetes 환경에서 실행함으로써 하드웨어 자원 활용도를 최적화하고 운영 부담을 최소화. **플랫폼 도입을 통한 주요 성과** * **검색 품질 향상:** 한국어에 특화된 Ko-BERT 모델 학습 과정을 플랫폼을 통해 최적화하여 검색 쿼리 이해도와 검색 결과의 정확도를 개선. * **실시간 가격 예측:** 수백만 개의 상품에 대해 시장 상황을 즉각적으로 반영하는 가격 예측 모델을 안정적으로 운영하여 비즈니스 민첩성 확보. 대규모 조직에서 ML 모델 개발 속도를 높이려면 개별 모델의 성능만큼이나 전체 생애주기를 관리하는 플랫폼의 역할이 중요합니다. 쿠팡처럼 다양한 서비스 도메인을 가진 환경에서는 표준화된 ML 플랫폼을 통해 인프라 복잡성을 추상화하고, 데이터 사이언티스트가 비즈니스 가치 창출에만 몰입할 수 있는 환경을 구축하는 것이 가장 효과적인 전략입니다.

머신러닝 모델을 (새 탭에서 열림)

쿠팡은 물류 센터 입고 프로세스의 효율성을 극대화하기 위해 머신러닝 모델을 활용하여 벤더사가 예약해야 할 최적의 트럭 대수(슬롯)를 예측합니다. 한정된 물류 센터 도크 자원을 효율적으로 배분함으로써 자원 낭비를 줄이고 입고 지연 문제를 동시에 해결하는 것이 이 시스템의 핵심 목표입니다. 데이터 기반의 자동화된 예측 시스템은 입고 예약 단계에서부터 정확한 가이드를 제공하여 전체 공급망의 흐름을 개선하고 있습니다. **물류 입고 프로세스의 병목 현상과 과제** - 물류 센터의 도크(Dock)와 시간당 사용 가능한 슬롯은 물리적으로 제한된 자원입니다. - 벤더사가 실제 필요량보다 많은 슬롯을 예약하면 도크 자원이 낭비되어 다른 물품의 입고 기회가 박탈됩니다. - 반대로 실제보다 적은 슬롯을 예약할 경우, 트럭 대기 시간이 길어지고 하역 작업에 병목이 발생하여 전체 물류 흐름이 지연되는 문제가 발생합니다. - 이를 해결하기 위해 상품의 종류, 수량, 벤더의 과거 이력 등을 종합적으로 고려한 정교한 예측 모델이 필요해졌습니다. **머신러닝 기반의 트럭 대수 예측 모델링** - **피처 추출(Feature Extraction):** 수년간 축적된 방대한 물류 데이터와 입고 요청 이력을 분석하여 실제 투입된 트럭 대수에 영향을 미치는 핵심 변수들을 도출했습니다. - **LightGBM 알고리즘 활용:** 대용량 데이터 세트에서도 학습 속도가 빠르고 예측 정확도가 높은 LightGBM 알고리즘을 채택하여 효율적인 모델을 구축했습니다. - **베이지안 최적화(Bayesian Optimization):** 모델의 성능을 극대화하기 위해 하이퍼파라미터 탐색 과정에서 베이지안 최적화 기법을 적용하여 최적의 설정값을 찾았습니다. **예약 시스템 통합 및 최적화 전략** - **실시간 예약 가이드:** 구축된 모델을 입고 예약 시스템에 통합하여, 벤더가 입고 요청을 하는 즉시 필요한 적정 트럭 대수를 자동으로 제시합니다. - **예측 오차의 관리(Trade-off):** 과소 예측으로 인한 입고 지연(Delay)과 과대 예측으로 인한 자원 낭비(Waste) 사이의 균형점을 찾기 위한 최적화 로직을 적용했습니다. - **운영 효율성 증대:** 자동화된 시스템 도입을 통해 사람이 수동으로 예측할 때 발생할 수 있는 주관적 오차를 줄이고 슬롯 가동률을 높였습니다. 이러한 데이터 중심의 접근 방식은 한정된 물류 인프라 내에서 더 많은 상품을 적시에 처리할 수 있게 함으로써, 결과적으로 고객에게 더욱 빠른 배송 서비스를 제공하는 밑거름이 됩니다. 물류 현장의 복잡한 변수들을 머신러닝으로 정교화하는 과정은 기술이 어떻게 실질적인 비즈니스 가치를 창출하는지 잘 보여주는 사례입니다.

LLM을 통한 쿠팡의 (새 탭에서 열림)

쿠팡은 검색, 광고, 물류 등 서비스 전반에 걸쳐 머신러닝(ML) 기술을 적극적으로 활용하고 있으며, 최근에는 대규모 언어 모델(LLM)을 도입해 AI 혁신을 가속화하고 있습니다. LLM은 다국어 환경과 방대한 상품 데이터를 처리하는 데 탁월한 성능을 보이며, 효율적인 모델 학습과 추론을 위한 플랫폼 인프라의 최적화가 이 과정의 핵심 동력이 되고 있습니다. 쿠팡은 이를 통해 고객 경험을 개선하고 운영 효율성을 극대화하는 성과를 거두고 있습니다. **쿠팡의 머신러닝 활용 영역** * **추천 시스템:** 사용자 클릭, 구매 이력, 장바구니 담기 등 대규모 상호작용 데이터와 사람이 직접 라벨링한 관련성 판단 지표를 기반으로 홈 피드, 검색, 광고의 개인화를 구현합니다. * **콘텐츠 이해:** 상품 카탈로그(텍스트, 이미지), 사용자 리뷰, 검색어 등 방대한 데이터를 딥러닝으로 분석해 상품과 고객에 대한 표현(Representation)을 학습하고 이를 쇼핑 경험 개선에 활용합니다. * **예측 모델링:** 100개 이상의 물류 센터(FC) 내 수백만 개 상품에 대한 수요, 가격, 배송 경로를 예측하며, 기존 통계적 기법에 딥러닝 기술을 점진적으로 결합하고 있습니다. **멀티모달 기반의 이미지 및 언어 이해** * **Vision-Language Transformer:** 이미지와 텍스트 데이터를 별개로 처리하던 기존 방식에서 벗어나, 두 데이터를 동시에 모델링하는 트랜스포머 모델을 통해 더욱 정교한 임베딩(Embedding)을 생성합니다. * **검색 및 추천 고도화:** 생성된 임베딩은 광고 검색, 유사 상품 찾기 및 추천 모델의 핵심 피처로 활용되어 사용자에게 더 적합한 결과를 제공합니다. * **다양한 서비스 적용:** 한국어와 대만어 간의 상품명 번역, 쇼핑 피드 이미지 품질 개선, 사용자 리뷰 요약, 상품 및 판매자 키워드 자동 생성 등 다양한 영역에서 대규모 모델이 성공적으로 적용되었습니다. **데이터 레이블링 및 속성 추출 혁신** * **대규모 약지도 학습(Weak Label) 생성:** 사람이 직접 수행하기에 비용과 시간이 많이 드는 다국어(한국어, 영어, 중국어 등) 레이블링 작업을 LLM이 수행하여, 모델 학습을 위한 기초 데이터를 대규모로 확보합니다. * **데이터 부족 문제 해결:** 학습 데이터가 부족한 새로운 카테고리나 세그먼트에서 LLM이 생성한 레이블을 통해 모델의 성능을 빠르게 안정화하고 관련성 모델의 품질을 높입니다. * **통합 모델링으로의 전환:** 과거에는 상품 카테고리별로 개별 ML 모델을 구축해야 했으나, 이제는 통합된 LLM을 통해 상품 분류 및 속성 추출 프로세스를 간소화하고 효율성을 높이고 있습니다. 쿠팡은 LLM을 단순한 기술 도입을 넘어 인프라 최적화와 결합하여 실제 비즈니스 가치를 창출하는 핵심 도구로 활용하고 있습니다. 특히 다국어 지원과 대규모 데이터 처리가 필수적인 글로벌 이커머스 환경에서, LLM 기반의 플랫폼 전략은 향후 AI 경쟁력을 좌우하는 중요한 기반이 될 것입니다.

비용 효율성을 위한 클라우드 (새 탭에서 열림)

쿠팡은 재무와 엔지니어링 팀 간의 긴밀한 협력을 통해 클라우드 지출을 최적화하고 재무적 책임감을 강화하는 전략적 로드맵을 실행했습니다. 이를 위해 구성된 중앙 관리 팀(Central team)은 '낭비 지양(Hate Waste)'이라는 기업 원칙 아래 데이터 기반의 분석 도구와 가변 비용 모델을 도입하여 전사적인 비용 관리 문화를 정착시켰습니다. 결과적으로 비즈니스 성장을 저해하지 않으면서도 리소스 사용 효율을 극대화하여 수백만 달러 규모의 온디맨드 비용을 절감하는 성과를 거두었습니다. ### 중앙 관리 팀 조직과 분석 체계 구축 * 인프라 엔지니어와 기술 프로그램 매니저(TPM)로 구성된 중앙 팀을 조직하여 각 도메인 팀이 클라우드 효율성을 스스로 관리할 수 있도록 지원했습니다. * Amazon CloudWatch, Amazon Athena, 그리고 AWS CUR(비용 및 사용 보고서) 데이터를 활용한 맞춤형 대시보드를 구축하여 실시간으로 비용을 모니터링하고 데이터에 기반한 의사결정을 내릴 수 있는 환경을 마련했습니다. * 재무 팀과의 파트너십을 통해 각 도메인 팀이 할당된 월간 및 분기별 예산을 준수하도록 관리하는 거버넌스 체계를 확립했습니다. ### 지출 감소 및 단가 최적화 전략 (Spend Less & Pay Less) * **지출 감소(Spend Less):** 비운영 환경(Non-production)에서 리소스가 필요할 때만 자동으로 실행되도록 자동화 프로세스를 도입하여, 해당 환경의 비용을 약 25% 절감했습니다. * **단가 최적화(Pay Less):** 사용 패턴 분석을 통해 사용되지 않거나 효율이 낮은 EC2 리소스를 수동으로 제거하고, 워크로드에 맞는 적정 사양으로 조정(Rightsizing)했습니다. * **인프라 현대화:** 기존 인스턴스를 최신 세대로 전환하고, x86 대비 가성비가 뛰어난 ARM 기반의 AWS Graviton 인스턴스 도입을 확대하여 처리 성능은 높이고 비용은 낮추었습니다. ### 기술적 세부 최적화 실행 * **데이터 처리 및 저장:** Amazon S3의 저장 구조를 최적화하고 스토리지 계층화(Tiering)를 적용하여 데이터 보관 비용을 효율화했습니다. * **빅데이터 워크로드:** EMR(Elastic MapReduce) 환경에서 Spot 인스턴스 활용도를 높여 데이터 분석 및 처리 비용을 획기적으로 줄였습니다. * **문화적 확산:** 엔지니어들이 클라우드 비용을 단순한 지출이 아닌 관리해야 할 리소스로 인식하도록 교육하고, 기술적 최적화가 비즈니스 가치로 이어지는 선순환 구조를 만들었습니다. 성공적인 클라우드 비용 최적화를 위해서는 단순히 리소스를 삭제하는 것을 넘어, 엔지니어링 팀과 재무 팀이 공통의 목표를 공유하는 것이 중요합니다. 특히 데이터 분석을 통해 가시성을 확보하고, Graviton 인스턴스나 Spot 인스턴스 같은 클라우드 고유의 가변 비용 모델을 적극적으로 활용할 것을 권장합니다.

쿠팡 로켓배송의 (새 탭에서 열림)

쿠팡은 급증하는 배송 물량을 효율적으로 처리하기 위해 기존의 텍스트 및 우편번호 기반 배송 구역 관리 시스템을 공간 인덱스(H3) 기반의 시각적 시스템으로 혁신했습니다. 이를 통해 복잡한 배송 구역을 지도상에서 직관적으로 분할하고 관리할 수 있게 되었으며, 숙련된 인력의 경험에 의존하던 운영 방식을 데이터 중심의 체계적인 시스템으로 전환하는 성과를 거두었습니다. 결과적으로 배송 효율성을 극대화하고 캠프 관리자들이 유연하게 구역을 조정할 수 있는 기술적 토대를 마련했습니다. **기존 텍스트 기반 관리의 한계** * **우편번호 단위의 한계:** 과거에는 정부가 할당한 우편번호를 배송 단위로 사용했으나, 배송 물량이 급증하면서 단일 우편번호 구역이 한 명의 쿠팡 친구가 처리하기에는 너무 비대해졌습니다. * **경험 의존적 운영:** 우편번호를 아파트 단지나 건물 단위로 더 세밀하게 쪼개야 했으나, 공간 정보가 없는 텍스트 주소 위주여서 해당 지역에 익숙한 숙련자의 주관적인 판단에만 의존해야 했습니다. * **시각화 및 편집의 어려움:** 텍스트 중심 데이터는 지도상에서 구역의 경계를 직관적으로 파악하기 어려웠으며, 구역을 변경하거나 공유하는 과정에서 데이터의 일관성을 유지하기 힘들었습니다. **H3 공간 인덱스 도입과 이점** * **육각형 격자 시스템(H3) 선택:** 구글의 S2(사각형/다이아몬드 기반) 시스템 대신 우버에서 개발한 H3 육각형 그리드 시스템을 채택했습니다. * **기하학적 이점:** 육각형은 인접한 모든 셀과의 중심 거리가 동일하여 거리 계산 및 확장이 용이하며, 구역을 병합하거나 나누었을 때 시각적 왜곡이 적어 배송 구역 관리에 최적입니다. * **데이터 표준화:** 모든 배송지를 위경도 기반의 H3 인덱스로 변환함으로써, 주소 체계에 상관없이 일관된 공간 데이터를 추출하고 분석할 수 있게 되었습니다. **시스템 재설계 및 기술적 구현** * **적정 해상도(Resolution) 설정:** 너무 세밀한 해상도는 데이터 양을 과도하게 늘리고, 너무 낮은 해상도는 정밀도를 떨어뜨립니다. 쿠팡은 배송 효율을 고려해 관리 효율성과 데이터 크기의 균형을 맞춘 최적의 해상도 단계를 선택했습니다. * **육각형 그룹 기반 구역 정의:** 배송 구역을 단순한 텍스트 리스트가 아닌 '육각형들의 집합(Hexagonized Polygon)'으로 재정의했습니다. 이를 통해 지도상에서 다각형(Polygon)을 그리면 해당 영역에 포함된 H3 셀들이 자동으로 할당되는 방식을 구현했습니다. * **운영 도구의 혁신:** 캠프 관리자들이 웹 인터페이스를 통해 직접 지도 위에서 구역을 수정하고, 변경된 구역의 물량 통계를 즉각적으로 확인하며 최적의 배송 영역을 설정할 수 있는 환경을 구축했습니다. 공간 인덱스 기반의 시스템 전환은 단순한 시각화를 넘어, 배송 구역별 물량 통계를 실시간으로 파악하고 데이터에 기반한 의사결정을 가능하게 합니다. 물류 및 배송 시스템을 운영하는 조직이라면 주소 텍스트에 의존하기보다 H3와 같은 공간 인덱스를 활용해 구역 관리의 유연성과 데이터 정확도를 확보하는 것이 배송 최적화의 핵심입니다.

쿠팡의 머신러닝 (새 탭에서 열림)

쿠팡의 머신러닝 플랫폼은 데이터 탐색부터 모델 배포에 이르는 전체 ML 생애주기를 가속화하여 개발 생산성을 혁신적으로 높이는 것을 목표로 합니다. 이를 통해 검색, 가격 책정, 물류 최적화 등 쿠팡의 다양한 서비스에 머신러닝을 효율적으로 적용하고 있으며, 인프라 관리 부담을 줄여 엔지니어들이 모델 고도화에만 집중할 수 있는 환경을 제공합니다. 결과적으로 이 플랫폼은 복잡한 비즈니스 문제를 해결하는 핵심 기술 기반으로서 쿠팡의 비즈니스 성장을 견인하고 있습니다. **플랫폼 구축의 동기와 목표** * **생산 모드 전환 시간 단축**: 실험 단계의 모델을 실제 서비스 환경에 배포하기까지 걸리는 시간을 줄여 비즈니스 요구사항에 빠르게 대응합니다. * **ML 개발의 CI/CD 도입**: 소프트웨어 공학의 지속적 통합 및 배포(CI/CD) 개념을 ML에 접목하여, 모델 학습과 배포 과정을 자동화하고 일관된 품질을 유지합니다. * **컴퓨팅 자원의 효율적 확장**: 하부 인프라에 대한 개입 없이도 대규모 학습 및 추론을 수행할 수 있도록 유연한 확장성을 제공하여 비용과 성능을 최적화합니다. **플랫폼의 핵심 기능 및 구성 요소** * **관리형 노트북 및 파이프라인 SDK**: 데이터 과학자들이 익숙한 Jupyter 기반 환경에서 작업할 수 있도록 지원하며, 전용 SDK를 통해 복잡한 ML 파이프라인을 손쉽게 정의하고 실행할 수 있습니다. * **피처 스토어(Feature Store)**: 학습과 추론 단계에서 동일한 피처 데이터를 재사용하고 공유할 수 있는 중앙 저장소를 제공하여, 데이터 정합성 문제를 해결하고 개발 효율을 높입니다. * **모델 학습 및 추론 서비스**: 다양한 ML 프레임워크를 지원하는 매니지드 학습 환경과, 대규모 트래픽을 처리할 수 있는 실시간 및 배치 추론 인프라를 운영합니다. * **모니터링 및 관측 가능성**: 배포된 모델의 성능 저하(Drift)나 이상 징후를 실시간으로 추적하여 모델의 신뢰성을 보장하고 신속한 재학습 여부를 결정합니다. **주요 성공 사례** * **Ko-BERT를 통한 검색 고도화**: 한국어 특화 언어 모델인 Ko-BERT를 학습시켜 고객의 검색 쿼리 의도를 더 정확하게 파악하고 상품 검색의 질을 향상시켰습니다. * **실시간 가격 예측**: 수백만 개의 상품에 대해 시장 변화를 즉각적으로 반영하는 실시간 가격 예측 모델을 성공적으로 배포하여 비즈니스 의사결정을 지원하고 있습니다. 쿠팡 ML 플랫폼은 단순히 도구의 집합을 넘어, 데이터 과학자가 비즈니스 가치 창출에만 전념할 수 있도록 돕는 강력한 엔지니어링 생태계입니다. 대규모 데이터와 복잡한 모델을 다루는 조직이라면 쿠팡의 사례처럼 파이프라인 자동화와 피처 정합성을 보장하는 통합 플랫폼 구축을 통해 개발 사이클을 획기적으로 단축할 수 있습니다.

쿠팡 로켓배송: 공간 색인 기반의 새로운 배송 영역 관리 시스템 | by 쿠팡 엔지니어링 | Coupang Engineering Blog | Medium (새 탭에서 열림)

쿠팡은 급증하는 배송 물량과 복잡해지는 배송 환경에 대응하기 위해 기존의 텍스트 및 우편번호 중심 시스템에서 탈피하여 공간 색인 기술인 H3를 도입한 새로운 배송 영역 관리 시스템을 구축했습니다. 이 시스템은 배송 영역을 지도상에 시각화하고 데이터 기반으로 정교하게 분할할 수 있게 함으로써, 숙련자의 경험에만 의존하던 운영 방식에서 벗어나 누구나 직관적으로 배송 경로를 최적화할 수 있는 환경을 제공합니다. 결과적으로 공간 데이터 중심의 관리를 통해 신축 건물이나 지형 변화에도 유연하게 대처할 수 있는 로켓배송의 기술적 토대를 마련했습니다. **텍스트 기반 우편번호 체계의 한계** * 기존 시스템은 정부의 우편번호와 텍스트 주소에 의존했으나, 쿠팡의 성장에 따라 단일 우편번호 내 배송 건수가 한 명의 쿠친이 처리할 수 있는 범위를 초과하게 되었습니다. * 우편번호를 아파트 단지나 동 단위로 세분화해야 했으나, 텍스트 정보만으로는 공간적 위치를 파악하기 어려워 해당 지역에 능숙한 캠프 리더의 직관에만 의존하는 문제가 있었습니다. * 신축 건물의 등장이나 철거 등 지형적 변화가 발생했을 때 이를 시스템에 즉각적으로 반영하고 배송 영역을 조정하는 데 한계가 있었습니다. **H3 공간 색인 시스템의 도입** * 우버(Uber)에서 개발한 육각형 기반의 그리드 시스템인 H3를 도입하여 전 세계를 균일한 크기의 육각형 격자로 나누어 관리합니다. * 육각형 구조는 인접한 모든 이웃 격자와의 중심점 거리가 동일하여, 사각형이나 삼각형 격자보다 공간 분석 및 경로 최적화 계산에 훨씬 유리합니다. * 주소라는 텍스트 데이터 대신 위경도 기반의 공간 좌표를 사용함으로써 배송 영역의 경계를 더욱 명확하고 정교하게 설정할 수 있습니다. **시스템 재설계와 시각화 최적화** * 캠프 작업자들이 지도 위에서 배송 영역을 직접 확인하고, 마우스 클릭이나 드래그를 통해 영역을 생성, 수정, 공유할 수 있는 직관적인 UI를 구현했습니다. * 개별 육각형 격자들을 그룹화하여 하나의 다각형(Polygon) 형태로 변환하는 기술을 적용해 지도 렌더링 성능을 높이고 사용자 가독성을 개선했습니다. * 배송 밀도와 작업량을 격자 단위로 수치화하여 제공함으로써, 특정 영역에 업무가 쏠리지 않도록 균등하게 배송 물량을 배분할 수 있는 통계 기능을 강화했습니다. 물류 및 배송 시스템에서 주소는 더 이상 단순한 텍스트가 아닌 정교한 공간 데이터로 다뤄져야 합니다. 격자 기반의 공간 색인 시스템을 활용하면 운영 효율을 극대화할 수 있을 뿐만 아니라, 향후 자율주행 배송이나 드론 배송과 같은 미래 기술로 확장하기 위한 필수적인 데이터 구조를 확보할 수 있습니다. 이미 주소 기반 시스템의 한계를 느끼고 있는 물류 기업이라면 H3와 같은 공간 인덱싱 기술로의 전환을 적극적으로 검토할 것을 권장합니다.