feature-engineering

토스 Next ML Challenge - 광고 클릭 예측(PCTR) ML 경진대회 출제 후기 (새 탭에서 열림)

토스는 실제 서비스 데이터를 기반으로 한 광고 클릭 예측(CTR) 모델 개발 대회인 'Toss Next ML Challenge'를 통해 우수 ML 인재를 발굴하고 현업의 기술적 난제를 공유했습니다. 약 2,600명의 참가자가 1,070만 건의 익명화된 데이터를 바탕으로 실시간 서빙이 가능한 고성능 모델을 설계했으며, 출제진의 의도를 뛰어넘는 창의적인 피처 엔지니어링과 모델링 기법들이 제시되었습니다. 이번 대회는 데이터 보안과 실무적 난이도 사이의 균형을 맞춘 문제 설계를 통해 참가자들에게 실질적인 ML 시스템 설계 경험을 제공하고 토스 ML 챕터의 비전을 알리는 계기가 되었습니다. **실무 기반의 문제 설계와 CTR 예측** - 토스 앱 내 디스플레이 광고의 노출 및 클릭 로그를 활용해 특정 조건에서의 클릭 확률을 예측하는 모델 설계를 과제로 제시했습니다. - 약 1,070만 건의 대규모 트레이닝 샘플과 성별, 연령, 광고 지면 ID 등 다양한 피처를 제공하여 데이터 규모 측면의 실무 환경을 재현했습니다. - 단순히 예측 정확도뿐만 아니라 실제 서비스 적용을 고려하여 '실시간 서빙 가능성(Inference 속도)'을 가점 사항으로 포함해 효율적인 모델 구조 설계를 유도했습니다. **데이터 익명화의 한계와 시퀀스 피처의 도입** - 외부 반출을 위한 데이터 익명화 과정에서 다수 테이블의 조인이 어려워짐에 따라, 여러 데이터를 직접 가공하여 하나의 정형 테이블 형태로 제공했습니다. - 문제 난이도가 지나치게 낮아지는 것을 방지하기 위해 가공되지 않은 '시퀀스(Sequence) 피처'를 의도적으로 포함하여 참가자들의 분석 역량을 시험했습니다. - 참가자들은 익명화된 피처의 의미를 알 수 없는 제약 속에서도 시계열 특성을 파악하고 이를 수십 개의 파생 변수로 변환하는 집요함을 보여주었습니다. **참가자들의 모델링 전략과 기술적 통계** - 본선 진출 30팀 모두가 LightGBM, XGBoost 등 Boosting Tree 계열의 모델을 핵심적으로 활용했으며, 딥러닝 모델은 선택적으로 병행되었습니다. - 한 팀은 실시간 서빙이라는 제약 조건 속에서도 260개의 모델을 앙상블하는 파격적인 시도로 성능 극대화를 꾀했습니다. - 단일 시퀀스 피처에서 토큰 개수, 전이 결속도 등 37개의 파생 변수를 생성하여 성능을 높인 사례는 도메인 지식 없이도 순수 데이터 분석만으로 실무 수준 이상의 통찰을 보여준 결과였습니다. **대회의 성과와 실무적 시사점** - 리더보드 상위권 팀들은 공통적으로 시퀀스 피처를 심도 있게 분석하고, 복합적인 모델 앙상블과 더불어 과적합 방지 및 서빙 효율성을 고려한 설계를 제출했습니다. - 오프라인 시상식과 네트워킹을 통해 현업 엔지니어와 참가자들이 기술적 아이디어를 교환하며 실제 비즈니스 문제 해결을 위한 커뮤니티를 형성했습니다. - 익명화된 데이터 환경에서도 창의적인 피처 엔지니어링이 모델 성능을 결정짓는 핵심 요소임을 재확인했으며, 이는 향후 유사한 ML 챌린지 설계의 기준이 될 것으로 보입니다.

전기차 주행 거리 불안 (새 탭에서 열림)

구글 리서치는 전기차 운전자의 '주행거리 불안(range anxiety)'을 해소하기 위해 특정 시간 후의 충전 포트 가용성을 예측하는 경량화된 AI 모델을 개발했습니다. 이 모델은 복잡한 신경망 대신 단순한 선형 회귀(Linear Regression) 방식을 채택하여 짧은 지연 시간과 높은 효율성을 동시에 달성했습니다. 연구진은 직관적인 실세계 논리와 머신러닝을 결합함으로써, 충전소의 현재 상태를 단순히 유지하는 기존의 강력한 기준 모델보다 더 정확한 예측이 가능함을 입증했습니다. ## 단순하고 효율적인 선형 회귀 모델 설계 * **모델 선택의 이유**: 의사결정 나무(Decision Tree)나 심층 신경망 등 다양한 구조를 테스트했으나, 가장 성능이 우수하고 견고한 것은 단순 선형 회귀 모델이었습니다. 이는 배포 인프라와의 공동 설계를 통해 속도와 예측력을 모두 잡기 위함입니다. * **데이터 샘플링**: 캘리포니아와 독일 지역의 실시간 데이터를 활용해 훈련되었으며, 교통량이 많고 실사용 사례를 더 잘 반영하는 대형 충전소를 우선적으로 포함했습니다. * **경량 피처 활용**: 예측 속도를 극대화하기 위해 피처 세트를 최소화했으며, 사용자가 도달할 시점의 예상 가용 포트 수를 즉각적으로 계산합니다. ## 시간 기반 가중치를 통한 점유율 변화 예측 * **시간 피처(Hour Feature)**: 하루의 각 시간을 개별 피처(예: 오전 9시, 오후 5시 등)로 처리하여 시간대별 운전자의 행동 패턴을 반영합니다. * **가중치(Weights)의 의미**: 선형 회귀를 통해 학습된 가중치는 포트 점유율의 변화율을 나타냅니다. 양수 가중치는 해당 시간에 점유율이 증가함을, 음수 가중치는 점유율이 감소(포트가 비워짐)함을 의미합니다. * **예측 논리**: 모델은 단순히 현재 상태를 보여주는 것이 아니라, 현재 가용 포트 수에 시간별 가중치를 더해 미래 시점의 가용성을 산출합니다. 특히 출퇴근 시간처럼 변화가 급격한 시점에 유의미한 예측값을 제공합니다. ## 성능 검증 및 벤치마크 결과 * **강력한 베이스라인과의 비교**: '현재 상태 유지(Keep Current State)' 모델을 대조군으로 설정했습니다. 일반적으로 30분 이내에 상태가 변하는 포트는 10% 미만이기에 이를 능가하는 것은 매우 어려운 과제입니다. * **평가 지표**: 평균 제곱 오차(MSE)와 평균 절대 오차(MAE)를 사용하여 정확도를 측정했습니다. 특히 '최소 한 개의 포트가 비어있을 것인가'라는 실질적인 질문에 답하기 위해 이진 분류 성능도 평가했습니다. * **실전 성과**: 30분 및 60분 후를 예측하는 실험에서, 제안된 모델은 점유율 변동이 빈번한 결정적인 순간들을 정확히 포착하여 베이스라인보다 향상된 성능을 보여주었습니다. ## 실용적 결론 이 연구는 복잡한 AI 모델이 항상 최선은 아니라는 점을 시사합니다. 충전소 가용성 예측과 같이 실시간 응답이 중요하고 피처가 단순한 도메인에서는 선형 회귀 모델만으로도 충분히 강력한 성능을 낼 수 있습니다. 전기차 내비게이션 시스템에 이 모델을 통합하면 운전자는 경로상의 충전소에 도착했을 때 실제 충전 가능 여부를 더 높은 확률로 신뢰할 수 있게 되어, 전반적인 주행 경험이 개선될 것으로 기대됩니다.

MLE-STAR: 최첨단 (새 탭에서 열림)

MLE-STAR는 웹 검색 기능과 정밀한 코드 블록 최적화 메커니즘을 결합한 차세대 머신러닝 엔지니어링 에이전트로, 복잡한 ML 파이프라인 구축 과정을 자동화합니다. 기존 에이전트들이 LLM의 사전 지식에만 의존하거나 코드 전체를 한 번에 수정하려 했던 한계를 극복하기 위해, 성능에 가장 큰 영향을 미치는 특정 구성 요소를 식별하고 이를 집중적으로 개선하는 방식을 채택했습니다. 그 결과 MLE-Bench-Lite의 Kaggle 경진 대회에서 63%의 메달 획득률을 기록하며 기존 기술들을 압도하는 성능을 증명했습니다. **웹 검색을 통한 최신 기법 도입 및 초기 솔루션 구축** * LLM의 내장된 지식에만 의존할 때 발생하는 특정 라이브러리(예: scikit-learn) 편향 문제를 해결하기 위해 실시간 웹 검색 기능을 활용합니다. * 주어진 과제와 데이터 모달리티에 가장 적합한 최신(State-of-the-art) 모델과 방법론을 검색하여 초기 솔루션 코드를 생성하는 기반으로 삼습니다. **어블레이션 연구 기반의 타겟 코드 블록 정제** * 전체 파이프라인 코드를 무작위로 수정하는 대신, '어블레이션 연구(Ablation Study)'를 수행하여 피처 엔지니어링이나 모델 구조 등 성능 기여도가 가장 높은 특정 코드 블록을 찾아냅니다. * 식별된 핵심 블록에 대해 이전 시도의 실행 결과와 피드백을 반영하며 집중적인 반복 실험을 수행함으로써, 특정 파이프라인 단계에서의 최적화를 심도 있게 진행합니다. **지능형 솔루션 앙상블 전략** * 단순한 성능 기반 투표 방식에서 벗어나, 에이전트가 스스로 여러 후보 솔루션을 병합할 수 있는 최적의 앙상블 전략을 직접 설계하고 제안합니다. * 병렬로 생성된 다양한 해결책들을 유기적으로 결합하며, 이 과정 또한 반복적인 피드백 루프를 통해 지속적으로 개선하여 최종 예측 성능을 극대화합니다. **시스템 안정성 및 신뢰성 강화를 위한 모듈** * **디버깅 에이전트:** 파이썬 스크립트 실행 중 발생하는 트레이스백(Traceback) 오류를 분석하고 즉각적으로 코드를 교정합니다. * **데이터 누수(Data Leakage) 체크:** 테스트 데이터의 정보가 학습 과정에 유입되는 위험을 방지하기 위해 실행 전 스크립트의 논리적 무결성을 검증합니다. * **데이터 사용 확인 도구:** 에이전트가 CSV와 같은 단순한 데이터만 사용하고 다른 중요한 데이터 소스를 누락하지 않도록 모든 제공된 데이터를 활용하는지 감시합니다. MLE-STAR는 단순한 코드 생성을 넘어 데이터 분석, 전략 수립, 오류 수정 및 검증에 이르는 머신러닝 엔지니어링의 전 과정을 수행할 수 있음을 보여줍니다. 특히 Kaggle과 같은 실제 경쟁 환경에서 높은 성과를 낸 만큼, 향후 기업 현장에서 복잡한 데이터 파이프라인을 효율적으로 구축하고 실험 비용을 절감하는 데 실질적인 도움을 줄 것으로 기대됩니다.

기계 학습 모델을 활용한 물류 입고 프로세스 최적화. 쿠팡 풀필먼트 센터로 제품 입고 시 필요한 운송 트럭의 적정 수량을… | by 쿠팡 엔지니어링 | Coupang Engineering Blog | Medium (새 탭에서 열림)

쿠팡은 물류 센터 입고 과정에서 발생하는 자원 낭비를 최소화하고 배송 효율을 극대화하기 위해 머신러닝 기반의 트럭 수량 예측 모델을 도입했습니다. 입고 예약 단계에서 필요한 슬롯(트럭 하역 시간 단위) 수를 정확히 예측함으로써, 자원 부족으로 인한 입고 지연과 유휴 자원 발생 문제를 동시에 해결했습니다. 이를 통해 쿠팡은 직매입 제품의 풀필먼트 센터 입고 프로세스를 최적화하고 고객에게 더 빠른 배송 서비스를 제공하는 기반을 마련했습니다. **물류 입고 프로세스의 병목 현상과 자원 낭비** * 풀필먼트 센터의 한정된 도크(dock)와 시간당 사용 가능한 슬롯은 물류 효율의 핵심 자원입니다. * 입고에 필요한 슬롯을 과소 예측할 경우 하역 작업이 지연되어 전체 물류 흐름에 차질이 생기며, 과대 예측 시에는 다른 업체가 사용할 수 있는 소중한 자원이 낭비되는 문제가 발생합니다. * 이를 해결하기 위해 업체 및 제품 특성을 반영한 데이터 기반의 정교한 예측 시스템이 필요했습니다. **도메인 지식과 데이터 분석을 통한 특징 추출** * 약 2년간 축적된 80만 건의 입고 신청 데이터를 분석하여 학습 데이터 세트를 구성했습니다. * 탐색적 데이터 분석(EDA)뿐만 아니라 물류 현장 전문가들과의 심층 인터뷰를 병행하여 현장의 실질적인 입고 패턴을 파악했습니다. * 피처 엔지니어링 단계에서는 단순 통계 수치를 넘어 업체 특성, 제품군별 물성 등 트럭 수량에 영향을 미치는 다수의 범주형(categorical) 특징들을 도출해 냈습니다. **LightGBM을 활용한 고성능 모델 학습** * 대량의 데이터 세트를 빠르게 처리하고 범주형 특징에 대해 우수한 성능을 보이는 LightGBM 알고리즘을 채택했습니다. * 기존 트리 기반 알고리즘의 수평적 확장(Level-wise) 방식 대신 수직적 확장(Leaf-wise) 방식을 사용하는 LightGBM의 특성을 활용해 학습 속도를 높이고 손실을 최소화했습니다. * 모델의 성능을 극대화하기 위해 베이지안 최적화(Bayesian Optimization) 기법을 적용하여 하이퍼 파라미터 튜닝을 효율적으로 수행했습니다. **시스템 연계 및 운영 최적화** * 학습된 모델을 실제 입고 예약 시스템과 실시간으로 연계하여 업체가 예약을 신청하는 즉시 최적의 트럭 수량을 확인할 수 있도록 자동화했습니다. * 단순히 정확도만 높이는 것이 아니라, 현장의 안정성을 위해 과소 예측과 과대 예측 사이의 트레이드 오프(Trade-off)를 정교하게 관리하여 운영 리스크를 방어했습니다. 데이터에 기반한 입고 프로세스 자동화는 물류 운영의 가시성을 높이고 인적 판단 오류를 줄이는 데 큰 기여를 합니다. 특히 물류와 같이 변동성이 큰 산업군에서는 LightGBM과 같은 고성능 알고리즘과 현장 도메인 전문가의 통찰을 결합하는 것이 실질적인 비즈니스 성과를 내는 핵심 전략이 될 수 있습니다.

쿠팡의 머신러닝 플랫폼을 통한 ML 개발 가속화. 쿠팡의 머신러닝 개발 속도를 높이는 쿠팡만의 ML 플랫폼에 대하여 | by 쿠팡 엔지니어링 | Coupang Engineering Blog | Medium (새 탭에서 열림)

쿠팡은 검색, 가격 책정, 물류 등 비즈니스 전반에 머신러닝(ML)을 적극적으로 활용하며, 개발 효율을 극대화하기 위해 통합 ML 플랫폼을 구축했습니다. 이 플랫폼은 데이터 준비부터 모델 배포 및 모니터링까지의 전 과정을 자동화하고 표준화하여, 개발자가 인프라 관리보다는 모델 로직에 집중할 수 있는 환경을 제공합니다. 이를 통해 쿠팡은 대규모 컴퓨팅 자원을 효율적으로 관리하면서도 고객 경험을 개선하기 위한 혁신적인 기능들을 빠르게 시장에 선보이고 있습니다. **ML 개발 가속화를 위한 도전 과제** * **Time-to-Market 단축:** 아이디어 단계에서 모델을 실제 서비스에 적용하기까지 발생하는 복잡한 인프라 설정 과정을 간소화해야 함. * **표준화된 CI/CD 통합:** 머신러닝 모델의 학습, 검증, 배포 과정을 소프트웨어 공학의 지속적 통합 및 배포 체계와 결합하여 운영 안정성을 확보. * **확장성 있는 컴퓨팅 자원:** 대규모 데이터와 복잡한 딥러닝 모델 학습을 위해 GPU 및 CPU 자원을 효율적으로 할당하고 확장할 수 있는 시스템 필요. **효율적인 파이프라인 및 피처 관리** * **노트북 및 워크플로우:** 주피터 노트북(Jupyter Notebook) 환경과 Kubeflow 기반 파이프라인을 제공하여, 데이터 탐색부터 모델 학습까지의 워크플로우를 코드 형태로 관리하고 자동화함. * **피처 스토어(Feature Store):** 실시간 추론과 배치 학습 환경 간의 데이터 불일치를 방지하고, 검증된 피처를 재사용할 수 있는 중앙 집중형 저장소 운영. * **일관성 유지:** 온라인과 오프라인 환경에서 동일한 피처 엔지니어링 로직을 적용하여 모델 성능의 신뢰성을 높임. **모델 훈련 및 실시간 추론 인프라** * **분산 훈련 지원:** 고성능 GPU 클러스터를 활용한 분산 훈련 환경을 구축하여 Ko-BERT와 같은 대규모 언어 모델의 학습 시간을 획기적으로 단축. * **안정적인 추론 서비스:** 실시간 트래픽 처리를 위한 고가용성 서빙 환경과 대량의 데이터를 한 번에 처리하는 배치 추론 시스템을 동시에 지원. * **자동화된 배포:** 훈련된 모델을 검증한 후 클릭 몇 번으로 실제 운영 환경에 배포할 수 있는 셀프 서비스 기능 제공. **지속적인 모니터링 및 자원 최적화** * **가시성 확보:** 모델의 성능 지표뿐만 아니라 입력 데이터의 분포 변화(Data Drift)를 실시간으로 감지하여 모델 재학습 시점을 파악. * **Kubernetes 기반 관리:** 모든 ML 워크로드를 컨테이너화하여 Kubernetes 환경에서 실행함으로써 하드웨어 자원 활용도를 최적화하고 운영 부담을 최소화. **플랫폼 도입을 통한 주요 성과** * **검색 품질 향상:** 한국어에 특화된 Ko-BERT 모델 학습 과정을 플랫폼을 통해 최적화하여 검색 쿼리 이해도와 검색 결과의 정확도를 개선. * **실시간 가격 예측:** 수백만 개의 상품에 대해 시장 상황을 즉각적으로 반영하는 가격 예측 모델을 안정적으로 운영하여 비즈니스 민첩성 확보. 대규모 조직에서 ML 모델 개발 속도를 높이려면 개별 모델의 성능만큼이나 전체 생애주기를 관리하는 플랫폼의 역할이 중요합니다. 쿠팡처럼 다양한 서비스 도메인을 가진 환경에서는 표준화된 ML 플랫폼을 통해 인프라 복잡성을 추상화하고, 데이터 사이언티스트가 비즈니스 가치 창출에만 몰입할 수 있는 환경을 구축하는 것이 가장 효과적인 전략입니다.