분석 에이전트의 힘으로 분석을 하나로 연결하다! 전문 조직에서 도전하는 생성 AI 시대의 업무 혁신과 역할 전환 (새 탭에서 열림)

PJ One Piece는 생성형 AI 에이전트로 비즈니스 질문, 데이터 분석, 결과 해석, 다음 액션까지 연결해 분석 업무의 단절을 없애려는 프로젝트입니다. 기존에 평균 2주 걸리던 분석을 약 10분 만에 수행할 수 있게 되었고, 사업부 구성원의 절반 이상이 사용하는 플랫폼으로 확산되었습니다. 핵심은 단순한 SQL 자동화가 아니라 도메인 지식, 분석 프로세스, 도구, 로그와 피드백을 결합해 조직의 분석 역량을 지속적으로 축적하는 데 있습니다.

프로젝트 출범 배경: 세 가지 단절

• 비즈니스와 데이터의 단절

  • DWH와 BI가 있어도 SQL 작성, 테이블·컬럼 선택, KPI 정의, 결과 해석에는 높은 장벽이 남아 있었습니다.
  • 데이터에 접근할 수 있는 것과 사업 담당자가 필요한 정보를 스스로 얻는 것 사이에 ‘마지막 1마일’이 존재했습니다.

• 분석 프로세스 내 단절

  • 과제 정의, 분석 설계, 실행, 리뷰, 액션이 담당자와 도구의 차이로 분리되었습니다.
  • 사업 배경과 의사 결정 목적이 제대로 전달되지 않아 재작업이 발생했고, 단계 사이의 대기 시간으로 리드타임이 길어졌습니다.
  • 분석 품질이 균일하지 않고 결과가 실제 액션으로 이어지는 속도도 떨어졌습니다.

• 도메인 간 단절

  • 사업마다 KPI, 테이블 구조, 사용자 행동, 시책 맥락이 달라 분석 지식과 패턴이 특정 도메인에 머물렀습니다.
  • 시책 평가, 퍼널 분석, 원인 분석처럼 구조가 유사한 분석도 조직 전체에서 재사용하기 어려웠습니다.

분석 에이전트로 분석 흐름 연결

• 사용자는 채팅 형태의 화면에서 자연어로 질문을 입력합니다.
• 에이전트는 질문의 목적을 해석하고 분석 계획을 세운 뒤 다음 작업을 수행합니다.
  • 필요한 데이터와 문서 탐색
  • SQL·Python 기반 집계 및 분석
  • 시각화와 보고서 작성
  • 결과 해석과 추가 분석 제안
  • 다음 의사 결정과 액션 검토
• 자연어 질문만으로 분석을 시작할 수 있어 사업 담당자가 데이터 사이언티스트에게 요청하고 기다리는 구조를 줄입니다.
• 질문 정리, 지표 선택, 비교 축, 리뷰 관점, 추가 분석 판단을 로그로 남겨 분석 지식과 패턴을 재사용 가능한 자산으로 만듭니다.

분석 플랫폼을 구성하는 다섯 가지 요소

• 사용자와 상호작용하는 애플리케이션
• 추론과 도구 사용을 담당하는 LLM 기반 에이전트
• SQL·Python 실행, 사내 문서 조사, 시각화 도구
• 도메인 지식, 스킬, 테이블 정보를 제공하는 지식 베이스
• 실행 로그, 사용자 피드백, 모니터링과 평가를 담당하는 측정 시스템
• 지식 영역은 도메인별 플러그인으로 확장할 수 있으며, 사용량이 늘수록 지식과 분석 패턴이 축적됩니다.

자연어 질문을 분석 요구 사항으로 변환

• 사용자가 상세한 분석 설계를 직접 작성하도록 요구하지 않고, 에이전트가 부족한 전제 조건만 확인합니다.
• 예를 들어 캠페인 효과 분석에는 대상 정책, 기간, KPI, 비교 대상, 분석 단위, 제외 조건 등이 필요합니다.
• 서비스 이해, KPI 정의, 집계 주의사항, 정책 탐색 방법, 리뷰 관점은 도메인 지식으로 관리합니다.
• 테이블과 컬럼의 의미, 사용 조건, 적절한 활용 상황도 별도로 정비합니다.
• 에이전트는 이미 확정 가능한 항목과 사용자 확인이 필요한 모호한 항목을 구분해 불필요한 질문을 줄입니다.

필요한 데이터에 안전하게 접근하는 구조

• 대규모 테이블 정보를 한꺼번에 LLM에 제공하지 않고 단계적으로 공개합니다.
  • 먼저 테이블 목록으로 후보를 좁힘
  • 선택한 테이블의 상세 정의 확인
  • SQL 작성 전에 컬럼 설명, 샘플, 파티션 조건, 사용상 주의사항 확인
• 원천 테이블을 그대로 사용하지 않고, 분석에 적합한 속성을 결합한 와이드 테이블을 논리적 뷰나 실제 테이블로 제공합니다.
• 복잡한 JOIN을 줄여 SQL 생성 난이도와 오류 가능성을 낮춥니다.
• SQL 실행 전후에 시스템 차원의 가드레일을 적용합니다.
  • SELECT 중심의 읽기 전용 제한
  • 공개된 테이블 정의 및 사용 규칙 검증
  • 파티션 조건 확인
  • 개인정보·민감 정보 접근 제한
  • 결과 행 수 제어

멀티 에이전트로 분석 맥락 유지

• 슈퍼바이저형 멀티 에이전트 구조를 사용합니다.
• 메인 에이전트는 사용자 요청, 분석 목적, 확인된 내용, 다음 판단 과제를 계속 관리합니다.
• 통계 검정, 시계열 분석, 클러스터링, 리뷰 등 전문 작업은 역할이 제한된 서브 에이전트에 위임합니다.
• 전체 분석 설계와 전문 작업을 분리해 긴 시행착오나 전문 분석이 전체 맥락을 압박하지 않도록 합니다.
• 장시간 분석 중에는 발견 사항, 분석 설계, 사용 가능·불가능한 데이터, 제약 조건을 공유해 사용자가 중간에 방향을 수정할 수 있게 합니다.

로그와 스킬을 통한 조직 자산화

• 실행 로그로 다음 내용을 추적합니다.
  • 입력과 출력
  • 에이전트의 도구 사용 과정
  • 전제 조건 확인 방식
  • 분석 설계와 생성된 SQL
  • 오류가 발생한 지점
• 사용자와 분석 담당자의 피드백을 결합해 프롬프트, 도구, 데이터, 스킬 중 개선이 필요한 영역을 백로그로 관리합니다.
• 반복되는 분석은 스킬로 일반화합니다.
  • 범용 스킬: 시계열 분석, 클러스터링 등
  • 도메인 특화 스킬: 월간 보고서, 정책 모니터링 등
• 스킬에는 전제 조건, 비교 축, 주의사항, 결과 해석 방법까지 포함해 다른 담당자와 도메인에서도 재사용할 수 있도록 합니다.

선행 도입으로 확인한 사업 가치

• 일부 서비스 사업부에 도입한 결과 구성원의 절반 이상이 사용하는 분석 플랫폼으로 성장했습니다.
• 데이터 사이언티스트뿐 아니라 프로덕트 오너와 현장 구성원도 일상 업무에서 먼저 질문하는 진입점으로 활용하고 있습니다.
• 기존 요청부터 결과 회신까지 평균 약 2주 걸리던 분석을 약 10분 만에 실행할 수 있게 되었습니다.
• 월 수백 건의 분석이 실행되며 데이터 활용 인원이 빠르게 증가했습니다.

분석 AI를 도입할 때는 SQL 생성 자동화에만 집중하기보다, 도메인 지식 관리·데이터 접근 통제·분석 맥락 유지·로그 기반 개선까지 함께 설계하는 것이 중요합니다. 특히 반복 분석을 스킬과 조직 자산으로 축적해야 단기적인 생산성 향상을 넘어 지속적으로 성장하는 분석 플랫폼을 만들 수 있습니다.