chatbot

6 개의 포스트

toss4분 읽기큐레이션 요약

6. 도구를 넘어, 기준과 책임으로

커머스 조직의 지식 관리는 문서를 많이 쓰거나 자동화 도구를 도입하는 것만으로 완성되지 않는다. 무엇을 지식으로 남길지, 누가 책임질지, 어떤 문서를 신뢰할지에 대한 기준과 거버넌스가 함께 있어야 한다. 궁극적으로는 개인의 기억과 흩어진 기록을 조직의 업무 흐름 속에서 생성·검증·갱신되는 시스템으로 바꿔야 한다. ## 혼자 문서를 작성하는 방식의 한계 - 커머스 위키에 용어사전, 온보딩 문서, 정책 문서를 정리하자 팀마다 다르게 쓰던 용어를 통일하고 다른 팀의 기능을 이해하는 출발점을 만들 수 있었다. - 하지만 제품과 정책의 변화 속도가 문서 작성 속도보다 빨랐다. - 담당자가 바뀐 정책, 일시적인 실험, 메신저에서 논의된 결정까지 한 사람이 모두 추적하기는 불가능했다. - 지식이 현장에서 먼저 생기고 TW가 뒤늦게 정리하는 구조로는 최신성을 유지하기 어려웠다. ## 참여를 유도하는 문화만으로 부족했던 이유 - 주간 뉴스레터, 정책 질문봇, 문서화 워크숍, 길드 등을 통해 구성원의 참여를 높였다. - 문서 요청과 위키 인용은 늘었지만, 첫 기여가 지속적인 기여로 이어지지는 않았다. - 문서 작성은 업무 우선순위에서 밀렸고, 작성된 문서도 시간이 지나며 갱신되지 않았다. - 문서의 적절한 깊이와 대상 독자가 정해져 있지 않아 작성자가 매번 혼자 판단해야 했다. - 실무자는 상세한 구현 정보가 필요하지만, 다른 팀에는 불필요한 노이즈가 될 수 있다. - 개발자에게 유용한 변수명과 기술 세부사항은 비개발자의 이해를 방해할 수 있다. - 문제는 구성원이 문서화에 무관심해서가 아니라, 무엇을 어디에 어느 수준으로 남기고 누가 검토할지 정해져 있지 않았다는 데 있었다. - 문서화가 업무 흐름에 포함되고 팀의 책임으로 인정되어야 지속될 수 있다. ## AI 자동화가 보여준 구조적 문제 - 매일 밤 AI가 두 가지 신호를 바탕으로 문서 초안을 작성한다. - 배포·정책 변경 공지에서 문서 갱신이 필요한 내용을 추출한다. - 정책 질문봇이 답하지 못한 질문을 찾아 관련 자료를 바탕으로 새 문서 초안을 만든다. - 사람은 빈 화면에서 처음부터 작성하는 대신, AI 초안의 근거를 확인하고 승인하는 역할을 맡는다. - 자동화로 작성 부담은 줄었지만 새로운 문제가 드러났다. - 비슷한 문서가 중복 생성됐다. - 최신 문서가 무엇인지 판단하기 어려웠다. - 종료된 실험이나 오래된 정책을 AI가 현행 정책처럼 답하는 경우가 생겼다. - 자동화는 지식 수집과 초안 작성은 돕지만, 문서의 신뢰성·최신성·책임자를 결정하지는 못한다. ## 지식 거버넌스와 책임의 필요성 - 질문의 초점이 “문서를 어떻게 만들까?”에서 “어떻게 믿을 수 있는 지식을 만들까?”로 바뀌었다. - 정책 담당자 변경, 오래된 결정의 폐기, 중복 문서 간 우선순위 같은 문제는 도구가 아니라 운영 기준이 해결해야 한다. - 토스는 문서와 지식을 누가, 언제, 어떤 기준으로 만들고 관리하고 폐기할지 이해관계자가 함께 정하는 ‘커머스 문서·지식 거버넌스’를 제안했다. - 거버넌스는 한 번 정하고 끝나는 규칙이 아니라, 실제 적용 결과를 확인하고 지속적으로 보완하는 체계다. ## 토스 팀의 지식 관리 기준 - **아는 것은 조직에 남긴다** - 반복해서 묻는 질문 - 중요한 의사결정 - 새로 온 구성원이 알아야 하는 내용 - **남긴 지식은 찾을 수 있게 정리한다** - 사람이 검색하거나 AI가 참조할 수 있도록 분류·구조화한다. - 조직 특성에 따라 다음 기준을 선택할 수 있다. - 기술 레이어: 데이터나 시스템의 처리 단계 - 서비스 도메인: 담당 서비스 영역 - 기능 단위: 시스템 또는 기능별 구분 - **필요한 순간에 사용할 수 있게 연결한다** - 위키에 저장하는 데 그치지 않고 질문봇, GitHub 등 실제 업무 도구와 연결한다. - **정확한 정보를 최신 상태로 유지한다** - 문서 책임자와 검토 주기를 정한다. - 실험 정책과 확정 정책을 구분하고, 종료된 정책은 폐기하거나 기록용으로 분류한다. - 조직의 지식은 단순히 글로 남은 모든 정보가 아니라, 구성원이 상황을 이해하고 더 나은 결정을 내리는 데 도움이 되며 검증된 정보다. ## Knowledge Committee의 역할 - Knowledge Committee는 전사 문서 운영 기준을 정의하고 유지하며, 조직 간 기준 충돌을 조정하는 협의체다. - 자발적 모임인 길드와 달리 공식적인 의사결정 권한과 실행력을 가진다. - 운영은 두 층으로 나뉜다. - **TW 챕터**: 문서의 정의, 상태, 출처, 책임자 등 전사 공통 기준을 관리한다. - **각 도메인·챕터**: 현장 특성에 맞춰 문서의 책임자, 갱신·폐기 시점, 운영 방식을 정한다. - 중앙에서 모든 것을 통제하면 현장 변화에 느리고, 전사 기준이 없으면 조직마다 지식 관리 방식이 달라진다. - 예를 들어 커머스 조직에서 실험 배포와 확정 배포를 구분하지 않으면 종료된 실험 정책이 현행 정책처럼 남을 수 있다. - 이런 예외와 시행착오를 커미티가 기준에 반영하고 전사에 공유하면, 개별 조직의 경험이 전체 조직의 운영 노하우가 된다. ## 개인의 기억을 조직의 자산으로 전환하기 - 목표는 지식이 특정 개인이나 메신저 기록에 머무르지 않고 조직 안에서 계속 축적되고 재사용되는 구조를 만드는 것이다. - 지식을 남기고 검증하고 다시 사용하는 과정이 업무의 기본 흐름에 포함되어야 한다. - TW의 역할도 문서 작성에 머무르지 않고 지식 시스템, 제품, 거버넌스를 설계하는 방향으로 확장된다. - 궁극적으로는 문서화가 별도의 숙제가 아니라 자연스러운 업무 방식이 되어, TW의 개입 없이도 조직 지식이 순환하는 상태를 지향한다. 실무적으로는 도구를 도입하기 전에 먼저 “무엇을 남길 것인가”, “누가 검토하고 책임질 것인가”, “언제 최신성을 확인하고 폐기할 것인가”를 정하는 것이 우선이다. 이후 자동화와 AI를 초안 작성·검색·질의응답에 연결해야 지식 관리 시스템이 지속적으로 작동할 수 있다.

원문 읽기(새 탭에서 열림)
toss4분 읽기큐레이션 요약

우리 팀의 문서화는 왜 실패할까? (2)

두 조직의 문서화 경험은 자율적 기여만으로는 지식이 지속적으로 축적되기 어렵다는 점을 보여준다. 문서화의 핵심은 흩어진 지식을 한곳에 모으고, 질문과 공유에 대한 심리적 부담을 낮추며, 조직의 상태에 맞는 구조와 운영 방식을 만드는 데 있다. AI는 문서 작성과 지식 전파를 쉽게 할 뿐 아니라, 질문·문서 증가량·답변 품질 등을 지표로 파악하게 해 문서화 상태를 진단하는 도구가 되고 있다. ## 자율적 문서화의 한계 - 커머스에서는 구성원이 자율적으로 참여하는 ‘커머스 위키’를 만들기 위해 워크숍과 길드를 운영했다. - 첫 문서를 작성하게 만드는 데는 성공했지만, 두 번째·세 번째 기여로 이어지게 하기는 어려웠다. - 문서화가 개인의 의지와 자발성에만 의존하면 지속 가능한 운영 구조를 만들기 어렵다. - 반면 이미 문서가 잘 갖춰진 애즈 도메인에서는 새 플랫폼을 만들기보다 기존 컨벤션을 존중하고, 지식의 위치와 연결 관계를 파악하기 쉽게 만드는 데 집중했다. - 문서가 거의 없는 조직과 이미 충분한 문서가 있는 조직은 출발점과 우선순위가 달라야 한다. ## 지식 공유를 막는 심리적 부담 - 질문을 적게 하는 이유는 단순히 관심이 부족해서가 아니라, “내가 모른다”는 사실을 공개하는 것이 부담스럽기 때문이다. - 문서를 작성할 때도 “내 지식이 틀리면 어떡하지”라는 불안 때문에 좋은 자료를 공유하지 못하는 경우가 많다. - 이를 해결하기 위해 ‘개발 상담 주간’을 열어 질문 자체를 자연스러운 행동으로 만들었다. - 특정 전문가에게 자유롭게 질문하도록 유도 - 다른 사람의 질문에 공감하도록 장려 - 전문가가 답하지 못한 질문에는 팀원들이 대신 답변하도록 독려 - 매일 짧은 서버 개발 지식을 전달하는 봇도 운영한다. - 구성원이 직접 문서를 찾지 않아도 지식에 노출된다. - 완성된 문서를 처음부터 작성하는 대신, 공유된 내용에 한마디를 보태거나 수정하는 방식으로 참여 장벽을 낮춘다. ## AI가 낮춘 문서화의 진입장벽 - AI를 이용하면 문서 초안을 빠르게 만들 수 있어 문서 작성에 필요한 부담이 줄어든다. - 챗봇은 매일 지식을 전달하거나 질문에 답하면서 지식 공유를 일상적인 활동으로 만든다. - AI는 문서화 현황을 정량적으로 확인하는 데도 활용된다. - 챗봇에 올라온 질문 수 - 사람이 대신 답변한 사례와 답변 내용 - 일주일 동안 새로 작성된 문서 수 - 지난주 대비 문서 증가량 - 새로 추가된 문서 목록 - 이를 통해 어떤 지식이 부족한지, 구성원이 무엇을 궁금해하는지, 지식이 실제로 순환하고 있는지를 파악할 수 있다. ## 사람용 문서와 AI용 세부 문서의 분리 - AI가 문서를 읽게 되면서 사람에게는 불필요한 세부 맥락까지 기록해야 하는 상황이 생겼다. - 커머스에서는 문서를 두 영역으로 나누었다. - 중앙 문서: Technical Writer가 관리하며 사람이 읽기 쉽고 조직 전체에 공유할 만한 내용 중심 - 팀 저장소 문서: 업무 과정에서 자동으로 쌓이며 팀 내부 AI가 활용할 수 있는 세부 정보와 맥락 포함 - 문서의 독자가 사람뿐 아니라 AI까지 확장되면서, 문서의 목적과 공개 범위를 구분하는 구조가 필요해졌다. ## 도메인과 챕터의 차이 - 공통 원칙은 지식을 한곳에 모으고, 문서가 흩어지지 않도록 통로를 단순화하는 것이다. - 도메인 문서 - 제품과 코드에 직접 연결된다. - 제품 출시와 변화가 빠르므로 문서 업데이트 주기도 짧다. - 용어, 기능, 정책, 지표처럼 업무와 직접 관련된 구조가 중요하다. - 독자가 다양하므로 비개발자도 이해할 수 있는 수준으로 작성하는 것이 효과적이다. - 챕터 문서 - 특정 직군을 위한 컨벤션, 업무 방식, 생산성 지식이 중심이다. - 코드와 직접 관련되지 않은 추상적인 내용이 많다. - 변화가 느린 만큼 지속적인 업데이트와 참여를 유도하는 방식이 과제다. - 독자가 비교적 명확해 목적에 맞춘 문서 작성이 쉽다. ## 문서 유형과 독자 구분 - 하나의 문서에 모든 정보를 담기보다 독자와 목적에 따라 문서를 분리해야 한다. - 활용 예시는 다음과 같다. - 가이드: 업무를 수행하는 방법 설명 - 기능 단위 정책: 제품이나 기능의 동작 원칙 정리 - 용어 사전: 조직 내 공통 언어 정의 - 지표 문서: 기능이나 정책을 측정하는 기준 설명 - 문서 유형별 역할을 명확히 하면 독자가 필요한 정보를 더 빠르게 찾을 수 있다. ## 문서화 수준 진단 방법 - 업무 중 막혔을 때 무엇을 먼저 찾는지 관찰하면 조직의 문서화 수준을 파악할 수 있다. - 사람이나 사내 메신저를 찾는 경우 - 문서가 거의 없는 상태다. - 업무에 가장 자주 필요한 정보부터 하나씩 정리해야 한다. - 문서를 검색하는 경우 - 원하는 정보를 찾지 못한다면 부족한 문서를 보완해야 한다. - 검색이 잘 된다면 문서는 충분히 쌓인 상태이며, AI를 연결해 접근성을 높일 수 있다. - 문서 기반 AI나 봇에게 질문하는 경우 - 답변이 부정확하면 원인을 분석해야 한다. - 관련 문서가 없으면 새로 작성해야 한다. - 정보가 여러 곳에 흩어져 있으면 한곳으로 통합해야 한다. - 문서는 있지만 엉뚱한 답을 하면 내용이 오래됐거나 맥락이 부족할 가능성이 크다. ## 문서화의 구체적인 시작점 - “문서화를 해야 한다”는 막연한 목표보다 실제 문제와 니즈를 먼저 정의해야 한다. - 예를 들어: - 팀마다 용어가 달라 소통이 어렵다면 용어 사전부터 만든다. - 다른 팀이나 외부에 공유할 레퍼런스가 없다면 공통 가이드를 만든다. - 반복적으로 질문이 발생한다면 해당 업무의 절차와 판단 기준을 문서화한다. - 문제를 하나로 좁히고 그 문제를 해결하는 문서부터 시작해야 지속 가능성이 높다. 결국 효과적인 문서화는 구성원의 의지에만 기대지 않고, 지식을 한곳에 모으고 자연스럽게 공유되도록 만드는 운영 구조에서 출발한다. 먼저 조직의 현재 상태와 가장 큰 문서화 니즈를 진단한 뒤, 하나의 구체적인 문제를 해결하는 문서와 자동화부터 시작하는 것이 좋다.

원문 읽기(새 탭에서 열림)
toss4분 읽기큐레이션 요약

세상에 없던 직무를 만들어가기

토스의 Technical Writing Chapter는 문서를 작성하는 역할을 넘어 조직의 지식 시스템을 설계하는 조직으로 확장되었습니다. 코드만으로는 설명할 수 없는 의사결정의 맥락과 암묵지를 문서화하고, 이를 사람과 AI가 업무 중 바로 활용할 수 있게 만드는 것이 핵심입니다. 궁극적으로는 문서 작성 자체를 자동화해 TW가 없어도 조직 안에서 지식이 지속적으로 쌓이는 구조를 만드는 것을 목표로 합니다. ### 코드만으로는 완성되지 않는 SSoT - 코드는 시스템이 무엇을 하는지는 보여주지만, 왜 그렇게 설계했는지와 어떤 의사결정을 거쳤는지는 담기 어렵습니다. - 담당자가 자리를 비우거나 퇴사하면 과거 메신저 대화와 개인의 기억에 의존해 맥락을 찾아야 합니다. - AI 역시 일반적인 지식은 잘 활용하지만 조직 고유의 역사와 의사결정 맥락은 알 수 없습니다. - 따라서 진정한 Single Source of Truth는 코드뿐 아니라 코드 주변의 맥락과 히스토리까지 포함해야 합니다. - AI에게 업무를 맡기려면 조직 구성원이 알고 있는 내용을 먼저 구조화해 남겨야 합니다. ### 문서를 쓰는 일에서 지식이 찾아가게 만드는 일로 - 초기에는 프론트엔드 챕터의 온보딩 문서처럼 필요한 내용을 정리하는 데 집중했습니다. - 그러나 좋은 문서도 사람들이 처음부터 읽지 않으며, 필요한 부분만 찾아보는 경우가 많다는 한계가 있었습니다. - 문서 링크를 전달하는 대신, 사람들이 실제로 일하는 메신저와 IDE 안에서 문서 내용을 활용하도록 챗봇 ‘박씨’를 만들었습니다. - 박씨는 기존 문서를 근거로 답변하고 출처까지 제시해, 사용자가 직접 문서를 검색하지 않아도 필요한 지식에 접근하게 했습니다. - 이 시스템을 계기로 문서에 관심이 없던 팀들도 반복 질문을 줄이고 암묵지를 시스템화하기 위해 지식 시스템을 요구하기 시작했습니다. ### 문서에서 지식 시스템으로 - TW의 역할은 문서를 잘 쓰는 사람에서 조직에 맞는 지식 시스템을 설계하는 사람으로 확장되었습니다. - 지식은 특정 맥락에서 문제를 이해하고 더 나은 결정을 내리도록 돕는, 검증된 정보입니다. - 지식 시스템은 코드·대화·배포 기록 등에 흩어진 지식을 한곳에 모으고, 사람이 읽거나 AI가 이해할 수 있는 형태로 구조화합니다. - 이렇게 축적된 지식은 검색뿐 아니라 질문 응답과 업무 자동화에도 활용됩니다. - 조직이 커질수록 반복 질문과 커뮤니케이션 비용이 증가하므로, 지식 시스템은 생산성과 온보딩을 지원하는 조직 인프라가 됩니다. ### Technical Writing Chapter가 하는 네 가지 일 - **지식 플랫폼 개발** - 사내 지식 관리 플랫폼 ‘토독’을 직접 만들고 운영합니다. - **조직별 문서화 주도** - 각 조직의 업무 방식과 필요한 지식에 맞춰 흩어진 정보를 수집하고 활용 구조를 설계합니다. - **문서 작성의 자동화** - AI 워크플로와 자동화를 활용해 구성원이 비슷한 품질의 문서를 작성하고 리뷰받도록 합니다. - 장기적으로 사람이 직접 수행하는 Technical Writing을 줄이는 것이 목표입니다. - **문서화 문화 조성** - AI가 잘 읽을 수 있는 문서 작성법 등을 주제로 전사 세션을 진행합니다. - 조직별 문서화 길드와 지식 커미티를 운영해 지식을 생산하고 관리하는 방식을 바꿉니다. ### 궁극적인 목표: Technical Writer의 소멸 - 올해 목표는 사람이 직접 문서를 작성하지 않아도 조직의 지식이 축적되는 구조를 만드는 것입니다. - TW가 모든 문서를 대신 작성하는 것이 아니라, 조직 구성원과 AI가 지속적으로 지식을 생산·관리하도록 시스템과 문화를 구축합니다. - 최종적으로는 Technical Writing Chapter가 없어도 각 조직이 스스로 지식 시스템을 운영할 수 있도록 만드는 것을 지향합니다. - 이는 직무가 사라진다는 의미보다, 특정 직무에 의존하지 않는 지식 생산 구조를 만든다는 의미에 가깝습니다. ### 다른 직무에도 적용되는 확장 방식 - 이 사례는 정해진 직무를 수행한 결과가 아니라, 조직의 문제를 해결하는 과정에서 직무의 범위를 새롭게 정의한 사례입니다. - AI가 업무 방식을 바꾸는 상황에서는 기존 직무 설명에 머무르기보다 반복되는 문제와 조직의 필요를 따라 역할을 확장할 수 있습니다. - Technical Writer의 전문성은 글쓰기 자체뿐 아니라 지식을 발견하고, 구조화하고, 전달하며, 자동화하는 능력으로 넓어지고 있습니다. 조직의 지식을 개인의 기억이나 메신저 기록에만 남겨두지 않으려면 코드와 맥락을 함께 관리해야 합니다. 문서를 단순한 참고 자료가 아니라 업무 흐름 속에서 바로 활용되는 시스템으로 설계하고, 반복적인 작성과 관리를 자동화하는 방향이 실용적인 접근입니다.

원문 읽기(새 탭에서 열림)
toss5분 읽기큐레이션 요약

AI로 바꾼 제품 설계의 순서

토스는 고객센터 챗봇의 높은 이탈률을 해결하기 위해 메뉴 탐색 중심 구조를 자연어 기반 AI 상담 방식으로 전환했다. 시나리오를 완성한 뒤 개발하는 대신, 실제 상담 데이터로 AI 초안을 만들고 프로토타입에서 즉시 검증하며 함께 발전시켰다. 이 과정에서 개별 시나리오 수정보다 공통 규칙을 정립하는 방식이 더 효율적이었으며, AI는 단순한 자동화 도구가 아니라 사용자 경험을 빠르게 실험하는 도구로 활용됐다. ## 메뉴 탐색형 챗봇의 한계 - 고객센터 방문자는 월 약 60만 명, 채팅 상담 시도자는 약 17만 명이었다. - 챗봇 이용자의 약 60%가 중간에 이탈했다. - 사용자는 자신의 문제는 알지만, 그것이 서비스 내부에서 어떤 카테고리로 분류되는지는 알기 어렵다. - “결제가 안 돼요”, “멤버십을 해지하고 싶어요”처럼 자연스러운 문제 표현을 메뉴 구조에 맞춰 다시 탐색해야 하는 점이 주요 문제였다. - 따라서 카테고리 탐색을 없애고, 사용자의 자연어를 AI가 해석해 필요한 안내나 기능으로 연결하는 경험을 목표로 삼았다. ## 시나리오와 프로토타입을 동시에 발전시키기 - 일반적인 챗봇 제작 과정은 다음과 같다. - 고객 문의 분석 - 문의 유형 정리 - 대화 시나리오 작성 - 리뷰 및 수정 - 프로토타입 제작 - 개발 - 하지만 하나의 문의에도 다양한 조건과 분기가 존재한다. - 멤버십 이용료 결제 여부 - 혜택 사용 여부 - 해지 예약 여부 - 고객별 확인 정보와 안내 내용 - 토스는 시나리오를 완성한 뒤 프로토타입을 만드는 대신, AI로 초안을 만든 즉시 프로토타입에서 대화 흐름을 검증했다. - 실제 대화를 통해 질문 순서, 답변의 자연스러움, 분기 처리 문제를 빠르게 발견하고 시나리오에 반영했다. ## 실제 상담 데이터로 시나리오 초안 만들기 - 고객센터에서 자주 발생하는 상담 유형 20개를 선정해 AI가 시나리오 초안을 작성하도록 했다. - 개인정보는 제거하고 가명·익명 처리한 뒤 활용했다. - 정책 문서만 학습시키기보다 실제 상담 데이터를 중심으로 사용했다. - 상담 데이터에는 다음과 같은 실전 맥락이 담겨 있었다. - 고객이 문제를 표현하는 다양한 방식 - 상담사가 필요한 정보를 확인하는 순서 - 원인을 단계적으로 좁혀가는 과정 - 복잡한 정책을 고객이 이해하기 쉬운 언어로 설명하는 방식 - 그 결과 AI는 정책을 단순히 나열하는 대신, 고객의 문제를 파악하고 해결책을 안내하는 상담사에 가까운 시나리오를 생성할 수 있었다. ## 시나리오 허브로 다양한 조건 검증하기 - 하나의 문의에 포함된 여러 상황 조합을 미리 저장하고 선택할 수 있는 ‘시나리오 허브’를 만들었다. - 예를 들어 멤버십 해지 문의에서 다음 조건을 선택해 바로 테스트할 수 있었다. - 이번 달 결제 완료 여부 - 혜택 사용 여부 - 해지 예약 여부 - 조건을 선택하면 해당 상태가 적용된 챗봇 대화가 즉시 시작됐다. - 시나리오를 수정하거나 새로운 분기·규칙을 추가한 뒤에도 동일한 조건에서 빠르게 재검증할 수 있었다. - 문서상으로는 자연스러워 보이는 흐름도 실제 대화에서는 어색할 수 있었기 때문에, 프로토타입이 단순 목업이 아닌 실험 환경으로 기능했다. - 실제 데이터를 적용한 결과를 기준으로 판단하면서 “그럴 것 같다”가 아니라 “실제로 그렇다”는 방식으로 검증할 수 있었다. ## 개별 시나리오보다 공통 규칙 만들기 - 검증 과정에서 다음과 같은 반복 문제가 발견됐다. - 이미 알고 있는 정보를 다시 질문함 - 같은 설명을 반복함 - 모르는 내용을 추측해 잘못된 정보를 제공함 - 처음에는 문제마다 시나리오를 개별 수정했지만, 비슷한 문제가 계속 반복됐다. - 이에 따라 여러 시나리오에 공통으로 적용되는 규칙을 만들었다. - 해결 방법을 먼저 제시하고 설명은 나중에 한다. - 추측하지 않고 모르면 모른다고 답한다. - 특정 조건에서만 상담사 연결을 진행한다. - AI가 수행할 수 있는 권한과 수행할 수 없는 영역을 명확히 구분한다. - 시나리오 하나를 수정하면 하나의 흐름만 개선되지만, 규칙 하나를 수정하면 전체 시나리오가 함께 개선됐다. - 규칙이 축적될수록 검증과 고도화 속도도 빨라졌다. ## 경험을 먼저 설계하고 필요한 시스템을 역산하기 - 기존에는 데이터 구조, 운영 도구, 시스템을 먼저 설계한 뒤 사용자 경험을 고민하는 경우가 많았다. - 이번 프로젝트에서는 이상적인 사용자 경험을 먼저 만들고, 이를 구현하는 데 필요한 요소를 뒤에서 정의했다. - 그 결과 다음과 같은 요구사항을 자연스럽게 도출할 수 있었다. - 어떤 고객 상태 데이터를 저장해야 하는가 - 어떤 API가 필요한가 - 어떤 운영 도구가 필요한가 - 모든 것을 사전에 완벽하게 설계하기보다, 검증을 통해 실제로 필요한 요소만 빠르게 정의할 수 있었다. - 팀 합류 후 약 3주 만에 현황 분석, 경험 설계, 시나리오 생성, 프로토타입 제작, 검증과 고도화까지 진행했다. ## AI가 바꾼 디자이너의 역할 - AI는 단순히 화면이나 시나리오를 대신 만들어주는 도구가 아니었다. - 시나리오 작성과 프로토타입 구현 비용을 낮춰 더 많은 아이디어와 상황을 빠르게 비교할 수 있게 했다. - 디자이너는 제작 자체보다 다음과 같은 판단에 더 많은 시간을 사용할 수 있었다. - 어떤 경험이 더 나은가 - 어떤 규칙이 효과적인가 - 무엇을 검증해야 하는가 - 즉, AI는 제품 설계의 순서를 바꾸고 경험 중심의 반복 실험을 가능하게 했다. ## 다른 제품 설계에 적용하는 방법 - 완벽한 설계를 기다리기보다 AI로 먼저 작동하는 프로토타입을 만들고 검증한다. - 가이드와 정책 문서뿐 아니라 실제 사용자의 표현과 행동 데이터를 먼저 살펴본다. - 같은 문제가 반복되면 개별 사례를 고치는 대신 여러 케이스에 적용할 수 있는 공통 규칙을 찾는다. - 이러한 방식은 챗봇뿐 아니라 새로운 제품이나 기능을 설계할 때도 활용할 수 있다. 결국 이 글은 AI를 “대신 만들어주는 도구”로 보기보다, 사용자 경험을 빠르게 만들고 검증하며 개선하는 실험 도구로 활용해야 한다는 점을 강조한다.

원문 읽기(새 탭에서 열림)
line원문

도메인에 의존하지 않는 채팅 플랫폼은 어떻게 만들었을까? (새 탭에서 열림)

MessagingHub는 서비스마다 개별적으로 구축해야 했던 채팅 기능을 통합하여 플랫폼화함으로써 개발 비용을 절감하고 시스템 복잡도를 낮춘 메시징 플랫폼입니다. 특정 도메인에 의존하지 않는 독립성과 범용성을 바탕으로 챗봇, 상담 채팅, 1:1 대화 등 다양한 요구사항을 레고처럼 조합할 수 있는 구조로 설계되었습니다. 결과적으로 연동 서비스는 비즈니스 로직에만 집중하고, 채팅의 핵심 기능과 연결 관리는 플랫폼이 전담하여 효율적인 서비스 운영이 가능해졌습니다. ### 도메인 독립적인 인증 및 사용자 식별 * **연동 측 책임 중심의 인증:** MessagingHub는 직접 사용자를 관리하지 않고, 연동 시스템이 인증을 마친 후 요청한 연결 토큰(connection token)을 검증하여 웹소켓 연결을 허용합니다. * **유연한 사용자 식별:** 도메인 정보와 연동 측 식별자를 조합한 ‘client ID’를 사용해 여러 서비스의 사용자를 구분하며, 닉네임이나 프로필 같은 부가 정보는 연동 측에서 실시간으로 갱신하도록 설계되었습니다. * **서비스 컨텍스트 기반 제어:** '누가 누구와 대화하는지(Driver2CS 등)'를 정의하는 서비스 컨텍스트와 채팅방 유형(1:1, 그룹, 챗봇 등)의 조합을 통해 세밀한 접근 권한과 메시지 허용 정책을 관리합니다. ### 관심사 분리를 통한 모듈형 아키텍처 * **컴포넌트 기반 구조:** 연결 관리(connection-manager), 비즈니스 로직(chat-app), 메시지 중계(message-router), 알림(notification-app) 등 각 기능을 독립적인 컴포넌트로 분리하여 R&R을 명확히 했습니다. * **커맨드(Command) 패턴 활용:** 채팅의 모든 동작을 커맨드 단위로 정의하여 챗봇이나 상담 채팅 등 서비스 성격에 맞게 기능을 유연하게 조합하고 확장할 수 있습니다. * **이벤트 기반 연동:** 각 컴포넌트는 이벤트 기반으로 느슨하게 결합되어 있어, 특정 기능의 변경이 전체 시스템에 미치는 영향을 최소화했습니다. ### 효율적인 데이터 관리와 메시지 순서 보장 * **메시지 체이닝 및 상태 관리:** `prev_chat_log_id`를 사용하여 메시지 간 순서를 보장하며, 읽음 위치(`last_seen_chat_log_id`)와 전체 메시지 범위를 비교하여 정확한 안 읽은 메시지 수를 산출합니다. * **JSON 컬럼을 통한 확장성:** 연동 측에서 필요로 하는 도메인 특화 데이터(검색용 데이터, 사용자 상세 정보 등)를 MessagingHub가 해석하지 않고 JSON 형태로 그대로 보관 및 전달함으로써 범용성을 확보했습니다. * **보안 및 자동 삭제:** 모든 메시지는 암호화하여 저장되며, 참여자 이탈에 따른 즉시 삭제나 설정된 보관 기간에 따른 자동 삭제 정책을 지원합니다. ### 챗봇 시나리오의 안정적인 배포와 SOFT STOP 정책 * **계층적 시나리오 구조:** 관리자 도구를 통해 시나리오를 편집하고 배포할 수 있으며, 답변과 선택지 및 외부 연동을 위한 웹훅 기능을 지원합니다. * **SOFT STOP 상태 도입:** 새로운 시나리오 배포 시, 기존 대화 중인 사용자는 이전 버전을 유지하고 신규 사용자에게만 새 버전을 노출하는 'SOFT STOP' 단계를 두어 사용자 경험의 단절을 방지합니다. * **지능형 스케줄링:** 스케줄러가 이전 버전 시나리오의 잔여 연결 정보를 주기적으로 체크하여, 더 이상 사용하는 사용자가 없을 때 자동으로 해당 버전을 종료 처리합니다. ### 상담 효율을 높이는 문의형 채팅 최적화 * **상담 컨텍스트 제공:** 상담원이 사용자 정보를 별도로 조회할 필요가 없도록, 채팅방 생성 시 연동 측으로부터 전달받은 검색 데이터, 추적 데이터 등 풍부한 메타데이터를 상담 화면에 함께 제공합니다. * **생명 주기 관리:** 상담 대기(PENDING)부터 종료(DISABLE) 및 재진입 방지(BLOCK)까지 이어지는 상담 전용 상태 관리를 통해 상담 프로세스의 일관성을 유지합니다. MessagingHub와 같은 채팅 플랫폼 도입은 서비스 확장 속도가 빠르고 다양한 소통 창구가 필요한 환경에서 특히 유용합니다. 채팅 기능을 직접 구현하기보다는, 인증과 데이터 처리는 전문 플랫폼에 맡기고 도메인 특화 데이터(Metadata)를 적극 활용하는 방향으로 설계한다면 시스템의 유연성과 운영 효율을 동시에 확보할 수 있을 것입니다.

google원문

실제 임상 연구에서의 대화형 진단 AI 실현 가능성 탐색 (새 탭에서 열림)

구글 리서치와 구글 딥마인드는 대화형 의료 AI인 'AMIE(Articulate Medical Intelligence Explorer)'를 실제 임상 환경에 적용한 첫 번째 타당성 조사 결과를 발표했습니다. 하버드 의대 부속 병원(BIDMC)과의 협력을 통해 진행된 이번 연구는 AMIE가 환자의 내원 전 병력 청취를 안전하게 수행하고 전문의 수준의 진단 추론 능력을 보여줄 수 있음을 입증했습니다. 이는 시뮬레이션을 넘어 실제 의료 현장에 AI를 통합할 수 있다는 가능성을 보여준 중요한 이정표로 평가됩니다. ### 실제 임상 워크플로우에서의 AMIE 검증 * **연구 설계:** 비응급 질환으로 1차 진료를 예약한 100명의 성인 환자를 대상으로 진행된 전향적, 단일 기관 타당성 조사입니다. * **상호작용 방식:** 환자는 실제 진료 전 보안 웹링크를 통해 AMIE와 텍스트로 대화하며 증상을 설명했습니다. * **안전 감독 시스템:** 'AI 감독관'으로 명명된 의사가 실시간 화상 공유를 통해 대화 내용을 모니터링하며, 사전에 정의된 안전 기준(자해 위험, 정서적 고통 등) 발생 시 즉시 개입할 수 있도록 배치되었습니다. * **의료진 지원:** 대화가 종료되면 AMIE는 전체 대화 녹취록과 요약본을 생성하여 담당 의사가 실제 진료를 시작하기 전에 환자의 상태를 종합적으로 파악할 수 있도록 도왔습니다. ### 안전성 및 환자 경험 결과 * **제로 세이프티 스톱:** 연구 기간 동안 AI 감독관이 개입하여 대화를 중단해야 했던 '안전 정지' 사례는 단 한 건도 발생하지 않아 대화형 안전성을 확인했습니다. * **환자 신뢰도 향상:** AMIE와 상호작용한 후 AI에 대한 환자들의 신뢰도가 상승했으며, 다양한 연령과 인종, 기술 문해력을 가진 그룹에서 전반적으로 긍정적인 평가를 받았습니다. * **현실적 수용성:** 환자들은 AI와의 대화가 쉽고 유용하다고 느꼈으며, 이는 AI가 실제 진료 보조 도구로서 충분히 기능할 수 있음을 시사합니다. ### 임상적 추론 및 진단 역량 비교 * **진단 정확도(DDx):** 숙련된 전문의 평가단이 블라인드 테스트를 진행한 결과, AMIE의 차등 진단(Differential Diagnosis) 품질은 실제 1차 진료 의사(PCP)와 대등한 수준으로 나타났습니다. * **관리 계획(Mx Plan):** 전반적인 치료 및 관리 계획의 품질과 안전성 측면에서도 AMIE는 의사와 비슷한 평가를 받았습니다. * **한계와 차이점:** 다만, 관리 계획의 '실용성'과 '비용 효율성' 측면에서는 실제 임상 환경의 제약 조건을 더 잘 이해하고 있는 의사들이 AI보다 더 높은 점수를 받았습니다. 이번 연구는 대화형 AI가 의료진의 업무 부담을 줄이고 환자 정보를 효율적으로 수집하는 조력자가 될 수 있음을 보여줍니다. 향후 AI가 실제 의료 현장에 안착하기 위해서는 진단 논리뿐만 아니라 의료 경제적 실용성까지 고려한 모델 고도화가 필요할 것으로 보입니다.