DBR Brief-Case: 카카오뱅크 고속 성장에 기여하는 ‘상담챗봇’
“기계 맞나요?” 정확한 답변에 고객들 깜짝
Article at a Glance
인터넷 뱅크 카카오뱅크의 상담챗봇은 24시간 실시간으로 고객의 궁금증을 해결하면서 카카오뱅크의 고속 성장에 기여하고 있다. 카카오뱅크 상담챗봇의 운영 노하우는 다음과 같다.
1. 출범 이후 고객 상담을 진행해온 고객서비스파트 직원들이 챗봇 설계 단계에서부터 참여해 고객의 질문을 정확히 이해하고 최적의 답변을 제공하는 데 기여했다.
2. 카카오뱅크의 신규 상품/서비스 출시 일정에 맞춰 콘텐츠를 반영할 뿐 아니라 고객 니즈를 수시로 파악해 챗봇 콘텐츠를 업데이트하고 기능을 고도화하고 있다.
3. 매일 전일자 기준으로 챗봇 상담 이력을 모니터링함으로써 폴백과 오탐률을 최소화하고 챗봇 품질을 높이고 있다.
2019년 7월, 출범 2년 만에 고객 1000만 명을 돌파한 카카오뱅크가 진행한 선착순 연 5%(세전) 특판 예금과 26주 적금 이자 2배 이벤트는 금리 한 푼이 목마른 고객들의 뜨거운 관심을 받았다. 이벤트 개시 일을 앞두고 역대 최대 규모로 증가한 고객 문의를 무사히 소화해낸 주역은 다름 아닌 챗봇(Chatbot)1 이었다. 특히 특판 예금 이벤트가 시작된 22일에는 챗봇이 문의량의 50% 가까이 소화했다. 상담 고객의 절반 가까이가 상담원 도움 없이 챗봇으로 궁금증을 해소한 것이다.
카카오뱅크의 상담챗봇은 모바일 채팅으로 고객과 24시간 실시간으로 간편하게 소통하면서 인터넷 은행의 강점을 발휘하고 있다. 특히 신규 상품이나 서비스가 출시돼 고객 문의가 급증할 때마다 존재감이 커진다. 오프라인 지점이 없는 카카오뱅크는 상담원 전화와 일대일 채팅만으로는 고객 응대에 역부족임을 일찍이 깨닫고 출범 초부터 챗봇 개발과 업그레이드에 지속 투자해왔다. 그 결과 2019년 6월 기준, 카카오뱅크는 온라인 고객 상담의 35%를 챗봇으로 해결하고 있다. 일반 은행에서 온라인 고객 응대의 90% 이상이 콜이고 챗봇 비중이 10%가 채 안 되는 것과 대조적이다. 물론 카카오뱅크 고객의 연령대가 다른 은행보다 낮은 영향도 없지 않겠다. 하지만 카카오뱅크는 연령대와 상관없이 고객이 선호하는 온라인 상담 채널을 골라서 이용할 수 있도록 최적화했다. 상담원과 통화하고 싶은 고객은 콜, 통화보다는 채팅을 선호하는 고객은 상담원과 톡 상담, 궁금한 사항을 체계적으로 정리하면서 대화하길 원하는 고객은 일대일 상담을 선택하면 된다. 그중에서도 많은 고객이 24시간 언제든지 실시간으로 간단한 문의 사항을 바로 해결할 수 있다는 편의성 때문에 챗봇을 이용하고 있다.
카카오뱅크의 상담챗봇은 2018년 6월 서비스를 오픈해 지난 1년 반 동안의 꾸준한 기능 고도화를 거치면서 현재 안정적인 고객 응대 채널로 자리 잡았다. 카카오뱅크 상담챗봇의 개발 과정과 운영 노하우를 정리했다.
1. 고객 접근성을 최우선으로
2017년 7월27일 카카오뱅크의 영업 개시 첫날, 무려 24만 명의 고객이 계좌를 개설했다. 관심과 인기만큼이나 고객 문의 또한 빗발쳤다. 고객센터 오픈 후 2시간 만에 고객센터 이용 건수가 1만 건을 넘어섰고 이틀 만에 10만 건을 돌파, 41일 만에 100만 건의 고객 문의가 쏟아졌다. 최근 카카오뱅크 고객센터에서 처리되는 고객 문의량이 하루 평균 약 1만5000건 정도임을 감안하면 오픈 초반의 문의 규모는 상상조차 힘든 수준이었다. 제2의 고객센터를 오픈하기 전까지만 해도 카카오뱅크 전 직원이 매달려 고객 문의를 처리해야 할 만큼 고객 문의에 대응하는 것이 전 직원의 가장 큰 숙제였다. 이후에도 모임 통장 등 신규 상품이 뒤따라 출시되면서 가입자가 증가했을 뿐 아니라 고객센터의 이용 건수도 빠른 속도로 증가했다.
오픈 당시 고객은 번호 ‘1599-3333’으로 대표되는 전화 상담, 상담 직원이 카카오톡 채팅으로 상담하는 톡 상담, 앱 또는 홈페이지에서 제공되는 1대1 문의 등 3가지 채널을 이용해 상담할 수 있었다. 하지만 가입자와 고객 문의 증가 속도를 따라가기 위해 상담 직원 채용을 늘리는 것도 한계에 봉착했다. 인터넷 뱅크의 강점을 살리면서 고객 문의에 안정적으로 대응하고 상담의 품질을 높일 수 있는 최적의 대안이 바로 ‘챗봇’이었다. 스마트폰 사용자, 특히 밀레니얼세대들은 음성 전화보다 메시지 채팅을 더욱 선호한다는 조사 결과들은 익히 잘 알려져 있다. 고객이 모바일 채팅을 통해 24시간 365일 궁금증을 해결할 수 있다면 얼마나 좋을까? 그 최선의 방법으로 바로 상담용 ‘챗봇’의 도입을 검토했다.
기존 상담 채널에 챗봇을 추가하기로 결정한 다음의 고민은 고객에게 챗봇을 제공하는 방식이었다. 시중 은행들처럼 모바일 뱅킹용 앱 안에 챗봇을 넣어 제공하는 방식과 챗봇 상담을 위한 별도의 앱을 제공하는 방식이 있었다. ‘탈공인인증서’ ‘비밀번호 로그인’ 등 기존 은행 고객의 불편함을 없애는 서비스 혁신을 지향하는 카카오뱅크는 상담챗봇 또한 고객 입장에서 가장 편리한 방식, 고객들이 별도의 가이드가 없어도 어려움 없이 챗봇을 쉽게 이용할 수 있는 방식이 무엇인지를 고민했다. 모든 상담 채널의 최우선 목표는 고객의 문의 사항을 최대한 신속하고 확실하게 해결하는 것이다. 카카오뱅크 앱과 함께 썼을 때 가장 편리한 앱, 고객이 가장 빠르고 신속하게 채팅할 수 있는 SNS 앱이 바로 ‘카카오톡’이다. 이미 카카오톡 채널(구. 플러스 친구) ‘카카오뱅크 고객센터’를 통해 상담원이 채팅 상담을 제공하고 있었다. 챗봇이라는 또 다른 상담 채널을 카카오톡을 통해 오픈하면 추가로 안내 및 홍보할 필요 없이 기존 계정에서 고객이 톡 상담과 챗봇을 선택적으로 이용할 수 있다는 이점도 있었다.
고객 입장에서도 카카오톡은 이미 익숙하게 사용하고 있는 메신저 플랫폼이기 때문에 친구와 1대1 대화를 나누듯 혹은 기존 톡 상담을 통해서 상담원과 대화 나누듯이 챗봇(기계)과도 질문과 답변을 주고받을 수 있다는 점에서 편리했다. 또 기존 채팅 상담을 이용할 때 상담원 연결부터 상담원의 답변을 받기까지 기다려야 하는 대기시간 동안 챗봇이 고객들을 먼저 대응한다면 톡 상담으로 들어오는 문의량을 자연스럽게 챗봇으로 분산할 수 있다는 이점도 있다. 고객센터 입장에서도 기본적인 안내 및 단순 문의는 챗봇이 대응하고, 톡 상담을 진행하는 상담원은 좀 더 자세하고 개인화된 상담에 집중할 수 있어서 상담 품질을 향상하는 데 유리했다. 그래서 카카오뱅크는 챗봇을 카카오톡으로 제공하기로 결정했다.
때마침 카카오는 카카오톡 챗봇 제작 플랫폼 ‘i오픈빌더’의 비공개 베타 테스트(Closed Beta Test)2 를 위해 인하우스(In-house) 챗봇을 제작하면서 서비스를 다듬고 있었다. 카카오 입장에서도 카카오뱅크가 요청하는 제안으로 봇 빌더 기능을 개선해 오픈빌더의 완성도를 높일 수 있을 뿐 아니라 금융 분야 챗봇의 첫 레퍼런스를 가져갈 수 있을 수 있었다. 상담챗봇은 카카오와 카카오뱅크 양사가 서로 윈윈할 수 있는 기회였다. 그렇게 카카오뱅크와 카카오는 양사의 니즈와 기술 협력이 낳을 시너지를 기대하며 협업에 착수했다.
2. 카카오와의 협업: 봇 빌더와 AI 기술의 결합
다음으로 고민한 것은 챗봇이 고객의 입장에서 고객의 질문을 잘 이해하는 방법을 찾는 것이었다. 훌륭한 답변을 준비했음에도 질문을 제대로 이해하지 못해 제 기능을 하지 못하는 챗봇의 사례를 수없이 봐왔기 때문이다.
챗봇에서 답변으로 제공되는 콘텐츠 단위를 블록(Block)이라고 한다. 챗봇 콘텐츠 제작 담당자는 답변 의도(Intents)를 정의하고 각 의도를 가진 시나리오별 블록을 설계해 콘텐츠를 구성한다. 챗봇에서 정확하고 자연스러운 답변이 나가려면, 고객의 예상 발화3 패턴을 다양하게 예측해 준비하고, 이 발화 패턴을 의도별 블록과 매칭하는 작업이 필요하다. 카카오뱅크도 상담챗봇을 제작하기 위해 봇 빌더4 에 블록별로 예상되는 고객의 질문 발화 패턴들을 생성하면서 엔티티(Entity)5 를 정의하는 작업을 진행했다. 현재 대표 엔트리 기준으로 약 140여 개의 카카오뱅크 전용 엔티티가 등록돼 있으며 엔티티와 동의어로 등록된 용어는 600여 개에 달한다. 카카오뱅크 상담챗봇만의 엔티티를 정의하고 예상 고객 발화 패턴(말뭉치)을 입력해 넣는 일은 많은 시간을 투입해야 하는, 가장 많은 노력을 들인 힘든 과정이었다.
특히 카카오뱅크만의 엔티티를 체계적으로 정의하는 것이 중요했다. 블록 설계와 더불어 발화 패턴 및 엔티티를 잘 정의하고 분류하는 것은 챗봇의 품질을 결정하는 핵심 역량이다. 봇 빌더에서 제공하는 기본 엔티티만 사용했을 때는 고객의 질문을 챗봇이 알아듣는 데 한계가 있기 때문이다. 처음엔 발화 패턴을 많이 준비할수록 답변의 정확도가 높아질 것으로 생각하고 담당자들이 무려 19만 개에 달하는 발화 패턴을 봇 빌더에 등록하고 테스트를 했다. 엄청난 양의 패턴에도 불구하고 챗봇이 의도를 잘못 파악하거나 엉뚱한 대답을 하는 경우 같이 예기치 않은 문제가 발생했다. 특히 사용자의 발화 의도나 표현이 중의적일 경우에는 담당자의 판단에 따라 발화 의도를 등록하다 보니 블록(의도)을 잘못 분류하거나 엉뚱한 케이스로 분류되는 한계가 나타났다.
금융 서비스의 특성상 일반적인 대화와 다른 의미를 가지거나 카카오뱅크만의 용어, 상담/고객센터에서만 사용하는 용어 등을 포함하는 경우에는 질문 의도를 파악하기 쉽지 않아서 일반적인 챗봇과 동일한 방식으로 대응하기가 쉽지 않았다. 이 같은 문제를 해결하기 위해 카카오의 봇빌더가 아닌 자연어처리(NLU, Natural Language Understanding) 담당 조직(현 카카오엔터프라이즈 AI조직)과의 협업을 진행했다. 카카오 NLU 조직에서 개발한 의도분류모델 머신러닝(ML) 기술을 도입함으로써 설계된 발화 유형에 없는 질문이 입력되더라도 문장의 유사성에 기반한 의도 분류가 가능해졌다. 결과적으로 봇 빌더상에 3만 개 발화 패턴만 입력해도 자연스러운 챗봇 대화가 이뤄질 수 있게 됐다. 카카오의 인공지능(AI) 기술이 집약된 ‘카카오i 오픈빌더’ 봇 제작 플랫폼에 카카오의 자연어처리 기술을 더한 뒤 카카오뱅크의 데이터를 얹음으로써 비로소 상담챗봇이 완성됐다. 기본적인 발화 패턴을 입력하는 사람의 노력과 머신러닝하는 기계의 판단이 어우러지면서 어떤 챗봇보다 고객 목소리를 잘 알아듣는 똑똑한 카카오뱅크 상담챗봇이 탄생하게 된 것이다.
3. 고객 상담 직원들이 직접 답변 설계
챗봇은 고객의 질문을 잘 알아듣는 동시에 고객의 질문에 적합한 대답, 즉 고객이 원하는 해결책을 제공해야 한다. 그러려면 블록에 담을 콘텐츠를 설계할 때부터 카카오뱅크 상품 및 정책뿐 아니라 전반적인 금융 지식에 대한 이해가 바탕이 돼야 한다. 더 나아가 고객의 질문이 어떤 내용으로 답변돼야 할지를 파악해서 고객에게 필수적으로 안내돼야 할 내용을, 고객이 이해하기 쉽게 구성할 수 있어야 한다.
우선, 챗봇에서 제공할 상담 범위, 즉 업무를 정하기 위해 카카오뱅크 오픈 이후 빈번하게 들어온 고객 문의 중 챗봇을 통해 해결 가능한 업무를 정의해야 했다. 챗봇이 제공되는 카카오톡만으로는 카카오뱅크 고객 정보를 알 수 없기 때문에 복잡한 고객 인증이 필요하거나 상담사의 판단이 필요한 업무는 챗봇 상담만으로 불가능하다. 이를 감안해 챗봇의 업무 범위 기준은 상담사의 단순 안내 혹은 공지성 상담의 리소스 부담을 덜어줄 수 있는 ‘안내성 업무’로 제한했다. 그리고 기존 온라인 상담 채널을 통해 자주 들어온 업무의 문의 유형을 정리했다. 과연 고객들이 어떤 내용을 궁금해 하고, 어떤 업무를 처리하기 위해서 상담 채널로 들어오는지를 살펴봤다. 고객들의 상담/문의 내용을 분석해야 실제 고객들이 궁금해하고 필요한 정보를 제공할 수 있다고 판단했기 때문이다.
이런 작업은 실제로 고객 상담을 진행해온 고객서비스파트 직원들이 직접 참여했기에 신속하고 효율적으로 이뤄질 수 있었다. 카카오뱅크는 상담챗봇 도입을 준비하고 설계하는 단계에서부터 기획 담당자 외에 실제로 상담 경험이 있는 담당자들이 챗봇 콘텐츠와 기계 학습을 위한 발화 패턴 데이터 설계를 준비하는 데 참여했다. 타사들은 챗봇을 제작할 때 챗봇 전문 에이전시에 외주 제작 의뢰를 하거나 운영사를 따로 두는 경우가 많다. 하지만 카카오뱅크는 설계와 제작 및 운영의 A부터 Z까지 카카오뱅크 직원들, 특히 고객과의 접점 거리가 가장 가까운 고객서비스파트에서 직접 업무를 기획 운영했다. 이들이야말로 실제 고객 상담을 진행하면서 상담 진행 시 반드시 알아야 할 정책, 필수 안내사항을 숙지할 뿐 아니라 그동안 상담 이력 분석을 통해 다양한 노하우를 쌓은 고객 전문가였다.
고객서비스파트의 상담 전문가들이 상담챗봇의 기획/설계를 맡고, 그 외의 개발 관련 업무, 즉 챗봇 스킬(skill)6 개발은 기술기획파트에서, 고객센터 상담 시스템 개발 및 챗봇 배포는 코어뱅킹파트에서 담당한다. 서비스 오픈 준비부터 함께한 담당자들은 아이디어를 내기만 하면 서로 나서서 기술적으로 더 나은 방안을 찾을 정도로 챗봇 개발에 적극적이다. 이제는 서로의 눈빛만 봐도 무엇이 필요하고, 무엇을 해야 할지 알아차릴 정도로 팀워크가 돈독해졌다. 적극적이고 주도적인 업무 스타일은 카카오뱅크를 대표하는 조직문화 중 하나다.
4. 콘텐츠, 학습, QA의 삼박자 운영
카카오뱅크 상담챗봇은 오픈하자마자 성공적인 챗봇 도입 사례로 꼽히면서 여러 타사(금융 및 타 분야)에서 벤치마킹 회의를 요청받았다. 타사의 챗봇 담당자들에게 카카오뱅크 상담챗봇을 안내하고 운영방식을 소개하면서 가장 많이 받았던 질문은 “전담 인원이 몇 명인가요?”와 같은 운영 조직 구성과 챗봇 서비스 콘텐츠 보강 및 유지보수에 관한 내용이었다. 카카오뱅크 상담챗봇 운영을 담당하고 있는 고객서비스파트 챗봇팀은 현재 총 11명으로 구성돼 있다. 이들은 챗봇 오픈을 위한 고군분투의 시간들을 함께 이겨냈을 뿐 아니라 1년여간의 운영 업무 스킬과 내공을 장착하고 있는, 말 그대로 챗봇 전문가들이다.
상담챗봇은 콘텐츠, 학습, QA(품질보증, Quality Assurance) 3가지로 업무 역할을 나누어 운영하고 있다. 상담챗봇 오픈 후 안정화 기간을 거치면서 안정적인 운영 전략을 고민하게 됐는데, 그 결과로 콘텐츠 업무와 학습 업무 외에 추가로 챗봇 품질 향상 및 유지를 위한 QA 업무를 추가했다. 이 세 부문의 협업하에 카카오뱅크 상담챗봇은 오픈한 이래로 일주일에 1회 이상의 주기로 배포7 를 실시하고 있다. 이는 곧 챗봇이 매주 업데이트됨으로써 매주 알아들을 수 있는 고객 질문이 늘어나고, 답변 가능한 상담 범위가 확대되고 있다는 의미다.
콘텐츠 : 신규 상품/서비스 출시에 맞춰 챗봇 반영
콘텐츠 담당자들은 카카오뱅크의 신규 상품/서비스의 추가, 정책 변경 및 다양한 이벤트 진행 등 모든 변화를 챗봇에 반영하기 위한 콘텐츠를 설계하고 준비해 가이드에 맞게 챗봇 콘텐츠를 관리하는 역할을 맡는다. 고객 질문에 관해 챗봇 답변으로 나갈 수 있는 내용을 기획하고 구성하는 일을 한다.
특히 이들은 고객의 궁금증을 하나라도 놓치지 않기 위해 카카오뱅크의 업무 공유 사이트를 수시로 체크하면서 신규 콘텐츠를 업데이트하고 있다. 각 상품, 서비스 담당자로부터 챗봇 반영을 위한 업무 요청이 수시로 오기도 하지만 챗봇 담당자들은 타 부서에서 업무 요청이 오기 전에 기존에 제공되고 있는 내용에 어떤 내용을 추가하고 수정해야 할지 발 빠르게 대응한다. 오로지 고객에 대한 책임감으로 적극적으로 업무에 임하는 것이다. 상품 출시 같은 신규 콘텐츠의 경우 해당 업무의 현업 담당자와 사전 미팅과 설명회를 가짐으로써 내용을 파악하고 설계를 진행한다. 설계 후 안내되는 내용에 누락이 없는지, 추가될 내용이 없는지 담당자의 최종 확인 절차를 거쳐 준비가 완료된 콘텐츠는 봇 빌더에 등록해 직접 시나리오를 제작한다. 이자, 환율 등과 같이 카카오뱅크 내부 시스템과 연동하거나, 같은 의도지만 유형별로 케이스를 나눠 제공해야 하는 콘텐츠 같은 경우는 개발 부서와 협업해 카카오뱅크 자체 스킬 개발을 통해서 콘텐츠를 제작한다.
학습 : 주 단위 모니터링을 통한 폴백률 감소
학습 담당자들은 기존 콘텐츠와 신규로 추가된 콘텐츠의 내용을 충분히 파악한 후, 콘텐츠 블록을 문의 의도별로 구분하고, 의도별 블록에 예상되는 고객의 발화 패턴 데이터를 준비한다. 고객의 질문을 의도별로 분류해서 해당 답변을 학습하는 업무를 담당하는 것이다. 이때 주의할 점 중 하나는 신규로 콘텐츠를 추가할 때 기존에 분류된 발화를 재분류하는 학습이 필요한 콘텐츠인지, 신규로 생성해야 하는 콘텐츠인지 판단해야 한다는 점이다. 예컨대, 기존에는 없던 상품이었으나 고객의 질문이 많이 들어와서 당행에서는 제공하지 않는 서비스라는 답변으로 학습이 돼 있었던 경우에는 이후 신규 상품으로 출시되면 해당 상품 관련 답변 콘텐츠들이 신규로 제작이 된다. 이때 기존의 제공 불가 의도로 분류됐던 발화들이 신규로 제작된 답변으로 나갈 수 있도록 해당 상품 안내로 재분류해 학습을 진행해야 한다.
발화 유형을 준비하는 경우에는 실제 고객들이 입력한 발화들을 모니터링해 학습에 반영하고 있다. 특히 질문의 의도를 파악하지 못해 답변을 못하는 경우(폴백, fallback)는 전수 검수해 학습 가능한 부분은 불규칙 발화로, 학습은 불가하나 답변이 꼭 필요한 발화에 대해서는 규칙 발화로 등록함으로써 폴백률을 낮추고자 힘쓰고 있다. 질문의 의도를 잘못 파악해 다른 답변이 나가는 경우(오탐)에 대해서는 모니터링 담당자들의 제안 의견을 반영함으로써 정확한 답변이 나갈 수 있도록 학습과 연결하는 업무를 진행한다. 학습 담당자들은 주 단위로 진행되는 카카오 머신러닝 학습을 위해 카카오 기계학습 담당자와 커뮤니케이션하며 학습을 진행하고 있다.
콘텐츠와 학습은 각 구조와 내용에 대한 이해를 바탕으로 유기적인 업무 진행이 필요한 부분이다. 챗봇 오픈 준비기에는 챗봇 운영 업무 프로세스를 익히고 효율적인 콘텐츠를 제작하기 위해 담당자들이 수신, 여신, 카드 등 업무별로 나눠 콘텐츠와 학습을 모두 맡았다. 하지만 담당자별로 의도를 분류하는 기준이 다르거나 중복되는 경우가 발생했다. 그래서 오픈 이후 안정화 기간에는 콘텐츠 담당과 학습 담당으로 업무 성격별로 업무 분장을 해 전체 내용에 대한 콘텐츠 숙지 및 업무 스킬을 전문화하는 운영 전문화 단계를 거쳤다. 그리고 2018년 11월부터는 업무 역량을 강화를 위해 콘텐츠와 학습 담당 간 업무를 일정 기간 간격으로 순환 근무하는 체제로 운영함으로써 전 구성원이 운영 전반에 거친 업무를 경험할 수 있도록 하고 있다.
QA : 하루 단위 모니터링으로 역량 강화
마지막으로, QA는 타사 담당자들도 카카오뱅크 챗봇의 차별화된 운영 방식으로 꼽은 강점이다. QA 담당자들은 챗봇 상담 이력의 모니터링 및 평가, 제안을 담당하는 업무를 맡는다. 구체적으로 매일 전 일자 기준으로 챗봇 상담 이력을 샘플링해 고객의 질문 의도에 맞는 답변이 이뤄졌는지, 고객이 질문한 내용이 포함돼 답변이 이뤄졌는지, 답변된 내용이 제대로 안내됐는지, 답변 내용이 간결하고 가독성이 좋은지 등의 항목으로 평가한다. 폴백이나 오탐을 탐지해 챗봇의 오류를 매의 눈으로 잡아내는 역할을 하는 것이다. 또한 폴백, 오탐에 따른 콘텐츠 개선 의견 및 기계학습 반영 의견을 콘텐츠와 학습 담당자에게 제안하는 역할도 한다. QA 업무를 수행하려면 우선 챗봇의 전반적인 구조를 이해할 뿐 아니라 카카오뱅크의 업무도 잘 알고 있어야 한다. 이를 위해 QA 담당자들은 신규 상품이나 서비스가 업데이트 되는 경우, 수시로 교육에 참여하고 상담 가이드를 습득하면서 카카오뱅크의 변화에 관심을 기울이고 있다.
카카오뱅크는 상담 이력을 평가하기 위해 수십 차례 논의와 회의를 거쳐 객관적인 평가 항목을 만들어 적용하고 있다. 그럼에도 불구하고 이상하거나 의도가 모호한 질문이 들어올 수 있다. 이에 대해서 QA 담당자들은 서로 의견을 나눠보고 “내가 해당 고객이라면?”이라고 질문을 던짐으로써 고객 입장에서 다시 한번 생각하고 의견을 나누며 답변이 가능하도록 모니터링하고 있다.
예컨대, ‘ㅈㅅ’ ‘ㄱㅅ’ 같은 초성들은 처음 QA 평가를 시작할 때만 해도 의미 없다고 보고 평가를 제외했었다. 하지만 그 초성들이 고객들의 감사 표현이라는 것을 알게 되면서 이제는 많이 쓰는 초성들도 스몰톡으로 분류해 학습을 통해 적절하게 답변을 내보내고 있다. 실제로 고객들 중 일부는 챗봇의 반응에 신기해하며 반복해서 초성들을 입력하기도 한다.
마치며
2019년 6월 카카오뱅크 상담챗봇 1주년을 맞아 축하 댓글 이벤트를 진행했는데 약 1주일 새1000여 개에 달하는 댓글이 달렸다. 고객들 대부분은 늦은 밤이든, 새벽이든 24시간 상담이 가능한 부분을 가장 편리하게 느끼고 있다고 밝혔다. 챗봇 담당자들은 고객들의 이벤트성 축하 댓글뿐 아니라 평소 챗봇 대화창에서 감사 표현을 보면서 재미와 보람을 느끼고 있다. 어떤 고객은 챗봇이 정확한 답변을 주는 것이 신기했는지 ‘몇 살이야?’ ‘기계 맞나요?’라고 질문하기도 했다. ‘카카오뱅크 짱’ ‘대박’ ‘감사’ 같은 고객들의 챗봇 이용에 대한 만족도 반응을 지켜보면서 담당자들은 큰 보람을 느낀다.
고객의 소리에 귀 기울이며 변화하고 고도화해온 카카오뱅크 상담챗봇은 고객의 니즈를 반영하여 탄생한 ‘챗봇 계산기’ ‘체크카드 캐시백 혜택 가맹점 검색’ 기능 등과 같이 카카오뱅크 이용 고객들에게 유용한 기능 및 서비스를 지속적으로 발굴해 제공할 계획이다.
카카오와의 협업도 보다 긴밀해지고 있다. 2019년 12월 모바일 다음(Daum)과 카카오톡 #탭에서 카카오뱅크 관련 검색어를 입력하면 ‘카카오뱅크 고객센터 챗봇’을 통해 관련 정보를 제공하는 서비스가 오픈했다. 고객이 질문한 내용의 의도에 가장 정확도 높은 답변을 내주는 챗봇의 구조를 검색창에 활용한 것이다. 고객들은 검색창에서 수많은 다른 사용자의 후기나 광고 글에서 선별해 찾아봐야 하는 정보들 대신 카카오뱅크가 제공하는 최신의 콘텐츠로 편리하게 정보를 확인하고 안내받을 수 있다. 앞으로도 카카오와의 협업을 통해 고객이 편리하게 사용할 수 있는 기능과 서비스가 늘어날 것이다.
카카오뱅크의 상담챗봇 업무는 콘텐츠, 학습, QA 업무 간의 유기적인 상호 협업을 통해 구성원의 역량을 강화할 뿐 아니라 안정적인 선순환 구조를 이룸으로써 챗봇 품질을 향상시키고 있다. 이 같은 협업 구조는 앞으로 카카오뱅크가 다양한 신규 상품을 출시하고 서비스 제공 범위를 확대하는 데 든든한 기반이 될 것이다.
필자소개 최영미 카카오뱅크 매니저 ellia.choi@kakaobank.com
최영미 카카오뱅크 매니저(영어이름 : ellia)는 기획 전문가로 이동통신사 및 금융 분야에서 모바일 서비스 기획을 담당했다. 2018년 카카오뱅크에 합류한 후, 고객서비스파트에서 상담챗봇 서비스 기획 총괄 및 운영을 담당하고 있다.
정리=배미정 기자 soya1116@donga.com
인터넷 뱅크 카카오뱅크의 상담챗봇은 24시간 실시간으로 고객의 궁금증을 해결하면서 카카오뱅크의 고속 성장에 기여하고 있다. 카카오뱅크 상담챗봇의 운영 노하우는 다음과 같다.
1. 출범 이후 고객 상담을 진행해온 고객서비스파트 직원들이 챗봇 설계 단계에서부터 참여해 고객의 질문을 정확히 이해하고 최적의 답변을 제공하는 데 기여했다.
2. 카카오뱅크의 신규 상품/서비스 출시 일정에 맞춰 콘텐츠를 반영할 뿐 아니라 고객 니즈를 수시로 파악해 챗봇 콘텐츠를 업데이트하고 기능을 고도화하고 있다.
3. 매일 전일자 기준으로 챗봇 상담 이력을 모니터링함으로써 폴백과 오탐률을 최소화하고 챗봇 품질을 높이고 있다.
2019년 7월, 출범 2년 만에 고객 1000만 명을 돌파한 카카오뱅크가 진행한 선착순 연 5%(세전) 특판 예금과 26주 적금 이자 2배 이벤트는 금리 한 푼이 목마른 고객들의 뜨거운 관심을 받았다. 이벤트 개시 일을 앞두고 역대 최대 규모로 증가한 고객 문의를 무사히 소화해낸 주역은 다름 아닌 챗봇(Chatbot)1 이었다. 특히 특판 예금 이벤트가 시작된 22일에는 챗봇이 문의량의 50% 가까이 소화했다. 상담 고객의 절반 가까이가 상담원 도움 없이 챗봇으로 궁금증을 해소한 것이다.
닫기카카오뱅크의 상담챗봇은 모바일 채팅으로 고객과 24시간 실시간으로 간편하게 소통하면서 인터넷 은행의 강점을 발휘하고 있다. 특히 신규 상품이나 서비스가 출시돼 고객 문의가 급증할 때마다 존재감이 커진다. 오프라인 지점이 없는 카카오뱅크는 상담원 전화와 일대일 채팅만으로는 고객 응대에 역부족임을 일찍이 깨닫고 출범 초부터 챗봇 개발과 업그레이드에 지속 투자해왔다. 그 결과 2019년 6월 기준, 카카오뱅크는 온라인 고객 상담의 35%를 챗봇으로 해결하고 있다. 일반 은행에서 온라인 고객 응대의 90% 이상이 콜이고 챗봇 비중이 10%가 채 안 되는 것과 대조적이다. 물론 카카오뱅크 고객의 연령대가 다른 은행보다 낮은 영향도 없지 않겠다. 하지만 카카오뱅크는 연령대와 상관없이 고객이 선호하는 온라인 상담 채널을 골라서 이용할 수 있도록 최적화했다. 상담원과 통화하고 싶은 고객은 콜, 통화보다는 채팅을 선호하는 고객은 상담원과 톡 상담, 궁금한 사항을 체계적으로 정리하면서 대화하길 원하는 고객은 일대일 상담을 선택하면 된다. 그중에서도 많은 고객이 24시간 언제든지 실시간으로 간단한 문의 사항을 바로 해결할 수 있다는 편의성 때문에 챗봇을 이용하고 있다.
카카오뱅크의 상담챗봇은 2018년 6월 서비스를 오픈해 지난 1년 반 동안의 꾸준한 기능 고도화를 거치면서 현재 안정적인 고객 응대 채널로 자리 잡았다. 카카오뱅크 상담챗봇의 개발 과정과 운영 노하우를 정리했다.
1. 고객 접근성을 최우선으로
2017년 7월27일 카카오뱅크의 영업 개시 첫날, 무려 24만 명의 고객이 계좌를 개설했다. 관심과 인기만큼이나 고객 문의 또한 빗발쳤다. 고객센터 오픈 후 2시간 만에 고객센터 이용 건수가 1만 건을 넘어섰고 이틀 만에 10만 건을 돌파, 41일 만에 100만 건의 고객 문의가 쏟아졌다. 최근 카카오뱅크 고객센터에서 처리되는 고객 문의량이 하루 평균 약 1만5000건 정도임을 감안하면 오픈 초반의 문의 규모는 상상조차 힘든 수준이었다. 제2의 고객센터를 오픈하기 전까지만 해도 카카오뱅크 전 직원이 매달려 고객 문의를 처리해야 할 만큼 고객 문의에 대응하는 것이 전 직원의 가장 큰 숙제였다. 이후에도 모임 통장 등 신규 상품이 뒤따라 출시되면서 가입자가 증가했을 뿐 아니라 고객센터의 이용 건수도 빠른 속도로 증가했다.
오픈 당시 고객은 번호 ‘1599-3333’으로 대표되는 전화 상담, 상담 직원이 카카오톡 채팅으로 상담하는 톡 상담, 앱 또는 홈페이지에서 제공되는 1대1 문의 등 3가지 채널을 이용해 상담할 수 있었다. 하지만 가입자와 고객 문의 증가 속도를 따라가기 위해 상담 직원 채용을 늘리는 것도 한계에 봉착했다. 인터넷 뱅크의 강점을 살리면서 고객 문의에 안정적으로 대응하고 상담의 품질을 높일 수 있는 최적의 대안이 바로 ‘챗봇’이었다. 스마트폰 사용자, 특히 밀레니얼세대들은 음성 전화보다 메시지 채팅을 더욱 선호한다는 조사 결과들은 익히 잘 알려져 있다. 고객이 모바일 채팅을 통해 24시간 365일 궁금증을 해결할 수 있다면 얼마나 좋을까? 그 최선의 방법으로 바로 상담용 ‘챗봇’의 도입을 검토했다.
기존 상담 채널에 챗봇을 추가하기로 결정한 다음의 고민은 고객에게 챗봇을 제공하는 방식이었다. 시중 은행들처럼 모바일 뱅킹용 앱 안에 챗봇을 넣어 제공하는 방식과 챗봇 상담을 위한 별도의 앱을 제공하는 방식이 있었다. ‘탈공인인증서’ ‘비밀번호 로그인’ 등 기존 은행 고객의 불편함을 없애는 서비스 혁신을 지향하는 카카오뱅크는 상담챗봇 또한 고객 입장에서 가장 편리한 방식, 고객들이 별도의 가이드가 없어도 어려움 없이 챗봇을 쉽게 이용할 수 있는 방식이 무엇인지를 고민했다. 모든 상담 채널의 최우선 목표는 고객의 문의 사항을 최대한 신속하고 확실하게 해결하는 것이다. 카카오뱅크 앱과 함께 썼을 때 가장 편리한 앱, 고객이 가장 빠르고 신속하게 채팅할 수 있는 SNS 앱이 바로 ‘카카오톡’이다. 이미 카카오톡 채널(구. 플러스 친구) ‘카카오뱅크 고객센터’를 통해 상담원이 채팅 상담을 제공하고 있었다. 챗봇이라는 또 다른 상담 채널을 카카오톡을 통해 오픈하면 추가로 안내 및 홍보할 필요 없이 기존 계정에서 고객이 톡 상담과 챗봇을 선택적으로 이용할 수 있다는 이점도 있었다.
고객 입장에서도 카카오톡은 이미 익숙하게 사용하고 있는 메신저 플랫폼이기 때문에 친구와 1대1 대화를 나누듯 혹은 기존 톡 상담을 통해서 상담원과 대화 나누듯이 챗봇(기계)과도 질문과 답변을 주고받을 수 있다는 점에서 편리했다. 또 기존 채팅 상담을 이용할 때 상담원 연결부터 상담원의 답변을 받기까지 기다려야 하는 대기시간 동안 챗봇이 고객들을 먼저 대응한다면 톡 상담으로 들어오는 문의량을 자연스럽게 챗봇으로 분산할 수 있다는 이점도 있다. 고객센터 입장에서도 기본적인 안내 및 단순 문의는 챗봇이 대응하고, 톡 상담을 진행하는 상담원은 좀 더 자세하고 개인화된 상담에 집중할 수 있어서 상담 품질을 향상하는 데 유리했다. 그래서 카카오뱅크는 챗봇을 카카오톡으로 제공하기로 결정했다.
때마침 카카오는 카카오톡 챗봇 제작 플랫폼 ‘i오픈빌더’의 비공개 베타 테스트(Closed Beta Test)2 를 위해 인하우스(In-house) 챗봇을 제작하면서 서비스를 다듬고 있었다. 카카오 입장에서도 카카오뱅크가 요청하는 제안으로 봇 빌더 기능을 개선해 오픈빌더의 완성도를 높일 수 있을 뿐 아니라 금융 분야 챗봇의 첫 레퍼런스를 가져갈 수 있을 수 있었다. 상담챗봇은 카카오와 카카오뱅크 양사가 서로 윈윈할 수 있는 기회였다. 그렇게 카카오뱅크와 카카오는 양사의 니즈와 기술 협력이 낳을 시너지를 기대하며 협업에 착수했다.
2. 카카오와의 협업: 봇 빌더와 AI 기술의 결합
다음으로 고민한 것은 챗봇이 고객의 입장에서 고객의 질문을 잘 이해하는 방법을 찾는 것이었다. 훌륭한 답변을 준비했음에도 질문을 제대로 이해하지 못해 제 기능을 하지 못하는 챗봇의 사례를 수없이 봐왔기 때문이다.
챗봇에서 답변으로 제공되는 콘텐츠 단위를 블록(Block)이라고 한다. 챗봇 콘텐츠 제작 담당자는 답변 의도(Intents)를 정의하고 각 의도를 가진 시나리오별 블록을 설계해 콘텐츠를 구성한다. 챗봇에서 정확하고 자연스러운 답변이 나가려면, 고객의 예상 발화3 패턴을 다양하게 예측해 준비하고, 이 발화 패턴을 의도별 블록과 매칭하는 작업이 필요하다. 카카오뱅크도 상담챗봇을 제작하기 위해 봇 빌더4 에 블록별로 예상되는 고객의 질문 발화 패턴들을 생성하면서 엔티티(Entity)5 를 정의하는 작업을 진행했다. 현재 대표 엔트리 기준으로 약 140여 개의 카카오뱅크 전용 엔티티가 등록돼 있으며 엔티티와 동의어로 등록된 용어는 600여 개에 달한다. 카카오뱅크 상담챗봇만의 엔티티를 정의하고 예상 고객 발화 패턴(말뭉치)을 입력해 넣는 일은 많은 시간을 투입해야 하는, 가장 많은 노력을 들인 힘든 과정이었다.
특히 카카오뱅크만의 엔티티를 체계적으로 정의하는 것이 중요했다. 블록 설계와 더불어 발화 패턴 및 엔티티를 잘 정의하고 분류하는 것은 챗봇의 품질을 결정하는 핵심 역량이다. 봇 빌더에서 제공하는 기본 엔티티만 사용했을 때는 고객의 질문을 챗봇이 알아듣는 데 한계가 있기 때문이다. 처음엔 발화 패턴을 많이 준비할수록 답변의 정확도가 높아질 것으로 생각하고 담당자들이 무려 19만 개에 달하는 발화 패턴을 봇 빌더에 등록하고 테스트를 했다. 엄청난 양의 패턴에도 불구하고 챗봇이 의도를 잘못 파악하거나 엉뚱한 대답을 하는 경우 같이 예기치 않은 문제가 발생했다. 특히 사용자의 발화 의도나 표현이 중의적일 경우에는 담당자의 판단에 따라 발화 의도를 등록하다 보니 블록(의도)을 잘못 분류하거나 엉뚱한 케이스로 분류되는 한계가 나타났다.
금융 서비스의 특성상 일반적인 대화와 다른 의미를 가지거나 카카오뱅크만의 용어, 상담/고객센터에서만 사용하는 용어 등을 포함하는 경우에는 질문 의도를 파악하기 쉽지 않아서 일반적인 챗봇과 동일한 방식으로 대응하기가 쉽지 않았다. 이 같은 문제를 해결하기 위해 카카오의 봇빌더가 아닌 자연어처리(NLU, Natural Language Understanding) 담당 조직(현 카카오엔터프라이즈 AI조직)과의 협업을 진행했다. 카카오 NLU 조직에서 개발한 의도분류모델 머신러닝(ML) 기술을 도입함으로써 설계된 발화 유형에 없는 질문이 입력되더라도 문장의 유사성에 기반한 의도 분류가 가능해졌다. 결과적으로 봇 빌더상에 3만 개 발화 패턴만 입력해도 자연스러운 챗봇 대화가 이뤄질 수 있게 됐다. 카카오의 인공지능(AI) 기술이 집약된 ‘카카오i 오픈빌더’ 봇 제작 플랫폼에 카카오의 자연어처리 기술을 더한 뒤 카카오뱅크의 데이터를 얹음으로써 비로소 상담챗봇이 완성됐다. 기본적인 발화 패턴을 입력하는 사람의 노력과 머신러닝하는 기계의 판단이 어우러지면서 어떤 챗봇보다 고객 목소리를 잘 알아듣는 똑똑한 카카오뱅크 상담챗봇이 탄생하게 된 것이다.
3. 고객 상담 직원들이 직접 답변 설계
챗봇은 고객의 질문을 잘 알아듣는 동시에 고객의 질문에 적합한 대답, 즉 고객이 원하는 해결책을 제공해야 한다. 그러려면 블록에 담을 콘텐츠를 설계할 때부터 카카오뱅크 상품 및 정책뿐 아니라 전반적인 금융 지식에 대한 이해가 바탕이 돼야 한다. 더 나아가 고객의 질문이 어떤 내용으로 답변돼야 할지를 파악해서 고객에게 필수적으로 안내돼야 할 내용을, 고객이 이해하기 쉽게 구성할 수 있어야 한다.
우선, 챗봇에서 제공할 상담 범위, 즉 업무를 정하기 위해 카카오뱅크 오픈 이후 빈번하게 들어온 고객 문의 중 챗봇을 통해 해결 가능한 업무를 정의해야 했다. 챗봇이 제공되는 카카오톡만으로는 카카오뱅크 고객 정보를 알 수 없기 때문에 복잡한 고객 인증이 필요하거나 상담사의 판단이 필요한 업무는 챗봇 상담만으로 불가능하다. 이를 감안해 챗봇의 업무 범위 기준은 상담사의 단순 안내 혹은 공지성 상담의 리소스 부담을 덜어줄 수 있는 ‘안내성 업무’로 제한했다. 그리고 기존 온라인 상담 채널을 통해 자주 들어온 업무의 문의 유형을 정리했다. 과연 고객들이 어떤 내용을 궁금해 하고, 어떤 업무를 처리하기 위해서 상담 채널로 들어오는지를 살펴봤다. 고객들의 상담/문의 내용을 분석해야 실제 고객들이 궁금해하고 필요한 정보를 제공할 수 있다고 판단했기 때문이다.
이런 작업은 실제로 고객 상담을 진행해온 고객서비스파트 직원들이 직접 참여했기에 신속하고 효율적으로 이뤄질 수 있었다. 카카오뱅크는 상담챗봇 도입을 준비하고 설계하는 단계에서부터 기획 담당자 외에 실제로 상담 경험이 있는 담당자들이 챗봇 콘텐츠와 기계 학습을 위한 발화 패턴 데이터 설계를 준비하는 데 참여했다. 타사들은 챗봇을 제작할 때 챗봇 전문 에이전시에 외주 제작 의뢰를 하거나 운영사를 따로 두는 경우가 많다. 하지만 카카오뱅크는 설계와 제작 및 운영의 A부터 Z까지 카카오뱅크 직원들, 특히 고객과의 접점 거리가 가장 가까운 고객서비스파트에서 직접 업무를 기획 운영했다. 이들이야말로 실제 고객 상담을 진행하면서 상담 진행 시 반드시 알아야 할 정책, 필수 안내사항을 숙지할 뿐 아니라 그동안 상담 이력 분석을 통해 다양한 노하우를 쌓은 고객 전문가였다.
고객서비스파트의 상담 전문가들이 상담챗봇의 기획/설계를 맡고, 그 외의 개발 관련 업무, 즉 챗봇 스킬(skill)6 개발은 기술기획파트에서, 고객센터 상담 시스템 개발 및 챗봇 배포는 코어뱅킹파트에서 담당한다. 서비스 오픈 준비부터 함께한 담당자들은 아이디어를 내기만 하면 서로 나서서 기술적으로 더 나은 방안을 찾을 정도로 챗봇 개발에 적극적이다. 이제는 서로의 눈빛만 봐도 무엇이 필요하고, 무엇을 해야 할지 알아차릴 정도로 팀워크가 돈독해졌다. 적극적이고 주도적인 업무 스타일은 카카오뱅크를 대표하는 조직문화 중 하나다.
4. 콘텐츠, 학습, QA의 삼박자 운영
카카오뱅크 상담챗봇은 오픈하자마자 성공적인 챗봇 도입 사례로 꼽히면서 여러 타사(금융 및 타 분야)에서 벤치마킹 회의를 요청받았다. 타사의 챗봇 담당자들에게 카카오뱅크 상담챗봇을 안내하고 운영방식을 소개하면서 가장 많이 받았던 질문은 “전담 인원이 몇 명인가요?”와 같은 운영 조직 구성과 챗봇 서비스 콘텐츠 보강 및 유지보수에 관한 내용이었다. 카카오뱅크 상담챗봇 운영을 담당하고 있는 고객서비스파트 챗봇팀은 현재 총 11명으로 구성돼 있다. 이들은 챗봇 오픈을 위한 고군분투의 시간들을 함께 이겨냈을 뿐 아니라 1년여간의 운영 업무 스킬과 내공을 장착하고 있는, 말 그대로 챗봇 전문가들이다.
상담챗봇은 콘텐츠, 학습, QA(품질보증, Quality Assurance) 3가지로 업무 역할을 나누어 운영하고 있다. 상담챗봇 오픈 후 안정화 기간을 거치면서 안정적인 운영 전략을 고민하게 됐는데, 그 결과로 콘텐츠 업무와 학습 업무 외에 추가로 챗봇 품질 향상 및 유지를 위한 QA 업무를 추가했다. 이 세 부문의 협업하에 카카오뱅크 상담챗봇은 오픈한 이래로 일주일에 1회 이상의 주기로 배포7 를 실시하고 있다. 이는 곧 챗봇이 매주 업데이트됨으로써 매주 알아들을 수 있는 고객 질문이 늘어나고, 답변 가능한 상담 범위가 확대되고 있다는 의미다.
콘텐츠 : 신규 상품/서비스 출시에 맞춰 챗봇 반영
콘텐츠 담당자들은 카카오뱅크의 신규 상품/서비스의 추가, 정책 변경 및 다양한 이벤트 진행 등 모든 변화를 챗봇에 반영하기 위한 콘텐츠를 설계하고 준비해 가이드에 맞게 챗봇 콘텐츠를 관리하는 역할을 맡는다. 고객 질문에 관해 챗봇 답변으로 나갈 수 있는 내용을 기획하고 구성하는 일을 한다.
특히 이들은 고객의 궁금증을 하나라도 놓치지 않기 위해 카카오뱅크의 업무 공유 사이트를 수시로 체크하면서 신규 콘텐츠를 업데이트하고 있다. 각 상품, 서비스 담당자로부터 챗봇 반영을 위한 업무 요청이 수시로 오기도 하지만 챗봇 담당자들은 타 부서에서 업무 요청이 오기 전에 기존에 제공되고 있는 내용에 어떤 내용을 추가하고 수정해야 할지 발 빠르게 대응한다. 오로지 고객에 대한 책임감으로 적극적으로 업무에 임하는 것이다. 상품 출시 같은 신규 콘텐츠의 경우 해당 업무의 현업 담당자와 사전 미팅과 설명회를 가짐으로써 내용을 파악하고 설계를 진행한다. 설계 후 안내되는 내용에 누락이 없는지, 추가될 내용이 없는지 담당자의 최종 확인 절차를 거쳐 준비가 완료된 콘텐츠는 봇 빌더에 등록해 직접 시나리오를 제작한다. 이자, 환율 등과 같이 카카오뱅크 내부 시스템과 연동하거나, 같은 의도지만 유형별로 케이스를 나눠 제공해야 하는 콘텐츠 같은 경우는 개발 부서와 협업해 카카오뱅크 자체 스킬 개발을 통해서 콘텐츠를 제작한다.
학습 : 주 단위 모니터링을 통한 폴백률 감소
학습 담당자들은 기존 콘텐츠와 신규로 추가된 콘텐츠의 내용을 충분히 파악한 후, 콘텐츠 블록을 문의 의도별로 구분하고, 의도별 블록에 예상되는 고객의 발화 패턴 데이터를 준비한다. 고객의 질문을 의도별로 분류해서 해당 답변을 학습하는 업무를 담당하는 것이다. 이때 주의할 점 중 하나는 신규로 콘텐츠를 추가할 때 기존에 분류된 발화를 재분류하는 학습이 필요한 콘텐츠인지, 신규로 생성해야 하는 콘텐츠인지 판단해야 한다는 점이다. 예컨대, 기존에는 없던 상품이었으나 고객의 질문이 많이 들어와서 당행에서는 제공하지 않는 서비스라는 답변으로 학습이 돼 있었던 경우에는 이후 신규 상품으로 출시되면 해당 상품 관련 답변 콘텐츠들이 신규로 제작이 된다. 이때 기존의 제공 불가 의도로 분류됐던 발화들이 신규로 제작된 답변으로 나갈 수 있도록 해당 상품 안내로 재분류해 학습을 진행해야 한다.
발화 유형을 준비하는 경우에는 실제 고객들이 입력한 발화들을 모니터링해 학습에 반영하고 있다. 특히 질문의 의도를 파악하지 못해 답변을 못하는 경우(폴백, fallback)는 전수 검수해 학습 가능한 부분은 불규칙 발화로, 학습은 불가하나 답변이 꼭 필요한 발화에 대해서는 규칙 발화로 등록함으로써 폴백률을 낮추고자 힘쓰고 있다. 질문의 의도를 잘못 파악해 다른 답변이 나가는 경우(오탐)에 대해서는 모니터링 담당자들의 제안 의견을 반영함으로써 정확한 답변이 나갈 수 있도록 학습과 연결하는 업무를 진행한다. 학습 담당자들은 주 단위로 진행되는 카카오 머신러닝 학습을 위해 카카오 기계학습 담당자와 커뮤니케이션하며 학습을 진행하고 있다.
콘텐츠와 학습은 각 구조와 내용에 대한 이해를 바탕으로 유기적인 업무 진행이 필요한 부분이다. 챗봇 오픈 준비기에는 챗봇 운영 업무 프로세스를 익히고 효율적인 콘텐츠를 제작하기 위해 담당자들이 수신, 여신, 카드 등 업무별로 나눠 콘텐츠와 학습을 모두 맡았다. 하지만 담당자별로 의도를 분류하는 기준이 다르거나 중복되는 경우가 발생했다. 그래서 오픈 이후 안정화 기간에는 콘텐츠 담당과 학습 담당으로 업무 성격별로 업무 분장을 해 전체 내용에 대한 콘텐츠 숙지 및 업무 스킬을 전문화하는 운영 전문화 단계를 거쳤다. 그리고 2018년 11월부터는 업무 역량을 강화를 위해 콘텐츠와 학습 담당 간 업무를 일정 기간 간격으로 순환 근무하는 체제로 운영함으로써 전 구성원이 운영 전반에 거친 업무를 경험할 수 있도록 하고 있다.
QA : 하루 단위 모니터링으로 역량 강화
마지막으로, QA는 타사 담당자들도 카카오뱅크 챗봇의 차별화된 운영 방식으로 꼽은 강점이다. QA 담당자들은 챗봇 상담 이력의 모니터링 및 평가, 제안을 담당하는 업무를 맡는다. 구체적으로 매일 전 일자 기준으로 챗봇 상담 이력을 샘플링해 고객의 질문 의도에 맞는 답변이 이뤄졌는지, 고객이 질문한 내용이 포함돼 답변이 이뤄졌는지, 답변된 내용이 제대로 안내됐는지, 답변 내용이 간결하고 가독성이 좋은지 등의 항목으로 평가한다. 폴백이나 오탐을 탐지해 챗봇의 오류를 매의 눈으로 잡아내는 역할을 하는 것이다. 또한 폴백, 오탐에 따른 콘텐츠 개선 의견 및 기계학습 반영 의견을 콘텐츠와 학습 담당자에게 제안하는 역할도 한다. QA 업무를 수행하려면 우선 챗봇의 전반적인 구조를 이해할 뿐 아니라 카카오뱅크의 업무도 잘 알고 있어야 한다. 이를 위해 QA 담당자들은 신규 상품이나 서비스가 업데이트 되는 경우, 수시로 교육에 참여하고 상담 가이드를 습득하면서 카카오뱅크의 변화에 관심을 기울이고 있다.
카카오뱅크는 상담 이력을 평가하기 위해 수십 차례 논의와 회의를 거쳐 객관적인 평가 항목을 만들어 적용하고 있다. 그럼에도 불구하고 이상하거나 의도가 모호한 질문이 들어올 수 있다. 이에 대해서 QA 담당자들은 서로 의견을 나눠보고 “내가 해당 고객이라면?”이라고 질문을 던짐으로써 고객 입장에서 다시 한번 생각하고 의견을 나누며 답변이 가능하도록 모니터링하고 있다.
예컨대, ‘ㅈㅅ’ ‘ㄱㅅ’ 같은 초성들은 처음 QA 평가를 시작할 때만 해도 의미 없다고 보고 평가를 제외했었다. 하지만 그 초성들이 고객들의 감사 표현이라는 것을 알게 되면서 이제는 많이 쓰는 초성들도 스몰톡으로 분류해 학습을 통해 적절하게 답변을 내보내고 있다. 실제로 고객들 중 일부는 챗봇의 반응에 신기해하며 반복해서 초성들을 입력하기도 한다.
마치며
2019년 6월 카카오뱅크 상담챗봇 1주년을 맞아 축하 댓글 이벤트를 진행했는데 약 1주일 새1000여 개에 달하는 댓글이 달렸다. 고객들 대부분은 늦은 밤이든, 새벽이든 24시간 상담이 가능한 부분을 가장 편리하게 느끼고 있다고 밝혔다. 챗봇 담당자들은 고객들의 이벤트성 축하 댓글뿐 아니라 평소 챗봇 대화창에서 감사 표현을 보면서 재미와 보람을 느끼고 있다. 어떤 고객은 챗봇이 정확한 답변을 주는 것이 신기했는지 ‘몇 살이야?’ ‘기계 맞나요?’라고 질문하기도 했다. ‘카카오뱅크 짱’ ‘대박’ ‘감사’ 같은 고객들의 챗봇 이용에 대한 만족도 반응을 지켜보면서 담당자들은 큰 보람을 느낀다.
고객의 소리에 귀 기울이며 변화하고 고도화해온 카카오뱅크 상담챗봇은 고객의 니즈를 반영하여 탄생한 ‘챗봇 계산기’ ‘체크카드 캐시백 혜택 가맹점 검색’ 기능 등과 같이 카카오뱅크 이용 고객들에게 유용한 기능 및 서비스를 지속적으로 발굴해 제공할 계획이다.
카카오와의 협업도 보다 긴밀해지고 있다. 2019년 12월 모바일 다음(Daum)과 카카오톡 #탭에서 카카오뱅크 관련 검색어를 입력하면 ‘카카오뱅크 고객센터 챗봇’을 통해 관련 정보를 제공하는 서비스가 오픈했다. 고객이 질문한 내용의 의도에 가장 정확도 높은 답변을 내주는 챗봇의 구조를 검색창에 활용한 것이다. 고객들은 검색창에서 수많은 다른 사용자의 후기나 광고 글에서 선별해 찾아봐야 하는 정보들 대신 카카오뱅크가 제공하는 최신의 콘텐츠로 편리하게 정보를 확인하고 안내받을 수 있다. 앞으로도 카카오와의 협업을 통해 고객이 편리하게 사용할 수 있는 기능과 서비스가 늘어날 것이다.
카카오뱅크의 상담챗봇 업무는 콘텐츠, 학습, QA 업무 간의 유기적인 상호 협업을 통해 구성원의 역량을 강화할 뿐 아니라 안정적인 선순환 구조를 이룸으로써 챗봇 품질을 향상시키고 있다. 이 같은 협업 구조는 앞으로 카카오뱅크가 다양한 신규 상품을 출시하고 서비스 제공 범위를 확대하는 데 든든한 기반이 될 것이다.
| DBR이 여러분의 기고를 기다립니다 DBR은 독자 여러분들이 비즈니스를 운영하면서 터득한 노하우를 케이스 스터디 형태로 직접 기고할 수 있는 ‘DBR 브리프 케이스(DBR Brief-Case)’ 코너를 마련했습니다. 실제 사업을 운영하는 비즈니스 실무자, 전체 전략을 수립/진두지휘하고 있는 고위 임원, 컨설팅·자문 등을 통해 해당 사업을 면밀히 지켜봐 온 학계 및 컨설팅 관계자 등 전문 영역에서 다양한 비즈니스를 성공시키기 위해 애쓰는 비즈니스 리더 여러분의 기고를 환영합니다. 원고는 dbr@donga.com 으로 보내주시면 심사 및 편집진의 윤문을 거쳐 DBR에 게재됩니다. |
필자소개 최영미 카카오뱅크 매니저 ellia.choi@kakaobank.com
최영미 카카오뱅크 매니저(영어이름 : ellia)는 기획 전문가로 이동통신사 및 금융 분야에서 모바일 서비스 기획을 담당했다. 2018년 카카오뱅크에 합류한 후, 고객서비스파트에서 상담챗봇 서비스 기획 총괄 및 운영을 담당하고 있다.
정리=배미정 기자 soya1116@donga.com
-
배미정 | 동아일보 기자
soya1116@donga.com
이 필자의 다른 기사 보기
인기기사
