Behavioral Economics

AI에 과잉 의존하면 AI+인간 팀워크 망친다

326호 (2021년 08월 Issue 1)

014


Based on “To Trust or to Think: Cognitive Forcing Functions Can Reduce Overreliance on AI in AI-assisted Decision-making”(2021) by Z. Buçinca, M. Malaya, and K. Gajos in Proceedings of the ACM on Human-Computer Interaction, pp.1-21

무엇을, 왜 연구했나?

대출 승인이나 질병 진단 같은 일상생활에서부터 정치, 경제, 사회 시스템에 이르기까지 인공지능(AI, Artificial Intelligence)과 인간의 협업은 광범위하게, 급속도로 발전하고 있다. AI의 탁월한 정보 처리 및 분석 능력과 인간의 직관적 통찰력으로 무장한 ‘인간+AI’팀이 인류가 당면한 각종 위기의 해결사로 나설 것이라는 믿음도 크다. 그러나 최근 일련의 연구에 따르면 인간과 AI가 함께 일하는 팀의 성과가 홀로 일하는 인간은 능가하지만 AI의 단독 성과에는 미치는 못했다. 주요 원인으로 편향과 휴리스틱의 영향으로 발생하는 일반적 인지 오류와 더불어 AI의 판단에 과도하게 의존하는 성향이 지목됐다. 특히 AI에 대한 과잉 의존 현상은 AI가 심각한 선택 오류를 범할 때도 지속됐다. 이는 과잉 의존이 인간 스스로 AI의 오류를 수정해 더 나은 선택을 할 수 있는 기회를 박탈할 수 있음을 의미한다.

AI가 내린 최종 의사결정뿐만 아니라 그 이유에 관한 설명을 제공하는 AI 접근법 ‘설명 가능한 인공지능(XAI, Explainable AI)’은 이러한 AI 과잉 의존 부작용을 해결하기 위해 고안됐다. XAI는 AI가 어떤 근거로 특정 선택을 했는지 부연 설명을 함으로써 인간이 AI의 선택 오류 유무를 판단할 수 있도록 돕는다. 그러나 AI에 대한 인간의 과잉 의존을 줄이고 최적 선택의 가능성을 높이려면 AI 선택에 관한 설명 자체에 초점을 맞추는 XAI만으로는 부족하다. 주어진 설명에 주의를 기울이고 그 의미를 정확히 이해하려는 인지적 노력, 즉 ‘인지 동기(Cognitive Motivation)’ 또한 필요하다. 인지 동기를 높여 과잉 의존이 의사결정에 미치는 부정적 영향을 줄이는 가장 효과적인 방법 중 하나가 ‘인지강제기능(Cognitive Forcing Functions)’이다. 인지강제기능은 휴리스틱을 활용한 추론을 의도적으로 줄여 인간의 분석적 사고 능력을 함양시킨다. 하버드대 연구팀은 XAI 설계에 인지강제기능을 추가해 AI에 대한 인간의 과잉 의존을 줄일 수 있는 구체적 방법을 모색하고 그 효과를 검증했다.

019


무엇을 발견했나?

연구팀은 아마존의 크라우드소싱 플랫폼인 ‘아마존 메커니컬 터크(Amazon Mechanical Turk)’에서 미국 거주 성인 199명을 대상으로 온라인 실험을 실시했다. 참가자는 요리 사진에 담긴 여러 재료를 보고 탄수화물 함량이 가장 높은 재료를 탄수화물 함량이 낮으면서 맛은 비슷한 재료로 대체하는 과업을 수행했다. 각 요리 사진에는 다른 재료보다 훨씬 많은 탄수화물을 함유한 재료가 의도적으로 포함됐는데, 참가자는 이를 보고 두 가지 선택을 순차적으로 해야 했다. 첫째, 먼저 요리에서 제거할 재료를 풀다운 메뉴에서 선택한다.(1차 선택) 그다음 제거된 재료를 대신할 새로운 재료를 또 다른 풀다운 메뉴에서 선택한다.(2차 선택)

이와 같은 선택 실험의 조건은 크게 세 가지로 나뉘었다. 첫째 조건은 AI의 지원이 없는 조건이다. 참가자는 요리 이미지와 풀다운 메뉴만 보고 제거하거나 대체할 재료를 스스로 선택해야 한다. 두 번째는 XAI 조건으로 AI가 대체할 재료와 대체될 재료를 추천하고 이에 대한 부연 설명을 제공한다. 전형적인 인간과 AI의 단순한 협업 설계이다. 세 번째는 XAI 조건에 인지강제기능을 추가한 조건이다. 인지강제기능은 참가자의 인지적 노력을 강제로 불러일으켜 AI 의존도를 낮추는 역할을 한다. AI의 추천과 그에 대한 설명이 사전에 주어지지 않는다. 참가자가 AI에 도움을 요청하거나 참가자 스스로 의사결정을 먼저 내린 후에 AI의 추천이 추가돼 의사결정을 업데이트하도록 설계됐다.

각 조건하에서 참가자의 성과는 탄수화물 함량이 가장 많은 재료를 탄수화물이 적으면서도 맛의 유사성이 높은 재료로 대체하는 능력(최적 선택), 탄수화물 함량이 가장 많은 재료를 정확히 제거하는 능력(1차 선택 정확성), 총 탄수화물 함량 대비 1차와 2차 선택을 통해 감소된 탄수화물의 비율(탄수화물 감소율), 대체할 재료와 대체된 재료 간 맛의 유사성(풍미 유사성)으로 평가했다. AI 선택 오류 유무를 구분하지 않고 실험 결과를 분석했을 때, 인간+AI팀은 인상적인 성과 개선 효과를 보였다. XAI와 인지강제기능 조건 참가자의 최적 선택, 1차 선택 정확성, 탄수화물 감소율, 풍미 유사성은 AI 지원이 없는 인간 단독 조건 참가자에 비해 1.5∼2배가량 앞섰다.

그러나 AI가 잘못된 재료를 추천하는 등 선택 오류를 범한 경우만을 분석했을 때는 사뭇 다른 결과가 도출됐다. 인지강제기능의 AI 과잉 의존 감소 효과 덕분에 인지강제기능 조건 참가자의 최적 선택과 1차 선택 정확성은 XAI 조건 참가자보다 3배 이상 우수했지만 인간 단독 조건과 비교했을 때는 그 절반에 그쳤다. 이는 인지강제기능이 AI 과잉 의존을 약화시키긴 하지만 완전히 제거하지 못했음을 의미한다. 따라서 앞서 관찰된 인간+AI팀의 인상적인 성과 개선 효과는 대부분 AI 선택 오류가 없는 경우에 발생했다고 판단된다. 과잉 의존과 함께 눈길을 끈 현상은 참가자들이 AI와 함께 일하는 것을 선호했고 AI와 함께 일할 때 정신적 부담이 적고 과업 수행이 원활했다고 느꼈다는 점이다. AI에 대한 우호적 감정이 과잉 의존을 부추겨 인간+AI팀의 성과 개선을 저해하는 또 다른 요인임을 암시한다.

020


어떤 교훈을 주나?

바야흐로 인간과 AI의 협업 시대다. AI와 함께 상품이나 서비스의 시장 조사를 한다. 더 나아가 회계 정보를 정리, 관리, 감사하고, 금융 거래와 투자 의사결정을 하기도 한다. AI는 최적의 선택을 향한 인간의 끊임없는 도전의 산물이다. 그러나 AI에 대한 과잉 의존은 이러한 도전의 걸림돌이다. 인지강제기능은 인간의 분석적 사고를 자극하고 AI의 의사결정 과정에 대한 이해를 증진시킴으로써 AI 과잉 의존을 억제하려는 ‘너지(Nudge)’식 간섭이다. 인지강제기능이 제 기능을 발휘하려면 인지 동기의 개인차를 고려해 인지강제기능의 종류, 강도, 그리고 시기를 적절히 조절해야 한다. 아무리 훌륭한 기술이나 기계도 사용법을 모르면 무용지물이다.


곽승욱 숙명여대 경영학부 교수 swkwag@sookmyung.ac.kr
필자는 연세대를 졸업하고, 미국 플로리다주립대와 텍사스공과대에서 정치학 석사와 경영통계학 석사, 테네시대에서 재무관리 전공으로 경영학 박사 학위를 받았다. 미국 유타주립대 재무관리 교수로 11년간 근무한 후 현재 숙명여대 경영학부 교수로 재직 중이다. 주요 연구 및 관심 분야는 행동재무학/경제학, 기업가치평가, 투자, 금융시장과 규제 등이다.
동아비즈니스리뷰 331호 Data Privacy in Marketing 2021년 10월 Issue 2 목차보기