AI에 과잉 의존하면 AI+인간 팀워크 망친다

Based on “To Trust or to Think: Cognitive Forcing Functions Can Reduce Overreliance on AI in AI-assisted Decision-making”(2021) by Z. Buçinca, M. Malaya, and K. Gajos in Proceedings of the ACM on Human-Computer Interaction, pp.1-21

무엇을, 왜 연구했나?

대출 승인이나 질병 진단 같은 일상생활에서부터 정치, 경제, 사회 시스템에 이르기까지 인공지능(AI, Artificial Intelligence)과 인간의 협업은 광범위하게, 급속도로 발전하고 있다. AI의 탁월한 정보 처리 및 분석 능력과 인간의 직관적 통찰력으로 무장한 ‘인간+AI’팀이 인류가 당면한 각종 위기의 해결사로 나설 것이라는 믿음도 크다. 그러나 최근 일련의 연구에 따르면 인간과 AI가 함께 일하는 팀의 성과가 홀로 일하는 인간은 능가하지만 AI의 단독 성과에는 미치는 못했다. 주요 원인으로 편향과 휴리스틱의 영향으로 발생하는 일반적 인지 오류와 더불어 AI의 판단에 과도하게 의존하는 성향이 지목됐다. 특히 AI에 대한 과잉 의존 현상은 AI가 심각한 선택 오류를 범할 때도 지속됐다. 이는 과잉 의존이 인간 스스로 AI의 오류를 수정해 더 나은 선택을 할 수 있는 기회를 박탈할 수 있음을 의미한다.

AI가 내린 최종 의사결정뿐만 아니라 그 이유에 관한 설명을 제공하는 AI 접근법 ‘설명 가능한 인공지능(XAI, Explainable AI)’은 이러한 AI 과잉 의존 부작용을 해결하기 위해 고안됐다. XAI는 AI가 어떤 근거로 특정 선택을 했는지 부연 설명을 함으로써 인간이 AI의 선택 오류 유무를 판단할 수 있도록 돕는다. 그러나 AI에 대한 인간의 과잉 의존을 줄이고 최적 선택의 가능성을 높이려면 AI 선택에 관한 설명 자체에 초점을 맞추는 XAI만으로는 부족하다. 주어진 설명에 주의를 기울이고 그 의미를 정확히 이해하려는 인지적 노력, 즉 ‘인지 동기(Cognitive Motivation)’ 또한 필요하다. 인지 동기를 높여 과잉 의존이 의사결정에 미치는 부정적 영향을 줄이는 가장 효과적인 방법 중 하나가 ‘인지강제기능(Cognitive Forcing Functions)’이다. 인지강제기능은 휴리스틱을 활용한 추론을 의도적으로 줄여 인간의 분석적 사고 능력을 함양시킨다. 하버드대 연구팀은 XAI 설계에 인지강제기능을 추가해 AI에 대한 인간의 과잉 의존을 줄일 수 있는 구체적 방법을 모색하고 그 효과를 검증했다.