AI와의 팀워크? 과의존 먼저 줄여야

Based on “Explanations Can Reduce Overreliance on AI Systems During Decision” (2023) by Helena Vasconcelos, Matthew Jorke, Madeleine Grunde-Mclaughlin, Tobias Gerstenberg, Michael S. Bernstein and Ranjay Krishna in Proceedings of ACM Human-Computer Interaction. 7, CSCW1, Article 129.

---

무엇을, 왜 연구했나?

인간이 인공지능(AI)과 함께라면 항상 더 나은 성과를 내고, 더 좋은 결정을 할 수 있을까? 인간과 AI의 팀워크에 대해 높은 기대를 하는 경우를 흔히 볼 수 있다. 그러나 여기엔 두 가지의 현실적인 장벽이 존재한다. AI가 항상 완벽한 건 아니라는 점과 그럼에도 인간은 그런 AI에 과의존(Overreliance)하는 경향이 있다는 점이다. 이런 점 때문에 인간과 AI가 충분히 시너지를 내지 못한다는 연구 결과들이 발표되고 있다. 사람들은 AI가 옳은지 확인하지 않고 잘못된 결정을 그대로 받아들이기도 하며 최종 결정을 내릴 때 AI에 권한과 책임을 전가하기도 한다. 이는 위험도가 높은 특정 영역에서 인간이 인식하지 못하는 사이에 기계 편향(Machine Bias)을 강화할 위험이 있다.

이에 대한 한 가지 해결책으로 설명 가능한 AI(Explainable AI, XAI)가 제안되고 있다. 원리는 간단하다. AI가 자신의 예측에 대한 설명을 제공하면 사람들이 더 신중히 생각하고 AI에 덜 의존하게 된다는 것이다. 미국 스탠퍼드대와 워싱턴대 연구진은 사람들이 AI의 설명을 더 신중하게 고려할지를 전략적으로 선택한다고 주장하며 AI의 설명이 과의존을 줄일 수 있음을 실증하고자 했다. 이를 위해 연구진은 이런 전략적 선택을 ‘비용-편익 프레임워크(Cost-benefit Framework)’로 공식화해 AI에 의존하는 비용과 이익을 비교했다. 참가자 731명을 대상으로 미로 탈출 문제를 AI와 함께 풀어보는 다섯 가지 실험을 통해 과제와 AI 설명의 난이도, 금전적 보상 같은 요소가 AI에 대한 사람들의 과의존에 어떤 영향을 미치는지를 분석했다.