AI
AI와의 팀워크? 과의존 먼저 줄여야
Based on “Explanations Can Reduce Overreliance on AI Systems During Decision” (2023) by Helena Vasconcelos, Matthew Jorke, Madeleine Grunde-Mclaughlin, Tobias Gerstenberg, Michael S. Bernstein and Ranjay Krishna in Proceedings of ACM Human-Computer Interaction. 7, CSCW1, Article 129.
무엇을, 왜 연구했나?
인간이 인공지능(AI)과 함께라면 항상 더 나은 성과를 내고, 더 좋은 결정을 할 수 있을까? 인간과 AI의 팀워크에 대해 높은 기대를 하는 경우를 흔히 볼 수 있다. 그러나 여기엔 두 가지의 현실적인 장벽이 존재한다. AI가 항상 완벽한 건 아니라는 점과 그럼에도 인간은 그런 AI에 과의존(Overreliance)하는 경향이 있다는 점이다. 이런 점 때문에 인간과 AI가 충분히 시너지를 내지 못한다는 연구 결과들이 발표되고 있다. 사람들은 AI가 옳은지 확인하지 않고 잘못된 결정을 그대로 받아들이기도 하며 최종 결정을 내릴 때 AI에 권한과 책임을 전가하기도 한다. 이는 위험도가 높은 특정 영역에서 인간이 인식하지 못하는 사이에 기계 편향(Machine Bias)을 강화할 위험이 있다.
이에 대한 한 가지 해결책으로 설명 가능한 AI(Explainable AI, XAI)가 제안되고 있다. 원리는 간단하다. AI가 자신의 예측에 대한 설명을 제공하면 사람들이 더 신중히 생각하고 AI에 덜 의존하게 된다는 것이다. 미국 스탠퍼드대와 워싱턴대 연구진은 사람들이 AI의 설명을 더 신중하게 고려할지를 전략적으로 선택한다고 주장하며 AI의 설명이 과의존을 줄일 수 있음을 실증하고자 했다. 이를 위해 연구진은 이런 전략적 선택을 ‘비용-편익 프레임워크(Cost-benefit Framework)’로 공식화해 AI에 의존하는 비용과 이익을 비교했다. 참가자 731명을 대상으로 미로 탈출 문제를 AI와 함께 풀어보는 다섯 가지 실험을 통해 과제와 AI 설명의 난이도, 금전적 보상 같은 요소가 AI에 대한 사람들의 과의존에 어떤 영향을 미치는지를 분석했다.
무엇을 발견했나?
연구는 인간과 AI가 과제를 함께 수행하는 데 있어 해당 과제의 특성, AI가 제공하는 설명의 유형과 복잡도, 과제 수행에 따른 인센티브 등이 사용자의 AI 의존도에 영향을 준다는 사실을 밝혀냈다.
첫째, 과제 난이도가 높아질수록 사람들은 AI의 설명이 더 유용하다고 평가했다. 어려운 과제를 푸는 데 있어 AI의 설명이 시간과 인지적 노력을 절약하며 과제 수행에 필요한 노력을 현저히 줄여주는 것으로 나타났다. 즉, 과제 난이도가 높을수록 사람들이 AI의 설명을 더 신중하게 고려해 얻는 이득이 높아지면서 결과적으로 AI가 예측하는 결과에 단순히 의존하는 경향을 완화하는 데 도움을 줬다.
둘째, AI가 제공하는 설명이 어려워질수록 참여자들이 들이는 인지적 노력과 시간이 증가해 AI가 내놓는 결과에 더 의존하는 경향이 나타났다. 반면 설명이 명확하게 제공될수록 사람들은 AI에 과도한 의존을 줄이며 AI의 오류를 인지하고 그 결과에 동의하지 않을 가능성이 높아졌다. 이는 설명의 질이 AI 활용에 있어 주요 역할을 한다는 점을 보여준다.
셋째, 과제 수행 성공 시 제공되는 금전적 보너스가 늘어나면 AI에 대한 과도한 의존이 감소하는 경향이 있었다. 보상이 클수록 사람들은 과제에 직접 참여하는 것을 선호했다. 특히 어려운 과제 수행에 있어 보너스 제공은 AI 의존도를 줄이는 데 도움이 되는 것으로 나타났다.
![GettyImages-1154448208_[변환됨]](/upload_dir/source/2024 392/GettyImages-1154448208_[변환됨].png)
연구 결과가 어떤 교훈을 주나?
연구진은 AI의 설명이 AI에 대한 사람들의 과의존을 줄일 수 있음을 밝혀냈다. 사람들은 주어진 과제와 설명에 대한 비용-편익을 따져 AI가 내놓는 결과를 얼마나 따를지를 전략적으로 결정한다. 연구 결과, 비용-편익 프레임워크 아래 과제 난이도, 설명의 이해도, 금전적 보상과 같은 여러 방법을 통해 과의존 수준을 조절할 수 있었다. 이런 연구 결과를 고려한다면 인간과 AI의 협업 시 과의존 현상을 완화할 수 있는 방법을 사전에 설계할 수 있을 것이다.
먼저 비용 조절을 활용할 수 있다. 인지적 노력과 시간 같은 과제에 드는 비용을 조절해 과의존을 줄이도록 과제를 설계할 수 있다. 예를 들어 어려운 과제에 쉽게 이해할 수 있는 AI의 설명을 적용해 사람들이 신중히 생각하도록 유도함으로써 과의존을 줄이는 것이다. 혹은 이익을 조절할 수도 있다. 성공 시 보상하고, 실패 시 불이익을 주는 등 과제와 관련한 이익을 조절함으로써 AI에 대한 과의존 문제에 대응할 수 있다. 예를 들어, 과제를 제대로 수행했을 때 매우 높은 보상을 제공함으로써 사람들이 신중히 결정하도록 해 AI에 대한 과의존을 방지하는 것이다.
인간과 AI 모두 완벽하지 않다. 더 나은 결정을 위해서는 어느 한쪽의 결정을 그대로 따르기보다 상호보완적인 협력이 필요하다. 인간과 AI의 협업이 활발해질수록 본 연구가 제안하는 비용-이익 프레임워크 같은 인간과 AI에 대한 깊은 이해를 토대로 AI를 설계하려는 노력은 더욱 중요해질 것이다.
무엇을, 왜 연구했나?
인간이 인공지능(AI)과 함께라면 항상 더 나은 성과를 내고, 더 좋은 결정을 할 수 있을까? 인간과 AI의 팀워크에 대해 높은 기대를 하는 경우를 흔히 볼 수 있다. 그러나 여기엔 두 가지의 현실적인 장벽이 존재한다. AI가 항상 완벽한 건 아니라는 점과 그럼에도 인간은 그런 AI에 과의존(Overreliance)하는 경향이 있다는 점이다. 이런 점 때문에 인간과 AI가 충분히 시너지를 내지 못한다는 연구 결과들이 발표되고 있다. 사람들은 AI가 옳은지 확인하지 않고 잘못된 결정을 그대로 받아들이기도 하며 최종 결정을 내릴 때 AI에 권한과 책임을 전가하기도 한다. 이는 위험도가 높은 특정 영역에서 인간이 인식하지 못하는 사이에 기계 편향(Machine Bias)을 강화할 위험이 있다.
이에 대한 한 가지 해결책으로 설명 가능한 AI(Explainable AI, XAI)가 제안되고 있다. 원리는 간단하다. AI가 자신의 예측에 대한 설명을 제공하면 사람들이 더 신중히 생각하고 AI에 덜 의존하게 된다는 것이다. 미국 스탠퍼드대와 워싱턴대 연구진은 사람들이 AI의 설명을 더 신중하게 고려할지를 전략적으로 선택한다고 주장하며 AI의 설명이 과의존을 줄일 수 있음을 실증하고자 했다. 이를 위해 연구진은 이런 전략적 선택을 ‘비용-편익 프레임워크(Cost-benefit Framework)’로 공식화해 AI에 의존하는 비용과 이익을 비교했다. 참가자 731명을 대상으로 미로 탈출 문제를 AI와 함께 풀어보는 다섯 가지 실험을 통해 과제와 AI 설명의 난이도, 금전적 보상 같은 요소가 AI에 대한 사람들의 과의존에 어떤 영향을 미치는지를 분석했다.
무엇을 발견했나?
연구는 인간과 AI가 과제를 함께 수행하는 데 있어 해당 과제의 특성, AI가 제공하는 설명의 유형과 복잡도, 과제 수행에 따른 인센티브 등이 사용자의 AI 의존도에 영향을 준다는 사실을 밝혀냈다.
첫째, 과제 난이도가 높아질수록 사람들은 AI의 설명이 더 유용하다고 평가했다. 어려운 과제를 푸는 데 있어 AI의 설명이 시간과 인지적 노력을 절약하며 과제 수행에 필요한 노력을 현저히 줄여주는 것으로 나타났다. 즉, 과제 난이도가 높을수록 사람들이 AI의 설명을 더 신중하게 고려해 얻는 이득이 높아지면서 결과적으로 AI가 예측하는 결과에 단순히 의존하는 경향을 완화하는 데 도움을 줬다.
둘째, AI가 제공하는 설명이 어려워질수록 참여자들이 들이는 인지적 노력과 시간이 증가해 AI가 내놓는 결과에 더 의존하는 경향이 나타났다. 반면 설명이 명확하게 제공될수록 사람들은 AI에 과도한 의존을 줄이며 AI의 오류를 인지하고 그 결과에 동의하지 않을 가능성이 높아졌다. 이는 설명의 질이 AI 활용에 있어 주요 역할을 한다는 점을 보여준다.
셋째, 과제 수행 성공 시 제공되는 금전적 보너스가 늘어나면 AI에 대한 과도한 의존이 감소하는 경향이 있었다. 보상이 클수록 사람들은 과제에 직접 참여하는 것을 선호했다. 특히 어려운 과제 수행에 있어 보너스 제공은 AI 의존도를 줄이는 데 도움이 되는 것으로 나타났다.
연구 결과가 어떤 교훈을 주나?
연구진은 AI의 설명이 AI에 대한 사람들의 과의존을 줄일 수 있음을 밝혀냈다. 사람들은 주어진 과제와 설명에 대한 비용-편익을 따져 AI가 내놓는 결과를 얼마나 따를지를 전략적으로 결정한다. 연구 결과, 비용-편익 프레임워크 아래 과제 난이도, 설명의 이해도, 금전적 보상과 같은 여러 방법을 통해 과의존 수준을 조절할 수 있었다. 이런 연구 결과를 고려한다면 인간과 AI의 협업 시 과의존 현상을 완화할 수 있는 방법을 사전에 설계할 수 있을 것이다.
먼저 비용 조절을 활용할 수 있다. 인지적 노력과 시간 같은 과제에 드는 비용을 조절해 과의존을 줄이도록 과제를 설계할 수 있다. 예를 들어 어려운 과제에 쉽게 이해할 수 있는 AI의 설명을 적용해 사람들이 신중히 생각하도록 유도함으로써 과의존을 줄이는 것이다. 혹은 이익을 조절할 수도 있다. 성공 시 보상하고, 실패 시 불이익을 주는 등 과제와 관련한 이익을 조절함으로써 AI에 대한 과의존 문제에 대응할 수 있다. 예를 들어, 과제를 제대로 수행했을 때 매우 높은 보상을 제공함으로써 사람들이 신중히 결정하도록 해 AI에 대한 과의존을 방지하는 것이다.
인간과 AI 모두 완벽하지 않다. 더 나은 결정을 위해서는 어느 한쪽의 결정을 그대로 따르기보다 상호보완적인 협력이 필요하다. 인간과 AI의 협업이 활발해질수록 본 연구가 제안하는 비용-이익 프레임워크 같은 인간과 AI에 대한 깊은 이해를 토대로 AI를 설계하려는 노력은 더욱 중요해질 것이다.
인기기사
