AI 추천 신뢰도 높이려면 ‘설명 장치’ 잘 갖춰야

Based on “User Trust in Recommendation Systems: A comparison of Content-Based, Collaborative and Demographic Filtering” (2022) by Mengqi Liao and S. Shyam Sundar and Joseph B. Walther. in CHI Conference on Human Factors in Computing Systems (CHI '22) .

---

무엇을, 왜 연구했나?

인공지능(AI) 기술의 성능이 발전함에 따라 적용 가능한 분야가 확대되고 있다. 일상 속 사람과 AI 간의 접점도 늘어나고 있다. 그러나 눈부신 기술 발전에도 불구하고 아직까지 AI가 모든 상황에서 완벽하진 못한 것이 현실이다. 이런 상황에서 AI가 만들어 낸 결과를 사용자에게 전달할 때 결과가 만들어진 이유와 과정을 함께 잘 설명하는 ‘설명 가능한 AI(XAI, Explainable AI)’가 주목받고 있다. AI가 100% 완벽하다면 사용자가 받은 결과를 온전히 따르면 된다. 하지만 아직 기술이 완벽하지 않기에 AI가 내놓은 결과를 사용자는 어떻게 활용해야 할지 고민할 필요가 있다. 이때 사용자가 AI를 잘 활용할 수 있도록 돕는 정보를 제공하는 것이 바로 설명 가능한 AI의 역할이다.

설명 가능한 AI의 중요성이 커지는 응용 분야 중 하나는 추천 시스템(Recommender System)이다. 시스템이 제공한 추천 결과를 사용자가 받아들이고 이해하는 데 있어 부가적인 설명은 굉장히 유용한 정보가 될 수 있다. 연구에 따르면 추천 결과에 대한 상세한 설명은 사용자가 인식하는 추천 성능을 높여주고, 전반적인 사용자 경험을 개선하는 데 효과가 있는 것으로 나타났다. 본 연구를 수행한 미국 펜실베이니아주립대와 캘리포니아대 공동 연구진은 추천 시스템이 사용하는 추천 방식에 주목했다. 추천 방식에 따라 추천에 대한 설명도 달라지는데 이에 따라 사용자 신뢰에도 차이가 있을 수 있다는 가설을 세웠다.

연구진은 실험에 세 가지 대표적인 추천 방식을 활용했다. 사용자의 선호도와 제품 특성을 매칭하는 콘텐츠 기반 추천(Content-based Recommendation), 유사한 선호도를 가진 사용자를 매칭하는 협업 필터링(Collaborative Filtering), 인구통계학적 특성을 기반으로 사용자에게 맞춤화하는 인구통계학적 필터링(Demographic filtering)에 따라 설명이 포함된 추천 결과를 제시했을 때 추천 시스템에 대한 사용자 신뢰가 어떻게 달라지는지 분석했다.

무엇을 발견했나?

연구진은 실험 참여자 235명을 모집해 실험 조건별로 그룹을 나눠 임의의 영화 추천 시스템을 사용해 보도록 지시하고 그들의 사용 경험을 분석했다. 각 참여자는 콘텐츠 기반 추천, 협업 필터링, 인구통계학적 필터링 중 하나의 추천 방식과 좋음, 나쁨 중 하나의 추천 품질을 배정받고, 해당 조건에 따른 추천 시스템을 경험했다. 각 사용자에게 추천되는 영화는 실제 추천 알고리즘을 통해 결정되지 않고, 추천 품질에 따라 연구자들이 미리 선별한 영화 목록을 사용했다. 영화 평가 사이트인 IMDB 내 인기 영화 중 평점이 높은 영화 5개를 추천 품질이 좋은 영화로, 평점이 낮은 영화 5개를 품질이 낮은 영화로 활용했다. 각 피험자는 할당된 실험 조건에 따라 추천 시스템을 통해 영화를 추천받은 후 사용 경험 및 심리적인 요소를 알아보는 문항에 응답했고, 연구진은 응답 결과에 대한 통계 분석을 수행했다.

연구 결과는 크게 두 가지로 요약할 수 있다. 먼저 추천 방식에 따라 추천 시스템에 대한 사람들의 신뢰도가 달라지는 것으로 나타났다. 결과에 대한 더 깊은 이해를 위해 연구진은 심리 현상과 관련된 매개 변수를 분석했고, 두 가지 인지적 휴리스틱(Heuristic, 의사결정자의 어림짐작)을 발견했다. 집단의 지지를 따라가는 편승 휴리스틱(Bandwagon Heuristic)의 영향으로 사람들은 협업 필터링 방식을 가장 신뢰하는 경향이 있었고, 추천 품질이 좋지 않은 상황에서도 신뢰를 끌어내는 효과가 나타났다. 또한 동질감을 바탕으로 하는 정체성 휴리스틱(Identity Heuristic)의 영향으로 사용자의 선호도와 제품 특성을 매칭하는 콘텐츠 기반 추천 방식이 인구통계학적 추천보다 더 높은 신뢰를 얻는 것으로 나타났다.

또한 사람들이 추천 시스템과 상호작용 시 좋은 추천을 받았을 때는 자신에게, 나쁜 추천을 받았을 때는 시스템에 책임을 돌리는 이기적 편향(self-serving bias) 경향이 나타났다. 하지만 인구통계학적 추천 시스템에서는 이런 편향이 덜 두드러졌는데 이는 인구통계학적 추천 시스템을 활용할 때는 기본적으로 추천 품질에 관계없이 항상 시스템에 더 많은 책임을 돌리기 때문인 것으로 추정됐다.

연구 결과가 어떤 교훈을 주나?

본 연구는 유사한 선호도를 가진 사용자를 매칭하는 협업 필터링 방식이 편승 휴리스틱을 유발해 사용자 신뢰를 얻는 데 효과적임을 보여준다. 인구통계와 같은 피상적인 사회적 정보만으로는 사용자 신뢰를 구축하기에 충분하지 않으며 특정 제품에 대한 집단적 취향과 선호도를 구체적으로 반영하는 사회적 정보가 필요함을 알 수 있다. 따라서 협업 필터링 시스템을 설계하는 디자이너는 사회적 지지를 이끌어내는 조회, 클릭 및 공유 수 등 다양한 편승 지표를 정의하고 이를 사용자 인터페이스(UI) 구축에 적극 활용할 필요가 있다. 이런 편승 지표는 특히 사용자가 추천 시스템 이용을 갓 시작해 추천 성능이 떨어질 수 있는 콜드 스타트 상황에서 사용자들로부터 최소한의 신뢰를 확보해 이탈을 방지하는 데 도움이 된다.

또한 연구는 콘텐츠 기반 추천 시스템에서 동질감을 바탕으로 하는 정체성 휴리스틱이 잘 발현될 때 사용자 신뢰를 얻을 수 있음을 보여준다. 따라서 UI에 정체성을 강화하는 요소를 강조함으로써 추천 시스템의 결과가 사용자의 선호도와 직접적으로 관련 있고, 개인의 정체성을 잘 반영한다는 사실을 사용자에게 전달할 필요가 있다. 예를 들어 “슬픈 영화를 좋아하는 사람인가요?” “스포츠팬인가요?”와 같이 사용자가 명시적으로 자신의 정체성과 선호도를 설정할 수 있는 요소를 UI에 포함하는 것이다. 또한 “스포츠팬이면 이 제품을 좋아할 것입니다”와 같이 추천 결과에 사용자의 정체성에 대한 명시적 안내를 포함한다면 맞춤화, 개별화된 답변을 통한 긍정적 효과를 기대할 수 있을 것이다.

마지막으로, 사람들은 추천 시스템이 내놓는 결과가 만족스럽지 않을 때 자신보다는 시스템을 탓하는 경향이 컸다. 따라서 사용자 신뢰를 높이기 위해서는 추천 품질에 영향을 미칠 수 있는 시스템 요소를 미리 언급하고, 현재 활용하는 사용자 데이터의 제약에 따라 추천 결과의 품질이 떨어질 수 있음을 인식시킬 필요가 있다. 이런 조치는 최적화되지 않은 시스템 성능과 관련해 사용자에게 일부 책임이 있음을 상기해 사용자가 시스템에 모든 책임을 전가하는 경향을 완화할 수 있다. 또한 향후 사용자의 데이터 공유 설정에 따라 개선된 추천 결과를 받을 수 있다는 기대감도 줄 수 있다.

AI가 일상 깊숙이 자리하는 지금, AI 서비스 설계자는 이처럼 사용자에게 신뢰를 주기 위한 설명 장치를 고안할 필요가 있으며 사용자는 AI의 추천 결과가 때로는 부정확할 수 있음에 주의해야 한다. 또한 사용자 스스로가 주체가 돼 합리적으로 판단하며 AI가 내놓는 결과를 활용하는 능력도 점차 중요해질 것으로 보인다.