UX 평가용 AI 도구는 경쟁자 아닌 조력자

Based on “Enhancing UX Evaluation Through Collaboration with Conversational AI Assistants: Effects of Proactive Dialogue and Timing” (2024) by Emily Kuang, Kristen Shinohara, Minghao Li, Mingming Fan in Proceedings of the 2024 CHI Conference on Human Factors in Computing Systems, Article No. 3, Pages 1-16.

---

무엇을, 왜 연구했나?

현대사회에서 사용자경험(UX)은 디지털 제품과 서비스의 성공을 결정짓는 핵심 요소로 자리 잡았다. 더 나은 UX를 만들기 위해서는 사용자가 제품이나 서비스를 사용할 때 겪는 문제점을 발견하고 개선하는 UX 평가가 필수적이다. 하지만 평가 과정은 매우 복잡하고 특히 테스트 영상을 분석하는 데 많은 시간과 자원이 필요하다. 여러 평가자가 협력해 문제를 분석할 수 있지만 실제로는 시간과 비용의 제약으로 인해 대부분의 UX 평가가 개별적으로 이뤄진다.

이런 상황에서 최근 인공지능(AI) 기술의 발전은 UX 평가의 새로운 길을 제시하고 있다. 특히 대화형 AI 도우미는 사용자와 자연스러운 언어로 상호작용할 수 있어 UX 평가자들에게 필요한 정보를 제공하거나 문제를 자동으로 감지하는 데 도움을 줄 수 있다. 하지만 이런 AI 도우미가 평가자에게 언제, 어떻게 정보를 제공하는 것이 가장 효과적인지는 아직 명확히 밝혀지지 않았다.

로체스터공과대, 난양기술대, 홍콩과기대 공동 연구진은 대화형 AI 도우미가 UX 평가에 미치는 영향을 조사했다. 특히 AI 도우미가 자동으로 제공하는 사용성 문제 제안 시점이 평가자들의 분석 성과와 신뢰도에 어떤 영향을 미치는지를 집중적으로 탐구했다. 이를 통해 더 나은 UX 평가 도구를 개발하고 평가자들의 업무 효율성을 높일 방법을 찾고자 했다.

연구는 혼합된 ‘오즈의 마법사’1 1사용자에게 실제로 작동하는 것처럼 보이게 하되 실제로는 인간이 시스템을 조작하는 방식. 이 접근법은 초기 프로토타입이나 개념 검증 단계에서 기술적인 제약을 극복하고 사용자 반응을 평가하는 데 유용함. 닫기 접근법을 사용해 진행됐다. 챗GPT를 이용해 자동으로 사용성 문제 제안을 생성하고, 실제 사용자와의 상호작용은 인간 행위자가 수행하는 방식이다. 연구는 24명의 UX 평가자를 대상으로 진행됐고 이들은 세 가지 조건, 즉 문제 발생 시와 전후에 따라 자동화된 사용성 문제 제안을 받으면서 UX 평가를 진행했다. 각 조건에서 제공된 문제 제안 시점이 평가자들의 분석 성과와 주관적인 인식에 어떤 영향을 미치는지를 측정하기 위해 연구진은 다양한 평가 지표를 사용했다. 평가자들은 각 조건에서 제안된 사용성 문제를 확인하고 자신의 분석 결과와 비교하며 평가를 기록했다.