Based on “Co-Writing with Opinionated Language Models Affects Users’ Views” (2023) by Maurice Jakesch, Advait Bhat, Daniel Buschek, Lior Zalmanson, Mor Naaman in Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems.

---

무엇을, 왜 연구했나?

최근 GPT와 같은 거대 언어 모델(LLM, Large Language Model)들이 인간의 의사소통에 점점 더 깊이 개입하고 있다. 거대 언어 모델들은 글쓰기 보조, 문법 지원, 기계 번역 등의 다양한 응용 프로그램을 통해 사람들이 쓰고 읽는 내용에 직·간접적인 영향을 주고 있다. 이처럼 일상적인 의사소통에 거대 언어 모델들이 활발히 활용된다면 우리가 의견을 형성하고 서로에게 미치는 영향에 변화가 생길 수도 있을 것이다.

코넬대, 바이로이트대, 텔아비브대, 마이크로소프트 리서치의 공동 연구진은 거대 언어 모델이 특정 견해를 더 자주 생성하면 사용자를 설득할 수 있다는 일명 ‘잠재적 설득(latent persuasion)’ 개념을 제시했다. 광고 등 일반적으로 미디어에서 관찰되는 설득은 특정 대상을 설득하기 위해 의도적으로 메시지를 생성하는 방식인 반면 거대 언어 모델에 의한 설득은 우연에 의한 것이며 사용자, 제품, 상황에 따라 다를 수 있다는 특징이 있다. 생성 언어 모델이 가지는 잠재적 위험성에 대한 기존의 연구들은 보통 광고나 가짜 뉴스 생성에 언어 모델을 사용하는 전통적인 설득 시나리오에 중점을 뒀다. 그러나 본 연구는 보다 대중적인 시나리오인 공동 작성(Co-Writing) 상황에서 거대 언어 모델의 잠재적 설득이 어떻게 나타나는지, 실제 사용자의 의견에 어떤 영향을 주는지를 분석했다.

연구진은 온라인 실험을 통해 참가자 1506명에게 소셜미디어가 사회에 이로운지에 대한 짧은 글을 쓰도록 요청했다. 실험 집단 참가자들에게는 GPT-3 모델이 생성한 텍스트 제안이 노출됐다. 이 모델은 소셜미디어가 사회에 이롭다는 주장 혹은 그렇지 않다는 반대의 주장을 생성하도록 설정돼 있었다. 글쓰기 작업 후 설문 조사를 통해 참가자들에게 소셜미디어의 사회적 영향에 대해 평가하도록 요청했다. 이후 별도의 평가단 500명을 모집해 참가자들의 글에 담긴 의견을 평가하고, 이를 바탕으로 언어 모델과의 상호작용이 참가자들의 글과 설문 의견에 어떤 영향을 줬는지를 분석했다.

인기기사