AI
가랑비에 옷 젖듯 인공지능에 설득된 당신
Based on “Co-Writing with Opinionated Language Models Affects Users’ Views” (2023) by Maurice Jakesch, Advait Bhat, Daniel Buschek, Lior Zalmanson, Mor Naaman in Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems.
무엇을, 왜 연구했나?
최근 GPT와 같은 거대 언어 모델(LLM, Large Language Model)들이 인간의 의사소통에 점점 더 깊이 개입하고 있다. 거대 언어 모델들은 글쓰기 보조, 문법 지원, 기계 번역 등의 다양한 응용 프로그램을 통해 사람들이 쓰고 읽는 내용에 직·간접적인 영향을 주고 있다. 이처럼 일상적인 의사소통에 거대 언어 모델들이 활발히 활용된다면 우리가 의견을 형성하고 서로에게 미치는 영향에 변화가 생길 수도 있을 것이다.
코넬대, 바이로이트대, 텔아비브대, 마이크로소프트 리서치의 공동 연구진은 거대 언어 모델이 특정 견해를 더 자주 생성하면 사용자를 설득할 수 있다는 일명 ‘잠재적 설득(latent persuasion)’ 개념을 제시했다. 광고 등 일반적으로 미디어에서 관찰되는 설득은 특정 대상을 설득하기 위해 의도적으로 메시지를 생성하는 방식인 반면 거대 언어 모델에 의한 설득은 우연에 의한 것이며 사용자, 제품, 상황에 따라 다를 수 있다는 특징이 있다. 생성 언어 모델이 가지는 잠재적 위험성에 대한 기존의 연구들은 보통 광고나 가짜 뉴스 생성에 언어 모델을 사용하는 전통적인 설득 시나리오에 중점을 뒀다. 그러나 본 연구는 보다 대중적인 시나리오인 공동 작성(Co-Writing) 상황에서 거대 언어 모델의 잠재적 설득이 어떻게 나타나는지, 실제 사용자의 의견에 어떤 영향을 주는지를 분석했다.
연구진은 온라인 실험을 통해 참가자 1506명에게 소셜미디어가 사회에 이로운지에 대한 짧은 글을 쓰도록 요청했다. 실험 집단 참가자들에게는 GPT-3 모델이 생성한 텍스트 제안이 노출됐다. 이 모델은 소셜미디어가 사회에 이롭다는 주장 혹은 그렇지 않다는 반대의 주장을 생성하도록 설정돼 있었다. 글쓰기 작업 후 설문 조사를 통해 참가자들에게 소셜미디어의 사회적 영향에 대해 평가하도록 요청했다. 이후 별도의 평가단 500명을 모집해 참가자들의 글에 담긴 의견을 평가하고, 이를 바탕으로 언어 모델과의 상호작용이 참가자들의 글과 설문 의견에 어떤 영향을 줬는지를 분석했다.
![GettyImages-1498155615_[변환됨]](/upload_dir/source/2023 380/GettyImages-1498155615_[변환됨].png)
무엇을 발견했나?
연구 결과는 크게 4가지로 요약될 수 있다. 첫째, 실험 참가자들은 그들이 사용한 언어 모델의 의견을 지지하게 되는 경향이 있었다. 소셜미디어를 지지하는 언어 모델로부터 제안을 받은 참가자들은 소셜미디어가 이롭다고 주장할 확률이 대조 그룹보다 2.04배 높았고, 소셜미디어를 비판하는 언어 모델과 함께 글쓰기 작업을 했던 참가자들은 소셜미디어가 나쁘다고 주장할 확률이 대조 그룹보다 2배 높은 것으로 나타났다.
둘째, 참가자들이 모델의 제안을 단순히 편의성 때문에 받아들인 것으로 생각될 수 있지만 대부분의 참가자는 모델의 제안을 무작정 받아들이지 않고 모델과 협력하며 공동으로 글을 작성했다. 평균적으로 참가자들은 문장의 63%를 모델의 제안을 받아들이지 않고 직접 작성했으며 모델의 제안을 완전히 받아들인 문장은 11.5%에 불과했다.
셋째, 언어 모델에 대한 의견 동조 현상은 작성된 글뿐만 아니라 실제 참가자들의 의견에 대한 설문 응답에서도 비슷하게 나타났다. 예를 들어, 긍정적인 언어 모델과 상호작용한 참가자들은 설문에서도 소셜미디어를 더 긍정적으로 평가했고, 비판적인 언어 모델과 상호작용한 이들은 더 부정적으로 평가했다.
넷째, 대부분의 참가자는 언어 모델이 전문성과 지식을 가지고 있다고 생각했다. 실제로는 언어 모델이 논쟁에서 특정 의견을 지지하도록 설정돼 있었음에도 대부분의 참가자는 모델의 제안이 균형 있고 합리적이라고 평가했다. 나아가 참가자 대다수가 모델이 그들의 글쓰기에 미친 영향을 인식하지 못했다.
연구 결과가 어떤 교훈을 주나?
연구 결과는 의견이 강한 언어 모델과의 상호작용이 사람의 의견에 영향을 줄 수 있음을 보여준다. 거대 언어 모델이 사용자의 의견에 영향을 미친다면 그 영향력은 적대적인 논쟁에서 극단적인 견해를 줄이거나 해롭고 거짓된 신념을 반박하는 등 사회적 개입에 긍정적으로 활용될 수 있다. 하지만 다른 한편에서는 상업 및 정치적 이익 집단이 그들이 선호하는 의견을 확대하기 위해 인공지능(AI) 언어 기술의 설득력을 활용할 수도 있다. 본 연구가 보여주듯 프롬프트 엔지니어링 같은 간단한 기법으로 모델을 편향적으로 만드는 것은 매우 쉽다. 따라서 연구자, AI 전문가, 정책 결정자들은 향후 이런 잠재적 설득에 대해 고민하고 적절한 대응 방안을 논의할 필요가 있다.
기존의 다른 연구들은 언어 모델이 널리 활용될 때 모델이 훈련 데이터에서 학습한 고정관념과 편견이 확대될 수 있다며 언어 모델로 인한 사회적 위험에 대해 경고했다. 나아가 본 연구는 언어 모델이 고정관념뿐만 아니라 차기 대통령 선출 등 다양한 의견에 영향을 줄 수 있음을 보여준다. 훈련 데이터 선별을 위해 차별적이거나 불쾌한 내용이 담긴 텍스트를 모니터링하고 완화하는 도구들이 일찍이 개발돼 왔지만 향후에는 언어 모델에 내장된 의견을 모니터링하는 새로운 도구 개발이 필요할 것으로 보인다. 또한 이런 언어 모델의 의견을 모니터링하는 도구가 가져야 할 판단 기준과 근거에 대한 이론적 발전과 함께 더 넓은 사회적 논의도 수반될 필요가 있다.
마지막으로 미디어 리터러시의 의미를 확장해 AI 언어 모델의 결과물을 비판적으로 수용하고 더 잘 활용할 수 있도록 AI 리터러시 능력을 키우는 것도 중요하다. 이러한 능력을 키워 나갈 수 있도록 AI 리터러시와 관련된 전주기적 교육에 관심을 가져야 한다.
무엇을, 왜 연구했나?
최근 GPT와 같은 거대 언어 모델(LLM, Large Language Model)들이 인간의 의사소통에 점점 더 깊이 개입하고 있다. 거대 언어 모델들은 글쓰기 보조, 문법 지원, 기계 번역 등의 다양한 응용 프로그램을 통해 사람들이 쓰고 읽는 내용에 직·간접적인 영향을 주고 있다. 이처럼 일상적인 의사소통에 거대 언어 모델들이 활발히 활용된다면 우리가 의견을 형성하고 서로에게 미치는 영향에 변화가 생길 수도 있을 것이다.
코넬대, 바이로이트대, 텔아비브대, 마이크로소프트 리서치의 공동 연구진은 거대 언어 모델이 특정 견해를 더 자주 생성하면 사용자를 설득할 수 있다는 일명 ‘잠재적 설득(latent persuasion)’ 개념을 제시했다. 광고 등 일반적으로 미디어에서 관찰되는 설득은 특정 대상을 설득하기 위해 의도적으로 메시지를 생성하는 방식인 반면 거대 언어 모델에 의한 설득은 우연에 의한 것이며 사용자, 제품, 상황에 따라 다를 수 있다는 특징이 있다. 생성 언어 모델이 가지는 잠재적 위험성에 대한 기존의 연구들은 보통 광고나 가짜 뉴스 생성에 언어 모델을 사용하는 전통적인 설득 시나리오에 중점을 뒀다. 그러나 본 연구는 보다 대중적인 시나리오인 공동 작성(Co-Writing) 상황에서 거대 언어 모델의 잠재적 설득이 어떻게 나타나는지, 실제 사용자의 의견에 어떤 영향을 주는지를 분석했다.
연구진은 온라인 실험을 통해 참가자 1506명에게 소셜미디어가 사회에 이로운지에 대한 짧은 글을 쓰도록 요청했다. 실험 집단 참가자들에게는 GPT-3 모델이 생성한 텍스트 제안이 노출됐다. 이 모델은 소셜미디어가 사회에 이롭다는 주장 혹은 그렇지 않다는 반대의 주장을 생성하도록 설정돼 있었다. 글쓰기 작업 후 설문 조사를 통해 참가자들에게 소셜미디어의 사회적 영향에 대해 평가하도록 요청했다. 이후 별도의 평가단 500명을 모집해 참가자들의 글에 담긴 의견을 평가하고, 이를 바탕으로 언어 모델과의 상호작용이 참가자들의 글과 설문 의견에 어떤 영향을 줬는지를 분석했다.
무엇을 발견했나?
연구 결과는 크게 4가지로 요약될 수 있다. 첫째, 실험 참가자들은 그들이 사용한 언어 모델의 의견을 지지하게 되는 경향이 있었다. 소셜미디어를 지지하는 언어 모델로부터 제안을 받은 참가자들은 소셜미디어가 이롭다고 주장할 확률이 대조 그룹보다 2.04배 높았고, 소셜미디어를 비판하는 언어 모델과 함께 글쓰기 작업을 했던 참가자들은 소셜미디어가 나쁘다고 주장할 확률이 대조 그룹보다 2배 높은 것으로 나타났다.
둘째, 참가자들이 모델의 제안을 단순히 편의성 때문에 받아들인 것으로 생각될 수 있지만 대부분의 참가자는 모델의 제안을 무작정 받아들이지 않고 모델과 협력하며 공동으로 글을 작성했다. 평균적으로 참가자들은 문장의 63%를 모델의 제안을 받아들이지 않고 직접 작성했으며 모델의 제안을 완전히 받아들인 문장은 11.5%에 불과했다.
셋째, 언어 모델에 대한 의견 동조 현상은 작성된 글뿐만 아니라 실제 참가자들의 의견에 대한 설문 응답에서도 비슷하게 나타났다. 예를 들어, 긍정적인 언어 모델과 상호작용한 참가자들은 설문에서도 소셜미디어를 더 긍정적으로 평가했고, 비판적인 언어 모델과 상호작용한 이들은 더 부정적으로 평가했다.
넷째, 대부분의 참가자는 언어 모델이 전문성과 지식을 가지고 있다고 생각했다. 실제로는 언어 모델이 논쟁에서 특정 의견을 지지하도록 설정돼 있었음에도 대부분의 참가자는 모델의 제안이 균형 있고 합리적이라고 평가했다. 나아가 참가자 대다수가 모델이 그들의 글쓰기에 미친 영향을 인식하지 못했다.
연구 결과가 어떤 교훈을 주나?
연구 결과는 의견이 강한 언어 모델과의 상호작용이 사람의 의견에 영향을 줄 수 있음을 보여준다. 거대 언어 모델이 사용자의 의견에 영향을 미친다면 그 영향력은 적대적인 논쟁에서 극단적인 견해를 줄이거나 해롭고 거짓된 신념을 반박하는 등 사회적 개입에 긍정적으로 활용될 수 있다. 하지만 다른 한편에서는 상업 및 정치적 이익 집단이 그들이 선호하는 의견을 확대하기 위해 인공지능(AI) 언어 기술의 설득력을 활용할 수도 있다. 본 연구가 보여주듯 프롬프트 엔지니어링 같은 간단한 기법으로 모델을 편향적으로 만드는 것은 매우 쉽다. 따라서 연구자, AI 전문가, 정책 결정자들은 향후 이런 잠재적 설득에 대해 고민하고 적절한 대응 방안을 논의할 필요가 있다.
기존의 다른 연구들은 언어 모델이 널리 활용될 때 모델이 훈련 데이터에서 학습한 고정관념과 편견이 확대될 수 있다며 언어 모델로 인한 사회적 위험에 대해 경고했다. 나아가 본 연구는 언어 모델이 고정관념뿐만 아니라 차기 대통령 선출 등 다양한 의견에 영향을 줄 수 있음을 보여준다. 훈련 데이터 선별을 위해 차별적이거나 불쾌한 내용이 담긴 텍스트를 모니터링하고 완화하는 도구들이 일찍이 개발돼 왔지만 향후에는 언어 모델에 내장된 의견을 모니터링하는 새로운 도구 개발이 필요할 것으로 보인다. 또한 이런 언어 모델의 의견을 모니터링하는 도구가 가져야 할 판단 기준과 근거에 대한 이론적 발전과 함께 더 넓은 사회적 논의도 수반될 필요가 있다.
마지막으로 미디어 리터러시의 의미를 확장해 AI 언어 모델의 결과물을 비판적으로 수용하고 더 잘 활용할 수 있도록 AI 리터러시 능력을 키우는 것도 중요하다. 이러한 능력을 키워 나갈 수 있도록 AI 리터러시와 관련된 전주기적 교육에 관심을 가져야 한다.
인기기사
