AI
AI 기술 한계일까, 사용자가 활용을 못하는 걸까
Based on “Is It AI or Is It Me? Understanding Users’ Prompt Journey with Text-to-Image Generative AI Tools” (2024) by Atefeh Mahdavi Goloujeh, Anne Sullivan and Brian Magerko in Proceedings of the 2024 CHI Conference on Human Factors in Computing Systems, Article No. 183, Pages 1-13.
![GettyImages-2160483594_[변환됨]](/upload_dir/source/2024 408/GettyImages-2160483594_[변환됨].png)
무엇을, 왜 연구했나?
그래픽디자인, 게임 디자인, 건축 등의 분야에서 인공지능(AI)은 단순한 보조 역할을 넘어 창작 과정의 핵심 요소로 자리 잡고 있다. 이 변화를 이끄는 주요 동력은 DALL-E, 미드저니(Midjourney), 스테이블 디퓨전(Stable Diffusion)과 같은 생성형 AI 도구의 발전이다. 이런 도구들은 텍스트 입력(프롬프트)만으로도 사용자가 원하는 이미지를 생성하며 창작자들이 원하는 결과물을 제작할 수 있도록 돕는다.
그러나 때론 프롬프트 기반 AI 도구를 사용해도 원하는 결과물을 얻지 못하는 경우도 있다. 그럴 때마다 사용자는 AI 기술의 한계인지 아니면 스스로 잘 활용을 못하는 것인지에 대한 의구심을 품곤 한다. 이런 이유로 ‘프롬프티스트(Promptist)’라 불리는 연구자들은 자연어를 통한 이미지 생성 과정에서 발생하는 한계와 어려움을 탐구하고 있다. 사용자가 AI를 더 잘 활용할 수 있도록 프롬프트 엔지니어링에 관한 핸드북과 튜토리얼을 개발하기도 한다. 하지만 여전히 창작자들의 다양한 목표와 원하는 스타일을 모두 충족하기엔 한계가 있는 실정이다.
조지아공과대 연구진은 텍스트-이미지 생성 도구인 미드저니 사용자들의 행동 패턴을 분석해 창작자들이 실무에서 프롬프트를 최적화하는 방식과 그 과정에서 겪는 어려움을 파악하는 연구를 수행했다. 연구진은 미드저니 사용자 19명을 대상으로 반구조화 인터뷰(semi-structured interview)를 진행했다. 첫 번째 단계에서 참가자들에게 미드저니 사용 경험과 이를 통해 이루고자 하는 목표를 질문하고, 두 번째 단계에서는 참가자들이 생성한 이미지를 살펴보며 프롬프트 작성 과정, 결과 평가 방식, 수정 전략, 직면한 어려움에 대해 심층적으로 논의했다. 최종적으로는 인터뷰 데이터를 바탕으로 주제 분석(thematic analysis)을 실시해 인사이트를 도출했다.
무엇을 발견했나?
연구는 프롬프트 작성이 반복적이며 순환적인 과정을 통해 발전하고 사용자들이 도전과 성취를 경험하면서 프롬프트 작성 기술을 향상시킨다는 점을 보여준다. 미드저니 사용자들이 거치는 프롬프트 여정은 크게 프롬프트 구조 설정, 이미지 평가, 프롬프트 수정 단계로 나뉜다. 연구는 각 단계별 사용자 행동의 특징을 소개한다.
첫째, 사용자들은 각자의 목표와 작업 스타일에 따라 유연하게 프롬프트 구조를 선택하며 여정을 시작한다. 연구진은 다섯 가지의 대표적인 프롬프트 구조를 확인했다. (표 1) 예를 들어 일상적인 글쓰기에 익숙한 사용자는 직관적이고 간편하게 접근할 수 있는 설명문 구조를 선호했다. 반면 예술적인 스타일의 일관성을 유지하려는 사용자들은 고정된 형식의 템플릿 구조를 주로 선택했다.
둘째, 사용자들은 생성된 이미지를 시각적 디자인과 내용의 완성도를 기준으로 평가했다. 평가 기준에는 사실성, 색상, 구성, 심도 등이 포함됐으며 목표의 구체성과 표현 특성에 따라 기준이 달라졌다. 개방적 탐색을 즐기는 사용자들은 예기치 못한 결과를 긍정적으로 수용하는 경향이 있었으며 특정 스타일이나 목표를 중시하는 사용자들은 더 높은 정확성을 요구했다. 현실적이고 구체적인 표현이 필요한 콘텐츠에서는 사실성이 중요한 기준이 됐다.
셋째, 사용자들은 평가 결과를 바탕으로 원하는 이미지에 가까운 결과물을 얻기 위해 프롬프트를 수정했다. 이 과정에서 단어 추가, 생략, 순서 변경, 강조 등의 다양한 전략이 활용됐다. 예를 들어 특정 시각적 요소가 부족할 경우 관련 단어를 추가해 표현을 강화하거나 불필요한 부분을 생략해 단순화하는 방식을 사용했다. 일부 사용자는 프롬프트 내 특정 요소의 가중치를 조정하며 세밀하게 제어하려 했으며 초보 사용자는 ‘재생성(re-rolling)’ 기능을 통해 동일한 프롬프트로 다양한 결과를 탐색했다. 이런 수정 과정은 사용자가 만족스러운 결과에 도달할 때까지 반복됐다.
한편 연구진은 텍스트-이미지 AI 도구 사용 과정에서 사용자가 종종 직면하는 어려움도 밝혀냈다. 일례로 특정 장면이나 특징을 명확히 제시했음에도 결과물에 반영되지 않는 등 프롬프트 작성 시 AI가 사용자의 의도를 정확히 반영하지 못할 때 사용자는 좌절감을 느꼈다. 또한 효과적인 프롬프트 작성 노하우를 익히는 과정 역시 사용자에게는 도전적인 과제였다. 사용자는 다양한 시도를 통해 필요한 정보를 스스로 학습하지만 방대한 정보와 이를 실제로 적용하는 과정에서의 어려움 탓에 부담감을 느끼기도 했다.
연구 결과가 어떤 교훈을 주나?
연구는 텍스트-이미지 AI 도구를 통한 창작 과정이 복잡하고 다양한 전략과 방법을 요구하며 일회성 작업이 아닌 최상의 결과물을 위해 반복적인 평가와 정제 작업이 필수적임을 보여준다. 연구는 또한 프롬프트 작성 과정에서 발생하는 어려움의 원인이 사람과 AI, 양쪽에 있음을 밝힌다. 먼저 사용자가 텍스트-이미지 AI 도구에 대한 충분한 이해와 노하우를 가지고 효과적인 프롬프트 설계와 전략을 구사한다면 AI 기술의 한계를 보완하며 활용도를 높일 수 있을 것이다. 이런 능력 개발을 위해서는 직·간접적인 시행착오 경험이 중요하다는 점을 연구는 강조한다. 프롬프트 작성 능력은 개인 학습과 사회적 학습이 결합된 과정에서 발전할 수 있다. 연구에서 사용자는 시행착오를 통해 프롬프트를 개선하면서도 관련 커뮤니티의 사례를 참고하며 자신의 스타일에 맞게 프롬프트를 적용하는 경향을 보였다. 이는 UC버클리대 장 라베 교수와 교육 이론가 에티엔 벵거가 제시한 ‘상황적 학습(situated learning)’ 이론처럼 사회적 맥락 속에서 학습이 이뤄지는 과정을 반영하며 AI 창작 도구를 학습하는 과정이 점차 체계화되고 있음을 시사한다. 이런 과정은 전통적인 예술 도구 학습과 유사한 형태로 발전할 가능성을 보여준다.
또한 연구는 텍스트-이미지 AI 도구가 사용자의 다양한 목적과 의도에 더 적합하게 조정될 필요가 있음을 강조한다. 사용자는 때론 개방적 탐색을 위해, 때론 명확한 목표를 가지고 프롬프트를 작성하지만 AI가 그 의도를 충분히 이해하지 못해 혼란을 겪는 경우가 있다. 이를 해결하기 위해 AI 도구는 사용자의 의도를 더 잘 반영할 수 있도록 발전해야 한다. 결국 사람과 AI 모두 완벽하지 않기에 최적의 결과를 위해서는 양쪽 모두의 노력이 필요하다. 사용자는 AI의 한계를 이해하고 그에 맞는 활용 능력을 키워야 하며 이 과정에서 사회적 학습이 중요한 역할을 할 수 있다. AI 역시 사용자의 의도를 더 잘 파악할 수 있도록 기술, 상호작용 측면에서 개선이 필요하다. 이런 양쪽의 노력이 있을 때 새로운 사회적 변화와 가능성을 기대할 수 있을 것이다.
무엇을, 왜 연구했나?
그래픽디자인, 게임 디자인, 건축 등의 분야에서 인공지능(AI)은 단순한 보조 역할을 넘어 창작 과정의 핵심 요소로 자리 잡고 있다. 이 변화를 이끄는 주요 동력은 DALL-E, 미드저니(Midjourney), 스테이블 디퓨전(Stable Diffusion)과 같은 생성형 AI 도구의 발전이다. 이런 도구들은 텍스트 입력(프롬프트)만으로도 사용자가 원하는 이미지를 생성하며 창작자들이 원하는 결과물을 제작할 수 있도록 돕는다.
그러나 때론 프롬프트 기반 AI 도구를 사용해도 원하는 결과물을 얻지 못하는 경우도 있다. 그럴 때마다 사용자는 AI 기술의 한계인지 아니면 스스로 잘 활용을 못하는 것인지에 대한 의구심을 품곤 한다. 이런 이유로 ‘프롬프티스트(Promptist)’라 불리는 연구자들은 자연어를 통한 이미지 생성 과정에서 발생하는 한계와 어려움을 탐구하고 있다. 사용자가 AI를 더 잘 활용할 수 있도록 프롬프트 엔지니어링에 관한 핸드북과 튜토리얼을 개발하기도 한다. 하지만 여전히 창작자들의 다양한 목표와 원하는 스타일을 모두 충족하기엔 한계가 있는 실정이다.
조지아공과대 연구진은 텍스트-이미지 생성 도구인 미드저니 사용자들의 행동 패턴을 분석해 창작자들이 실무에서 프롬프트를 최적화하는 방식과 그 과정에서 겪는 어려움을 파악하는 연구를 수행했다. 연구진은 미드저니 사용자 19명을 대상으로 반구조화 인터뷰(semi-structured interview)를 진행했다. 첫 번째 단계에서 참가자들에게 미드저니 사용 경험과 이를 통해 이루고자 하는 목표를 질문하고, 두 번째 단계에서는 참가자들이 생성한 이미지를 살펴보며 프롬프트 작성 과정, 결과 평가 방식, 수정 전략, 직면한 어려움에 대해 심층적으로 논의했다. 최종적으로는 인터뷰 데이터를 바탕으로 주제 분석(thematic analysis)을 실시해 인사이트를 도출했다.
무엇을 발견했나?
연구는 프롬프트 작성이 반복적이며 순환적인 과정을 통해 발전하고 사용자들이 도전과 성취를 경험하면서 프롬프트 작성 기술을 향상시킨다는 점을 보여준다. 미드저니 사용자들이 거치는 프롬프트 여정은 크게 프롬프트 구조 설정, 이미지 평가, 프롬프트 수정 단계로 나뉜다. 연구는 각 단계별 사용자 행동의 특징을 소개한다.
첫째, 사용자들은 각자의 목표와 작업 스타일에 따라 유연하게 프롬프트 구조를 선택하며 여정을 시작한다. 연구진은 다섯 가지의 대표적인 프롬프트 구조를 확인했다. (표 1) 예를 들어 일상적인 글쓰기에 익숙한 사용자는 직관적이고 간편하게 접근할 수 있는 설명문 구조를 선호했다. 반면 예술적인 스타일의 일관성을 유지하려는 사용자들은 고정된 형식의 템플릿 구조를 주로 선택했다.
둘째, 사용자들은 생성된 이미지를 시각적 디자인과 내용의 완성도를 기준으로 평가했다. 평가 기준에는 사실성, 색상, 구성, 심도 등이 포함됐으며 목표의 구체성과 표현 특성에 따라 기준이 달라졌다. 개방적 탐색을 즐기는 사용자들은 예기치 못한 결과를 긍정적으로 수용하는 경향이 있었으며 특정 스타일이나 목표를 중시하는 사용자들은 더 높은 정확성을 요구했다. 현실적이고 구체적인 표현이 필요한 콘텐츠에서는 사실성이 중요한 기준이 됐다.
셋째, 사용자들은 평가 결과를 바탕으로 원하는 이미지에 가까운 결과물을 얻기 위해 프롬프트를 수정했다. 이 과정에서 단어 추가, 생략, 순서 변경, 강조 등의 다양한 전략이 활용됐다. 예를 들어 특정 시각적 요소가 부족할 경우 관련 단어를 추가해 표현을 강화하거나 불필요한 부분을 생략해 단순화하는 방식을 사용했다. 일부 사용자는 프롬프트 내 특정 요소의 가중치를 조정하며 세밀하게 제어하려 했으며 초보 사용자는 ‘재생성(re-rolling)’ 기능을 통해 동일한 프롬프트로 다양한 결과를 탐색했다. 이런 수정 과정은 사용자가 만족스러운 결과에 도달할 때까지 반복됐다.
한편 연구진은 텍스트-이미지 AI 도구 사용 과정에서 사용자가 종종 직면하는 어려움도 밝혀냈다. 일례로 특정 장면이나 특징을 명확히 제시했음에도 결과물에 반영되지 않는 등 프롬프트 작성 시 AI가 사용자의 의도를 정확히 반영하지 못할 때 사용자는 좌절감을 느꼈다. 또한 효과적인 프롬프트 작성 노하우를 익히는 과정 역시 사용자에게는 도전적인 과제였다. 사용자는 다양한 시도를 통해 필요한 정보를 스스로 학습하지만 방대한 정보와 이를 실제로 적용하는 과정에서의 어려움 탓에 부담감을 느끼기도 했다.
연구 결과가 어떤 교훈을 주나?
연구는 텍스트-이미지 AI 도구를 통한 창작 과정이 복잡하고 다양한 전략과 방법을 요구하며 일회성 작업이 아닌 최상의 결과물을 위해 반복적인 평가와 정제 작업이 필수적임을 보여준다. 연구는 또한 프롬프트 작성 과정에서 발생하는 어려움의 원인이 사람과 AI, 양쪽에 있음을 밝힌다. 먼저 사용자가 텍스트-이미지 AI 도구에 대한 충분한 이해와 노하우를 가지고 효과적인 프롬프트 설계와 전략을 구사한다면 AI 기술의 한계를 보완하며 활용도를 높일 수 있을 것이다. 이런 능력 개발을 위해서는 직·간접적인 시행착오 경험이 중요하다는 점을 연구는 강조한다. 프롬프트 작성 능력은 개인 학습과 사회적 학습이 결합된 과정에서 발전할 수 있다. 연구에서 사용자는 시행착오를 통해 프롬프트를 개선하면서도 관련 커뮤니티의 사례를 참고하며 자신의 스타일에 맞게 프롬프트를 적용하는 경향을 보였다. 이는 UC버클리대 장 라베 교수와 교육 이론가 에티엔 벵거가 제시한 ‘상황적 학습(situated learning)’ 이론처럼 사회적 맥락 속에서 학습이 이뤄지는 과정을 반영하며 AI 창작 도구를 학습하는 과정이 점차 체계화되고 있음을 시사한다. 이런 과정은 전통적인 예술 도구 학습과 유사한 형태로 발전할 가능성을 보여준다.
또한 연구는 텍스트-이미지 AI 도구가 사용자의 다양한 목적과 의도에 더 적합하게 조정될 필요가 있음을 강조한다. 사용자는 때론 개방적 탐색을 위해, 때론 명확한 목표를 가지고 프롬프트를 작성하지만 AI가 그 의도를 충분히 이해하지 못해 혼란을 겪는 경우가 있다. 이를 해결하기 위해 AI 도구는 사용자의 의도를 더 잘 반영할 수 있도록 발전해야 한다. 결국 사람과 AI 모두 완벽하지 않기에 최적의 결과를 위해서는 양쪽 모두의 노력이 필요하다. 사용자는 AI의 한계를 이해하고 그에 맞는 활용 능력을 키워야 하며 이 과정에서 사회적 학습이 중요한 역할을 할 수 있다. AI 역시 사용자의 의도를 더 잘 파악할 수 있도록 기술, 상호작용 측면에서 개선이 필요하다. 이런 양쪽의 노력이 있을 때 새로운 사회적 변화와 가능성을 기대할 수 있을 것이다.
인기기사
