전략 평가할 땐 여러 AI 조언 종합하면 효과적

Based on “Generative artificial intelligence and evaluating strategic decisions” (2025) by Anil R. Doshi, J. Jason Bell, Emil Mirzayev, Bart S. Vanneste in Strategic Management Journal, 46(3), 583–610

---

무엇을, 왜 연구했나?

전략적 의사결정은 기업의 운명을 좌우하는 중요한 행위다. 하지만 이러한 결정은 대부분 불확실하고 되돌릴 수 없다. 따라서 사전에 다양한 대안의 가치를 잘 예측하는 것이 무엇보다 중요하다. 과거에는 이 같은 의사결정이 주로 인간 전문가의 경험과 직관에 의존했지만 인간의 판단은 편향되거나 일관성이 떨어질 수 있으며 대안이 많아질수록 효율성이 저하된다. 이에 따라 최근에는 GPT, 클로드, 제미나이 같은 대형 언어모델(LLM)을 포함한 생성형 인공지능(generative AI)이 이런 전략 판단에 도움을 줄 수 있을지에 대한 관심이 커지고 있다. 방대한 데이터를 학습해 복잡한 문제를 해결하는 생성형 AI가 전략적 대안의 평가에도 활용될 수 있을지가 새롭게 주목받고 있는 것이다.

런던대(UCL)와 옥스퍼드대 연구팀은 생성형 AI가 전략적 대안을 어떻게 평가하는지를 두 차례 실험을 통해 분석했다. 첫 번째 실험에서는 AI가 생성한 비즈니스 모델을, 두 번째 실험에서는 실제 기업이 창업경진대회에 제출한 60개 비즈니스 모델을 평가 대상으로 삼았다. 그리고 생성형 AI와 인간 전문가로 하여금 한 쌍씩 비교하도록 한 뒤 AI 평가 결과와 인간 전문가의 판단이 얼마나 유사한지 측정했다. 아울러 7개의 LLM과 다양한 역할 설정(투자자, 창업자, 전략 교수 등), 프롬프트 입력 방식을 다양하게 조합해 ‘AI 집단지성’이 인간의 전략 판단을 얼마나 닮을 수 있는지 검증했다. 이 연구는 생성형 AI가 전략적 의사결정 과정에 기여할 수 있는 가능성과 한계를 실증적으로 탐색하고자 했다.


무엇을 발견했나?

연구 결과 생성형 AI는 개별 평가에서는 종종 일관성이 떨어지고 편향된 선택을 했다. 예를 들어 같은 모델 쌍의 순서만 바뀌었는데 결과가 달라지는 경우도 있었고 특정 LLM은 항상 두 번째 모델을 선택하는 문제가 발생하기도 했다. 즉 단일 AI의 평가는 인간 전문가와 상당한 격차를 보였다.

그러나 여러 LLM의 평가를 집계(aggregation)하면 놀랍게도 인간 전문가의 판단과 높은 유사성을 보였다. AI의 평가 순위가 전문가의 판단과 더 일치하는 경향이 나타난 것이다. 이는 개별 LLM의 한계에도 불구하고 다양한 AI 평가를 종합하면 더 신뢰할 수 있는 결과를 도출할 수 있음을 보여준다. 마치 여러 전문가의 의견을 종합해 의사결정의 정확성을 높이는 것과 같다.

AI가 생성한 비즈니스 모델을 평가한 첫 번째 실험뿐 아니라 실제 미국 창업경진대회에 제출된 60개 스타트업 모델을 대상으로 한 두 번째 실험에서도 비슷한 결과가 확인됐다. AI의 판단과 심사위원 점수 간의 유사성은 정성적·정량적으로 첫 번째 실험과 유사했다. 이는 AI의 전략 판단이 현실 비즈니스 상황에도 적용 가능함을 보여준다.

연구 결과가 어떤 교훈을 주나?

본 연구는 생성형 AI가 인간 전문가처럼 전략적 통찰을 제공할 수 있다는 교훈을 준다. 물론 단일 생성형 AI의 판단은 편향되거나 일관성이 떨어질 수 있으므로 그 결과에 전적으로 의존하는 것은 위험하다. 그러나 다양한 조건에서 반복 평가하고 이를 집계하면 정확도가 높아지며, 전문가 집단 수준의 전략적 판단을 쉽게 재현할 수 있다. 이는 ‘AI 집단지성(Wisdom of Artificial Crowd)’이 작동하는 사례로도 해석될 수 있다.

생성형 AI는 전략적 의사결정 과정에서 대안의 예측을 제공함으로써 가치를 창출할 수 있는 강력한 도구다. 특히 여러 대안에 대해 빠르고 대량의 평가가 요구되는 상황에 효율적이다. 복잡하고 불확실한 전략 환경에서 의사결정자의 부담을 덜어주고 더 많은 정보를 기반으로 판단을 내릴 수 있도록 도와줄 수 있다.

다만 실무에서 생성형 AI를 전략적 의사결정에 활용할 경우 단일 모델보다는 다중 모델을 사용하거나 다양한 프롬프트를 조합해 여러 결과를 종합적으로 고려하는 접근이 필요하다. AI가 제시하는 평가를 그대로 수용하기보다는 인간 전문가의 비판적 사고와 결합해 그 가치를 극대화해야 한다. 인간은 AI가 간과할 수 있는 맥락적 요소나 비정형적 상황을 반영해 최종 결정을 내리는 주체가 돼야 한다.

종합하자면 향후 기업들은 전략 대안을 평가할 때 생성형 AI의 조언을 집계하는 구조를 설계해야 한다. 그래야 상대적으로 적은 시간과 자원으로도 전문가 수준의 의사결정을 내릴 수 있다. 그러나 AI에 판단을 전적으로 위임하거나 인간의 대안으로 여기기보다는 인간의 역량을 강화하는 조력자로 바라봐야 한다. 전략적 판단의 미래는 인간과 AI가 함께 만들어가는 ‘하이브리드 전략 사고’에 달려 있다.