로그인|회원가입|고객센터
Top
검색버튼 메뉴버튼

MIT Sloan Management Review

지능형 조직을 구축하고 싶다면 하이브리드 방식으로 의사결정을

필립 E. 테틀록 (Philip E. Tetlock),폴 J. H. 슈메이커(Paul J. H. Schoemaker) | 228호 (2017년 7월 Issue 1)
Article at a Glance

질문
기업은 어떻게 더 스마트한 사업 결정을 내릴 수 있을까?

연구를 통해 얻은 해답
- 주관적 예측 능력의 작은 개선들이 커다란 전략적 이점으로 연결될 수 있다.
- 의사결정 편향에 대한 교육을 실시하는 것만으로도 관리자들의 예측 능력을 개선할 수 있다.
- 컴퓨터의 힘에 인간의 사고 특성에 대한 최근 통찰력을 체계적으로 통합하는 기업들은 찾아보기 힘들다.



편집자주

이 글은 2017년 봄 호에 실린 ‘Building a More Intelligent Enterprise’를 번역한 것입니다.


112


기업이 장기적으로 성공하려면 지속가능한 경쟁 우위를 창출해야 한다. 이런 우위는 규모를 기반으로 하는 저비용, 독점적 지적 재산, 매우 의욕적인 직원, 장기적이고 전략적인 혜안을 가진 리더처럼 전통적 역량에서 나올 수 있다. 그러나 지식 경제에서 전략적 우위는 점점 더 탁월한 판단과 선택을 내릴 수 있는 조직의 공동 역량에 좌우되고 있다.

오늘날의 지능형 기업은 2가지 분명한 동력에 의해 만들어진다. 첫 번째는 운영연구(operations research), 예측모델(forecasting models), 인공지능(artificial intelligence)의 기반을 마련하는 컴퓨터와 빅데이터 역량의 향상이다. 두 번째는 인간의 판단과 추론, 선택에 대해 더욱 풍부해진 이해력이다. 수십 년간 진행된 연구로 인간이 잘하는 것과 못하는 것에 대한 깊은 통찰력을 얻을 수 있었기 때문이다.1 (‘연구내용’ 참조.)

DBR mini box

연구 내용


이 기사는 전략, 조직이론, 인간판단, 예측분석, 경영과학에서 얻은 통찰력을 종합해 작성했다. 기사에 설명된 5가지 방법 중 다수의 개념들은 필자들이 참여한 기업과의 협력 작업뿐 아니라 2011년부터 2015년까지 IARPA(정보고등연구기획청)의 후원으로 진행된 지정학적, 경제적 예측 토너먼트에 참여한 경험을 바탕으로 개발됐다. 이 토너먼트에 출전한 사람들은 확률적 예측을 하고, 그 예측 내용은 이후 실제 결과에 따라 점수로 매겨졌다. 5개 학술 연구팀이 모집한 총 2만 명의 예측가들은 매년 열린 4번의 IARPA 토너먼트에 참가했다. 각 팀의 성과를 측정하는 공식 지표로는 확률적 정확성을 측정하는 척도인 누적 브라이어 점수(cumulative Brier score)가 사용됐다. 이 점수들은 질문과 팀, 그리고 실험 조건들을 기준으로 비교됐다. 필립 테틀록과 펜실베이니아대 I. 조지 헤이만(I. George Heyman) 대학 교수인 바버라 멀러즈가 굿 저지먼트 프로젝트 팀을 이끌었고 폴 슈메이커는 여러 자문위원 중 한 명으로 도움을 줬다. 이 팀은 토너먼트에서 우승했다.

더 나은 지능형 조직을 창조하기 위해 경영진은 인간과 컴퓨터의 강점을 결합해 뛰어난 판단을 내릴 수 있는 환경을 구축해야 한다. 이를 위해서는 인간의 의사결정 역량(‘소프트파워’)과 진화하는 기술 기반 역량(‘하드파워’)에 대한 수준 높은 이해가 필요하다.

인간과 컴퓨터 중 어느 쪽이 더 우세한지는 수행할 임무가 익숙한 것인지, 아니면 특이한 것인지 등 여러 요인에 달려 있다. 임무가 익숙하고 활용 가능한 데이터가 충분한 경우에는 컴퓨터가 데이터 중심의 고도로 일관된 예측력을 발휘함으로써 인간을 이길 가능성이 크다. 인공지능 기술이 빠르게 개발되고 있지만 수행 임무가 특이하고 데이터 과부하가 인간에게 문제가 되지 않는다면 일반적으로 인간의 판단력이 더 정확하다. 그러나 대다수 경우에는 인간과 컴퓨터가 힘을 합칠 때 가장 우월한 성과를 보인다.


이 기사에서 우리는 관리자들이 불확실성과 복잡성에 직면했을 때 더 스마트한 선택을 하기 위해 인간의 지능과 기술 기반의 통찰력을 어떻게 결합할 수 있는지 살펴볼 것이다. 이 2가지 지식의 흐름을 통합하는 게 쉬운 일은 아니다. 그러나 일단 경영진이 이 둘을 어떻게 융합하는지 알게 되면 가공할 만한 효과를 얻을 수 있다. 5번의 의사결정 중 3번을 올바르게 내린 회사는 5번 중 2.8번을 올바르게 내린 회사보다 경쟁적 우위를 점할 수 있다. 아주 사소한 성과 차이로 보이겠지만 시간이 지나면서 이런 작은 차이가 커다란 통계적 혜택으로 이어질 수 있기 때문이다. 예를 들어 어떤 테니스 경기 전체(매치 기준)에서 한 선수가 승점(포인트)을 낼 확률이 55% 대 45%로 상대의 우위에 있다면 그 선수가 3세트를 치르면서 이길 확률은 90% 이상이라고 한다.2

필자들은 기업이 비즈니스에서 이런 누적 효과를 얻을 수 있는 5가지 전략적 역량을 파악했다. 조직은 이런 역량을 통해 더 나은 판단과 현명한 선택을 함으로써 경쟁자들을 능가하는 지능형 기업이 될 수 있다. 빅데이터와 예측분석(predictive analytics) 기법을 사용한 덕분에 그런 역량의 일부를 이미 개발하기 시작한 기업들도 많다.3 하지만 컴퓨터의 힘에 인간의 사고 특성에 대한 최근 통찰력을 체계적으로 통합하는 기업들은 찾아보기 힘들다. 오늘날 관리자들이 경쟁사보다 우위를 점하기 위해서는 아래의 기회들을 포착해야 한다.

1. 전략적 우위를 찾아라. 과거에 조직이 예측했던 사항들을 평가하면서 주관적 예측력을 개선했을 때 정말 눈에 띄는 효과가 나타날 수 있는 영역에 주력하라.

2. 예측 토너먼트를 시행하라. 팀들 간의 경쟁과 실험, 혁신을 자극함으로써 최선의 예측 방법을 발견하라.

3. 조직 내 전문가를 모델로 삼아라. 주요 사업 영역에서 탁월한 통찰력을 입증한 직원들을 내부에서 파악하고 간단한 선형 모델을 통해 그들의 지혜를 적극적으로 활용하라.

4. 인공지능을 통해 실험하라. 간단한 선형 모델 이상을 시도해 보라. 인간 전문가의 능력을 뛰어넘을 수 있도록 특정 직무 영역에 국한해 심신경망(deep neural nets)을 이용하라.

5. 조직 운영 방식을 바꿔라. 인간과 기계의 역량을 결합하는 더 나은 방법을 지속적으로 모색하는 탐구적 문화를 촉진하라.



1. 전략적 우위를 찾아라

지능형 기업이 되는 출발점은 최대 성과를 얻을 수 있는 곳에 분석 노력을 집중하는 것이다. 즉, 다수의 비즈니스 이슈 중 어떤 것을 해결할지 전략적 결정을 내리는 것이다. 지능형 기업의 스위트 스폿(sweet spots)은 바로 하드 데이터와 소프트한 판단력이 생산적으로 결합될 수 있는 지점이다. 이 영역의 한쪽 면은 철학자 카를 포퍼(Karl Popper)가 결정론적 규칙성으로 인해 ‘시계 같다(clocklike)’고 말한 문제들로 얽혀 있으며 다른 쪽 면은 그가 불확실성 때문에 ‘구름 같다’고 말한 문제들로 얽혀 있다.4

시계와 같은 문제들은 다루기 쉽고, 안정적이며, 과거 경험(보험 통계 자료나 신용 보고서에 기록돼 있는)에 의해 규정될 수 있다. 통계적 예측 모델은 여기서 빛을 발한다. 이런 문제들에 있어서도 이례적 상황(기대 수명을 연장하는 새로운 의학적 솔루션의 영향력을 평가하는 것처럼)에서는 인간의 판단력이 일정 역할을 수행하지만 판단의 주체라기보다는 방관자적 입장에 가깝다. 구름과 같은 문제들(지구온난화가 2025년 마이애미에 대홍수를 일으킬 수 있는 확률을 정하거나 다른 행성에도 지적 생명체가 존재하는지 확인하는 경우처럼)은 훨씬 더 판단이 까다롭다. 그러나 이런 문제들에 있어서 가장 중요한 것은 전문가의 지식이며, 특히 전문가 스스로 자신이 무엇을 알고, 또 무엇을 모르는지 그 미묘한 차이를 인식하는 능력이 중요하다. 관리자들의 스위트 스폿은 컴퓨터와 알고리즘의 힘에 노련한 인간의 판단력과 현명한 의문을 결합할 수 있는 능력에 있다. (그림 1) 인간의 정보처리 과정을 쉽게 왜곡하는 판단의 편향을 피하고, 통계 모델에서 발생할 수 있는 근거 없는 가정에 대해 제대로 인식한다면 분석의 전체 효과는 그것을 이루는 부분의 합보다 더 커질 수 있다.
115

진정한 지능형 기업을 창조하는 것은 쉽지 않고 하루아침에 이뤄질 수도 없다. 필자들이 제안하는 내용 중 일부는 반직관적이며 훈련을 요한다. 지난 몇십 년간 인지심리학 분야에서 찾은 돌파구들은 다수의 뛰어난 리더들이 편견과 불합리한 사고의 함정을 인식할 수 있도록 도움을 줬다.5 하지만 이런 통찰력을 통해 경쟁의 판도를 바꾸는 업무 관행을 구축해 사업을 더 똑똑하게 추진하는 기업은 거의 없는 것 같다. 데이터 마이닝을 활용하는 회사들도 불행인지, 다행인지 애널리스트들을 직감의 함정에 빠지게 하는 약점과 기이한 특징들을 제대로 인식하지 못한다. 게다가 조직의 의사결정을 이끄는 경영진에게 그들의 견해를 깊이 있게 따져 묻는 사람들도 거의 없다. 대부분의 경우에는 비즈니스 판단 및 결정을 내리는 데 적용한 처음 가정들을 검토조차 하지 않는다. 이렇게 볼 때 기업의 의사결정 프로세스를 개선하고 데이터 및 기술적 도구들을 활용함으로써 회사의 지능지수를 올릴 수 있는 기회는 분명히 존재한다.



2. 예측 토너먼트를 시행하라

기업이 더 나은 전망을 하는 좋은 방법 중 하나로 소위 예측 토너먼트(prediction tournaments)가 있는데, 해당 분야에서 최선의 평가를 내릴 수 있는 사람들과 접근법을 이용하는 것이다. 예측 토너먼트의 개념은 참가자들로 하여금 앞으로 일어날 것 같은 상황을 예측하고 그 판단을 확률로 계산한 다음, 그 결과를 추적해 가장 정확한 예측을 한 것으로 입증된 참여자에게 인센티브를 지급하는 것이다. 예측 토너먼트에서 지나치게 긍정적이거나 부정적인 예측을 하고, 또 경쟁자를 상대로 전략적 게임을 벌이는 건 아무 득이 될 게 없다. 토너먼트 주관자의 임무는 이슈와 관련된 일련의 질문들을 개발한 다음, 그 답을 제공해줄 수 있는 참가자들을 끌어들이는 것이다.

예측 토너먼트를 효과적으로 활용하는 조직으로 IARPA(Intelligence Advanced Research Projects Activity·정보고등연구기획청)가 있다. IARPA는 미국 국가정보국 산하 기관으로 지능적 분석 역량을 향상하는 방법에 관한 고위험 고수익 연구들을 관할한다. 2011년에 IARPA는 지정학적 사건에 대한 인간의 확률 판단의 정확성을 높이는 최선의 방법을 개발하기 위해 5개 연구팀을 경쟁에 참여시켰다. 경쟁 주제로는 유로존 탈퇴 시나리오부터 북한의 핵 프로그램 방향에 이르기까지 전반적인 이슈가 포함됐다. 필자 중 한 명인 필 테틀록은 굿 저지먼트 프로젝트(Good Judgement Project)6 라는 팀의 공동 리더로 참여했고, 예측 정확도를 결정짓는 중요한 요인들을 발견하기 위해 기존에 전승되는 이론들을 무시하고 현장 연구를 시행함으로써 토너먼트에서 우승했다. 이들은 성공적인 예측에 핵심이 되는 4가지 요인을 발견했다.7

1) 지속적으로 뛰어난 예측 능력을 보이는 사람들의 자질(예: 강한 호기심, 열린 마음, 예측 능력은 개발될 수 있고 개발할 만한 가치가 있다는 생각을 기꺼이 실험해 보는 자세 등)을 파악하라.

2) 흔히 나타나는 인지적 편향(예: 자기 과신이나 자신의 선입견을 강화하는 증거에 더 무게를 싣는 경향 등)을 피하는 기술들을 훈련하라.

3) 최고의 예측 실력자들이 팀워크에 따라 서로 협력할 수 있도록 격려하고, 정밀 질문(precision questioning)과 건설적 대립(constructive confrontation) 같은 기술을 연마함으로써 집단적 사고를 피하는 작업 환경을 조성하라.

4) 집단적 지혜를 추출하기 위해 더 나은 통계적 방법(예: 과거에 뛰어난 예측 성과를 보였거나 더 다양한 관점을 가진 사람들에게 가중치를 부여)을 고안하라.8

필자들의 경험에 의하면 조직 내에서 예측 토너먼트를 수행했을 때 얻는 가장 큰 장점은 학습 사이클을 가속화하는 힘에 있다. 기업들은 다음 원칙들을 지킴으로써 학습 속도를 높일 수 있다.

● 첫째, 신중한 기록 관리가 중요하다. 본인뿐 아니라 다른 사람들의 예측 기록을 정확하게 관리하면 과거에 예측했던 내용들을 잘못 기억할 가능성이 적어진다. 이렇게 하면 ‘내가 다 알아’식의 자기중심적 태도와 ‘증거가 없다’는 이유로 경쟁자들을 불신하려는 경향을 막는 중요한 균형감각을 가질 수 있다.

● 둘째, 예측 토너먼트는 참가자들이 기억의 오류를 일으키기 어렵게 함으로써 자신들의 실패와 성공의 또 다른 측면에 맞서게 한다. 일반적으로 실패한 사람들은 처음에 그 사실을 부정한다. 하지만 토너먼트는 참가자들이 좀 더 자신을 성찰할 수 있는 기회를 주고 선제적 자기비판 같은 사고방식을 취하게 한다. 즉 참가자들로 하여금 자신이 치명적으로 잘못 판단했을 수도 있는 것들을 생각해 보도록 유도한다.

● 셋째, 토너먼트는 우승자를 배출하기 때문에 우승을 놓친 사람들은 자연스럽게 어떻게 그런 뛰어난 결과를 냈는지 궁금하게 된다. 이 과정에서 참가팀들은 자신들이 시도한 방법을 다시 실험하고 개선할 수 있도록 자극받는다.

● 넷째, 예측 토너먼트의 채점 방식은 처음부터 모든 참가자들에게 분명히 제시된다.9 이런 특징 때문에 참가자들은 모두 공정한 경쟁을 하고 있다는 인식을 갖게 된다.



최근까지도 확률적 추론(probabilistic reasoning)과 인지적 편향 제거(cognitive debiasing) 능력을 학습하면 현실 속 복잡한 사건들에 대한 예측 능력을 향상시킬 수 있다는 사실에 대해 발표된 연구 자료가 거의 없었다.10 학자들도 사람들 스스로 인지적 착각을 극복하는 것은 거의 불가능하다고 여겼다.11 하지만 IARPA 토너먼트 결과 단 몇 시간만 맞춤형 교육을 해도 인지적 착각을 개선할 수 있다는 사실이 드러났다. 특히, 통계적 추론(statistical reasoning)부터 시나리오 플래닝(scenario planning), 집단역학(group dynamics)까지 행동적 의사결정 이론(behavioral decision theory)과 관련된 능력을 함양하는 교육으로 관리자들의 의사결정 기술을 상당히 개선할 수 있다. 필자들이 함께 협력했던 기업들의 경우에는 인지 편향을 증명하는 개인 및 그룹 훈련과 시나리오 플래닝 같은 주제에 대한 동영상 학습, 맞춤화된 비즈니스 시뮬레이션 등의 방법으로 교육이 진행됐다.



3. 조직 내 전문가를 모델로 삼아라

좀 더 지능적인 조직을 만드는 또 다른 방법으로 전문가급 직원들을 본보기로 삼아 그들의 지식을 더 효과적이고 객관적으로 활용하는 것이 있다. 이런 접근법은 부트스트래핑(bootstrapping)이라고 알려진 의사결정 연구 기법을 통해 완수될 수 있다.12 결정 심리학에서 부트스트래핑 연구의 초기 사례로 농작물 전문가들의 심리를 파악한 연구가 있었다. 이 전문가들은 농부들이 재배한 농작물이 거래되는 도매 경매장에서 옥수수의 품질을 결정하는 역할을 했다.13 연구진은 평가단에게 옥수수 500알의 도매가를 산정해 달라고 요청했다. 이 가격으로 옥수수의 최종 시장 소매가를 예측할 수 있었다. 전문가 평가단은 각 옥수수의 길이와 둘레, 옥수수알의 중량과 알 끝의 밀도, 알의 부푼 정도와 찰기 등 아주 다양한 요인들을 감안했다. 그다음으로 연구진은 평가단이 가격 예측에 가장 중요하다고 주장한 요인들을 기초로 간단한 평점 모델을 만들었다. 옥수수 평가단과 연구진은 모두 이 간단한 합산형 모델이 경험이 풍부한 전문가의 예측보다 정확성에서 떨어질 것으로 예상했다. 하지만 놀랍게도 평가단의 전략을 모방한 것에 불과한 평점 모델은 전문가들의 예측력보다 거의 언제나 더 뛰어났다.

수십 년 전, 은행들이 대출 결정을 보조하기 위해 컴퓨터 모델을 도입했을 때도 상황은 비슷했다. 인간의 전문적 판단력을 단순화한 모델이 경험 많은 대출 심사 담당자의 예측력보다 더 나으리라 예상한 사람은 거의 없었다. 소비자 대출에는 아주 노련한 심사관만이 제대로 평가할 수 있는 주관적 요인들이 다수 포함돼 있어서 인간의 직관적인 전문성을 변형한 단순한 공식으로 새로운 대출 담당자들의 빠른 교육을 대체할 수 있을지 사람들은 회의적이었다. 그러나 이 사례에서도 역시 컴퓨터 모델이 대출 전문가들보다 더 나은 능력을 발휘했다.14 새로 채용한 영업사원의 실적부터 기업의 파산 위험, 말기 암환자의 수명 예측까지, 다른 여러 경우에도 실험 결과는 기본적으로 동일했다.15 전문가들은 자신이 가진 깊이 있는 지식에도 불구하고 정확한 예측을 하지 못했다.16

인간이 무언가를 예측할 때는 그 지혜가 ‘무작위 잡음(random noise)’과 뒤섞이게 된다. 여기서 잡음이란 인간이 느끼는 피로감과 지루함, 그 외 변덕들로 인해 인간의 판단에 영향을 미치는 비일관성을 말한다.17 전문가의 판단력을 의사결정 모델에 포함시키는 부트스트랩핑은 전문가의 통찰력은 유지하면서 그런 비일관성을 제거한다.18 하지만 인간이 혼자서 판단을 내릴 때에는 그런 결과가 나오지 않는다. 예를 들어 한 대표적인 의학 연구 사례에서 방사선 전문의들에게 위궤양이 의심되는 96명의 환자 정보를 제공한 다음 그들의 상태가 암으로 발전될 가능성을 평가해 달라고 요청했다.19 일주일 후 같은 전문의들에게 동일한 환자 정보를 순서만 바꿔 제시했다. 그 결과 전체 사례 중 23%에서는 두 번째 진단이 첫 번째 진단과 다르게 나타났다.20 두 번의 진단이 완벽히 일치한 전문의는 아무도 없었다. 어떤 의사는 절반에 가까운 사례에서 비일관적인 진단을 했다.

의학에서 금융에 이르기까지 다양한 분야에서 진행된 연구들 모두에서 전문가를 전문가의 의견이 포함된 컴퓨터 모델로 대체했을 때 더 뛰어난 판단 능력을 보여줬다.21 대부분의 경우에 부트스트랩핑 모델은 전문가 혼자서 예측할 때보다 더 높은 정확성을 보였다.22 그럼에도 불구하고 예측 판단에 있어서는 그 사건에 가장 중요한 작용을 하는 요인들을 규명하기 위한 인간 전문가들이 필요하다는 점에서 부트스트랩핑 모델은 아직 기초적인 수준에 머물러 있는 경우가 많다. 인간은 또한 예측변수(대학 지원자들이 제출하는 추천서의 우수성이나 의료 사례에서 환자들의 전반적인 건강 상태 등)별 점수를 할당하는 데에도 중요한 역할을 한다. 더 나아가 인간은 오래된 모델을 언제 업데이트해야 하는지 그 시점을 파악하는 데도 능숙하다.

부트스트랩핑에는 인공지능 분야의 심신경망(deep neural networks) 분야에서 나타나는 하이테크 특유의 활기가 부족하다. 그럼에도 불구하고 아직은 전문가의 직관을 포함해 인간과 모델의 역량을 결합하는 잠재적 혜택을 강력하게 입증하는 접근법 중 하나라 할 수 있다.23 또 한 가지 의문은 인간의 개입을 더 많이 허용함으로써(예를 들면 모델에 없는 정보가 의사에게 있을 때) 더 많은 혜택을 얻을 수 있는가 하는 문제다. 하지만 인간은 너무 많은 사례들을 특별하고 독특하다고 여기는 경향이 있어서 개입이 많아질 경우에는 모델을 쉽게 무시하는 위험을 초래할 수 있다.24 전문가들의 의견을 추가하는 한 가지 방법으로 전문가에게(대출 담당자나 의사 등) 제한된 수만큼만 모델이 제안하는 내용을 무시할 수 있는 권한을 부여하는 것이다.

마케팅 학자들은 한 현장 연구를 통해 소매 분야에서 인간과 컴퓨터 모델을 결합했을 때 효과를 실험했다.25 연구원들은 (1) 패션 상품의 카탈로그 판매에 대한 전문 바이어들의 예측과 (2) 쿠폰 사용률에 대한 브랜드 매니저들의 예측이라는 두 가지 상황에 대해 실제 현장조사 데이터를 확보한 후 그 결과를 예측치와 비교했다. 이들은 다음으로, 같은 2가지 상황을 인간과 컴퓨터 모델을 결합해 예측했을 때는 그 결과가 어떤지를 실험했다. 그리고 카탈로그 판매나 쿠폰 사용률 모두 인간과 모델을 결합했을 때 최선의 예측 결과가 산출된다는 것을 확인했다.



4. 인공지능을 통해 실험하라

부트스트래핑은 인간의 추론 프로세스와 상관없이 입출력 값으로 전문 지식을 모델링하는 접근법을 취한다. 따라서 부트스트래핑 기법은 인간의 통찰력이나 빅데이터 마이닝에서 끌어온 변수 사이의 훨씬 더 복잡한 관계까지 파악할 수 있는 인공지능 기술을 결합함으로써 더 강화될 수 있다.

심오한 인지적 통찰력은 인공지능 발달 초기에 체스 대가의 머릿속을 컴퓨터로 모델링하는 역할도 했다. 그러나 인간이 가진 다양한 편향 때문에 인간의 사고를 모델링하는 데에는 한계가 있다. 대개 컴퓨터는 뛰어난 계산 능력으로 이전 데이터를 연구함으로써 경쟁력을 확보한다. IBM의 딥블루(Deep Blue) 슈퍼컴퓨터도 1997년에 이 방법으로 세계 체스 챔피언인 게리 카스파로프(Garry Kasparov)를 무너뜨릴 수 있었다. 오늘날 인공지능은 컴퓨터 시각(computer vision)과 자연언어(natural language, 기계어와 구분되는 개념으로 인간이 일상적으로 사용하는 언어-역주)의 이해, 로봇공학, 머신러닝 등 다양한 유형의 기계 지능(machine intelligence)에 활용된다. 그러나 인간이 여러 분야를 아울러 갖고 있는 폭넓은 지능이 아직 인공지능에는 결여돼 있다. 이런 측면에서 인간 전문가들은 맥락적 지성, 창의성, 혹은 세상에 대한 광범위한 지식이 필요할 때마다 여전히 중요한 존재로 남는다.

인간은 새로운 자극을 머릿속 사고 모델에 연결하기 위해 패턴 매칭(pattern matching)과 스토리텔링 등 다양한 인지적 메커니즘을 사용해 주변의 복잡한 세상을 단순화한다.26 예를 들어 심리학자들이 모의재판에 참여한 배심원들을 연구한 내용을 보면 배심원들은 자신들에게 주어진 제한된 정보로 스토리를 만든 다음 처음 만든 스토리를 강화하는 방향으로 새로운 정보를 처리하는 모습을 보였다.27 이때 위험은 인간이 스스로 처음 만든 스토리의 한계에 갇힘으로써 거기에 부합되지 않는 정보보다 스토리를 강화하는 증거들에 더 높은 가치를 두기 시작한다는 점이다.28 사람들은 종종 실재하지 않는 패턴을 보거나 기존에 갖고 있던 스토리라인에 수정을 요하는 새로운 데이터를 보지 못한다.29

인간 전문가들은 일반적으로 신호와 잡음, 편견을 제공하고 그런 잡음과 편견이 어느 정도 영향을 미쳤는지도 알 수 없기 때문에 실전에서 이 3가지 요인을 구분하고 제거하기가 어렵다.30 인간과 컴퓨터 중 어느 쪽이 더 우세한지는 수행할 임무가 익숙한지, 아니면 특이한지 등 여러 요인에 달려 있다. 임무가 익숙하고 활용 가능한 데이터도 충분할 경우에는 컴퓨터가 인간을 능가할 가능성이 크다. 컴퓨터는 어떤 상황에서든 데이터 중심의 고도로 일관된 예측을 할 수 있기 때문이다. 하지만 수행 임무가 특이하고(창의성이 더 중요한) 데이터 과부하가 인간에게 문제가 되지 않는 경우에는 인간이 더 유리한 경우가 많다. (그림 2)


119

피드백 루프(feedback loop)나 지연, 불안정성이 있는 동적이고 복잡한 영역을 이해하는 데 있어서는 대개 인간이 컴퓨터 모델보다 우위에 있다고 생각할지도 모른다. 심리학자들은 인간이 모형화된 동적 환경(예: 항공사의 전략적 결정이나 전자회사의 신제품 관리를 모델링하는 컴퓨터 게임)에서 복잡한 관계를 어떻게 학습하는지 살펴봤다.31 각 라운드가 끝나고 폭넓은 피드백을 받은 후에도 피실험자인 인간은 계속 느린 학습 속도를 보였기 때문에 간단한 컴퓨터 모델도 이길 수 없었다. 이는 복잡한 동적 환경을 위한 모델을 구축할 때 인간의 전문지식을 어느 정도로 투입하는 게 가장 바람직한지 의문을 제기한다. 이에 대한 답을 얻을 수 있는 최선의 방법은 특정 영역에서 인간과 컴퓨터 모델이 각각 어떤 역량을 보이는지를 비교하고, 다양한 접근 방식을 통합하는 하이브리드 모델을 개발하는 것이 될 것이다.

인공지능 시스템은 최근 급속한 발전 중에 있다. 전통적 전문가 시스템은, 가령 “X, Y, Z 증상이 나타나면 5번 솔루션을 시도해보라”와 같은 ‘만약-그렇다면(if-then)’ 규칙을 활용함으로써 인간의 전문성을 흉내 낸 규칙 기반의 모델을 사용했다.32 그러나 오늘날 인공지능을 응용한 대부분의 프로그램들은 입력 변수와 출력 변수 간의 새로운 연결고리를 찾는 네트워크 구조를 사용한다. 인공지능 응용 프로그램에 사용되는 심신경망의 목표는 대규모의 데이터 세트를 분석함으로써 그 안에서 복잡한 관계를 발견하고, 이후 추가 피드백이 있을 때마다 그 관계를 수정하는 것이다. 인공지능 기술은 체스나 바둑, 자동차 주행, 음성 합성, 번역 등 특정 분야에서 개발된 심신경망 덕분에 번성하고 있다.33

기업들은 인공지능 프로그램의 발전을 면밀히 추적함으로써 어떤 측면을 채택하는 것이 조직에 가장 가치가 높고, 또 산업 특성에 맞게 어떤 식으로 조정해야 할지를 결정해야 한다. 코네티컷 웨스트포트(Westport)에 있는 헤지펀드 회사인 브리지워터 어소시에이츠(Bridgewater Associates LP.)는 인공지능을 이미 조직에서 실험하고 있는 좋은 사례가 된다. 이 회사는 조직 내 최고 전문가들의 통찰력을 포착함으로써 회사 관리의 여러 영역을 자동화하는 다양한 알고리즘 모델을 개발하고 있다.34

인간이 보유한 능력 대부분을 발휘할 수 있는 범용적 인공지능(artificial general intelligence)은 특정 목표에 따라 개발되는 인공지능 응용 프로그램보다 발전이 느리다. 인공지능 개발이 음성인식이나 사진의 피사체 분류, 혹은 필체 분석처럼 상업적 가치가 높은 한정된 분야에 국한돼 개발되므로 범용적 인공지능은 아직까지 인공지능 연구 중 차지하는 비중이 미미한 것이다.35 하지만 범용적 인공지능이란 개념은 실생활 속 광범위한 분야에서 복잡한 임무를 수행하는 로봇이 등장하는 영화처럼 우리의 상상력을 사로잡아 왔다. 가까운 장래에 최고의 예측 사업 시스템은 인간과 기계가 보유한 상대적 이점을 활용하기 위해 이 둘을 복잡하게 배치할 것으로 보인다. 기계와 달리 인간 전문가들은 현실 속 맥락에 민감한 범용적 지성이 있기 때문에 깊은 자기 성찰과 윤리적 판단이 가능하다.



5. 조직 운영 방식을 바꿔라

필자들이 생각하는 가장 강력한 의사결정 지원 시스템은 이런 다양한 기술들을 하나로 융합하는 하이브리드 방식이다. 이런 의사결정 지원 시스템은 판매 예측 등 세부 응용 프로그램을 뛰어넘어 용도가 확장되면서 IBM의 왓슨(Watson)처럼 폭넓은 시스템의 기초를 마련하고 점점 더 보편적으로 활용될 것으로 보인다. IBM 왓슨에는 많은 기능이 있지만 그중에서도 의사들이 까다로운 진단을 하는 데 도움을 준다. 시간이 지나면서 이런 기초 기술들이 점점 더 정교해지면 결국에는 의사결정 지원 기계가 인간 전문가의 능력에 상응하거나 그 능력을 뛰어넘는 지점에 도달할 것이다.

기계가 점점 더 정교해질수록 인간과 조직도 더 진보해 나갈 것이다. 많은 조직에서 인간의 판단능력을 저해하는 과도한 잡음을 제거하고 정말 중요한 신호를 증폭할 수 있는 방법으로 필자들은 2가지 전략을 제안한다. 첫째, 조직이 사람들의 판단을 ‘예측 은행(prediction banks)’에 기록해 놓음으로써 시간이 흐름에 따라 그들의 예측 정확성을 모니터링해 나가는 것이다.36 예측은 너무 일반적이면 안 되고 명확하고 분명해야 나중에 모호함 없이(자유 해석의 여지 없이) 점수를 매길 수 있다. 둘째, 일단 관리자들이 개인의 예측 성과를 예측 은행에 점수로 기록하고 축적하면 (향후 의사결정에 그들의 견해를 어느 정도로 고려할지를 결정할 수 있는) 개인의 ‘평판 자본(reputational capital)’을 판단하는 데 도움을 줄 수 있다. 브리지워터어소시에이츠를 설립한 레이 달리오(Ray Dalio)는 이미 이 방향을 향해 나아가고 있다. 그는 예측 관리를 위한 일련의 규칙을 개발해 왔으며 개인의 역량을 향상시킬 수 있는 투명성과 인센티브를 바탕으로 그들의 판단을 꾸준히 기록하고, 채점하고, 평가하는 문화를 구축해 왔다.37

정말 지능적인 조직은 취약성 및 편견까지 포함해 인간이 내리는 판단의 소프트파워를 빅데이터나 비즈니스 분석 같은 하드파워와 결합함으로써 회사가 지식경제 안에서 경쟁하는 데 우위를 창출할 것이다. 조직의 관점에서 봤을 때 필자들이 바라는 변화를 이루기 위해서는 3가지 요인에 집중해야 한다. 첫째는 전략적 집중이다. 리더들은 자신의 조직에 어떤 유형의 지능적 우위를 개발할지 결정해야 한다. 예를 들어 불확실성 아래서 인간의 뛰어난 판단력을 개발하고 싶은가? 아니면 자동화의 선두주자로 나아가고 싶은가? 둘째, 기업들은 개인의 판단력을 잘 보정된 확률로 바꾸는 사고방식과 기술, 습관, 보상 체제를 개발하는 데 집중해야 한다. 셋째, 조직은 직원들이 권력을 가진 임원들에게도 사실을 자신 있게 말할 수 있는 문화적, 프로세스적 변화를 촉구해야 한다. 이런 변화들의 목표는 일반적 통념에 반기를 드는 접근법을 시험하는 것이다.38 이 모든 목표를 이루기 위해서는 인센티브 체계부터 바꿔야 할 것이다. 또 필요하다면 서로 단절된 업무 환경을 타파함으로써 정보가 필요한 곳들로 쉽게 전파해 나갈 수 있도록 만들어야 한다.

112_25


지금까지 예측 과학을 어떻게 향상할 수 있는지 그 방법들을 논의했다. 이쯤에서 그 미래도 살펴봐야 할 필요가 있다. 비교 목적에서 보자면 방혈 시술(bloodletting, 건강관리를 위해 주기적으로 피를 뽑는 시술-역자)이 일반적이었던 시절부터 통제집단 및 위약 효과, 또 근거 기반의 연구(evidence-based research) 등을 기초로 한 좀 더 과학적인 접근법까지 빠른 속도로 진보한 의학 분야야말로 주목할 만한 가치가 있을 것이다. 현재 주관적 예측 분야는 인지 과학의 진보 덕분에 경이로울 만큼 빠른 발전을 하고 있다. 하지만 여전히 많은 예측 방법들이 실패하는 현실을 감안할 때 우리는 최상의 전략을 발굴하는 실험들과 현장 연구에 의존하는 결과 기반 접근법(outcome-based approaches)에 관심을 기울여야 한다.

계속되는 도전 요인들에도 불구하고 주관적 예측 과학은 외부 세계가 점점 더 복잡해짐에 따라 꾸준히 개선되고 있다. 집단 지혜(wisdom-of-crowd)를 활용하는 접근법과 예측 시장(prediction markets)부터 예측 토너먼트, 빅데이터와 비즈니스 분석, 인공지능까지 최선의 접근법을 찾는 데에도 큰 희망이 보인다.39 그러나 주관적인 예측을 개선하는 방법에 있어서는 아직 혼동이 있다. 예를 들어 보험회사들은 테러나 지구온난화, 지정학적 혼란이 야기하는 위험을 적정 가격으로 책정하는 데 여전히 고심하고 있기 때문이다.40

인지과학의 혁명은 비즈니스 리더에게 가능성과 도전 모두를 제시하지만 대부분의 기업들은 그 세부 요인들로 인해 골치를 앓는다. 인간 대 기계적 접근법 중 어떤 주제에 대해 어떤 방식을 활용할 것이지, 다양한 접근법을 어떤 식으로 결합할 것인지 등의 문제에 부딪히기 때문이다. 인간과 기계는 아주 다른 방식으로 사고하기 때문에 이 모든 것들을 분류하는 일이 쉽지 않다. 그러나 예측이 중요한 역할을 차지하는 임무를 다룰 때 공통적인 분석 목표와 비교 포인트가 흔히 존재한다. 상업적 혹은 정치적으로 중요한 사건에 잘 보정된 확률 분석을 통해 판단을 내리는 것처럼 말이다. 필자들은 주관적 확률로 표현되는 현실 세계 속 예측에 집중해 왔는데 이런 판단은 이후 결과가 실제로 나타났을 때 예측의 정확성을 객관적인 점수로 매길 수 있기 때문이다. 점수 산정은 전략적 선택을 하는 것처럼 인간과 컴퓨터 모델이 공생적으로 결합될 수 있는 중요한 임무들의 경우에 더 복잡해진다. 하지만 조직이 일단 주관적 확률 예측에 하이브리드 접근법을 수용하고 추정해 개선하기 시작하면 전략적 지능에서 얻는 우위를 경쟁자 대비 지속적으로 개발할 수 있다.



번역 |김성아 dazzlingkim@gmail.com

폴 J. H. 슈메이커(Paul J.H. Schoemaker)는 펜실베이니아대 와튼경영대학원에 있는 맥기술혁신센터(Mack Center for Technological Innovation)의 전 연구실장이며, 스티븐 크루프(Steven Krupp)와 를 공동 집필했다. 필립 E. 테틀록(Philip E. Tetlock)은 펜실베이니아대 아넨버그(Annenberg)스쿨 교수로 있으면서 댄 가드너(Dan Gardner)와 을 공동 저술했다. 이 기사에 의견이 있는 분은 http://sloanreview.mit.edu/x/58301에 접속해 남겨주시기 바란다. 저자와의 연락을 원하시는 분은 smrfeedback@mit.edu로 e메일을 보내주시기 바란다.


감사의 말
필자들은 이 글의 초안에 의견을 준 롭 애덤스(Rob Adams), 바버라 A. 멀러즈(Barbara A. Mellers), 난다 라마누잠(Nanda Ramanujam), J. 에드워드 루소(J. Edward Russo)에게 고마움을 전한다.
  • 필립 E. 테틀록 (Philip E. Tetlock) | -펜실베이니아대 아넨버그(Annenberg)스쿨 교수

    이 필자의 다른 기사 보기
  • 폴 J. H. 슈메이커(Paul J. H. Schoemaker) 폴 J. H. 슈메이커(Paul J. H. Schoemaker) | - 펜실베니아대 맥 기술혁신센터(the Mack Center for Technological Innovation) 연구 책임자
    - 와튼 MBA스쿨 마케팅 교수

    이 필자의 다른 기사 보기
인기기사