Article at a Glance
AI 활용이 일상화되면서 ‘인간 본연의 사고력을 어떻게 키우고 평가할 것인가’가 새로운 과제로 떠오르고 있다. DBR이 개최한 ‘제1회 AI 대화형 비즈니스 논술대회’는 참가자의 초안부터 AI와의 대화, 수정 과정까지 살펴 사고의 과정 자체를 평가했다. 높은 점수를 받은 참가자들은 AI의 반론을 반박하는 데 그치지 않고 문제를 재정의하고 논리를 확장하는 데 활용했다. 반면 심층 심사에 오른 글의 대화 가운데 79%에서 AI의 반론에 자신의 의견을 지키기만 하는 ‘자기방어’가 나타났으며 AI가 좋은 질문을 던진다고 해서 사고가 자동으로 깊어지는 것은 아니었다. AI 시대의 핵심 역량은 AI가 답을 만들어 내도록 맡기는 능력이 아니라 AI를 활용해 자신의 판단을 시험하고 사고를 더 멀리 밀어붙이는 능력이다.
편집자주 | 제1회 AI 대화형 비즈니스 논술대회의 종합 최우수상과 ‘논증기술’ ‘의사결정’ ‘독창성’ 등 부문별 최우수상 수상작 전문은 DBR 웹사이트(dbr.donga.com)에서 확인할 수 있습니다. 같은 주제를 서로 다른 관점과 논리로 풀어낸 수상작들을 비교하며 각각의 강점을 살펴보시기 바랍니다.
DBR이 오는 9월 10~11일 코엑스 마곡에서 열리는 ‘제20회 인적자원개발컨퍼런스’(한국산업인력공단 주최)에서 홍보 부스를 운영합니다. 현장에서는 AI와 대화하며 자신의 의사결정 역량을 진단하고 실제 업무에서 AI로 자동화할 수 있는 영역을 찾아보는 AI 솔루션을 직접 체험할 수 있습니다. AI 시대에 필요한 역량을 점검하고 새로운 업무 방식을 경험해보고 싶은 독자 여러분의 많은 관심과 참여 바랍니다.
|
왜 대화형 논술대회인가? 인공지능(AI)이 일상과 업무에 깊숙이 들어오면서 사람이 스스로 생각하는 과정마저 AI에 의존하게 되는 인지적 외주화에 대한 우려가 커지고 있다. 인간이 기존에 갖고 있던 지적 역량을 잃는 ‘디스킬링(Deskilling)’뿐 아니라 초심자가 아예 기초 역량 자체를 충분히 키우지 못하는 ‘네버 스킬링(Never Skilling)’의 위험까지 거론된다.
1
그렇다고 위험성을 이유로 기술 활용을 무작정 제약하는 것은 현실적인 해법이 아니다. 중요한 것은 AI를 쓰느냐 마느냐가 아니라 ‘어떻게 쓰느냐’다. AI에 생각을 대신 맡기는 것이 아니라 오히려 AI를 활용해 인간의 사고력을 끌어올릴 수는 없을까?
DBR(동아비즈니스리뷰)이 AI 교육 솔루션 기업 딥스킬(DeepSkill)과 함께 개최한 ‘제1회 AI 대화형 비즈니스 논술대회’는 이런 문제의식에서 출발했다. 참가자는 가상 기업인 ‘대명솔루션즈’의 인사 총괄 책임자가 신입 채용 시 대학 학위 요건을 유지할지를 고민하는 사례
2
를 읽고 “AI 시대, 대학 학력이 여전히 채용에서 중요할까?”를 주제로 자신의 주장을 논설문으로 작성했다. 공교롭게도 사례 공개 한 달 뒤 SK하이닉스가 전 채용에서 학력 제한을 폐지한다고 발표하면서 시의성 있는 토론 주제가 됐다.
이번 대회가 여느 AI 활용 논술대회와 다른 점은 딥스킬이 개발한 논증형 AI 에이전트를 활용했다는 것이다. 보통의 AI 챗봇이 사용자의 질문에 답을 내놓는 데 초점을 맞춘다면 이 에이전트는 참가자가 입력한 초안의 논리 구조를 분석해 시각화하고 취약하거나 보완이 필요한 지점을 찾아 참가자에게 역으로 질문을 던지며 실시간으로 토론했다. 사용자의 생각을 먼저 분석하고 질문을 던져 사용자 스스로 더 나은 답을 찾도록 돕는다는 점에서 소크라테스식 문답법에 기초한 ‘소크라틱(Socratic)’ AI라 부른다. 이번 대회의 심사위원장으로 참여해 기획, 문제 출제부터 심사까지 진행하는 과정에서 발견한 AI 활용의 특징과 AI 시대에 필요한 핵심 역량과 평가에 대한 시사점을 정리했다.
완성본보다 ‘생각의 과정’을 평가 이 대회는 자기주장을 글로 펼친다는 점에서는 기존 논술대회와 궤를 같이하지만 여기서 한발 더 나아갔다. AI와의 대화를 통해 참가자가 기존의 사고력과 배경지식을 얼마나 깊이 있게 끌어올리고 이를 더욱 설득력 있는 주장으로 발전시키는지를 평가하고자 한 것이다. 고민 끝에 참가자들이 직관적으로 이해하기 쉽도록 ‘대화형 논술대회’라고 이름 붙였지만 최종 제출문 한 편을 일회성으로 평가하는 기존 논술대회와는 근본적으로 다른 방식이었다.
대회 슬로건도 “사고력을 겨뤄보세요”로 정했다. 누구나 생성형 AI로 손쉽게 그럴듯한 글을 뽑아낼 수 있는 시대에는 완성본만으로 그 사람의 사고력을 판단하는 데 한계가 있기 때문이다. 이에 심사위원들은 최종본뿐만 아니라 초안, AI 에이전트가 던진 질문, 참가자의 답변, 대화를 거쳐 글이 수정된 과정까지 모두 확인했다. 참가자가 처음에 어떤 생각으로 글을 쓰기 시작했는지, AI의 반론에 어떻게 대응했는지, 그 과정에서 자신의 생각을 무엇을 버리고 무엇을 새롭게 더했는지가 모두 평가 대상이었다.
심사위원 입장에서는 최종본만 읽으면 됐던 기존 대회보다 훨씬 방대한 분량을 읽고 판단해야 하는 부담이 컸다. 하지만 AI 시대에는 ‘무엇을 만들어냈는가’ 못지않게 ‘어떻게 그 결과에 도달했는가’가 사고력을 판단하는 중요한 단서가 될 수 있다고 보고 심사에 공력을 기울였다. 본 대회는 총 10일간 진행됐으며 시작 한 달 전 가상 기업 사례를 DBR에 미리 공개해 참가자들이 내용을 충분히 숙지하도록 했다.
최종본까지 제출한 113명의 참가자가 AI 에이전트와 주고받은 메시지는 총 8346건에 달했다. 1인당 평균 74건꼴이다. 참가자들이 완성한 논설문은 총 98만 자였으며 이와 별도로 AI와의 토론창에 직접 입력한 글도 약 50만 자에 달했다. 최종 결과물을 작성하는 과정에서 상당한 분량의 질문과 반박, 재질문을 AI와 주고받았다는 의미다. 종합 최우수상을 받은 구연성(홍익대 졸업생) 씨는 “기존에 쓰던 생성형 AI와 달리 AI와 대화하며 내가 생각지 못했던 논리적 허점을 발견하는 경험이 신선했다”고 소감을 밝혔다.
113개의 최종 제출본에 대해 딥스킬의 AI 논증 분석 시스템이 AI 에이전트와의 대화를 포함한 전체 내용을 1차 분석해 상위권을 선별했고 이를 ‘인간’ 심사 위원단이 검증하고 심층 심사해 최종 수상작을 정했다. 심사위원은 필자를 비롯해 김남국 동아일보 미래전략연구소장, 논증 기술 분야의 권위자인 크리스 리드(Chris Reed) 영국 던디대 교수
3
등 3인으로 구성됐다.
상위권 참가자, AI의 반론을 기회로 심사위원마다 전문 분야가 달라 평가 기준에도 상당한 차이가 있었지만 상위권으로 꼽은 글은 일부 겹쳤다. 특히 세 심사위원 모두가 공통으로 상위권에 올린 단 한 편을 종합 최우수상으로 선정했다. 특정 평가 항목에서 더 높은 점수를 받은 글도 있었지만 전반적으로 가장 고르게 높은 평가를 받은 작품이었다.
종합 최우수상 수상작의 핵심 주장은 ‘채용 시 학위 요건을 폐지해야 한다’는 것이었다. 초안에서 이를 뒷받침하는 근거는 크게 두 가지에 불과했다. AI 에이전트는 “학위 요건을 유지하면서 직무 과제를 병행할 수도 있는데 왜 전면 폐지가 필요한가” “두 방법 중 어느 쪽이 더 낫다고 판단하는 기준은 무엇인가”라고 집요하게 물었다.
이런 질문을 받으면 자신의 주장을 방어하기 위해 학위 요건 폐지의 장점을 추가로 나열하기 쉽다. 하지만 이 참가자는 한 걸음 더 나아갔다. ‘학위를 여러 평가 요소 중 하나로 활용하는 것’과 ‘학위를 지원 자격 자체로 삼는 것’은 전혀 다른 문제이며 후자의 경우 기업에 훨씬 더 무거운 입증 책임이 요구돼야 한다는 논리를 제시했다. 이로써 쟁점은 ‘학위가 쓸모 있는가’에서 ‘무엇이 지원 자격으로서 진정한 가치가 있으며 기업은 이를 어떻게 입증할 것인가’로 이동했다. 단순히 근거 하나를 추가한 것이 아니라 문제를 바라보는 프레임 자체를 한 단계 끌어올린 것이다.
다른 수상작에서도 비슷한 특징이 나타났다. AI 에이전트가 논지의 취약점을 지적했을 때 이를 무시하거나 기존 주장을 방어하는 데 그치지 않고 질문을 새로운 출발점으로 삼아 논리를 확장했다. 예컨대 한 수상자는 초안에서 가상 사례의 승진 데이터를 핵심 근거로 제시했다. AI 에이전트가 이 데이터만으로 결론을 뒷받침하기에 충분한지 의문을 제기하자 한계를 인정하는 데 그치지 않고 오히려 이를 새로운 논리를 전개하는 계기로 삼았다. 이처럼 상위권 참가자들은 AI 에이전트의 반론을 단순히 ‘극복해야 할 지적’으로 받아들이기보다 자신의 논리를 점검하고 한 단계 발전시키는 자원으로 활용했다.
100여 명의 AI 토론에서 드러난 네 가지 특징 1. AI와의 대화, 79%는 자기방어 다른 한편 100명이 넘는 대회 참가자가 동일한 상황에서 AI 에이전트와 토론하는 모습을 살펴보면서 AI 활용과 관련해 몇 가지 흥미로운 사실을 발견할 수 있었다.
상위권 참가자들과 달리 AI 에이전트를 활용하면서도 논거를 보강하거나 논지를 충분히 심화하지 못한 참가자도 많았다. 최종본의 문장이 초안보다 매끄러워졌지만 대화 내용을 뜯어보면 지적된 논리적 허점을 보완하기보다 자신의 기존 논지를 방어하는 데 집중하는 경우가 많았다. 에이전트의 질문을 무시하거나 답변 과정에서 논거로 쓸 만한 유용한 내용을 끌어내고도 정작 본문 수정에는 반영하지 않는 사례도 있었다.
리드 교수는 상위권 심층 심사 대상 참가자들의 대화를 방어, 다듬기, 탐색, 주고받음, 해설 등 다섯 가지 논증 형태로 분류했다. 이 가운데 ‘방어(defense)’가 79%로(중복 포함) 가장 높았고(그림 2) 45%는 아예 ‘방어’의 형태만 취하고 있었다. 다양한 이유가 있을 수 있겠지만 AI와의 대화를 자신의 논지를 발전시키는 기회로 활용하기보다 제기된 질문에 답하고 기존 주장을 지키는 데 그친 참가자가 그만큼 많았다고 볼 수 있다.
2. AI의 질문이 답변 개선을 보장하지는 않아 더 흥미로운 결과는 AI 에이전트가 정확한 질문을 던졌다고 해서 참가자의 논증이 자동으로 개선되지는 않았다는 점이다. AI 에이전트가 던진 질문을 유형별로 나눠보면 해소되지 않고 방치된 비율이 적게는 약 30%, 많게는 절반을 넘었다. 일부 질문은 다른 수정에 밀려 해소도, 방치도 아닌 애매한 ‘무효’ 상태로 끝나기도 했다. AI 에이전트가 부족한 지점을 짚어주는 것, 사람이 그 질문에 답하는 것, 그 답을 실제로 자신의 사고와 글에 반영하는 것은 서로 다른 과업이었다.
질문의 유형에 따라서도 차이가 나타났다. 앉은 자리에서 논리 구조를 다시 짜면 해결할 수 있는 ‘관련성과 인과’ 질문의 해소율은 65%에 달했다. 반면 외부에서 새로운 내용을 찾아봐야 하는 ‘증거 제시 요구’ 질문의 해소율은 40%에 그쳤고 오히려 53%가 방치됐다. 참가작 전반에서 논리는 AI와의 대화를 거치며 더 촘촘해졌지만 이를 뒷받침할 증거는 그만큼 따라가지 못한 셈이다. (그림 3) 이는 참가자들이 제출한 초안과 최종본을 비교해 보면 더 확실하게 드러난다. 참가작 전체를 놓고 보았을 때 평균적으로 초안에 비해 논리적 근거는 최종본에서 양과 비중이 모두 늘어났으나 객관적 증거, 즉 외부에서 새롭게 끌어와야 하는 증거의 경우에는 양과 비중이 모두 줄어든 모습을 보였다.
이는 AI가 사고를 지원하는 것과 실제로 인간이 사고를 수행하는 것은 다르다는 점을 보여준다. AI는 “여기에 증거가 부족하다”거나 “이 근거에서 그 결론이 바로 나오지는 않는다”고 지적할 수 있다. 하지만 어떤 증거를 찾아야 하는지 판단하고, 실제 자료를 찾고, 신뢰성을 평가하고, 자신의 주장에 반영하는 일은 결국 사용자의 몫이다.
AI의 논증 지원 역량이 뛰어나더라도 자기주장을 설득력 있게 펼치려면 그 주장을 세우는 사람의 문제의식과 판단 기준 자체가 명확해야 했다. 주장하는 사람의 시야가 좁거나 핵심이 흐릿하면 아무리 정교한 AI와 대화해도 사고가 발전하는 데 한계가 있다. AI는 기존의 생각을 시험하고 더 깊게 파고들어 발전시키는 도구로서는 강력하지만 주장 그 자체를 만들어 주지는 않는다. 무엇을 해결해야 하는지 문제를 정의하고, 어떤 방향으로 문제를 풀 것인지를 결정하는 것은 여전히 사람의 몫이다.
3. 논리 정교해졌지만 답도 비슷해져 1회 대회였던 만큼 새로운 과제도 확인됐다. 상위권 참가작들 중에서도 서로 큰 차별점 없이 비슷한 해결책을 제시하는 경우가 적지 않았다. 전체 참가작을 분석한 결과, AI 에이전트가 제시한 표현을 그대로 베껴 쓴 경우는 거의 없었다. 참가작들 간에도 마찬가지였다. 다만 초안에서 최종본으로 넘어가는 과정에서 AI와의 대화 중 등장한 어휘를 새롭게 가져다 쓴 비율은 약 25%에 달했다. 문장을 실질적으로 작성한 것은 참가자 본인이지만 그 과정에서 AI와의 대화가 표현과 어휘 선택에 적지 않은 영향을 미쳤다고 볼 수 있다.
AI와의 대화를 거친 뒤 전체적으로 답변이 비슷해지는 인상을 받기도 했다. 이는 모든 참가자가 동일한 가상 기업 사례와 제한된 자료를 바탕으로 논증했다는 대회의 특수성이 영향을 미쳤을 가능성도 크다. 다만 AI가 논리의 허점을 찾아 평균적인 완성도를 끌어올리는 동시에 사고와 표현을 일정한 방향으로 수렴할 가능성도 살펴볼 필요가 있다. AI를 활용해 논리적 완성도뿐 아니라 다양하고 새로운 시각, 개인의 창의성까지 어떻게 끌어올릴 것인지에 대해서는 추가적인 고민이 필요해 보인다.
AI 시대, 무엇을 평가하고 어떻게 일해야 할까
이번 대회는 AI 시대의 교육 및 평가, 나아가 기업의 AI 활용과 관련해 크게 다음의 세 가지 시사점을 남겼다.
첫째, AI 시대에는 결과뿐 아니라 사고의 과정을 평가해야 한다. 같은 논제와 자료를 받은 참가자들이 AI의 도움을 받아 제출한 최종본은 일정 수준 이상에서 서로 비슷한 모습을 보였다. 완성된 글만 놓고 보면 누가 스스로 깊이 고민했고, 누가 AI의 도움으로 그럴듯한 결과물을 만들어냈는지를 구분하기가 갈수록 어려워질 수 있다. 반면 초안에서 출발해 어떤 반론을 마주했고, 무엇을 받아들이거나 거부했으며, 그 결과 자신의 주장과 근거를 어떻게 수정했는지를 보면 사고력의 차이가 훨씬 선명하게 드러났다. 앞으로 평가할 때는 완성품만 보는 방식에서 벗어나 ‘어떻게 그 답에 도달했는가’를 함께 보는 방식을 설계할 필요가 있다.
둘째, AI가 좋은 질문을 던진다고 사람의 사고력이 저절로 좋아지는 것은 아니다. 이번 대회에서 상위권 참가자들의 AI 대화 중 79%에서 방어적 논증이 나타났고 AI가 제기한 문제 가운데 상당수는 끝내 해소되지 않았다. 특히 외부 증거를 찾아야 하거나 기존 주장의 범위를 조정해야 하는 질문은 방치되는 비율이 높았다. 따라서 단순히 AI의 반론에 대응하는 능력을 넘어 상대의 지적을 정확히 이해하고, 무엇이 타당한지 가려내며, 필요하다면 자기주장의 범위를 줄이거나 추가 자료를 찾아가는 역량까지 함께 길러야 한다. AI를 자유롭게 쓸 수 있는 환경에서는 수정 횟수나 문장의 매끄러움보다 이런 사고 ‘과정’이 더 중요한 평가 자료가 될 수 있다.
셋째, AI에 답을 맡기는 것이 아니라 자신의 판단을 시험받는 것이 AI를 활용하는 더 나은 방식이 될 수 있다. 이번 대회에서 좋은 결과를 낸 참가자들은 처음의 결론을 뒤집은 사람들이 아니었다. 오히려 상당수는 기존 결론을 유지하면서 근거를 바꾸고, 주장의 범위를 좁히고, 실행 방법을 추가했다. 수정 횟수나 작업 시간도 수상 실적과 별다른 관련이 없었다. 즉 AI와 장시간 대화한다고 사고가 저절로 깊어지는 것은 아니었다.
기업의 AI 활용도 마찬가지다. 조직의 AI 활용 원칙을 정할 때 ‘허용할 것인가, 금지할 것인가’에 머물러서는 안 된다. 더 중요한 질문은 AI가 완성된 답을 대신 내놓도록 사용되고 있는지 아니면 사용자의 판단을 시험하고 취약점을 발견하도록 사용되고 있는지다. 사람이 먼저 문제를 정의하고 판단 기준을 세운 뒤 AI가 약점을 집요하게 캐묻게 하는 방식은 사고의 주도권을 사람에게 남겨둔다. 이번 대회에서도 이런 접근이 상위권 참가작에서 공통적으로 관찰됐다. 반대로 무엇을 생각해야 하고, 어떤 결론을 내려야 하는지부터 AI에 맡긴다면 사고의 주도권 자체를 넘겨줘 오히려 사람의 사고력을 퇴행시킬 가능성이 크다.누가 AI를 활용해 사고를 더 멀리 밀어붙일 것인가 이 대회는 제한된 가상 기업 사례를 바탕으로 진행된 하나의 실험이다. 따라서 여기서 나타난 결과를 AI 활용 전반으로 일반화하는 데는 신중할 필요가 있다. 그럼에도 100명이 넘는 참가자가 같은 조건에서 AI와 생각을 주고받는 전 과정을 관찰하고 그 과정에서 어떤 차이가 결과의 차이로 이어지는지를 객관적으로 분석하고 데이터화했다는 점은 의미가 크다.
무엇보다 상위권 참가자들에게서 공통적으로 발견된 강점은 AI로 글을 매끄럽게 다듬는 능력이 아니었다. 이들은 AI의 반론 앞에서 자신의 주장을 무조건 방어하기보다 문제를 다시 정의하고, 부족한 근거를 인정하고, 적용 범위를 조정하며 자신의 생각을 한 단계 더 밀어붙였다. 이들에게 AI와 함께 생각한다는 것은 AI가 내놓은 답을 받아들이는 것이 아니라 AI의 질문을 이용해 자신의 생각을 계속 시험하는 과정에 가까웠다. AI가 교육과 업무에 더 깊숙이 들어오고 자동화가 쉬워질수록 역설적으로 인간의 사고력은 더욱 중요해질 것이다. AI가 빠르게 쏟아내는 수많은 답변과 반론 가운데 무엇이 중요한지 가려내고, 자신이 풀고자 하는 문제와 판단 기준을 명확히 설정하며, 자신의 결론이 틀릴 가능성과 조건까지 점검하는 능력 말이다. 결국 AI 시대의 경쟁력을 가르는 것은 누가 AI를 더 많이 활용하느냐가 아닐 수 있다. AI에 사고 자체를 맡기지 않으면서도 AI와의 상호작용을 통해 자신의 생각을 얼마나 더 깊고 멀리 밀어붙일 수 있느냐가 중요하다. 이번 대회는 AI가 인간의 사고를 대신하는 도구를 넘어 인간의 사고를 자극하고 확장하는 파트너가 될 가능성을 보여줬다. 앞으로 AI와 사람이 ‘함께 생각하는 방식’이 어떻게 진화해 나갈지 더욱 기대되는 이유다.
아티클 AI 요약 보기
닫기
