리더의 고급 ‘암묵지’인 경험-직관 AI에 학습시켜 데이터로 전환을

Article at a Glance

기술을 이해하고 활용하는 능력이 리더에게 점점 더 중요해지고 있다. 하지만 많은 리더가 여전히 AI와 같은 기술을 제대로 활용하지 못하고 있다. AI의 작동 원리를 정확히 이해하지 못한 채 기대만 크기 때문이다. AI는 기억하지 못하고, 상식도 없으며, 오직 귀납적 추론에 의존하는 도구다. 그래서 조직 고유의 규칙이나 리더의 경험적 판단이 입력되지 않으면 제대로 작동할 수 없다. 문제는 리더들이 자신의 경험과 직관, 즉 ‘암묵지’를 AI가 이해할 수 있도록 정리하지 않은 채 기술의 문제로 돌린다는 점이다. 실제 조직 운영에서 중요한 판단은 대부분 이런 암묵지에 기반한다. 이를 ‘형식지’로 전환해 정보지와 결합해야 AI가 비로소 정교한 판단을 지원할 수 있다. 결국 리더는 AI 자체를 이해하려 애쓰기보다 AI가 자신을 이해할 수 있도록 도와야 한다. 이 과정이 바로 오늘날 리더에게 요구되는 AI 리터러시의 본질이다.

---

에피소드 #1

얼마 전 A 기업의 임원을 대상으로 AI 리더십을 강의하던 중이었다. 이 회사는 구리, 알루미늄 등 비철금속을 주로 다룬다. 필자가 청중들에게 “챗GPT 를 혹시 써봤나”고 물었더니 한 임원이 “써봤는데 엉터리더라”고 답했다. 이유를 물었다. 우리 기업에 대해 설명해달라고 했는데 철이 아닌 금속을 자주 다루는 우리 기업의 실제 상황과 달리 ‘철을 주로 다루는 기업’이라고 표현한 것이었다. 그는 “회사 이름을 보고 추론해서 그냥 그렇게 답한 것 같아요. 완전 엉터리입니다”고 답했다. 이것은 챗GPT 가 자신의 회사가 공개하거나 웹에 올린 자료를 기반으로 학습한다는 사실을 모르는 답변이었다. 누워서 침 뱉기 같은 불만이었던 것이다.

에피소드 #2

최근 B 디바이스라는 전자부품 제조사의 임원 워크숍에서 있었던 일이다. 생성형 AI의 도입 방향을 설명하며 내부 데이터를 연결하지 않으면 AI가 조직 맥락을 이해할 수 없다는 이야기를 하고 있었다. 그러자 한 임원이 고개를 갸웃하더니 말했다. “그런데 GPT한테 비용 정산 보고서를 써보라고 시켰는데 아주 이상한 결과가 나왔어요. 항목 구분도 엉망이고 숫자도 틀리고요. 우리 회계팀보다 못하더라고요.” 나는 물었다. “혹시 내부 ERP 데이터를 AI에 연결하셨나요?” 그 임원은 단호하게 말했다. “아뇨, 그냥 GPT에다 ‘우리 회사 이번 분기 비용 정산서 작성해 줘’라고 쳤는데요?” 이것은 AI가 생각은 할 수 있지만 기억은 하지 못한다는 점을 간과한 전형적인 사례다. 생성형 AI는 학습된 일반 지식만 갖고 있다. 당신 회사의 데이터는 당신이 연결해주거나 입력해주지 않으면 아무것도 모른다.

에피소드 #3

또 다른 사례는 C 물류 기업이 AI를 도입할 것인지 검토하는 미팅 중 경험했다. 필자는 규칙 기반 추론(logic-based reasoning)과 데이터 기반 학습(data-based learning)의 차이를 들어 복잡한 제약 조건이 있는 의사결정에는 ‘규칙 기반 추론형 AI’가 중요하다고 설명하고 있었다. 그런데 한 임원이 말을 끊고 이렇게 말했다. “저희도 예전에 AI 시스템을 도입했는데 다 틀리더라고요. 배송 지연 원인을 분석하라고 했더니 날씨 때문이래요. 그런데 그날 비도 안 왔어요.” 알고 보니 그 회사는 규칙 기반 예외 처리가 필요한 상황에 AI 모델을 던져 놓고 학습만 하면 다 되는 줄로 오해했던 것이다.

즉

• “배송일 = 주문일 + 평균 리드타임”

• “단, 주말·공휴일은 제외”

• “기상 특보 시엔 보류”

…이런 식의 규칙은 아무도 알려주지 않았던 것이다.

AI가 생각은 해도 상식은 모르는 이유는 여기에 있다. 규칙을 주지 않으면 AI는 오로지 확률로만 추측한다. 그런데도 이 임원은 “AI는 다 틀리더라”며 기술 전체가 무용한 것처럼 평가하고 있었다. AI의 한계를 탓하기 전에 우리가 AI에 규칙과 맥락을 줬는지 먼저 자문해야 한다.

에피소드 #4

이번 에피소드는 규모를 막론하고 요즘 거의 모든 회사의 대표님들이 하는 말이다. “우리도 생성형 AI로 뭘 할 수 있는지 찾아봐 주세요”라고 말이다. 안타깝게도 생성형 AI는 말 그대로 생성하는 AI이다. 판단하지도, 예측하지도, 결정하지도 않는다. 그러니 엄격히 말하면 판단을 한 게 아니라 마치 ‘판단한 것처럼 생성하는’ 것이고 스스로 결정을 한 것이 아니라 ‘마치 결정한 것처럼 생성하는’ 것이다. 이런 AI의 특성을 이해하지 못하면 우리는 마치 어떤 판단과 예측을 위한 도구를 갖고 있는 것처럼 착각할 수 있다. 그러니 이런 지시를 내린 대표이사는 오만가지 다양한 사례가 올라올 것이라고 기대하지만 실상은 요약하거나 생성이 주로 필요한 업무에 국한된 기획안만 올라오는 것이다. 생성형 AI는 판단 도구가 아니다. 판단한 것처럼 그 내용을 생성할 뿐이다.

위 네 가지 사례 모두의 공통점은 리더에게 ‘AI리터러시’가 없다는 점이다. 다만 그 이유가 각각 다른데 첫째는 챗GPT에서 P에 해당하는 ‘pretrained(미리 훈련된)’가 어떤 의미인지를 모르는 경우이고, 둘째는 인공지능이라는 말에서 지능과 지식을 구분하지 못한 경우다. 셋째는 인공지능은 반드시 빅데이터 학습이 있어야만 한다는 오해다. 마지막은 ‘생성한다’와 ‘결정한다’를 철학적으로 구분하지 못하는 데서 발생하는 사례들이다.

이처럼 요즘 리더들은 심각한 리더십 혼란을 경험하고 있다. 왜냐하면 자신들은 대부분 직관적 의사결정을 기반으로 훌륭한 성취를 이뤄왔는데 정작 조직을 이끌려다 보니 판단을 기계에 위임하거나 함께해야 하는 상황에 직면했기 때문이다.

솔직히 급변하는 역량의 변화만 따지고 보면 지금 임원 등 리더 직급이 온전한 성과를 발휘하기는 어렵다. 단순히 BSC나 식스시그마가 도입될 때처럼 일부 경영 방법론이 바뀐 것이 아니라 문제를 해결하는 기본 공식이 완전히 바뀌었기 때문이다.

그래서 지금의 리더들에게 디지털 세대와 같은 수준의 디지털 이해를 요구하는 것은 어찌 보면 꽤나 어려운 일일 수도 있다. 그렇다고 모든 임원직을 디지털 전문가에게만 맡길 수도 없는 노릇이다. 그렇다면 우린 이 중요하고도 어려운 임무를 어떻게 지금의 리더들에게 맡길 수 있을까?


리더가 가진 ‘암묵지’의 힘

세상이 급변할 때는 오히려 무엇이 변하지 않는지에 집중해야 한다. 인공지능의 성능이 고도로 발전하고 있지만 들여다보면 볼수록 현재의 리더들이 가진 역량이 여전히 중요하다는 것을 알 수 있다. 왜냐하면 인공지능도 결국 의사결정을 위한 도구이기 때문이다. 인공지능이 도구의 지위를 넘어 인간을 완전히 대체할 것이란 예측이 심심찮게 나오고 있지만 그런 의견들은 너무 공포스러워서 더 요란하게 들리는 측면이 있다.

인공지능이 현재 리더들이 가진 고급 의사결정을 대체하려면 생각보다 챙길 것이 많다. 이를 몇 개로 압축할 수 있다.

1) 인공지능은 상식이 없기 때문에 연역 추론을 하지 못한다. 인간은 연역, 귀납, 유추, 가추 등을 골고루 활용해 의사결정하지만 인공지능은 전형적인 귀납추론 기계이다. 인공지능이 똑똑해 보이지만 사실은 ‘이전에 본 적 있는 말의 조합’을 뱉는 기계라는 뜻이다. 인간처럼 원칙이나 상황의 맥락을 유연하게 해석하긴 어렵다.

2) 좋은 의견을 가진 것과 실제 조직을 움직이는 것은 다르다. 즉 어떤 일을 잘해야 한다는 정치적 부담감이 있어야 일이 잘되고 조직이 움직이기 시작하는데 그런 부담감은 인공지능에는 없는 개념이다.

3) 인간은 의사결정을 힘들어 하기도 하지만 결정이란 행위를 통해 자아를 실현하기도 한다. 따라서 인공지능에 완전히 결정을 넘겨주려 하지 않을 가능성이 높다.

4) 마지막으로 인간은 무시 못할 암묵지를 가지고 있다. 암묵지는 명시적인 데이터의 방향을 결정하고 행간을 채우는 실질적인 기능을 한다. 노하우 같은 것이 암묵지의 대표적 사례다. 인공지능은 이런 암묵지를 학습해 본 적이 없다. 소위 빅데이터라고 불리며 인공지능 학습의 대부분을 차지하는 명시적으로 드러난 지식은 인간의 3대 지식(형식, 경험, 정보 지식) 중 하나에 불과하다.

인간의 지식은 이처럼 크게 세 가지로 나눌 수 있다. 형식 지식(Formal Knowledge)은 수학, 법률, 논리와 같이 명문화되고 규칙화된 지식이다. 이것은 체계적이고 보편적이기에 AI가 가장 쉽게 다룰 수 있는 영역이다. 정보 지식(Informational Knowledge)은 보고서, 매뉴얼, 데이터베이스 등에 저장된 지식으로 대부분의 기업에서 AI를 훈련할 때 사용하는 자료들이 여기에 속한다. 하지만 기업의 성패를 좌우하는 것은 종종 이 두 가지가 아니다. 경험 지식(Experiential Knowledge), 즉 암묵지(Tacit Knowledge)에 답이 있다. 이는 수십 년간의 직관, 맥락에 대한 감각, 조직문화에 대한 이해처럼 말로 표현되기 어려운 지식이며 현장 관리자나 숙련된 실무자가 몸으로 익힌 ‘판단력’이다.

기업이 AI를 도입할 때 대부분 정보 지식 중심으로 접근한다. 문서화된 보고서, ERP 데이터, 정형 데이터로 학습시키고 그 결과를 기대한다. 그러나 이 방식만으로는 현장의 맥락과 함의를 해석하는 능력, 즉 결정적인 마지막 10%의 판단력을 AI가 갖추지 못하게 된다. 결국 조직이 AI를 통해 실질적인 경쟁력을 확보하려면 단순한 데이터 처리 시스템을 넘어 형식 지식-정보 지식-경험 지식의 균형 있는 디지털화가 필요하다. 특히 은퇴를 앞둔 숙련자들의 암묵지를 체계적으로 추출하고 정제해 AI가 참조할 수 있는 지식 체계로 전환하는 작업이 시급하다. 그런데 그런 암묵지의 최정점에 있는 이가 누구인가? 딱 지금의 리더급 세대인 것이다.


암묵지를 형식지로:
리더의 경험을 AI 데이터로 전환하기

간단한 사례를 통해 더 깊게 알아보자.

고급 직무자의 암묵지를 인공지능(AI)이 학습할 수 있도록 구현한 다양한 사례는 조직 내 경험 기반 지식의 디지털 전환 가능성을 현실적으로 보여준다. 특히 직관, 맥락 판단, 축적된 숙련도처럼 문서로 남기기 어려운 정보들을 AI가 이해하고 흡수하게 만드는 일은 기술적 접근뿐 아니라 사람 중심의 설계와 협업적 구조가 필수적인 과제다.

대표적 국내 사례가 SK AX(구 SK C&C)의 ‘AI 명장(Master)’ 프로젝트다. 이 프로젝트는 생산 현장의 고급 기술자들이 수십 년간 몸으로 익힌 설비 이상 감지나 품질 판별 같은 감각적 판단을 AI가 학습하도록 설계된 시도였다. SK는 공정 내 다양한 IoT(사물인터넷, Internet of Things) 센서를 통해 실시간 데이터를 수집하고 이를 머신러닝(Machine Learning) 모델에 학습시켰다. 동시에 고급 직무자의 판단 기준과 의사결정 요인을 인터뷰와 설문을 통해 추출해 이를 규칙 기반(rule-based) 혹은 보정 인자 형태로 AI에 주입했다. 이렇게 구축된 시스템은 시간이 지날수록 스스로 예측 정확도를 높여가며 숙련자의 ‘감각’을 일부 재현하는 구조로 진화했다. 그 결과 설비 비가동 시간은 최대 70% 감소하고 품질 불량률 역시 유의미하게 줄어들었다는 현장 보고가 있었다.

이와 유사하게 한 글로벌 엔지니어링 제조 기업 역시 대규모 구조조정을 앞두고 핵심 기술자 130명의 지식과 직관을 체계적으로 수집해 AI가 학습하도록 만들었다. 이 기업은 ‘슈가워크(Sugarwork)’라는 플랫폼을 도입해 고급 엔지니어들에게 표준 템플릿을 제공하고 프로젝트 실패·해결 경험을 중심으로 스토리 기반 인터뷰를 유도했다. 이렇게 수집된 데이터는 대규모 언어모델(LLM, Large Language Model) 기반의 자연어 처리(NLP, Natural Language Processing) 기술로 분석됐고 중복되는 내용은 통합하고 핵심 문맥은 요약해 AI 지식베이스로 전환됐다. 단 4주 만에 표준운영절차(SOP, Standard Operating Procedure)가 정리됐고 신입 인력의 온보딩 기간이 평균 70% 단축됐으며 과거에는 컨설턴트를 투입해 3개월 이상 걸렸을 작업을 단기간에 자동화한 성과를 냈다.

의료기기 제조 분야에서도 비슷한 방식의 프로젝트가 진행됐다. 해당 기업은 정년퇴직을 앞둔 고숙련 기술자들의 ‘디지털 분신’을 남기기 위해 인터뷰와 생성형 AI를 결합한 지식 추출 프로젝트를 운영했다. 1대1 인터뷰를 통해 도출된 생생한 사례와 조언은 녹화·전사된 뒤 GPT 기반 생성형 AI가 이를 분석하고 요약했다. 예를 들어 “겨울철 자주 발생하던 X결함”이라는 언급은 계절 변화와 공정 리스크 간 연관성을 추론한 일반화된 지식으로 재구성됐으며 이렇게 정제된 정보는 자연어 질의응답이 가능한 내부 챗봇에 탑재됐다. 이를 통해 신입 관리자도 “A 장비의 경고등이 켜졌을 때 고급 기술자가 어떻게 대처했는가”를 즉각 참고할 수 있게 됐으며 공정 안정성과 대응 속도 모두 향상됐다.

에너지 분야에서는 셸(Shell)의 시추 AI 시스템이 대표적이다. 셸은 석유 시추 현장에서 고급 감독관의 직관적 판단을 강화학습(RL, Reinforcement Learning) 기반의 AI가 학습할 수 있도록 했다. 수백만 시간 분량의 시추 로그 데이터와 지질 데이터를 통해 AI는 굴착 압력, 속도, 각도 같은 제어 변수를 조절하면서 시행착오를 반복했고 시뮬레이션 환경에서 비용 대비 효율이 최적화되는 전략을 스스로 터득했다. 인간 전문가들은 워크숍을 통해 판단 기준과 설계 기준을 제공했고 이 데이터는 보상 함수 설계에 반영됐다. 결과적으로 AI는 시추 장비의 비정상 가동을 줄이고 예상치 못한 다운타임을 70% 이상 감소시켰으며 자원 채취 효율은 눈에 띄게 높아졌다. 이처럼 숙련자의 암묵지를 데이터화하고 행동 전략으로 체화한 사례는 에너지 업계 AI 도입의 대표 모델로 자리 잡았다.

이러한 사례들은 공통적으로 고급 직무자의 경험을 구조화된 데이터로 전환하고 이를 AI가 맥락적으로 학습하도록 설계하는 데 성공했다. 그리고 무엇보다 중요한 점은 대부분의 프로젝트가 ‘AI 단독’이 아니라 사람과 AI가 상호작용하는 구조, 즉 ‘휴먼 인 더 루프(Human-in-the-Loop)’ 방식으로 구성됐다는 점이다. AI가 인간을 대체하는 것이 아니라 고급 판단을 보조하고 축적시키는 파트너로 작동하도록 만든 것이다. 이제 조직의 미래 경쟁력은 AI를 잘 다루는 능력뿐 아니라 AI가 인간을 잘 ‘이해할 수 있도록 훈련시키는 능력’에서도 결정될 것이다.


‘리더의 통찰력’이 더해질 때
AI는 힘이 생긴다

이러한 방식으로 암묵지를 형식화하고 정보지와 결합하면 AI는 단순히 ‘많이 본 것’을 재현하는 것을 넘어 인간이 해온 미묘한 판단과 직감을 일정 부분 구현하게 된다. 암묵지는 방향을 결정하고 정보지는 데이터를 공급한다. 그리고 형식지는 그 둘 사이를 연결하는 명확한 다리가 된다. 이 삼자 통합이 이뤄질 때 비로소 조직의 AI 시스템은 진정한 지능화 단계로 나아갈 수 있다.

그래서 투자의 귀재 워런 버핏이 투자 담당자의 기침 소리까지 고려해 최종 투자 결정을 한다는 말이 의미가 있는 것이다. 투자를 매우 오래 하다 보면 시장 변동성과 투자 담당자의 바이오리듬이 동기화되는 지경까지 이를 수 있기 때문이다. 꼭 이렇게 거창하진 않더라도 대한민국은 그간 고도 성장기에 가진 무수한 고급 직무 지식이 있고 이것이 실질적으로 현장에서 중요한 문제 해결 자원이 된다는 것은 누구도 부정 못할 것이다. 다만 이것을 어떻게 AI에 훈련시킬지 모호했을 뿐이다. 왜냐하면 암묵지는 비(非)정형 데이터가 아니라 무(無)정형 데이터이기 때문이다.

이렇듯 2025년 각 조직의 리더는 AI에 대해 학습하는 과정에서 AI 자체를 이해하기보다는 그 한계를 이해하고 자신이 그 한계를 메우는 주체가 될 수 있다는 사실을 발견하는 것이 중요하다. 달리 표현하면 ‘암묵지의 형식지화’가 인공지능의 입장에서는 연역 추론을 하는 발판이 되는 셈이다. 이런 일련의 기술 철학을 ‘뉴로심볼릭(neuro-symbolic)’이라 부른다. 앞서 말한 대로 인공지능은 귀납추론을 하는 기계라는 점을 상기할 때 이는 추론 관점의 온전성을 완성하게 된다는 의미가 되기도 한다. 리더의 형식화된 암묵지를 통한 빅데이터 기반 학습 결과가 기존의 인공지능 역량과 황금 균형을 이루게 되기 때문이다. 어찌 보면 이는 앞으로 끝없이 펼쳐질 인공지능 혁신의 역사에서 가장 중요한 작업이 될 수도 있다.

DBR mini box I

임원의 암묵지를 AI에 훈련시킬 땐 ‘질문’이 중요

아직 산업에서 표준이라 할 만큼 지배적인 방법론이 만들어진 것은 아니지만 심층 인터뷰, 지식 그래프, LLM을 활용한 일반적인 기술을 기반으로 일반적 절차를 정리하면 다음과 같다.

임원의 암묵지를 끌어내는 열쇠는 ‘질문의 깊이’에 있다. 조직 내 임원의 암묵지를 AI에 학습하는 과정에서 가장 핵심이자 동시에 가장 도전적인 단계는 ‘심층 인터뷰(In-depth Interview)’다. 단순히 표면적인 업무 경험이나 공식적인 프로세스를 묻는 것이 아니라 임원들이 직관적으로 판단하거나 설명하기 어려운 판단 기준과 맥락, 즉 ‘왜 그렇게 결정했는가?’에 접근하는 것이 이 단계의 목적이다.

하지만 문제는 바로 여기에 있다. 대부분의 임원은 자신의 판단 기준을 명확히 설명하지 못한다. 이는 그들이 지식이 없어서가 아니라 그 지식이 너무 내면화돼 있기 때문이다. 마치 자전거를 탈 줄 아는 사람이 “어떻게 중심을 잡느냐”는 질문에 즉답하지 못하는 것과 같다. 그렇기 때문에 심층 인터뷰를 성공시키기 위해서는 단순한 설문형 질문이 아니라 맥락을 이해하고 그에 맞는 질문을 던질 수 있는 질문 능력이 요구된다.


질문을 잘하는 AI가 필요한 이유

이를 위해 최근 필자가 제안하는 것은 ‘질문을 잘하는 AI 모형’의 별도 개발이다. 기존의 LLM은 응답 생성에는 뛰어나지만 질문 생성에는 상대적으로 덜 활용돼 왔다. 그러나 경험 기반 지식을 끌어내는 데는 잘 설계된 질문이 전제돼야 한다. 예를 들어 다음과 같은 차이를 살펴보자:

암묵지는 상당히 비정형적이고 고위 임원일수록 시간을 내기 어려워 이런 세션을 자주 가질 수 없기 때문에 한 번에 표준화된 암묵지를 잘 얻어내야 한다. 그러기 위해선 매우 숙련된 인터뷰어를 보유하거나 이미 잘 훈련된 질문을 잘하는 AI를 개발할 수 있으면 이 과정을 효과적으로 진행할 수 있다.