로그인|회원가입|고객센터|기업교육 문의
페이지 맨 위로 이동
검색버튼 메뉴버튼

AI 전환이 성과 못 내는 진짜 이유

AI가 작동 가능한 ‘운영 구조’부터 갖춰라
부서 간 연결 틈 메우고 결정 권한 명확히

최연성,정리=장재웅 | 445호 (2026년 7월 Issue 2)
Article at a Glance

많은 기업이 AI 전환을 기술 도입 과제로 이해한다. 그래서 모델, 플랫폼, 데이터 레이크, 자동화 도구부터 고른다. 그러나 성과를 가르는 변수는 도구 자체가 아니라 도구가 올라설 운영 모델이다. 전략이 무엇을 할지 정하고, 조직도가 누가 할지 정한다면, 운영 모델은 각 기능과 의사결정, 데이터와 자원 배분이 어떻게 연결돼 작동하는지를 정한다. AI는 불명확한 운영 모델을 대신 설계하지 않는다. 오히려 기존의 사일로, 중복 승인, KPI 불일치, 책임 공백을 더 선명하게 드러낸다. AI 전환을 시작하기 전 기업은 사업의 형태, 가치의 순서, 연결의 틈, 결정의 종착지, 추진의 중심축, 학습의 순환이라는 여섯 층을 점검해야 한다. 한국 기업에는 특히 보고 중심 PMO를 실행 중심 전담 조직으로 바꾸고 부서 단위 최적화보다 엔드투엔드 운영 설계를 우선하는 변화가 필요하다.



ms4_1


AX(AI Transformation)에 대한 기업들의 논의가 전방위로 확산되고 있다. 그러나 많은 기업의 AX는 놀랄 만큼 비슷한 경로를 밟는다. 먼저 사내에 생성형 AI 플랫폼을 도입한다. 이어 임직원 대상 교육을 진행하고, 몇몇 부서가 챗봇을 만든다. 일부 업무에는 자동 요약, 문서 검색, 보고서 초안 작성 기능이 붙는다. 파일럿 결과 보고서에는 어김없이 ‘업무시간 30% 절감 가능’ 같은 문구가 등장한다. 하지만 6개월이 지나도 손익계산서에는 뚜렷한 변화가 나타나지 않는다. 현장 직원들은 여전히 엑셀 파일을 내려받아 수작업으로 검산하고, 승인권자는 AI가 만든 추천안을 다시 사람에게 확인시킨다. IT 부서는 데이터 품질을 탓하고, 현업은 시스템이 업무 맥락을 이해하지 못한다고 말한다. 그렇게 AX는 화려한 구호와 몇 개의 파일럿 사례만 남긴 채 회사의 일하는 방식을 근본적으로 바꾸지 못한다.

대다수 기업은 AX에 적지 않은 예산을 투입한다. 그런데 왜 성과는 기대만큼 나오지 않을까. 이 질문은 한국 기업만의 문제가 아니다. 한 글로벌 조사에 따르면 AI 활용 사례 가운데 ROI(Return on Investment) 기대치를 충족한 비율은 30%에도 미치지 못했다.1 생성형 AI를 도입한 조직의 다수가 측정 가능한 수익 효과를 얻지 못했다는 연구 결과도 있다.2

실패 원인으로는 흔히 기술의 미성숙, 데이터 품질, 조직문화, 인재 부족이 거론된다. 그러나 이것들은 근본 원인이라기보다 증상에 가깝다. 여러 산업에서 대규모 전환 프로그램을 이끌어온 경험을 종합하면 더 깊은 원인은 따로 있다. 운영 모델이 바뀌지 않았다는 점이다. AI 자체가 운영 모델을 대신하지는 않는다. 운영 모델이 불분명한 상태에서 AI를 투입하면 기존의 비효율은 사라지지 않는다. 다만 더 세련된 디지털 형태로 재생산될 뿐이다.


전략과 실행 사이의 잃어버린 구간

기업이 변혁을 추진할 때 보통 두 가지에는 많은 에너지를 쓴다. 하나는 전략 수립이다. 시장 변화, 경쟁 구도, 기술 트렌드, 성장 목표를 분석해 미래 청사진을 그린다. 다른 하나는 실행이다. 프로젝트 조직을 만들고 예산을 배정하며 시스템 구축 일정을 잡는다. 문제는 그 사이에 놓인 구간이다. 전략을 실제 운영의 언어로 번역하는 설계 작업은 종종 생략되거나 과소평가된다.

운영 모델은 고객 가치가 어떤 순서로 만들어지고, 정보가 어디서 끊기며, 누가 어떤 근거로 결정을 내리고, 자원이 어떤 기준으로 배분되는지를 설명한다. 전략이 ‘무엇을 할 것인가’를 정하고, 조직 구조가 ‘누가 할 것인가’를 정한다면, 운영 모델은 ‘어떻게 연결돼 작동할 것인가’를 정한다. AI는 개별 업무를 자동화할 수 있지만 업무 사이의 의존관계까지 스스로 정렬하지는 못한다. 수요 예측 모델이 아무리 정교해도 구매 승인 주기와 생산 계획 주기가 어긋나 있으면 재고 회전율은 개선되지 않는다. 고객 상담 챗봇이 좋은 답변을 만들어도 환불 권한과 예외 처리 기준이 정리돼 있지 않으면 고객 경험은 나아지지 않는다.

한국 기업에서 이 문제는 더 자주 나타난다. 기능 조직의 전문성은 높지만 부서 간 장벽이 높고, 보고 체계는 정교하지만 의사결정 권한은 상위에 집중돼 있는 경우가 많기 때문이다. 이 구조에서는 AI 도입이 ‘현업 혁신’이 아니라 ‘시스템 구축’으로 축소되기 쉽다. 고객 가치의 흐름, 부서 간 연결, 의사결정 권한이 함께 바뀌지 않으면 전환은 속도를 내지 못한다.


Case Study:
한 통신기업의 공급망 전환이 보여준 것


한 글로벌 통신기업은 3년에 걸친 공급망 전환 프로젝트를 준비하고 있었다. 경영진이 처음 꺼낸 과제는 한두 가지가 아니었다. 디지털 시스템을 새로 정비해야 했고 물류센터 용량도 늘려야 했다. 자동화 설비를 도입하고, 고객 경험을 개선하고, 부족한 인력도 보강해야 한다는 요구가 동시에 나왔다. 표면적으로 보면 각각의 과제를 나눠 병렬로 추진하면 될 것처럼 보였다.

하지만 실제 논의가 시작되자 분위기는 달랐다. 재무 부서는 “투자 대비 효과가 무엇이냐”고 물었다. IT 부서는 “왜 이 일이 우리의 우선순위가 돼야 하느냐”고 반문했다. 인사 부서는 이 문제를 단순한 인력 부족 이슈로 받아들였다. 공급망 부서에는 용량 부족이 당장의 병목이었지만 다른 부서에는 자기 일과 직접 연결되지 않은 과제로 보였던 것이다.

문제는 협업 의지가 부족해서가 아니었다. 과제를 설명하는 방식 자체가 잘못돼 있었다. ‘물류센터 용량을 늘리자’는 말은 공급망 부서에는 절박한 문제였지만 재무, IT, 인사 부서가 움직일 만큼 충분한 언어는 아니었다. 전환의 필요성을 각 부서의 의사결정 논리와 연결하지 못한 것이다.

심층 진단을 해 보니 더 근본적인 문제가 드러났다. 이 회사는 사실상 서로 다른 두 개의 사업을 하나의 운영 방식으로 묶어 관리하고 있었다. 하나는 가정용 인터넷, 전화, 휴대폰, 통신 상품을 전국 리테일 매장을 통해 판매하는 B2C 사업이었다. 다른 하나는 기업 고객을 대상으로 회선을 설치하고 현장 기술 서비스를 제공하는 B2B 사업이었다. 두 사업은 같은 통신회사 안에 있었지만 작동 방식은 전혀 달랐다.

B2C 사업의 핵심은 대량 유통, 표준화된 설치 프로세스, 빠른 매장 재고 회전이었다. 반면 B2B 사업에서는 고객별 맞춤 구성, 현장 엔지니어의 판단, 복잡한 계약 조건 관리가 중요했다. 시간의 흐름도 달랐다. B2C는 소비자 수요와 프로모션 주기에 민감하게 움직였고 B2B는 기업 고객의 구매 계획과 구축 일정에 맞춰 움직였다. 돈을 버는 방식도 달랐다. B2C는 대량 판매와 낮은 마진의 조합에 가까웠고, B2B는 거래 규모는 작지만 마진이 높은 구조였다.

그런데 서로 다른 두 사업이 같은 물류센터, 같은 재고 시스템, 같은 KPI로 관리되고 있었다. 이 구조에서는 어느 한쪽을 최적화하면 다른 한쪽에 부담이 생길 수밖에 없다. 하나의 시스템으로 두 사업을 동시에 잘 운영하려 했지만 실제로는 어느 쪽도 제대로 최적화하지 못하는 구조였던 셈이다.

물류센터 배치도 과거의 수요 패턴에 묶여 있었다. 새롭게 성장하는 지역과 고객 분포는 충분히 반영되지 않았다. 자동화 투자 역시 실제 병목이 발생하는 지점과 어긋나 있었다. 결국 처음에 문제로 제기됐던 ‘용량 부족’은 단순한 물리적 한계가 아니었다. 서로 다른 사업을 하나의 운영 모델로 묶어둔 데서 생긴 구조적 모순이 겉으로 드러난 결과였다.

진단이 바뀌면서 자연스럽게 전환의 방향도 달라졌다. 목표는 ‘물류센터 용량을 늘리는 것’에서 ‘미래 성장을 뒷받침하면서 운영 효율성과 고객 경험을 함께 개선하는 차세대 공급망 체계를 구축하는 것’으로 재정의됐다. 실행 방식도 한 번에 모든 것을 바꾸는 빅뱅 방식에서 벗어났다. 물류 네트워크 재배치, 디지털 시스템 현대화, B2B·B2C 서비스 모델 분리를 각각 독립된 모듈로 나눴다. 고객 경험 개선은 이 모듈들이 제대로 작동한 뒤 그 위에 얹히는 레이어로 설계했다.

핵심 인프라와 데이터는 공유하되 고객 접점과 서비스 방식은 사업별로 다르게 가져갔다. B2C에는 속도와 표준화에 맞는 운영 방식을, B2B에는 맞춤 대응과 프로젝트 관리에 맞는 운영 방식을 적용했다. 문제를 묶는 단위 자체를 바꿔 ‘용량 증설 프로젝트’를 ‘사업별 운영 모델 재설계 프로젝트’로 전환했다.

이 사례는 AX를 추진하는 기업에 교훈을 준다. AI를 어디에 넣을지 묻기 전에 먼저 회사가 어떤 논리로 돌아가는지 봐야 한다는 것이다. 하나의 회사 안에도 서로 다른 속도, 수익 구조, 고객 기대를 가진 사업이 공존한다. 이를 구분하지 않은 채 전사 표준 시스템 하나로 묶으면 AI는 문제를 해결하지 못한다. 오히려 기존의 모순을 더 빠르고 더 그럴듯한 방식으로 증폭시킬 가능성이 크다.


AI가 올라설 수 있는 여섯 개의 층

ms4_2


AI는 스스로 성과를 만들지 않는다. 성과는 AI라는 도구가 기업의 운영 모델 안에 제대로 올라설 때 만들어진다. 문제는 많은 기업이 이 순서를 거꾸로 밟는다는 데 있다. 먼저 솔루션을 고르고, PoC(Proof of Concept)를 돌리고, 특정 업무를 자동화한 뒤에야 “이것이 실제 성과로 이어지는가”를 묻는다. 그러나 AI 도입이 실질적인 성과로 이어지려면 아래에서부터 차례대로 구축해야 할 여섯 단계의 기반이 갖춰져야 한다.

0층 사업의 형태를 먼저 나눠라

AI 전환의 출발점은 기술이 아니다. 가장 먼저 물어야 할 질문은 “우리 회사 안에 실제로 몇 개의 사업이 존재하는가”다. 여기서 말하는 사업은 법인이나 사업부의 개수가 아니다. 돈을 버는 방식, 고객을 만나는 방식, 리스크를 관리하는 방식, 수익이 발생하는 속도가 서로 다른 운영 논리의 개수다.

같은 제조업 안에서도 양산품 사업과 프로젝트성 수주 사업은 전혀 다른 방식으로 움직인다. 양산품 사업은 수요 예측, 재고 관리, 생산 효율이 핵심이다. 반면 프로젝트성 수주 사업은 견적 정확도, 납기 관리, 고객별 예외 대응이 성과를 좌우한다. 같은 금융회사 안에서도 대면 영업 중심 사업과 모바일 플랫폼 사업은 고객 획득 방식, 리스크 통제 방식, 수익 인식 속도가 다르다.

이 차이를 보지 못하면 특정 사업의 논리가 전사 표준으로 확장된다. 그러면 AI 적용 지점도 어긋난다. 양산형 사업에서 효과를 낸 수요 예측 모델을 프로젝트성 사업에 그대로 적용하거나 플랫폼 사업의 데이터 운영 방식을 대면 영업 조직에 강제로 이식하는 일이 벌어진다. AI 도입 이전에 먼저 해야 할 일은 ‘어디에 AI를 넣을 것인가’가 아니라 ‘우리 회사의 사업은 어떤 운영 논리로 나뉘는가’를 구분하는 것이다.

1층 가치의 순서를 시간 단위로 추적하라

사업의 형태를 나눴다면 다음 질문은 고객 가치가 어떤 순서로 만들어지는가다. 고객 주문, 견적, 승인, 생산, 배송, 설치, 사후관리까지 실제 흐름을 시간 단위로 그려야 한다. 중요한 것은 조직도나 프로세스 문서가 아니라 고객 가치가 실제로 이동하는 경로다.

많은 기업은 이미 업무 프로세스 문서를 갖고 있다. 그러나 현장에서 가치가 만들어지는 방식은 문서와 다르게 움직이는 경우가 많다. 고객 요청은 공식 시스템보다 영업 직원과의 전화를 통해 먼저 들어온다. 승인 절차는 전자결재에 남지만 실제 조율은 메신저에서 이뤄진다. 납기 조정은 ERP보다 엑셀 파일에서 먼저 정리된다. 예외 처리는 공식 프로세스 밖에서 숙련 직원의 경험에 의존한다.

AI 적용 지점은 이 흐름을 본 뒤에 찾아야 한다. 흐름을 보지 않고 “어느 업무를 자동화할까”부터 묻는 것은 지도 없이 속도를 올리는 것과 같다. 자동화할 업무는 많아 보이지만 정작 고객 가치의 흐름을 바꾸지 못하면 성과는 제한적이다. AI가 들어갈 자리는 업무 목록 안에 있는 것이 아니라 시간이 새고, 정보가 끊기고, 판단이 지연되는 흐름 속에 있다.

2층 연결의 틈을 찾아라

가치 흐름의 병목은 대개 한 부서 내부에서 생기지 않는다. 문제는 부서와 부서, 시스템과 시스템, 사람과 데이터가 만나는 경계에서 발생한다. 영업의 수요 예측이 생산 계획으로 넘어가는 지점, 구매 승인 주기와 발주 주기가 만나는 지점, 고객 상담 이력이 물류와 품질 부서로 전달되는 지점에서 시간이 새고 오류가 쌓인다.

이 지점을 보지 못하면 AI는 부분 최적화에 머문다. AI가 수요 예측 정확도를 높여도 승인 주기가 그대로라면 리드타임은 줄지 않는다. AI가 고객 상담 내용을 잘 요약해도 그 정보가 품질 개선 회의로 연결되지 않으면 재발 방지는 일어나지 않는다. AI가 불량 가능성을 예측해도 생산, 품질, 구매가 같은 기준으로 움직이지 않으면 현장은 다시 사람의 감과 경험에 의존한다.

따라서 AI 전환의 핵심 질문은 “어떤 부서의 업무를 자동화할 것인가”가 아니다. “어느 연결 지점에서 정보가 끊기고, 결정이 늦어지고, 책임이 흐려지는가”를 물어야 한다. AI의 성과는 개별 기능의 고도화보다 연결의 틈을 메우는 데서 나온다.

3층 결정의 종착지를 정하라

AI가 만든 결과를 누가 의사결정으로 바꿀 것인가. 이 질문은 AI 프로젝트에서 가장 자주 빠진다. 많은 기업은 모델의 정확도, 데이터 품질, 시스템 연동에는 많은 시간을 쓰지만 정작 AI의 결과가 어떤 권한을 통해 행동으로 전환되는지는 충분히 설계하지 않는다.

예를 들어 AI가 추천 가격을 제시했다고 하자. 최종 할인 권한은 영업 담당자에게 있는가, 영업팀장에게 있는가, 본부장에게 있는가. 특정 조건에서는 시스템이 자동 반영해도 되는가. 이 기준이 정해져 있지 않으면 AI의 추천은 참고 자료에 머문다. 불량 예측 모델도 마찬가지다. AI가 위험 신호를 보내도 생산 라인을 멈출 권한이 누구에게 있는지 불분명하면 현장은 기존 방식대로 움직인다.

AI의 성과는 알고리즘 정확도만으로 결정되지 않는다. 알고리즘이 만든 신호가 누구의 판단을 바꾸고, 어떤 권한을 움직이며, 어떤 행동으로 이어지는지까지 설계해야 한다.

4층 보고 조직을 실행 조직으로 바꿔라

대규모 전환에는 PMO(Project Manage-ment Office)가 필요하다. 그러나 PMO가 보고 중심으로 움직이면 전환은 느려진다. 보고 중심 PMO의 일정은 경영진의 질문에서 시작된다. 경영진이 새로 궁금해하는 숫자와 자료를 준비하느라 실행 일정이 밀린다. 회의체는 늘어나고 자료는 정교해지지만 현장의 병목은 그대로 남는다.

반면 실행 중심 전담 조직의 일정은 전환 과제의 병목에서 시작된다. 무엇을 멈출 것인지, 무엇을 우선할 것인지, 어느 부서의 결정을 조정해야 하는지에 자원을 쓴다. 이 조직은 보고서를 잘 만드는 조직이 아니라 실행의 마찰을 줄이는 조직이다. 필요하다면 과제를 통합하고, 중복 투자를 줄이고, 성과가 나지 않는 실험을 중단시키는 역할까지 해야 한다.

이 차이는 한국 기업에 특히 중요하다. 한국 기업은 보고 역량이 강하다. 짧은 시간에 정교한 자료를 만들고, 경영진의 질문을 예측하며, 회의체를 촘촘히 운영한다. 그러나 보고 역량이 실행 역량을 대체하는 순간, 전환 조직은 ‘질문에 답하는 기관’이 된다.

AI 전환에 필요한 조직은 경영진의 질문에 답하는 조직을 넘어 경영진의 질문 자체를 교정할 수 있는 조직이다. 전환 방향과 맞지 않는 이니셔티브라면 이미 예산을 썼더라도 중단을 건의할 수 있어야 한다. 이 권한이 없으면 AI 전환은 성과를 만드는 포트폴리오가 아니라 매몰 비용을 키우는 프로젝트 목록이 된다.

5층 학습의 순환을 설계하라

운영 모델은 한 번 설계하고 끝나는 산출물이 아니다. 외부 조건이 바뀌면 가치 흐름, 병목, 의사결정 권한, 추진 조직도 다시 봐야 한다. AI 전환의 마지막 층은 시스템 구축이 아니라 학습의 순환이다.

2022년 우크라이나 전쟁, 중국 제로 코로나에 따른 항만 봉쇄, 호주 폭우로 인한 내륙 물류 차질이 동시에 발생했을 때 많은 기업의 공급망 의제는 효율성 최적화에서 리스크 완화와 회복탄력성으로 이동했다. 이때 빠르게 움직인 기업은 가장 좋은 기술을 가진 기업이 아니었다. 결정적 차이는 운영 모델을 다시 조정할 수 있는 학습 루프가 있었는가였다. 시장의 수요 구조가 바뀌고, 고객 행동이 달라지고, 규제와 공급망 조건이 변하면 AI가 학습해야 할 문제도 달라진다. 따라서 기업은 모델의 성능뿐 아니라 ‘무엇을 기준으로 다시 배울 것인가’를 정해야 한다. 어떤 지표가 흔들리면 운영 모델을 재검토할 것인지, 누가 현장의 피드백을 수집할 것인지, 어떤 주기로 의사결정 권한과 프로세스를 다시 조정할 것인지가 필요하다.


여섯 개 층 중 가장 자주 무너지는 곳:
추진의 중심축


AI 전환 실패를 들여다보면 기술팀의 문제가 아니라 거버넌스의 문제가 드러나는 경우가 많다. 보고 중심 PMO는 세 가지 방식으로 실행을 늦춘다. 첫째, 케이던스가 경영진 보고 주기에 종속된다. 매주 새로운 자료를 만들지만 현장 의사결정은 미뤄진다. 둘째, 리더의 권한이 제한된다. PMO 리더가 경영진의 보좌자에 머물면 전략의 우선순위를 바꿀 수 없다. 셋째, 자원이 겸직으로 구성된다. 각 부서에서 파견된 인력은 본래 업무의 KPI에서 자유롭지 않다. 전사 최적보다 부서 이해관계가 앞서기 쉽다.

실행 중심 전담 조직은 다르게 움직인다. 일상 운영에서 분리된 전담 인력을 두고 내부 맥락을 아는 사람과 외부 방법론을 가진 사람을 함께 배치한다. 무엇보다 이 조직의 리더는 ‘반박 권한’을 갖는다. 경영진의 직관이 현장 데이터와 충돌할 때 이에 반박할 수 있는 권한이다. 국내 대기업은 이 지점에서 강점과 약점을 동시에 갖고 있다. 강점은 전사 동원력이다. 최고경영진이 의제를 정하면 조직은 빠르게 움직인다. 약점은 반박의 제도화가 약하다는 점이다. AI 전환에는 빠른 동원만큼이나 빠른 중단이 필요하다. 효과가 없는 자동화, 현장 채택률이 낮은 챗봇, 책임 구조가 없는 예측 모델은 과감히 멈춰야 한다. ‘얼마나 많은 AI 과제를 시작했는가’보다 ‘얼마나 빨리 잘못된 과제를 접었는가’가 성숙도를 보여준다.


실행 조직에 필요한 역량:
산업을 넘나드는 방법론


그렇다면 실행 중심 전담 조직은 어떤 역량을 가져야 하는가. 단순히 각 부서의 요구를 취합하거나 프로젝트 일정을 관리하는 능력만으로는 부족하다. 운영 모델을 재설계하려면 산업을 넘어 검증된 방법론을 가져와 현재 조직의 맥락에 맞게 이식하는 능력이 필요하다.

운영 모델 설계에서 자주 과소평가되는 자산은 산업 간 방법론 이전이다. 소비재 제조에서는 SKU(Stock Keeping Unit) 합리화, 수요·공급 연동 계획, 비용 구조 분석이 일상 도구다. 마진이 얇고 유통 속도가 빠른 환경에서 수십 년 동안 정교해진 방법론이다. 반면 항공우주 산업은 제품 복잡도가 높고 규제가 강하며 공급망이 깊다. 하나의 항공기에 들어가는 부품은 수백만 개에 이르고 부품마다 인증과 추적이 요구된다. 이 환경에서는 운영 최적화를 주로 엔지니어링 관점에서 접근해 왔다. 그런데 소비재 제조의 비용 구조 분석과 재고 표준화 방법론을 항공우주 사업에 적용했을 때 단기간에 큰 효과가 확인됐다. 산업, 제품 복잡도, 규제 수준은 달랐지만 운영 모델의 원리는 통했다. 한 산업에서 너무 당연한 방법론이 다른 산업에서는 새로운 통찰이 되는 것이다.

AI 시대에는 이 역량이 더 중요해진다. AI는 주어진 데이터 안에서 패턴을 찾는 데 강하다. 그러나 산업 경계를 넘어 ‘이 문제는 다른 산업에서 이미 이렇게 풀었다’고 연결하는 능력은 여전히 사람과 조직의 몫이다. 한국 제조기업이 유통업의 재고 회전 논리를 배우고, 금융회사가 플랫폼 기업의 실험 설계를 배우며, 병원이 반도체 공장의 품질 관리 방식을 참고할 때 AI가 활용할 수 있는 운영 모델의 폭도 넓어진다.

ms4_3



AI는 문제를 해결하기 전에 문제를 드러낸다

AI에 대한 과도한 기대는 ‘기술이 구조적 문제를 우회할 수 있다’는 믿음에서 나온다. 실제로는 반대다. AI는 문제를 해결하기 전에 문제를 드러낸다. 데이터 정의가 부서마다 다르면 AI는 서로 다른 숫자를 내놓는다. 책임 권한이 불분명하면 AI 추천은 실행되지 않는다. 예외 처리가 문서화돼 있지 않으면 모델은 현장의 맥락을 놓친다. 즉 AI 실패는 종종 AI의 실패가 아니라 조직이 그동안 묻어둔 운영 모델의 실패다.

다론 아제모을루 MIT 교수는 AI의 경제적 효과를 비교적 신중하게 전망한다. 현재 AI가 수익성 있게 대체하거나 보완할 수 있는 업무의 범위가 생각보다 제한적이며 맥락 의존적 판단이 필요한 과제로 갈수록 생산성 효과가 줄어든다는 주장이다. 이 견해가 시사하는 바는 AI 무용론이 아니다. AI가 진짜 성과를 내려면 업무가 충분히 구조화돼 있어야 하고, 그 결과를 실행할 조직 메커니즘이 있어야 한다는 뜻이다.

기업 내부에는 이미 많은 답이 있다. 현장 직원은 무엇이 작동하고, 무엇이 작동하지 않는지 알고 있다. 문제는 그 지식이 경영진의 언어로 번역되지 못한다는 점이다. AI 전환의 핵심 역량은 현장의 암묵지를 올바른 질문으로 구조화하고 이를 운영 모델의 설계 언어로 바꾸는 능력이다.


한국 기업이 지금 던져야 할 다섯 가지 질문

그렇다면 한국 기업은 무엇부터 해야 할까. 답은 AI 도입 속도를 늦추는 데 있지 않다. 오히려 반대다. AI가 성과로 연결되는 속도를 높이려면 도구를 고르기 전에 먼저 구조를 정리해야 한다. 챗봇을 몇 개 만들 것인지, 어떤 생성형 AI 플랫폼을 도입할 것인지, 몇 개 업무를 자동화할 것인지보다 먼저 물어야 할 질문이 있다. 경영진은 최소한 다음 다섯 가지 질문에 답할 수 있어야 한다.

첫째, 이 AI 과제는 어떤 사업 논리를 전제로 하는가. 전사 공통 과제처럼 보이는 일도 실제로는 서로 다른 사업 논리가 뒤섞여 있을 수 있다. B2B와 B2C, 고마진 사업과 저마진 사업, 표준 제품과 프로젝트성 서비스는 같은 시스템 안에 있어도 전혀 다른 방식으로 움직인다. 이 차이를 보지 않은 채 전사 표준 AI 과제로 묶으면 특정 사업의 논리가 전체 조직에 강제로 적용된다.

둘째, 이 과제는 고객 가치 흐름의 어디에 영향을 미치는가. 부서 내부의 업무시간을 줄이는 것만으로는 충분하지 않다. 중요한 것은 고객에게 가치가 도달하는 전체 흐름이 달라지는가다. 견적, 승인, 생산, 배송, 설치, 사후관리 중 어느 지점에서 시간이 줄고 정보 단절이 해소되는지 확인해야 한다. AI가 고객 가치의 흐름을 바꾸지 못한다면 생산성 개선은 보고서 안의 숫자에 머물 가능성이 크다.

셋째, AI의 결과를 실행으로 바꾸는 의사결정권자는 누구인가. AI가 추천 가격을 제시했을 때 누가 최종 할인 권한을 갖는가. AI가 불량 가능성을 경고했을 때 누가 생산 라인을 멈출 수 있는가. AI가 고객 이탈 위험을 알려줬을 때 누가 어떤 조치를 실행할 것인가. 승인 권한, 예외 처리 기준, 자동화의 한계가 정해져 있지 않으면 AI의 결과는 실행이 아니라 참고 자료로 남는다.

넷째, 이 과제를 멈출 권한은 누구에게 있는가. 많은 기업은 AI 과제를 시작하는 데는 적극적이지만 멈추는 데는 서툴다. 이미 예산이 배정됐고, 경영진 보고에 올라갔고, 관련 부서가 참여했다는 이유로 효과가 낮은 과제도 계속 끌고 간다. 시작 권한만 있고 중단 권한이 없으면 AI 포트폴리오는 빠르게 비대해진다. 성숙한 AX 조직은 좋은 과제를 많이 시작하는 조직이 아니라 방향이 맞지 않는 과제를 빨리 접을 수 있는 조직이다.

다섯째, 3개월 뒤 전제 조건이 바뀌면 무엇을 다시 설계할 것인가. AI 전환은 한 번 시스템을 구축하고 끝나는 일이 아니다. 고객 행동, 시장 수요, 규제, 공급망, 경쟁 환경이 바뀌면 AI가 풀어야 할 문제도 달라진다. 따라서 기업은 모델의 성능뿐 아니라 학습의 주기를 설계해야 한다. 어떤 지표가 흔들리면 운영 모델을 다시 볼 것인지, 누가 현장의 피드백을 모을 것인지, 어떤 주기로 권한과 프로세스를 조정할 것인지가 정해져 있어야 한다.

특히 한국 기업은 ‘AI 적용 사례 수’를 KPI로 삼는 유혹을 경계해야 한다. 적용 사례가 많다는 것은 학습이 활발하다는 신호일 수 있다. 그러나 운영 모델 없이 늘어난 사례는 성과가 아니라 복잡성을 만든다. 더 중요한 지표는 현장 채택률, 의사결정 리드타임, 예외 처리 감소, 고객 경험 개선, 재작업 축소다. AI가 실제 운영 지표를 움직이지 못한다면 파일럿은 성공이 아니라 실험에 그친다.

또 하나의 과제는 데이터 거버넌스를 운영 거버넌스와 분리하지 않는 것이다. 많은 기업이 데이터 표준화 프로젝트를 별도로 추진한다. 물론 데이터 정비는 필요하다. 하지만 데이터 정의는 운영 책임과 분리될 수 없다. ‘고객’의 정의가 영업, 재무, 고객센터에서 각각 다르다면 이는 단순한 데이터 문제가 아니다. 고객을 누가 어떤 기준으로 관리하고 책임질 것인가의 문제다. ‘납기 지연’의 기준이 생산과 물류에서 다르다면 이 역시 시스템 문제가 아니라 의사결정 기준의 문제다.

은행, 유통, 제조, 테크 기업에서 반복적으로 확인되는 패턴이 있다. 전환에 실패한 기업은 대개 기술이나 예산이 아닌 전략에서 실행으로 이어지는 연결 구조를 설계하지 않은 데서 원인을 찾을 수 있다. 그 빈자리는 아무리 좋은 AI 도구로도 채워지지 않는다.

AI 도입을 앞둔 조직이 예산을 집행하기 전에 확인해야 할 것은 결국 여섯 층에 대한 답이다. 특히 AI 전환의 출발점은 ‘AI로 무엇을 할 것인가’가 아니다. 먼저 물어야 할 질문은 “AI가 작동할 수 있는 구조를 우리는 갖고 있는가”다. 이 순서를 지키는 기업은 AI를 단순한 도구가 아니라 운영 능력을 증폭시키는 장치로 만들 수 있다. ‘도구는 구조를 만들지 못하고, 구조가 도구의 가치를 만든다’는 교훈을 명심하길 바란다.
  • 최연성

    『전략적 피벗』 저자·글로벌 물류기업 Product & Architecture 총괄

    필자는 호주에 본사를 둔 글로벌 물류기업에서 Global & eCommerce 사업부 내 Product & Architecture 총괄을 맡고 있다. 네슬레, 아마존, 액센추어, 보잉 등에서 20여 년간 사업 전환, 조직 재설계, 운영모델 혁신 프로젝트를 수행하면서 글로벌 기업 내부에서 전략이 실제 조직 구조와 업무 방식으로 구현되는 과정을 경험했다. Imperial College London MBA를 마쳤으며 MIT Industry 4.0 과정을 수료했다.

    이 필자의 다른 기사 보기
  • 정리=장재웅

    정리=장재웅

    동아일보 기자

    이 필자의 다른 기사 보기
인기기사

아티클 AI 요약 보기

GO
DBR 자문서비스 지금의 고민, 검증된 전문가에게
서비스
보기

K-FOCUS TOP 5

지금 주목해야 할 산업과 기업 트렌드