19세기 전보시대에도 빅데이터는 있었다 정보를 정리?통제한 자가 이겼다

편집자주

이 글은 <맥킨지쿼털리>에 실린 ‘Big Data in the Age of the Telegraph’를 전문 번역한 것입니다.

1854년, 대니얼 맥칼럼(Daniel McCallum)은 뉴욕이어리철도社(New York and Erie Railroad)의 운영을 맡게 됐다. 뉴욕이어리철도가 관리하는 철로의 길이는 약 500마일 정도였다. 세계에서 가장 긴 철도 시스템 중 하나였지만 그다지 효율적이지는 않았다. 사실 맥칼럼은 방대한 철로의 길이로 인해 철도 운영의 효율성이 높아지기는커녕 복잡성만 기하급수적으로 증가했다는 사실을 발견했다.1 1본 논문에서 언급된 철도 운영 및 조직적 사고에 관한 세부적인 사항들은 다음 자료를 바탕으로 한다. Homer Ramsdell and D. C. McCallum, Reports of the President and Superintendent of the New York and Erie Railroad to the Stockholders, for the Year Ending September 30, 1855, New York, NY: Press of the New York and Erie Railroad Company, 1856. 닫기

문제는 정보 부족이 아니었다. 전보 사용이 늘어난 덕에 뉴욕이어리철도는 역사상 전례가 없을 정도로 방대한 양의 데이터를 거의 실시간으로 확보했다. 사고나 연착에 관한 소식도 거의 실시간으로 도착했다.2 2톰 스탠디지(Tom Standage)는 다음 저서에서 전보를 ‘생각의 고속도로(highway of thought)’라고 표현한 동시대인을 소개한다. The Victorian Internet: The Remarkable Story of the Telegraph and the Nineteenth Century’s On-line Pioneers, first edition, London, UK: Weidenfeld & Nicolson, 1998. 전보의 효과에 대해 훌륭하게 묘사한 최근 자료가 궁금하신 분은 다음을 참고하기 바란다. Richard John, Network Nation: Inventing American Telecommunications, first edition, Cambridge, MA: Harvard University Press, 2010. 닫기 하지만 다량의 데이터를 활용하기가 쉽지 않았다. 이 같은 문제를 깨달은 맥칼럼은 그 시대 최고의 로테크(low-tech) 경영 혁신 중 하나를 이뤄냈다. 조직도(organization chart)를 만들어냈던 것이다. 필자는 이 글을 통해 오랫동안 사라졌던 조직도를 재조명하고(‘사라진 조직도를 찾아서’ 참조) 예나 지금이나 기업들이 데이터를 운영 및 전략과 일치시키는 문제와 관련해 어떤 어려움을 겪고 있는지 살펴볼 것이다. 이는 현대의 경영진이 직면한 본질적인 문제다.

‘빅데이터’, 그때와 지금

요즘 기업들이 테라바이트, 페타바이트, 엑사바이트의 단위로 흘러 들어오는 정보를 처리하기 위해 고군분투하고 있듯 19세기 중반에도 정부와 기업, 대학들이 다량의 데이터를 생성하고 처리하느라 어려움을 겪었다. 한 역사학자는 이런 현상을 일컬어 ‘쇄도하는 숫자(avalanche of number)’라고 표현했다.3 3‘쇄도하는 숫자’라는 표현은 확률 통계적 사고의 확산에 관한 이안 핵킹(Ian Hacking)의 저서에 등장한다. The Taming of Chance, first edition, Cambridge, UK: Cambridge University Press, 1990. 닫기 물론 맥칼럼이 관리했던 철로와 관련된 정보량이 메가바이트 수준도 되지 않았을 가능성이 크다. 하지만 당시에는 전례 없이 규모가 큰 시스템을 관리하고 있었던 맥칼럼과 부하 직원들의 입장에서는 틀림없이 ‘빅데이터(big data)’였다. 전보의 속도 덕에 좀 더 많은 양의 정보를 이용할 수 있게 됐지만 정보를 정리하고 정보의 내용을 바탕으로 행동을 취하기가 점차 힘들어졌다. 예컨대, 기차 1대가 연착되면 그 외 수많은 기차들이 계획대로 움직이는 데 방해가 됐다. 사실 위험이 매우 컸다. 당시의 기차는 하나로 연결된 철로를 따라 기관차가 양방향으로 차량을 끌고 가는 방식으로 움직였다. 따라서 기차 운행 시간을 변경하면 19세기의 기차 시스템을 괴롭히는 고질적인 문제였던 치명적인 충돌 사고가 발생할 위험이 있었다.

맥칼럼의 이야기처럼 “50마일 정도의 철로를 관리하는 사람이라면 전적으로 그 라인에 붙어서 세부적인 지시를 내리는 데 전념할 수 있다”. 하지만 철로의 길이가 수백 마일에 달하는 경우에는 필요한 모든 스케줄 조정 업무를 개별 관리자 혼자 담당할 수 없었다. (‘최초의 현대적 조직도’ 참조)

뒤집힌 정보 체계

맥칼럼은 조직 계획을 작성할 당시 뉴욕이어리철도가 정보를 활용하는 방식을 개선하려고 노력했다. 21세기의 시각으로 보면 맥칼럼이 작성한 조직도는 예스러워 보이면서도 그와 동시에 놀라울 정도로 현대적이다. 오늘날의 조직들은 조직도를 그릴 때 대개 고정된 피라미드의 형태로 표현한다. 하지만 맥칼럼의 조직도는 피라미드와는 전혀 거리가 먼 트리 구조를 갖고 있다. 맥칼럼은 이사회를 뿌리로, 자신을 비롯한 최고경영진은 나무의 몸통으로, 뉴욕이어리철도의 각 철도지역구와 부서는 가지로 묘사했다.

중요한 사실은 역설적이게도 맥칼럼이 통제권을 포기하고 실시간으로 정보를 활용할 수 있는 현장 관리자들에게 권한을 위임한 덕에 통제권을 얻게 됐다는 것이다. 맥칼럼은 요즘 우리가 조직의 최고위급 경영진이라 표현하는 부분을 맨 아래쪽에 배치했다. 이들의 역할을 실제 철도의 운영과 관련된 명령을 내리는 것이 아니라 업무를 지원하는 것으로 규정했던 것이다. 맥칼럼이 제안한 핵심 수칙 중 하나인 ‘적절한 책임 분배’ 원칙에 따라 일일 스케줄 조정 권한은 각 지역 관리자에게 주어졌다.