AI에 어디까지 맡길까… 권한 범위 분명히
실행 기록 남기고 이상 땐 중단 장치 둬야
Article at a Glance
AI에 일을 맡겨도 책임까지 넘길 수는 없다. AI 자체가 독립적인 책임 주체가 될 수 없는 만큼 기업은 AI에 일을 맡기는 방식과 그 결과를 통제하는 체계를 함께 설계해야 한다. 첫째는 위임 구조 설계다. AI가 맡을 업무와 권한의 범위를 정하고 조직의 의도에서 벗어나지 않도록 목표와 금지선을 명확히 해야 한다. 업무의 위험도에 따라 사람의 감독 수준을 달리하고 위험한 작업은 실행 전 승인을 받거나 스스로 멈추도록 설계하는 것도 중요하다. 둘째는 조직 차원의 AI 거버넌스 구축이다. EU AI Act 등 관련 규제도 인간의 감독과 위험 관리의 중요성을 강조한다. 기업은 업무별 책임자와 감독자의 역할을 분명히 나누고 AI의 실행 기록을 남기는 한편 이상 징후를 감지하면 작업을 중단하고 복구할 수 있는 체계를 갖춰야 한다. AI 활용의 성패는 무엇을 어디까지 맡길지 정하는 데서 시작해 그 위임이 안전하게 작동하도록 조직의 책임과 감독 구조를 세우는 데 달렸다.
2022년 11월, 캐나다에 사는 제이크 모팻은 할머니 장례식에 가기 위해 에어캐나다 항공권을 알아보고 있었다. 북미 일부 항공사는 가족 사망으로 여행하는 고객에게 항공료를 할인해주는 유족 운임 제도를 운영한다. 모팻은 항공사 웹사이트의 챗봇에 유족 할인을 문의했고 챗봇은 항공권 구매 후 90일 이내에 신청하면 할인을 소급해 받을 수 있다고 답했다. 장례를 마친 모팻은 할인 신청서를 제출했다. 그러나 실제 정책은 여행 전 승인을 받아야 하는 것이었고 에어캐나다는 지급을 거절했다. 항공사와 수개월간 논쟁을 벌인 끝에 모팻은 브리티시컬럼비아 민사해결재판소에 소를 제기했다.
에어캐나다는 챗봇이 잘못된 정보를 제공했다는 사실은 인정하면서도 챗봇을 비롯한 대리인(agent), 사용인(servant), 대표자(representative)가 제공한 정보에까지 회사가 책임을 질 수는 없다고 주장했다. 그러나 재판소는 이를 받아들이지 않았다. 에어캐나다의 주장은 챗봇을 자신의 행위에 독립적으로 책임지는 별도의 법적 실체(separate legal entity)로 간주하는 것과 다름없다는 이유에서다. 재판소는 챗봇 역시 항공사 웹사이트의 일부인 만큼 챗봇이 제공한 잘못된 정보에 대해서도 에어캐나다가 책임져야 한다고 판단했다. 이 사건은 기업이 AI를 통해 제공한 정보의 오류에 대해서도 법적 책임을 피하기 어렵다는 점을 보여준다.
그로부터 4년이 흐른 지금, AI는 안내를 넘어 실행하는 단계에 들어섰다. 에이전틱 AI는 외부 시스템과 연결돼 정보를 찾고, 업무를 계획하고 실행까지 한다. AI의 잘못된 판단이 부정확한 안내에 그치지 않고 실제 데이터 손실이나 서비스 중단으로 이어질 수 있다는 뜻이다.
지난 4월 미국 차량 렌털 소프트웨어 기업 포켓OS에서 일어난 사고를 예로 들 수 있다. 데이터베이스 유지보수를 맡은 AI 코딩 에이전트가 작업 중 인증 오류가 나자 해결책을 찾다가 운영 인프라에 접근할 수 있는 권한을 이용해 삭제 명령을 실행했다. 데이터 삭제에는 불과 9초가 걸렸고 서비스 복구에는 약 60시간이 걸렸다. 이 사고를 AI의 잘못된 판단만으로 설명하기는 어렵다. 에이전트에 운영 데이터베이스를 지울 수 있는 권한이 주어져 있었고 중요한 작업을 실행하기 전에 사람의 승인을 받도록 하는 장치도 없었다. 백업과 복구 체계 역시 제대로 작동하지 않았다. AI의 실수가 권한 관리와 감독, 백업·복구 체계의 빈틈과 맞물리면서 사고가 커진 것이다.
