유럽연합이 인공지능법을 전격 제정하면서 AI 비즈니스 환경이 크게 달라졌다. 하지만 AI 분야의 글로벌 전문가들은 현재 대부분의 기업이 AI 위험에 대처하는 리스크 관리 역량이 부족하다고 평가한다. AI 기술의 급속한 발전이 역량 개선 속도를 앞지르고 있는 데다 기업의 AI 위험에 대한 이해가 부족하고, 관련 투자에도 적극적이지 않기 때문이다. 평가 기준조차 없는 게 현실이더라도 AI 위험에 대응하는 기업의 역량 구축이 시급하다. 기업은 높은 수준의 내부 지침을 마련하고 지속적으로 학습하며 AI 위험 관리에 민첩하게 대응해야 한다.
MIT 슬론 매니지먼트 리뷰(SMR)와 보스턴컨설팅그룹(BCG)은 3년 전부터 학자, 업계 실무자를 포함한 글로벌 AI 전문가 패널을 구성해 기업과 조직에서 ‘책임 있는 인공지능(Responsible AI, RAI)’이 어떻게 구현되고 있는지 통찰력을 모아오고 있다. 이 프로젝트를 통해 2023년에는 ‘제3자(상용) AI 도구의 확산에 따른 RAI 프로그램의 강력한 구현’이라는 보고서를 발표한 바 있다.
1
올해는 세계 최초의 포괄적 인공지능 규제 법안인 유럽연합의 인공지능법이 법제화된 상황에서 AI 관련 위험(AI-related risks, 이하 AI 위험)에 대처할 수 있는 기업의 역량을 살펴보고자 한다.
2
우선 우리는 패널에 참여한 전문가들과 거대 언어 모델(LLM)에 다음 진술에 대한 견해를 물었다.
“기업은 AI 위험에 대처할 수 있는 리스크 관리 역량을 충분히 갖추고 있다.”전문가 패널의 과반수(62%)가 이 진술에 동의하지 않거나 매우 동의하지 않는다고 대답했다. (그림 1, 표 1) 효과적인 리스크 관리의 장애물로는 기술 발전 속도, 리스크의 모호성, 규제의 한계를 꼽았다.
이제부터는 전문가 패널의 인사이트를 공유하며 RAI 이니셔티브에서의 우리의 관찰과 경험을 바탕으로 AI 위험을 해결하기 위해 기업의 리스크 관리 역량을 어떻게 활용해야 하는지 여러 의견을 제시하도록 하겠다.
기술 발전이 리스크 관리 역량을 앞질러많은 전문가가 AI 기술 발전 속도가 조직의 리스크 관리 프레임워크의 한계를 시험하고 있다고 평가한다. 스탠퍼드 코드엑스(Standford CodeX) 연구원 리얀카 로이 초두리는 “AI, 특히 생성형 AI의 빠른 확장은 대부분 기업의 운영 역량을 넘어섰다. 그 결과 AI 위험 완화 전략이 취약해졌다”고 주장한다. 랜드 오레이크스(Land O’Lakes)의 최고기술책임자(CTO) 테디 베켈레는 “AI 위험에 대처하기 위한 전반적인 대비가 미흡하다”고 지적하며 “이는 주로 AI의 빠른 발전이 효과적인 리스크 관리 개발 및 실행을 앞지르고 있기 때문”이라고 말한다. AI 도입 속도 또한 기업과 조직에 어려움을 주고 있다. 아프로리더십(AfroLeadership) 벨로나 소나는 “AI 시스템은 전 세계에서 가장 빠르게 성장하는 업무 시스템 중 하나”라며 “따라서 위험도 그에 못지않게 역동적”이라고 설명한다.
DBS은행 최고데이터분석책임자 사미르 굽타와 H&M그룹 AI전략책임자 린다
레오폴드는 기업 리스크 관리 역량이 ‘AI 역량의 빠른 진화’와 ‘기술 개발 및 사용 확산 속도’에 발맞춰야 한다고 주장하면서도 실제로 그렇게 하는 데에 어려움이 있음을 인정한다. 레오폴드는 “RAI 프로그램이 탄탄하게 구축된 조직이라고 하더라도 개발 속도를 따라잡고 새로운 위험에 지속적으로 대처하려면 큰 노력이 필요하다”고 말한다.챗GPT에도 ‘조직은 AI 위험에 대처할 수 있는 리스크 관리 역량을 충분히 갖추고 있다’는 진술에 대한 답변을 요청했다. 챗GPT 역시 AI 위험에 대한 관리 접근 방식을 개선하는 것을 지속적인 과정으로 인식하고 있었다. 챗GPT의 답변은 다음과 같다.
“많은 조직이 AI 위험에 대처하기 위해 리스크 관리를 강화하고 있습니다. 여기에는 AI 시스템에 내재된 잠재적 편향, 개인정보 침해, 운영 취약점을 평가하는 것이 포함됩니다. 강화된 관리 전략에는 사전 모니터링, 강력한 데이터 거버넌스, 규정 준수 프레임워크가 있습니다. 하지만 이러한 진전에도 불구하고 새로운 AI 위험을 효과적으로 완화하고 지속가능한 혁신을 보장하기 위해서는 지속적인 적응이 필수적입니다.”소규모 기업과 조직은 이러한 기능을 전담할 전문 인력이나 자원이 부족한 경우가 많기 때문에 상황은 더욱 어렵다. 링크트인(LinkedIn) 데이터 및 AI 책임자인 야 시는 “우수한 리스크 관리 역량을 구축하려면 상당한 자원과 전문 지식이 필요한데 현재 모든 기업이 이를 감당하거나 보유할 수 있는 건 아니다”라고 설명한다. 카네기 국제평화재단(Carnegie Endowment for International Peace)의 연구원 난지라 삼불리도 마찬가지로 “많은 국가에서 다수를 차지하는 중소기업은 아직 리스크 관리를 전담하는 팀이나 제3자 리스크 관리 서비스를 이용할 수 있는 자원을 갖추지 못하고 있다”고 말한다. 셰브론(Chevron)의 최고데이터책임자 엘렌 닐슨도 이에 동의한다. 그는 “AI 거버넌스 및 리스크 전문가에 대한 수요가 공급을 앞지르고 있다”고 말한다.
모호성이라는 중요한 과제특히 이러한 위험을 식별하고, 이해하고, 측정하기 위한 명확하고 확립된 표준이 없는 상황에서 AI 로 인한 위험이라는 모호성은 기존의 리스크 관리 능력의 한계를 시험하고 있다. 한쪽에선 데이터 거버넌스, 개인정보 보호, 사이버 보안, 윤리, 신뢰와 안전 등 기존의 리스크 관리 역량을 조정하고, 다른 쪽에선 새로운 AI 전용 역량을 구축하려고 노력하고 있다.
콜드체인 테크놀로지스(Cold Chain Technologies) CEO 란지트 바네르지는 “오늘날 대부분 기업에서 AI 위험에 대한 이해가 부족하다고 생각한다”고 고백한다. 산제이 사르마 MIT 교수도 비슷한 의견을 내놨다. “방대한 범위의 위험이 분석 마비로 이어져 기업들이 리스크 환경을 제대로 파악하지 못한 것 같다”는 것이다. H&M그룹의 레오폴드는 이미 알려진 광범위한 위험 외에도 “기술과 그 적용 분야가 발전함에 따라 새로운 위험이 계속 등장하고 있다”고 지적한다. 스탠퍼드 코드엑스의 초두리는 “특히 소규모 기업의 경우 AI와 관련된 잠재적 위험을 이해하고 정량화하는 데 상당한 장애물을 안고 있다”고 덧붙인다. 오토메이션 애니웨어(Automation Anywhere) 글로벌의료부문책임자 얀 차우는 “AI가 자신의 위험을 스스로 이해하려면 시간이 걸릴 것이다”라고 말한다. (실제 일부 조직은 이러한 방향으로 나아가고 있다.
3
)
삼불리 연구원은 AI 위험은 “디지털 및 이머징 기술 사용과 확산으로 발생하는 다양한 위험과는 현저히 다르다는 점을 인지하는 게 핵심”이라고 강조한다. LG Nova 상용화책임자 실파 프라사드는 “AI 시스템이 제기하는 리스크는 여러 면에서 새롭고 독특하다”고 말한다, 한편 어보이티즈(Aboitiz Data Innovation) CEO 데이비드
하둔은 “대부분의 위험은 데이터 거버넌스 같은 특정 AI에만 있는 게 아니다”라고 주장한다. 하둔은 “리스크 대응 역량을 확대하기 위해서는 AI 위험이 비(非)AI 위험과 어떻게 다른지 구체적으로 이해해야 한다”고 덧붙였다. 올테크이즈휴먼(All Tech Is Human)의 설립자 데이비드 폴거는 그 이유를 다음과 같이 설명한다. “AI, 특히 생성형 AI는 적절한 리스크 대응을 무용지물로 만드는 경향이 있다. 우리가 AI를 저작권, 데이터 보호, 허위 광고와 관련된 고전적 딜레마를 야기하는 신기술로 인식하기보다는 ‘신비로운 새로움’이라는 렌즈를 통해 AI를 바라보기 때문이다.”일부 기업에서 명확하고 일관된 AI 리스크 관리 프레임워크가 부족하다는 현실도 또 하나의 문제다. TU..V AI.Lab CEO 프란치스카 바인다우어는 “기업의 리스크 관리 시스템 구현을 돕고자 해당 분야 전문가들이 개발한 프레임워크와 지침이 여전히 없다”고 지적한다. 포휴머니티(ForHumanity) 설립자 라이언 캐리어는 “리스크 관리 프로세스에 다양한 의견과 여러 이해관계자의 피드백을 포함시키지 않으면 리스크 식별에 대한 관점이 제한돼 잔존 위험을 파악하지 못하는 결과를 초래할 것”이라고 경고한다. 에이더 러블레이스(Ada Lovelace Institute)의 앤드루 스트레이트 부소장은 “우리는 여전히 다양한 방법을 검토하고 시도하는 시대에 있지만 그 효과가 입증된 건 아니다”라고 말한다. 하지만 상황은 바뀌어 나갈 것이다.
규제 역할은 지켜봐야AI 규제의 역할에 대한 전문가들의 의견은 분분하다. EnBW 최고데이터책임자 라이너 호프만은 “고위험 애플리케이션에 대한 리스크 관리를 의무화하는 유럽연합의 인공지능법이 도입되면서 기업들이 AI 위험을 고려하는 것의 중요성을 인식하기 시작했다”고 전한다. 헬싱키대 티무 루스 교수는 “2018년 GDPR 도입과는 차원이 다르다.
4
기업들은 인공지능법 준수를 위해 투자해야 할 것”이라고 말한다. 오디셀에이(OdiselA)의 공동 설립자 리차드 벤저민스는 “유럽연합의 인공지능법을 비롯한 다가오는 규제들로 인해 많은 조직이 AI 위험을 해결하기 위해 리스트 관리 역량을 확대하고 있지만 이러한 변화가 일어나는 속도는 조직마다 크게 다르다”고 경고한다. 유니코ID테크(Unico Idtech) 연구원 야소다라 코르도바는 “기업이 개인정보 보호에 대한 리스크 관리 역량을 강화하기까지 거의 10년 동안의 규제가 필요했다”고 상기시킨다.
규제 효과를 낙관하지 않는 의견도 있다. 유엔(UN) 사무차장 실리지 마르왈라는 “AI 위험을 해결하는 것보다 AI를 통한 이익 극대화에 더 많은 인센티브가 있다”고 주장한다. 싱가포르국립대 사이먼 체스터만 교수는 “기업 입장에선 실패에 대한 두려움이 큰 경우가 많다”고 말한다. 포휴머니티의 라이언 캐리어는 “기업들은 리스크 관리가 중요하다는 립서비스만 하고 뒤로는 정책과 표준을 막거나 유예시키기 위해 적극적으로 활동하고 있다”고 전했다. 이러한 우려 때문에 데이터프라이버스브라질(Data Privacy Brasil) 창립이사 브루노 비오니는 “가장 시급한 문제는 우리 사회가 리스크 관리 역량을 민주적으로 확장하고 있는지 여부”라고 주장한다.
AI 위험 대응을 위한 4가지 권고기업과 조직의 리스크 관리 역량을 활용해 AI 위험을 대응하기 위해 다음의 네 가지를 권고한다.
1. 첫 번째 원칙을 첫째로 파악하라AI 위험은 역동적이고 빠르게 진화한다. 따라서 기업은 임시방편적으로 대처하기보다는 특정 애플리케이션(업무 시스템)이나 AI 기술 발전에 적용할 수 있는 높은 수준의 지침 원칙과 방어책(가드레일)을 기반으로 삼고 민첩한 접근 방식을 취해야 한다.
2. 민첩성을 유지하고 계속 학습하라기업은 AI 위험과 완화 접근 방식에 대한 집단 학습이 현재 진행 중에 있음을 인식해야 한다. 모든 구성원의 이해가 높아짐에 따라 기업 자신의 접근 방식 역시 빠르게 진화해야 한다는 점을 명심하자.
3. 리스크 완화 도구에 대한 투자를 늘려라기업은 데이터 거버넌스와 개인정보 보호, 사이버 보안, 윤리, 신뢰 및 안전, 여러 규정 준수 기능 등 현재 보유한 리스크 완화 도구가 AI 위험을 해결할 수 있을 것인지 파악해야 한다. 그리고 기존 기능에 부족함이 있는 경우 새로운 리스크 관리 도구에 투자해야 한다. AI 위험은 조직 내부, 그리고 외부에서도 발생할 수 있다. 리스크 완화 접근은 내외부의 리스크를 모두 해결할 수 있도록 설계돼야 한다.4. 당장 행동하라현재로서는 유럽연합 인공지능법이 전 세계에서 유일한 포괄적 규제 법안이다. 그러나 앞으로도 계속 이것이 유일한 법안은 아닐 것이다. 포괄적인 AI 위험 관리 프로그램을 구축하는 데 몇 년이 걸릴 수 있다는 점을 고려한다면 규제안들이 AI 위험 관리에 대한 신중하고 유연한 접근 방식을 갖출 때까지 기업이 마냥 기다리고 있을 순 없다.
번역 ｜류종기 EY한영 상무, 『매직 컨베이어 벨트: 공급망, 인공지능과 일의 미래』 역자
닫기
