Top
검색버튼 메뉴버튼

MIT Sloan Management Review

인간이 좀 더 성찰적인 삶을 살 수 있도록 AI 설계하기

줄리언 프리드랜드(Julian Friedland) | 282호 (2019년 10월 Issue 1)
Article at a Glance
질문
인간이 기계로 전락하지 않으려면 기계들을 어떻게 더 스마트하게 설계해야 할까?

연구를 통해 얻은 해답
● 수많은 일을 인공지능(AI) 플랫폼으로 ‘아웃소싱’하게 되면서 인간은 일의 결과에 대해 덜 성찰하고, 책임감도 덜 느끼게 됐다.
● 도덕적 자기 인식은 비판적 자아성찰, 작인(agency), 책임감 회복을 돕는 강력한 원동력이 된다.
● AI 개발자들은 건강이나 웰빙부터 미디어와 시민 참여까지 다양한 영역에서 도덕적 자기인식을 촉진하는 자극들을 결합할 수 있다.


편집자주
이 글은 MIT 슬론 매니지먼트 리뷰(SMR) 2019년 여름 호에 실린 ‘AI Can Help Us Live More Deliberately’를 번역한 것입니다



당신이 어머니께 드릴 선물을 인터넷에서 찾고 있다고 가정해 보자. 자수 글귀가 새겨진 쿠션부터 보드라운 목욕 가운 등 여러 후보를 고민하다 결국 그중 하나로 선택지가 좁혀질 것이다. 그렇다면 이 선택을 내린 주체는 정확히 누구인가? 당신 자신인가? 아니면 당신 혼자서는 절대 처리하지 못했을 대량의 데이터를 바탕으로 가장 ‘사려 깊은’ 선택지를 내놓도록 설계된 알고리즘인가? 또 당신이 최종 ‘선택한’ 꽃 자수가 새겨진 여행용 가방을 어머니가 탐탁지 않아 하신다면 그건 당신 탓일까? 이를 구분하는 일이 점점 어려워지고 있다. 이런 고민거리를 AI가 대신 수행해주게 되면서 인간은 귀찮은 잡무에서 해방되고, 그 결과도 전적으로 책임지지 않게 됐기 때문이다.

AI는 방대한 정보를 끌어내서 인간이 더 잘살고, 일을 더 잘할 수 있도록 도움을 주는 강력한 도구다. AI 덕분에 인간은 지루하고, 시간을 잡아먹거나, 짜증을 유발하는 많은 일을 직접 겪지 않아도 된다. 문제는 그런 성가신 일들이 인간이 적응력을 기르는 데 아주 중요한 역할을 한다는 점이다. 이 과정에서 주변 사람들이나 세상과 관계를 맺고 자신의 행동을 조정하는 법을 배울 수 있기 때문이다. 가령, 지적 장애가 있는 슈퍼마켓 계산대 직원과 마주쳤다고 해보자. 이런 상황은 자기 자신의 인간성을 확인하는 계기가 될 수 있다. 방금 전까지 왜 내가 선 계산대 줄만 빨리 줄지 않는지를 불평했던 모습을 돌이켜 볼 것이다. 우리는 이렇게 사람들과 부딪히는 과정 속에서 연민을 배우고, 자기통제력을 발휘하고, 충동을 억제하는 법을 익힌다. 인간의 상호작용은 도덕성을 확인하는 기제로 끊임없이 작용한다.

이처럼 물리적인 실체들로 구성된, 보다 넓은 세상에서 상호작용하다 보면 우리는 새로운 환경에 적응하지 않을 수 없다. 복잡한 도시를 걷거나, 자전거를 타거나, 차를 운전하면서도 다양한 형태의 도로와 기상 상황 등 예기치 않은 장애물에 대응하는 법을 습득하게 된다. 매일같이 무수한 일들을 접하면서 우리는 스스로를 세상에 맞추고, 세상을 우리에게 맞춰가면서 최적의 균형점을 찾는다. 1 이런 식의 적응 과정을 거쳐 인간은 자아성찰과 윤리적 사고를 하고, 공명심을 갖게 된다.

AI에 대한 의존도가 급격히 증가하면서 일상 속에서 이런 상호작용이 사라지고 있다. AI로 인해 늘어난 이런 마찰 없는(frictionless) 커뮤니케이션은 인지적, 감정적 거리를 더 멀어지게 만들고, 인간의 적응 탄력성을 약화시킨다. 윤리적 가치도 쓸모없게 만든다. 2 가령, 친구나 가족의 선물을 고를 때 AI에 의존하면 그들과 소통하면서 상대방이 원하고 진정 필요로 하는 것이 무엇인지 고민하는 감정 노동을 건너뛰어도 된다. 이미 사회적, 공적, 개인적, 직업적 맥락에서 AI 소프트웨어에 인지 노동, 감정 노동, 윤리 노동을 떠넘기는 현상은 일상적으로 벌어지고 있다. 3 인간은 어쩌면 비판적이고 성찰적인 사고를 하는 성향과 능력을 점차 잃어버리게 될지도 모른다. 그렇게 되면 우리는 인지적, 감정적으로 더 취약해지고, 더 불안해지고, 4 가짜 뉴스나 기만적 광고, 정치적 수사 등의 속임수에 더 쉽게 넘어가게 된다.

본 글에서는 이 문제의 전반적인 특징을 검토한 뒤 AI 설계자들이 급증하는 사물인터넷(IoT) 시장에서 스마트폰 같은 제품과 서비스의 시스템을 어떤 식으로 개선해야 이 문제를 해결할 수 있는지 방법론을 제시할 것이다. 이 방법론은 2가지 개념을 바탕으로 한다. 하나는 필자가 포드햄대(Fordham University), 가벨리(Gabelli) 경영대학원의 벤저민 M. 콜(Benjamin M. Cole) 교수와 함께 개발한 도덕적 자기인식(moral self-awareness) 이론 5 이다. 다른 하나는 이 모델은 도덕적 정체성을 4단계로 구분한다.심리학자인 대니얼 카너먼(Daniel Kahneman)의 이중 인지 처리 프로세스(cognitive dual process) 이론 6 이다. (DBR mini box ‘AI 세상의 마음 이론’ 참고.)


DBR mini box: AI 세상의 마음 이론

이중 인지 처리 프로세스 이론은 2가지 중요한 의사결정 과정을 설명한다. ①자극에 자동으로 반응하는 자율적 사고와 ②의도적이고 논리적으로 신중하게 반응하는 성찰적 사고를 말한다. i


AI 기반 플랫폼 대부분은 개인의 관심사에 속하거나 즉각적으로 관심을 끄는 활동들에 대해 성찰적 사고를 하지 못하도록 주의력을 떨어뜨린다. 이상적인 경우에는, 이렇게 아웃소싱된 작업들이 AI의 도움 없이 인간이 직접 상호작용할 때보다 더 효과적으로 달성될 것이다. 따라서 인간은 AI를 통해 외부의 물리적, 사회적 세상에서 유입되는 정보를 더 생산적으로 처리할 수 있다고 말할 수 있다.

AI 시스템은 보통 사용자들에게 직감적인 알림 신호로 지침을 주는데 연구자들은 이를 3가지 범주로 나눈다.


· 익숙함 알림은 특정 기술에 대한 사용자의 익숙함을 이용해서 새로운 기술에 대한 정보를 준다.
예) 카메라의 셔터 누르는 소리와 스마트폰의 전화 발신음 이용.
· 심리적 반응 알림은 일반적인 심리 반응을 활용해서 제품이나 서비스에 대한 소비자 인식을 형성한다.
예) 더 솔직하고 개방적이라는 신호를 보내기 위해 친근한 아바타가 등장하는 인터페이스 디자인 활용.
· 명시적 알림은 사용자에게 그들이 행한 행동들의 결과를 보여줘서 자기인식을 촉진한다.
예) 아이폰 iOS 12 버전에 들어간 스크린타임 데이터 제시.


익숙함 알림과 심리적 반응 알림은 자율적 사고만 유발하도록 설계돼 있다. 이에 반해 명시적 알림은 성찰적 사고를 유발하도록 디자인돼 있어 커뮤니케이션 마찰을 일으킨다. 아이폰 운영 체제에 내장된 스크린타임 소프트웨어는 사람들이 소셜네트워킹이나 엔터테인먼트, 생산성 앱을 얼마나 많이 사용하는지도 보여준다. 이렇게 하면 사용자가 자신의 행동을 더 잘 파악하고 통제할 수 있다.


편리함이 탈참여로 이어질 때

AI 기술이 즉각적으로 가져오는 가장 매력적인 특징은 AI가 삶의 일상적인 부분을 처리해 줌으로써 인간이 좀 더 가치 있는 활동에 전념할 수 있는 시간과 여유가 늘어난다는 점이다. 이런 아웃소싱 행위가 일어날 때마다 인간은 AI에 어느 정도의 통제력도 함께 넘겨준다. 인간은 이런 교환에 익숙해지면서 새로운 습성을 키우게 된다. 다른 사람, 물리적 세상, 심지어는 자기 자신과의 상호작용에서 벗어나려는 탈참여(disengagement) 경향을 보이게 되는 것이다. 인간은 AI 시스템에 일정 수준의 통제력을 넘겨줄 때마다 그 시스템에 일정 수준의 신뢰감도 같이 부여한다. 이 과정을 거치면서 인간은 카너먼 교수가 말하는 성찰적 사고(신중한 의사결정)에서 벗어나 자율적인 사고(자동 반응에 의한 결정)에 익숙해진다. 그 결과 일상적인 일은 쉽게 완수할 수 있다. 하지만 이런 과정이 반복되면 우리의 행동은 전체적으로 점점 더 자동화하고 성찰은 줄어들게 될 리스크가 있다. 이 경우 6가지 유형의 탈참여 현상이 발생한다. 7

1. 수동성 증가. 임무를 완성하기 위해 AI의 도움을 받기 시작하면 그것을 수행하는 데 들이는 노력은 줄어들게 된다. 우리는 적극적인 참여자가 아니라 관중으로 전락할지도 모른다. 넷플릭스, 아마존 프라임, 페이스북이 즐길거리와 뉴스를 선정할 때 쓰는 AI 시스템만 해도 그렇다. 이런 시스템이 인간의 선택지를 결정하게 놔두면 우리가 다른 시각과 대면할 기회는 그만큼 줄어든다. 스스로의 선입견이나 편향에 제동을 걸 수 없게 되는 것이다. 이렇게 되면 비판적이고 깊이 있는 생각에 에너지를 쓸 필요도 없어지고, 장기 기억을 할 필요가 없어지는 탈참여가 일어난다. 8


2. 정서적 분리. 참여가 줄면 정서적으로도 멀어지게 된다. 이렇게 되면 인간은 자연히 진실되지 않고 기만적인 태도를 보이게 된다. 기업의 고객 콜센터를 생각해 보라. 이때 사용되는 안내 데스크나 영업 관련 AI 시스템은 고객의 감정이 드러나는 신호들을 포착해 상담 직원들을 실시간으로 지도한다. 9 이런 소프트웨어는 원래 콜센터 상담원들이 고객들이 염려하는 각종 문제에 더 기민하게 대응할 수 있도록 설계됐다. 그러나 이는 자칫 정반대의 효과를 가져올 수 있다. 상대방이 보내는 감정적 신호를 직접 인지하는 훈련을 안 하고, 이런 일에 대한 관심이 줄어들게 되면 감정적 신호에 점점 둔감해질 수 있기 때문이다.


3. 작인 감소. 탈참여는 자신이 취할 행동에 대한 인지 능력, 스스로 결정할 수 있는 능력을 저하시킨다. 예를 들어, 충돌 사고가 발생했을 때 도덕적 우선순위를 저울질하도록 프로그램된 자율주행차를 떠올려보자. 즉, 보행자를 칠 것인지, 다른 차량과 충돌할 것인지에 대한 문제의 해답을 미리 설계해 놓는 것이다. 이 경우 자동차보험 비용은 자율주행차가 얼마나 다른 사람들의 이익을 고려하도록 설계됐는지에 따라 조정될 것이다. 10 그리고 이런 결정을 자율주행차가 대신해주면 인간은 차량 충돌이 일어났을 때 스스로 결정을 내리는 작인(agency, 행위자의 의도나 욕구로 일어난 행위의 발현)을 포기할 것이다.


4. 책임감 감소. 의사결정 과정의 통제권을 넘기면 좋든, 나쁘든 결과에 대한 책임감도 줄어들게 된다. 책임감이 AI 설계부터 작동까지 시스템 전반에 분산되기 때문이다. AI가 정해 주는 체중 감량 프로그램에 따라 반조리 식품을 배달해 주는 다이어트 앱을 생각해 보자. 사용자가 다이어트에 성공하면 그건 누구의 공일까? 반대로 체중 감량에 실패하면 누구의 잘못일까? 11


5. 무지의 증가. AI가 인간의 욕구를 알고리즘이나 기계적 프로세스로 바꾸면 인간이 스스로 처리했을 때와 다른 결과가 나올 때도 있다. 물론 AI 덕분에 인간이 부족한 지식을 보완할 수도 있다. 반대로 그런 부족함이 더 강화될 수도 있다. 가령, 웨이즈(Waze)나 가민(Garmin) 등 가상 내비게이션 앱을 이용하면 사용자는 주변 환경을 신경 쓸 필요가 없어진다. 하지만 지도 앱이 아직 업데이트되지 않은 지역을 운전하는 경우 운전자는 자칫 앱의 지시에 따라 잘못된 길을 반복해서 돌게 될지도 모른다. AI 시스템에 대한 의존 때문에 운전자가 자신의 생각이나 판단에 따라 경로를 수정하는 대신 앱의 지시를 따르게 되기 쉽다. 12 목적지에 도착하더라도 거기까지 어떤 경로로 이동했는지 모를 수도 있다. AI 없이는 출발한 곳으로 돌아가는 방법을 알지 못하는 것이다.



6. 탈숙련. 중개자에 의존해 일상적인 임무를 완수하게 되면 인간이 주위의 물리적 세상과 교류할 때 사용하는 많은 숙련 기술은 빠르게 퇴보할 수 있다. 기본적인 일을 수행하는 법조차 잊을지 모른다. 외부 도움 없이는 처리할 수 없게 되는 것이다. 내비게이션 앱만 사용하다 보면 일반 지도를 사용하는 법을 잊을 수 있고, 자율주행차 시대가 오면 앱 없이 운전을 못 하게 될 수도 있다. 또 주위에 아웃소싱 솔루션이 점점 늘어나면서 새로운 기술을 습득하려는 의지 자체가 사라질지도 모른다.

이런 흐름은 전반적으로 인간의 윤리에 도전장을 내민다. 인간의 삶에서 자동 조종 장치로 수행할 수 있는 일들이 급증하게 되면 자기 비판적인 사고와 사회적 유대감이 줄어들고, 갈등이 악화되고, 윤리적 프로세스가 방해받을 가능성이 있다. 이런 위협을 줄이려면 AI 시스템 설계자들이 인간의 성찰적 사고를 주기적으로 유도할 수 있는 기능과 인터페이스를 개발해야 한다.



생각하게 하려면 ‘너지’ 이상의 것들이 필요하다

전 세계적으로 반향을 일으킨 『넛지(Nudge)』를 집필한 행동경제학자 리차드 탈러(Richard Thaler)와 법학자 캐스 선스타인(Cass R. Sunstein)은 인지적인 너지가 연민이나 이기심 같은 감정을 촉발해 원하는 행동을 이끌 수 있다고 주장해 왔다. 13 안타깝지만 그런 너지는 행동 자극만 유발하고 비판적 성찰 과정에는 관여하지 않으므로 실제 효력에는 한계가 있다. 건강상 위험 요인들을 부각하는 방법도 그런 예다. 심장 발작을 겪었던 환자 1509명을 대상으로 수행한 연구를 봐도 그렇다. 환자들로 하여금 약물 처방을 계속 받게 하려던 시도들은 실제 환자들의 약물 치료 상황을 개선하지 못했다. 14 전자 약병을 사용해도, 친구나 가족을 지원 인력으로 등록할 경우 5∼50달러를 보조해줘도 마찬가지였다.

AI 시대에는 인간의 성찰적 사고를 유발해야 탈참여의 문제를 해결하고 탈숙련의 리스크를 낮출 수 있다. AI 시스템 개발자들은 인간이 깊게 성찰할 가치가 있는 결정들을 더 숙고할 수 있도록 인지적 과속방지턱을 만들고, 이를 통해 AI가 주도하는 경험과의 마찰을 다시 일으킬 수 있다. 어머니 생신 선물을 고르는 사례로 다시 돌아가 보자. 이 사례에서 AI 시스템이 구매해야 할 상품을 추천해주는 대신 어머니에게 전화를 하거나 방문할 최적의 시간을 제안하도록 하자는 것이다. 이는 어머니와의 관계를 더 견고하게 만들고 더 사려 깊은, 또는 어머니가 진정으로 원하는 선물을 발견하는 기회가 될 수 있다.

이는 심오한 파급 효과를 가져올 수 있다. AI 플랫폼의 가장 매력적인 측면은 기술 윤리학자인 섀넌 발로르(Shannon Vallor)가 ‘마찰 없는 상호작용’이라 부르는 상황을 촉진한다는 점이다. 즉, 전통적인 커뮤니케이션, 특히 물리적인 공간의 면대면 접촉에서 자주 발생하는 지루함, 어색함, 갈등, 두려움, 오해, 분노, 불편한 친근감을 능숙하게 피해가게 해준다. 15 발로르가 특히 주목한 것은 소셜미디어를 활용해 실제 대화를 회피하는 현상이다. 물론 대화 외에 지도 보기, 운전, 장보기 물품을 파악하기 위한 주변 확인, 쇼핑, 요리 등 일상의 모든 귀찮은 일을 피하는 것도 여기에 포함된다. 대부분의 사람은 마찰을 일으키는 그런 일들을 여전히 수행하고 있지만 AI 플랫폼은 인간이 가장 즉각적으로 만족할 만한 방향으로 우리를 이끌어서 불편한 마찰을 줄여준다. 그 결과로 우리의 초점을 바꾸고, 만족감을 늦추고, 감정적인 충동을 가라앉히고, 무지각한 반응을 억제하는 인간의 윤리적 사고는 점점 약화될 것이다.

이런 경향에 대처하기 위한 무엇인가가 필요하다. 바로 우리 자신과 더 넓은 세상과의 마찰이라는 건전한 척도를 보존하도록 설계된 AI의 선택 아키텍처를 말한다. 이를 위해서는 마찰이 도덕적 자기인식을 어떻게 촉진하는지 알아야 한다.

마찰로 가득한 상호작용이 만드는 세상은 가치가 있다. 예를 들어, 어린아이들의 자제력을 다룬 연구 결과에 따르면 성장 이후 직업적 성공과 상관관계가 높은 기개와 인내심을 발달시키는 데는 유전적 요인보다 아이가 속한 문화적 16 , 사회경제적 17 환경이 훨씬 더 큰 역할을 한다. 18 이런 능력은 안락함과는 거리가 먼 상호작용에 대처하는 방법을 익히고 우리의 자의식에 대한 충분한 통제력을 발휘할 때에 비로소 확보할 수 있기 때문이다. 19

이런 상호작용은 도덕적 자기인식을 촉진하는 역할도 한다. 마찰을 반복해서 겪다 보면 다양한 자극에 대응하는 방식들이 변하고 윤리적 정체성도 진화한다. 우리의 행동이 우리 자신에 대해 말하는 것들에 관해서도 다르게 생각하고 느끼기 시작한다. 20

사회심리학 문헌들은 도덕적 정체성에서 말하는 자기 중요성과 도덕적 사고 및 행동 간의 명확한 관계를 확립해 왔다. 21 또 시민의식을 다룬 더 다양한 문헌을 보면 시민 행동에서 윤리의식을 자극하는 가장 효과적인 자극제가 자부심이라는 사실을 알 수 있다. 22 게다가 윤리적인 소비자들은 죄책감이나 공감 같은 감정을 느꼈을 때보다 도덕적인 자기 이미지를 통해 동기부여를 받았을 때 더 큰 행복감을 경험하고 더 강력한 재구매 의사를 보인다. 23


이 모든 것이 AI와 무슨 관련이 있을까? AI 시스템 설계자들은 지금부터 설명하는 4단계의 도덕적 자기인식을 바탕으로 성찰적 행동을 촉진하는 AI 애플리케이션을 개발할 수 있다. AI 시스템 설계자들은 이런 마찰을 일으키는 자극들을 결합해 AI 사용자들로 하여금 자신의 행동이 어떤 식으로 자신의 가치를 투영하는지, 어떻게 하면 스스로의 의식 수준을 제고할 수 있는지 고민하도록 유도할 수 있다.


1단계: 사회적 성찰. 이 단계에 있는 사람들은 주로 관찰자로부터 받는 부정적인 피드백으로 인해 죄책감과 수치심을 느끼고 행동을 수정한다. 연구자들은 부정적인 피드백이 개인의 이기적인 행동을 억제하는 힘이 있음을 증명해 왔다. 예컨대, 공유지의 비극(tragedy of the common, 공유 목초지를 서로 차지하기 위해 사람들이 더 많은 소를 끌어들이다 결국 땅을 황폐하게 만드는 현상-역주) 실험에 참가한 사람들은 원래 사익을 추구하지만 자원이 줄어든 다른 피실험자들을 보면서 민망함을 느끼고 점차 이기심을 억제해 나갔다. 24 결국에는 모든 피실험자가 공정하고 지속가능한 장기적 성과를 추구하고 개인의 이익을 줄이는 쪽을 선호했다.



2단계: 자기 성찰. 이 단계에서는 어떤 행동의 부정적인 영향을 지적하는 타인의 불평에 의해 움직이는 대신 당사자 스스로 피드백을 내기 시작한다. 자기 성찰 단계는 다른 사람들의 행동이 낳은 결과를 목격할 때나 본인의 행동이 낳은 직접적인 파장을 고려할 때 일어난다. 가령, 쓰레기가 치워진 방을 본 사람은 쓰레기가 뒹구는 방을 본 사람보다 바닥에 쓰레기를 버릴 확률이 2.5배 더 낮다. 25 깔끔하게 치워진 쓰레기를 보는 것만으로 방을 깨끗하게 관리할 확률이 높아지기 때문이다.


3단계: 예측적 자기 성찰. 이 단계가 되면 자신의 행동으로 일어날 수 있는 부정적 결과를 스스로 예측하기 시작하며, 이는 타인이 보내는 신호와 상관없이 독립적으로 일어난다. 주로 이런 예측은 보통 과거 행동으로 인해 마음속으로 죄책감이나 부끄러움을 느끼고 자기 성찰을 한 뒤 발생한다. 앞서 언급했던 공유지의 비극 실험에서도 참석자 한 명이 큰소리로 “우리가 나쁜 사람들인가요?”라는 질문을 던진 게 결정적인 터닝포인트가 됐다. 26 사실 이 질문은 다른 참가자들을 부끄럽게 하려는 의도에서 나온 것은 아니었다. 사리사욕을 추구한 자신의 이전 행동과 자신이 바라는 도덕적 자아상 사이의 불협화음을 조정하려는 마음에서 튀어나온 것이다. 이런 성찰적 순간에는 자기 자신을 이 세상, 그리고 그 안에 속한 자신이 바라는 이상적 모습과 적절히 조화하려는 개인의 도덕적 의무감이 드러난다.



4단계: 능동적 자기성찰. 최고 수준인 4단계에서 인간은 자신의 행동이 낳을 긍정적, 부정적 영향을 모두 고려하면서 점점 더 미래 지향적인 태도를 보인다. 이 단계의 사람들은 긍정적인 결과를 구현하기 위해 의도적으로 적절한 조치를 취한다. 이들은 잠재적 악당보다는 잠재적 영웅으로서 자기 이미지를 내면화한다. 27

최선의 경우 이런 결정들은 습관이 되고, 각자 자신이 원하는 이미지에 가까워지는 데도 도움이 된다. 이런 마음 상태는 개인이 자아 개념을 바탕으로 더 큰 행복을 얻는 것과도 관련이 있다. 28


성찰적 사고 촉발하기

전통적인 면대면 상호작용은 마찰을 유발한다. 외부의 물리적, 사회적 세상은 이런 마찰을 통해 사람들의 성찰적 사고를 유도하고 행동을 더 좋은 쪽으로 바꾼다. 그러나 AI는 자칫 이런 상호작용의 기회를 없앤다. 이에 AI 개발자들은 사용자의 도덕적 자기인식을 촉발할 수 있는 도구를 이용해야 한다. AI 시스템이 사용자의 의사결정을 유도하는 일종의 직감적 알림 신호를 보내야 이런 물리적이고 사회적인 세상에서 이뤄지는 상호작용의 결핍을 보완할 수 있다.

명시적 알림 신호들은 사용자에게 그들의 행동에 대한 스냅사진들을 보여준다. 가령, 그날의 걸음걸이 수나 온라인에서 보낸 총 시간 등을 알려주는 것이다. 이런 신호들은 각 개인이 도덕적 자기인식 단계 중 주로 죄책감이나 수치심 같은 부정적 감정이 행동을 변화시키는 1, 2, 3단계를 넘어 4단계로 발돋움할 수 있도록 AI 애플리케이션을 개선할 수 있다. 본인의 선택이 자기 자신과 사회에 변화를 일으킬 수 있다는 사실을 자각하고 긍정적인 포부에 따라 행동을 바꿀 수 있도록 돕는 것이다. 사용자가 어떤 문제에 대한 자신의 진전 상황을 사회적 집단 안에서 다른 이와 공유할 수 있게 되면 AI 앱의 잠재력은 더 커질 수 있다.

IoT 분야의 글로벌 시장 규모가 2021년에는 1조4000억 달러에 이를 전망이다. 이를 고려하면 이런 알림 기능은 무궁무진한 연구개발 기회를 의미한다. 29 특히 건강과 웰빙, 사회적 책임, 미디어와 시민 참여, 기술 유지, 개인 교화라는 라이프스타일 기반의 5가지 분야는 상당한 잠재력을 가진다. 지금부터 하나씩 살펴보자.

건강과 웰빙. 건강과 웰빙 관련 앱들을 보면 이미 명시적 알림을 보내는 적극적인 움직임이 포착된다. 개인 피트니스와 마음 챙김, 수면 관리부터 휴대폰에서 스크린타임을 제한하는 기능까지 다양하다. 스마트 냉장고도 이 분야의 선두주자에 속한다. 예를 들면, 매일매일의 칼로리 섭취 데이터와 함께 가공식품, 고열량 식품, 캔 제품, 냉동식품, 신선식품 등에 대한 소비 패턴을 보여주는 명시적 알림 기능을 넣어 사용자의 영양 상태를 개선하는 데 도움을 주는 것이다. 이런 알림들을 식품 배달 서비스 데이터와 결합하면 사용자는 그 지역에서 지속가능한 방법으로 생산된 식품들을 주문해 더 건강한 조리법으로 즐길 수 있다.



사회적 책임. 사람들이 브랜드와 투자 대상을 고를 때 자신의 사회적 가치에 맞는 대상들을 선택하도록 돕는 알림도 잠재력이 큰 영역이다. 현재 일부 앱들은 기업의 재무 포트폴리오에 나타난 윤리적인 요소들을 부각하고, 사용자가 사전에 표시한 선호 요소들을 바탕으로 이들이 피하려는 술, 석유, 담배 등 종목들에 대해 경고한다. 또한 기업이 관련됐을 수 있는 윤리적 문제에 대한 세부 정보도 알려준다. 스마트 냉장고는 사용자가 구입한 식품들의 탄소 배출 이력을 알려줄 수도 있다. 물론 탄소 관련 라벨이 부착된 식품들의 경우에 한한다. 이런 알림은 대기 및 수질 오염, 자원 고갈, 친환경 포장 같은 정보를 포함해 다른 영역으로도 확대될 수 있다.


미디어와 시민참여. 미디어 관련 AI 애플리케이션은 사실을 오도하거나 편향된 뉴스에 대해 명시적 알림을 보낼 수 있다. 이런 알림 신호는 관련 사례가 있을 때마다 건건이 보낼 수도 있고 사용자의 전체 뉴스 소비 내역을 토대로 보낼 수도 있다. 사용자가 사상적인 편협함을 깨부술 수 있도록 다양한 관점을 점진적으로 소개해 주는 툴도 등장하고 있다. 스마트 시민을 위한 핸드폰 앱들은 이제 사용자들 스스로 크라우드소싱 기반의 지도를 지역마다 개발해서 쓰레기, 깨진 가로등, 창문, 기물 파손, 포트홀 등의 위험 지역을 알릴 수 있게 한다. 효과적으로 디자인된 알림 기능들은 사용자들의 참여 행위들을 추적하고, 도움이 필요한 곳에서 시민들이 행동에 나설 수 있도록 지역, 국가, 국제적 단위로 시민의식을 고취한다.


기술 유지. 외부 세상과 관련된 성가신 활동들을 아웃소싱하려는 경향이 커지면 일상생활을 영위하는 기술 중 많은 부분을 잃게 될 수 있다. GPS 기능과 자율주행 시스템이 정확히 그런 경우다. 오늘날 이런 시스템을 사용하는 사람들은 거리의 랜드마크를 찾거나 이동 경로를 되새길 필요 없이 시스템이 제공하는 시각, 음성 지시만 따르면 된다. 하지만 즉각적 알림 신호들은 이 같은 경향을 바로잡을 수 있다. 마치 행인이 길을 알려주는 듯한 길 안내 정보를 AI 시스템 설정에 포함하되 방향을 바꿀 지점이나 주요 랜드마크, 기타 참고할 정보들을 3D 이미지로 제시하는 것이다. 이렇게 제시하면 사용자들은 음성 명령을 기계적으로 따르는 대신 주변 환경에 신경 쓰면서 본인의 기억을 살려 목적지에 도착할 수 있다. 이 밖에도 운전자가 자율주행 시스템에 지나치게 의지하지 않고 경각심을 갖거나 자신의 운전 기술을 유지할 수 있도록 AI를 설계해야 한다.


개인 교화. 결과적으로 봤을 때 알림 환경이 효과적으로 설계된 AI 시스템은 사물처럼 행동하지 않고 사용자가 자신의 잠재력을 최대로 발휘할 수 있도록 돕는 친구처럼 행동해야 한다. AI 시스템이 예술, 요리, 패션, 엔터테인먼트 같은 분야에서 사용자가 더 뛰어난 안목을 가질 수 있도록 자극할 수 있는 역량을 갖고 있어야 한다. 사용자가 무언가를 검색할 경우 보통의 추천 엔진처럼 사람들이 가장 충동적으로 반응할 만한 상품을 제시하는 대신 단순히 인기에 따라서가 아니라 전문가들의 의견과 개인적, 사회적 선호도를 종합해 대안들을 양질의 평점과 함께 제안해야 한다. 넷플릭스 같은 회사는 이미 이런 기능이 가미된 서비스를 제공하고 있다. 그러나 아직까지 사용자의 전반적인 시청 패턴과 스크린타임이 콘텐츠에 대한 질적 평가와 어떻게 연결되는지 보여주는 기능은 없다.


AI 플랫폼은 소비자에게 자신의 일상생활과 활동, 상호작용을 통제하고 관리할 수 있는 아주 강력한 툴을 제공한다. 그런 기술을 신중하고 양심적으로 디자인하면 인간의 행동을 대대적으로 더 나은 방향으로 바꿀 수 있다. 반면 부정적인 습관을 양산하는 부작용을 차단하지 않고 근시안적으로 디자인하면 수동성, 의존성, 무지, 취약성을 강화할 수 있다. 이런 AI 기술이 수백만 명이 사용하는 플랫폼에 적용된다면 자유민주주의와 자본주의 시스템 자체를 훼손할 수 있다.

이 분야에 속한 기업들은 고객들이 자신의 온라인 행동 패턴과 관련 정보를 바탕으로 선택할 수 있도록 명확하고 타당한 AI 설계 전략을 세워야 한다. 이런 접근법을 취하는 기업들은 개인의 작인 작용을 수호함으로써 공동의 행복을 극대화하는 데 중심 역할을 한다. 나아가 고객과 더 견고한 관계를 구축하게 될 것이다.

번역 | 김성아 dazzlingkim@gmail.com

필자소개
줄리언 프리드랜드(Julian Friedland)는 더블린에 있는 트리니티대(Trinity College), 트리니티 경영대학원의 윤리학 담당 조교수다. 이 글에 의견이 있는 분은 http://sloanreview.mit.edu/x/60401에 접속해 남겨 주시기 바란다.
  • 줄리언 프리드랜드(Julian Friedland) | 트리니티대(Trinity College), 트리니티 경영대학원의 윤리학 담당 조교수

    이 필자의 다른 기사 보기
관련기사