LG전자 H&A제어연구소 로봇청소기 조일수 연구팀장

정보의 융합이 딥러닝의 핵심. 영상 결합하니 청소기 똑똑해져

228호 (2017년 7월 Issue 1)

Article at a Glance

LG전자는 2017년 1월부터 로봇청소기에 딥러닝 알고리즘을 도입했다. 컴퓨터 소프트웨어가 아니라 가전기기에 적용한 선도적 사례다. 별도의 부품 추가 없이 소프트웨어 업데이트만으로 기존 제품의 주행 성능을 개선했다. 개발을 성공으로 이끌 수 있었던 요인은 다음과 같다.

1. 딥러닝 적용으로 인한 CPU의 과부하 문제를 초음파 센서를 이용해 해결
2. 중앙 조직인 인공지능연구소와 실제 양산제품을 개발하는 제품사업부 딥러닝 담당자들의 유기적 협업
3. 자율주행자동차 연구개발에서 쌓은 노하우를 로봇청소기에 적용



086

인터뷰이

LG전자 가산 R&D캠퍼스의 테스트룸에서 만난 조일수 LG전자 H&A제어연구소 어플라이언스선행제어연구 2팀장.



일반인들이 생활 속에서 가장 쉽게 접할 수 있는 로봇은 원반 형태의 로봇 진공청소기다. 국제로봇연맹(IFR)에 따르면 2015년 전 세계적으로 판매된 개인용/가정용 서비스 로봇 540만 대 중 360만 대가 로봇청소기였다. 국내 시장 규모는 연간 약 20만∼25만 대 정도로 추정된다. 가정용 로봇으로는 독보적인 수준으로 보급된 제품군이다.

최초의 상업용 로봇청소기는 스웨덴의 일렉트로룩스(Electrolux)사가 2001년 내놓은 ‘트릴로바이트(Trilobite)’ 제품이다. 한국에선 2002년 LG전자가 최초로 선을 보였고 이후 많은 대기업과 중소기업들이 이 시장에 뛰어들어 경쟁 중이다. 1세대 로봇청소기들은 가격이 비쌀 뿐 아니라 먼지 흡입력이 약하고 계단에서 굴러 떨어지는 등 여러 가지 약점을 보였다. 알고리즘에 따라 움직이지만 ‘인공지능’이 있다고까지 보기는 어려웠다. 하지만 요즘 나오는 로봇청소기들은 각종 센서와 알고리즘을 사용해 자체적으로 집안의 지도를 그려서 겹치거나 빼먹는 부분 없이 효율적으로 집안을 돌아다니며 먼지를 빨아들인다. 배터리가 떨어지면 자동으로 충전 도크로 돌아가는 기능도 대부분 갖추고 있다. 가격은 일반 청소기 수준으로까지 내려가고 있다.

특히 LG전자는 올해부터 자사의 ‘로보킹’ 로봇청소기를 비롯한 여러 가전제품에 딥러닝(deep learning) 알고리즘을 탑재하기 시작했다. 딥러닝은 바둑 프로그램 ‘알파고’ 덕분에 유명해진 기술로 사람의 신경세포처럼 여러 겹의 층(layer)을 통해 정보를 추상화해서 처리하는 것이 특징이다. 기계도 스스로 학습하는 능력을 갖게 할 수 있어서 ‘인공지능’ 기술에 새로운 지평을 연 것으로 평가받는다. 예를 들어 기존 로봇청소기들은 미리 기억장소에 저장돼 있는 물체만을 인식하고 사람이 프로그래밍해놓은 대로 행동하는 수준이었지만 딥러닝이 탑재된 청소기는 처음 보는 물체라도 인간의 개입 없이 스스로 위험성을 판단할 수 있는 능력이 있다.

LG전자는 2016년에 기 판매된 로보킹 터보플러스 제품에 2017년 1월부터 소비자가 소프트웨어 업데이트를 통해 딥러닝 알고리즘을 이식할 수 있게 했다. 2017년 여름 출시 예정인 ‘코드제로 R9’ 모델부터는 딥러닝이 기본 탑재돼 판매된다. 회사 측에 따르면 일반 판매용 로봇청소기에 딥러닝 알고리즘을 도입한 것은 세계적으로 현재까지 LG전자가 유일하다.

서울 가산동에 있는 LG전자 R&D캠퍼스를 찾아 조일수 H&A제어연구소 어플라이언스선행제어연구2팀장(수석연구원)을 만났다. 인공지능 딥러닝이 적용된 청소기의 특징은 무엇이며 그 효용가치는 얼마나 되는지, 또 하드웨어 제품에 이 알고리즘을 적용하는 데 어려움은 없는지 물어봤다. 조 연구원은 서울대에서 메카트로닉스 연구로 석사 학위를 받고 2001년 LG전자에 입사했다. 자동차에 들어가는 전자기기(텔레매틱스)를 개발했고 6년 전부터는 로봇청소기 연구를 담당하고 있다.



로봇청소기에 딥러닝 기술을 탑재한 이유는 무엇인가.

로봇청소기에서 가장 중요한 것은 청소(흡입) 성능과 주행 성능이다. 특히 주행 성능은 청소기가 전선이나 다른 장애물에 구속(stuck)되지 않게 하는 것에 좌우된다. 로봇청소기가 집안을 돌아다니다가 무언가에 걸려서 구속이 되면 모터에 과부하가 걸리고 동작이 멈춘다. 충전 도크로 돌아갈 수 없어 그 자리에서 배터리가 방전될 수도 있다. 그러니 청소기가 가지 말아야 할 곳에는 가지 않게 하는 게 중요하다. 하지만 가야 할 곳이라면 가서 청소를 하게 만들어야 한다. 예를 들어 방문 문턱이라면 넘어가야만 하고, 선풍기의 받침대라면 올라타지 않아야 한다. 이런 것들의 차이를 구별하는 것이 쉽지 않다.

그런데 마침 우리가 판매하고 있던 제품(로보킹 터보플러스)에 전방 비전 센서(vision sensor)가 달려 있었다. 비전 센서는 청소기 정면에 달린 카메라다. 사용자가 스마트폰을 이용해 원격으로 집안을 살펴보거나(Home View), 침입자를 감지했을 때 자동으로 사진을 찍어 스마트폰으로 실시간 전송하는 기능(Home Guard)을 위해 달아놓은 것이었다. 플랫폼 변경 없이, 기존 비전센서를 이용해 고객에게 뭔가 더 줄 수 있는 가치가 뭐가 있을지를 생각하다 보니 ‘영상’과 ‘딥러닝’을 연결하면 어떨까 하는 아이디어가 나왔다. 전사 차원에서 딥러닝을 연구하고 있고, 로봇청소기는 비전 센서를 통해 영상정보를 얻을 수 있으니 이 둘을 결합하자고 생각한 것이다.



딥러닝이 제품을 어떻게 개선시켰나.

과거의 로봇청소기들은 초음파 센서로 ‘장애물이 있다, 없다’만 판단했다. 어떤 장애물인지는 파악할 수 없었다. 로보킹은 그게 가능하다. 우선 초음파로 장애물이 있는지 확인하고, 장애물이 있으면 딥러닝으로 그게 뭔지 정체를 확인한다. 넘어갈 것인지, 피할 것인지를 스스로 결정하게 할 수 있다.

물론 과거에도 퍼지(fuzzy) 이론이나 머신러닝(machine learning)을 적용한 가전제품들이 있었다. 퍼지 제품은 ‘X = A일 경우 너는 A'로 반응하고, X = B일 경우 너는 B'로 반응하라’라며 할 일을 정해주는 식이다. 그다음 등장한 머신러닝 제품은 ‘이런 것들은 A다. 이런 것들은 B다’라고 사람이 기계를 학습시켜주는 것이다. 딥러닝은 머신러닝에서도 가장 발전한 기술이다. 무엇이 A인지, B인지 따로 구분해서 가르쳐주는 게 아니라 그냥 갖고 있는 데이터 전체를 통째로 주고 기계가 스스로 학습하게 한다. 이런 딥러닝 기술이 발전하게 된 이유는 크게 두 가지다. CPU의 성능이 좋아졌다는 점, 그리고 빅데이터다.

다만 우리는 소비자용 제품을 만드는 회사다. 고객에게 적절한 가격에 가치를 제공해야 한다는 사명이 있다. 고성능 CPU를 사용하려면 재료비 이슈가 있다. 로봇청소기에 들어가는 CPU는 ‘알파고’에 쓰이는 것과 같은 수준의 고성능 CPU가 아니다. 만일 실시간으로 받아들이는 모든 정보를 딥러닝으로 처리하게 한다면 CPU에 엄청난 부하가 걸린다. 청소기 CPU는 이미 하고 있는 일이 많다. SLAM 센서1 를 이용해 방 안의 위치도 항상 계산하고 있어야 하고, 초음파로 벽과 장애물도 상시 감시해야 하고, 실시간으로 패스 플래닝(path planning·경로 계획)도 해야 한다. 여기에 딥러닝까지 내내 돌아가게 하면 CPU가 너무 힘들어한다.

궁하면 통한다고, 우리가 생각해낸 방법은 이렇다. 비전 센서로 영상을 계속 받아들이되 초음파 센서에서 20㎝ 이내 근거리에서 장애물을 감지했을 때만 ‘트리거(trigger·방아쇠)’처럼 작용해 비전 센서의 영상을 CPU가 딥러닝 알고리즘으로 분석하게 하는 것이다.



20㎝라는 가까운 거리에서 찍으면 영상이 잘 안 찍힐 수도 있을 것 같다.

일반 카메라도 마찬가지지만 로봇이 급격하게 회전을 할 때는 영상이 흔들려서 나오기도 한다. 이 제품(로보킹 터보플러스)에 달려 있는 비전 센서는 광각을 담을 수 있지만 원래 이런 용도로 쓰려고 만든 게 아니고 ‘홈 뷰’와 ‘홈 가드’ 용도로 달아놓은 것이라 한계는 있다. 기존 플랫폼 변형 없이 새로운 가치를 찾은 것이라는 데 의의가 있다. 다음부터 출시된 제품은 딥러닝 기능을 염두에 두고 설계된 것이므로 카메라 성능도 좋아진다.



실질적으로 딥러닝을 통해 주행 성능이 개선된 부분이 있나.

많이 있다. 예를 들어 선풍기 받침대, 화분 받침, 사람의 발, 체중계 같은 물체들은 납작하기 때문에 청소기 전면의 초음파 센서가 발견하기 어렵다. 문턱인 것처럼 판단하고 그냥 타고 넘어가려 할 수 있고, 그러다가 바퀴가 들려버리기도 한다. 딥러닝을 적용한 제품은 그런 현상이 거의 없다.

딥러닝 알고리즘 없이 그런 구속 현상을 방지하려면 센서를 더 비싼 것으로, 더 많이 부착해야 할 것이고 이는 단가 상승으로 이어진다. 전체 제작비용에서 센서가 차지하는 비용이 상당히 크기 때문에 쉽게 그렇게 할 수 없는데 딥러닝이 이런 부분에서 큰 도움이 된다.



주행 성능 외에 먼지 흡입 성능도 딥러닝으로 개선할 수는 없는가.

흡입 성능은 청소 모터의 출력과 먼지 센서의 성능에 좌우된다. 먼지 센서에 딥러닝을 적용하는 데는 시간이 좀 걸릴 것 같다. 딥러닝은 주로 영상과 음향 인식 분야에서 발달했다. 구글 포토, 애플 시리 같은 것들이다. 영상과 음향 외의 정보를 분석하는 분야, 예를 들어 먼지 센서나 초음파 센서 등을 이용하는 분야의 로직은 아직 세계적으로 연구가 부족한 상황이고 우리도 연구 중이다.



딥러닝으로 장애물의 정체를 식별하는 일은 청소기 내부에서 하는가, 무선인터넷으로 연결된 클라우드 서버에서 하는가.

청소기 내부에서 한다. 이미 우리가 장애물의 이미지를 학습해서 만든 딥러닝 신경망 알고리즘이 청소기 내부에 들어 있다. 이것은 크기가 1∼2MB밖에 되지 않는다. 청소기 안에 이미지 데이터베이스가 통째로 들어 있는 것이 아니다. 알고리즘만 들어 있다.

딥러닝 학습에 필요한 이미지 데이터베이스는 외부 클라우드에 있다. 우리(연구진)가 이 데이터 세트를 가지고 딥러닝 학습을 시켜서 알고리즘을 만든 다음, 그 알고리즘을 각 소비자 가정에서 무선인터넷을 통해 청소기에 업데이트할 수 있게 한다. 만일에 이런 피드백 작용이 자동적으로, 연속적으로 이뤄진다면 클라우드 딥러닝이라고 할 수 있겠지만 그것은 앞으로 우리가 추구하는 방향이고 아직은 아니다. 아마 내년부터 가능할 것 같다. 현재는 우리가 정해놓은 시점에 업데이트를 하는 ‘임베디드 딥러닝’ 방식이다.



그러면 제품을 새것으로 교체하지 않아도 딥러닝 알고리즘은 계속 무선으로 업데이트될 테니 제품이 점점 더 좋아진다는 말인가.

그렇다. 하드웨어만 고장 나지 않는다면 알고리즘은 계속 업데이트해서 개선시켜가며 쓸 수 있다. 올해부터 LG전자의 모든 가전은 무선인터넷으로 연결된다. 로봇청소기는 작년에 나온 모델부터 모두 무선인터넷에 연결된다. ‘소비자를 이해하는 가전, 사용할수록 똑똑해지는 가전’을 만들자는 게 회사의 인공지능 전략이다. 제품에서 나오는 센서 정보, 사용 패턴, 사용 환경 등 종합적인 데이터를 가지고 딥러닝 학습을 해서 고객에게 실질적인 혜택을 주고자 한다.

예를 들어 냉장고의 경우 에너지 절약을 위해 고객의 사용 패턴을 분석하고 학습해서 절전 운전을 추천해주는 것은 물론 날씨, 식중독 지수 정보 등 외부 환경에 맞춰 스스로 음식물을 관리해주는 안심기능을 탑재한 제품이 2월에 출시됐다. 세탁기는 날씨 등 환경정보를 기반으로 추천 코스를 알려주며 고객이 자주 사용하는 세탁 코스들을 기억했다가 자동으로 추천해주는 제품을 4월에 출시했다.

090

이제 기술 측면 말고 마케팅 측면에서 보자. 로봇청소기의 주 고객층은 누구인가.

청소를 누가 대신 좀 해줬으면 하는 분들이다. 특히 털이 많이 빠지는 애완동물을 키우는 사람들이 많이 쓰는 것 같다. 거동이 불편한 부모님을 위해 자식이 사드리는 경우도 많다. 기계와 로봇을 좋아하는 30∼40대들도 로봇청소기를 찾는다. 그런 분들은 청소기라기보다는 로봇이라는 관점에서 좋아하는 것 같기도 하다.



고객들이 딥러닝 같은 기술의 효용을 잘 이해하는 편인가.

이해를 잘 못하는 게 현실이다. 고객들은 딥러닝이 어떤 것이라는 어려운 설명보다는 ‘그냥 청소 잘 되고, 잘 돌아다니고, 멈추지 않으면 좋겠다’는 정도로 생각한다. 딥러닝 때문에 청소가 더 잘 된다거나 잘 걸려 넘어지지 않는다고 말씀드리면 고객들은 ‘원래 로봇청소기가 당연히 그래야 하는 거 아니냐?’고 한다. 그런(마케팅) 측면에서 로봇청소기는 아직 갈 길이 멀다. 내 아내에게도 딥러닝에 대해 한번 설명해봤는데 관심도 없고 들으려 하지도 않더라. 일반인들은 딥러닝이 아니라 “알파고”라고 해야 알아듣는다. 그런데 이게 참 애매한 문제다. 알파고 같은 것이 청소기 안에 들어 있다고 설명하면 그때부터 고객은 알파고만큼의 완벽을 기대한다. 거기에서 오는 스트레스가 엄청나다.



LG전자의 딥러닝 기술은 누가 개발하나.

내가 소속된 H&A사업본부의 제어연구소에 각 제품군의 딥러닝 개발자가 있고, 서초동 CTO(chief technology officer) 산하에도 인공지능연구소와 로봇선행연구소가 있다. CTO와 각 본부 담당자들이 협업을 통해 인공지능을 제품에 적용한다.

인공지능 연구만 잘해서는 제품에 적용할 수가 없다. 제품 그 자체도 잘 이해하고 있어야 한다. 예를 들어 (우리가 적용한) 초음파 센서의 성능을 모르고, 임베디드 딥러닝 환경을 모른다면 딥러닝 기술을 로봇청소기 양산 제품에 적용할 수 없을 것이다. 그래서 협업이 중요하다. 실제로 연구소와 각 본부의 협업이 유기적으로 잘 이뤄지고 있다.



자동차 텔레매틱스 기기를 개발하다가 로봇청소기를 맡게 된 이유는 무엇인가.

LG전자는 글로벌 텔레매틱스 시장 1위다.2 자율주행 자동차나, 로봇청소기나 센서의 융합이라는 점에서는 동일하다. 목적도 비슷하다. 센서에서 입력받은 정보를 처리해 충돌 없이 원하는 길로 가게 하는 것이 목적이다. 자동차는 GPS를 이용해 위치를 파악하고 로봇청소기는 SLAM을 이용해 위치를 파악한다. 또 두 기기 모두 초음파 센서와 영상 센서를 쓴다.(표 1)


091


다른 점도 있다. 자동차의 경우는 승객의 안전이 무엇보다도 중요하기 때문에 사용하는 센서의 수가 많고 외부의 거친 환경에 더 잘 견딜 수 있는 비싼 부품을 쓴다. 자동차에 쓰는 고급 센서를 로봇청소기에 쓴다면 고객 만족도가 엄청나게 올라갈 것이다.

또 하나 큰 차이가 있다. 자율주행차의 경우 어느 정도의 지도(map), 도로 정보를 갖춰놓은 상태에서 센서로 입력받는 정보를 더한다. 하지만 로봇청소기에는 미리 들어가 있는 정보가 없다. 주행하면서 동시에 지도를 만든다. 가옥마다 구조가 다 다르기 때문이다. 이런 면에선 로봇청소기가 더 불확실성이 높다고 볼 수도 있다.

이렇게 비슷한 점과 다른 점들이 있기 때문에 자동차 분야의 자동주행 기술이 더 발전하면 그것을 우리 로봇에 응용할 수 있을 것이다. 반대로 로봇에서 잘 활용되는 기술도 자동차에 적용할 수 있을 것이다. 두 분야에서 시너지 효과가 날 것이라 기대한다.



앞으로의 계획은.

앞서도 말했듯 소비자를 이해하는 가전, 사용할수록 똑똑해지는 가전을 만들자는 게 우리 인공지능 전략의 두 가지 틀이다. 인공지능을 통해 고객에게 실질적인 혜택을 전달하자는 지향점을 향해서 갈 것이다.

로봇청소기를 놓고 보면 각종 센서에서 들어오는 많은 정보들을 융합해서 거기서 새로운 가치를 만들어낼 수 있을 것으로 본다. 지금은 비전 센서로 들어오는 영상정보를 딥러닝 알고리즘으로 분석하고 있지만 예를 들어 모터에서 나오는 모터 전류값에 초음파 센서값, 영상 센서값을 종합해서 딥러닝으로 분석한다면? 로봇이 장애물 위로 올라가야 할지, 말아야 할지 지금보다 더 정확하게 판단할 수 있을 것이다. 과거의 퍼지 분석, 머신러닝 분석은 이런 일을 할 수가 없다. 왜냐하면 센서를 통해 입력되는 정보의 종류가 다양하고 그 조합의 가짓수가 너무나 많기 때문에 사람이 일일이 각각의 경우에 대해서 ‘이럴 때는 이렇게 하라’고 지정해 줄 수가 없기 때문이다. 딥러닝을 이용하면 사람이 지정해주지 않은 상황에 대해서도 기계가 알아서 대처할 수 있다. 다른 가전기기에서도 마찬가지다. 영상 정보뿐만 아니라 기기에 달려 있는 모든 센서에 들어오는 각종 정보를 융합해서 이용한다면 분명 더 많은 가치를 만들어낼 수 있을 것이다.



조진서 기자 cjs@donga.com
동아비즈니스리뷰 320호 Pet Humanization 2021년 05월 Issue 1 목차보기