느낌대로, 직관대로… 첨단기술, 자연스러움을 낳다

마우스나 키보드 없이 컴퓨터에 손쉽게 명령을 내릴 수는 없을까? 이런 문제의식에서 탄생한 게 바로 NUI(Natural User Interface)다. NUI는 기존 CLI(Command Line Interface), GUI(Graphics User Interface)와는 달리 명령어와 사용법을 배우지 않더라도 사용자가 가진 경험을 기반으로 키보드나 마우스 없이 신체부위를 이용해 기계를 이용할 수 있게 도와주는 사용자 인터페이스다. ‘Natural’이라는 단어를 사용한 것은 기존 사용자 인터페이스와는 달리 사용법을 배우기 위해 특별히 외우거나 학습할 필요 없이 일상생활의 행동에서 사용하는 동작들을 기반으로 손가락이나 제스처, 음성 등을 통해 기기를 제어할 수 있기 때문이다. 즉, 직관적인 사용이 가능한 사용자 인터페이스인 것이다.

NUI라는 명칭은 1970년에 MIT Media Lab에서 연구됐던 착용형 컴퓨터(Wearable Computer) 연구에 참여했던 Steve Mann이 Metaphor-free Computing 연구를 Natural(Direct) Interface로 언급하면서 처음 시작됐다고 알려져 있다. 그러나 실제 널리 사용된 것은 2008년 마이크로소프트의 Surface Computing의 연구 책임자인 de los Reyes가 차세대 UI 기술이 진보하는 방향을 언급하면서부터라고 볼 수 있다.

NUI의 의미

NUI의 가장 큰 의미는 기존의 CLI나 GUI 환경에서는 전문가나 특별히 학습한 사람들만이 IT 기기를 사용할 수 있었던 반면 NUI는 특별한 학습과정 없이 손짓, 몸짓, 말소리만으로도 IT 기기를 사용할 수 있어 사용자층을 확산하고 경제적으로 새로운 시장을 창출했다는 점이다. 초기 스마트폰이 특정 마니아층만 사용할 것이라는 예측을 무너뜨리고 현재는 사용자 2000만 시대에 돌입한 것이 실례다. NUI는 사람과 컴퓨터 사이의 사용자 인터페이스 측면에서 보면 컴퓨터 측면보다는 사람의 대화 방식에 가까운 기술이라 할 수 있다. 즉, 컴퓨터와의 대화를 위한 사용자 인터페이스가 사람의 생활 방식을 닮아가는 쪽으로 변화하고 있다는 것을 의미한다. 이러한 변화는 소비자와 IT 기기 간의 간격을 줄여줌으로써 기존 IT의 소비자층을 확산시키고 있다. <그림1>을 보면 CLI와 GUI에서 NUI로의 기술 변화에 따라 사용 편리도가 증가하고 사용집단의 규모와 성격이 확대되고 있음을 알 수 있다. NUI 기술의 발전을 ‘디지털 신분 장벽을 허무는 21세기의 훈민정음’이라고 표현하는 연구소의 보고내용도 있다. (출처: 제일기획 커뮤니케이션연구소)

NUI 종류

NUI 기술은 신체가 직접 기기에 접촉하는 접촉식 방식과 신체에 직접 접촉하지 않는 비접촉식 방식으로 나눌 수 있다. 각 방식에서 새로운 기술들이 지속적으로 개발되고 있으며 각각의 기술 또한 더욱 발전하고 있다. 접촉식 방식에는 멀티터치, 센서인식, 뇌파인식, 실감형 기술 등이 있으며 비접촉식 방식에는 음성인식, 영상인식(제스처인식, 얼굴인식, 시선인식) 기술 등이 있다.

접촉식 NUI

접촉식 방식의 대표격인 멀티터치 기술은 1960년대 후반 IBM에서 터치스크린 연구를 처음 시작한 이래 수많은 기기의 인터페이스로 시험되다가 최근 iPhone의 성공을 통해 스마트폰, 태블릿 PC와 같은 모바일 개인 디지털 기기의 기본 사용자 인터페이스로 일반화됐다.

센서 기술은 멀티터치 기술과 함께 모바일 기기를 보다 스마트하게 만들어주는 기술로 가속도, 조도, 중력, 지자기, 자이로스코프와 같은 것이 있다. 이러한 센서들은 스마트폰 사용 때 사용자 눈의 피로감을 덜어주고 스크린의 방향을 자동 조절해주며 스마트폰 위치에 대한 오차를 줄여준다. 최근 센서 기술은 더욱 발달돼 종류도 다양해지고 있으며 더 정확해지고 더 작아지고 있다. 이에 따라 다양한 스마트기기로 응용 분야를 넓히고 있다.

뇌파인식 기술은 사람의 뇌가 생각이나 활동할 때 발생하는 뇌파를 이용해 IT 기기를 제어하는 사용자 인터페이스 기술이다. 1970년대부터 연구가 시작됐지만 인간의 뇌가 워낙 복잡하고 뇌파측정을 위해 머리에 측정기가 접촉돼 있어야 하는 불편함으로 아직까지는 일반화되지 못하고 연구 수준에 머물고 있다. 하지만 사람의 신체 감각이 모두 뇌로 모이고 조정되기 때문에 측정기 착용에 불편함만 제거한다면 이 분야 기술이 궁극적인 사용자 인터페이스가 될 것이라고 연구자들은 예측하고 있다.

마지막으로 실감형 사용자 인터페이스(TUI· Tangible User Interface)는 실제로 물건을 만지고, 느끼고, 잡고, 옮기는 등의 행위를 통해 디지털 정보를 조작하는 사용자 인터페이스 기술로 MIT Media Lab의 Tangible Media Group에서 제안했다. 인간이 실생활에서 오랜 시간 발전시켜 온 감각과 운동을 사용자 인터페이스에 적용시킨 기술로 교육 분야에서 활용도가 높다. 특히 실제적인 훈련이 위험하거나 많은 비용이 소요되는 시뮬레이션 분야(선박, 항공기, 크레인 등)에서 전문인력을 양성하는 데 주로 사용된다.

비접촉식 NUI

비접촉식 NUI의 대표격인 음성인식 기술은 사람의 음성을 인식하는 사용자 인터페이스다. 기존에는 단순한 명령어 위주의 음성을 인식해 콜센터, 내비게이션 등의 사용자 인터페이스로 이용됐으나 2011년 말 애플의 iPhone 4S에서 음성인식기반의 지능형 가상 비서 서비스인 Siri가 선보이면서 재조명받고 있다.

영상인식 기반의 NUI는 카메라로 사용자의 얼굴이나 제스처를 인식해 사용자 인터페이스로 사용하는 기술이다. 사용자가 눈으로 타인의 외형과 상황, 동작을 인식해 판단하는 것과 비슷하다. 기술의 특성상 사람의 눈과 동일한 역할을 하는 것이라 광범위한 응용 분야를 가지고 있지만 카메라로 입력되는 정보들의 정확도가 떨어지고 입력받는 환경에 따라 잡음(조명, 흔들림, 포즈, 등의 변화)이 많이 발생하는 문제가 있다. 다른 기술에 비해 기술적 난도가 높다. 하지만 2009년 마이크로소프트의 Project Natal의 결과물인 Kinect가 제스처 인식 기술로 새로운 게임 사용자 인터페이스로의 성공적인 론칭을 하면서 새로운 전기를 맞고 있다.

영상인식 기반 NUI는 사람의 손, 발, 목, 몸통 등의 몸짓을 인식하는 제스처 인식 기술과 사람의 얼굴을 찾아 그 사람에 대한 식별, 속성(성별, 나이), 감정들을 판단하는 얼굴인식 기술로 구분할 수 있다. 더 세부적으로는 얼굴 부분 중에서도 시선이 어디를 쳐다보는지를 인식하는 시선인식 기술 등이 있다.

NUI 역사 및 최근 기술 동향

NUI 중 경제적인 측면에서 시장이 형성됐고 향후 성장 가능성이 높은 3가지 주요 기술인 멀티터치, 음성인식, 영상인식 기술 분야에 대해 역사 및 최근 기술 동향을 살펴보기로 한다.

멀티터치 기술

멀티터치 기술은 1960년대부터 연구가 시작됐으며 전시 및 다중 사용자를 위한 40인치 이상 대화면 멀티터치 기술과 개인용 모바일 기기를 위한 20인치 이하 소화면 멀티터치 기술이 나름대로 각자의 영역에서 발전해왔다. 2000년 이후 주목받은 멀티터치 관련 기술에 대해서 소개한다.

SmartSkin: 사용자 손을 전기가 흐르고 있는 곳으로 가져갔을 때 생기는 전자기적 변화를 감지해 멀티터치를 인식해 내는 기술로 2001년 소니 연구소의 Jun Rekimoto가 개발했다. <그림2>와 같이 전선을 격자로 배치해 둔 뒤 그 전선에 전기적 파동을 주기적으로 보내고 수신부에서는 그 전기적 파동의 미세한 변화를 잡아내고 그 변화가 가장 큰 곳을 계산해 손의 위치를 추정한다. 이 기술은 iPhone에서 사용하고 있는 정전식 방식의 아이디어의 모태가 됐다.

FTIR: 뉴욕대 교수로 있던 재미교포 Jeff Han이 만든 기술로 쉽고 저렴하게 구현할 수 있다는 장점이 있으며 TED에 소개돼 더욱 유명해 졌다. FTIR(Frustrated Total Internal Reflection)이라는 물리적 현상을 이용했다. 플라스틱 판 안에 들어간 빛은 계속해서 전반사를 일으키게 돼 바깥으로 빠져 나오지 못한다. 하지만 <그림3>과 같이 사람 손이 플라스틱 표면에 닿게 되면 빛이 산란돼 바깥으로 빠져 나오는 빛이 생기는데 이것을 카메라로 찍어보면 사람 손이 닿은 부분에서만 동그란 점이 맺히게 된다. Jeff Han은 이 기술을 기반으로 Perceptive Pixel이라는 대화면 멀티터치 전문기업을 설립, 운영하고 있다.

ThinSight : 마이크로소프트 Cambridge Lab의 Bill Buxton이 2007년에 위 두 기술의 정확도 문제와 카메라 화각 공간 문제를 해결하기 위해 개발한 기술이다. <그림4>에서 보는 것과 같이 LCD 뒷면에 아래와 같은 광학적인 센서들을 배치해 손가락을 감지해 낸다. 눈에는 보이지 않는 적외선 발광소자와 그 적외선을 감지해 낼 수 있는 센서를 조합해 LCD 뒷면에 수십 개의 센서를 부착한다. 작은 카메라가 수십 개 달려 있는 형태로 생각할 수 있는데 사용자의 손이 가까이 오게 되면 적외선이 반사되는 양이 많아지게 되고 센서는 그것을 감지하게 된다. 그렇게 해서 얻은 센서들의 정보를 모아서 손가락 위치를 추정해 낸다.

Surface Computing: 마이크로소프트사에 2007년에 선보인 Surface Computing은 다중 사용자를 위한 대화형 테이블 형태로 멀티터치 기술을 상용화한 사례다. 테이블의 밑에 적외선 스펙트럼을 발사해 되돌아오는 영상을 인식해 멀티터치와 테이블 위에 놓여지는 물체를 인지하는 기술이다. (그림5) 기존의 멀티터치가 사람의 손동작 위주였다면 기기 간의 연동까지 고려됐다는 점에서 차별화했다. 삼성전자가 두께가 개선된 Surface 2 버전을 개발, 공개했다.

Capacitive Touch: iPhone 이전에 터치기술은 감압식(Resistive) 터치 패널을 사용해 사용자들이 물리적으로 화면을 눌러야만 위치가 인식됐다. 하지만 2007년 애플은 경쟁 기술인 투과형 정전식 터치스크린 기술을 채택했고 이 기술은 가벼운 터치에도 반응하고 터치 화면에 전자파가 입력됨으로써 손가락을 감지(근접 센싱 기술)할 수도 있다. 정전식 터치 기술은 사람의 손가락이 터치스크린을 누르게 되면 유리에 흐르던 전자가 신체로 이동하게 되고 센서는 전자적 변화가 있는 위치를 감지하는 기술이다. 그래서 사람의 신체부위나 특수하게 만든 스타일러스 펜 외에는 무생물체에는 반응을 하지 않도록 돼 있다. 투과형 정전식 스크린은 색감이 더 밝고 유리 터치 표면 또한 내구성이 더 좋고 표면 스크래치에 좀 더 강하다는 장점을 가지고 있다. 1세대 iPhone에서 애플이 이룬 혁신은 하드웨어적인 부분보다는 동시에 이뤄지는 터치 동작을 인식할 수 있다는 소프트웨어적인 부분이었다. 즉 멀티터치가 가능해져 지금 널리 사용되고 있는 화면 쓸어 넘기기, 회전, 그리고 핀치/확장 기능이 개발될 수 있었다. 이러한 멀티터치 기술이야말로 iPhone의 진정한 성과로 인정되고 있다. 최근 애플은 계속 소프트웨어를 발전시켜 새로운 스타일의 쓸어 넘기기 기능을 추가하고 최대 5개의 손가락을 지원하는 등의 터치 인식 동작을 확대하고 있다. 국내에서는 삼성이 갤럭시S에 능동 유기발광 다이오드(AMOLED) 스크린에 멀티터치 기술을 통합하는 데 성공했으며 슈퍼아몰레드(Super AMOLED)라는 브랜드로 선보이고 있다. 이 기술은 별도의 레이어가 아닌 스크린 자체에 직접 터치 센서가 위치해 디스플레이가 얇아지는 장점이 있다. 애플에서도 인셀터치(in cell touch) 기술이 iPhone5부터 적용될 것이라는 소문이 돌고 있으며 이 기술은 박형필름트랜지스터(TFT)LCD 제조공정에 멀티터치기술을 포함해 더 많은 유리와 센서를 사용할 필요가 없으며 더 얇고 더 밝은 스크린을 얻을 수 있는 것으로 알려지고 있다.

N-trig: iPhone과 갤럭시S와 같은 정전식 멀티터치 기술은 사용자에게 새로운 경험을 선사한 반면에 일반적인 노트에 필기를 하는 것과 같은 세세한 필기 기능을 구현하는 데에는 한계를 가지고 있다. 이러한 문제점을 해결하기 위해 손가락과 스타일러스 펜을 모두 지원하는 하이브리드식 멀티터치 센서 기술도 발전하고 있다. 이스라엘의 N-trig라는 업체는 정전식과 스타일러스 센서를 통합한 멀티터치 센서를 개발해 태블릿 PC에 공급하고 있으며 삼성에서는 와콤에서 개발한 방식의 하이브리드 멀티터치 기술을 사용하고 있다.