INNisFREE island

　저는 공대생입니다. 그것도 전자공학을 전공했던 학생이죠. (지금은 졸업생입니다) ^^ 이번에 과후배가 스펀지를 이야기하면서 한번 보라고 해서 잘 안봤던 스펀지를 보게 되었습니다. 그런데 왜 보라는 건지 대충은 알겠더군요. 바로 "3D 그림책" 입니다. 사실 이 부분을 보기 전에 잠시 멈추고, 저의 생각을 후배한테 전달한 적 있었습니다. 이건 척봐도 증강현실을 다룬 것같다구요. 과연 그렇더라구요. 그런데 과연 안경이 필요할까? 특수카메라가 필요할까라는 생각이 듭니다. 이 부분은 글의 뒷부분에서 다루도록 하겠습니다.

　일단 앞서 말했듯이 저는 전자공학도 입니다. 간혹 지나가다 어떤 분께서 전자공학따위가 영상처리를 하느냐고 말씀을 하시는데  전자공학도 영상처리를 합니다. 전자공학이 컴퓨터 공학 부분을 하는게 맞냐는 말씀을 하시는데 꽤 합니다. 뭐 주로 하드웨어적인 측면에서만 바라보시는 분들도 계시지만 전자공학도 분명 소프트웨어를 합니다. 물론 소프트웨어적으로 아주 깊게(?)는 하지 않지만 말입니다. -제가 겪어보니 그렇습니다- 여튼 전자공학 분야 중에서 영상처리 분야가 있습니다. 그리고 신경망 이론(Neural Networks : http://en.wikipedia.org/wiki/Neural_network) 분야 중에 패턴인식(http://ko.wikipedia.org/wiki/패턴_인식) 이라는 분야도 있습니다. 비단 컴퓨터공학만 하는게 아니라 전자공학도 합니다. (제가 다니는 모교 전자공학과 교수님이 이 분야를 연구하고 관련된 과목을 개설되어 있더군요. 물론 본인은 수강하지 않았습니다)


　제가 전자공학이야기를 하면서 영상처리와 패턴인식을 이야기하냐면 바로 '증강현실' 과 아주 밀접한 학문이기 때문입니다. 다들 아실겁니다. 증강현실이라는 단어요. 최근에 아이폰 유저들이 많아지면서 증강현실에 더욱 접하는 사례가 많아 졌을 것이고 앞으로 많아질겁니다. 위의 이미지를 보시면 알겠지만 아이폰의 증강현실 어플의 좋은 사례 중 하나라 가지고 왔습니다. 동영상이 궁금하신 분이 계신다면 다음의 링크를 통해서 감상하셔도 좋을 것 같습니다. ^^ (http://www.youtube.com/watch?v=ps49T0iJwVg&feature=player_embedded) 이처럼 증강현실은 지금 진행중에 있는 학문(또는 기법) 이고 실생활에 많이 접하고 있는 것 중에 하나입니다. (http://ko.wikipedia.org/wiki/증강현실) 혹시 증강현실그리고 패턴인식에 대해 모르시는 분들이 계실지 모르니 여기서 잠깐 위키를 인용해보록 하겠습니다.

증강현실(Augmented Reality, AR)은 가상현실(Virtual Reality)의 한 분야로 실제환경에 가상사물을 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터그래픽기법이다. 증강현실은 가상의 공간과 사물만을 대상으로 하는 기존의 가상현실과 달리 현실세계의 기반위에 가상의 사물을 합성하여 현실세계만으로는 얻기 어려운 부가적인 정보들을 보강해 제공할 수 있는 특징을 가지고 있다. 이러한 특징때문에 단순히 게임과 같은 분야에만 한정된 적용이 가능한 기존 가상현실과 달리 다양한 현실환경에 응용이 가능하며 특히, 유비쿼터스환경에 적합한 차세대디스플레이기술로 각광받고 있다.

패턴인식(Pattern Recognition)은 인지과학(Cognitive Science)과 인공지능(Artificial Intelligence) 분야에 속하는 문제 중 하나이다. 인지과학은 심리학, 컴퓨터 과학, 인공지능, 신경생물학과 언어학, 철학을 이용하여 지능과 인식의 문제를 다루는 포괄적인 학제적 과학 분야를 말하며, 인공지능은 인간의 학습능력과 추론능력을 인공적으로 모델링하여 외부 대상을 지각하는 능력, 나아가 자연언어와 같은 구문적 패턴까지 이해하는 능력 등을 컴퓨터 프로그램으로 구현하는 기술을 말한다. 인공지능에 관한 연구는 현재 지능형시스템(Intelligence System)이라는 인공지능에 기반한 정보시스템 분야로까지 발전하고 있다. 정보화시대에 쉽게 얻을 수 있는 수 많은 데이터들을 적절히 가공하는 것은 물론 정보의 표현과 처리에도 지능형 시스템이 적용되고 있으며 금융, 제조, 스포츠, 서비스분야 등의 비정보기술 부문에까지 널리 이용되고 있다. 패턴인식은 공학적 접근법을 이용하여 인공지능의 실제 구현문제인 센싱된 대상을 인식하는 문제를 주로 다룬다. 패턴인식을 여러방식으로 정의할 수 있겠지만 "계산이 가능한 기계적인장치(컴퓨터)가 어떠한 대상을 인식하는 문제를 다루는 인공지능의 한 분야"라고 정의한다.

　이처럼 실제 환경에 가상의 사물을 합성하여 기존의 모습에 있는 것처럼 보여주는 '컴퓨터 그래픽 기법' 중 하나입니다. 흔히들 공학도 사이에서는 영상처리라는 말을 사용하기도 합니다. 이런 영상처리를 이용하여 다양한 생활의 편리함을 얻고 있죠. 앞서서 언급했지만 아이폰의 다수의 위치기반 어플들이 그 예로 들수 있습니다. 왼쪽의 이미지는 2010년 3월 5일에 방영되었던 '3D 그림책' 을 소개한 이미지입니다. 저는 이 영상을 보면서 조금 피식했습니다. 예상했거든요. 맨처음에 "전용 안경" 이 나오니까 스스로를 의심했습니다. "증강현실"이 아닌가? 뭐지? 안경? 조금 영상을 보고 나니까.. 역시나! 라는 생각이 들더군요. 네, 패턴인식에 의한 영상처리를 이용것이었습니다.


　그럼 원리는 뭘까요? 동작 원리는 간단합니다. 카메라를 통해 현재 카메라가 받고 있는 영상을 받습니다. 그런 다음 영상에 대한 적절한 '특징점'을 찾습니다. 그 특징점을 찾아 영상을 얹어(?) 놓을 영상의 위치를 지정하고 3D 렌더링을 통해 3D 이미지를 디스플레이합니다. 생각보다는 쉽습니다. -하지만 그 알고리즘의 구현은 굉장히 복잡합니다 영상처리라는 학문은 그리 만만한 학문이 아닙니다. 아마추어를 무시하는 건 아닙니다만 말뿐인 감히 아마추어 따위가 논할 학문은 절대 아니라는 것이죠- 왼쪽의 이미지는 제가 여기서 말한 특징점에 대해 소개한 이미지입니다. (사실 제가 말하는 특징점도 전문용어도 아닙니다만) 마커라는 것을 추적합니다. 그러니까 패턴이 담겨진 영역을 찾는 것이지요. 패턴이 담겨진 영역을 추적을 했다면 그 패턴을 인식하는 것입니다. 이때 여러번의 영상 처리를 통해 시점을 변화시키고 그것을 일반화시킵니다. (유튜브 소개 http://www.youtube.com/watch?v=oHkUOpYNhoM)

　이렇게 고도의 영상처리와 패턴인식을 통해 사물을 인지하고 그 사물위에 2D/3D 영상을 얹으면 되는 것입니다. 영상, 패턴, 공간 등 여러가지를 컴퓨터가 처리하는 것이지요. 때문에 이러한 증강현실 부분은 반드시 Processing을 거치지 않으면 안되는 부분입니다. 반드시 컴퓨터 -정확히는 처리알고리즘 프로그램을 가지고 있는- 를 통해서 영상 인식, 패턴 인식, 처리, 출력 모든것을 해야죠.


　스마트 폰 역시 컴퓨터입니다. 왜 컴퓨터냐 라는 개소리까는 분은 그냥 컴퓨터의 정의를 다시한번 찾아보시길 바랍니다. (http://ko.wikipedia.org/wiki/컴퓨터 사용 목적에 따른 분류 참고)  그리고 Computer Architecture(http://en.wikipedia.org/wiki/Computer_architecture) 문서를 읽어 이해하시길 바라며 이어가겠습니다. 역시 앞서 말했듯이 스마트폰을 통해서 오늘날에도 다양한 가상현실을 체험할 수 있습니다. 물론, 혼돈해서는 안될 부분이 아이폰 어플의 대다수는 증강현실은 정확히 말해서 GPS를 통해 위치인식 기반 증강현실 어플리케이션입니다. 물론 영상인식을 통한 어플도 있을 수 있구요. 여튼 스마트 폰 역시 컴퓨터 이기때문에 다양한 입력 신호를 처리하여 결과를 디스플레이하는 것입니다.



　그런데 의문점이 있습니다. 자막에는 "3D 안경과 똑같은 기능의 특수 카메라"라고 나와 있는데 제가 아무리 이해해도 특수카메라까지 필요가 있을까요? 3D 안경은 그 구성이 HMD(http://en.wikipedia.org/wiki/Head-mounted_display)에 전면카메라만 붙인 것 같습니다. 우측의 이미지를 봐도, 아무리 들여돠 봐도 특별한 기능은 없는 것 같습니다. 단지 기존과 차이가 있다면 카메라가 쌍으로 있는것? 물론 카메라가 두개이기때문에 영상 또한 입체로 받아들인다는 것이지요. 단지 그뿐입니다. 기존의 영상처리와 패턴인식의 알고리즘을 더 향상시킨다는 건 아니라는 거죠. 그러니까 '특수카메라'라는 말이 이상하다는 것입니다. 그냥 일반 '캠' 하나면 됩니다. 무언가 특별한게 있나요? 앞서 제가 설명한 증강현실의 알고리즘은 무언가의 특수성을 가지는 카메라까지는 필요 없습니다. 단지 영상을 잘 받아들일 수 있는 카메라만 있으면 되는 것입니다. 왜 이런 의문이 드냐면 아래의 영상을 한번 보시길 바랍니다. ;)


　이해하셨나요? 아디다스의 광고 입니다. 물론 여기서는 마커를 이용한 것이지만 굳이 무언가의 특수한 카메라를 이용할 필요는 없다고 생각됩니다. 어떠한 특수한 카메라를 이용한 건지 알아야 하겠지만 그건 '광주과학기술원' 만의 특허일 수도 있으니 알기가 어렵겠죠. ;) 제목에 나와 있듯이 책은 아니지만 시중에 이미 구현되어 있고 시판되는 제품이 몇몇이 있습니다. 이러한 제품은 전용카메라도 필요없으며 단지 카메라만 있으면 됩니다. 그리고 특수 카메라도 필요가 없는 제품이지요. 후배는 이번 스펀지를 보면서 이런 말을 했습니다. "저 책 하나 볼려고 부모 등골 휘겠다. 카메라 은근히 비싸보이는데 저거 사줄라면 몇십만원 깨지겠다" 라구요. 물론 저도 그 말에 동의합니다. 아마 제 생각에는 카메라를 파는 것 보다 기술력을 파는 것으로 보입니다. 광주과학기술원에서 보여주고 싶은건 이게 아닐런지요.

　기존의 영상처리를 통핸 증강현실은 "마커"라는 도구를 필요합니다. 하지만 이제 마커가 필요 없다는 것입니다. 기존의 인쇄물에는 일정한 패턴이 교묘하게 숨겨져 있습니다. 사람은 그것을 인지하지 못하지만 컴퓨터는 일정한 패턴이 이미 '학습'이 되어 있기 때문에 해독 알고리즘을 통해 해당 패턴을 인식하고 영상처리와 렌더링을 통해 해당 패턴에 대한 영상을 쏴주기만 한다는 것입니다. 그러니까 핵심은 '더이상 마커가 필요없다'라는 것입니다. 저는 이번 스펀지를 보면서 느낀건 이겁니다. 진정한 증강현실에 한발짝 더 나아간다는 것이지요. 눈에 거추장 스런 마커는 때어버리자는 것입니다. (물론 제 생각이 틀릴 수 있습니다. 해당 연구실 홈페이지를 방문해서 어떤 원리인지 더 파악해봐야할 것 같네요 ;)

　추가1 : 해당연구실, 광주과학기술원 가상현실 홈페이지입니다 http://uvr.gist.ac.kr/ 그리고 한국과학기술원 기사링크입니다 http://infcom1.gist.ac.kr/boards/view/news/72 참고하세요 ;) 특히 비쥬얼적으로 관심 많으신분은 Research 에서 Demo Video를 클릭하시면 놀라운 영상도 감상하실 수 있습니다 ^^  -전자공학도 들끼리의 말일 수도 있습니다만, 역시 영상처리는 매트랩으로 해야 제맛이죠! ㅋ-

　추가2 : 영상인식을 통한 증강현실, 사실 TV에서 숱하게 봐왔습니다. 여러분들 축구 자주보시나요? 운동장에 각 팀의 점수나 포지션들이 나오는 것을 볼 수 있을 것입니다. 다음의 사진을 참고하세요 ^^


　- 증강현실(AR)의 기술원리및프레임워크 http://www.cadgraphics.co.kr/education/upload/156-160_AR_Technology.pdf
　- 구글어스로 만드는 증강현실(Argumented Realty) http://www.internetmap.kr/817
　- 아이폰 어플로 일상화되고 있는 증강현실, AR의 세계 http://www.kangjunghoon.com/616