KR101242512B1

KR101242512B1 - 증강 현실 컨텐츠 재생 시스템 및 방법

Info

Publication number: KR101242512B1
Application number: KR1020100101703A
Authority: KR
Inventors: 정진; 한호선; 홍선희; 박새이; 시아오 리우; 김현정
Original assignee: 에스케이플래닛 주식회사
Priority date: 2010-10-19
Filing date: 2010-10-19
Publication date: 2013-03-12
Anticipated expiration: 2030-10-19
Also published as: KR20120040350A

Abstract

본 발명은, 촬영구역에 위치한 인쇄서적을 촬영한 촬영영상을 기반으로 증강현실 컨텐츠를 제공하는 증강현실 서비스에 있어서, 사용자가 촬영구역 내에서 손과 같은 일상적인 도구의 이동을 통해 특정 동작을 발생시키면 해당 동작에 따른 컨텐츠 제어기능을 수행함으로써 실제 인쇄서적을 움직이지 않고도 다양한 사용자 Interaction을 제공할 수 있고 실재감을 향상시킬 수 있는 증강 현실 컨텐츠 재생 시스템 및 방법이 개시되어 있다. 본 발명의 증강 현실 컨텐츠 재생 시스템은, 적어도 하나의 동작정보에 대응하는 컨텐츠 제어기능을 포함하는 동작 별 제어기능정보를 정보제공서버가 제공하면, 상기 정보제공서버로부터 제공되는 상기 동작 별 제어기능정보를 증강현실컨텐츠재생장치가 저장하고, 특정 촬영구역에 위치하는 인쇄서적을 촬영한 촬영영상을 분석하여 분석 결과에 대응하는 기 설정된 증강현실 구현기능 수행에 따라 상기 촬영영상에 적용한 증강현실 컨텐츠를 출력하며, 상기 증강현실컨텐츠재생장치가 상기 촬영영상에 근거하여 특정 동작이 인지되면, 상기 동작 별 제어기능정보에 근거하여 상기 특정 동작에 따른 동작정보에 대응되는 해당 컨텐츠 제어기능을 수행하는 구성을 포함한다.

Description

증강 현실 컨텐츠 재생 시스템 및 방법{SYSTEM AND METHOD FOR PLAYING CONTENTS OF AUGMENTED REALITY}

본 발명은 증강 현실 컨텐츠 재생 시스템 및 방법에 관한 것으로, 더욱 상세하게는 촬영구역에 위치한 인쇄서적을 촬영한 촬영영상을 기반으로 증강현실 컨텐츠를 제공하는 증강현실 서비스에 있어서, 사용자가 촬영구역 내에서 손과 같은 일상적인 도구의 이동을 통해 특정 동작을 발생시키면 해당 동작에 따른 컨텐츠 제어기능을 수행함으로써 실제 인쇄서적을 움직이지 않고도 다양한 사용자 Interaction을 제공할 수 있고 실재감을 향상시킬 수 있는 증강 현실 컨텐츠 재생 시스템 및 방법, 증강현실컨텐츠재생장치 및 증강현실컨텐츠재생장치의 동작 방법에 관한 것이다.

AR(Augmented Reality, 증강현실)은 사용자가 눈으로 보는 현실세계와 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주는 가상현실의 하나이다. 현실세계를 가상세계로 보완해주는 개념인 AR은, 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다. 사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹침(overlap)으로써 현실환경과 가상화면과의 구분이 모호해지도록 한다는 뜻이다.

이러한 증강현실을 구현하는 방법에는, 인쇄서적의 페이지를 펼쳐 이를 카메라를 통해 촬영하고 촬영된 실시간 영상을 화면에 디스플레이함에 있어서, 페이지 내에 특정 마커(marker)가 기록되어 있음에 따라 촬영된 영상 내에서 특정 마커가 인지되면 해당 마커에 연결된 3차원 그래픽 모델을 실제 영상 즉 페이지를 촬영한 영상 위에 그려주는 방법이 있다. 여기서의 마커란 실제로 2차원 평면 위에 존재하면서, 자신과 연결된 3차원 그래픽모델이 그려질 크기, 방향 및 위치 정보를 제공하는 것을 말한다.

헌데, 전술한 종래의 증강현실 구현 방법은, 인쇄서적의 페이지 또는 페이지 상에 증강된 가상 객체(예 : 3차원 그래픽 모델)를 확대 또는 축소 또는 회전하여 보고자 하는 경우, 사용자가 실제 인쇄서적을 카메라에 가깝게 가져가거나 또는 멀리 가져가거나 또는 직접 회전시켜야만 한다. 즉, 현재 사용자가 실제 인쇄서적을 움직이지 않고도 그와 상응하는 다양한 증강현실 구현을 원하고 있지만, 현재의 증강현실 구현 방법에서는 이를 만족시킬 수 있는 방안이 없다는 점에서 여전히 미흡한 수준이라고 하겠다.

본 발명은 상기한 사정을 감안하여 창출된 것으로서, 본 발명에서 도달하고자 하는 목적은 적어도 하나의 동작정보에 대응하는 컨텐츠 제어기능을 포함하는 동작 별 제어기능정보를 정보제공서버가 제공하면, 상기 정보제공서버로부터 제공되는 상기 동작 별 제어기능정보를 증강현실컨텐츠재생장치가 저장하고, 특정 촬영구역에 위치하는 인쇄서적을 촬영한 촬영영상을 분석하여 분석 결과에 대응하는 기 설정된 증강현실 구현기능 수행에 따라 상기 촬영영상에 적용한 증강현실 컨텐츠를 출력하며, 상기 증강현실컨텐츠재생장치가 상기 촬영영상에 근거하여 특정 동작이 인지되면, 상기 동작 별 제어기능정보에 근거하여 상기 특정 동작에 따른 동작정보에 대응되는 해당 컨텐츠 제어기능을 수행하는 증강 현실 컨텐츠 재생 시스템 및 방법을 제공하여, 사용자가 촬영구역 내에서 손과 같은 일상적인 도구의 이동을 통해 특정 동작을 발생시키면 해당 동작에 따른 컨텐츠 제어기능을 수행함으로써 실제 인쇄서적을 움직이지 않고도 다양한 사용자 Interaction을 제공할 수 있고 실재감을 향상시키는데 있다.

본 발명은 상기한 사정을 감안하여 창출된 것으로서, 본 발명에서 도달하고자 하는 다른 목적은 특정 촬영구역에 위치하는 인쇄서적을 촬영하고, 상기 촬영된 촬영영상을 분석한 분석 결과에 근거하여, 상기 분석 결과에 대응하는 기 설정된 증강현실 구현기능 수행에 따라 상기 촬영영상에 적용한 증강현실 컨텐츠를 출력하며, 상기 촬영영상에 근거하여 특정 동작을 인지하여 동작 인지 결과 상기 특정 동작이 인지되면, 기 정의된 동작 별 제어기능정보에 근거하여 상기 특정 동작에 따른 동작정보에 해당되는 컨텐츠 제어기능을 수행하는 증강현실컨텐츠재생장치 및 증강현실컨텐츠재생장치의 동작 방법을 제공하여, 사용자가 촬영구역 내에서 손과 같은 일상적인 도구의 이동을 통해 특정 동작을 발생시키면 해당 동작에 따른 컨텐츠 제어기능을 수행함으로써 실제 인쇄서적을 움직이지 않고도 다양한 사용자 Interaction을 제공할 수 있고 실재감을 향상시키는데 있다.

상기 목적을 달성하기 위한 본 발명의 제 1 관점에 따른 증강 현실 컨텐츠 재생 시스템은, 적어도 하나의 동작정보에 대응하는 컨텐츠 제어기능을 포함하는 동작 별 제어기능정보를 제공하는 정보제공서버; 및 상기 정보제공서버로부터 제공되는 상기 동작 별 제어기능정보를 저장하고, 특정 촬영구역에 위치하는 인쇄서적을 촬영한 촬영영상을 분석하여 분석 결과에 대응하는 기 설정된 증강현실 구현기능 수행에 따라 상기 촬영영상에 적용한 증강현실 컨텐츠를 출력하며, 상기 촬영영상에 근거하여 특정 동작이 인지되면 상기 동작 별 제어기능정보에 근거하여 상기 특정 동작에 따른 동작정보에 대응되는 해당 컨텐츠 제어기능을 수행하는 증강현실컨텐츠재생장치를 포함한다.

상기 목적을 달성하기 위한 본 발명의 제 2 관점에 따른 증강현실컨텐츠재생장치는, 특정 촬영구역에 위치하는 인쇄서적을 촬영하는 촬영부; 상기 촬영부를 통해 촬영된 촬영영상을 분석하는 영상분석부; 상기 촬영영상에 근거하여 특정 동작을 인지하는 동작인지부; 및 상기 영상분석부를 통한 분석 결과에 근거하여, 상기 분석 결과에 대응하는 기 설정된 증강현실 구현기능 수행에 따라 상기 촬영영상에 적용한 증강현실 컨텐츠를 출력하며, 상기 동작인지부를 통해 상기 특정 동작이 인지되면 기 정의된 동작 별 제어기능정보에 근거하여 상기 특정 동작에 따른 동작정보에 해당되는 컨텐츠 제어기능을 수행하는 장치제어부를 포함한다.

바람직하게는, 기 설정된 적어도 하나의 동작정보에 대응하여 기 설정된 컨텐츠 제어기능을 나타내는 상기 동작 별 제어기능정보가 저장되는 정보저장부를 더 포함할 수 있다.

바람직하게는, 상기 동작인지부는, 상기 촬영영상에 근거하여 기 정의된 손 이미지를 인식하여 상기 손 이미지의 이동에 따라 발생되는 상기 특정 동작을 인지할 수 있다.

바람직하게는, 상기 동작 별 제어기능정보는, 제1동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링(rendering)된 가상 객체를 기 설정된 회전속도에 따라 기 설정된 회전방향으로 회전시키는 컨텐츠 회전제어기능, 제2동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링된 가상 객체를 인지되는 상기 특정 동작에 따른 이동 경로에 따라 이동시키는 컨텐츠 이동제어기능, 제3동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링된 가상 객체를 기 설정된 프레임레이트(frame rate)마다 기 설정된 축소 비율로 축소시키는 컨텐츠 축소제어기능, 제4동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링된 가상 객체를 기 설정된 프레임레이트 마다 기 설정된 확대 비율로 확대시키는 컨텐츠 확대제어기능 중 적어도 어느 하나를 포함할 수 있다.

바람직하게는, 상기 장치제어부는, 상기 동작 별 제어기능정보에 대한 설정정보를 조정하는 기능설정정보 조정기능을 제공하고, 상기 기능설정정보 조정기능을 통한 사용자의 조정에 대응하여 상기 동작 별 제어기능정보를 변경/저장할 수 있다.

상기 목적을 달성하기 위한 본 발명의 제 3 관점에 따른 증강 현실 컨텐츠 재생 방법은, 적어도 하나의 동작정보에 대응하는 컨텐츠 제어기능을 포함하는 동작 별 제어기능정보를 정보제공서버가 제공하는 단계; 상기 정보제공서버로부터 제공되는 상기 동작 별 제어기능정보를 증강현실컨텐츠재생장치가 저장하는 단계; 상기 증강현실컨텐츠재생장치가 특정 촬영구역에 위치하는 인쇄서적을 촬영한 촬영영상을 분석하여 분석 결과에 대응하는 기 설정된 증강현실 구현기능 수행에 따라 상기 촬영영상에 적용한 증강현실 컨텐츠를 출력하는 단계; 및 상기 증강현실컨텐츠재생장치가 상기 촬영영상에 근거하여 특정 동작이 인지되면, 상기 동작 별 제어기능정보에 근거하여 상기 특정 동작에 따른 동작정보에 대응되는 해당 컨텐츠 제어기능을 수행하는 단계를 포함한다.

상기 목적을 달성하기 위한 본 발명의 제 4 관점에 따른 증강현실컨텐츠재생장치의 동작 방법은, 특정 촬영구역에 위치하는 인쇄서적을 촬영하는 촬영 단계; 상기 촬영된 촬영영상을 분석한 분석 결과에 근거하여, 상기 분석 결과에 대응하는 기 설정된 증강현실 구현기능 수행에 따라 상기 촬영영상에 적용한 증강현실 컨텐츠를 출력하는 증강현실 컨텐츠 출력단계; 상기 촬영영상에 근거하여 특정 동작을 인지하는 동작 인지단계; 및 동작 인지 결과 상기 특정 동작이 인지되면, 기 정의된 동작 별 제어기능정보에 근거하여 상기 특정 동작에 따른 동작정보에 해당되는 컨텐츠 제어기능을 수행하는 제어기능 수행단계를 포함한다.

바람직하게는, 기 설정된 적어도 하나의 동작정보에 대응하여 기 설정된 컨텐츠 제어기능을 나타내는 상기 동작 별 제어기능정보를 기 저장하는 정보 저장단계를 더 포함할 수 있다.

바람직하게는, 상기 동작 인지단계는, 상기 촬영영상에 근거하여 기 정의된 손 이미지를 인식하여 상기 손 이미지의 이동에 따라 발생되는 상기 특정 동작을 인지할 수 있다.

바람직하게는, 사용자의 요청에 따라 상기 동작 별 제어기능정보에 대한 설정정보를 조정하는 기능설정정보 조정기능을 제공하고, 상기 기능설정정보 조정기능을 통한 사용자의 조정에 대응하여 상기 동작 별 제어기능정보를 변경/저장하는 단계를 더 포함할 수 있다.

이에, 본 발명의 증강 현실 컨텐츠 재생 시스템 및 방법에 의하면, 촬영구역에 위치한 인쇄서적을 촬영한 촬영영상을 기반으로 증강현실 컨텐츠를 제공하는 증강현실 서비스에 있어서, 사용자가 촬영구역 내에서 손과 같은 일상적인 도구의 이동을 통해 특정 동작을 발생시키면 해당 동작에 따른 컨텐츠 제어기능을 수행함으로써 실제 인쇄서적을 움직이지 않고도 다양한 사용자 Interaction을 제공할 수 있고 실재감을 향상시킬 수 있다.

도 1은 본 발명의 바람직한 실시예에 따른 증강 현실 컨텐츠 재생 시스템의 제어 구성도이다.
도 2는 본 발명의 바람직한 실시예에 따른 증강현실컨텐츠재생장치 의 제어 블록도이다.
도 3은 본 발명의 바람직한 실시예에 따른 증강 현실 컨텐츠 재생 방법의 제어 흐름을 나타내는 흐름도이다.
도 4는 본 발명의 바람직한 실시예에 따른 증강현실컨텐츠재생장치의 동작 방법을 나타내는 흐름도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 설명한다.

도 1은 본 발명의 바람직한 실시예에 따른 증강 현실 컨텐츠 재생 시스템을 도시한 도면이다.

도 1에 도시된 바와 같이, 본 발명에 따른 증강 현실 컨텐츠 재생 시스템은, 적어도 하나의 동작정보에 대응하는 컨텐츠 제어기능을 포함하는 동작 별 제어기능정보를 제공하는 정보제공서버(200)와, 정보제공서버(200)로부터 제공되는 상기 동작 별 제어기능정보를 저장하고, 특정 촬영구역(1)에 위치하는 인쇄서적(10)을 촬영한 촬영영상을 분석하여 분석 결과에 대응하는 기 설정된 증강현실 구현기능 수행에 따라 상기 촬영영상에 적용한 증강현실 컨텐츠를 출력하며, 상기 촬영영상에 근거하여 특정 동작이 인지되면 상기 동작 별 제어기능정보에 근거하여 상기 특정 동작에 따른 동작정보에 대응되는 해당 컨텐츠 제어기능을 수행하는 증강현실컨텐츠재생장치(100)를 포함한다.

인쇄서적(10)은, 텍스트 및/또는 그림이 포함되는 적어도 하나의 페이지로 이루어진 오프라인 도서이다. 이러한 인쇄서적(10)은 페이지에 적어도 하나의 증강 현실용의 마커(marker; 10a)를 포함할 수 있다.

여기서, 인쇄서적(10)은, 사용자에 의해 특정 페이지가 펼쳐진 채로 증강현실컨텐츠재생장치(100)에 의해 촬영되는 특정 촬영구역(1)에 놓이게 될 것이다. 그리고, 인쇄서적(10)은, 도 1에 도시된 바와 같이, 해당 인쇄서적(10)이 무엇인지를 나타내는 서적식별정보 또는 해당 페이지가 무엇인지를 나타내는 페이지식별정보 또는 특정 가상 객체(예 : 3D의 그래픽 모델)을 특정 위치에 렌더링(rendering)하여 증강 표시하도록 하는 증강식별정보에 대응하는 마커(10a)를 갖는 페이지를 포함할 수 있다.

물론, 증강현실컨텐츠재생장치(100)에서 다양한 마커프리(marker free) 또는 마커리스(marker-less) 기반의 증강현실 서비스를 제공한다면, 인쇄서적(10)은 별도의 마커(10a)를 페이지에 포함하지 않을 수도 있다.

정보제공서버(200)는, 적어도 하나의 동작정보에 대응하는 컨텐츠 제어기능을 포함하는 동작 별 제어기능정보를 증강현실컨텐츠재생장치(100)로 제공한다.

바람직하게는, 정보제공서버(200)는, 기 설정된 적어도 하나의 동작정보에 대응하여 기 설정된 컨텐츠 제어기능을 나타내는 동작 별 제어기능정보를 관리하며, 증강현실컨텐츠재생장치(100)로부터의 요청에 따라 또는 특정 제공 이벤트 발생 시 동작 별 제어기능정보를 증강현실컨텐츠재생장치(100)로 제공할 수 있다.

예를 들면, 정보제공서버(200)는, 인쇄서적 별로 상이하게 제작/생성된 동작 별 제어기능정보를 관리할 수 있으며, 증강현실컨텐츠재생장치(100)로부터 인쇄서적(10)이 무엇인지를 나타내는 서적식별정보가 제공되어 동작 별 제어기능정보가 요청되면, 해당 서적식별정보에 따른 인쇄서적(10)의 동작 별 제어기능정보를 증강현실컨텐츠재생장치(100)로 제공할 수도 있을 것이다.

증강현실컨텐츠재생장치(100)는, 특정 촬영구역(1)에 위치하는 인쇄서적(10)을 촬영한 촬영영상을 분석하여 분석 결과에 대응하는 기 설정된 증강현실 구현기능 수행에 따라 상기 촬영영상에 적용한 증강현실 컨텐츠를 출력한다.

이에, 증강현실컨텐츠재생장치(100)는, 특정 촬영구역(1)에 위치한 인쇄서적(10)의 펼쳐진 페이지를 촬영한 촬영영상을 분석하여, 분석 결과 마커가 존재하지 않으면 촬영된 실시간 촬영영상을 가상 객체 증강 없이 그대로 처리하여 출력하고, 분석 결과 마커(예 : 10a)가 존재하면 해당 마커(예 : 10a)에 대응하여 기 설정된 증강현실 구현기능(예 : 3D의 그래픽 모델 렌더링)을 수행하여 촬영된 실시간 촬영영상에 가상 객체(예 : 3D의 그래픽 모델)를 증강하여 출력함으로써, 인쇄서적(10)을 촬영한 촬영영상을 기반으로 증강현실 서비스를 제공할 수 있다.

한편, 전술에서는 인쇄서적(10)에 마커(10a)가 포함되어 마커 인식을 통해 증강현실컨텐츠재생장치(100)가 증강현실 서비스를 제공하고 있지만 이는 일 실시예 일 뿐이다.

즉, 인쇄서적(10)에 마커(10a)가 포함되지 않더라도, 증강현실컨텐츠재생장치(100)에서는 다양한 마커프리(marker free) 또는 마커리스(marker-less) 기반의 기 설정된 증강현실 서비스를 제공하는 것도 물론 가능할 것이다.

이하에서는, 설명의 편의를 위해, 인쇄서적(10)에 마커(10a)가 포함되어 마커 인식을 통해 증강현실컨텐츠재생장치(100)가 증강현실 서비스를 제공하는 실시예로 설명하도록 하겠다.

한편, 증강현실컨텐츠재생장치(100)는, 전술한 바와 같이 정보제공서버(200)로부터 제공되는 동작 별 제어기능정보를 저장할 수 있다.

그리고, 증강현실컨텐츠재생장치(100)는, 촬영구역(1)에 위치한 인쇄서적(10)을 촬영한 촬영영상을 기반으로 전술과 같이 증강현실 서비스를 제공함에 있어서, 촬영영상에 근거하여 특정 동작이 인지되면 저장된 동작 별 제어기능정보에 근거하여 상기 특정 동작에 따른 동작정보에 대응되는 해당 컨텐츠 제어기능을 수행한다.

예를 들면, 사용자가 촬영구역(1) 내로 손(20)과 같은 일상적인 도구를 접근시켜 인쇄서적(10) 상에서 사용자 손(20)의 이동을 통해 특정 동작이 발생되면, 증강현실컨텐츠재생장치(100)는 해당 특정 동작을 인지하고 특정 동작에 따른 동작정보에 대응되는 해당 컨텐츠 제어기능을 수행할 수 있다.

이하에서는, 도 2를 참조하여 본 발명에 따른 증강현실컨텐츠재생장치(100)를 보다 구체적으로 설명하도록 한다.

본 발명에 따른 증강현실컨텐츠재생장치(100)는, 특정 촬영구역(1)에 위치하는 인쇄서적(10)을 촬영하는 촬영부(110)와, 촬영부(110)를 통해 촬영된 촬영영상을 분석하는 영상분석부(130)와, 상기 촬영영상에 근거하여 특정 동작을 인지하는 동작인지부(140)와, 영상분석부(130)를 통한 분석 결과에 근거하여, 상기 분석 결과에 대응하는 기 설정된 증강현실 구현기능 수행에 따라 상기 촬영영상에 적용한 증강현실 컨텐츠를 출력하며, 동작인지부(140)를 통해 상기 특정 동작이 인지되면 기 정의된 동작 별 제어기능정보에 근거하여 상기 특정 동작에 따른 동작정보에 해당되는 컨텐츠 제어기능을 수행하는 장치제어부(150)를 포함한다.

촬영부(110)는, 지정된 특정 촬영구역(1)을 촬영하여 해당 촬영구역(1)에 위치한 인쇄서적(10)의 페이지를 촬영한 촬영영상을 영상분석부(130) 및/또는 동작인지부(140) 및/또는 장치제어부(150)로 제공한다. 이러한 촬영부(110)는, 카메라 및 캠(Cam) 및 스캐너 등과 같이 영상을 촬영/인식하여 촬영영상을 제공할 수 있는 형태의 기능장치이면 가능할 것이다.

영상분석부(130)는, 촬영부(110)를 통해 촬영된 촬영영상을 분석한다.

예를 들면 영상분석부(130)는, 촬영부(110)를 통해 촬영된 촬영영상을 분석하여 촬영영상 내의 마커를 인지한 인지 결과 즉, 촬영영상 내에 마커가 존재하는지 여부 및 존재하는 경우 어떤 마커가 존재하는지에 대응하는 분석 결과를 장치제어부(150)로 제공한다.

장치제어부(150)는, 영상분석부(130)로부터 제공되는 분석 결과에 근거하여, 분석 결과에 대응하는 기 설정된 증강현실 구현기능 수행에 따라 촬영영상에 적용한 증강현실 컨텐츠를 출력부(120)를 통해 출력한다. 여기서, 출력부(120)는 디스플레이부 및 스피커 중 적어도 어느 하나를 포함할 수 있다.

예를 들면, 장치제어부(150)는, 영상분석부(130)로부터 제공되는 분석 결과에 근거하여, 촬영영상 내에 마커가 존재하지 않으면 촬영된 실시간 촬영영상 즉 인쇄서적(10)의 펼쳐진 페이지를 촬영한 촬영영상을 가상 객체 증강 없이 그대로 처리하여 출력부(120)를 통해 출력할 수 있다. 이 경우, 인쇄서적(10)의 펼쳐진 페이지를 촬영한 촬영영상의 컨텐츠가 증강현실 컨텐츠에 대응된다.

또한, 장치제어부(150)는, 영상분석부(130)로부터 제공되는 분석 결과에 근거하여, 촬영영상 내에 마커(예 : 10a)가 존재하면 해당 마커(예 : 10a)에 대응하여 기 설정된 증강현실 구현기능(예 : 3D의 그래픽 모델 렌더링)을 수행함으로써, 촬영된 실시간 촬영영상 즉 인쇄서적(10)의 펼쳐진 페이지에 가상 객체(예 : 3D의 그래픽 모델)를 증강하여 출력부(120)를 통해 출력할 수 있다. 이 경우, 인쇄서적(10)의 펼쳐진 페이지에 가상 객체(예 : 3D의 그래픽 모델)를 렌더링한 컨텐츠가 증강현실 컨텐츠에 대응된다.

이처럼, 장치제어부(150)는, 인쇄서적(10)을 촬영한 촬영영상의 마커를 기반으로 일반적인 증강현실 서비스를 제공할 수 있다.

한편, 전술에서는 인쇄서적(10)에 마커(10a)가 포함되어 마커 인식을 통해 장치제어부(150)가 증강현실 서비스를 제공하고 있지만 이는 일 실시예일 뿐이다.

즉, 장치제어부(150)는, 다양한 마커프리(marker free) 또는 마커리스(marker-less) 기반의 증강현실 서비스 제공 기능을 구비하고, 인쇄서적(10)에 마커(10a)가 포함되지 않는 경우에도 해당하는 다양한 마커프리(marker free) 또는 마커리스(marker-less) 기반의 증강현실 서비스를 제공할 수 있을 것이다.

동작인지부(140)는, 촬영부(110)를 통해 촬영된 촬영영상에 근거하여 특정 동작을 인지한다. 즉 동작인지부(140)는, 촬영부(110)를 통해 촬영된 촬영영상을 분석하여 촬영영상 내에서 기 정의된 특정 동작이 발생하는지 여부를 인지한 인지 결과를 장치제어부(150)로 제공한다.

예를 들면, 동작인지부(140)는, 촬영영상에 근거하여 기 정의된 손 이미지를 인식하여 인식된 손 이미지의 이동에 따라 발생되는 특정 동작을 인지할 수 있다.

즉, 사용자가 촬영구역(1) 내로 손(20)을 접근시켜 인쇄서적(10) 상에 손(20)을 위치시키면, 동작인지부(140)는 기 정의된 손 이미지를 토대로 촬영영상에 손(20)이 접근/존재함을 인식할 수 있다.

이처럼, 인쇄서적(10) 상에 손(20)이 위치함에 따라 손 이미지가 인식되면, 동작인지부(140)는, 손 이미지가 이동하는 이동 경로를 감시하여 손 이미지 이동에 따라 발생되는 특정 동작을 인지할 수 있다. 즉, 사용자가 인쇄서적(10) 상에 위치한 손(20)을 이동시킴에 따라, 동작인지부(140)는 이에 대응하여 손 이미지의 이동 경로를 인지하여 손 이미지 이동에 따라 발생되는 특정 동작을 인지할 수 있을 것이다.

이때, 동작인지부(140)가 사용자의 손(20)을 쉽게 인식할 수 있도록 손(20)의 특정 손가락(예 : 집게손가락)에 사용자인터페이스를 착용하는 것이 가능하며, 이때 사용자인터페이스는 밴드 형태로 구현되어 마커로서의 기능을 가질 수 있다.

한편, 전술에서는 동작인지부(140)가 손 이미지를 인식하는 것을 설명하고 있으나 이는 일 실시예일 뿐이며, 동작인지부(140)는, 촬영영상에 근거하여 기 정의된 도구 이미지(예 : 포인터펜)를 인식하여 인식된 도구 이미지의 이동에 따라 발생되는 특정 동작을 인지할 수도 있을 것이다.

이상에서 동작인지부(140)가 촬영영상에 근거하여 특정 이미지(예 : 손 이미지, 도구 이미지)를 인식하여 특정 동작을 인지하는 구성은, 일반적으로 사용되고 있는 이미지 인식방식들 중 어느 하나를 채택할 수 있으므로 구체적인 설명을 생략하도록 하겠다.

장치제어부(150)는, 동작인지부(140)를 통해 특정 동작이 인지되면 기 정의된 동작 별 제어기능정보에 근거하여 금번 특정 동작에 따른 동작정보에 해당되는 컨텐츠 제어기능을 수행한다.

보다 구체적으로 설명하면, 본 발명에 따른 증강현실컨텐츠재생장치(100)는, 기 설정된 적어도 하나의 동작정보에 대응하여 기 설정된 컨텐츠 제어기능을 나타내는 상기 동작 별 제어기능정보가 저장되는 정보저장부(160)를 더 포함할 수 있다.

이때, 정보저장부(160)에 저장되는 동작 별 제어기능정보는, 외부의 정보제공서버(200)로부터 제공/저장되는 것이 가능할 것이다.

여기서, 동작 별 제어기능정보는, 제1동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링(rendering)된 가상 객체를 기 설정된 회전속도에 따라 기 설정된 회전방향으로 회전시키는 컨텐츠 회전제어기능, 제2동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링된 가상 객체를 인지되는 상기 특정 동작에 따른 이동 경로에 따라 이동시키는 컨텐츠 이동제어기능, 제3동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링된 가상 객체를 기 설정된 프레임레이트(frame rate)마다 기 설정된 축소 비율로 축소시키는 컨텐츠 축소제어기능, 제4동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링된 가상 객체를 기 설정된 프레임레이트 마다 기 설정된 확대 비율로 확대시키는 컨텐츠 확대제어기능 중 적어도 어느 하나를 포함하는 것이 바람직하다.

이에, 장치제어부(150)는, 사용자가 인쇄서적(10) 상에 위치한 손(20)을 이동시킴에 따라 동작인지부(140)를 통해 손(20)의 이동에 의한 특정 동작이 인지되면, 기 저장된 동작 별 제어기능정보에서 금번 인지된 특정 동작에 대응하여 컨텐츠 제어기능을 검색한다.

예를 들어, 금번 인지된 특정 동작이 제1동작정보(예 : 한 손으로 원을 그림)으로 에 해당되어 이에 대응하여 컨텐츠 회전제어기능이 검색된 경우를 설명하면, 장치제어부(150)는, 현재 제공하고 있는 증강현실 서비스에 따른 증강현실 컨텐츠 또는 증강현실 컨텐츠 내 촬영영상에 렌더링된 가상 객체를 기 설정된 회전속도에 따라 기 설정된 회전방향(예 : 왼쪽)으로 기 설정된 회전각(예 : 180) 만큼 회전시키는 컨텐츠 회전제어기능을 수행하여 이에 따른 회전과정을 출력부(120)를 통해 출력할 수 있다.

즉, 현재 증강현실 서비스에 따라 촬영영상(예 : 인쇄서적(10)의 펼쳐진 페이지)에 가상 객체(예 : 3D의 그래픽 모델)를 렌더링한 증강현실 컨텐츠가 출력부(120)를 통해 출력되어 가상 객체(예 : 3D의 그래픽 모델)가 증강된 촬영영상(예 : 인쇄서적(10)의 펼쳐진 페이지)이 디스플레이되고 있는 경우라면, 장치제어부(150)는 증강현실 컨텐츠(촬영영상 + 가상 객체)의 전체 화면을 왼쪽으로 180도 회전시켜 표시하거나, 또는 증강현실 컨텐츠(촬영영상 + 가상 객체)의 화면에서 가상 객체 만을 왼쪽으로 180도 회전시켜 표시할 수 있다.

한편, 금번 인지된 특정 동작이 제2동작정보(예 : 한 손으로 선을 그림)에 해당되어 이에 대응하여 컨텐츠 이동제어기능이 검색된 경우를 설명하면, 장치제어부(150)는, 현재 제공하고 있는 증강현실 서비스에 따른 증강현실 컨텐츠 또는 증강현실 컨텐츠 내 촬영영상에 렌더링된 가상 객체를 금번 특정 동작에 따른 이동 경로에 따라 이동시키는 컨텐츠 이동제어기능을 수행하여 이에 따른 이동과정을 출력부(120)를 통해 출력할 수 있다.

즉, 현재 증강현실 서비스에 따라 촬영영상(예 : 인쇄서적(10)의 펼쳐진 페이지)에 가상 객체(예 : 3D의 그래픽 모델)를 렌더링한 증강현실 컨텐츠가 출력부(120)를 통해 출력되어 가상 객체(예 : 3D의 그래픽 모델)가 증강된 촬영영상(예 : 인쇄서적(10)의 펼쳐진 페이지)이 디스플레이되고 있는 경우라면, 장치제어부(150)는 증강현실 컨텐츠(촬영영상 + 가상 객체)의 특정 좌표(예 : 중앙 좌표)를 금번 인지된 특정 동작의 이동 경로에 따라 이동시켜 표시하거나, 또는 증강현실 컨텐츠(촬영영상 + 가상 객체)의 화면에서 가상 객체 만을 금번 인지된 특정 동작의 이동 경로에 따라 이동시켜 표시할 수 있다.

한편, 금번 인지된 특정 동작이 제3동작정보(예 : 양 손으로 마주하는 중앙 방향을 향해 선을 그림)에 해당되어 이에 대응하여 컨텐츠 축소제어기능이 검색된 경우를 설명하면, 장치제어부(150)는, 현재 제공하고 있는 증강현실 서비스에 따른 증강현실 컨텐츠 또는 증강현실 컨텐츠 내 촬영영상에 렌더링된 가상 객체를 기 설정된 프레임레이트(frame rate)마다 기 설정된 축소 비율로 축소시키는 컨텐츠 축소제어기능을 수행하여 이에 따른 축소과정을 출력부(120)를 통해 출력할 수 있다.

즉, 현재 증강현실 서비스에 따라 촬영영상(예 : 인쇄서적(10)의 펼쳐진 페이지)에 가상 객체(예 : 3D의 그래픽 모델)를 렌더링한 증강현실 컨텐츠가 출력부(120)를 통해 출력되어 가상 객체(예 : 3D의 그래픽 모델)가 증강된 촬영영상(예 : 인쇄서적(10)의 펼쳐진 페이지)이 디스플레이되고 있는 경우라면, 장치제어부(150)는 증강현실 컨텐츠(촬영영상 + 가상 객체)의 전체 화면을 기 설정된 프레임레이트 마다 설정된 축소 비율로 축소시켜 기 설정된 최소축소비율까지 축소시켜 표시하거나, 또는 증강현실 컨텐츠(촬영영상 + 가상 객체)의 화면에서 가상 객체 만을 기 설정된 프레임레이트 마다 설정된 축소 비율로 축소시켜 기 설정된 최소축소비율까지 축소시켜 표시할 수 있다.

한편, 금번 인지된 특정 동작이 제4동작정보(예 : 양 손으로 반대하는 바깥 방향을 향해 선을 그림)에 해당되어 이에 대응하여 컨텐츠 확대제어기능이 검색된 경우를 설명하면, 장치제어부(150)는, 현재 제공하고 있는 증강현실 서비스에 따른 증강현실 컨텐츠 또는 증강현실 컨텐츠 내 촬영영상에 렌더링된 가상 객체를 기 설정된 프레임레이트(frame rate)마다 기 설정된 확대 비율로 축소시키는 컨텐츠 확대제어기능을 수행하여 이에 따른 확대과정을 출력부(120)를 통해 출력할 수 있다.

즉, 현재 증강현실 서비스에 따라 촬영영상(예 : 인쇄서적(10)의 펼쳐진 페이지)에 가상 객체(예 : 3D의 그래픽 모델)를 렌더링한 증강현실 컨텐츠가 출력부(120)를 통해 출력되어 가상 객체(예 : 3D의 그래픽 모델)가 증강된 촬영영상(예 : 인쇄서적(10)의 펼쳐진 페이지)이 디스플레이되고 있는 경우라면, 장치제어부(150)는 증강현실 컨텐츠(촬영영상 + 가상 객체)의 전체 화면을 기 설정된 프레임레이트 마다 설정된 확대 비율로 확대시켜 기 설정된 최대확대비율까지 확대시켜 표시하거나, 또는 증강현실 컨텐츠(촬영영상 + 가상 객체)의 화면에서 가상 객체 만을 기 설정된 프레임레이트 마다 설정된 확대 비율로 확대시켜 기 설정된 최대확대비율까지 확대시켜 표시할 수 있다.

이처럼 장치제어부(150)는, 사용자가 인쇄서적(10) 상에 위치한 손(20)을 이동시킴에 따라 동작인지부(140)를 통해 손(20)의 이동에 의한 특정 동작이 인지되면, 금번 인지된 특정 동작에 대응하는 해당 컨텐츠 제어기능을 수행할 수 있다.

더 나아가, 장치제어부(150)는, 정보저장부(160)에 저장된 동작 별 제어기능정보에 대한 설정정보를 조정하는 기능설정정보 조정기능을 제공하고, 기능설정정보 조정기능을 통한 사용자의 조정에 대응하여 기 저장된 동작 별 제어기능정보를 변경/저장하는 것이 가능하다.

즉, 장치제어부(150)는, 사용자로부터 기능설정정보 조정기능 실행이 입력되면 동작 별 제어기능정보에 대한 설정정보를 조정할 수 있는 기능설정정보 조정메뉴를 표시함으로써 기능설정정보 조정기능을 제공할 수 있다.

이에, 사용자는 기능설정정보 조정메뉴를 조작하여, 각 동작정보(예 : 제1/2/3/4동작정보) 별로 원하는 컨텐츠 제어기능을 매칭/조정할 수 있고, 각 컨텐츠 제어기능(예 : 컨텐츠 회전/이동/축소/확대기능) 별로 설정 파라미터(예 : 회전속도, 회전방향, 최종회전각, 프레임레이트, 축소비율, 최소축소비율, 확대비율, 최대확대비율, 적용대상(예 : 증강현실 컨텐츠 전체 또는 가상 객체) 등)을 설정/조정할 수 있다.

이상에서 설명한 바와 같이, 본 발명에 따른 증강 현실 컨텐츠 재생 시스템은, 촬영구역에 위치한 인쇄서적을 촬영한 촬영영상을 기반으로 증강현실 컨텐츠를 제공하는 증강현실 서비스에 있어서, 사용자가 촬영구역 내에서 손과 같은 일상적인 도구의 이동을 통해 특정 동작을 발생시키면 해당 동작에 따른 컨텐츠 제어기능을 수행함으로써 실제 인쇄서적을 움직이지 않고도 다양한 사용자 Interaction을 제공할 수 있고 실재감을 향상시킬 수 있다.

이하에서는 도 3 및 도 4를 참조하여, 본 발명의 바람직한 실시예에 따른 증강 현실 컨텐츠 재생 방법을 설명하도록 한다. 여기서, 설명의 편의를 위해 전술한 도 1 내지 도 2에 도시된 구성은 해당 참조번호를 언급하여 설명하겠다.

먼저, 도 3을 참조하여 본 발명의 증강 현실 컨텐츠 재생 방법을 설명하면 다음과 같다.

정보제공서버(200)는 적어도 하나의 동작정보에 대응하는 컨텐츠 제어기능을 포함하는 동작 별 제어기능정보를 제공한다(S10).

예를 들면, 정보제공서버(200)는, 인쇄서적 별로 상이하게 제작/생성된 나타내는 동작 별 제어기능정보를 관리할 수 있으며, 증강현실컨텐츠재생장치(100)로부터 인쇄서적(10)이 무엇인지를 나타내는 서적식별정보가 제공되어 동작 별 제어기능정보가 요청되면, 해당 서적식별정보에 따른 인쇄서적(10)의 동작 별 제어기능정보를 증강현실컨텐츠재생장치(100)로 제공할 수도 있을 것이다.

이에, 증강현실컨텐츠재생장치(100)는, 전술한 바와 같이 정보제공서버(200)로부터 제공되는 동작 별 제어기능정보를 저장할 수 있다(S20).

증강현실컨텐츠재생장치(100)는 특정 촬영구역(1)에 위치하는 인쇄서적(10)을 촬영한다(S30).

여기서, 인쇄서적(10)은, 사용자에 의해 특정 페이지가 펼쳐진 채로 증강현실컨텐츠재생장치(100)에 의해 촬영되는 특정 촬영구역(1)에 놓이게 될 것이다. 이에, 증강현실컨텐츠재생장치(100)는 특정 촬영구역(1)에 위치하는 인쇄서적(10)의 펼쳐진 페이지를 촬영하게 된다.

그리고, 증강현실컨텐츠재생장치(100)는 촬영된 촬영영상을 분석하여 분석 결과에 대응하는 기 설정된 증강현실 구현기능 수행에 따라 상기 촬영영상에 적용한 증강현실 컨텐츠를 출력한다(S40).

이에, 증강현실컨텐츠재생장치(100)는, 특정 촬영구역(1)에 위치한 인쇄서적(10)의 펼쳐진 페이지를 촬영한 촬영영상을 분석하여, 분석 결과 마커가 존재하지 않으면 촬영된 실시간 촬영영상을 증강 없이 그대로 처리하여 출력하고, 분석 결과 마커(예 : 10a)가 존재하면 해당 마커(예 : 10a)에 대응하여 기 설정된 증강현실 구현기능(예 : 3D의 그래픽 모델 렌더링)을 수행하여 촬영된 실시간 촬영영상에 가상 객체(예 : 3D의 그래픽 모델)를 증강하여 출력함으로써, 인쇄서적(10)을 촬영한 촬영영상을 기반으로 증강현실 서비스를 제공할 수 있다.

그리고, 증강현실컨텐츠재생장치(100)는, 촬영구역(1)에 위치한 인쇄서적(10)을 촬영한 촬영영상을 기반으로 전술과 같이 증강현실 서비스를 제공함에 있어서, 촬영영상에 근거하여 특정 동작이 인지되면(S50) 저장된 동작 별 제어기능정보에 근거하여 상기 특정 동작에 따른 동작정보에 대응되는 해당 컨텐츠 제어기능을 수행한다(S60).

이하에서는 도 4를 참조하여 본 발명에 따른 증강현실컨텐츠재생장치의 동작 방법을 구체적으로 설명하도록 한다.

본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 동작 별 제어기능정보를 저장한다(S100). 이때, 저장되는 동작 별 제어기능정보는, 외부의 정보제공서버(200)로부터 제공/저장되는 것이 가능할 것이다.

이러한 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 지정된 특정 촬영구역(1)을 촬영하여 해당 촬영구역(1)에 위치한 인쇄서적(10)을 촬영한다(S110). 즉, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 특정 촬영구역(1)에 위치하는 인쇄서적(10)의 펼쳐진 페이지를 촬영할 수 있다.

그리고 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 촬영된 촬영영상을 분석한 분석 결과에 근거하여, 상기 분석 결과에 대응하는 기 설정된 증강현실 구현기능 수행에 따라(S120) 상기 촬영영상에 적용한 증강현실 컨텐츠를 출력한다(S130).

즉, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 촬영영상을 분석한 분석 결과에 근거하여, 촬영영상 내에 마커가 존재하지 않으면 촬영된 실시간 촬영영상 즉 인쇄서적(10)의 펼쳐진 페이지를 촬영한 촬영영상을 가상 객체 증강 없이 그대로 처리하여 출력할 수 있다. 이 경우, 인쇄서적(10)의 펼쳐진 페이지를 촬영한 촬영영상의 컨텐츠가 증강현실 컨텐츠에 대응된다.

또한, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 촬영영상을 분석한 분석 결과에 근거하여, 촬영영상 내에 마커(예 : 10a)가 존재하면 해당 마커(예 : 10a)에 대응하여 기 설정된 증강현실 구현기능(예 : 3D의 그래픽 모델 렌더링)을 수행함으로써, 촬영된 실시간 촬영영상 즉 인쇄서적(10)의 펼쳐진 페이지에 가상 객체(예 : 3D의 그래픽 모델)를 증강하여 출력할 수 있다. 이 경우, 인쇄서적(10)의 펼쳐진 페이지에 가상 객체(예 : 3D의 그래픽 모델)를 렌더링한 컨텐츠가 증강현실 컨텐츠에 대응된다.

이처럼, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 인쇄서적(10)을 촬영한 촬영영상을 기반으로 일반적인 증강현실 서비스를 제공할 수 있다.

이러한 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 촬영된 촬영영상에 근거하여 특정 동작이 인지되는지 여부를 판단한다(S140).

즉 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 촬영된 촬영영상을 분석하여 촬영영상 내에서 기 정의된 특정 동작이 발생하는지 여부를 인지할 수 있다.

예를 들면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 촬영영상에 근거하여 기 정의된 손 이미지를 인식하여 인식된 손 이미지의 이동에 따라 발생되는 특정 동작을 인지할 수 있다.

즉, 사용자가 촬영구역(1) 내로 손(20)을 접근시켜 인쇄서적(10) 상에 손(20)을 위치시키면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 기 정의된 손 이미지를 토대로 촬영영상에 손(20)이 접근/존재함을 인식할 수 있다.

이처럼, 인쇄서적(10) 상에 손(20)이 위치함에 따라 손 이미지가 인식되면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 손 이미지가 이동하는 이동 경로를 감시하여 손 이미지 이동에 따라 발생되는 특정 동작을 인지할 수 있다. 즉, 사용자가 인쇄서적(10) 상에 위치한 손(20)을 이동시킴에 따라, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 이에 대응하여 손 이미지의 이동 경로를 인지하여 손 이미지 이동에 따라 발생되는 특정 동작을 인지할 수 있을 것이다.

이때, 사용자의 손(20)을 쉽게 인식할 수 있도록 손(20)의 특정 손가락(예 : 집게손가락)에 사용자인터페이스를 착용하는 것이 가능하며, 이때 사용자인터페이스는 밴드 형태로 구현되어 마커로서의 기능을 가질 수 있다.

한편, 전술에서는 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법에서 손 이미지를 인식하는 것을 설명하고 있으나 이는 일 실시예일 뿐이며, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 촬영영상에 근거하여 기 정의된 도구 이미지(예 : 포인터펜)를 인식하여 인식된 도구 이미지의 이동에 따라 발생되는 특정 동작을 인지할 수도 있을 것이다.

이상에서 촬영영상에 근거하여 특정 이미지(예 : 손 이미지, 도구 이미지)를 인식하여 특정 동작을 인지하는 구성은, 일반적으로 사용되고 있는 이미지 인식방식들 중 어느 하나를 채택할 수 있으므로 구체적인 설명을 생략하도록 하겠다.

그리고, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, S140단계를 통해 특정 동작이 인지되면 기 정의된 동작 별 제어기능정보에 근거하여 금번 특정 동작에 따른 동작정보에 해당되는 컨텐츠 제어기능을 수행한다(S150).

보다 구체적으로 설명하면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 사용자가 인쇄서적(10) 상에 위치한 손(20)을 이동시킴에 따라 S140단계를 통해 손(20)의 이동에 의한 특정 동작이 인지되면, 기 저장된 동작 별 제어기능정보에서 금번 인지된 특정 동작에 대응하여 컨텐츠 제어기능을 검색한다.

예를 들어, 금번 인지된 특정 동작이 제1동작정보(예 : 한 손으로 원을 그림)으로 에 해당되어 이에 대응하여 컨텐츠 회전제어기능이 검색된 경우를 설명하면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 현재 제공하고 있는 증강현실 서비스에 따른 증강현실 컨텐츠 또는 증강현실 컨텐츠 내 촬영영상에 렌더링된 가상 객체를 기 설정된 회전속도에 따라 기 설정된 회전방향(예 : 왼쪽)으로 기 설정된 회전각(예 : 180) 만큼 회전시키는 컨텐츠 회전제어기능을 수행하여 이에 따른 회전과정을 출력부(120)를 통해 출력할 수 있다.

즉, 현재 증강현실 서비스에 따라 촬영영상(예 : 인쇄서적(10)의 펼쳐진 페이지)에 가상 객체(예 : 3D의 그래픽 모델)를 렌더링한 증강현실 컨텐츠가 출력부(120)를 통해 출력되어 가상 객체(예 : 3D의 그래픽 모델)가 증강된 촬영영상(예 : 인쇄서적(10)의 펼쳐진 페이지)이 디스플레이되고 있는 경우라면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 증강현실 컨텐츠(촬영영상 + 가상 객체)의 전체 화면을 왼쪽으로 180도 회전시켜 표시하거나, 또는 증강현실 컨텐츠(촬영영상 + 가상 객체)의 화면에서 가상 객체 만을 왼쪽으로 180도 회전시켜 표시할 수 있다.

한편, 금번 인지된 특정 동작이 제2동작정보(예 : 한 손으로 선을 그림)에 해당되어 이에 대응하여 컨텐츠 이동제어기능이 검색된 경우를 설명하면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 현재 제공하고 있는 증강현실 서비스에 따른 증강현실 컨텐츠 또는 증강현실 컨텐츠 내 촬영영상에 렌더링된 가상 객체를 금번 특정 동작에 따른 이동 경로에 따라 이동시키는 컨텐츠 이동제어기능을 수행하여 이에 따른 이동과정을 출력부(120)를 통해 출력할 수 있다.

즉, 현재 증강현실 서비스에 따라 촬영영상(예 : 인쇄서적(10)의 펼쳐진 페이지)에 가상 객체(예 : 3D의 그래픽 모델)를 렌더링한 증강현실 컨텐츠가 출력부(120)를 통해 출력되어 가상 객체(예 : 3D의 그래픽 모델)가 증강된 촬영영상(예 : 인쇄서적(10)의 펼쳐진 페이지)이 디스플레이되고 있는 경우라면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 증강현실 컨텐츠(촬영영상 + 가상 객체)의 특정 좌표(예 : 중앙 좌표)를 금번 인지된 특정 동작의 이동 경로에 따라 이동시켜 표시하거나, 또는 증강현실 컨텐츠(촬영영상 + 가상 객체)의 화면에서 가상 객체 만을 금번 인지된 특정 동작의 이동 경로에 따라 이동시켜 표시할 수 있다.

한편, 금번 인지된 특정 동작이 제3동작정보(예 : 양 손으로 마주하는 중앙 방향을 향해 선을 그림)에 해당되어 이에 대응하여 컨텐츠 축소제어기능이 검색된 경우를 설명하면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 현재 제공하고 있는 증강현실 서비스에 따른 증강현실 컨텐츠 또는 증강현실 컨텐츠 내 촬영영상에 렌더링된 가상 객체를 기 설정된 프레임레이트(frame rate)마다 기 설정된 축소 비율로 축소시키는 컨텐츠 축소제어기능을 수행하여 이에 따른 축소과정을 출력부(120)를 통해 출력할 수 있다.

즉, 현재 증강현실 서비스에 따라 촬영영상(예 : 인쇄서적(10)의 펼쳐진 페이지)에 가상 객체(예 : 3D의 그래픽 모델)를 렌더링한 증강현실 컨텐츠가 출력부(120)를 통해 출력되어 가상 객체(예 : 3D의 그래픽 모델)가 증강된 촬영영상(예 : 인쇄서적(10)의 펼쳐진 페이지)이 디스플레이되고 있는 경우라면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 증강현실 컨텐츠(촬영영상 + 가상 객체)의 전체 화면을 기 설정된 프레임레이트 마다 설정된 축소 비율로 축소시켜 기 설정된 최소축소비율까지 축소시켜 표시하거나, 또는 증강현실 컨텐츠(촬영영상 + 가상 객체)의 화면에서 가상 객체 만을 기 설정된 프레임레이트 마다 설정된 축소 비율로 축소시켜 기 설정된 최소축소비율까지 축소시켜 표시할 수 있다.

한편, 금번 인지된 특정 동작이 제4동작정보(예 : 양 손으로 반대하는 바깥 방향을 향해 선을 그림)에 해당되어 이에 대응하여 컨텐츠 확대제어기능이 검색된 경우를 설명하면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 현재 제공하고 있는 증강현실 서비스에 따른 증강현실 컨텐츠 또는 증강현실 컨텐츠 내 촬영영상에 렌더링된 가상 객체를 기 설정된 프레임레이트(frame rate)마다 기 설정된 확대 비율로 축소시키는 컨텐츠 확대제어기능을 수행하여 이에 따른 확대과정을 출력부(120)를 통해 출력할 수 있다.

즉, 현재 증강현실 서비스에 따라 촬영영상(예 : 인쇄서적(10)의 펼쳐진 페이지)에 가상 객체(예 : 3D의 그래픽 모델)를 렌더링한 증강현실 컨텐츠가 출력부(120)를 통해 출력되어 가상 객체(예 : 3D의 그래픽 모델)가 증강된 촬영영상(예 : 인쇄서적(10)의 펼쳐진 페이지)이 디스플레이되고 있는 경우라면, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 증강현실 컨텐츠(촬영영상 + 가상 객체)의 전체 화면을 기 설정된 프레임레이트 마다 설정된 확대 비율로 확대시켜 기 설정된 최대확대비율까지 확대시켜 표시하거나, 또는 증강현실 컨텐츠(촬영영상 + 가상 객체)의 화면에서 가상 객체 만을 기 설정된 프레임레이트 마다 설정된 확대 비율로 확대시켜 기 설정된 최대확대비율까지 확대시켜 표시할 수 있다.

이처럼 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 사용자가 인쇄서적(10) 상에 위치한 손(20)을 이동시킴에 따라 손(20)의 이동에 의한 특정 동작이 인지되면, 금번 인지된 특정 동작에 대응하는 해당 컨텐츠 제어기능을 수행할 수 있다.

더 나아가, 도 4에는 도시되지 아니하였지만, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 기 저장된 동작 별 제어기능정보에 대한 설정정보를 조정하는 기능설정정보 조정기능을 제공하고, 기능설정정보 조정기능을 통한 사용자의 조정에 대응하여 기 저장된 동작 별 제어기능정보를 변경/저장하는 것이 가능하다.

즉, 본 발명에 따른 증강현실컨텐츠재생장치(100)의 동작 방법은, 사용자로부터 기능설정정보 조정기능 실행이 입력되면 동작 별 제어기능정보에 대한 설정정보를 조정할 수 있는 기능설정정보 조정메뉴를 표시함으로써 기능설정정보 조정기능을 제공할 수 있다.

이상에서 설명한 바와 같이, 본 발명에 따른 증강 현실 컨텐츠 재생 방법은, 촬영구역에 위치한 인쇄서적을 촬영한 촬영영상을 기반으로 증강현실 컨텐츠를 제공하는 증강현실 서비스에 있어서, 사용자가 촬영구역 내에서 손과 같은 일상적인 도구의 이동을 통해 특정 동작을 발생시키면 해당 동작에 따른 컨텐츠 제어기능을 수행함으로써 실제 인쇄서적을 움직이지 않고도 다양한 사용자 Interaction을 제공할 수 있고 실재감을 향상시킬 수 있다.

지금까지 본 발명을 바람직한 실시 예를 참조하여 상세히 설명하였지만, 본 발명이 상기한 실시 예에 한정되는 것은 아니며, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 또는 수정이 가능한 범위까지 본 발명의 기술적 사상이 미친다 할 것이다.

촬영구역에 위치한 인쇄서적을 촬영한 촬영영상을 기반으로 증강현실 컨텐츠를 제공하는 증강현실 서비스에 있어서, 사용자가 촬영구역 내에서 손과 같은 일상적인 도구의 이동을 통해 특정 동작을 발생시키면 해당 동작에 따른 컨텐츠 제어기능을 수행함으로써 실제 인쇄서적을 움직이지 않고도 다양한 사용자 Interaction을 제공할 수 있고 실재감을 향상시키는 증강 현실 컨텐츠 재생 시스템 및 방법을 적용할 경우, 증강현실 구현의 다양성 확장 및 제어 편의성, 사용자 만족도 측면에서 매우 큰 진보를 가져올 수 있으며, 적용되는 증강현실컨텐츠재생장치 및 서비스 솔루션의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있다.

10 : 인쇄서적 20 : 손
100 : 증강현실컨텐츠재생장치
200 : 정보제공서버

Claims

적어도 하나의 동작정보에 대응하는 컨텐츠 제어기능을 포함하는 동작 별 제어기능정보를 제공하는 정보제공서버; 및
상기 정보제공서버로부터 제공되는 상기 동작 별 제어기능정보를 저장하고, 특정 촬영구역에 위치하는 인쇄서적을 촬영한 촬영영상을 분석하여 분석 결과에 대응하는 기 설정된 증강현실 구현기능 수행에 따라 상기 촬영영상에 적용한 증강현실 컨텐츠를 출력하며, 상기 촬영영상에 근거하여 특정 동작이 인지되면 상기 동작 별 제어기능정보에 근거하여 상기 특정 동작에 따른 동작정보에 대응되는 해당 컨텐츠 제어기능을 수행하는 증강현실컨텐츠재생장치를 포함하며,
상기 정보제공서버는,
인쇄서적 별로 상이한 동작 별 제어기능정보를 관리하며
상기 증강현실컨텐츠재생장치는,
상기 특정 촬영구역에 위치하는 인쇄서적의 서적식별정보를 상기 정보제공서버에 제공하고, 상기 정보제공서버가 관리하는 상기 인쇄서적 별로 상이한 동작 별 제어기능정보 중 상기 서적식별정보에 대응되는 동작 별 제어기능정보를 상기 정보제공서버로부터 제공받아 저장하는 것을 특징으로 하는 증강 현실 컨텐츠 재생 시스템.
특정 촬영구역에 위치하는 인쇄서적을 촬영하는 촬영부;
상기 촬영부를 통해 촬영된 촬영영상을 분석하는 영상분석부;
상기 촬영영상에 근거하여 특정 동작을 인지하는 동작인지부; 및
상기 영상분석부를 통한 분석 결과에 근거하여, 상기 분석 결과에 대응하는 기 설정된 증강현실 구현기능 수행에 따라 상기 촬영영상에 적용한 증강현실 컨텐츠를 출력하며, 상기 동작인지부를 통해 상기 특정 동작이 인지되면 기 정의된 동작 별 제어기능정보에 근거하여 상기 특정 동작에 따른 동작정보에 해당되는 컨텐츠 제어기능을 수행하는 장치제어부를 포함하며,
상기 장치제어부는,
상기 특정 촬영구역에 위치하는 인쇄서적의 서적식별정보를 인쇄서적 별로 상이한 동작 별 제어기능정보를 관리하는 정보제공서버에 제공하도록 하고, 상기 정보제공서버가 관리하는 상기 인쇄서적 별로 상이한 동작 별 제어기능정보 중 상기 서적식별정보에 대응되는 동작 별 제어기능정보를 상기 정보제공서버로부터 제공받아 상기 기 정의된 동작 별 제어기능정보로 하여 컨텐츠 제어기능을 수행하는 것을 특징으로 하는 증강현실컨텐츠재생장치.
제 2 항에 있어서,
기 설정된 적어도 하나의 동작정보에 대응하여 기 설정된 컨텐츠 제어기능을 나타내는 상기 동작 별 제어기능정보가 저장되는 정보저장부를 더 포함하는 것을 특징으로 하는 증강현실컨텐츠재생장치.
제 2 항에 있어서,
상기 동작인지부는,
상기 촬영영상에 근거하여 기 정의된 손 이미지를 인식하여 상기 손 이미지의 이동에 따라 발생되는 상기 특정 동작을 인지하는 것을 특징으로 하는 증강현실컨텐츠재생장치.
제 2 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 동작 별 제어기능정보는,
제1동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링(rendering)된 가상 객체를 기 설정된 회전속도에 따라 기 설정된 회전방향으로 회전시키는 컨텐츠 회전제어기능, 제2동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링된 가상 객체를 인지되는 상기 특정 동작에 따른 이동 경로에 따라 이동시키는 컨텐츠 이동제어기능, 제3동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링된 가상 객체를 기 설정된 프레임레이트(frame rate)마다 기 설정된 축소 비율로 축소시키는 컨텐츠 축소제어기능, 제4동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링된 가상 객체를 기 설정된 프레임레이트 마다 기 설정된 확대 비율로 확대시키는 컨텐츠 확대제어기능 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 증강현실컨텐츠재생장치.
제 2 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 장치제어부는,
상기 동작 별 제어기능정보에 대한 설정정보를 조정하는 기능설정정보 조정기능을 제공하고, 상기 기능설정정보 조정기능을 통한 사용자의 조정에 대응하여 상기 동작 별 제어기능정보를 변경하는 것을 특징으로 하는 증강현실컨텐츠재생장치.
적어도 하나의 동작정보에 대응하는 컨텐츠 제어기능을 포함하는 동작 별 제어기능정보를 정보제공서버가 제공하는 단계;
상기 정보제공서버로부터 제공되는 상기 동작 별 제어기능정보를 증강현실컨텐츠재생장치가 저장하는 단계;
상기 증강현실컨텐츠재생장치가 특정 촬영구역에 위치하는 인쇄서적을 촬영한 촬영영상을 분석하여 분석 결과에 대응하는 기 설정된 증강현실 구현기능 수행에 따라 상기 촬영영상에 적용한 증강현실 컨텐츠를 출력하는 단계; 및
상기 증강현실컨텐츠재생장치가 상기 촬영영상에 근거하여 특정 동작이 인지되면, 상기 동작 별 제어기능정보에 근거하여 상기 특정 동작에 따른 동작정보에 대응되는 해당 컨텐츠 제어기능을 수행하는 단계를 포함하며,
상기 정보제공서버로부터 제공되는 상기 동작 별 제어기능정보를 증강현실컨텐츠재생장치가 저장하는 단계는,
상기 특정 촬영구역에 위치하는 상기 인쇄서적의 서적식별정보를 인쇄서적 별로 상이한 동작 별 제어기능정보를 관리하는 정보제공서버에 제공하고, 상기 정보제공서버가 관리하는 상기 인쇄서적 별로 상이한 동작 별 제어기능정보 중 상기 서적식별정보에 대응되는 동작 별 제어기능정보를 상기 정보제공서버로부터 제공받는 것을 특징으로 하는 증강 현실 컨텐츠 재생 방법.
특정 촬영구역에 위치하는 인쇄서적을 촬영하는 촬영 단계;
상기 촬영된 촬영영상을 분석한 분석 결과에 근거하여, 상기 분석 결과에 대응하는 기 설정된 증강현실 구현기능 수행에 따라 상기 촬영영상에 적용한 증강현실 컨텐츠를 출력하는 증강현실 컨텐츠 출력단계;
상기 촬영영상에 근거하여 특정 동작을 인지하는 동작 인지단계; 및
동작 인지 결과 상기 특정 동작이 인지되면, 기 정의된 동작 별 제어기능정보에 근거하여 상기 특정 동작에 따른 동작정보에 해당되는 컨텐츠 제어기능을 수행하는 제어기능 수행단계를 포함하며,
상기 제어기능 수행단계는,
상기 특정 촬영구역에 위치하는 인쇄서적의 서적식별정보를 인쇄서적 별로 상이한 동작 별 제어기능정보를 관리하는 정보제공서버에 제공하고, 상기 정보제공서버가 관리하는 상기 인쇄서적 별로 상이한 동작 별 제어기능정보 중 상기 서적식별정보에 대응되는 동작 별 제어기능정보를 상기 정보제공서버로부터 제공받아 상기 기 정의된 동작 별 제어기능정보로 하여 컨텐츠 제어기능을 수행하는 것을 특징으로 하는 증강현실컨텐츠재생장치의 동작 방법.
제 8 항에 있어서,
기 설정된 적어도 하나의 동작정보에 대응하여 기 설정된 컨텐츠 제어기능을 나타내는 상기 동작 별 제어기능정보를 기 저장하는 정보 저장단계를 더 포함하는 것을 특징으로 하는 증강현실컨텐츠재생장치의 동작 방법.
제 8 항에 있어서,
상기 동작 인지단계는,
상기 촬영영상에 근거하여 기 정의된 손 이미지를 인식하여 상기 손 이미지의 이동에 따라 발생되는 상기 특정 동작을 인지하는 것을 특징으로 하는 증강현실컨텐츠재생장치의 동작 방법.
제 8 항 내지 제 10 항 중 어느 한 항에 있어서,
상기 동작 별 제어기능정보는,
제1동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링(rendering)된 가상 객체를 기 설정된 회전속도에 따라 기 설정된 회전방향으로 회전시키는 컨텐츠 회전제어기능, 제2동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링된 가상 객체를 인지되는 상기 특정 동작에 따른 이동 경로에 따라 이동시키는 컨텐츠 이동제어기능, 제3동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링된 가상 객체를 기 설정된 프레임레이트(frame rate)마다 기 설정된 축소 비율로 축소시키는 컨텐츠 축소제어기능, 제4동작정보에 대응하여 상기 증강현실 컨텐츠 또는 상기 증강현실 컨텐츠 내 상기 촬영영상에 렌더링된 가상 객체를 기 설정된 프레임레이트 마다 기 설정된 확대 비율로 확대시키는 컨텐츠 확대제어기능 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 증강현실컨텐츠재생장치의 동작 방법.
제 8 항 내지 제 10 항 중 어느 한 항에 있어서,
사용자의 요청에 따라 상기 동작 별 제어기능정보에 대한 설정정보를 조정하는 기능설정정보 조정기능을 제공하고, 상기 기능설정정보 조정기능을 통한 사용자의 조정에 대응하여 상기 동작 별 제어기능정보를 변경하는 단계를 더 포함하는 것을 특징으로 하는 증강현실컨텐츠재생장치의 동작 방법.