KR20200022737A - 혼합현실 기반의 접이식 표시 시스템 - Google Patents

혼합현실 기반의 접이식 표시 시스템 Download PDF

Info

Publication number
KR20200022737A
KR20200022737A KR1020180098752A KR20180098752A KR20200022737A KR 20200022737 A KR20200022737 A KR 20200022737A KR 1020180098752 A KR1020180098752 A KR 1020180098752A KR 20180098752 A KR20180098752 A KR 20180098752A KR 20200022737 A KR20200022737 A KR 20200022737A
Authority
KR
South Korea
Prior art keywords
user
portable terminal
display means
virtual reality
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020180098752A
Other languages
English (en)
Other versions
KR102103991B1 (ko
Inventor
하태진
오제호
Original Assignee
주식회사 버넥트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 버넥트 filed Critical 주식회사 버넥트
Priority to KR1020180098752A priority Critical patent/KR102103991B1/ko
Publication of KR20200022737A publication Critical patent/KR20200022737A/ko
Application granted granted Critical
Publication of KR102103991B1 publication Critical patent/KR102103991B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single two-dimensional [2D] image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

혼합현실 기반의 접이식 표시 시스템은, 복수의 면이 접혀지거나 펴지는 구조로 형성되는 접이식 표시수단과, 후면 카메라로 상기 접이식 표시수단의 각 면을 실시간으로 촬영하여 각 면의 실제영상정보 중 실제객체를 각각 영상 인식한 후, 각 실제객체에 대응되는 위치에 가상객체를 증강하여 표시하고, 어느 하나의 가상객체가 선택될 경우 미리 설정된 가상현실 콘텐츠를 디스플레이에 3차원적으로 표시하는 휴대용 단말기과, 상기 휴대용 단말기에 탈부착 될 수 있는 구조로 결합되어 상기 디스플레이를 통해 재생되는 상기 가상현실 콘텐츠를 렌즈를 통해 사용자의 시야에 제공하는 조립형 가상현실 뷰어를 포함하는 것을 특징으로 한다.

Description

혼합현실 기반의 접이식 표시 시스템{Mixed reality-based mini folding screen system}
본 발명은 가상현실 시스템에 관한 것으로서, 더 상세하게는 혼합현실 기반의 접이식 표시 시스템에 관한 것이다.
실세계 객체에 가상의 콘텐츠를 부가함으로써 현실 세계의 정보를 증강시키는 기술이 많이 다루어지고 있다. 가상 세계의 표현을 중심으로 하는 가상현실(virtual reality) 기술로부터 현실 세계를 중심으로 가상의 정보를 부가하고자 하는 증강현실(augmented reality) 기술, 적절한 혼합을 시도하는 혼합현실 기술에 이르기까지 다양한 시각으로의 접근을 통해 기술적인 발전을 이루어왔다.
특히 스마트폰과 같이 향상된 컴퓨팅 성능과 카메라 입력 기능을 포함하는 단말이 널리 사용됨에 따라서 모바일 증강현실(mobile AR) 기술이 다시 대두되고 있다. 모바일 증강현실 기술 분야에서는 이동 중의 주변 환경에 사용자가 요구하는 가상의 정보를 부가하는 등과 같은 다양한 서비스가 제시되고 있다.
최근에는 기술의 발달로 프로젝터 및 카메라가 소형화 되어 모바일 기기에 탑재가 되면서 이러한 소형 프로젝터 및 카메라를 착용형 형태로 제작하여 다양한 서비스를 제공하고자 하는 개념적인 제시뿐만 아니라, 포터블 형태로 가지고 다니면서 사용할 수 있는 시스템도 개발되고 있다.
물론 이러한 시스템을 사용함으로써 디지털 단말상의 화면이 아닌 현실의 물체(객체) 위에 디지털 정보를 표현하는 것이 가능하게 되었고, 또한 새로운 서비스의 창출도 가능하게 되었다.
최근에 혼합현실 시스템을 관광자원으로 활용하고자 하는 시도가 이루어지고 있는데, 특히 외국 관광객들에게 게임형태의 혼합현실 시스템을 유료 서비스로 제공하는 업체가 등장하고 있다.
하지만 종래의 혼합현실 시스템은 밀폐된 실내에서 제공되는 경우가 대부분이어서 관광 자원으로 활용하는데에 한계가 있다.
KR 10-2018-0015527 A
본 발명은 상기와 같은 기술적 과제를 해결하기 위해 제안된 것으로, 전형적인 아날로그 문화관광 기념품에 혼합현실기술을 접목하여 역사적, 문화적 관련 소재들과, 관광, 문화 및 교육 등의 분야에 대한 다양한 가상체험을 제공할 수 있는 접이식 표시 시스템을 제공한다.
상기 문제점을 해결하기 위한 본 발명의 일 실시예에 따르면 복수의 면이 접혀지거나 펴지는 구조로 형성되는 접이식 표시수단과, 후면 카메라로 상기 접이식 표시수단의 각 면을 실시간으로 촬영하여 각 면의 실제영상정보 중 실제객체를 각각 영상 인식한 후, 각 실제객체에 대응되는 위치에 가상객체를 증강하여 표시하는 휴대용 단말기를 포함하는 접이식 표시 시스템이 제공된다.
본 발명의 다른 실시예에 따르면, 복수의 면이 접혀지거나 펴지는 구조로 형성되는 접이식 표시수단과, 후면 카메라로 상기 접이식 표시수단의 각 면을 실시간으로 촬영하여 각 면의 실제영상정보 중 실제객체를 각각 영상 인식한 후, 각 실제객체에 대응되는 위치에 가상객체를 증강하여 표시하고, 어느 하나의 가상객체가 선택될 경우 미리 설정된 가상현실 콘텐츠를 디스플레이에 3차원적으로 표시하는 휴대용 단말기과, 상기 휴대용 단말기에 탈부착 될 수 있는 구조로 결합되어 상기 디스플레이를 통해 재생되는 상기 가상현실 콘텐츠를 렌즈를 통해 사용자의 시야에 제공하는 조립형 가상현실 뷰어를 포함하는 접이식 표시 시스템이 제공된다.
또한, 본 발명에 포함되는 상기 조립형 가상현실 뷰어는, 좌측렌즈 및 우측렌즈가 각각 탈부착 되는 좌측홈 및 우측홈이 형성되는 뷰어몸체와, 제1 삽입홈에 상기 휴대용 단말기가 삽입되어 지지되고, 상기 제1 삽입홈과 소정의 거리 이격되는 제2 삽입홈에 상기 뷰어몸체가 삽입되어 지지되도록 형성되는 지지대를 포함하는 것을 특징으로 한다.
또한, 본 발명에서 상기 좌측렌즈 및 상기 우측렌즈와, 상기 휴대용 단말기의 디스플레이는 소정의 거리를 두고 서로 평행하게 배열되는 것을 특징으로 한다.
또한, 본 발명에 포함되는 상기 휴대용 단말기은, 상기 접이식 표시수단의 각 면단위로 트래킹을 진행한 후 좌표분석을 통한 물리적 외형을 추정하여 유효한 접이식 표시수단인지를 판단하는 것을 특징으로 한다.
또한, 본 발명에 포함되는 상기 휴대용 단말기은, 유효한 접이식 표시수단일 경우 각 면단위로 실제객체를 각각 인식한 후, 상기 복수의 면이 접혀지거나 펴지는 경우에도 계속해서 인식된 실제객체의 좌표를 추적 및 보정하는 것을 특징으로 한다.
또한, 상기 휴대용 단말기의 상기 디스플레이에 표시되는 사용자 시점 아이콘은, 사용자의 시야의 중심영역에 최초로 배치되어 표시되되, 사용자가 응시하는 방향에 따라 상기 사용자 시점 아이콘의 위치가 변경되고, 상기 사용자 시점 아이콘이 증강된 상기 가상객체의 위치에서 소정의 시간이상 머무를 경우, 상기 가상객체에 할당된 상기 가상현실 콘텐츠가 상기 디스플레이에 3차원적으로 표시되는 것을 특징으로 한다.
본 발명의 실시예에 따른 접이식 표시 시스템은, 아날로그 문화관광 기념품(병풍)에 혼합현실기술을 접목하여 역사적, 문화적 관련 소재들에 대한 다양한 가상체험을 제공할 수 있다.
즉, 기념품을 매개체로 대상지에 대한 가상 원격 체험이 가능하기 때문에 방문했던 관광지에 대한 지속적인 관심 유도가 가능하다.
또한, 기존 HMD(Head Mounted Display) 제품의 밴드착용형은 사용자들에게 장시간 착용에 대한 거부감을 일으킬 수 있으나, 조립형 가상현실 뷰어 제품은 휴대용 단말기에 손쉽게 장착하여 간편하게 이용가능하며 휴대가 용이하다.
도 1은 접이식 표시 시스템(1)의 구성도
도 2는 접이식 표시 시스템(1)의 조립형 가상현실 뷰어(100)의 구성도
도 3은 접이식 표시수단(200)의 앞면을 인식하는 상태도
도 4는 접이식 표시수단(200)의 뒷면을 인식하는 상태도
도 5는 증강현실 기반으로 접이식 표시수단(200)의 앞면을 인식하는 예시도
도 6은 접이식 표시수단(200)에 증강된 가상객체가 이동하는 예시도
도 7은 인식된 접이식 표시수단(200)에 표시되는 부가 아이콘의 예시도
도 8은 증강현실 기반으로 접이식 표시수단(200)의 뒷면을 인식하는 예시도
도 9는 사용자의 모션으로 인해 선택된 가상객체에 대응되는 가상현실 콘텐츠가 표시되는 예시도
도 9a는 응시방향과 사용자 시점 아이콘 이동속도의 관계를 나타낸 그래프
도 10은 시간기반의 가상현실 콘텐츠가 표시되는 예시도
도 11 내지 도 13은 가변형 객체인식을 위한 멀티 이미지 트래킹의 예시도
도 14는 안전모드가 동작하는 상태도
도 15는 본 발명의 실시예에 따른 접이식 표시 시스템(1)의 동작방식을 나타낸 도면
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부한 도면을 참조하여 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 접이식 표시 시스템의 동작 개념도이다.
본 실시예에 따른 접이식 표시 시스템(1)은 제안하고자 하는 기술적인 사상을 명확하게 설명하기 위한 간략한 구성만을 포함하고 있다.
도 1을 참조하면, 접이식 표시 시스템(1)은 조립형 가상현실 뷰어(100)와, 접이식 표시수단(200)과, 휴대용 단말기(300)을 포함하여 구성된다.
상기와 같이 구성되는 접이식 표시 시스템(1)의 주요동작을 살펴보면 다음과 같다.
접이식 표시수단(200)은 복수의 면이 접혀지거나 펴지는 구조로 형성되는데, 본 실시예에서 접이식 표시수단(200)의 앞면에는 근정전 어좌 뒤를 감싸고 있는 '일월오봉도'가 인쇄되어 있다. 또한, 접이식 표시수단(200)의 뒷면에는 경복궁 지도가 인쇄되어 있다.
접이식 표시수단(200)의 예시로써 병풍이 사용될 수 있다. 병풍은 관광객들에게 기념품으로 판매가 가능하도록 휴대가 가능한 미니병풍으로 정의될 수 있다.
즉, 접이식 표시수단은 사각형, 다각형 형태의 면이 가로, 세로 및 대각선 등 다양한 방향으로 접혀질 수 있는 장치로 정의될 수 있을 것이다.
조립형 가상현실 뷰어(100) 및 휴대용 단말기(300)을 결합하여 접이식 표시수단(200)의 앞면을 바라볼 경우, '일월오봉도'의 의미와 내용이 텍스트 및 애니메이션으로 증강되어 가상객체로써 사용자의 시야에 표시된다.
또한, 조립형 가상현실 뷰어(100) 및 휴대용 단말기(300)을 결합하여 접이식 표시수단(200)의 뒷면을 바라볼 경우, '경복궁 지도'에 관심(Point Of Interest) 아이콘들이 증강되어 표시되고, 아이콘이 선택될 경우 그 아이콘에 미리 설정된 가상현실 콘텐츠 - 360도의 영상임 - 가 사용자의 시야에 3차원적으로 표시되어 실제의 장소에 방문한 것과 유사한 느낌을 얻을 수 있다.
참고적으로, 접이식 표시수단은 사용자가 기념품의 형태로 휴대할 수 있을 정도의 크기, 예를 들면 가로 및 세로의 길이가 40cm 이내로 제작되는 것이 바람직하다.
휴대용 단말기(300)는 전면 카메라, 후면 카메라, 터치 디스플레이 및 3차원 관성센서를 기본적으로 포함하고 있다. 휴대용 단말기(300)에는 증강 애플리케이션이 설치되어 있으며, 증강 애플리케이션이 실행될 경우, 외부 서버와 무선통신방식으로 연결되어 가상객체 및 가상현실 콘텐츠를 제공받는다. 휴대용 단말기는 휴대폰, 스마트폰, 스마트 패드 등과 같이 사용자가 휴대하면서 사용할 수 있는 기기를 총칭하는 것이며, 본 실시예에서는 스마트폰으로 구성된 휴대용 단말기로 가정하고 설명하기로 한다.
휴대용 단말기(300)는 후면 카메라로 접이식 표시수단(200)의 각 면을 실시간으로 촬영하여 각 면의 실제영상정보 중 실제객체를 각각 영상 인식한다.
또한, 휴대용 단말기(300)는 각 실제객체에 대응되는 위치에 가상객체를 증강하여 표시하고, 어느 하나의 가상객체가 선택될 경우 미리 설정된 가상현실 콘텐츠를 디스플레이에 3차원적으로 표시한다.
조립형 가상현실 뷰어(100)는 휴대용 단말기(300)에 탈부착 될 수 있는 구조로 결합되어 휴대용 단말기(300)의 디스플레이를 통해 재생되는 가상현실 콘텐츠를 렌즈를 통해 사용자의 시야에 제공한다. 조립형 가상현실 뷰어(100)는 편광렌즈가 부착되어 디스플레이에 표시되는 가상현실 콘텐츠가 사용자의 시야에 3차원적으로 표시되도록 하는 역할을 수행한다.
도 2는 접이식 표시 시스템(1)의 조립형 가상현실 뷰어(100)의 구성도이다.
도 2를 참조하면, 조립형 가상현실 뷰어(100)는 좌측렌즈(111), 우측렌즈(112), 뷰어몸체(120) 및 지지대(130)를 포함하여 구성된다.
뷰어몸체(120)는 좌측렌즈(111) 및 우측렌즈(112)가 각각 탈부착 되는 좌측홈 및 우측홈이 형성된다. 지지대(130)는 제1 삽입홈에 휴대용 단말기(300)이 삽입되어 지지되고, 제1 삽입홈과 소정의 거리 이격되는 제2 삽입홈에 뷰어몸체(120)가 삽입되어 지지되도록 형성된다.
참고적으로 제1 삽입홈 및 제2 삽입홈 뿐만 아니라 더 많은 수의 삽입홈이 형성되어 휴대용 단말기(300)와, 좌측렌즈(111) 및 우측렌즈(112) 사이의 촛점거리를 조절할 수 있는 구조로 형성될 수도 있을 것이다.
이때, 좌측렌즈(111) 및 우측렌즈(112)와, 휴대용 단말기(300)의 디스플레이는 소정의 거리를 두고 서로 평행하게 배열된다.
따라서 휴대용 단말기(300)에 조립형 가상현실 뷰어(100)를 결합하여 사용자가 좌측렌즈(111) 및 우측렌즈(112)를 통해 정면을 바라볼 경우, 휴대용 단말기(300)의 디스플레이가 사용자의 시야에 들어오게 되고, 휴대용 단말기(300)의 디스플레이에 3차원의 가상현실 콘텐츠가 재생될 경우, 사용자는 3차원의 가상영상을 시청하게 된다.
도 3은 접이식 표시수단(200)의 앞면을 인식하는 상태도이고, 도 4는 접이식 표시수단(200)의 뒷면을 인식하는 상태도이다.
도 3 및 도 4를 참조하면, 접이식 표시수단(200)의 앞면에는 근정전 어좌 뒤를 감싸고 있는 '일월오봉도'가 인쇄되어 있고, 접이식 표시수단(200)의 뒷면에는 경복궁 지도가 인쇄되어 있다.
따라서 조립형 가상현실 뷰어(100) 및 휴대용 단말기(300)을 결합하여 접이식 표시수단(200)의 앞면을 바라볼 경우, '일월오봉도'의 의미와 내용이 텍스트 및 애니메이션으로 증강되어 가상객체로써 사용자의 시야에 표시된다.
또한, 조립형 가상현실 뷰어(100) 및 휴대용 단말기(300)을 결합하여 접이식 표시수단(200)의 뒷면을 바라볼 경우, '경복궁 지도'에 관심(Point Of Interest) 아이콘들이 증강되어 표시되고, 아이콘이 선택될 경우 그 아이콘에 미리 설정된 가상현실 콘텐츠가 사용자의 시야에 3차원적으로 표시되어 실제의 장소에 방문한 것과 유사한 느낌을 얻을 수 있다. 즉, 가상현실 콘텐츠는 360도의 영상으로 제공되므로, 사용자의 시선에 따라 3차원 공간에 머무는 것 같은 느낌을 얻을 수 있다.
도 5는 증강현실 기반으로 접이식 표시수단(200)의 앞면을 인식하는 예시도이고, 도 6은 접이식 표시수단(200)에 증강된 가상객체가 이동하는 예시도이고, 도 7은 인식된 접이식 표시수단(200)에 표시되는 부가 아이콘의 예시도이다.
도 5 내지 도 7을 참조하면, '일월오봉도'의 해, 달, 학, 물, 파도, 물고기 등이 가상객체로써 증강되어 표시되며, 예를 들어 '학'과 같은 가상객체는 하늘을 나는 애니메이션 형태로 표시될 수 있다.
휴대용 단말기(300)의 증강 애플리케이션이 접이식 표시수단(200)을 인식할 경우, '일월오봉도'를 쉽게 이해할 수 있도록 부가정보 아이콘들과, 팝업메뉴들이 증강되어 표시된다.
이때, 증강된 아이콘들을 사용자의 시선으로 응시하는 시간을 측정하여 인터랙션 이벤트를 발생시킬 수 있다. 또한, 추가 조작 메뉴(메뉴이동, 화면전환, 증강-가상전환)들은 휴대용 단말기(300)의 3차원 관성센서의 움직임 정보를 기반으로 구동될 수 있다. 예를 들면 특정방향으로 회전, 특정속도 이상으로 회전 등의 움직임 정보에 기반하여 추가 조작 메뉴들이 구동될 수 있다.
도 8은 증강현실 기반으로 접이식 표시수단(200)의 뒷면을 인식하는 예시도이고, 도 9는 사용자의 모션으로 인해 선택된 가상객체에 대응되는 가상현실 콘텐츠가 표시되는 예시도이고, 도 9a는 응시방향과 사용자 시점 아이콘 이동속도의 관계를 나타낸 그래프이다.
도 8 내지 도 9a를 참조하면, 사용자의 시야에는 경복궁의 지도가 표시되는데, 각 건물에 대한 관심(Point Of Interest) 아이콘이 증강되어 동시에 표시된다.
이때, 사용자가 관심(Point Of Interest) 아이콘(가상객체)을 선택할 경우, 미리 설정된 가상현실 콘텐츠가 디스플레이에 3차원적으로 표시되므로, 사용자는 실제의 장소에 방문한 것과 같은 체험을 할 수 있다.
참고적으로, 사용자가 휴대용 단말기(300)을 미리 설정된 방향으로 회전시킬 경우, 가상현실모드- 가상현실 콘텐츠 재생 - 에서 다시 증강현실모드 - 경복궁 지도 표시 - 로 전환된다.
휴대용 단말기(300)는 3차원 관성센서를 포함하고 있으므로, 증강 애플리케이션이 실행되고 휴대용 단말기(300)에 조립형 가상현실 뷰어(100)가 결합된 상태에서 사용자가 휴대용 단말기(300) 및 조립형 가상현실 뷰어(100)를 특정방향으로 회전시키거나, 특정속도 이상으로 특정 방향으로 회전시키는 등의 움직임 정보를 토대로 각각의 메뉴가 선택되어 구동되도록 동작할 수 있다. 따라서 메뉴이동, 화면전환, 증강-가상현실모드 전환 등의 추가 조작 메뉴가 움직임 정보를 활용하여 선택될 수 있다.
한편, 휴대용 단말기(300)의 디스플레이의 중심에는 사용자 시점 아이콘이 표시된다.
즉, 사용자 시점 아이콘 - 화면에 중심에 노란색 십자가 형태로 표시됨 - 은 사용자의 시야의 중심영역에 최초로 배치되어 표시되는데, 사용자가 응시하는 방향에 따라 사용자 시점 아이콘의 위치가 변경된다.
이때, 사용자의 응시방향은 접이식 표시수단(200)의 전면 카메라로 사용자의 눈동자를 추적하는 방식이 사용될 수 있다. 또한, 휴대용 단말기(300)의 3차원 관성센서의 움직임 정보를 바탕으로 사용자의 응시방향을 추정하여 사용자 시점 아이콘의 위치를 조정할 수도 있을 것이다.
즉, 사용자의 응시방향에 따라 사용자 시점 아이콘이 이동하므로, 사용자는 사용자 시점 아이콘을 이동시켜 증강된 가상객체 - 관심(Point Of Interest) 아이콘 - 의 위치에서 소정의 시간이상 머무를 경우, 가상객체에 할당된 가상현실 콘텐츠가 디스플레이에 3차원적으로 표시된다. 결과적으로 증강된 아이콘들을 사용자의 시선으로 응시하는 시간을 측정하여 인터랙션 이벤트를 발생시킬 수 있다.
도 9a 에는 응시방향과 사용자 시점 아이콘 이동속도의 관계가 그래프 형태로 도시되어 있다.
사용자의 응시방향이 급격하게 변화할 경우, 즉 사용자의 응시방향의 이동속도가 너무 급격하게 변할 경우에도, 사용자 시점 아이콘의 이동속도는 일정하게 증가하거나 감소하도록 설정되어 있으므로, 사용자가 보다 쉽게 인터랙션 이벤트를 발생시킬 수 있다.
사용자 시점 아이콘의 이동속도의 변화율(기울기)은 사용자가 직접 설정할 수 있으며, 사용자 시점 아이콘이 가상객체에 도달하는 시간이 자동 측정되어 소정의 기준시간 이상일 경우, 사용자 시점 아이콘의 이동속도가 점점 느려지도록 자동설정 될 수 있다. 이때, 사용자 시점 아이콘이 가상객체에 도달하는 시간은, 가상객체의 중심에서 소정의 가상반경 이내에 사용자 시점 아이콘이 진입한 시점부터 가상객체에 도달했을 때까지의 소요시간을 의미한다.
도 10은 시간기반의 가상현실 콘텐츠가 표시되는 예시도이다.
도 10을 참조하면, 사용자가 관심(Point Of Interest) 아이콘(가상객체)을 선택할 경우, 미리 설정된 가상현실 콘텐츠가 디스플레이에 3차원적으로 표시되므로, 사용자는 실제의 장소에 방문한 것과 같은 체험을 할 수 있다.
이때, 사용자가 시간여행 아이콘을 선택할 경우, 현재의 영상에 과거의 모습을 재연한 3차원 가상현실 콘텐츠 - 가상현실모드 - 가 재생된다. 이때, 사용자가 휴대용 단말기(300)을 미리 설정된 방향으로 회전시킬 경우, 가상현실모드 - 가상현실 콘텐츠 재생 - 에서 다시 증강현실모드 - 경복궁 지도 표시 - 로 전환된다.
도 11 내지 도 13은 가변형 객체인식을 위한 멀티 이미지 트래킹의 예시도이다.
도 11 내지 도 13을 참조하면, 휴대용 단말기(300)의 애플리케이션은 접이식 표시수단(200)의 각 면단위로 트래킹을 진행한 후 좌표분석을 통한 물리적 외형을 추정하여 유효한 접이식 표시수단인지를 판단한다. 즉, 접이식 표시수단은 면다위로 객체인식되는데, 그 면은 사각형 형태뿐만 아니라, 다양한 다각형 형태일 수 있다. 또한, 접는 형태는 가로, 세로 및 대각선 등 다양한 방향으로 형성될 수 있다.
또한, 휴대용 단말기(300)의 애플리케이션은, 유효한 접이식 표시수단으로 판단될 경우에만, 접이식 표시수단(200)의 각 면단위로 실제객체를 각각 인식한 후, 복수의 면이 접혀지거나 펴지는 경우에도 계속해서 인식된 실제객체의 좌표를 추적 및 보정하는 동작을 진행한다.
접이식 표시수단의 각 면에 강건하게 정합되도록 각각의 면을 인식, 추적 및 보정하는 가변형 객체 인식을 위한 멀티 이미지 트래킹이 적용된다.
즉, 가변형 다수 이미지 객체 인식, 추적, 보정기법이 적용되는데, 휴대용 단말기의 카메라 영상으로부터 다수 이미지를 인식 및 추적한다. 인식 실패 시, 이웃면과의 자세분석을 통한 전체 자세 추정 - 역기구학 (Inverse Kinematics)을 이용한 자코비안 변환 행렬 계산 - 을 진행한다. 이때, 각 면에 대한 디지털 콘텐츠(가상객체)가 기념품(접이식 표시수단)의 해당 면을 기준으로 정합된다.
참고적으로, 본 실시예에서는 조립형 가상현실 뷰어(100)의 좌측렌즈(111) 및 우측렌즈(112) - 편광렌즈임 - 를 이용하여 휴대용 단말기(300)에 표시되는 3차원 가상현실정보를 볼 수 있도록 구성되었으나,
편광렌즈가 내장된 구조를 갖는 휴대용 단말기(300)가 사용될 경우, 조립형 가상현실 뷰어(100)를 사용하지 않고, 휴대용 단말기(300)의 편광렌즈를 이용하여 사용자가 3차원 가상현실정보를 확인할 수도 있을 것이다.
이때 휴대용 단말기(300)에 내장된 편광렌즈는 접이식 형태로 휴대용 단말기(300)의 디스플레이 겹쳐질 수 있는 구조로 형성될 수 있을 것이다. 즉, 편광렌즈가 일체형으로 부착된 휴대용 단말기(300)가 이용될 수도 있을 것이다.
도 14는 안전모드가 동작하는 상태도이다.
접이식 표시 시스템에는 사용자의 안전을 위해 안전모드가 설정될 수 있다.
안전모드가 설정될 경우, 휴대용 단말기는 후면 카메라를 통해 사용자에게 접근하는 실제객체를 감지한다. 즉, 자동차, 자전거 등과 같이 사용자에게 위험이 될 수 있는 실제객체가 사용자 방향으로 빠르게 접근하는 것을 감지하여 위험상황을 디스플레이에 표시할 수 있다.
즉, 사용자가 길거리 등과 같은 노상에서 접이식 표시 시스템을 사용하다가 돌발 상황이 발생하는 경우를 감소시키기 위해, 접이식 표시수단을 인식해서 사용하다가 접이식 표시수단이 후면 카메라의 촬영범위에서 소정의 속도 이상으로 사라진 경우 안전모드가 자동실행 될 수 있다.
도 14를 참조하면, 사용자가 전방을 주시하고 있는 상태의 화면이 도시되어 있는데, 중앙에 점선으로 표시된 사각영역은 시선집중구역으로 정의되며 점선의 테두리로 그 영역이 정의되어 있다. 이때, 후면 카메라에서 자동차, 자전거 등과 같이 사용자에게 위험이 될 수 있는 실제객체가 사용자 방향으로 빠르게(소정의 속도 이상) 접근하는 것을 영상감지 할 경우,
시선집중구역의 크기가 자동으로 확장되고, 화면에 표시되고 있는 가상객체는 시선집중구역의 외곽방향으로 자동이동하거나, 그 투명도가 더욱 강화되어 사용자가 접근하는 실제객체를 용이하게 인지할 수 있도록 동작한다.
사용자에게 접근하는 실체객체의 속도에 비례(정비례 또는 제곱에 비례)하여 시선집중구역의 크기, 가상객체의 투명도, 외곽방향으로 이동하는 가상객체의 이동속도가 자동 결정될 수 있다.
또한, 휴대용 단말기의 전면 카메라 - 디스플레이와 동일방향에 있는 카메라임 - 가 사용자의 눈동자의 방향을 감지할 경우, 시선집중구역은 눈동자의 방향에 따라 자동 이동하도록 동작한다. 즉, 사용자의 눈이 오른쪽을 응시하고 있을 경우 시선집중구역은 오른쪽 방향으로 이동한 상태이다. 이때, 후면 카메라에서 자동차, 자전거 등과 같이 사용자에게 위험이 될 수 있는 실제객체가 사용자 방향으로 접근 - 정면에서 접근 - 하는 것을 감지할 경우, 시선집중구역은 상술한 바와 같은 안전동작을 진행하되, 사용자의 정면방향으로 시선집중구역이 자동이동한다.
즉, 시선집중구역은 사용자에게 빠르게 접근하는 실제객체의 방향으로 자동이동하도록 설정될 수도 있을 것이다.
참고적으로 전면 카메라는 사용자의 눈동자의 움직임과, 눈동자의 응시방향, 눈의 크기변화를 감지할 수 있으므로, 이러한 눈동자의 크기변화를 토대로 동작명령을 지시할 수 있다.
예를 들면 사용자가 눈을 소정의 시간동안 크게 뜰 때마다 점차적으로 하위 정보에 해당하는 가상정보를 표시하고, 눈을 소정의 시간동안 작게 뜰 때마다 점차적으로 상위 정보에 해당하는 가상정보를 표시하도록 지시될 수 있다. 또한, 전면 카메라의 명령 인식률을 향상시키기 위해 사용자의 눈썹에 지시용 눈썹을 부착할 수도 있다. 지시용 눈썹은 소정의 적외선 파장을 반사하는 반사도료가 코팅되어 있으며, 전면 카메라는 그 적외선 파장을 인식할 수 있도록 구성되어 명령 인식율을 향상시킬 수도 있을 것이다.
도 15는 본 발명의 실시예에 따른 접이식 표시 시스템(1)의 동작방식을 나타낸 도면이다.
도 15를 참조하면, 본 발명의 실시예에 따른 접이식 표시 시스템(1)은 사용자가 조립형 가상현실 뷰어(100)를 착용하고 기념품(접이식 표시수단)을 바라보면, 휴대용 단말기의 카메라 영상으로부터 멀티 이미지 트래킹 시작된다.
다음으로, 기념품(접이식 표시수단)의 각 면에 대한 트래킹 후 좌표분석을 통한 물리적 객체의 외형을 추정하여 기념품 객체가 인식된다.
다음으로, 기념품(접이식 표시수단)이 인식되면 각 면에 대한 디지털 콘텐츠가 기념품(접이식 표시수단)의 해당 면을 기준으로 정렬되어 카메라 영상과 정합된다.
다음으로, 기념품이 인식되고 가상 콘텐츠(가상객체)가 기념품과 정합되면, 시스템은 증강현실 환경이 되어 실제 객체 위에 부가정보 아이콘들이 디스플레이 된다.
이때, 기본적인 인터랙션은 아이콘 위에서 사용자 시점 아이콘의 머무는 시간(stay time)을 측정하여 연동한다. 사용자의 인터랙션이 감지되면 관련 디지털 콘텐츠를 재생한다.
추가적으로 요구되는 단계별 유저 인터페이스는 휴대용 단말기의 3차원 관성센서 측정 기술을 기반으로 조립형 가상현실 뷰어(100) 및 휴대용 단말기(300)의 좌우 회전값에 반응하여 연동한다.
사용자가 관심(Point Of Interest) 아이콘을 선택하면 시스템은 가상현실 환경으로 전환되고 관련된 360ㅀ가상현실 콘텐츠가 재생되므로, 마치 현실세계에서 증강현실 콘텐츠를 보는 것처럼 부가정보를 획득하고 인터랙션을 통해 시공간을 초월한 콘텐츠를 체험을 할 수 있다.
즉, 전형적인 아날로그 문화관광 기념품에 혼합현실기술을 접목하여 역사적, 문화적 관련 소재들에대한 다양한 가상체험 서비스를 제공할 수 있으며, 기념품을 매개체로 대상지에 대한 원격 체험이 가능하기 때문에 방문했던 관광지에 대한 지속적인 관심을 가지게 하여 재방문으로 유도가 가능하다.
기존 HMD(Head Mounted Display) 제품의 밴드 착용형은 사용자들에게 장시간 착용에 대한 거부감을 일으킬 수 있으나, 조립형 가상현실 뷰어(100) 제품은 휴대형으로 필요할 때 휴대용 단말기에 손쉽게 장착하여 간편하게 이용가능하며, 문화관광상품, 스포츠, 게임, 교육, 문화유적, 건축, 국방 등에 바로 적용 및 응용이 가능하다.
본 발명의 실시예에 따른 접이식 표시 시스템은, 아날로그 문화관광 기념품(병풍)에 혼합현실기술을 접목하여 역사적, 문화적 관련 소재들에 대한 다양한 가상체험을 제공할 수 있다.
즉, 기념품을 매개체로 대상지에 대한 가상 원격 체험이 가능하기 때문에 방문했던 관광지에 대한 지속적인 관심 유도가 가능하다.
또한, 기존 HMD(Head Mounted Display) 제품의 밴드착용형은 사용자들에게 장시간 착용에 대한 거부감을 일으킬 수 있으나, 조립형 가상현실 뷰어 제품은 휴대용 단말기에 손쉽게 장착하여 간편하게 이용가능하며 휴대가 용이하다.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 조립형 가상현실 뷰어
200 : 접이식 표시수단
300 : 휴대용 단말기
111 : 좌측렌즈
112 : 우측렌즈
120 : 뷰어몸체
130 : 지지대

Claims (7)

  1. 복수의 면이 접혀지거나 펴지는 구조로 형성되는 접이식 표시수단; 및
    후면 카메라로 상기 접이식 표시수단의 각 면을 실시간으로 촬영하여 각 면의 실제영상정보 중 실제객체를 각각 영상 인식한 후, 각 실제객체에 대응되는 위치에 가상객체를 증강하여 표시하는 휴대용 단말기;
    을 포함하는 접이식 표시 시스템.
  2. 복수의 면이 접혀지거나 펴지는 구조로 형성되는 접이식 표시수단;
    후면 카메라로 상기 접이식 표시수단의 각 면을 실시간으로 촬영하여 각 면의 실제영상정보 중 실제객체를 각각 영상 인식한 후, 각 실제객체에 대응되는 위치에 가상객체를 증강하여 표시하고, 어느 하나의 가상객체가 선택될 경우 미리 설정된 가상현실 콘텐츠를 디스플레이에 3차원적으로 표시하는 휴대용 단말기; 및
    상기 휴대용 단말기에 탈부착 될 수 있는 구조로 결합되어 상기 디스플레이를 통해 재생되는 상기 가상현실 콘텐츠를 렌즈를 통해 사용자의 시야에 제공하는 조립형 가상현실 뷰어;
    를 포함하는 접이식 표시 시스템.
  3. 제2항에 있어서,
    상기 조립형 가상현실 뷰어는,
    좌측렌즈 및 우측렌즈가 각각 탈부착 되는 좌측홈 및 우측홈이 형성되는 뷰어몸체; 및
    제1 삽입홈에 상기 휴대용 단말기가 삽입되어 지지되고, 상기 제1 삽입홈과 소정의 거리 이격되는 제2 삽입홈에 상기 뷰어몸체가 삽입되어 지지되도록 형성되는 지지대;를 포함하는 것을 특징으로 하는 접이식 표시 시스템.
  4. 제3항에 있어서,
    상기 좌측렌즈 및 상기 우측렌즈와, 상기 휴대용 단말기의 디스플레이는 소정의 거리를 두고 서로 평행하게 배열되는 것을 특징으로 하는 접이식 표시 시스템.
  5. 제2항에 있어서,
    상기 휴대용 단말기은,
    상기 접이식 표시수단의 각 면단위로 트래킹을 진행한 후 좌표분석을 통한 물리적 외형을 추정하여 유효한 접이식 표시수단인지를 판단하는 것을 특징으로 하는 접이식 표시 시스템.
  6. 제5항에 있어서,
    상기 휴대용 단말기은,
    유효한 접이식 표시수단일 경우 각 면단위로 실제객체를 각각 인식한 후, 상기 복수의 면이 접혀지거나 펴지는 경우에도 계속해서 인식된 실제객체의 좌표를 추적 및 보정하는 것을 특징으로 하는 접이식 표시 시스템.
  7. 제2항에 있어서,
    상기 휴대용 단말기의 상기 디스플레이에 표시되는 사용자 시점 아이콘은,
    사용자의 시야의 중심영역에 최초로 배치되어 표시되되, 사용자가 응시하는 방향에 따라 상기 사용자 시점 아이콘의 위치가 변경되고,
    상기 사용자 시점 아이콘이 증강된 상기 가상객체의 위치에서 소정의 시간이상 머무를 경우, 상기 가상객체에 할당된 상기 가상현실 콘텐츠가 상기 디스플레이에 3차원적으로 표시되는 것을 특징으로 하는 접이식 표시 시스템.
KR1020180098752A 2018-08-23 2018-08-23 혼합현실 기반의 접이식 표시 시스템 Active KR102103991B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180098752A KR102103991B1 (ko) 2018-08-23 2018-08-23 혼합현실 기반의 접이식 표시 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180098752A KR102103991B1 (ko) 2018-08-23 2018-08-23 혼합현실 기반의 접이식 표시 시스템

Publications (2)

Publication Number Publication Date
KR20200022737A true KR20200022737A (ko) 2020-03-04
KR102103991B1 KR102103991B1 (ko) 2020-04-23

Family

ID=69783119

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180098752A Active KR102103991B1 (ko) 2018-08-23 2018-08-23 혼합현실 기반의 접이식 표시 시스템

Country Status (1)

Country Link
KR (1) KR102103991B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102345355B1 (ko) * 2021-05-12 2021-12-30 오성훈 사용자 단말장치 및 그 장치의 구동방법
KR102391321B1 (ko) * 2020-11-18 2022-04-27 주식회사 모소 혼합현실 구현 시스템
WO2024248408A1 (ko) * 2023-05-30 2024-12-05 삼성전자 주식회사 전자 장치 및 전자 장치의 가상 이미지 제공 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120002261A (ko) * 2010-06-30 2012-01-05 주식회사 팬택 3차원 증강 현실 제공 장치 및 방법
JP2014071663A (ja) * 2012-09-28 2014-04-21 Brother Ind Ltd ヘッドマウントディスプレイ、それを作動させる方法およびプログラム
KR20170058025A (ko) * 2015-11-18 2017-05-26 배성실 시대별 문화재의 영상물을 구비한 가상 역사 체험 시스템 및 시대별 문화재 영상물 제작방법
KR20170118609A (ko) * 2016-04-15 2017-10-25 재단법인 실감교류인체감응솔루션연구단 삼차원 정보증강 비디오 씨쓰루 디스플레이 장치 및 방법, 렉티피케이션 장치
KR20180015527A (ko) 2016-08-03 2018-02-13 김나정 혼합현실 및 실물객체를 이용한 역할놀이 콘텐츠 제공 시스템 및 이를 이용한 역할놀이 콘텐츠 제공 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120002261A (ko) * 2010-06-30 2012-01-05 주식회사 팬택 3차원 증강 현실 제공 장치 및 방법
JP2014071663A (ja) * 2012-09-28 2014-04-21 Brother Ind Ltd ヘッドマウントディスプレイ、それを作動させる方法およびプログラム
KR20170058025A (ko) * 2015-11-18 2017-05-26 배성실 시대별 문화재의 영상물을 구비한 가상 역사 체험 시스템 및 시대별 문화재 영상물 제작방법
KR20170118609A (ko) * 2016-04-15 2017-10-25 재단법인 실감교류인체감응솔루션연구단 삼차원 정보증강 비디오 씨쓰루 디스플레이 장치 및 방법, 렉티피케이션 장치
KR20180015527A (ko) 2016-08-03 2018-02-13 김나정 혼합현실 및 실물객체를 이용한 역할놀이 콘텐츠 제공 시스템 및 이를 이용한 역할놀이 콘텐츠 제공 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102391321B1 (ko) * 2020-11-18 2022-04-27 주식회사 모소 혼합현실 구현 시스템
KR20220068204A (ko) * 2020-11-18 2022-05-25 주식회사 모소 혼합현실 구현 시스템
KR20220068203A (ko) * 2020-11-18 2022-05-25 주식회사 모소 혼합현실 구현 시스템
KR20220068202A (ko) * 2020-11-18 2022-05-25 주식회사 모소 혼합현실 구현 시스템
KR102345355B1 (ko) * 2021-05-12 2021-12-30 오성훈 사용자 단말장치 및 그 장치의 구동방법
WO2024248408A1 (ko) * 2023-05-30 2024-12-05 삼성전자 주식회사 전자 장치 및 전자 장치의 가상 이미지 제공 방법

Also Published As

Publication number Publication date
KR102103991B1 (ko) 2020-04-23

Similar Documents

Publication Publication Date Title
US9672588B1 (en) Approaches for customizing map views
ES2759054T3 (es) Región basada en gestos del cuerpo humano y selección de volumen para HMD
Caggianese et al. Natural interaction and wearable augmented reality for the enjoyment of the cultural heritage in outdoor conditions
US11195341B1 (en) Augmented reality eyewear with 3D costumes
US8937592B2 (en) Rendition of 3D content on a handheld device
WO2024253976A1 (en) Devices, methods, and graphical user interfaces for displaying views of physical locations
KR20230017849A (ko) 증강 현실 안내
US9933853B2 (en) Display control device, display control program, and display control method
KR20230029885A (ko) 말 풍선들 및 번역을 갖는 증강 현실 안경류
US11843758B2 (en) Creation and user interactions with three-dimensional wallpaper on computing devices
JP6177872B2 (ja) 入出力装置、入出力プログラム、および入出力方法
US20100171691A1 (en) Viewing images with tilt control on a hand-held device
KR101794931B1 (ko) 관광 지도 서비스 제공 시스템
US11914770B2 (en) Eyewear including shared object manipulation AR experiences
JPH1118025A (ja) 画像呈示装置
JPWO2016203792A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2012079291A (ja) プログラム、情報記憶媒体及び画像生成システム
KR20230029923A (ko) 롤링 셔터 카메라들을 사용하는 시각적 관성 추적
KR102103991B1 (ko) 혼합현실 기반의 접이식 표시 시스템
US20130265331A1 (en) Virtual Reality Telescopic Observation System of Intelligent Electronic Device and Method Thereof
US20150381970A1 (en) Input/output device, input/output program, and input/output method
KR20230025913A (ko) 기분 공유를 갖는 증강 현실 안경류
WO2019142432A1 (ja) 情報処理装置、情報処理方法及び記録媒体
JP2022183171A (ja) 表示装置
JP4413203B2 (ja) 画像呈示装置

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180823

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20191010

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200402

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200417

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200417

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20230406

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20240308

Start annual number: 5

End annual number: 5