KR20190101620A - 증강현실 기술을 이용한 무빙 트릭아트 구현 방법 - Google Patents
증강현실 기술을 이용한 무빙 트릭아트 구현 방법 Download PDFInfo
- Publication number
- KR20190101620A KR20190101620A KR1020180021821A KR20180021821A KR20190101620A KR 20190101620 A KR20190101620 A KR 20190101620A KR 1020180021821 A KR1020180021821 A KR 1020180021821A KR 20180021821 A KR20180021821 A KR 20180021821A KR 20190101620 A KR20190101620 A KR 20190101620A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- smart device
- moving
- management server
- trick art
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
- H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 육안으로 입체감을 일으키는 트릭아트에 증강현실 기술을 접목하여 트릭아트가 움직이는 상황을 연출하는 무빙 트릭아트 구현 방법에 관한 것이다.
본 발명은 「스마트기기의 카메라 렌즈로 뷰잉하여 디스플레이부에 현시된 트릭아트 작품의 오브젝트가 움직이는 것으로 보여지도록 하는 방법으로서, (a) 관리서버가, 트릭아트 작품의 오브젝트 이미지를 수신하고 특징점을 분석하여 특징점 데이터를 식별정보 DB에 저장하는 단계; (b) 관리서버가, 상기 오브젝트의 무빙 이미지(moving image)를 상기 특징점 데이터에 매칭시켜 이미지 DB에 저장하는 단계; (c) 스마트기기가, 활성화된 애플리캐이션 프로그램에 의해, 상기 관리서버와 정보 데이터를 공유하는 단계; (d) 상기 스마트기기 또는 관리서버가, 상기 스마트기기의 카메라 렌즈로 뷰잉한 트릭아트 작품의 오브젝트 이미지를 분석하여, 상기 식별정보 DB에서 일치하는 특징점 데이터를 검색하는 단계; (e) 상기 스마트기기 또는 관리서버가, 검색된 특징점 데이터를 통해 오브젝트를 식별하여 상기 이미지 DB에서 매칭된 오브젝트 무빙 이미지를 추출하는 단계; 및 (f) 상기 스마트기기가, 추출된 오브젝트 무빙 이미지를 상기 카메라 렌즈로 뷰잉하는 화면의 매칭되는 오브젝트 위에 오버랩핑시켜 현시하는 단계; 를 포함하는 무빙 트릭아트 구현 방법」을 제공한다.
본 발명은 「스마트기기의 카메라 렌즈로 뷰잉하여 디스플레이부에 현시된 트릭아트 작품의 오브젝트가 움직이는 것으로 보여지도록 하는 방법으로서, (a) 관리서버가, 트릭아트 작품의 오브젝트 이미지를 수신하고 특징점을 분석하여 특징점 데이터를 식별정보 DB에 저장하는 단계; (b) 관리서버가, 상기 오브젝트의 무빙 이미지(moving image)를 상기 특징점 데이터에 매칭시켜 이미지 DB에 저장하는 단계; (c) 스마트기기가, 활성화된 애플리캐이션 프로그램에 의해, 상기 관리서버와 정보 데이터를 공유하는 단계; (d) 상기 스마트기기 또는 관리서버가, 상기 스마트기기의 카메라 렌즈로 뷰잉한 트릭아트 작품의 오브젝트 이미지를 분석하여, 상기 식별정보 DB에서 일치하는 특징점 데이터를 검색하는 단계; (e) 상기 스마트기기 또는 관리서버가, 검색된 특징점 데이터를 통해 오브젝트를 식별하여 상기 이미지 DB에서 매칭된 오브젝트 무빙 이미지를 추출하는 단계; 및 (f) 상기 스마트기기가, 추출된 오브젝트 무빙 이미지를 상기 카메라 렌즈로 뷰잉하는 화면의 매칭되는 오브젝트 위에 오버랩핑시켜 현시하는 단계; 를 포함하는 무빙 트릭아트 구현 방법」을 제공한다.
Description
본 발명은 육안으로 입체감을 일으키는 트릭아트에 증강현실 기술을 접목하여 트릭아트가 움직이는 상황을 연출하는 무빙 트릭아트 구현 방법에 관한 것이다.
트릭아트는 그림이 그려지는 공간을 활용하고, 원근법 및 음영법에 근거한 과학적인 화법을 적용하여 대상을 입체화함으로써 관람객이 다양한 입체감을 체험할 수 있도록 하는 전시예술을 말한다. 다만, 종래 트릭아트의 착시효과는 정적이고, 동적인 요소를 반영하여 흥미를 유발할 수 없는 한계점이 있다.
증강현실(Augmented Reality, AR)은 현실의 이미지나 배경에 3차원 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 기술이다. 트릭아트가 아날로그 3D 체험 기법이라면, 증강현실은 디지털 3D 체험 기법으로서, 양자의 결합에 의해 더욱 다양한 공간 및 상황 연출이 가능하다.
본 발명은 트릭아트와 증강현실 기술을 결합하여 트릭아트 오브젝트가 움직이는 상황을 연출하여 체험자의 흥미를 고조시키도록 함에 그 목적이 있다.
전술한 과제 해결을 위해 본 발명은 「스마트기기의 카메라 렌즈로 뷰잉하여 디스플레이부에 현시된 트릭아트 작품의 오브젝트가 움직이는 것으로 보여지도록 하는 방법으로서, (a) 관리서버가, 트릭아트 작품의 오브젝트 이미지를 수신하고 특징점을 분석하여 특징점 데이터를 식별정보 DB에 저장하는 단계; (b) 관리서버가, 상기 오브젝트의 무빙 이미지(moving image)를 상기 특징점 데이터에 매칭시켜 이미지 DB에 저장하는 단계; (c) 스마트기기가, 활성화된 애플리캐이션 프로그램에 의해, 상기 관리서버와 정보 데이터를 공유하는 단계; (d) 상기 스마트기기 또는 관리서버가, 상기 스마트기기의 카메라 렌즈로 뷰잉한 트릭아트 작품의 오브젝트 이미지를 분석하여, 상기 식별정보 DB에서 일치하는 특징점 데이터를 검색하는 단계; (e) 상기 스마트기기 또는 관리서버가, 검색된 특징점 데이터를 통해 오브젝트를 식별하여 상기 이미지 DB에서 매칭된 오브젝트 무빙 이미지를 추출하는 단계; 및 (f) 상기 스마트기기가, 추출된 오브젝트 무빙 이미지를 상기 카메라 렌즈로 뷰잉하는 화면의 매칭되는 오브젝트 위에 오버랩핑시켜 현시하는 단계; 를 포함하는 무빙 트릭아트 구현 방법」을 제공한다.
상기 특징점 데이터는 상기 오브젝트 이미지의 코너점을 특징점으로 검출하는 것을 바탕으로 하는 알고리즘을 적용하여 도출할 수 있고, 상기 무빙 이미지는 배경 이미지 레이어 위에 다시 무빙 오브젝트 이미지 레이어를 겹쳐 구성할 수 있다.
또한 본 발명은, 상기 (b)단계에서는 상기 관리서버가 상기 오브젝트 무빙 이미지와 연계된 부가 이미지를 상기 이미지 DB에 함께 저장함으로써, 상기 (f)단계에서는 상기 스마트기기가 추출된 오브젝트 무빙 이미지와 연계된 부가 이미지를 상기 카메라 렌즈로 뷰잉하는 화면의 지정된 위치에 함께 오버랩핑시켜 현시토록 할 수 있다.
또한 본 발명은, 상기 (b)단계에서는 상기 관리서버가 상기 오브젝트 무빙 이미지와 연계된 사운드 데이터를 사운드 DB에 함께 저장함으로써, 상기 (f)단계에서는 상기 스마트기기가 추출된 오브젝트 무빙 이미지와 연계된 사운드 데이터를 재생하도록 할 수 있다.
또한 본 발명은, 상기 스마트기기가, 입력된 명령에 따라 현시되는 화면을 녹화하는 (g)단계를 더 포함하여 구성할 수 있으며, 여기에 상기 (g)단계에서 생성된 녹화파일을 저정된 이메일 또는 SNS계정에 전송하는 (h)단계를 더 포함하여 구성할 수 있다.
위와 같은 본 발명에 따르면 트릭아트 작품의 오브젝트를 스마트기기의 카메라로 뷰잉(viewing)할 때, 뷰잉 대상 오브젝트가 움직이는 것으로 보여지며, 이에 따라 다음과 같은 효과를 기대할 수 있다.
1. 트릭아트 작품의 오브젝트가 살아 움직이며, 관련 사운드가 재생되는 효과를 연출할 수 있다..
2. 오브젝트의 무빙 이미지와 함께 부가 이미지를 송출함으로써 다양한 시각적 효과를 연출할 수 있다.
3. 현실 공간에 실존하는 트릭아트 작품의 이미지 위에 AR 이미지인 무빙 이미지를 중첩시키되, 상기 무빙 이미지는 트릭아트 작품의 실존 이미지와 연속되는 배경 이미지 레이어 위에 다시 무빙 오브젝트 이미지 레이어를 중첩시키는 방법으로 구성함으로써 실존 트릭아트 오브젝트가 자연스럽게 움직이는 것처럼 연출할 수 있다.
4. 스마트기기에 현시되는 화면을 녹화, 전송함으로써 체험자의 경험을 보존하고 공유할 수 있다.
[도 1[은 본 발명 각 단계 진행 과정의 제1실시예를 도시한 순서도이다.
[도 2]는 본 발명 각 단계 진행 과정의 제2실시예를 도시한 순서도이다.
[도 3]은 본 발명의 (a)단계 실시 과정을 나타낸 모식도이다.
[도 4]는 본 발명의 (b)단계 실시 과정을 나타낸 모식도이다.
[도 5]는 본 발명의 (c)단계 실시 과정을 나타낸 모식도이다.
[도 6]은 본 발명의 (d)단계 내지 (f)단계가 실시되어 스마트기기를 통해 트릭아트 오브젝트가 움직이는 것으로 나타나는 상황을 촬영한 사진이다.
[도 7]은 본 발명 실시를 통해 스마트기기에 현시된 화면을 캡처한 것이다.
[도 2]는 본 발명 각 단계 진행 과정의 제2실시예를 도시한 순서도이다.
[도 3]은 본 발명의 (a)단계 실시 과정을 나타낸 모식도이다.
[도 4]는 본 발명의 (b)단계 실시 과정을 나타낸 모식도이다.
[도 5]는 본 발명의 (c)단계 실시 과정을 나타낸 모식도이다.
[도 6]은 본 발명의 (d)단계 내지 (f)단계가 실시되어 스마트기기를 통해 트릭아트 오브젝트가 움직이는 것으로 나타나는 상황을 촬영한 사진이다.
[도 7]은 본 발명 실시를 통해 스마트기기에 현시된 화면을 캡처한 것이다.
본 발명은 「스마트기기의 카메라 렌즈로 뷰잉하여 디스플레이부에 현시된 트릭아트 작품의 오브젝트가 움직이는 것으로 보여지도록 하는 방법으로서, (a) 관리서버가, 트릭아트 작품의 오브젝트 이미지를 수신하고 특징점을 분석하여 특징점 데이터를 식별정보 DB에 저장하는 단계; (b) 관리서버가, 상기 오브젝트의 무빙 이미지(moving image)를 상기 특징점 데이터에 매칭시켜 이미지 DB에 저장하는 단계; (c) 스마트기기가, 활성화된 애플리캐이션 프로그램에 의해, 상기 관리서버와 정보 데이터를 공유하는 단계; (d) 상기 스마트기기 또는 관리서버가, 상기 스마트기기의 카메라 렌즈로 뷰잉한 트릭아트 작품의 오브젝트 이미지를 분석하여, 상기 식별정보 DB에서 일치하는 특징점 데이터를 검색하는 단계; (e) 상기 스마트기기 또는 관리서버가, 검색된 특징점 데이터를 통해 오브젝트를 식별하여 상기 이미지 DB에서 매칭된 오브젝트 무빙 이미지를 추출하는 단계; 및 (f) 상기 스마트기기가, 추출된 오브젝트 무빙 이미지를 상기 카메라 렌즈로 뷰잉하는 화면의 매칭되는 오브젝트 위에 오버랩핑시켜 현시하는 단계; 를 포함하는 무빙 트릭아트 구현 방법」을 제공한다.
본 발명은 [도 5]에 도시된 바와 같이 무선통신망으로 연결된 관리서버와 스마트기기의 상호 작용에 의해 구현된다. [도 1]은 상기 (d)단계 및 (e)단계가 관리서버(10)에 의해 실시되는 경우를 도시한 것이고, [도 2]는 상기 (d)단계 및 (e)단계가 스마트기기(20)에 의해 실시되는 경우를 도시한 것이다.
상기 관리서버에는 식별정보 DB와 이미지 DB가 구축되어 있다. 상기 관리서버는 트릭아트 작품의 오브젝트 이미지를 수신, 분석하여 도출한 특징점 데이터를 상기 식별정보 DB에 저장하고, 상기 오브젝트와 매칭되는 무빙 이미지(moving image)를 상기 이미지 DB에 저장한다. 다만 상기 식별정보 DB 및 이미지 DB는 저장된 데이터의 종류에 따라 구분한 개념일 뿐 물리적으로는 동일한 메모리 수단에 공존할 수 있다.
상기 스마트기기는 스마트폰, 태블릿 PC 등을 포함하며, 본 발명 실행을 위한 애플리캐이션 프로그램이 활성화됨에 따라 카메라로 뷰잉하는 장면 속의 트릭아트 오브젝트 이미지를 식별하기 위해 상기 식별정보 DB를 활용할 수 있다. 상기 이미지 DB로부터는 식별된 이미지와 매칭되는 무빙 이미지를 제공받는다. 상기 스마트기기는 활성화된 애플리캐이션 프로그램에 의해 상기 관리서버와 정보 데이터를 공유한다. 즉, 활성화된 애플리캐이션 프로그램에 의해 스마트기기가 상기 식별정보 DB와 이미지 DB의 데이터를 활용할 수 있게 된다는 것이다. 이를 위해 무선통신망을 통한 실시간 데이터 공유 방식 또는 데이터 일괄 다운 로드 후 활용 방식을 선택적으로 적용할 수 있다.
이하에서는 본 발명을 각 단계별로 상세히 설명하기로 한다.
1. (a)단계
본 (a)단계는 [도 3]에 도시된 바와 같이, 관리서버가 트릭아트 작품의 오브젝트 이미지를 수신하고 특징점을 분석하여 특징점 데이터를 식별정보 DB에 저장하는 단계이다.
트릭아트 작품에서 움직임 효과를 부여하고자 하는 오브젝트를 이미지 파일로 만들어 상기 관리서버에 입력하면, 상기 관리서버는 오브젝트 이미지로부터 특징점(keypoint, interesting point)을 분석한다.
상기 특징점으로는 오브젝트의 크기나 카메라의 시점, 조명 등이 변해도 쉽게 찾아낼 수 있을 것을 조건으로 찾아 설정하는 것이 유리한데, 위와 같은 조건을 만족하는 가장 좋은 특징점은 바로 코너점(corner point)이다.
본 발명에서도 오브젝트의 코너점을 특징점으로 검출하는 것을 바탕으로 하는 알고리즘을 적용할 수 있으며, Harris Corner 알고리즘(C. Harris and M. Stephens, "A combined corner and edge detector", Alvey Vision Conference, 1988), Shi & Tomasi 알고리즘(J. Shi and C. Tomasi, "Good features to track", in CVPR 1994), SIFT - DoG 알고리즘(Lowe, D.G., "Distinctive image features from scale-invariant keypoints", IJCV 2004), FAST 알고리즘(E. Rosten and T. Drummond, "Machine learning for high-speed corner detection", in ECCV 2006), AGAST 알고리즘(E. Mair, G. Hager, D. Burschka,M. Suppa,and G. Hirzinger, "Adaptive and generic corner detection based on the accelerated segment test," in ECCV 2010), SURF 알고리즘(Bay, H., Tuytelaars,T., and Van Gool, L., "Surf: Speeded up robust features," in ECCV 2006), Ferns 알고리즘(Ozuysal, M., Fua,P., and Lepetit, V., "Fast Keypoint Recognition in Ten Lines of Code," in CVPR 2007), BRIEF 알고리즘(Calonder, M., Lepetit, V., Strecha, C., and Fua,P, "Brief: Binary robust independent elementary features," in ECCV 2010), ORB 알고리즘(Rublee, E., Rabaud, V., Konolige, K., and Bradski, G., "ORB: an efficient alternative to SIFT or SURF," in ICCV 2011), BRISK 알고리즘(Leutenegger, S., Chli, M., and Siegwart, R. Y., "BRISK: Binary robust invariant scalable keypoints," in ICCV 2011), FREAK 알고리즘(A. Alahi, R. Ortiz, and P. Vandergheynst, "FREAK: Fast Retina Keypoint," in CVPR 2012), 미국특허 US 6711293 B1(Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image)을 등을 선택적으로 적용할 수 있다. 위의 각 알고리즘에 따라 상기 특징점 데이터는 달라질 수 있다.
2. (b)단계
본 (b)단계는 [도 4]에 도시된 바와 같이 관리서버가 상기 오브젝트의 무빙 이미지(moving image)를 상기 특징점 데이터에 매칭시켜 이미지 DB에 저장하는 단계이다.
상기 무빙 이미지는 AR(Augmented Reality) 이미지로서, 무빙 오브젝트 이미지만으로 구성할 수 있으나, [도 4]에 도시된 바와 같이 고정된 배경 이미지 레이어 위에 무빙 오브젝트 이미지 레이어를 겹쳐서 구성할 수 있다. 이에 따라 상기 배경 이미지 레이어가 트릭아트 작품의 실존 이미지와 연속된 상태에서 상기 배경 이미지 레이어 위에 무빙 오브젝트 이미지 레이어가 중첩되어, 현실 공간에 실존하는 트릭아트 오브젝트가 배경과 분리되어 움직이는 것처럼 연출할 수 있다.
본 (b)단계에서 상기 관리서버는 상기 오브젝트 무빙 이미지와 연계된 부가 이미지 또는 사운드 데이터를 함께 저장할 수 있다. 상기 부가 이미지는 상기 오브젝트 무빙 이미지와 함께 상기 이미지 DB에 저장할 수 있으며, 상기 사운드 데이터는 별도의 사운드 DB에 저장해둘 수 있다. 상기 이미지 DB 및 사운드 DB 역시 저장된 데이터의 종류에 따라 구분한 개념일 뿐 물리적으로는 동일한 메모리 수단에 공존할 수 있다.
3. (c)단계
본 (c)단계는 [도 5]에 도시된 바와 같이 스마트기기가, 활성화된 애플리캐이션 프로그램에 의해, 상기 관리서버와 정보 데이터를 공유하는 단계이다.
정보 데이터를 공유한다는 것의 의미는 상기 스마트기기에 설치된 애플리캐이션 프로그램의 작용으로 1) 상기 스마트기기와 관리서버 간의 무선통신이 이루어져 상기 식별정보 DB, 이미지 DB, 사운드 DB 등에 접속하여 필요한 정보를 활용하는 것(이하 '제1유형 공유 방식'), 2) 상기 식별정보 DB, 이미지 DB, 사운드 DB 등을 내려받고, 수시로(또는 필요에 따라) 갱신하는 것(이하. '제2유형 공유 방식') 및 3) 위의 제1유형 공유 방식과 제2유형 공유 방식을 혼용하거나 병용하는 것(이하, '제3유형 공유 방식')을 포함한다.
본 발명에 상기 제1유형 공유 방식을 적용하는 경우에는 스마트기기에서 일시적으로 사용하는 데이터량이 적으므로 본 발명의 체험자가 개인적으로 소지한 스마트기기를 이용하는 경우에 유리하나, 정보 데이터 공유의 원활성은 무선통신 환경에 절대적인 영향을 받는다. 이 경우 [도 1]에 도시된 제1실시예에 따라 본 발명의 각 단계가 진행된다.
본 발명에 상기 제2유형 공유 방식을 적용하는 경우에는 스마트기기에서 일시적으로 사용하는 데이터량이 많은 대신, 상기 식별정보 DB, 이미지 DB, 사운드 DB 등을 한번 다운로드 받은 후에는 스마트기기와 관리서버 간에 무선통신이 이루어지지 않더라도 스마트기기만으로 본 발명의 (d)단계 이하를 실시할 수 있다. 이러한 제2유형 공유 방식은 본 발명 실시 서비스를 제공하는 측에서 마련한 공용 스마트기기에 적용하는 것이 유리하다.
상기 제3유형 공유 방식은 상기 제1,2유형 공유 방식의 장·단점이 혼재되어 있는 바, 무선통신 환경, 스마트기기의 제원 및 메모리 용량 등을 고려하여 유연하게 적합한 방식을 도출해 낼 수 있다.
4. (d)단계
본 (d)단계는 상기 스마트기기 또는 관리서버가, 상기 스마트기기의 카메라 렌즈로 뷰잉한 트릭아트 작품의 오브젝트 이미지를 분석하여, 상기 식별정보 DB에서 일치하는 특징점 데이터를 검색하는 단계이다.
상기 애플리캐이션 프로그램을 활성화 시킨 상태에서, [도 6]에 도시된 바와 같이 스마트기기의 카메라 렌즈로 트릭아트 작품을 뷰잉하는 경우, 상기 트릭아트 작품 내의 각종 오브젝트에서 특징점을 분석하여, 상기 식별정보 DB에서 분석된 특징점과 일치하는 특징점 데이터를 검색하는 것이다. 본 단계에서 상기 스마트기기 또는 관리서버가 디스플레이부에 현시된 장면 내 이미지의 특징점을 분석하는 알고리즘에 관한 사항은 상기 (a)단계에서 관리서버가 상기 지정 프레임의 특징점을 분석하는 알고리즘과 동일하게 설명할 수 있다.
본 (d)단계가 관리서버에 의해 수행되는 경우에는 상기 스마트기기가 뷰잉하는 장면을 상기 관리서버에 실시간으로 전송하는 과정이 선행되어야 하고, 이에 따라 상기 관리서버가 상기 식별정보 DB에서, 수신한 장면 내의 이미지를 분석한 특징점 데이터와 일치하는 특징점 데이터를 검색할 수 있게 된다.
5. (e)단계
본 (e)단계는 상기 스마트기기 또는 관리서버가, 검색된 특징점 데이터를 통해 오브젝트를 식별하여 상기 이미지 DB에서 매칭된 오브젝트 무빙 이미지를 추출하는 단계이다.
본 (e)단계가 관리서버에 의해 수행되는 경우에는 상기 관리서버가 추출한 오브젝트 무빙 이미지를 상기 스마트기기에 전송하는 과정이 함께 진행되어야 한다.
6. (f)단계
본 (f)단계는 상기 스마트기기가, 추출된 오브젝트 무빙 이미지를 상기 카메라 렌즈로 뷰잉하는 화면의 매칭되는 오브젝트 위에 오버랩핑시켜 현시하는 단계이다.
추출된 오브젝트 무빙 이미지가 매칭되는 오브젝트 위에 오버랩핑된다는 것은 스마트기기 디스플레이부에 현시된 장면 속에서 촬영되고 있는 오브젝트와 이미지가 재생된 오브젝트의 외곽선이 일치하는 상태로 나타난다는 것을 의미한다. 상기 스마트기기의 카메라 시점이 기울어지거나 높낮이가 달라지거나 트릭아트 작품과의 거리가 일정 범위 내에서 달라지더라도 상기 외곽선 일치 상태에 어긋남이 없도록 할 수 있다.
[도 7]은 본 (f)단계까지 실시되어 스마트기기에 현시된 화면을 캡처한 것이다. 스마트기기에 현시된 화면에서는 현실세계의 트릭아트 작품과 디지털 공간에 AR 이미지로 존재하는 오브젝트 무빙 이미지 및 부가 이미지가 함께 현시되며, 현실세계에서 그림 상태로 고정되어 있는 오브젝트가 스마트기기에 현시된 화면에서는 배경에서 분리되어 움직인다. 상기 무빙 이미지는 배경 이미지 레이어 위에 무빙 이미지 레이어를 중첩시켜 구성한 것이기 때문이다.
한편, 상기 (b)단계에서 상기 관리서버가 상기 오브젝트 무빙 이미지와 연계된 부가 이미지를 상기 이미지 DB에 함께 저장한 경우, 본 (f)단계에서는 상기 스마트기기가 추출된 오브젝트 무빙 이미지와 연계된 부가 이미지를 상기 카메라 렌즈로 뷰잉하는 화면의 지정된 위치에 함께 오버랩핑시켜 현시하도록 할 수 있다.
또한, 상기 (b)단계에서 상기 관리서버가 상기 오브젝트 무빙 이미지와 연계된 사운드 데이터를 사운드 DB에 함께 저장한 경우, 본 (f)단계에서는 상기 스마트기기가 추출된 오브젝트 무빙 이미지와 연계된 사운드 데이터를 재생하도록 할 수 있다. 물론, 상기 부가 이미지의 오버랩핑과 사운드 데이터의 재생이 함께 이루어지도록 할 수 있다.
7. (g)단계
본 (g)단계는 상기 스마트기기가 입력된 명령에 따라 현시되는 화면을 녹화하는 단계이다. 본 (g)단계에 의해 트릭아트 작품과 AR 이미지(오브젝트 무빙 이미지, 부가 이미지 등) 및 사운드 등이 결합되어 다양한 가상 체험을 연출한 동영상 파일이 생성된다.
8. (h)단계
본 (h)단계는 상기 스마트기기가 상기 (g)단계에서 생성된 녹화파일을 저정된 이메일 또는 SNS계정에 전송하는 단계이다. 체험자가 소유한 스마트기기를 이용하여 본 발명을 실시한 경우에는 상기 (g)단계의 실시만으로 본 발명의 체험자는 일시적인 체험상황을 영구적으로 간직할 수 있다. 다만, 본 발명 실시 서비스를 제공하는 측에서 마련한 공용 스마트기기를 이용하여 본 발명을 실시한 경우에는 본 (h)단계를 부가하여 체험자가 상기 동영상 파일을 수령할 수 있도록 할 수 있다.
본 발명은 위에서 언급한 바와 같이 첨부된 도면과 관련하여 설명되었으나, 본 발명의 요지를 벗어남이 없는 범위 내에서 다양한 수정 및 변형이 가능하며, 다양한 분야에서 사용 가능하다. 따라서 본 발명의 청구범위는 이건 발명의 진정한 범위 내에 속하는 수정 및 변형을 포함한다.
S1 : (a)단계
S2 : (b)단계
S3 : (c)단계 S4 : (d)단계
S5 : (e)단계 S6 : (f)단계
1 : 트릭아트 작품 2 : 오브젝트 이미지
3 : 특징점 4 : 오브젝트의 무빙 이미지
4-1 : 배경 이미지 레이어 4-2 : 무빙 오브젝트 이미지 레이어
5 : 부가 이미지 10 : 관리서버
11 : 식별정보 DB 12 : 이미지 DB
20 : 스마트기기
S3 : (c)단계 S4 : (d)단계
S5 : (e)단계 S6 : (f)단계
1 : 트릭아트 작품 2 : 오브젝트 이미지
3 : 특징점 4 : 오브젝트의 무빙 이미지
4-1 : 배경 이미지 레이어 4-2 : 무빙 오브젝트 이미지 레이어
5 : 부가 이미지 10 : 관리서버
11 : 식별정보 DB 12 : 이미지 DB
20 : 스마트기기
Claims (7)
- 스마트기기의 카메라 렌즈로 뷰잉하여 디스플레이부에 현시된 트릭아트 작품의 오브젝트가 움직이는 것으로 보여지도록 하는 방법으로서,
(a) 관리서버가, 트릭아트 작품의 오브젝트 이미지를 수신하고 특징점을 분석하여 특징점 데이터를 식별정보 DB에 저장하는 단계;
(b) 관리서버가, 상기 오브젝트의 무빙 이미지(moving image)를 상기 특징점 데이터에 매칭시켜 이미지 DB에 저장하는 단계;
(c) 스마트기기가, 활성화된 애플리캐이션 프로그램에 의해, 상기 관리서버와 정보 데이터를 공유하는 단계;
(d) 상기 스마트기기 또는 관리서버가, 상기 스마트기기의 카메라 렌즈로 뷰잉한 트릭아트 작품의 오브젝트 이미지를 분석하여, 상기 식별정보 DB에서 일치하는 특징점 데이터를 검색하는 단계;
(e) 상기 스마트기기 또는 관리서버가, 검색된 특징점 데이터를 통해 오브젝트를 식별하여 상기 이미지 DB에서 매칭된 오브젝트 무빙 이미지를 추출하는 단계; 및
(f) 상기 스마트기기가, 추출된 오브젝트 무빙 이미지를 상기 카메라 렌즈로 뷰잉하는 화면의 매칭되는 오브젝트 위에 오버랩핑시켜 현시하는 단계; 를 포함하는 무빙 트릭아트 구현 방법.
- 제1항에서,
상기 특징점 데이터는 상기 오브젝트 이미지의 코너점을 특징점으로 검출하는 것을 바탕으로 하는 알고리즘을 적용하여 도출하는 것을 특징으로 하는 무빙 트릭아트 구현 방법.
- 제1항에서,
상기 무빙 이미지는 배경 이미지 레이어 위에 무빙 오브젝트 이미지 레이어가 겹쳐져 구성된 것을 특징으로 하는 무빙 트릭아트 구현 방법.
- 제1항에서,
상기 (b)단계는, 상기 관리서버가, 상기 오브젝트 무빙 이미지와 연계된 부가 이미지를 상기 이미지 DB에 함께 저장하고,
상기 (f)단계는, 상기 스마트기기가, 추출된 오브젝트 무빙 이미지와 연계된 부가 이미지를 상기 카메라 렌즈로 뷰잉하는 화면의 지정된 위치에 함께 오버랩핑시켜 현시하는 것을 특징으로 하는 무빙 트릭아트 구현 방법.
- 제1항에서,
상기 (b)단계는, 상기 관리서버가, 상기 오브젝트 무빙 이미지와 연계된 사운드 데이터를 사운드 DB에 함께 저장하고,
상기 (f)단계는, 상기 스마트기기가, 추출된 오브젝트 무빙 이미지와 연계된 사운드 데이터를 재생하는 것을 특징으로 하는 무빙 트릭아트 구현 방법.
- 제1항 내지 제5항 중 어느 한 항에서,
(g) 상기 스마트기기가, 입력된 명령에 따라 현시되는 화면을 녹화하는 단계; 를 더 포함하는 것을 특징으로 하는 무빙 트릭아트 구현 방법.
- 제6항에서,
(h) 상기 스마트기기가, 상기 (g)단계에서 생성된 녹화파일을 저정된 이메일 또는 SNS계정에 전송하는 단계; 를 더 포함하는 것을 특징으로 하는 무빙 트릭아트 구현 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180021821A KR20190101620A (ko) | 2018-02-23 | 2018-02-23 | 증강현실 기술을 이용한 무빙 트릭아트 구현 방법 |
| CN201811279162.8A CN110188587A (zh) | 2018-02-23 | 2018-10-30 | 利用增强现实技术的移动幻视艺术实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180021821A KR20190101620A (ko) | 2018-02-23 | 2018-02-23 | 증강현실 기술을 이용한 무빙 트릭아트 구현 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20190101620A true KR20190101620A (ko) | 2019-09-02 |
Family
ID=67713553
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180021821A Ceased KR20190101620A (ko) | 2018-02-23 | 2018-02-23 | 증강현실 기술을 이용한 무빙 트릭아트 구현 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20190101620A (ko) |
| CN (1) | CN110188587A (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102219473B1 (ko) * | 2020-08-31 | 2021-02-24 | 주식회사 로로아트플랜 | 움직이는 트릭 아트를 포함하는 vr시스템 |
| KR102266511B1 (ko) * | 2020-08-31 | 2021-06-17 | 주식회사 로로아트플랜 | Vr 체험 선택에 의한 성격 진단 시스템을 포함하는 vr 시스템 |
| KR102300284B1 (ko) * | 2021-02-01 | 2021-09-10 | (주)브이에이커뮤니케이션즈 | 알고리즘을 이용하여 이미지를 추천하는 방법 및 그를 이용한 서버 |
| CN114733197A (zh) * | 2022-04-13 | 2022-07-12 | 网易（杭州）网络有限公司 | 游戏中的信息处理方法及装置、可读存储介质及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080114446A (ko) | 2007-06-26 | 2008-12-31 | 최해용 | 입체프레임이 구비된 영상 스크린 |
| KR20160010475A (ko) | 2013-05-14 | 2016-01-27 | 퀄컴 인코포레이티드 | 증강 현실 (ar) 캡쳐 및 플레이 |
| KR20170006233A (ko) | 2015-07-07 | 2017-01-17 | 하은주 | 미래직업 체험 맞춤형 테마파크 서비스 시스템 |
| KR20170018930A (ko) | 2014-06-14 | 2017-02-20 | 매직 립, 인코포레이티드 | 가상 및 증강 현실을 생성하기 위한 방법들 및 시스템들 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101306288B1 (ko) * | 2010-09-30 | 2013-09-09 | 주식회사 팬택 | 가상 객체를 이용한 증강 현실 제공 장치 및 방법 |
| KR20120038616A (ko) * | 2010-10-14 | 2012-04-24 | 한국전자통신연구원 | 마커리스 실감형 증강현실 제공 방법 및 시스템 |
| KR20180000012A (ko) * | 2016-06-21 | 2018-01-02 | 주식회사 로로아트플랜 | 가상현실기술을 활용한 움직이는 미술작품 |
| CN106355153B (zh) * | 2016-08-31 | 2019-10-18 | 上海星视度科技有限公司 | 一种基于增强现实的虚拟对象显示方法、装置以及系统 |
| KR101794642B1 (ko) * | 2016-09-13 | 2017-12-01 | 네오컨버전스 주식회사 | 영상을 인식하여 증강현실을 제공하는 방법 및 장치 |
| CN106815555B (zh) * | 2016-12-21 | 2020-02-14 | 深圳增强现实技术有限公司 | 一种分布式场景目标识别的增强现实方法及系统 |
-
2018
- 2018-02-23 KR KR1020180021821A patent/KR20190101620A/ko not_active Ceased
- 2018-10-30 CN CN201811279162.8A patent/CN110188587A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080114446A (ko) | 2007-06-26 | 2008-12-31 | 최해용 | 입체프레임이 구비된 영상 스크린 |
| KR20160010475A (ko) | 2013-05-14 | 2016-01-27 | 퀄컴 인코포레이티드 | 증강 현실 (ar) 캡쳐 및 플레이 |
| KR20170018930A (ko) | 2014-06-14 | 2017-02-20 | 매직 립, 인코포레이티드 | 가상 및 증강 현실을 생성하기 위한 방법들 및 시스템들 |
| KR20170006233A (ko) | 2015-07-07 | 2017-01-17 | 하은주 | 미래직업 체험 맞춤형 테마파크 서비스 시스템 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102219473B1 (ko) * | 2020-08-31 | 2021-02-24 | 주식회사 로로아트플랜 | 움직이는 트릭 아트를 포함하는 vr시스템 |
| KR102266511B1 (ko) * | 2020-08-31 | 2021-06-17 | 주식회사 로로아트플랜 | Vr 체험 선택에 의한 성격 진단 시스템을 포함하는 vr 시스템 |
| KR102300284B1 (ko) * | 2021-02-01 | 2021-09-10 | (주)브이에이커뮤니케이션즈 | 알고리즘을 이용하여 이미지를 추천하는 방법 및 그를 이용한 서버 |
| CN114733197A (zh) * | 2022-04-13 | 2022-07-12 | 网易（杭州）网络有限公司 | 游戏中的信息处理方法及装置、可读存储介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110188587A (zh) | 2019-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11488355B2 (en) | Virtual world generation engine | |
| US11182609B2 (en) | Method and apparatus for recognition and matching of objects depicted in images | |
| US10832086B2 (en) | Target object presentation method and apparatus | |
| US10685496B2 (en) | Saving augmented realities | |
| US20190333478A1 (en) | Adaptive fiducials for image match recognition and tracking | |
| CN111833458B (zh) | 图像显示方法及装置、设备、计算机可读存储介质 | |
| US20140247272A1 (en) | Image processing apparatus, method and computer program product | |
| KR20160112898A (ko) | 증강현실 기반 동적 서비스 제공 방법 및 장치 | |
| KR101889025B1 (ko) | R-cnn 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력시스템 및 출력방법 | |
| KR20190101620A (ko) | 증강현실 기술을 이용한 무빙 트릭아트 구현 방법 | |
| CN114153548A (zh) | 一种展示方法、装置、计算机设备及存储介质 | |
| CN111815782A (zh) | Ar场景内容的显示方法、装置、设备及计算机存储介质 | |
| CN111625100A (zh) | 图画内容的呈现方法、装置、计算机设备及存储介质 | |
| CN111744197B (zh) | 一种数据处理方法、装置、设备及可读存储介质 | |
| KR20160013451A (ko) | 증강현실 애플리케이션을 접목한 제품현시시스템 | |
| US20230103116A1 (en) | Content utilization platform system and method of producing augmented reality (ar)-based image output | |
| KR102671004B1 (ko) | Ar 관광 영상 기반의 관광 서비스 제공 방법, 시스템 및 이를 위한 장치 | |
| KR101754993B1 (ko) | 증강 현실을 이용한 포토존 촬영 장치 | |
| CN112288877B (zh) | 视频播放方法、装置、电子设备及存储介质 | |
| CN109523941B (zh) | 基于云识别技术的室内伴随导游方法及装置 | |
| Singh et al. | A Marker-based AR System on Image Shadowing for Tourists | |
| Kim et al. | Vision-based all-in-one solution for augmented reality and its storytelling applications | |
| KR20190112407A (ko) | 홀로포테이션 컨텐츠 운용 방법 | |
| CN109348132B (zh) | 全景拍摄方法及装置 | |
| JP2020167661A (ja) | コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20180223 |
|
| PA0201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20190311 Patent event code: PE09021S01D |
|
| PG1501 | Laying open of application | ||
| E601 | Decision to refuse application | ||
| PE0601 | Decision on rejection of patent |
Patent event date: 20190925 Comment text: Decision to Refuse Application Patent event code: PE06012S01D Patent event date: 20190311 Comment text: Notification of reason for refusal Patent event code: PE06011S01I |