KR20170112406A - 증강 현실 아바타 사진 촬영 장치 및 방법 - Google Patents

증강 현실 아바타 사진 촬영 장치 및 방법 Download PDF

Info

Publication number
KR20170112406A
KR20170112406A KR1020160039427A KR20160039427A KR20170112406A KR 20170112406 A KR20170112406 A KR 20170112406A KR 1020160039427 A KR1020160039427 A KR 1020160039427A KR 20160039427 A KR20160039427 A KR 20160039427A KR 20170112406 A KR20170112406 A KR 20170112406A
Authority
KR
South Korea
Prior art keywords
avatar
augmented reality
user
virtual avatar
photographing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
KR1020160039427A
Other languages
English (en)
Inventor
조동식
김기홍
김영희
김용선
김용완
김종성
김홍기
양웅연
전우진
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160039427A priority Critical patent/KR20170112406A/ko
Publication of KR20170112406A publication Critical patent/KR20170112406A/ko
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H04N13/0275—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—Two-dimensional [2D] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/225—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

증강 현실 상에서 아바타와의 사진 촬영 처리 시, 사용자가 포함된 실제 영상을 촬영하고, 촬영된 실제 영상에 가상 아바타를 합성하여 증강 현실을 구현하고, 가상 아바타와의 사진 촬영 명령이 입력되면 사용자와 가상 아바타가 출력된 증강 현실의 화면을 캡쳐하여 사진 촬영을 수행하되, 증강 현실 화면 상에는 실제 영상 내 사용자의 행동 패턴을 분석한 결과에 매칭된 가상 아바타의 애니메이션이 표현된다.

Description

증강 현실 아바타 사진 촬영 장치 및 방법{APPARATUS AND METHOD FOR TAKING A PICTURE WITH AVATAR IN AUGMENTED REALITY}
본 발명은 증강 현실 상에서 아바타와의 사진 촬영을 처리하는 증강 현실 아바타 사진 촬영 장치 및 방법에 관한 것이다.
증강 현실 기술은 실제 세계를 촬영한 영상에 가상의 물체를 합성하여 표시하는 기술이다. 이러한 증강 현실을 이용하여 실제 세계의 다양한 대상 또는 상황에 관련된 정보를 실제 영상의 화면에 겹쳐 나타냄으로써, 사용자는 편리하고 자연스럽게 증강 현실을 경험할 수 있다. 일반적으로, 증강 현실은 카메라가 실제 대상을 촬영한 영상에서 마커(혹은 마커리스)를 인식하고, 인식된 위치에 대응되도록 가상의 물체를 정합 및 합성하여 구현할 수 있다.
한편, 최근 들어 가상의 디지털 아바타를 증강 현실 상에서 표현하여 실제 사용자의 공간에 가시화하여 보여주는 서비스가 개발되고 있다. 이러한 증강 현실 서비스를 이용할 경우, 사용자가 만나기 힘든 인물(예를 들어, 연예인, 가상 캐릭터 및 원격지의 사람 등)을 아바타로 표현하여 증강 현실로 보여주는 서비스 등의 다양한 가상 아바타 서비스가 가능할 것으로 예상된다. 이를 통해, 가상 현실에서만이 아니라 사용자의 실제 공간 또는 생활과 연계된 가상 아바타 서비스를 제공할 수 있어 사용자들의 다양한 요구를 크게 만족시킬 수 있을 것으로 기대된다.
기존의 가상 아바타 서비스에 관련된 기술로서, 한국공개특허 제10-2003-0094753 호(발명의 명칭: 아바타 사진 촬영 방법 및 시스템)는, 인터넷을 통하여 접속 가능한 다수의 컴퓨터와 상기 컴퓨터에 할당된 아바타, 아바타 소품, 사진 배경 및 사용자 정보가 저장된 데이터베이스를 구비하는 아바타 서비스 서버로 구성된 아바타 사진 촬영 시스템에 있어서, 상기 각각의 컴퓨터는 HTML 문서를 웹페이지로 디스플레이하는 웹브라우저를 구비하며, 상기 아바타 서비스 서버는 상기 사용자, 상기 아바타, 상기 아바타 소품, 상기 사진 배경의 정보를 저장하는 데이터베이스 서버, 상기 컴퓨터에게 HTML 문서를 제공하고, 상기 아바타 사진을 촬영하는 웹서버, 상기 아바타의 이동과 관련된 데이터를 상기 다수의 컴퓨터에게 전송하는 채팅 서버 및 상기 아바타, 상기 아바타 소품 및 상기 사진 배경 이미지를 저장하여 상기 다수의 컴퓨터에 전송하는 파일 서버를 포함하는 것을 특징으로 하는 아바타 사진 촬영 시스템을 개시하고 있다.
그러나, 기존의 가상 아바타를 이용한 증강 현실 서비스의 경우, 사용자와의 관계 또는 사용자의 행동 등의 상황과 연계 없이 단순히 가상 아바타를 캐릭터로서 표시하는 정도라는 기술적 한계가 있었다. 따라서, 증강 현실 상에서 가상 아바타와 사용자 간에 상호 작용을 처리할 수 있으며, 사용자의 임의의 동작(예: 사진 촬영 등)에 대한 실감적인 동작 또는 반응 등을 처리할 수 있는 방법이 필요하다.
본 발명의 일 실시예는, 증강 현실에서 사용자와 가상 아바타 간의 상호 작용에 기반하여 사진 촬영을 수행하는 증강 현실 아바타 사진 촬영 장치 및 방법을 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일측면에 따른 증강 현실 아바타 사진 촬영 장치는, 사용자가 포함된 실제 영상을 촬영하는 촬영부; 상기 촬영된 실제 영상에 가상 아바타를 합성하여 증강 현실을 구현하는 증강 현실 처리부; 및 상기 가상 아바타를 생성하여 상기 증강 현실 처리부로 제공하고, 상기 실제 영상 내 상기 사용자의 행동 패턴을 분석하고, 상기 분석의 결과에 매칭된 상기 가상 아바타의 애니메이션이 상기 증강 현실 상에서 표현되도록 처리하는 반응형 아바타 구현부를 포함한다.
이때, 상기 증강 현실 처리부는, 사용자가 상기 가상 아바타와의 사진 촬영 명령을 입력할 수 있도록 하는 사용자 인터페이스를 제공하고, 상기 사용자 인터페이스를 통해 상기 가상 아바타와의 사진 촬영 명령이 입력되면 상기 사용자와 상기 가상 아바타가 출력된 상기 증강 현실의 화면을 캡쳐하여 사진 촬영을 수행한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 증강 현실 상에 가상 아바타를 가시화하되, 가상 아바타가 사용자의 제스처 및 환경 상황 등을 인지하여 동작함으로써 사용자에게 좀 더 실감적인 증강 현실 서비스를 제공할 수 있다.
그리고, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 사용자의 의도에 따른 증강 현실 상에서의 가상 아바타의 동작 표현이 가능하며, 이를 통해 가상 아바타와 실제 사용자가 임의의 동작을 상호적으로 수행함으로써 사용자는 가상 아바타와의 동작을 실제 사람과 하는 동작인 것처럼 자연스럽게 활용할 수 있다.
또한, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 사용자 모바일 기기 상에 편리하게 증강 현실 아바타 사진 촬영 기능을 구현할 수 있으며, 이를 통해 장소 및 시간에 구애 받지 않고 사용자가 원하는 촬영 환경에서 원하는 캐릭터(예: 가상 아바타로 구현된 인물)와의 사진 촬영이 가능하다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 아바타 사진 촬영 장치의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 반응형 아바타 구현부의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 증강 현실 아바타 사진 촬영 방법을 설명하기 위한 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가급적 동일한 부호를 부여하고, 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있는 경우에는 그 상세한 설명은 생략한다.
이하에서는, 도면을 참조하여 본 발명의 일 실시예에 따른 증강 현실 상에서의 가상 아바타와의 사진 촬영을 처리하는 증강 현실 아바타 사진 촬영 장치 및 그 방법에 대하여 상세히 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 아바타 사진 촬영 장치의 구성을 나타낸 블록도이다.
본 발명의 일 실시예에 따른 증강 현실 아바타 사진 촬영 장치(100)는 휴대성 및 이동성이 보장된 무선 통신 장치, 또는 휴대용 단말기에 인터넷 통신과 정보 검색 등 컴퓨터 지원 기능을 추가한 지능형 단말기(즉, 스마트 기기)일 수 있다. 본 발명의 일 실시예에서는 증강 현실 아바타 사진 촬영 장치(100)가 사용자가 원하는 다수의 응용 프로그램(즉, 애플리케이션)을 설치하여 실행할 수 있는 스마트 폰(smartphone)인 것을 예로서 설명하도록 한다. 그러나, 증강 현실 아바타 사진 촬영 장치(100)의 종류는 이에 한정되지 않으며, 노트북 및 태블릿 PC 등 촬영 기능을 지원하고 증강 현실 구현이 가능한 모든 종류의 장치일 수 있다.
증강 현실 아바타 사진 촬영 장치(100)는 증강 현실 상에 사용자의 제스처 및 환경 인지에 기반하여 동작하는 반응형 아바타를 구현하고, 이러한 반응형 아바타와 사용자 간의 증강 현실 내 사진 촬영을 처리한다. 이때, 증강 현실 아바타 사진 촬영 장치(100)는 임의의 사용자를 포함하는 실제 영상 및 실제 영상에 대한 가상 아바타 매칭 정보에 기반하여, 반응형 아바타 구현 및 증강 현실 내 사진 촬영 기능을 구동한다.
이를 위해, 증강 현실 아바타 사진 촬영 장치(100)에는 증강 현실 콘텐츠를 구동하는 컴퓨팅 시스템이 구축되거나 또는 프로그램이 설치된다.
구체적으로 도 1에 도시한 바와 같이, 증강 현실 아바타 사진 촬영 장치(100)는 촬영부(110), 증강 현실 처리부(120) 및 반응형 아바타 구현부(130)를 포함한다.
촬영부(110)는 증강 현실 아바타 사진 촬영 장치(100)에 구비된 촬영 소자를 통해 실제 세계의 장면을 촬영하고, 촬영된 영상을 화면에 출력한다. 이때, 촬영부(110)는 사용자가 포함된 장면을 촬영한다.
도 1에서는 촬영부(110)가 제1 사용자(200)가 포함된 장면을 촬영하는 것을 예로서 나타내었다. 참고로, 제1 사용자(200)는 증강 현실 상의 가상 아바타와의 사진 촬영을 원하는 사용자로서, 촬영부(110)가 실제 촬영하는 대상을 의미한다. 이때, 제1 사용자(200)가 취한 행동(즉, 제스처 또는 모션 등)에 의한 정보(이하, '사용자 행동 패턴'이라고 지칭함)는 증강 현실 상에서 가상 아바타의 동작 또는 반응을 제어하기 위한 상호 작용 정보로서 생성된다.
증강 현실 처리부(120)는 촬영부(110)를 통해 촬영된 실제 영상에 가상 아바타를 합성하여 표현함으로써 증강 현실을 구현한다.
증강 현실 처리부(120)는 사용자가 가상 아바타 사진 촬영 기능을 사용하기 위한 각종 정보를 입력할 수 있는 사용자 인터페이스(User Interface)를 제공한다. 이러한 사용자 인터페이스는 촬영부(110) 및 반응형 아바타 구현부(130)와 연동된다.
구체적으로, 상기 사용자 인터페이스는 사용자가 일반적인 영상 촬영 및 증강 현실 아바타와의 사진 촬영에 관련된 각종 선택을 입력할 수 있도록 하는 입력 인터페이스를 포함한다. 이에 따라, 사용자는 상기 사용자 인터페이스를 통해, 촬영부(110)를 통해 영상을 촬영할 수 있고, 자신이 원하는 가상 아바타를 선택하여 모델링할 수 있으며, 모델링된 가상 아바타가 실제 영상에 합성된 증강 현실이 처리되도록 할 수 있다.
도 1에서는 제2 사용자(300)가 상기 사용자 인터페이스를 통해 영상 촬영 제어, 증강 현실 기능 선택, 가상 아바타 선택 및 사진 촬영 기능 선택 등의 각종 입력을 수행하는 것을 나타내었다. 참고로, 제2 사용자(300)는 증강 현실 아바타 사진 촬영 장치(100)가 구현된 스마트 폰을 직접 조작하여 영상 촬영 및 증강 현실 아바타 사진 촬영 기능이 구동되도록 제어하는 사용자를 의미한다.
다만, 도 1에서 제1 및 제2 사용자(200, 300)를 구분하여 표시한 것은 설명의 편의를 위한 것으로서, 사용자의 수 및 자격은 제한되지 않는다. 즉, 제1 및 제2 사용자(200, 300)는 구분된 사용자가 아닌 한 명의 사용자일 수 있다. 또한, 실제 영상을 촬영하는 프레임 내에 두 명 이상의 사용자가 포함되는 것도 가능하다. 예를 들어, 임의의 사용자가 스마트 폰에 구비된 전면 또는 후면 카메라를 사용하여 실제 영상이 촬영되도록 직접 조작하면서, 증강 현실 상에서 자신과 가상 아바타가 포함된 사진 촬영 또한 직접 조작할 수 있다.
증강 현실 처리부(120)는 실제 영상에 대해 마커 트래킹을 처리하고, 마커 트래킹을 통해 검출된 목표 위치에 가상 아바타가 표시되도록 이미지 정합 및 합성을 처리한다. 이때, 증강 현실 처리부(120)는 촬영된 실제 영상에서 임의의 마커를 검출하는 마커 트래킹 방식을 사용할 수 있으며, 마커리스 트래킹 방식을 사용할 수도 있다. 그리고 증강 현실 처리부(120)는 촬영된 실제 영상의 화면 내 포함된 임의의 사용자의 위치에 기초하여 마커 트래킹을 처리할 수도 있다. 예를 들어, 증강 현실 처리부(120)는 실제 영상 내 사용자의 위치와 근접한 위치(예를 들어, 소정의 거리만큼 이격된 위치)에 가상 아바타를 합성할 수 있다.
한편, 증강 현실 처리부(120)는 반응형 아바타 구현부(130)에 의해 생성된 반응형 가상 아바타를 실제 영상에 합성하여 증강 현실을 구현한다. 이때, 증강 현실 처리부(120)는 반응형 아바타 구현부(130)로부터 가상 아바타 데이터 및 가상 아바타의 애니메이션(즉, 동작 및 반응 등) 데이터를 수신한다. 그리고 증강 현실 처리부(120)는 상기 사용자 인터페이스를 통해 사용자가 가상 아바타와의 사진 촬영 기능을 선택할 경우, 해당 시점의 출력 화면을 캡쳐하여 사진 촬영을 수행한다. 이와 같이 촬영된 사진(즉, 증강 현실 아바타와 사용자가 포함된 사진)은 화면 상에 출력된 후 자동으로 또는 사용자의 선택에 따라 저장될 수 있다.
반응형 아바타 구현부(130)는 사용자와의 사진 촬영에 활용되는 가상 아바타를 생성한다. 이때, 반응형 아바타 구현부(130)는 촬영 대상인 사용자(즉, 제1 사용자(200))의 행동 또는 상황에 기초하여 생성된 상호 작용 정보에 매칭되는 가상 아바타의 애니메이션을 처리함으로써 반응형 가상 아바타를 구현한다.
이하, 도 2 및 도 3을 참조하여 본 발명의 일 실시예에 따른 반응형 아바타 구현부(130)의 구성 및 동작에 대해서 상세히 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 반응형 아바타 구현부의 구성을 나타낸 블록도이다.
도 2에서와 같이, 반응형 아바타 구현부(130)는 가상 아바타 생성부(131), 3D 모델 데이터베이스(132), 애니메이션 데이터베이스(133), 사용자 행동 패턴 분석부(134) 및 행동 패턴 데이터베이스(135)를 포함한다.
3D 모델 DB(132)에는 가상 아바타를 3D로 모델링할 수 있는 3D 모델 데이터가 저장된다. 이때, 3D 모델 DB(132)에는 다양한 종류의 가상 아바타가 3D 모델링이 완료된 상태(즉, 가상 아바타 모델)로 저장되거나, 조합을 통해 새로운 가상 아바타를 모델링할 수 있도록 하는 각종 데이터들이 저장될 수 있다. 또한, 3D 모델 DB(132)에는 애니메이션 DB(133)에 저장된 가상 아바타의 각종 동작 및 반응을 실제적으로 표현하기 위한 가상 아바타의 3D 구현 데이터가 저장된다.
애니메이션 DB(133)에는 가상 아바타의 각종 동작 및 반응을 구현하는 애니메이션 데이터가 저장된다. 이때, 애니메이션 DB(133)에는 사용자 행동 패턴에 기초한 상호 작용 정보 별로 하나 이상의 애니메이션이 매칭되어 저장될 수 있다.
가상 아바타 생성부(131)는 3D 모델 DB(132) 및 애니메이션 DB(133) 각각으로부터 데이터를 획득하고, 획득된 데이터의 결합에 의해 표현되는 반응형 아바타(즉, 가상 아바타)를 생성한다. 그리고 가상 아바타 생성부(131)는 생성된 반응형 아바타를 증강 현실 화면에 표시하기 위한 데이터를 증강 현실 처리부(120)로 전달한다.
구체적으로, 가상 아바타 생성부(131)는 실제 영상에 활용하여 증강 현실을 구현하기 위한 가상 아바타를 생성한다. 이때, 가상 아바타 생성부(131)는 사용자의 선택 정보에 기초하거나, 사전에 기본 아바타로 설정된 가상 아바타를 생성하여 증강 현실 처리부(120)로 제공할 수 있다. 사용자가 선택한 가상 아바타를 생성할 경우, 가상 아바타 생성부(131)는 증강 현실 처리부(120)가 제공한 사용자 인터페이스를 통해 입력된 사용자의 가상 아바타 선택 정보에 기초하여 가상 아바타를 생성한다. 이때, 가상 아바타 생성부(131)는 상기 사용자 인터페이스를 통해 다양한 가상 아바타 모델에 대한 정보를 제공하고, 제공된 가상 아바타 모델 중 어느 하나에 대한 사용자의 선택을 입력 받을 수 있다.
또한, 가상 아바타 생성부(131)는 사용자 행동 패턴 분석부(134)의 분석 결과를 수신하고, 상기 분석 결과에 매칭된 가상 아바타의 애니메이션이 증강 현실 상에서 표현되도록 처리한다.
이때, 가상 아바타 생성부(131)은 사용자 행동 패턴 분석부(134)로부터 상호 작용 정보를 수신하고, 애니메이션 DB(133)로부터 상호 작용 정보에 매칭된 애니메이션 데이터를 획득한다. 그리고 가상 아바타 생성부(131)는 3D 모델 DB(132)에 저장된 가상 아바타의 3D 구현 데이터와 상기 획득된 애니메이션 데이터를 사용하여 가상 아바타의 애니메이션에 따른 표현을 처리한다.
행동 패턴 DB(135)에는 사전에 정의된 사용자 행동 패턴을 기반으로 학습된 정보 데이터들이 저장된다. 즉, 행동 패턴 DB(135)에는 도 1의 제1 사용자(200)가 사전에 행동하거나 처했던 상황에 따른 행동 패턴 학습 데이터가 저장된 상태이다. 행동 패턴 DB(135)에는 복수의 사용자 별 사용자 행동 패턴 학습 데이터가 저장될 수 있다. 이처럼, 행동 패턴 DB(135)에 저장된 행동 패턴 학습 데이터에 기초하여, 증강 현실 상에서 사용자의 행동 특성을 구별할 수 있다.
사용자 행동 패턴 분석부(134)는 촬영부(110)를 통해 촬영된 실제 영상을 획득하고, 획득된 실제 영상을 이미지 처리하여 사용자 행동 패턴을 검출한다. 이때, 사용자 행동 패턴 분석부(134)는 행동 패턴 DB(135)에 저장된 데이터에 따라 사용자 행동 패턴을 분석한다. 그리고, 사용자 행동 패턴 분석부(134)는 증강 현실 상에서의 사용자 행동 패턴을 분석한 결과에 기초하여 사용자의 의도를 인지하여 상호 작용 정보로서 생성한다. 그리고, 사용자 행동 패턴 분석부(134)는 생성된 상호 작용 정보를 가상 아바타 생성부(131)로 전달한다. 이에 따라, 가상 아바타 생성부(131)는 분석된 사용자의 의도에 매칭된 아바타 동작 또는 반응을 결정하고, 결정된 결과에 기초하여 가상 아바타의 애니메이션을 처리한다.
증강 현실 상에서 사용자가 가상 아바타와의 상호 작용을 위한 임의의 모션을 취할 경우, 사용자의 행동 패턴은 다양한 특성 조건에 따라 분석될 수 있다. 이때, 특성 조건은 사용자가 모션을 취한 방향, 모션이 발생된 신체 부위, 신체 부위의 움직임 정도, 실제 영상 내 사용자와 가상 아바타 간의 거리, 및 사용자가 모션을 취하는 속도 등의 다양한 조건으로 설정될 수 있다.
예를 들어, 실제 영상 내에서 촬영 중인 사용자가 '허그' 모션을 취할 경우, 이는 스마트 폰에 상호 작용 의도로서 입력된다. 이에 따라, 사용자 행동 패턴 분석부(134)는 해당 사용자 모션에 따른 특성 조건 값들에 기초하여 행동 패턴 DB(135)에 저장된 사용자 행동 패턴 중 매칭되는 패턴을 검출한다. 그리고 사용자 행동 패턴 분석부(134)는 검출된 행동 패턴에 매칭된 사용자 의도로서 '허그'를 인식한다. 그리고, 사용자 행동 패턴 분석부(134)는 상호 작용 정보로서 '허그'에 대응된 정보를 생성하여 가상 아바타 생성부(131)로 전달한다. 이에 따라, 가상 아바타 생성부(131)는 사전에 설정된 가상 아바타의 다양한 애니메이션 동작 중 '허그'에 매칭된 애니메이션을 표현한다. 이 경우, 가상 아바타가 사용자가 허그를 취한 방향을 향해 함께 허그를 하는 애니메이션을 처리할 수 있다. 이처럼, 증강 현실 상에서 발생된 사용자의 행동 및 상황을 실시간으로 인지하여 그에 대응하는 가상 아바타의 애니메이션이 표현될 수 있다. 또한, 사용자와 가상 아바타 간의 상호 작용에 따라 더욱 실감적인 증강 현실을 제공할 수 있으며, 이러한 증강 현실의 화면을 캡쳐함으로써 실제 사용자와 가상 아바타 간의 사진 촬영이 가능하다.
한편, 본 발명의 일 실시예에 따른 증강 현실 아바타 사진 촬영 장치(100)에서 증강 현실 콘텐츠를 구동하는 컴퓨팅 시스템은, 일종의 프로그램일 수 있으며, 응용 애플리케이션의 형태로 증강 현실 아바타 사진 촬영 장치(100) 상에 설치 또는 탑재될 수 있다.
이때, 이상에서 설명한 본 발명의 일 실시예에 따른 증강 현실 아바타 사진 촬영 장치(100)는 촬영 장치(미도시), 메모리(미도시) 및 프로세서(미도시)를 포함하는 형태로 구현될 수 있다.
메모리(미도시)에는, 앞서 설명한 반응형 가상 아바타의 생성 및 구현 처리와, 반응형 가상 아바타를 실제 영상에 합성 표시하여 증강 현실을 구현하는 일련의 동작 및 알고리즘을 포함하는 프로그램이 저장된다. 이때, 메모리(미도시)에 저장된 프로그램은, 도 1 내지 도 2에서 설명한 증강 현실 아바타 사진 촬영 장치(100)의 각 구성이 처리하는 모든 동작이 하나로 구현된 프로그램이거나 또는, 각 구성 별 동작을 별도로 처리하는 복수의 프로그램들이 서로 연동되는 것일 수 있다.
프로세서(미도시)는 메모리(미도시)에 저장된 프로그램을 실행시킨다. 이처럼, 프로세서(미도시)가 프로그램을 실행시킴에 따라, 앞서 설명한 증강 현실 아바타 사진 촬영 장치(100)의 각 구성이 처리하는 동작들 및/또는 알고리즘들이 수행될 수 있다.
참고로, 증강 현실 아바타 사진 촬영 장치(100)의 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다. 그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 일 예로서, 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.
이하에서는, 도 3을 참조하여 본 발명의 일 실시예에 따른 증강 현실 아바타 사진 촬영 장치(100)를 통한 증강 현실에서 반응형 가상 아바타와의 사진 촬영 방법을 상세히 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 증강 현실 아바타 사진 촬영 방법을 설명하기 위한 순서도이다.
이하에서는 별도의 언급이 없는 한, 본 발명의 실시예에 따른 증강 현실 아바타 사진 촬영 장치(100)에서 동작하는 것으로 간주한다.
먼저, 스마트 폰의 카메라을 통해 실제의 장면을 촬영하여 실제 영상을 출력한다(S310).
이때, 실제 영상에는 임의의 사용자가 촬영되어 포함된 상태이다.
다음으로, 실제 영상에 가상 아바타를 합성하여 표시함으로써 증강 현실을 구현한다(S320).
이를 위해, 촬영된 실제 영상에 대해 마커 트래킹 기법을 사용할 수 있다. 이러한 마커 트래킹을 수행하면, 매칭된 가상 아바타가 영상 속에서 합성된 위치에 나타나게 된다.
한편, 가상 아바타를 합성하기에 앞서, 사용자가 원하는 가상 아바타를 선택할 수 있도록 사용자 인터페이스를 제공하는 단계, 및 사용자 인터페이스를 통해 선택된 가상 아바타를 모델링하여 생성하는 단계를 더 수행하는 것도 가능하다. 이를 통해, 사용자는 사진 촬영을 원하는 인물 또는 캐릭터 등을 가상 아바타로서 선택할 수 있다.
그런 다음, 상기 증강 현실이 구현된 상태에서 실제 영상 내의 사용자의 행동 패턴을 실시간으로 분석하여 사용자의 의도를 인지한다(S330).
사용자의 행동 패턴은 사전에 학습된 행동 패턴 데이터에 기초하여 분석될 수 있다. 또한, 기설정된 다양한 사용자 의도 중 상기 분석된 결과에 따른 의도를 검출하여 현재 사용자 행동 패턴에 대응하는 사용자 의도를 인지할 수 있다.
그런 후, 인지된 사용자의 의도에 매칭된 가상 아바타 애니메이션을 처리한다(S340).
이러한 가상 아바타 애니메이션은, 현재 실제 영상에 합성된 상태인 가상 아바타의 다양한 동작 또는 반응으로 표현될 수 있다. 이처럼, 실제 사용자의 행동 및 상황에 따라 가상 아바타의 동작 또는 반응이 발생되도록 하여, 실제 사용자와 가상 아바타 간의 상호 작용이 가능한 증강 현실을 구현할 수 있다.
다음으로, 실제 사용자와 가상 아바타 간의 상호 작용에 기반한 증강 현실의 화면을 캡쳐하여 사진 촬영을 수행한다(S350).
이때, 아바타와의 사진 촬영을 수행하기에 앞서, 사용자가 사진 촬영 명령을 입력할 수 있도록 하는 사용자 인터페이스를 제공하는 단계를 먼저 수행할 수 있다. 그리고, 사용자 인터페이스를 통해 사진 촬영 명령이 입력된 시점의 증강 현실 화면을 캡쳐(또는 촬영)한다. 이처럼, 촬영된 실제 사용자와 가상 아바타가 포함된 사진을 화면에 출력한 후 자동으로 또는 사용자 선택에 따라 저장할 수 있다.
이상에서 설명한 본 발명의 일 실시예에 따른 증강 현실 아바타 사진 촬영 장치(100)를 통한 증강 현실에서 가상 아바타와의 사진 촬영 방법은, 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
이상, 본 발명의 바람직한 실시예를 통하여 본 발명의 구성을 상세히 설명하였으나, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 명세서에 개시된 내용과는 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 증강 현실 아바타 사진 촬영 장치
110: 촬영부
120: 증강 현실 처리부
130: 반응형 아바타 구현부

Claims (1)

  1. 증강 현실 아바타 사진 촬영 장치에 있어서,
    사용자가 포함된 실제 영상을 촬영하는 촬영부;
    상기 촬영된 실제 영상에 가상 아바타를 합성하여 증강 현실을 구현하는 증강 현실 처리부; 및
    상기 가상 아바타를 생성하여 상기 증강 현실 처리부로 제공하고, 상기 실제 영상 내 상기 사용자의 행동 패턴을 분석하고, 상기 분석의 결과에 매칭된 상기 가상 아바타의 애니메이션이 상기 증강 현실 상에서 표현되도록 처리하는 반응형 아바타 구현부를 포함하며,
    상기 증강 현실 처리부는,
    사용자가 상기 가상 아바타와의 사진 촬영 명령을 입력할 수 있도록 하는 사용자 인터페이스를 제공하고, 상기 사용자 인터페이스를 통해 상기 가상 아바타와의 사진 촬영 명령이 입력되면 상기 사용자와 상기 가상 아바타가 출력된 상기 증강 현실의 화면을 캡쳐하여 사진 촬영을 수행하는 증강 현실 아바타 사진 촬영 장치.
KR1020160039427A 2016-03-31 2016-03-31 증강 현실 아바타 사진 촬영 장치 및 방법 Withdrawn KR20170112406A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160039427A KR20170112406A (ko) 2016-03-31 2016-03-31 증강 현실 아바타 사진 촬영 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160039427A KR20170112406A (ko) 2016-03-31 2016-03-31 증강 현실 아바타 사진 촬영 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20170112406A true KR20170112406A (ko) 2017-10-12

Family

ID=60141148

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160039427A Withdrawn KR20170112406A (ko) 2016-03-31 2016-03-31 증강 현실 아바타 사진 촬영 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20170112406A (ko)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109348132A (zh) * 2018-11-20 2019-02-15 北京小浪花科技有限公司 全景拍摄方法及装置
WO2019156332A1 (ko) * 2018-02-06 2019-08-15 (주)페르소나시스템 증강현실용 인공지능 캐릭터의 제작 장치 및 이를 이용한 서비스 시스템
CN111627117A (zh) * 2020-06-01 2020-09-04 上海商汤智能科技有限公司 画像展示特效的调整方法、装置、电子设备及存储介质
KR20200108484A (ko) * 2018-03-12 2020-09-18 라인플러스 주식회사 뉴럴 네트워크를 이용하여 상황을 인지하는 증강 현실 제공 장치, 제공 방법 및 상기 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램
CN112034986A (zh) * 2020-08-31 2020-12-04 深圳传音控股股份有限公司 基于ar的交互方法、终端设备以及可读存储介质
US10977873B2 (en) 2018-02-23 2021-04-13 Samsung Electronics Co., Ltd. Electronic device for generating image including 3D avatar reflecting face motion through 3D avatar corresponding to face and method of operating same
KR102243064B1 (ko) * 2019-10-22 2021-04-21 주식회사 다윈테크 증강현실 이미지 생성 시스템
KR20220011906A (ko) * 2020-07-22 2022-02-03 건국대학교 글로컬산학협력단 증강현실을 이용한 소셜 네트워크 서비스 제공 장치
KR20220124285A (ko) * 2018-05-07 2022-09-13 애플 인크. 크리에이티브 카메라
US11962889B2 (en) 2016-06-12 2024-04-16 Apple Inc. User interface for camera effects
US12008230B2 (en) 2020-05-11 2024-06-11 Apple Inc. User interfaces related to time with an editable background
US12033296B2 (en) 2018-05-07 2024-07-09 Apple Inc. Avatar creation user interface
US12081862B2 (en) 2020-06-01 2024-09-03 Apple Inc. User interfaces for managing media
US12101567B2 (en) 2021-04-30 2024-09-24 Apple Inc. User interfaces for altering visual media
US12155925B2 (en) 2020-09-25 2024-11-26 Apple Inc. User interfaces for media capture and management
US12170834B2 (en) 2018-05-07 2024-12-17 Apple Inc. Creative camera
US12184969B2 (en) 2016-09-23 2024-12-31 Apple Inc. Avatar creation and editing
US12192617B2 (en) 2019-05-06 2025-01-07 Apple Inc. User interfaces for capturing and managing visual media
US12223612B2 (en) 2010-04-07 2025-02-11 Apple Inc. Avatar editing environment
US12287913B2 (en) 2022-09-06 2025-04-29 Apple Inc. Devices, methods, and graphical user interfaces for controlling avatars within three-dimensional environments
US12314553B2 (en) 2017-06-04 2025-05-27 Apple Inc. User interface camera effects
US12394077B2 (en) 2018-09-28 2025-08-19 Apple Inc. Displaying and editing images with depth information
US12482161B2 (en) 2019-01-18 2025-11-25 Apple Inc. Virtual avatar animation based on facial feature movement

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12223612B2 (en) 2010-04-07 2025-02-11 Apple Inc. Avatar editing environment
US12132981B2 (en) 2016-06-12 2024-10-29 Apple Inc. User interface for camera effects
US11962889B2 (en) 2016-06-12 2024-04-16 Apple Inc. User interface for camera effects
US12184969B2 (en) 2016-09-23 2024-12-31 Apple Inc. Avatar creation and editing
US12314553B2 (en) 2017-06-04 2025-05-27 Apple Inc. User interface camera effects
WO2019156332A1 (ko) * 2018-02-06 2019-08-15 (주)페르소나시스템 증강현실용 인공지능 캐릭터의 제작 장치 및 이를 이용한 서비스 시스템
US12277665B2 (en) 2018-02-23 2025-04-15 Samsung Electronics Co., Ltd. Electronic device for generating image including 3D avatar reflecting face motion through 3D avatar corresponding to face and method of operating same
US10977873B2 (en) 2018-02-23 2021-04-13 Samsung Electronics Co., Ltd. Electronic device for generating image including 3D avatar reflecting face motion through 3D avatar corresponding to face and method of operating same
US11798246B2 (en) 2018-02-23 2023-10-24 Samsung Electronics Co., Ltd. Electronic device for generating image including 3D avatar reflecting face motion through 3D avatar corresponding to face and method of operating same
KR20200108484A (ko) * 2018-03-12 2020-09-18 라인플러스 주식회사 뉴럴 네트워크를 이용하여 상황을 인지하는 증강 현실 제공 장치, 제공 방법 및 상기 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램
US12340481B2 (en) 2018-05-07 2025-06-24 Apple Inc. Avatar creation user interface
KR20220124285A (ko) * 2018-05-07 2022-09-13 애플 인크. 크리에이티브 카메라
US12033296B2 (en) 2018-05-07 2024-07-09 Apple Inc. Avatar creation user interface
US12170834B2 (en) 2018-05-07 2024-12-17 Apple Inc. Creative camera
US12394077B2 (en) 2018-09-28 2025-08-19 Apple Inc. Displaying and editing images with depth information
CN109348132A (zh) * 2018-11-20 2019-02-15 北京小浪花科技有限公司 全景拍摄方法及装置
US12482161B2 (en) 2019-01-18 2025-11-25 Apple Inc. Virtual avatar animation based on facial feature movement
US12192617B2 (en) 2019-05-06 2025-01-07 Apple Inc. User interfaces for capturing and managing visual media
KR102243064B1 (ko) * 2019-10-22 2021-04-21 주식회사 다윈테크 증강현실 이미지 생성 시스템
US12008230B2 (en) 2020-05-11 2024-06-11 Apple Inc. User interfaces related to time with an editable background
US12099713B2 (en) 2020-05-11 2024-09-24 Apple Inc. User interfaces related to time
US12422977B2 (en) 2020-05-11 2025-09-23 Apple Inc. User interfaces with a character having a visual state based on device activity state and an indication of time
US12081862B2 (en) 2020-06-01 2024-09-03 Apple Inc. User interfaces for managing media
CN111627117B (zh) * 2020-06-01 2024-04-16 上海商汤智能科技有限公司 画像展示特效的调整方法、装置、电子设备及存储介质
CN111627117A (zh) * 2020-06-01 2020-09-04 上海商汤智能科技有限公司 画像展示特效的调整方法、装置、电子设备及存储介质
KR20220011906A (ko) * 2020-07-22 2022-02-03 건국대학교 글로컬산학협력단 증강현실을 이용한 소셜 네트워크 서비스 제공 장치
CN112034986A (zh) * 2020-08-31 2020-12-04 深圳传音控股股份有限公司 基于ar的交互方法、终端设备以及可读存储介质
US12155925B2 (en) 2020-09-25 2024-11-26 Apple Inc. User interfaces for media capture and management
US12101567B2 (en) 2021-04-30 2024-09-24 Apple Inc. User interfaces for altering visual media
US12287913B2 (en) 2022-09-06 2025-04-29 Apple Inc. Devices, methods, and graphical user interfaces for controlling avatars within three-dimensional environments

Similar Documents

Publication Publication Date Title
KR20170112406A (ko) 증강 현실 아바타 사진 촬영 장치 및 방법
EP4246287A1 (en) Method and system for displaying virtual prop in real environment image, and storage medium
EP2956843B1 (en) Human-body-gesture-based region and volume selection for hmd
KR20210046591A (ko) 증강 현실 데이터 제시 방법, 장치, 전자 기기 및 저장 매체
KR20230107844A (ko) 개인화된 아바타 실시간 모션 캡처
KR20230096043A (ko) 실시간 3d 신체 모션 캡처로부터의 사이드-바이-사이드 캐릭터 애니메이션
US20250264939A1 (en) Head-mounted display
CN114299271B (zh) 三维建模方法、三维建模装置、电子设备和可读存储介质
CN113806054A (zh) 任务处理方法及装置、电子设备和存储介质
EP3062203A2 (en) Three-dimensional virtualization
CN113289327A (zh) 移动终端的显示控制方法及装置、存储介质及电子设备
CN114327063B (zh) 目标虚拟对象的交互方法、装置、电子设备及存储介质
JP2022500795A (ja) アバターアニメーション
US12079903B1 (en) Real screens in extended reality
CN110837766A (zh) 手势识别方法、手势处理方法及装置
CN108353151A (zh) 目标设备的控制方法和装置
CN115278084A (zh) 图像处理方法、装置、电子设备及存储介质
CN114500844A (zh) 拍摄方法、装置和电子设备
CN114359471A (zh) 脸部图像的处理方法、装置和系统
CN118012265A (zh) 人机交互方法、装置、设备和介质
CN117765600A (zh) 手部关键点预测模型训练方法、预测方法及装置
KR20110049162A (ko) 휴대용 영상 처리기에서 가상 입출력 장치 및 방법
KR102884147B1 (ko) 버추얼 프로덕션을 기반한 디지털 콘텐츠 제작 시스템과 방법 및 이를 위한 컴퓨터 프로그램
CN114584704A (zh) 拍摄方法、装置和电子设备
EP4682684A1 (en) Systems, apparatuses, methods, and computer program products for display stabilization

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160331

PG1501 Laying open of application
PC1203 Withdrawal of no request for examination