KR20130138533A - 아이콘텍이 가능한 3차원 원격회의 장치 및 이를 이용한 방법 - Google Patents

아이콘텍이 가능한 3차원 원격회의 장치 및 이를 이용한 방법 Download PDF

Info

Publication number
KR20130138533A
KR20130138533A KR1020120062200A KR20120062200A KR20130138533A KR 20130138533 A KR20130138533 A KR 20130138533A KR 1020120062200 A KR1020120062200 A KR 1020120062200A KR 20120062200 A KR20120062200 A KR 20120062200A KR 20130138533 A KR20130138533 A KR 20130138533A
Authority
KR
South Korea
Prior art keywords
image
participant
depth
dimensional
icontec
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020120062200A
Other languages
English (en)
Other versions
KR101350996B1 (ko
Inventor
유범재
이은경
이지용
조재희
김신영
Original Assignee
재단법인 실감교류인체감응솔루션연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 실감교류인체감응솔루션연구단 filed Critical 재단법인 실감교류인체감응솔루션연구단
Priority to KR1020120062200A priority Critical patent/KR101350996B1/ko
Priority to EP12861050.8A priority patent/EP2860969B1/en
Priority to JP2014521546A priority patent/JP5839427B2/ja
Priority to US13/885,998 priority patent/US9077974B2/en
Priority to PCT/KR2012/005371 priority patent/WO2013187551A1/ko
Publication of KR20130138533A publication Critical patent/KR20130138533A/ko
Application granted granted Critical
Publication of KR101350996B1 publication Critical patent/KR101350996B1/ko
Assigned to 한국과학기술연구원 reassignment 한국과학기술연구원 권리의 전부이전등록 Assignors: 재단법인 실감교류인체감응솔루션연구단
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two two-dimensional [2D] image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Telephonic Communication Services (AREA)

Abstract

아이콘텍이 가능한 3차원 원격회의 장치 및 방법이 개시된다. 본 발명에 따른 아이콘텍이 가능한 3차원 원격회의 장치는 피사체인 화상회의 참가자를 촬영한 촬영 영상 및 네트워크를 통하여 수신된 상기 화상회의의 상대방에 해당하는 영상을 고려하여 카메라들을 실시간 조작하여 깊이 영상들 및 컬러 영상들을 획득하는 영상 획득부; 상기 깊이 영상들 및 컬러 영상들을 이용하여 아이콘텍을 위한 상기 참가자의 정면 얼굴에 상응하는 최종 깊이 영상 및 최종 컬러 영상을 생성하는 정면얼굴 생성부; 및 상기 상대방에 상응하는 3차원 영상을 생성하여 디스플레이 장치에 표시하는 3D 영상 생성부를 포함한다.

Description

아이콘텍이 가능한 3차원 원격회의 장치 및 이를 이용한 방법 {3D VIDEO-TELECONFERENCING APPARATUS CAPABLE OF EYE CONTACT AND METHOD USING THE SAME}
본 발명은 3차원 원격회의 시스템에 관한 것으로, 특히 원격지의 두 회의 참가자가 서로의 3차원 정면 얼굴을 보며 아이콘텍(eye-contact)을 하고 서로 실시간으로 상호작용할 수 있는 원격회의 시스템 및 이를 이용한 방법에 관한 것이다.
최근 멀티미디어 통신 서비스가 대중화되어감에 따라 지역적으로 멀리 떨어진 상대방과 얼굴을 마주하며 대화를 주고 받을 수 있는 원격회의 시스템이 널리 사용되고 있다. 원격회의 시스템은 여러 사람이 함께 참여할 수도 있고, 여러 지역을 동시에 연결할 수도 있으며, 네트워크를 통해 상대방의 음성이나 영상 등의 회의 정보를 실시간으로 전달한다.
일반적으로, 원격회의 시스템은 사용자를 촬영하기 위한 카메라가 화면의 상단이나 하단 또는 측면에 위치하고 사용자의 시선은 화면을 응시하므로 촬영된 사용자의 영상은 그 시선의 방향이 정면을 보고 있지 않은 것이 일반적이다.
대화에 있어서 아이콘텍(eye-contact)은 대화에 몰입하거나 상대방에게 신뢰감을 주는데 아주 중요한 요소이나, 상술한 바와 같이 일반적으로 사용되는 원격회의 시스템에서는 화면에 표시되는 사용자의 시선 방향이 정면이 아니므로 대화의 상대방과 아이콘텍이 불가능하다는 문제가 있다. 이와 같은 원격회의 시스템에서 아이콘텍이 불가능한 문제는 원격회의 시스템의 현실화에 치명적인 한계로 대두되었고, 실제로 많은 사용자들이 원격회의를 통한 대화에서 어색함을 느끼는 중요한 요소가 되어왔다.
미국등록특허 제6771303호는 화상회의 시 모니터의 상단과 하단에 두 대의 카메라를 설치하여 화상회의 참가자의 깊이 정보를 계산하고, 참가자의 머리 위치를 파악하여 현재 참가자의 위치에 맞는 시선 영상을 생성함으로써 대화 참가자들이 서로 시선을 교환할 수 있는 기술을 소개하였고, 미국등록특허 제6806898호는 모니터 상단에 설치된 카메라를 통해 현재 원격회의 참가자의 머리 위치 및 방향을 분석하여 현재 참가자의 눈의 위치가 정면을 바라보도록 눈동자를 합성하여 원격회의 상대방과의 시선 맞춤을 가능하게 하는 기술을 소개하였다.
또한, 한국공개특허 제1997-0057779호는 3대의 카메라를 이용하여 각 회의 참가자들에게 디스플레이해줄 3차원 영상들을 생성하여 3차원 디스플레이하는 기술을 개시하고 있고, 한국공개특허 제2010-0028725호는 시선일치 카메라에서 수광부만 별도로 이동시킬 수 있도록 함으로써 상대방이 모니터의 정중앙에 디스플레이되지 않더라도 적응적으로 시선일치를 이룰 수 있도록 하는 기술을 개시하고 있다.
그러나, 이와 같은 종래의 원격회의 시스템을 위한 아이콘텍 지원기술들은 아이콘텍 영상을 획득하기 위해 고정된 카메라 위치 또는 상대방의 화면상 위치만을 고려한 단순한 이동에 의한 단순한 영상 획득만을 개시하고 있을 뿐, 최적의 아이콘텍 영상 획득을 위해 고려되어야 하는 요소 및 이들을 고려하여 어떤 방식으로 카메라를 조작할 것인지에 대해 구체적인 기술을 제시하고 있지 못하다. 또한, 종래 기술들은 대부분 실시간 깊이 계산을 통해 깊이 정보를 생성하는 기술을 채택하고 있어서 깊이 정보의 정확성이 보장되지 않기 때문에 자연스러운 영상 생성이 어렵다는 문제점이 있다. 나아가, 종래 기술들은 단순히 서로 영상을 보면서 회의를 진행하는 방식에 한정되는 기술들로 보다 실감나는 원격회의를 위한 실시간 상호작용에 관해서는 언급하고 있지 않다.
따라서, 실감나는 아이콘텍 영상을 생성하기 위해 고려되어야 하는 요소들을 제시하고 이들 요소들을 적절히 활용하여 카메라를 조작함으로써 최적의 아이콘텍 영상을 제공하고, 보다 실감나는 원격회의를 위한 실시간 상호작용이 가능하며, 깊이카메라를 통해 획득된 깊이정보를 이용하여 보다 정확하고 실감나는 영상 생성이 가능한 새로운 3차원 화상회의 기술의 필요성이 절실하게 대두된다.
본 발명의 목적은 화상회의 참가자가 일어서서 회의를 진행하거나 위치를 이동하는 경우에도 실감나는 아이콘텍 영상을 촬영하기 위해 고려되어야 하는 요소들을 정의하고, 이들 요소들을 적절히 활용하여 카메라를 조작함으로써 원격회의 참가자들이 실제로 같은 공간에 있는 듯한 느낌으로 자연스럽게 회의를 진행할 수 있도록 하는 것이다.
또한, 본 발명의 목적은 3차원 원격회의시 실시간 상호작용을 통해 원격회의 참가자들에게 실제 동일 공간에서 회의하는 것과 같은 느낌을 주어 원격회의 시스템을 현실화하는 것이다.
또한, 본 발명의 목적은 3차원 깊이 정보를 실시간 계산함으로써 야기되는 정확도 문제를 해결하여 보다 실감나는 영상 생성이 가능한 3차원 화상회의 시스템을 제공하는 것이다.
또한, 본 발명의 목적은 테스트 패턴을 이용하여 사용자마다 달리 느끼는 3차원 깊이를 정규화하고, 정규화 결과를 반영하여 3차원 영상을 생성함으로써 보다 실감나는 화상회의 시스템을 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 아이콘텍이 가능한 3차원 원격회의 장치는, 피사체인 화상회의 참가자를 촬영한 촬영 영상 및 네트워크를 통하여 수신된 상기 화상회의의 상대방에 해당하는 영상을 고려하여 카메라들을 실시간 조작하여 깊이 영상들 및 컬러 영상들을 획득하는 영상 획득부; 상기 깊이 영상들 및 컬러 영상들을 이용하여 아이콘텍을 위한 상기 참가자의 정면 얼굴에 상응하는 최종 깊이 영상 및 최종 컬러 영상을 생성하는 정면얼굴 생성부; 및 상기 상대방에 상응하는 3차원 영상을 생성하여 디스플레이 장치에 표시하는 3D 영상 생성부를 포함한다.
이 때, 영상 획득부는 상기 카메라들 각각을 좌/우로 회전시키는 팬(pan) 조작, 상기 카메라들 각각을 상/하로 회전시키는 틸트(tilt) 조작, 및 상기 카메라들을 상/하로 이동시키는 높이(height) 조작을 통해 상기 카메라들을 실시간 조작할 수 있다.
이 때, 영상 획득부는 상기 촬영 영상에 기반하여 상기 카메라들의 팬(pan) 조작을 수행하고, 상기 촬영 영상 및 상기 상대방에 해당하는 영상을 함께 이용하여 틸트(tilt) 조작을 수행하고, 상기 상대방에 해당하는 영상에 기반하여 상기 카메라들의 높이(height) 조작을 수행할 수 있다.
이 때, 영상 획득부는 상기 촬영 영상에서 검출된 상기 참가자의 눈 위치에 기반하여 상기 카메라들의 팬(pan) 조작을 수행하고, 상기 참가자의 눈 위치 및 상기 상대방에 해당하는 영상에서 검출된 상기 상대방의 눈 위치의 차이(difference)에 기반하여 상기 틸트(tilt) 조작을 수행하고, 상기 상대방의 눈 높이에 기반하여 상기 카메라들의 높이(height) 조작을 수행할 수 있다.
이 때, 아이콘텍이 가능한 3차원 원격회의 장치는 상기 촬영 영상을 이용하여 상기 참가자가 기설정된 동작을 수행하였는지 여부를 판단하는 제스처 인식부; 및 상기 기설정된 동작에 상응하는 기능을 수행하는 제스처 처리부를 더 포함할 수 있다.
이 때, 제스처 처리부는 상기 기설정된 동작이 상호작용 동작으로 판단되는 경우 상호작용 피드백을 제공할 수 있다.
이 때, 상호작용 피드백은 상기 3차원 영상에 상기 상호작용 동작에 상응하는 상기 참가자의 신체 일부의 영상이 부가된 시각 피드백일 수 있다.
이 때, 상기 3D 영상 생성부는 상기 참가자에게 제공된 3D 테스트 영상에 대한 상기 참가자의 리액션에 기반하여 상기 참가자의 3D 인식 깊이를 측정하고, 상기 3D 인식 깊이를 고려하여 상기 3차원 영상을 생성할 수 있다.
이 때, 상기 카메라들은 상기 디스플레이 장치에 일체형으로 구비될 수 있다. 이 때, 카메라들은 이동 및 회전 가능하게 상기 디스플레이 장치에 부착될 수 있다.
또한, 상기 카메라들은 상기 디스플레이 장치의 외부에 독립적으로 이동 및 회전 가능하도록 구비될 수 있다.
이 때, 상기 전면얼굴 생성부는 상기 깊이 영상들을 대상으로 깊이 노이즈 제거 및 깊이 보정을 수행하고 상기 컬러 영상들을 대상으로 색상 보정을 수행하여 1장의 상기 최종 깊이 영상 및 1장의 상기 최종 컬러 영상을 생성할 수 있다.
이 때, 상기 3D 영상 생성부는 상기 상대방에 상응하는 상기 최종 깊이 영상 및 상기 최종 컬러 영상에 대하여 메쉬 홀채움을 수행하여 상기 상대방에 상응하는 3차원 메쉬형태의 영상을 복원하고, 상기 3차원 메쉬형태의 영상을 이용하여 상기 상대방에 상응하는 3차원 영상을 생성할 수 있다.
또한, 본 발명의 일실시예에 따른 아이콘텍이 가능한 3차원 원격회의 방법은, 피사체인 화상회의 참가자를 촬영한 촬영 영상 및 네트워크를 통하여 수신된 상기 화상회의의 상대방에 해당하는 영상을 고려하여 카메라들을 실시간 팬(pan), 틸트(tilt) 및 높이(height) 조작하여 깊이 영상들 및 컬러 영상들을 획득하는 단계;
상기 깊이 영상들 및 컬러 영상들을 이용하여 아이콘텍을 위한 상기 참가자의 정면 얼굴에 상응하는 최종 깊이 영상 및 최종 컬러 영상을 생성하는 단계; 및
상기 상대방에 상응하는 3차원 영상을 생성하여 디스플레이 장치에 표시하는 단계를 포함한다.
이 때, 상기 깊이 영상들 및 컬러 영상들을 획득하는 단계는 상기 촬영 영상에서 검출된 상기 참가자의 눈 위치에 기반하여 상기 카메라들의 팬(pan) 조작을 수행하고, 상기 참가자의 눈 위치 및 상기 상대방에 해당하는 영상에서 검출된 상기 상대방의 눈 위치의 차이(difference)에 기반하여 상기 틸트(tilt) 조작을 수행하고, 상기 상대방의 눈 높이에 기반하여 상기 카메라들의 높이(height) 조작을 수행할 수 있다.
이 때, 상기 아이콘텍이 가능한 3차원 원격회의 방법은 상기 촬영 영상을 이용하여 상기 참가자가 기설정된 동작을 수행하였는지 여부를 판단하는 단계; 및 상기 기설정된 동작에 상응하는 기능을 수행하는 단계를 더 포함할 수 있다.
이 때, 상기 기설정된 동작에 상응하는 기능을 수행하는 단계는 상기 기설정된 동작이 상호작용 동작으로 판단되는 경우 상기 3차원 영상에 상기 상호작용 동작에 상응하는 상기 참가자의 신체 일부의 영상이 부가된 시각 피드백을 제공할 수 있다.
이 때, 상기 디스플레이 장치에 표시하는 단계는 상기 참가자에게 제공된 3D 테스트 영상에 대한 상기 참가자의 리액션에 기반하여 상기 참가자의 3D 인식 깊이를 측정하고, 상기 3D 인식 깊이를 고려하여 상기 3차원 영상을 생성할 수 있다.
본 발명에 따르면, 화상회의 참가자가 일어서서 회의를 진행하거나 위치를 이동하는 경우에도 카메라가 적절히 참가자를 트랙킹(tracking)함으로써 원격회의 참가자들이 실제로 같은 공간에 있는 듯한 느낌으로 자연스럽게 회의를 진행할 수 있는 3차원 이미지 생성이 가능하다.
또한, 본 발명은 3차원 원격회의시 악수나 하이파이브 등의 실시간 상호작용을 통해 원격회의 참가자들에게 실제 동일 공간에서 회의하는 것과 같은 느낌을 주어 원격회의 시스템을 현실화할 수 있다.
또한, 본 발명은 3차원 깊이 정보를 실시간 계산함으로써 야기되는 정확도 문제를 해결하여 보다 실감나는 3차원 영상 생성이 가능하다.
또한, 본 발명은 테스트 패턴을 이용하여 사용자마다 달리 느끼는 3차원 깊이를 정규화하고, 정규화 결과를 반영하여 3차원 영상을 생성함으로써 보다 실감나는 원격 회의가 가능하다.
도 1은 본 발명의 아이콘텍이 가능한 3차원 원격회의 장치가 적용된 시스템의 일 예를 나타낸 도면이다.
도 2는 본 발명의 아이콘텍이 가능한 3차원 원격회의 장치가 적용된 시스템의 다른 예를 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 아이콘텍이 가능한 3차원 원격회의 장치를 나타낸 블록도이다.
도 4는 도 3에 도시된 영상 획득부의 일 예를 나타낸 블록도이다.
도 5는 도 3에 도시된 정면얼굴 생성부의 일 예를 나타낸 블록도이다.
도 6은 아이콘텍을 위한 정면얼굴 생성의 일 예를 나타낸 도면이다.
도 7은 도 3에 도시된 3D 영상 생성부의 일 예를 나타낸 블록도이다.
도 8은 본 발명이 적용된 3차원 원격회의 진행 상황을 나타낸 도면이다.
도 9는 본 발명에 따른 상호작용 동작에 대한 시각 피드백의 일 예를 나타낸 도면이다.
도 10은 본 발명의 일실시예에 따른 아이콘텍이 가능한 3차원 원격회의 방법을 나타낸 동작 흐름도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 아이콘텍이 가능한 3차원 원격회의 장치가 적용된 시스템의 일 예를 나타낸 도면이다.
도 1을 참조하면, 본 발명의 아이콘텍이 가능한 3차원 원격회의 장치는 3차원 영상을 디스플레이하는 디스플레이 장치(110) 및 아이콘텍 영상을 생성하기 위한 카메라들(121, 122)을 포함한다.
즉, 도 1에 도시된 시스템은 화상회의의 상대방의 3차원 영상을 디스플레이 장치(110)를 통하여 표시하고, 피사체인 화상회의 참가자를 카메라들(121, 122)을 통하여 촬영한다. 이 때, 카메라들(121, 122)은 실시간으로 아이콘텍을 위한 정면 입체 영상을 생성하기에 적합하도록 회전 및 이동할 수 있다.
이 때, 카메라들(121, 122) 각각은 컬러 영상을 획득하는 RGB 카메라와 깊이 영상을 만들어내는 IR 카메라로 구성된 키넥트 카메라(Kinect Camera)일 수 있다.
도 1에 도시된 바와 같이, 카메라들(121, 122)은 디스플레이 장치(110)와 독립적으로 구비되어 아이콘텍을 위한 정면 영상을 생성하기에 적합하도록 사용자를 트랙킹하기 위해 자유롭게 회전 및 이동할 수 있다.
도 2는 본 발명의 아이콘텍이 가능한 3차원 원격회의 장치가 적용된 시스템의 다른 예를 나타낸 도면이다.
도 2를 참조하면, 카메라들(221, 222)이 디스플레이 장치(210)에 설치되어 있는 것을 알 수 있다.
도 2에 도시된 시스템은 화상회의의 상대방의 3차원 영상을 디스플레이 장치(210)를 통하여 표시하고, 피사체인 화상회의 참가자를 카메라들(221, 222)을 통하여 촬영한다. 이 때, 디스플레이 장치(210)에 일체형으로 구비된 카메라들(221, 222)은 실시간으로 아이콘텍을 위한 정면 입체 영상을 생성하기에 적합하도록 회전 및 이동할 수 있다.
이 때, 카메라들(221, 222) 각각은 컬러 영상을 획득하는 RGB 카메라와 깊이 영상을 만들어내는 IR 카메라로 구성된 키넥트 카메라(Kinect Camera)일 수 있다.
도 2에 도시된 바와 같이, 카메라들(221, 222)은 디스플레이 장치(210)에 일체형으로 구비되어 아이콘텍을 위한 정면 영상을 생성하기에 적합하도록 사용자를 트랙킹하기 위해 자유롭게 회전 및 이동할 수 있다.
도 3은 본 발명의 일실시예에 따른 아이콘텍이 가능한 3차원 원격회의 장치를 나타낸 블록도이다.
도 3을 참조하면, 본 발명의 일실시예에 따른 아이콘텍이 가능한 3차원 원격회의 장치는 영상 획득부(310), 정면얼굴 생성부(320), 3D 영상 생성부(330), 제스처 인식부(340) 및 제스처 처리부(350)를 포함한다.
영상 획득부(310)는 피사체인 화상회의 참가자를 촬영한 촬영 영상 및 네트워크를 통하여 수신된 상기 화상회의의 상대방에 해당하는 영상을 고려하여 카메라들을 실시간 조작하여 깊이 영상들 및 컬러 영상들(2C+2D)을 획득한다.
이 때, 영상 획득부(310)는 카메라들을 포함할 수도 있고, 카메라와 독립적인 장치로 구현될 수도 있다.
이 때, 카메라들은 두 개의 키넥트 카메라들일 수 있다. 이와 같이 깊이 영상을 만들어내는 IR 카메라를 포함하는 키넥트 카메라를 이용함으로써 깊이 정보를 실시간 계산하는 부담을 줄이고 보다 정확한 깊이 정보를 통해 보다 실감나는 3차원 영상 생성이 가능하다.
이 때, 카메라는 컬러 영상 획득을 위한 RGB 카메라를 포함할 수 있다.
또한, 카메라는 색상 영상과 깊이 정보를 동시에 획득할 수 있는 모든 종류의 카메라일 수 있고, 카메라의 종류나 타입에 따라 본 발명의 권리범위가 제한되어서는 안된다.
회의 참가자가 회의를 일어서서 진행하거나, 회의 도중에 위치를 바꾸는 경우에도 아이콘텍을 위한 정면 영상을 생성하기 위해 카메라들이 최적의 위치로 이동할 필요가 있다.
영상 획득부(310)는 카메라들 각각을 좌/우로 회전시키는 팬(pan) 조작, 상기 카메라들 각각을 상/하로 회전시키는 틸트(tilt) 조작, 및 상기 카메라들을 상/하로 이동시키는 높이(height) 조작을 통해 상기 카메라들을 실시간 조작할 수 있다.
이 때, 영상 획득부(310)는 화상회의 참가자를 촬영한 촬영 영상에 기반하여 카메라들의 팬(pan) 조작을 수행하고, 화상회의 참가자를 촬영한 촬영 영상 및 상대방에 해당하는 영상을 함께 이용하여 틸트(tilt) 조작을 수행하고, 상대방에 해당하는 영상에 기반하여 카메라들의 높이(height) 조작을 수행할 수 있다.
보다 구체적으로, 영상 획득부(310)는 화상회의 참가자를 촬영한 촬영 영상에서 상기 참가자의 눈 위치를 검출하고, 검출된 상기 참가자의 눈 위치에 기반하여 상기 카메라들의 팬(pan) 조작을 수행할 수 있다. 이와 같이 참가자의 눈 위치에 기반하여 카메라들의 좌/우 회전을 조작하여 수평적으로 참가자의 정면 영상 합성에 적합한 영상을 촬영할 수 있다.
또한, 영상 획득부(310)는 화상회의 참가자의 눈 위치 및 화상회의 상대방의 눈 위치의 차이(difference)에 기반하여 틸트 조작을 수행할 수 있다. 이와 같이 참가자의 눈 위치 및 상대방의 눈 위치 사이의 차이에 기반하여 카메라들의 상/하 회전을 조작하여 회의 참가자들이 서로 서로를 바라보는 상황을 반영하여 회의 참가자들 간의 신장(키) 차이에 의해 아이콘텍이 어려운 상황에서도 수직적으로 참가자의 정면 영상 합성에 적합한 영상을 촬영할 수 있다.
또한, 영상 획득부(310)는 상대방의 눈 높이에 기반하여 카메라들이 높이(height) 조작을 수행할 수 있다. 이와 같이 상대방의 눈 높이에 기반하여 카메라들의 높이를 조작하여 실제 회의 참가자의 눈높이에 맞춘 영상을 촬영할 수 있다.
이와 같이, 영상 획득부(310)는 원격 화상회의에서 현실감을 극대화하기 위해 회의 상대방과 아이콘텍이 가능한 현실감 있는 회의 진행을 위해 회의 참가자가 바라보는 시선을 고려하여 참가자의 현재 시선과 가장 유사한 위치에서 카메라가 영상을 획득할 수 있도록 카메라의 위치를 이동시키고 카메라의 상/하 및 좌/우 각도를 회전시킨다.
정면 얼굴 생성부(320)는 상기 깊이 영상들 및 컬러 영상들을 이용하여 아이콘텍을 위한 상기 참가자의 정면 얼굴에 상응하는 최종 깊이 영상 및 최종 컬러 영상(1C+1D)을 생성하여 네트워크(360)를 통하여 상기 화상회의의 상대방에게 전송한다.
3D 영상 생성부(330)는 네트워크(360)를 통하여 상기 화상회의의 상대방에 대응하는 최종 깊이 영상 및 최종 컬러 영상(1C+1D)을 수신하고, 이를 이용하여 상대방에 상응하는 3차원 영상을 생성하여 디스플레이 장치에 표시한다.
이 때, 3D 영상 생성부(330)는 상기 참가자에게 제공된 3D 테스트 영상에 대한 상기 참가자의 리액션에 기반하여 상기 참가자의 3D 인식 깊이를 측정하고, 상기 3D 인식 깊이를 고려하여 상기 3차원 영상을 생성할 수 있다. 즉, 사람마다 느끼는 3차원 영상이 깊이가 상이하므로 3D 영상 생성부(330)는 사용자들에게 테스트 입체영상을 제공하여 해당 사용자가 느끼는 3차원 영상의 깊이를 측정하고 이를 반영하여 상기 3차원 영상을 생성함으로써 화상회의 시스템의 3차원 영상을 정규화할 수 있다.
3D 영상 생성부(330)는 화상회의 상대방에 상응하는 상기 최종 깊이 영상 및 상기 최종 컬러 영상에 대하여 메쉬 홀채움을 수행하여 상기 상대방에 상응하는 3차원 메쉬형태의 영상을 복원하고, 상기 3차원 메쉬형태의 영상을 이용하여 상기 상대방에 상응하는 3차원 영상을 생성할 수 있다.
제스처 인식부(340)는 상기 촬영 영상을 이용하여 상기 참가자가 기설정된 동작을 수행하였는지 여부를 판단한다.
제스처 처리부(350)는 상기 기설정된 동작에 상응하는 기능을 수행한다. 이 때, 제스처 처리부(350)는 기설정된 동작이 상호작용 동작으로 판단되는 경우, 상호작용 피드백을 제공할 수 있다. 이 때, 상호작용 피드백은 3차원 영상에 상기 상호작용 동작에 상응하는 상기 참가자의 신체 일부의 영상이 부가된 시각 피드백일 수 있다.
예를 들어, 기설정된 동작은 악수나 하이파이브 등일 수 있다. 예를 들어, 상호작용 피드백은 상대방과 악수하는 자신의 손의 일부 또는 상대방과 하이파이브하는 자신의 손의 일부 영상이 상대방에 해당하는 3차원 영상에 부가된 시각 피드백일 수 있다.
이와 같이, 도 3에 도시된 아이콘텍이 가능한 3차원 원격회의 장치는 제스처 인식부(340) 및 제스처 처리부(350)를 통해 회의 참가자 들의 제스처 인식이 가능하여 화상회의시 실시간 정보 공유가 가능하고, 회의 참가자 간의 하이프이브나 악수와 같은 상호작용이 가능하여 원격회의의 몰입감을 극대화시킬 수 있다. 또한, 화상회의 도중에 제스처 인식을 통한 가상 객체의 축소/확대/이동/회전 등의 실시간 조작이 가능하며, 화상회의 참가자들 간의 악수나 하이파이브와 같은 상호작용도 가능하다.
도 4는 도 3에 도시된 영상 획득부의 일 예를 나타낸 블록도이다.
도 4를 참조하면, 도 3에 도시된 영상 획득부(310)는 눈 검출부(410), PTH 파라미터 결정부(420), 카메라 이동/회전부(430) 및 깊이/컬러 영상 획득부(440)를 포함한다.
눈 검출부(410)는 아이콘텍 영상을 획득하기 위해 현재 회의 참가자의 눈 위치를 찾아내고 현재 참가자의 눈 높이와 회의 상대방의 눈 높이를 고려하여 카메라를 조작할 수 있도록 한다.
PTH 파라미터 결정부(420)는 눈 검출부(410)를 통해 검출된 회의 참가자의 눈 위치와 회의 상대방의 눈 위치를 고려하여 팬(pan), 틸트(tilt) 및 높이(height) 조작을 위한 파라미터를 결정한다.
카메라 이동/회전부(430)는 PTH 파라미터 결정부(420)에 의하여 결정된 팬(pan), 틸트(tilt) 및 높이(height) 조작을 위한 파라미터를 이용하여 카메라를 조작한다. 이와 같은 조작을 통하여 회의 참가자가 회의 중에 자유롭게 움직이는 경우에도 참가자의 위치를 적절히 트랙킹(tracking)하면서 회의 참가자의 시선과 가장 유사한 위치에서 영상을 획득할 수 있다.
깊이/컬러 영상 획득부(440)는 카메라 이동/회전부(430)에 의하여 회의 참가자들 간의 아이콘텍을 위한 최적의 포지션에서 카메라로부터 깊이 영상들 및 컬러 영상들(2C+2D)을 생성한다.
도 5는 도 3에 도시된 정면얼굴 생성부의 일 예를 나타낸 블록도이다.
도 5를 참조하면, 도 3에 도시된 정면얼굴 생성부(320)는 깊이정보 노이즈 필터링부(510), 깊이 보정부(520), 색상 보정부(530) 및 깊이병합 및 홀채움부(540)를 포함한다.
도 5에 도시된 정면얼굴 생성부는 화상회의 참가자들 사이의 아이콘텍을 유지하기 위해 두 대의 카메라에서 획득한 영상을 이용하여 3차원 정면 얼굴 영상을 생성하기 위한 알고리즘을 수행한다.
깊이정보 노이즈 필터링부(510)는 획득한 깊이 영상에서 깊이 노이즈를 제거한다.
깊이 보정부(520)는 깊이 카메라가 가지고 있는 깊이 에러를 보정한다.
색상 보정부(530)는 서로 다른 위치에서 획득한 영상의 색상 차를 맞추기 위한 색상 보정을 수행한다.
깊이병합 및 홀채움부(540)는 깊이병합 및 홀채움을 수행하여 회의 참가자의 정면 영상을 생성하여 1장의 최종 깊이 영상 및 1장의 최종 컬러 영상으로 제공한다(1D+1C). 각각 1장의 최종 깊이 영상 및 최종 컬러 영상은 각각의 회의 참가자들이 아이콘텍을 할 수 있도록 하기 위해 정면 얼굴을 생성한 결과 영상이다. 이와 같이 생성된 최종 깊이 영상 및 최종 컬러 영상은 미들웨어 단계에서 영상압축을 실행하여 실시간으로 상대방에게 전송될 수 있다.
도 6은 아이콘텍을 위한 정면얼굴 생성의 일 예를 나타낸 도면이다.
도 6을 참조하면, 카메라에 의해 촬영된 영상(610)이 3D 영상 생성부에 의해 정면 얼굴(정면 영상)을 생성하는 것을 알 수 있다. 3D 영상 생성부는 화상 회의 참가자의 움직임에 따라 자동으로 적절한 위치로 카메라를 이동시켜 영상을 촬영하고, 촬영된 영상을 이용하여 참가자의 위치에 상응하는 정면 영상을 생성한다.
도 7은 도 3에 도시된 3D 영상 생성부의 일 예를 나타낸 블록도이다.
도 7을 참조하면, 도 3에 도시된 3D 영상 생성부(330)는 3D 메쉬 모델링부(710), 메쉬 홀채움부(720), 깊이 보정 및 조절부(730) 및 스테레오스코픽 3D 영상 생성부(740)를 포함한다.
3D 메쉬 모델링부(710)는 3차원 메쉬 모델링을 수행한다.
메쉬 홀채움부(720)는 메쉬 홀채움을 수행한다.
깊이 보정 및 조절부(730)는 화상회의 참가자에게 3D 테스트 영상을 제공하고 제공된 3D 테스트 영상에 대한 참가자의 리액션에 기반하여 참가자의 3D 인식 깊이를 측정하고, 측정된 3D 인식 깊이를 이용하여 깊이 보정을 수행한다.
스테레오스코픽 3D 영상 생성부(740)는 최종적으로 디스플레이에 표시될 두 장의 색상영상으로 구성된 3차원 영상을 생성한다.
이 때, 디스플레이 장치는 대형 디스플레이, 가정용 3DTV, 컴퓨터용 3D 모니터 또는 모바일 장치일 수 있다.
도 8은 본 발명이 적용된 3차원 원격회의 진행 상황을 나타낸 도면이다.
도 8을 참조하면, 화상회의에 참가하는 참가자들은 각각 디스플레이 화면을 통하여 3차원으로 제공되는 화상회의 상대방의 영상을 보면서 아이콘텍을 하고, 참가자의 영상은 참가자의 적절한 위치를 트랙킹하는 카메라에 의하여 촬영되고 촬영된 영상이 정면 얼굴 영상으로 합성되어 상대방에게 전달된다.
화상회의 도중에 화상회의 참가자는 상대방과 하이파이브나 악수 등의 상호작용을 할 수 있고, 기설정된 패턴의 동작을 수행함으로써 가상 객체를 상호 조작할 수도 있다.
도 9는 본 발명에 따른 상호작용 동작에 대한 시각 피드백의 일 예를 나타낸 도면이다.
도 9를 참조하면, 화상회의 참가자(913)는 화상회의 상대방(914)과의 회의 도중에 기설정된 패턴의 동작을 수행함으로써 상호작용 동작 모드로 들어갈 수 있다.
도 9에 도시된 예에서 화상회의 참가자(913)는 하이파이브를 위해 손바닥을 스크린 방향으로 하여 손을 들어올리는 동작으로 하이파이브를 위한 상호작용 동작 모드로 들어갈 수 있다. 아이콘텍이 가능한 3차원 원격회의 장치는 참가자(913)의 동작을 감지하여 하이파이브를 위한 상호작용 동작 모드로 진입할 수 있다.
이 때, 디스플레이 장치에는 화상회의 상대방(914)에 상응하는 3차원 영상(910)이 표시될 수 있고, 하이파이브를 위한 상호작용 동작에 해당하는 시각 피드백이 3차원 영상(910)에 포함되어 표시될 수 있다. 이 때, 시각 피드백은 화상회의 참가자(913)의 하이파이브를 위해 들어올린 손의 일부분(911)을 나타내는 영상일 수 있다.
이 때, 화상회의 상대측에서도 하이파이브를 위한 상호작용 동작 모드에 해당하는 영상이 표시된다. 즉, 화상회의 상대방(923)에게는 화상회의 참가자(924)에 상응하는 3차원 영상(924)이 표시되고, 하이파이브를 위한 상호작용 동작에 대항하는 시각 피드백이 3차원 영상(924)에 포함되어 표시될 수 있다. 이 때, 시각 피드백은 화상회의 상대방(923)의 하이파이브를 위해 들어올린 손의 일부분(921)을 나타내는 영상일 수 있다.
도 10은 본 발명의 일실시예에 따른 아이콘텍이 가능한 3차원 원격회의 방법을 나타낸 동작 흐름도이다.
도 10을 참조하면, 본 발명의 일실시예에 따른 아이콘텍이 가능한 3차원 원격회의 방법은, 피사체인 화상회의 참가자를 촬영한 촬영 영상 및 네트워크를 통하여 수신된 상기 화상회의의 상대방에 해당하는 영상을 고려하여 카메라들을 실시간 팬(pan), 틸트(tilt) 및 높이(height) 조작하여 깊이 영상들 및 컬러 영상들을 획득한다(S1010).
이 때, 단계(S1010)는 상기 촬영 영상에서 검출된 상기 참가자의 눈 위치에 기반하여 상기 카메라들의 팬(pan) 조작을 수행하고, 상기 참가자의 눈 위치 및 상기 상대방에 해당하는 영상에서 검출된 상기 상대방의 눈 위치의 차이(difference)에 기반하여 상기 틸트(tilt) 조작을 수행하고, 상기 상대방의 눈 높이에 기반하여 상기 카메라들의 높이(height) 조작을 수행할 수 있다.
또한, 본 발명의 일실시예에 따른 아이콘텍이 가능한 3차원 원격회의 방법은, 상기 깊이 영상들 및 컬러 영상들을 이용하여 아이콘텍을 위한 상기 참가자의 정면 얼굴에 상응하는 최종 깊이 영상 및 최종 컬러 영상을 생성한다(S1020).
또한, 본 발명의 일실시예에 따른 아이콘텍이 가능한 3차원 원격회의 방법은, 상기 상대방에 상응하는 3차원 영상을 생성하여 디스플레이 장치에 표시한다(S1030).
이 때, 단계(S1030)는 화상회의 참가자에게 제공된 3D 테스트 영상에 대한 참가자의 리액션(reaction)에 기반하여 참가자의 3D 인식 깊이를 측정하고, 측정된 3D 인식 깊이를 고려하여 3차원 영상을 생성할 수 있다.
도 10에는 도시되지 아니하였으나, 본 발명의 일실시예에 따른 아이콘텍이 가능한 3차원 원격회의 방법은 상기 촬영 영상을 이용하여 상기 참가자가 기설정된 동작을 수행하였는지 여부를 판단하는 단계; 및 상기 기설정된 동작에 상응하는 기능을 수행하는 단계를 더 포함할 수 있다.
이 때, 기설정된 동작에 상응하는 기능을 수행하는 단계는 상기 기설정된 동작이 상호작용 동작으로 판단되는 경우 상기 3차원 영상에 상기 상호작용 동작에 상응하는 상기 참가자의 신체 일부의 영상이 부가된 시각 피드백을 제공할 수 있다.
이상에서와 같이 본 발명에 따른 3차원 원격회의 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
310: 영상 획득부
320: 정면얼굴 생성부
330: 3D 영상 생성부
340: 제스처 인식부
350: 제스처 처리부
360: 네트워크
370: 3차원 디스플레이(3D Wall Display)

Claims (17)

  1. 피사체인 화상회의 참가자를 촬영한 촬영 영상 및 네트워크를 통하여 수신된 상기 화상회의의 상대방에 해당하는 영상을 고려하여 카메라들을 실시간 조작하여 깊이 영상들 및 컬러 영상들을 획득하는 영상 획득부;
    상기 깊이 영상들 및 컬러 영상들을 이용하여 아이콘텍을 위한 상기 참가자의 정면 얼굴에 상응하는 최종 깊이 영상 및 최종 컬러 영상을 생성하는 정면얼굴 생성부; 및
    상기 상대방에 상응하는 3차원 영상을 생성하여 디스플레이 장치에 표시하는 3D 영상 생성부
    를 포함하는 것을 특징으로 하는 아이콘텍이 가능한 3차원 원격회의 장치.
  2. 청구항 1에 있어서,
    상기 영상 획득부는
    상기 카메라들 각각을 좌/우로 회전시키는 팬(pan) 조작, 상기 카메라들 각각을 상/하로 회전시키는 틸트(tilt) 조작, 및 상기 카메라들을 상/하로 이동시키는 높이(height) 조작을 통해 상기 카메라들을 실시간 조작하는 것을 특징으로 하는 아이콘텍이 가능한 3차원 원격회의 장치.
  3. 청구항 2에 있어서,
    상기 영상 획득부는
    상기 촬영 영상에 기반하여 상기 카메라들의 팬(pan) 조작을 수행하고,
    상기 촬영 영상 및 상기 상대방에 해당하는 영상을 함께 이용하여 틸트(tilt) 조작을 수행하고,
    상기 상대방에 해당하는 영상에 기반하여 상기 카메라들의 높이(height) 조작을 수행하는 것을 특징으로 하는 아이콘텍이 가능한 3차원 원격회의 장치.
  4. 청구항 3에 있어서,
    상기 영상 획득부는
    상기 촬영 영상에서 검출된 상기 참가자의 눈 위치에 기반하여 상기 카메라들의 팬(pan) 조작을 수행하고,
    상기 참가자의 눈 위치 및 상기 상대방에 해당하는 영상에서 검출된 상기 상대방의 눈 위치의 차이(difference)에 기반하여 상기 틸트(tilt) 조작을 수행하고,
    상기 상대방의 눈 높이에 기반하여 상기 카메라들의 높이(height) 조작을 수행하는 것을 특징으로 하는 아이콘텍이 가능한 3차원 원격회의 장치.
  5. 청구항 4에 있어서,
    상기 아이콘텍이 가능한 3차원 원격회의 장치는
    상기 촬영 영상을 이용하여 상기 참가자가 기설정된 동작을 수행하였는지 여부를 판단하는 제스처 인식부; 및
    상기 기설정된 동작에 상응하는 기능을 수행하는 제스처 처리부
    를 더 포함하는 것을 특징으로 하는 아이콘텍이 가능한 3차원 원격회의 장치.
  6. 청구항 5에 있어서,
    상기 제스처 처리부는
    상기 기설정된 동작이 상호작용 동작으로 판단되는 경우
    상호작용 피드백을 제공하는 것을 특징으로 하는 아이콘텍이 가능한 3차원 원격회의 장치.
  7. 청구항 6에 있어서,
    상기 상호작용 피드백은
    상기 3차원 영상에 상기 상호작용 동작에 상응하는 상기 참가자의 신체 일부의 영상이 부가된 시각 피드백인 것을 특징으로 하는 아이콘텍이 가능한 3차원 원격회의 장치.
  8. 청구항 7에 있어서,
    상기 3D 영상 생성부는
    상기 참가자에게 제공된 3D 테스트 영상에 대한 상기 참가자의 리액션에 기반하여 상기 참가자의 3D 인식 깊이를 측정하고, 상기 3D 인식 깊이를 고려하여 상기 3차원 영상을 생성하는 것을 특징으로 하는 아이콘텍이 가능한 3차원 원격회의 장치.
  9. 청구항 4에 있어서,
    상기 카메라들은 상기 디스플레이 장치에 일체형으로 구비되는 것을 특징으로 하는 아이콘텍이 가능한 3차원 원격회의 장치.
  10. 청구항 4에 있어서,
    상기 카메라들은 상기 디스플레이 장치의 외부에 독립적으로 구비되는 것을 특징으로 하는 아이콘텍이 가능한 3차원 원격회의 장치.
  11. 청구항 4에 있어서,
    상기 정면얼굴 생성부는
    상기 깊이 영상들을 대상으로 깊이 노이즈 제거 및 깊이 보정을 수행하고 상기 컬러 영상들을 대상으로 색상 보정을 수행하여 1장의 상기 최종 깊이 영상 및 1장의 상기 최종 컬러 영상을 생성하는 것을 특징으로 하는 아이콘텍이 가능한 3차원 원격회의 장치.
  12. 청구항 4에 있어서,
    상기 3D 영상 생성부는
    상기 상대방에 상응하는 상기 최종 깊이 영상 및 상기 최종 컬러 영상에 대하여 메쉬 홀채움을 수행하여 상기 상대방에 상응하는 3차원 메쉬형태의 영상을 복원하고, 상기 3차원 메쉬형태의 영상을 이용하여 상기 상대방에 상응하는 3차원 영상을 생성하는 것을 특징으로 하는 아이콘텍이 가능한 3차원 원격회의 장치.
  13. 피사체인 화상회의 참가자를 촬영한 촬영 영상 및 네트워크를 통하여 수신된 상기 화상회의의 상대방에 해당하는 영상을 고려하여 카메라들을 실시간 팬(pan), 틸트(tilt) 및 높이(height) 조작하여 깊이 영상들 및 컬러 영상들을 획득하는 단계;
    상기 깊이 영상들 및 컬러 영상들을 이용하여 아이콘텍을 위한 상기 참가자의 정면 얼굴에 상응하는 최종 깊이 영상 및 최종 컬러 영상을 생성하는 단계; 및
    상기 상대방에 상응하는 3차원 영상을 생성하여 디스플레이 장치에 표시하는 단계
    를 포함하는 것을 특징으로 하는 아이콘텍이 가능한 3차원 원격회의 방법.
  14. 청구항 13에 있어서,
    상기 깊이 영상들 및 컬러 영상들을 획득하는 단계는
    상기 촬영 영상에서 검출된 상기 참가자의 눈 위치에 기반하여 상기 카메라들의 팬(pan) 조작을 수행하고,
    상기 참가자의 눈 위치 및 상기 상대방에 해당하는 영상에서 검출된 상기 상대방의 눈 위치의 차이(difference)에 기반하여 상기 틸트(tilt) 조작을 수행하고,
    상기 상대방의 눈 높이에 기반하여 상기 카메라들의 높이(height) 조작을 수행하는 것을 특징으로 하는 아이콘텍이 가능한 3차원 원격회의 방법.
  15. 청구항 14에 있어서,
    상기 아이콘텍이 가능한 3차원 원격회의 방법은
    상기 촬영 영상을 이용하여 상기 참가자가 기설정된 동작을 수행하였는지 여부를 판단하는 단계; 및
    상기 기설정된 동작에 상응하는 기능을 수행하는 단계
    를 더 포함하는 것을 특징으로 하는 아이콘텍이 가능한 3차원 원격회의 방법.
  16. 청구항 15에 있어서,
    상기 기설정된 동작에 상응하는 기능을 수행하는 단계는
    상기 기설정된 동작이 상호작용 동작으로 판단되는 경우 상기 3차원 영상에 상기 상호작용 동작에 상응하는 상기 참가자의 신체 일부의 영상이 부가된 시각 피드백을 제공하는 것을 특징으로 하는 아이콘텍이 가능한 3차원 원격회의 방법.
  17. 청구항 7에 있어서,
    상기 디스플레이 장치에 표시하는 단계는
    상기 참가자에게 제공된 3D 테스트 영상에 대한 상기 참가자의 리액션에 기반하여 상기 참가자의 3D 인식 깊이를 측정하고, 상기 3D 인식 깊이를 고려하여 상기 3차원 영상을 생성하는 것을 특징으로 하는 아이콘텍이 가능한 3차원 원격회의 방법.
KR1020120062200A 2012-06-11 2012-06-11 아이콘텍이 가능한 3차원 원격회의 장치 및 이를 이용한 방법 Expired - Fee Related KR101350996B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020120062200A KR101350996B1 (ko) 2012-06-11 2012-06-11 아이콘텍이 가능한 3차원 원격회의 장치 및 이를 이용한 방법
EP12861050.8A EP2860969B1 (en) 2012-06-11 2012-07-06 Three-dimensional video conference device capable of enabling eye contact and method using same
JP2014521546A JP5839427B2 (ja) 2012-06-11 2012-07-06 アイコンタクトが可能な３次元遠隔会議装置およびこれを用いた方法
US13/885,998 US9077974B2 (en) 2012-06-11 2012-07-06 3D video-teleconferencing apparatus capable of eye contact and method using the same
PCT/KR2012/005371 WO2013187551A1 (ko) 2012-06-11 2012-07-06 아이콘텍이 가능한 3차원 원격회의 장치 및 이를 이용한 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120062200A KR101350996B1 (ko) 2012-06-11 2012-06-11 아이콘텍이 가능한 3차원 원격회의 장치 및 이를 이용한 방법

Publications (2)

Publication Number Publication Date
KR20130138533A true KR20130138533A (ko) 2013-12-19
KR101350996B1 KR101350996B1 (ko) 2014-01-13

Family

ID=49758355

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120062200A Expired - Fee Related KR101350996B1 (ko) 2012-06-11 2012-06-11 아이콘텍이 가능한 3차원 원격회의 장치 및 이를 이용한 방법

Country Status (5)

Country Link
US (1) US9077974B2 (ko)
EP (1) EP2860969B1 (ko)
JP (1) JP5839427B2 (ko)
KR (1) KR101350996B1 (ko)
WO (1) WO2013187551A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160036416A (ko) * 2014-09-25 2016-04-04 디노플러스 (주) 정보 이용자의 특성에 따른 정보 표시 위치 결정 시스템
KR20170028088A (ko) 2015-09-03 2017-03-13 주식회사 케이엠씨로보틱스 원격 화상 회의 및 모델하우스 시뮬레이션용 스마트 테이블 장치
KR20190066660A (ko) * 2017-12-06 2019-06-14 서울과학기술대학교 산학협력단 행사 실시간 스트리밍 방송 시스템
KR102372107B1 (ko) * 2021-09-16 2022-03-10 주식회사 일루베이션 영상기반의 모돈 분만 알림 시스템

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014204362A1 (en) * 2013-06-19 2014-12-24 Telefonaktiebolaget L M Ericsson (Publ) Depth range adjustment of a 3d video to match the depth range permissible by a 3d display device
US9113036B2 (en) * 2013-07-17 2015-08-18 Ebay Inc. Methods, systems, and apparatus for providing video communications
WO2015034963A1 (en) * 2013-09-03 2015-03-12 Optimized Care Network, Llc System and method for providing healthcare services via telecommunication networks with enhanced interaction between healthcare providers and patients
CN106576153A (zh) * 2014-01-10 2017-04-19 旋转型机器人有限公司 用于在视频会议操作期间控制机器人支架的系统及方法
KR102193029B1 (ko) * 2014-05-09 2020-12-18 삼성전자주식회사 디스플레이 장치 및 그의 화상 통화 수행 방법
JP6496172B2 (ja) * 2015-03-31 2019-04-03 大和ハウス工業株式会社 映像表示システム及び映像表示方法
US9894259B2 (en) * 2015-06-29 2018-02-13 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Movable image capture devices and methods for capture of images from behind a display screen
CN106488170B (zh) * 2015-08-28 2020-01-10 华为技术有限公司 视频通讯的方法和系统
WO2017131672A1 (en) * 2016-01-27 2017-08-03 Hewlett Packard Enterprise Development Lp Generating pose frontalized images of objects
CN105630175B (zh) * 2016-02-16 2018-12-21 广东小天才科技有限公司 一种虚拟现实设备及虚拟现实图像生成方法
WO2018005692A1 (en) * 2016-06-28 2018-01-04 Against Gravity Corp . Systems and methods for detecting collaborative virtual gestures
US20180077437A1 (en) * 2016-09-09 2018-03-15 Barrie Hansen Parallel Video Streaming
KR101892741B1 (ko) 2016-11-09 2018-10-05 한국전자통신연구원 희소 깊이 지도의 노이즈를 제거하는 장치 및 방법
CN110300950B (zh) 2017-02-06 2023-06-16 平蛙实验室股份公司 触摸感测系统中的光学耦合
CN111052058B (zh) 2017-09-01 2023-10-20 平蛙实验室股份公司 改进的光学部件
US11567610B2 (en) 2018-03-05 2023-01-31 Flatfrog Laboratories Ab Detection line broadening
CN108520264A (zh) * 2018-03-23 2018-09-11 上海数迹智能科技有限公司 一种基于深度图像的手部轮廓特征优化方法
GB201809960D0 (en) 2018-06-18 2018-08-01 Eyecon As Video conferencing system
CN112889016A (zh) 2018-10-20 2021-06-01 平蛙实验室股份公司 用于触摸敏感装置的框架及其工具
WO2020153890A1 (en) * 2019-01-25 2020-07-30 Flatfrog Laboratories Ab A videoconferencing terminal and method of operating the same
EP4066089B1 (en) 2019-11-25 2024-09-25 FlatFrog Laboratories AB A touch-sensing apparatus
WO2021158164A1 (en) 2020-02-08 2021-08-12 Flatfrog Laboratories Ab Touch apparatus with low latency interactions
CN115039063B (zh) 2020-02-10 2026-02-13 平蛙实验室股份公司 改进的触摸感测设备
WO2022185433A1 (ja) * 2021-03-03 2022-09-09 日本電信電話株式会社 端末装置、通信システム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09154114A (ja) 1995-11-28 1997-06-10 Nec Corp 電子会議端末装置
KR100346735B1 (ko) 1995-12-14 2002-11-02 삼성전자 주식회사 참가자간의아이-콘텍을고려한3차원화상회의시스템
US6545700B1 (en) * 1997-06-25 2003-04-08 David A. Monroe Virtual video teleconferencing system
JP2000165834A (ja) 1998-11-30 2000-06-16 Sanyo Electric Co Ltd 表示及び撮像装置
US6806898B1 (en) 2000-03-20 2004-10-19 Microsoft Corp. System and method for automatically adjusting gaze and head orientation for video conferencing
JP2001313917A (ja) * 2001-03-08 2001-11-09 Nec Corp ネットワーク会議画像処理装置
US6771303B2 (en) 2002-04-23 2004-08-03 Microsoft Corporation Video-teleconferencing system with eye-gaze correction
US7106358B2 (en) * 2002-12-30 2006-09-12 Motorola, Inc. Method, system and apparatus for telepresence communications
CN1914915A (zh) * 2004-04-23 2007-02-14 住友电气工业株式会社 活动图像数据的编码方法、解码方法及实施这些方法的终端装置、以及双向对话型系统
KR100691348B1 (ko) * 2005-12-21 2007-03-12 고정환 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적추적방법 및 그 시스템
JP2008228170A (ja) 2007-03-15 2008-09-25 Seiko Epson Corp 画像表示装置及びテレビ電話装置
KR20100028725A (ko) 2008-09-05 2010-03-15 주식회사 케이티 시선일치 카메라 시스템 및 시선일치 방법
JP5147132B2 (ja) 2008-11-11 2013-02-20 日本放送協会 撮影カメラの位置算出装置
KR101622197B1 (ko) 2009-09-23 2016-05-19 삼성전자주식회사 휴대용 단말기에서 제스처를 인식하기 위한 장치 및 방법
JP5319478B2 (ja) 2009-09-30 2013-10-16 株式会社昭特製作所 カメラ装置の位置算出方法
JP2011130234A (ja) 2009-12-18 2011-06-30 Canon Inc 放送用カメラシステム
JP4794678B1 (ja) 2010-05-24 2011-10-19 株式会社ソニー・コンピュータエンタテインメント 映像処理装置、映像処理方法、および映像通信システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160036416A (ko) * 2014-09-25 2016-04-04 디노플러스 (주) 정보 이용자의 특성에 따른 정보 표시 위치 결정 시스템
KR20170028088A (ko) 2015-09-03 2017-03-13 주식회사 케이엠씨로보틱스 원격 화상 회의 및 모델하우스 시뮬레이션용 스마트 테이블 장치
KR20190066660A (ko) * 2017-12-06 2019-06-14 서울과학기술대학교 산학협력단 행사 실시간 스트리밍 방송 시스템
KR102372107B1 (ko) * 2021-09-16 2022-03-10 주식회사 일루베이션 영상기반의 모돈 분만 알림 시스템

Also Published As

Publication number Publication date
EP2860969A1 (en) 2015-04-15
US9077974B2 (en) 2015-07-07
JP2014522622A (ja) 2014-09-04
US20140218467A1 (en) 2014-08-07
WO2013187551A1 (ko) 2013-12-19
EP2860969A4 (en) 2015-07-22
JP5839427B2 (ja) 2016-01-06
KR101350996B1 (ko) 2014-01-13
EP2860969B1 (en) 2018-09-12

Similar Documents

Publication Publication Date Title
KR101350996B1 (ko) 아이콘텍이 가능한 3차원 원격회의 장치 및 이를 이용한 방법
CN114365197B (zh) 在具有多个物理参与者的环境中放置虚拟内容
JP5208810B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システム
KR101665229B1 (ko) 증강된 가상 현실을 사용하는, 원격 참여자들 간의 개선된 통신의 제어
EP4150880A1 (en) Method and system for virtual 3d communications
JP2025128293A (ja) 通信端末装置
TWI479452B (zh) 修正數位影像的裝置及方法
US20150009277A1 (en) Method and system for image processing in video conferencing
JP4144492B2 (ja) 画像表示装置
KR20190112712A (ko) 헤드 마운트 디스플레이(hmd)를 이용한 화상회의를 위한 개선된 방법 및 시스템
JP2026016718A (ja) 空間仮想現実環境を用いたテレビ会議装置、テレビ会議方法、及びコンピュータプログラム
JP2010250452A (ja) 任意視点画像合成装置
JP2003506927A (ja) ビデオ会議の参加者がカメラに焦点を合わせた状態で相手方ユーザの前に出現できるようにする方法と装置
KR20160132094A (ko) 듀얼 디스플레이 시스템
CN103384306A (zh) 用于视频中眼睛对准的系统和方法
Jaklič et al. User interface for a better eye contact in videoconferencing
KR20000006887A (ko) 단일카메라를 이용한 시선 맞춤 보정 방법 및 그 장치
WO2017141584A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
JP5478357B2 (ja) 表示装置および表示方法
CN113112407B (zh) 基于电视的照镜视野生成方法、系统、设备及介质
JP6004978B2 (ja) 被写体画像抽出装置および被写体画像抽出・合成装置
KR101303203B1 (ko) 정면 영상 생성 영상통화 장치 및 방법
WO2011011917A1 (zh) 视频通信方法、装置和系统
JP5485102B2 (ja) コミュニケーション装置、コミュニケーション方法、及びプログラム
WO2022180630A1 (en) Camera capture and communications system

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

FPAY Annual fee payment

Payment date: 20170102

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

FPAY Annual fee payment

Payment date: 20171208

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

FPAY Annual fee payment

Payment date: 20181227

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

FPAY Annual fee payment

Payment date: 20200107

Year of fee payment: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R14-asn-PN2301

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

P16-X000 Ip right document amended

St.27 status event code: A-5-5-P10-P16-nap-X000

Q16-X000 A copy of ip right certificate issued

St.27 status event code: A-4-4-Q10-Q16-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20230108

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20230108