KR20200023513A - 화상 처리 시스템, 화상 처리 방법 및 기억 매체 - Google Patents

화상 처리 시스템, 화상 처리 방법 및 기억 매체 Download PDF

Info

Publication number
KR20200023513A
KR20200023513A KR1020207005390A KR20207005390A KR20200023513A KR 20200023513 A KR20200023513 A KR 20200023513A KR 1020207005390 A KR1020207005390 A KR 1020207005390A KR 20207005390 A KR20207005390 A KR 20207005390A KR 20200023513 A KR20200023513 A KR 20200023513A
Authority
KR
South Korea
Prior art keywords
image
virtual viewpoint
viewpoint image
generating
generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020207005390A
Other languages
English (en)
Other versions
KR102262731B1 (ko
Inventor
야스후미 다카마
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Priority to KR1020217016990A priority Critical patent/KR102364052B1/ko
Publication of KR20200023513A publication Critical patent/KR20200023513A/ko
Application granted granted Critical
Publication of KR102262731B1 publication Critical patent/KR102262731B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Generation (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

화상 처리 장치(1)는, 복수의 카메라에 의한 각각 상이한 방향으로부터의 피사체의 촬영에 기초하는 화상과 가상 시점의 지정에 따른 정보에 기초하는 가상 시점 화상의 생성 지시를 접수한다. 그리고 화상 처리 장치(1)는, 제1 표시 장치에 출력되는 제1 가상 시점 화상과 제2 표시 장치에 출력되는 제2 가상 시점 화상이, 촬영에 기초하는 화상과 가상 시점의 지정에 따른 정보에 기초하여 생성되도록, 생성 지시의 접수에 따라서 제어를 행한다. 제2 가상 시점 화상은, 제1 가상 시점 화상보다 화질이 높은 가상 시점 화상이다.

Description

화상 처리 시스템, 화상 처리 방법 및 기억 매체{IMAGE PROCESSING SYSTEM, IMAGE PROCESSING METHOD, AND STORAGE MEDIUM}
본 발명은, 가상 시점 화상을 생성하는 기술에 관한 것이다.
요즘, 복수의 카메라를 상이한 위치에 설치하여 다시점으로부터 피사체를 촬영하고, 당해 촬영에 의해 얻어진 복수 시점 화상을 사용하여 가상 시점 화상이나 3차원 모델을 생성하는 기술이 주목받고 있다. 상기와 같이 하여 복수 시점 화상으로부터 가상 시점 화상을 생성하는 기술에 의하면, 예를 들어 축구나 농구의 하이라이트 신을 다양한 각도로부터 시청할 수 있기 때문에, 통상의 화상과 비교하여 유저에게 고임장감을 줄 수 있다.
특허문헌 1에서는, 복수의 시점으로부터 촬영한 화상을 합성하여 가상 시점 화상을 생성하는 경우에, 화상 내의 오브젝트의 경계 영역에 있어서의 렌더링 단위를 작게 함으로써, 가상 시점 화상의 화질을 향상시키는 것에 대하여 기재되어 있다.
일본 특허 공개 제2013-223008호 공보
그러나, 종래 기술에서는, 화질에 관한 상이한 복수의 요건에 따른 가상 시점 화상을 생성할 수 없는 경우가 생각된다. 예를 들어, 고화질의 가상 시점 화상만을 생성하는 경우에는, 생성에 관한 처리 시간이 길어지는 것이 생각되어, 화질은 낮아도 리얼타임으로 가상 시점 화상을 보고자 하는 유저의 요망에 부응하는 것이 곤란해질 우려가 있다. 한편, 저화질의 가상 시점 화상만을 생성하는 경우에는, 리얼타임성보다도 가상 시점 화상이 고화질인 것을 우선하는 유저의 요망에 부응하는 것이 곤란해질 우려가 있다.
본 발명은 상기 과제를 감안하여 이루어진 것이며, 화질에 관한 상이한 복수의 요건에 따른 가상 시점 화상을 생성하는 것을 목적으로 한다.
상기 과제를 해결하기 위해, 본 발명에 관한 화상 처리 장치는, 예를 들어 이하의 구성을 갖는다. 즉, 복수의 카메라에 의해 각각 상이한 방향으로부터 촬영된 촬영 화상과 가상 시점의 지정에 따른 시점 정보에 기초하는 가상 시점 화상의 생성 지시를 접수하는 접수 수단과, 유저에게 가상 시점을 지정시키기 위한 제1 가상 시점 화상과, 상기 유저에 의한 가상 시점의 지정에 기초하여 생성되는 제2 가상 시점 화상이며 상기 제1 가상 시점 화상보다 화질이 높은 상기 제2 가상 시점 화상이, 상기 촬영 화상과 상기 시점 정보에 기초하여 생성 수단에 의해 생성되도록, 상기 접수 수단에 의한 상기 생성 지시의 접수에 따라서 상기 생성 수단을 제어하는 제어 수단을 갖는다.
본 발명에 따르면, 화질에 관한 상이한 복수의 요건에 따른 가상 시점 화상을 생성할 수 있다.
도 1은 화상 처리 시스템(10)의 구성에 대하여 설명하기 위한 도면이다.
도 2는 화상 처리 장치(1)의 하드웨어 구성에 대하여 설명하기 위한 도면이다.
도 3은 화상 처리 장치(1)의 동작의 일 형태에 대하여 설명하기 위한 흐름도이다.
도 4는 표시 장치(3)에 의한 표시 화면의 구성에 대하여 설명하기 위한 도면이다.
도 5는 화상 처리 장치(1)의 동작의 일 형태에 대하여 설명하기 위한 흐름도이다.
도 6은 화상 처리 장치(1)의 동작의 일 형태에 대하여 설명하기 위한 흐름도이다.
[시스템 구성]
이하, 본 발명의 실시 형태에 대하여 도면을 참조하여 설명한다. 먼저 도 1을 사용하여, 가상 시점 화상을 생성하여 출력하는 화상 처리 시스템(10)의 구성에 대하여 설명한다. 본 실시 형태에 있어서의 화상 처리 시스템(10)은, 화상 처리 장치(1), 카메라군(2), 표시 장치(3) 및 표시 장치(4)를 갖는다.
또한, 본 실시 형태에 있어서의 가상 시점 화상은, 가상적인 시점으로부터 피사체를 촬영한 경우에 얻어지는 화상이다. 바꾸어 말하면, 가상 시점 화상은, 지정된 시점에 있어서의 외관을 나타내는 화상이다. 가상적인 시점(가상 시점)은, 유저에 의해 지정되어도 되고, 화상 해석의 결과 등에 기초하여 자동적으로 지정되어도 된다. 즉 가상 시점 화상에는, 유저가 임의로 지정한 시점에 대응하는 임의 시점 화상(자유 시점 화상)이 포함된다. 또한, 복수의 후보로부터 유저가 지정한 시점에 대응하는 화상이나, 장치가 자동으로 지정한 시점에 대응하는 화상도, 가상 시점 화상에 포함된다. 또한, 본 실시 형태에서는, 가상 시점 화상이 동화상인 경우를 중심으로 설명하지만, 가상 시점 화상은 정지 화상이어도 된다.
카메라군(2)은, 복수의 카메라를 포함하고, 각 카메라는 각각 상이한 방향으로부터 피사체를 촬영한다. 본 실시 형태에 있어서, 카메라군(2)에 포함되는 복수의 카메라는, 각각이 화상 처리 장치(1)와 접속되어 있으며, 촬영 화상이나 각 카메라의 파라미터 등을 화상 처리 장치(1)에 송신한다. 단 이것에 한정되지 않고, 카메라군(2)에 포함되는 복수의 카메라끼리가 통신 가능하며, 카메라군(2)에 포함되는 어느 카메라가 복수의 카메라에 의한 촬영 화상이나 복수의 카메라의 파라미터 등을 화상 처리 장치(1)에 송신해도 된다. 또한, 카메라군(2)에 포함되는 어느 카메라가, 촬영 화상 대신에, 복수의 카메라에 의한 촬영 화상의 차분에 기초하여 생성된 화상 등, 카메라군(2)에 의한 촬영에 기초하는 화상을 송신해도 된다.
표시 장치(3)는, 가상 시점 화상을 생성하기 위한 가상 시점의 지정을 접수하고, 지정에 따른 정보를 화상 처리 장치(1)에 송신한다. 예를 들어, 표시 장치(3)는 조이 스틱, 조그 다이얼, 터치 패널, 키보드 및 마우스 등의 입력부를 갖고, 가상 시점을 지정하는 유저(조작자)는 입력부를 조작함으로써 가상 시점을 지정한다. 본 실시 형태에 있어서의 유저란, 표시 장치(3)의 입력부를 조작하여 가상 시점을 지정하는 조작자 또는 표시 장치(4)에 의해 표시되는 가상 시점 화상을 보는 시청자이며, 조작자와 시청자를 특별히 구별하지 않는 경우에는 간단히 유저라 기재한다. 본 실시 형태에서는 시청자와 조작자가 상이한 경우를 중심으로 설명하지만, 이것에 한정되지 않고, 시청자와 조작자가 동일한 유저여도 된다. 또한, 본 실시 형태에 있어서, 표시 장치(3)로부터 화상 처리 장치(1)에 송신되는 가상 시점의 지정에 따른 정보는, 가상 시점의 위치나 방향을 나타내는 가상 시점 정보이다. 단 이것에 한정되지 않고, 가상 시점의 지정에 따른 정보는 가상 시점 화상에 있어서의 피사체의 형상이나 방향 등 가상 시점에 따라서 정해지는 내용을 나타내는 정보여도 되고, 화상 처리 장치(1)는 이와 같은 가상 시점의 지정에 따른 정보에 기초하여 가상 시점 화상을 생성해도 된다.
또한 표시 장치(3)는, 카메라군(2)에 의한 촬영에 기초하는 화상과 표시 장치(3)가 접수한 가상 시점의 지정에 기초하여 화상 처리 장치(1)에 의해 생성되어 출력된 가상 시점 화상을 표시한다. 이에 의해 조작자는, 표시 장치(3)에 표시된 가상 시점 화상을 보면서 가상 시점의 지정을 행할 수 있다. 또한, 본 실시 형태에서는 가상 시점 화상을 표시하는 표시 장치(3)가 가상 시점의 지정을 접수하는 것으로 하지만, 이것에 한정되지 않는다. 예를 들어, 가상 시점의 지정을 접수하는 장치와, 조작자에게 가상 시점을 지정시키기 위한 가상 시점 화상을 표시하는 표시 장치가, 각각의 장치여도 된다.
또한 표시 장치(3)는, 조작자에 의한 조작에 기초하여, 가상 시점 화상의 생성을 개시시키기 위한 생성 지시를 화상 처리 장치(1)에 대하여 행한다. 또한 생성 지시는 이것에 한정되지 않고, 예를 들어 소정의 시각에 가상 시점 화상의 생성이 개시되도록 화상 처리 장치(1)에 가상 시점 화상의 생성을 예약하기 위한 지시여도 된다. 또한 예를 들어, 소정의 이벤트가 발생한 경우에 가상 시점 화상의 생성이 개시되도록 예약하기 위한 지시여도 된다. 또한, 화상 처리 장치(1)에 대하여 가상 시점 화상의 생성 지시를 행하는 장치가 표시 장치(3)와는 상이한 장치여도 되고, 유저가 화상 처리 장치(1)에 대하여 생성 지시를 직접 입력해도 된다.
표시 장치(4)는, 표시 장치(3)를 사용한 조작자에 의한 가상 시점의 지정에 기초하여 화상 처리 장치(1)에 의해 생성되는 가상 시점 화상을, 가상 시점을 지정하는 조작자와는 상이한 유저(시청자)에 대하여 표시한다. 또한, 화상 처리 시스템(10)은 복수의 표시 장치(4)를 갖고 있어도 되고, 복수의 표시 장치(4)가 각각 상이한 가상 시점 화상을 표시해도 된다. 예를 들어, 생방송되는 가상 시점 화상(라이브 화상)을 표시하는 표시 장치(4)와, 수록 후에 방송되는 가상 시점 화상(비라이브 화상)을 표시하는 표시 장치(4)가 화상 처리 시스템(10)에 포함되어 있어도 된다.
화상 처리 장치(1)는, 카메라 정보 취득부(100), 가상 시점 정보 취득부(110)(이후, 시점 취득부(110)), 화상 생성부(120) 및 출력부(130)를 갖는다. 카메라 정보 취득부(100)는, 카메라군(2)에 의한 촬영에 기초하는 화상이나, 카메라군(2)에 포함되는 각 카메라의 외부 파라미터 및 내부 파라미터 등을, 카메라군(2)으로부터 취득하여, 화상 생성부(120)에 출력한다. 시점 취득부(110)는, 조작자에 의한 가상 시점의 지정에 따른 정보를 표시 장치(3)로부터 취득하고, 화상 생성부(120)에 출력한다. 또한 시점 취득부(110)는, 표시 장치(3)에 의한 가상 시점 화상의 생성 지시를 접수한다. 화상 생성부(120)는, 카메라 정보 취득부(100)에 의해 취득된 촬영에 기초하는 화상과, 시점 취득부(110)에 의해 취득된 지정에 따른 정보와, 시점 취득부(110)에 의해 접수된 생성 지시에 기초하여, 가상 시점 화상을 생성하고, 출력부(130)에 출력한다. 출력부(130)는, 화상 생성부(120)에 의해 생성된 가상 시점 화상을, 표시 장치(3)나 표시 장치(4) 등의 외부의 장치에 출력한다.
또한, 본 실시 형태에 있어서 화상 처리 장치(1)는, 화질이 상이한 복수의 가상 시점 화상을 생성하고, 각 가상 시점 화상에 따른 출력처에 출력한다. 예를 들어, 리얼타임(저지연)의 가상 시점 화상을 요망하는 시청자가 보고 있는 표시 장치(4)에는, 생성에 관한 처리 시간이 짧은 저화질의 가상 시점 화상을 출력한다. 한편, 고화질의 가상 시점 화상을 요망하는 시청자가 보고 있는 표시 장치(4)에는, 생성에 관한 처리 시간이 긴 고화질의 가상 시점 화상을 출력한다. 또한, 본 실시 형태에 있어서의 지연은, 카메라군(2)에 의한 촬영이 행해지고 나서 그 촬영에 기초하는 가상 시점 화상이 표시될 때까지의 기간에 대응한다. 단 지연의 정의는 이것에 한정되지 않고, 예를 들어 현실 세계의 시각과 표시 화상에 대응하는 시각의 시간차를 지연이라 해도 된다.
계속해서, 화상 처리 장치(1)의 하드웨어 구성에 대하여, 도 2를 사용하여 설명한다. 화상 처리 장치(1)는, CPU(201), ROM(202), RAM(203), 보조 기억 장치(204), 표시부(205), 조작부(206), 통신부(207), 및 버스(208)를 갖는다. CPU(201)는, ROM(202)이나 RAM(203)에 저장되어 있는 컴퓨터 프로그램이나 데이터를 사용하여 화상 처리 장치(1)의 전체를 제어한다. 또한, 화상 처리 장치(1)가 GPU(Graphics Processing Unit)를 갖고, CPU(201)에 의한 처리의 적어도 일부를 GPU가 행해도 된다. ROM(202)은, 변경을 필요로 하지 않는 프로그램이나 파라미터를 저장한다. RAM(203)은, 보조 기억 장치(204)로부터 공급되는 프로그램이나 데이터, 및 통신부(207)를 통해 외부로부터 공급되는 데이터 등을 일시 기억한다. 보조 기억 장치(204)는, 예를 들어 하드디스크 드라이브 등으로 구성되며, 정지 화상이나 동화상 등의 콘텐츠 데이터를 기억한다.
표시부(205)는, 예를 들어 액정 디스플레이 등으로 구성되며, 유저가 화상 처리 장치(1)를 조작하기 위한 GUI(Graphical User Interface) 등을 표시한다. 조작부(206)는, 예를 들어 키보드나 마우스 등으로 구성되며, 유저에 의한 조작을 받아 각종 지시를 CPU(201)에 입력한다. 통신부(207)는, 카메라군(2)이나 표시 장치(3), 표시 장치(4) 등의 외부의 장치와 통신을 행한다. 예를 들어, 화상 처리 장치(1)가 외부의 장치와 유선으로 접속되는 경우에는, LAN 케이블 등이 통신부(207)에 접속된다. 또한, 화상 처리 장치(1)가 외부의 장치와 무선 통신하는 기능을 갖는 경우, 통신부(207)는 안테나를 구비한다. 버스(208)는 화상 처리 장치(1)의 각 부를 연결하여 정보를 전달한다.
또한, 본 실시 형태에서는 표시부(205)와 조작부(206)는 화상 처리 장치(1)의 내부에 존재하지만, 화상 처리 장치(1)는 표시부(205) 및 조작부(206) 중 적어도 한쪽을 구비하고 있지 않아도 된다. 또한, 표시부(205) 및 조작부(206) 중 적어도 한쪽이 화상 처리 장치(1)의 외부에 다른 장치로서 존재하고 있어, CPU(201)가, 표시부(205)를 제어하는 표시 제어부 및 조작부(206)를 제어하는 조작 제어부로서 동작해도 된다.
[동작 플로우]
다음에 도 3을 사용하여, 화상 처리 장치(1)의 동작의 일 형태에 대하여 설명한다. 도 3에 도시한 처리는, 시점 취득부(110)가 가상 시점 화상의 생성 지시의 접수를 행한 타이밍에 개시되며, 정기적(예를 들어 가상 시점 화상이 동화상인 경우의 1프레임마다)으로 반복된다. 단, 도 3에 도시한 처리의 개시 타이밍은 상기 타이밍에 한정되지 않는다. 도 3에 도시한 처리는, CPU(201)가 ROM(202)에 저장된 프로그램을 RAM(203)에 전개하여 실행함으로써 실현된다. 또한, 도 3에 도시한 처리 중 적어도 일부를, CPU(201)와는 상이한 전용의 하드웨어에 의해 실현해도 된다.
도 3에 도시한 플로우에 있어서, S2010과 S2020은 정보를 취득하는 처리에 대응하고, S2030-S2050은 조작자에게 가상 시점을 지정시키기 위한 가상 시점 화상(지정용 화상)을 생성하여 출력하는 처리에 대응한다. 또한, S2070-S2100은, 라이브 화상을 생성하여 출력하는 처리에 대응한다. S2110-S2130은, 비라이브 화상을 생성하여 출력하는 처리에 대응한다. 이하, 각 스텝에 있어서의 처리의 상세를 설명한다.
S2010에 있어서, 카메라 정보 취득부(100)는, 카메라군(2)에 의한 촬영에 기초하는 각 카메라의 촬영 화상과, 각 카메라의 외부 파라미터 및 내부 파라미터를 취득한다. 외부 파라미터는 카메라의 위치나 자세에 관한 정보이며, 내부 파라미터는 카메라의 초점 거리나 화상 중심에 관한 정보이다.
S2020에 있어서, 시점 취득부(110)는, 조작자에 의한 가상 시점의 지정에 따른 정보로서 가상 시점 정보를 취득한다. 본 실시 형태에 있어서 가상 시점 정보는, 가상 시점으로부터 피사체를 촬영하는 가상 카메라의 외부 파라미터와 내부 파라미터에 대응하고, 가상 시점 화상의 1프레임을 생성하기 위해 1개의 가상 시점 정보가 필요로 된다.
S2030에 있어서, 화상 생성부(120)는, 카메라군(2)에 의한 촬영 화상에 기초하여, 피사체가 되는 오브젝트의 3차원 형상을 추정한다. 피사체가 되는 오브젝트는, 예를 들어 카메라군(2)의 촬영 범위 내에 존재하는 인물이나 동체 등이다. 화상 생성부(120)는, 카메라군(2)으로부터 취득한 촬영 화상과, 미리 취득한 각 카메라에 대응하는 배경 화상의 차분을 산출함으로써, 촬영 화상 내의 오브젝트에 대응하는 부분(전경 영역)이 추출된 실루엣 화상을 생성한다. 그리고 화상 생성부(120)는, 각 카메라에 대응하는 실루엣 화상과 각 카메라의 파라미터를 사용하여, 오브젝트의 3차원 형상을 추정한다. 3차원 형상의 추정에는, 예를 들어 Visual Hull 방법이 사용된다. 이 처리의 결과, 피사체가 되는 오브젝트의 3차원 형상을 표현한 3D점군(3차원 좌표를 갖는 점의 집합)이 얻어진다. 또한, 카메라군(2)에 의한 촬영 화상으로부터 오브젝트의 3차원 형상을 도출하는 방법은 이것에 한정되지 않는다.
S2040에 있어서, 화상 생성부(120)는, 취득된 가상 시점 정보에 기초하여, 3D점군과 배경 3D 모델을 렌더링하여, 가상 시점 화상을 생성한다. 배경 3D 모델은, 예를 들어 카메라군(2)이 설치되어 있는 경기장 등의 CG 모델이며, 미리 작성되어 화상 처리 시스템(10) 내에 보존되어 있다. 여기까지의 처리에 의해 생성되는 가상 시점 화상에 있어서, 오브젝트에 대응하는 영역이나 배경 영역은 각각 소정의 색(예를 들어 한 색)으로 표시된다. 또한, 3D점군이나 배경 3D 모델을 렌더링하는 처리는 게임이나 영화의 분야에 있어서 기지이며, 예를 들어 GPU를 사용하여 처리하는 방법 등, 고속으로 처리를 행하기 위한 방법이 알려져 있다. 그 때문에, S2040까지의 처리에서 생성되는 가상 시점 화상은, 카메라군(2)에 의한 촬영 및 조작자에 의한 가상 시점의 지정에 따라서 고속으로 생성 가능하다.
S2050에 있어서, 출력부(130)는, 화상 생성부(120)에 의해 S2040에서 생성된 가상 시점 화상을, 조작자에게 가상 시점을 지정시키기 위한 표시 장치(3)에 출력한다. 여기서, 표시 장치(3)에 의해 표시되는 표시 화면(30)의 화면 구성을, 도 4를 사용하여 설명한다. 표시 화면(30)은 영역(310)과 영역(320)과 영역(330)으로 구성된다. 예를 들어, 지정용 화상으로서 생성된 가상 시점 화상은 영역(310)에 표시되고, 라이브 화상으로서 생성된 가상 시점 화상은 영역(320)에 표시되며, 비라이브 화상으로서 생성된 가상 시점 화상은 영역(330)에 표시된다. 즉, S2040에 있어서 생성되어 S2050에 있어서 출력된 가상 시점 화상은, 영역(310)에 표시된다. 그리고 조작자는 영역(310)의 화면을 보면서 가상 시점의 지정을 행한다. 또한, 표시 장치(3)는 적어도 지정용 화상을 표시하면 되고, 라이브 화상이나 비라이브 화상을 표시하지 않아도 된다.
S2060에 있어서, 화상 생성부(120)는, S2040에서 생성한 가상 시점 화상보다도 고화질의 가상 시점 화상을 생성하는 처리를 행할지 여부를 판단한다. 예를 들어, 가상 시점을 지정시키기 위한 저화질의 화상만이 필요로 되고 있는 경우에는, S2070으로는 진행하지 않고 처리를 종료한다. 한편, 보다 고화질의 화상이 필요한 경우에는, S2070으로 진행하여 처리를 계속한다.
S2070에 있어서, 화상 생성부(120)는, S2030에서 추정한 오브젝트의 형상 모델(3D점군)을, 예를 들어 PhotoHull 방법을 사용하여 더욱 고정밀도화한다. 구체적으로는, 3D점군의 각 점을 각 카메라의 촬영 화상에 사영하고, 각 촬영 화상에 있어서의 색의 일치도를 평가함으로써, 그 점이 피사체 형상을 표현하기 위해 필요한 점인지 여부를 판정한다. 예를 들어 3D점군 내의 어떤 점에 대하여, 사영처의 화소값의 분산이 역치보다 크면, 그 점은 피사체의 형상을 나타내는 점으로서는 올바르지 않다고 판정되어, 3D점군으로부터 그 점이 삭제된다. 이 처리를 3D점군 내의 전체 점에 대하여 행하여, 오브젝트의 형상 모델의 고정밀도화를 실현한다. 또한, 오브젝트의 형상 모델을 고정밀도화하는 방법은 이것에 한정되지 않는다.
S2080에 있어서, 화상 생성부(120)는, S2070에서 고정밀도화된 3D점군을 착색하고, 그것을 가상 시점의 좌표에 사영하여 전경 영역에 대응하는 전경 화상을 생성하는 처리와, 가상 시점으로부터 본 배경 화상을 생성하는 처리를 실행한다. 그리고 화상 생성부(120)는, 생성된 배경 화상에 전경 화상을 겹침으로써 라이브 화상으로서의 가상 시점 화상을 생성한다.
여기서, 가상 시점 화상의 전경 화상(오브젝트에 대응하는 영역의 화상)을 생성하는 방법의 일례에 대하여 설명한다. 전경 화상을 생성하기 위해, 3D점군을 착색하는 처리가 실행된다. 착색 처리는 점의 가시성 판정과 색의 산출 처리로 구성된다. 가시성의 판정에서는, 3D점군 내의 각 점과 카메라군(2)에 포함되는 복수의 카메라의 위치 관계로부터, 각 점에 대하여 촬영 가능한 카메라를 특정할 수 있다. 다음에 각 점에 대하여, 그 점을 촬영 가능한 카메라의 촬영 화상에 점을 사영하고, 사영처의 화소의 색을 그 점의 색으로 한다. 어떤 점이 복수의 카메라에 의해 촬영 가능한 경우, 복수의 카메라의 촬영 화상에 점을 사영하고, 사영처의 화소값을 취득하고, 화소값의 평균을 산출함으로써 그 점의 색을 정한다. 이와 같이 하여 착색된 3D점군을 기존의 CG 렌더링 방법에 의해 렌더링함으로써, 가상 시점 화상의 전경 화상을 생성할 수 있다.
다음에, 가상 시점 화상의 배경 화상을 생성하는 방법의 일례에 대하여 설명한다. 먼저, 배경 3D 모델의 정점(예를 들어 경기장의 단부에 대응하는 점)이 설정된다. 그리고, 이들 정점이, 가상 시점에 가까운 2대의 카메라(제1 카메라 및 제2 카메라라 함)의 좌표계와 가상 시점의 좌표계에 사영된다. 또한, 가상 시점과 제1 카메라의 대응점, 및 가상 시점과 제2 카메라의 대응점을 사용하여, 가상 시점과 제1 카메라 사이의 제1 사영 행렬과 가상 시점과 제2 카메라 사이의 제2 사영 행렬이 산출된다. 그리고, 제1 사영 행렬과 제2 사영 행렬을 사용하여, 배경 화상의 각 화소가 제1 카메라의 촬영 화상과 제2 카메라의 촬영 화상에 사영되고, 사영처의 2개의 화소값의 평균을 산출함으로써, 배경 화상의 화소값이 결정된다. 또한, 마찬가지의 방법에 의해, 3대 이상의 카메라의 촬영 화상으로부터 배경 화상의 화소값을 결정해도 된다.
이와 같이 하여 얻어진 가상 시점 화상의 배경 화상 상에 전경 화상을 겹침으로써, 착색된 가상 시점 화상을 생성할 수 있다. 즉, S2080에서 생성된 가상 시점 화상은 S2040에서 생성된 가상 시점 화상보다도 색의 계조수에 관하여 화질이 높다. 반대로 말하면, S2040에서 생성된 가상 시점 화상에 포함되는 색의 계조수는, S2080에서 생성된 가상 시점 화상에 포함되는 색의 계조수보다 적다. 또한, 가상 시점 화상에 색 정보를 부가하는 방법은 이것에 한정되지 않는다.
S2090에 있어서, 출력부(130)는, 화상 생성부(120)에 의해 S2080에 있어서 생성된 가상 시점 화상을, 라이브 화상으로서 표시 장치(3) 및 표시 장치(4)에 출력한다. 표시 장치(3)에 출력된 화상은 영역(320)에 표시되어 조작자가 볼 수 있고, 표시 장치(4)에 출력된 화상은 시청자가 볼 수 있다.
S2100에 있어서, 화상 생성부(120)는, S2080에 있어서 생성된 가상 시점 화상보다도 고화질의 가상 시점 화상을 생성하는 처리를 행할지 여부를 판단한다. 예를 들어, 가상 시점 화상을 시청자에 대하여 생방송으로만 제공하는 경우에는, S2110으로는 진행하지 않고 처리를 종료한다. 한편, 수록 후에 시청자를 향해서 보다 고화질의 화상을 방송하는 경우에는, S2110으로 진행하여 처리를 계속한다.
S2110에 있어서, 화상 생성부(120)는, S2070에서 생성된 오브젝트의 형상 모델을 더욱 고정밀도화한다. 본 실시 형태에서는, 형상 모델의 고립점을 삭제함으로써 고정밀도화를 실현한다. 고립점 제거에 있어서는, 먼저, Photo Hull로 산출된 복셀 집합(3D점군)에 대하여, 각 복셀의 주위에 다른 복셀이 존재하는지 여부가 조사된다. 주위에 복셀이 없는 경우, 그 복셀은 고립된 점이라고 판단되어, 그 복셀은 복셀 집합으로부터 삭제된다. 이와 같이 하여 고립점을 삭제한 형상 모델을 사용하여 S2080과 마찬가지의 처리를 실행함으로써, S2080에서 생성된 가상 시점 화상보다도 오브젝트의 형상이 고정밀도화된 가상 시점 화상이 생성된다.
S2120에 있어서, 화상 생성부(120)는, S2110에서 생성된 가상 시점 화상의 전경 영역과 배경 영역의 경계에 평활화 처리를 가하여, 경계 영역이 매끄럽게 표시되도록 화상의 수정을 행한다.
S2130에 있어서, 출력부(130)는, 화상 생성부(120)에 의해 S2120에 있어서 생성된 가상 시점 화상을 비라이브 화상으로서 표시 장치(3) 및 표시 장치(4)에 출력한다. 표시 장치(3)에 출력된 비라이브 화상은 영역(330)에 표시된다.
이상의 처리에 의해 화상 처리 장치(1)는, 조작자에게 가상 시점을 지정시키기 위한 지정용 화상으로서의 가상 시점 화상과, 지정용 화상보다 화질이 높고 시청자에 대하여 표시시키기 위한 가상 시점 화상인 라이브 화상을, 1조의 촬영 화상과 가상 시점 정보에 기초하여 생성한다. 여기서 라이브 화상은, 조작자에 의한 가상 시점의 지정에 기초하여 생성된다. 구체적으로는, 라이브 화상은, 지정용 화상에 대한 조작자에 의한 지정 조작에 따라서 결정되는 가상 시점에 대응하는 가상 시점 화상이다. 또한, 화상 처리 장치(1)는, 라이브 화상보다 더욱 화질이 높은 가상 시점 화상인 비라이브 화상도 생성한다. 그리고 화상 처리 장치(1)는, 생성한 라이브 화상 및 비라이브 화상을, 비라이브 화상이 표시되는 것보다 전에 라이브 화상이 표시되도록, 표시 장치(4)에 출력한다. 또한 화상 처리 장치(1)는, 생성한 지정용 화상을, 라이브 화상이 표시 장치(4)에 표시되는 것보다 전에 지정용 화상이 표시 장치(3)에 표시되도록, 표시 장치(3)에 출력한다.
이에 의해, 표시 장치(4)는, 저화질의 지정용 화상과, 지정용 화상보다 고화질이며 생방송되는 라이브 화상과, 라이브 화상보다 더욱 고화질이며 수록 후에 방송되는 비라이브 화상을 표시하는 것이 가능해진다. 또한, 표시 장치(4)는 라이브 화상과 비라이브 화상 중 어느 한쪽만을 표시해도 되고, 그 경우에는 화상 처리 장치(1)는 표시 장치(4)에 적합한 가상 시점 화상을 출력한다. 또한, 표시 장치(3)는 지정용 화상으로서의 저화질의 가상 시점 화상과, 라이브 화상으로서의 중화질의 가상 시점 화상과, 비라이브 화상으로서의 고화질의 가상 시점 화상의, 3종류의 가상 시점 화상을 표시하는 것이 가능해진다. 또한, 표시 장치(3)는 라이브 화상 및 비라이브 화상 중 적어도 어느 것을 표시하지 않아도 된다.
즉, 화상 처리 장치(1)는, 유저에게 가상 시점을 지정시키기 위한 표시 장치(3)에 대하여 지정용 화상을 출력한다. 그리고 화상 처리 장치(1)는, 유저에 의한 가상 시점의 지정에 기초하여 생성되는 가상 시점 화상을 표시하기 위한 표시 장치(4)에 대하여 지정용 화상보다 고화질의 라이브 화상 및 비라이브 화상 중 적어도 어느 것을 출력한다. 이에 의해, 가상 시점을 지정하기 위해 저지연으로 가상 시점 화상을 표시시키고자 하는 조작자와, 고화질의 가상 시점 화상을 보고자 하는 시청자의, 양쪽의 요건에 부응할 수 있다.
또한, 이상의 처리에서는, 카메라군(2)에 의한 촬영에 기초하는 화상과 가상 시점의 지정에 따른 정보에 기초하여 가상 시점 화상이 생성되고, 그 생성을 위한 처리의 결과에 기초하여 보다 고화질의 가상 시점 화상이 생성된다. 그 때문에, 저화질의 가상 시점 화상과 고화질의 가상 시점 화상을 각각 독립된 처리로 생성하는 경우보다도, 전체의 처리량을 저감할 수 있다. 단, 저화질의 가상 시점 화상과 고화질의 가상 시점 화상을 독립된 처리에 의해 생성해도 된다. 또한, 가상 시점 화상을 경기장이나 라이브장에 설치된 디스플레이에 표시시키거나 생방송하거나 하는 경우이며, 수록 후에 방송할 필요가 없는 경우에는, 화상 처리 장치(1)는 비라이브 화상을 생성하기 위한 처리를 행하지 않는다. 이에 의해, 고화질의 비라이브 화상을 생성하기 위한 처리량을 삭감할 수 있다.
또한, 화상 처리 장치(1)는, 생방송되는 라이브 화상 대신에, 혹은 라이브 화상에 더하여, 촬영 후에 표시되는 리플레이 화상을 생성해도 된다. 리플레이 화상은, 예를 들어 카메라군(2)에 의한 촬영의 대상이 경기 회장에 있어서의 축구 등의 시합인 경우에, 하프타임 중이나 시합 종료 후에 경기 회장의 디스플레이에 표시된다. 리플레이 화상은 지정용 화상보다도 고화질이며, 또한 시합의 종료나 하프타임까지 생성이 완료되어 표시 가능하게 되는 화질로 생성된다.
다음에 도 5를 사용하여, 화상 처리 장치(1)의 동작의 다른 일 형태에 대하여 설명한다. 도 3을 사용하여 상술한 동작 형태에서는, 저화질의 가상 시점 화상을 생성한 후에, 새로운 종별의 처리를 추가로 행함으로써, 고화질의 가상 시점 화상을 생성한다. 한편, 도 5를 사용하여 이하에서 설명하는 동작 형태에서는, 가상 시점 화상을 생성하기 위해 사용하는 카메라의 대수를 증가시킴으로써 가상 시점 화상의 고화질화를 실현한다. 이하의 설명에 있어서, 도 3의 처리와 마찬가지의 부분에 대해서는 설명을 생략한다.
도 5에 도시한 처리는, 시점 취득부(110)가 가상 시점 화상의 생성 지시의 접수를 행한 타이밍에 개시된다. 단 도 5의 처리의 개시 타이밍은 이것에 한정되지 않는다. S2010 및 S2020에 있어서, 화상 처리 장치(1)는, 도 3에서 설명한 것과 마찬가지의 처리에 의해, 카메라군(2)의 각 카메라에 의한 촬영 화상과 가상 시점 정보를 취득한다.
S4030에 있어서, 화상 생성부(120)는, 가상 시점 화상의 생성에 사용하는 촬영 화상에 대응하는 카메라의 수를 설정한다. 여기서 화상 생성부(120)는, S4050-S4070의 처리가 소정의 역치(예를 들어 가상 시점 화상이 동화상인 경우의 1프레임에 대응하는 시간) 이하의 처리 시간에 완료되도록 카메라의 수를 설정한다. 예를 들어, 미리 100대의 카메라의 촬영 화상을 사용하여 S4050-S4070의 처리를 실행하고, 그 처리 시간이 0.5초였던 것으로 한다. 이 경우에, 프레임 레이트가 60fps(frame per second)인 가상 시점 화상의 1프레임에 대응하는 0.016초 이내에 S4050-S4070의 처리를 완료시키고자 하면, 카메라의 수를 3대로 설정한다.
또한, S4050-S4070의 처리에 의해 가상 시점 화상이 출력된 후에, S4080에 있어서 화상 생성을 계속할 것으로 판단이 이루어진 경우, S4030으로 되돌아가 사용하는 카메라의 수를 재설정한다. 여기에서는, 앞서 출력한 가상 시점 화상보다 고화질의 가상 시점 화상이 생성되도록, 허용하는 처리 시간을 길게 하고, 그것에 따라서 카메라의 수를 증가시킨다. 예를 들어, 0.1초 이하의 처리 시간에 S4050-S4070의 처리가 완료되도록, 사용하는 촬영 화상에 대응하는 카메라의 수를 20대로 설정한다.
S4040에 있어서, 화상 생성부(120)는, 가상 시점 화상을 생성하기 위해 사용하는 촬영 화상에 대응하는 카메라를, S4030에서 설정된 카메라의 수에 따라서 카메라군(2) 중에서 선택한다. 예를 들어, 100대의 카메라로부터 3대의 카메라를 선택하는 경우, 가상 시점에 가장 가까운 카메라와, 그 카메라로부터 세어 34대째의 카메라 및 67대째의 카메라를 선택한다.
또한, 가상 시점 화상을 1회 생성한 후에, 사용하는 촬영 화상의 수를 증가시켜 2회째의 처리를 행하는 경우에는, 1회째의 처리에서 추정한 형상 모델을 더욱 고정밀도화하기 때문에, 1회째에서 선택된 카메라 이외의 카메라가 선택된다. 구체적으로는, 100대의 카메라로부터 20대의 카메라를 선택하는 경우, 1회째의 처리에서 선택되지 않은 카메라 중에서 가상 시점에 가장 가까운 카메라를 먼저 선택하고, 거기에서 5대 간격으로 카메라를 선택해 간다. 이때, 1회째에서 이미 선택한 카메라는 건너뛰어 다음 카메라를 선택한다. 또한, 예를 들어 비라이브 화상으로서 가장 고화질의 가상 시점 화상을 생성하는 경우에는, 카메라군(2)에 포함되는 모든 카메라를 선택하고, 각 카메라의 촬영 화상을 사용하여 S4050-S4070의 처리를 실행한다.
또한, 사용하는 촬영 화상에 대응하는 카메라를 선택하는 방법은 이것에 한정되지 않는다. 예를 들어, 가상 시점에 가까운 카메라를 우선하여 선택해도 된다. 이 경우, 피사체가 되는 오브젝트의 형상 추정에 있어서 가상 시점으로부터는 보이지 않는 배면 영역의 형상 추정의 정밀도는 낮아지지만, 가상 시점으로부터 보이는 전방면 영역의 형상 추정의 정밀도는 향상된다. 즉, 가상 시점 화상 중에서 시청자에게 있어서 눈에 띄기 쉬운 영역의 화질을 우선적으로 향상시킬 수 있다.
S4050에 있어서, 화상 생성부(120)는, S4040에서 선택된 카메라에 의한 촬영 화상을 사용하여, 오브젝트의 형상 추정 처리를 실행한다. 여기에서의 처리는, 예를 들어 도 3의 S2030에 있어서의 처리(VisualHull)와 S2070에 있어서의 처리(PhotoHull)의 조합이다. VisualHull의 처리는, 사용하는 복수의 촬영 화상에 대응하는 복수의 카메라의 시체적(視體積)의 논리곱을 계산하는 처리를 포함한다. 또한, PhotoHull의 처리는 형상 모델의 각 점을 복수의 촬영 화상에 사영하여 화소값의 일관성을 계산하는 처리를 포함한다. 그 때문에, 사용하는 촬영 화상에 대응하는 카메라의 수가 적을수록, 형상 추정의 정밀도는 낮아져 처리 시간이 짧아진다.
S4060에 있어서, 화상 생성부(120)는 렌더링 처리를 실행한다. 여기에서의 처리는, 도 3의 S2080에 있어서의 처리와 마찬가지이며, 3D점군의 착색 처리와 배경 화상의 생성 처리를 포함한다. 3D점군의 착색 처리도 배경 화상의 생성 처리도, 복수의 촬영 화상의 대응하는 점의 화소값을 사용한 계산에 의해 색을 결정하는 처리를 포함한다. 그 때문에, 사용하는 촬영 화상에 대응하는 카메라의 수가 적을수록, 렌더링의 정밀도는 낮아져 처리 시간이 짧아진다.
S4070에 있어서, 출력부(130)는, 화상 생성부(120)에 의해 S4060에 있어서 생성된 가상 시점 화상을, 표시 장치(3)나 표시 장치(4)에 출력한다.
S4080에 있어서, 화상 생성부(120)는, S4060에 있어서 생성된 가상 시점 화상보다도 고화질의 가상 시점 화상을 생성하는 처리를 행할지 여부를 판단한다. 예를 들어, S4060에 있어서 생성된 가상 시점 화상이 조작자에게 가상 시점을 지정시키기 위한 화상이며, 라이브 화상을 더 생성하는 경우에는, S4030으로 되돌아가, 사용하는 카메라의 수를 증가시켜 라이브 화상으로서의 가상 시점 화상을 생성한다. 또한, 라이브 화상을 생성한 후에, 비라이브 화상을 더 생성하는 경우에는, 카메라의 수를 더 증가시켜 비라이브 화상으로서의 가상 시점 화상을 생성한다. 즉, 라이브용 화상으로서의 가상 시점 화상의 생성에 사용되는 촬영 화상에 대응하는 카메라의 수는, 지정용 화상으로서의 가상 시점 화상의 생성에 사용되는 촬영 화상에 대응하는 카메라의 수보다 많기 때문에, 라이브 화상은 지정용 화상보다도 화질이 높다. 마찬가지로, 비라이브 화상으로서의 가상 시점 화상의 생성에 사용되는 촬영 화상에 대응하는 카메라의 수는, 라이브 화상으로서의 가상 시점 화상의 생성에 사용되는 촬영 화상에 대응하는 카메라의 수보다도 많기 때문에, 비라이브 화상은 라이브 화상보다도 화질이 높다.
또한 S4080에 있어서, 이미 생성한 가상 시점 화상보다 고화질의 가상 시점 화상을 생성할 필요가 없다고 판단된 경우, 혹은 보다 고화질의 가상 시점 화상을 생성할 수는 없다고 판단된 경우에는, 처리를 종료한다.
이상의 처리에 의해, 화상 처리 장치(1)는, 화질을 단계적으로 향상시킨 복수의 가상 시점 화상을 각각 적절한 타이밍에 생성하여 출력하는 것이 가능해진다. 예를 들어, 가상 시점 화상의 생성에 사용하는 카메라를, 설정된 처리 시간 이내에 생성 처리를 완료할 수 있는 대수로 제한함으로써, 지연이 적은 지정용 화상을 생성할 수 있다. 또한, 라이브 화상이나 비라이브 화상을 생성하는 경우에는, 사용하는 카메라의 수를 증가시켜 생성 처리를 행함으로써, 보다 고화질의 화상을 생성할 수 있다.
다음에 도 6을 사용하여, 화상 처리 장치(1)의 동작의 다른 일 형태에 대하여 설명한다. 도 5를 사용하여 상술한 동작 형태에서는, 가상 시점 화상을 생성하기 위해 사용하는 카메라의 대수를 증가시킴으로써 가상 시점 화상의 고화질화를 실현한다. 한편, 도 6을 사용하여 이하에서 설명하는 동작 형태에서는, 가상 시점 화상의 해상도를 단계적으로 높여 감으로써 가상 시점 화상의 고화질화를 실현한다. 이하의 설명에 있어서, 도 3이나 도 5의 처리와 마찬가지의 부분에 대해서는 설명을 생략한다. 또한, 이하에서 설명하는 동작 형태에 있어서는, 생성되는 가상 시점 화상의 화소수는 항상 4K(3840×2160)이며, 화소값의 계산을 큰 화소 블록별로 행하는지 작은 화소 블록별로 행하는지에 따라 가상 시점 화상의 해상도를 제어한다. 단 이것에 한정되지 않고, 생성되는 가상 시점 화상의 화소수를 변경함으로써 해상도를 제어해도 된다.
도 6에 도시한 처리는, 시점 취득부(110)가 가상 시점 화상의 생성 지시의 접수를 한 타이밍에 개시된다. 단 도 6의 처리의 개시 타이밍은 이것에 한정되지 않는다. S2010 및 S2020에 있어서, 화상 처리 장치(1)는, 도 3에서 설명한 것과 마찬가지의 처리에 의해, 카메라군(2)의 각 카메라에 의한 촬영 화상과 가상 시점 정보를 취득한다.
S5030에 있어서, 화상 생성부(120)는, 생성할 가상 시점 화상의 해상도를 설정한다. 여기에서 화상 생성부(120)는, S5050 및 S4070의 처리가 소정의 역치 이하의 처리 시간에 완료되도록 해상도를 설정한다. 예를 들어, 미리 4K 해상도의 가상 시점 화상을 생성하는 경우의 S5050 및 S4070의 처리를 실행하고, 그 처리 시간이 0.5초였던 것으로 한다. 이 경우에, 프레임 레이트가 60fps인 가상 시점 화상의 1프레임에 대응하는 0.016초 이내에 S5050 및 S4070의 처리를 완료시키고자 하면, 해상도를 4K의 0.016/0.5=1/31.25배 이하로 할 필요가 있다. 따라서, 가상 시점 화상의 해상도를 종횡 각각 4K 해상도의 1/8배로 설정하면, 화소값을 계산해야 할 화소 블록의 수는 1/64가 되어, 0.016초 미만에 처리를 완료할 수 있다.
또한, S5050 및 S4070의 처리에 의해 가상 시점 화상이 출력된 후에, S4080에 있어서 화상 생성을 계속할 것으로 판단이 이루어진 경우, S5030으로 되돌아가 해상도를 재설정한다. 여기에서는, 앞서 출력한 가상 시점 화상보다 고화질의 가상 시점 화상이 생성되도록, 허용하는 처리 시간을 길게 하고, 그것에 따라서 해상도를 높게 한다. 예를 들어, 해상도를 종횡 각각 4K 해상도의 1/4로 설정하면, 0.1초 이하의 처리 시간에 S5050 및 S4070의 처리가 완료된다. S5040에 있어서, 화상 생성부(120)는, 가상 시점 화상에 있어서 화소값을 계산해야 할 화소의 위치를, S5030에서 설정된 해상도에 따라서 결정한다. 예를 들어, 가상 시점 화상의 해상도를 4K 해상도의 1/8로 설정한 경우, 종횡 각각 8화소마다 화소값이 산출된다. 그리고, 화소값이 산출된 화소 (x,y)와 화소 (x+8,y+8) 사이에 존재하는 화소에는, 화소 (x,y)와 동일한 화소값이 설정된다.
또한, 가상 시점 화상을 1회 생성한 후에, 해상도를 높게 하여 2회째의 처리를 행하는 경우에는, 1회째에 화소값이 산출된 화소는 건너뛰고 화소값을 산출한다. 예를 들어, 해상도가 4K 해상도의 1/4로 설정된 경우, 화소 (x+4,y+4)의 화소값을 산출하고, 화소 (x+4,y+4)와 화소 (x+8,y+8) 사이에 존재하는 화소에는, 화소 (x+4,y+4)와 동일한 화소값이 설정된다. 이와 같이, 화소값을 산출하는 화소의 수를 증가시켜 감으로써, 가상 시점 화상의 해상도를 최대 4K 해상도까지 높게 할 수 있다.
S5050에 있어서, 화상 생성부(120)는, S5040에서 결정된 위치의 화소의 화소값을 산출하여 가상 시점 화상에 대한 착색 처리를 행한다. 화소값의 산출 방법으로서는, 예를 들어 Image-Based Visual Hull의 방법을 사용할 수 있다. 이 방법에서는 화소별로 화소값이 산출되므로, 화소값을 산출해야 할 화소의 수가 적을수록, 즉 가상 시점 화상의 해상도가 낮을수록, 처리 시간이 짧아진다.
S4070에 있어서, 출력부(130)는, 화상 생성부(120)에 의해 S5050에 있어서 생성된 가상 시점 화상을, 표시 장치(3)나 표시 장치(4)에 출력한다.
S4080에 있어서, 화상 생성부(120)는, S5050에 있어서 생성된 가상 시점 화상보다도 고화질의 가상 시점 화상을 생성하는 처리를 행할지 여부를 판단한다. 예를 들어, S5050에 있어서 생성된 가상 시점 화상이 조작자에게 가상 시점을 지정시키기 위한 화상이며, 라이브 화상을 더 생성하는 경우에는, S5030으로 되돌아가, 해상도를 높게 한 가상 시점 화상을 생성한다. 또한, 라이브 화상을 생성한 후에, 비라이브 화상을 더 생성하는 경우에는, 해상도를 더 높게 한 비라이브 화상으로서의 가상 시점 화상을 생성한다. 즉, 라이브 화상으로서의 가상 시점 화상은, 지정용 화상으로서의 가상 시점 화상보다 해상도가 높기 때문에, 라이브 화상은 지정용 화상보다도 화질이 높다. 마찬가지로, 비라이브 화상으로서의 가상 시점 화상은, 라이브 화상으로서의 가상 시점 화상보다도 해상도가 높기 때문에, 비라이브 화상은 라이브 화상보다도 화질이 높다.
또한 S4080에 있어서, 이미 생성한 가상 시점 화상보다 고화질의 가상 시점 화상을 생성할 필요가 없다고 판단된 경우, 혹은 보다 고화질의 가상 시점 화상을 생성할 수는 없다고 판단된 경우에는, 처리를 종료한다.
이상의 처리에 의해, 화상 처리 장치(1)는, 해상도를 단계적으로 향상시킨 복수의 가상 시점 화상을 각각 적절한 타이밍에 생성하여 출력하는 것이 가능해진다. 예를 들어, 가상 시점 화상의 해상도를, 설정된 처리 시간 이내에 생성 처리를 완료할 수 있는 해상도로 설정함으로써, 지연이 적은 지정용 화상을 생성할 수 있다. 또한, 라이브 화상이나 비라이브 화상을 생성하는 경우에는, 해상도를 높게 설정하여 생성 처리를 행함으로써, 보다 고화질의 화상을 생성할 수 있다.
이상과 같이, 화상 처리 장치(1)는, 가상 시점 화상의 화질을 향상시키기 위한 화상 처리를 행함으로써 고화질의 화상(예를 들어 비라이브 화상)을 생성한다. 또한 화상 처리 장치(1)는, 해당 화상 처리에 포함되는 부분적인 처리이며 소정의 역치 이하의 처리 시간에 실행되는 처리에 의해 저화질의 화상(예를 들어 라이브 화상)을 생성한다. 이에 의해, 소정 시간 이하의 지연으로 표시되는 가상 시점 화상과, 고화질의 가상 시점 화상을 양쪽 생성하여 표시하는 것이 가능해진다.
또한, 도 6의 설명에 있어서는, 소정의 역치 이하의 처리 시간에 생성 처리를 완료시키기 위한 생성 파라미터(해상도)를 추정하고, 추정된 생성 파라미터로 가상 시점 화상을 생성하는 것으로 하였다. 단 이것에 한정되지 않고, 화상 처리 장치(1)는, 가상 시점 화상의 화질을 단계적으로 향상시켜 가고, 처리 시간이 소정의 역치에 도달한 시점에 있어서 생성 완료된 가상 시점 화상을 출력해도 된다. 예를 들어, 처리 시간이 소정의 역치에 도달한 시점에 있어서, 해상도가 4K 해상도의 1/8인 가상 시점 화상이 생성 완료이며, 해상도가 4K 해상도의 1/4인 가상 시점 화상이 미완성인 경우에는, 1/8의 해상도의 가상 시점 화상을 출력해도 된다. 또한, 1/8의 해상도로부터 1/4의 해상도로 해상도를 향상시키는 처리가 도중까지 행해진 가상 시점 화상을 출력해도 된다.
본 실시 형태에서는, 화상 처리 장치(1)가 갖는 화상 생성부(120)가, 카메라 정보 취득부(100)가 취득한 화상과 시점 취득부(110)가 취득한 가상 시점 정보에 기초하여 가상 시점 화상의 생성을 제어하여, 상이한 화질의 복수의 가상 시점 화상을 생성하는 경우를 중심으로 설명하였다. 단 이것에 한정되지 않고, 가상 시점 화상의 생성을 제어하는 기능과, 실제로 가상 시점 화상을 생성하는 기능이, 각각 상이한 장치에 구비되어 있어도 된다.
예를 들어, 화상 처리 시스템(10) 내에, 화상 생성부(120)의 기능을 갖고 가상 시점 화상을 생성하는 생성 장치(도시하지 않음)가 존재해도 된다. 그리고, 화상 처리 장치(1)는 카메라 정보 취득부(100)가 취득한 화상 및 시점 취득부(110)가 취득한 정보에 기초하여 생성 장치에 의한 가상 시점 화상의 생성을 제어해도 된다. 구체적으로는, 화상 처리 장치(1)가 촬영 화상과 가상 시점 정보를 생성 장치에 송신하여, 가상 시점 화상의 생성을 제어하는 지시를 행한다. 그리고 생성 장치는, 제1 가상 시점 화상과, 제1 가상 시점 화상이 표시되는 것보다 빠른 타이밍에 표시되어야 할 제2 가상 시점 화상이며 제1 가상 시점 화상보다 화질이 낮은 제2 가상 시점 화상을, 수신한 촬영 화상과 가상 시점 정보에 기초하여 생성한다. 여기서 제1 가상 시점 화상은 예를 들어 비라이브 화상이며, 제2 가상 시점 화상은 예를 들어 라이브 화상이다. 단 제1 가상 시점 화상과 제2 가상 시점 화상의 용도는 이것에 한정되지 않는다. 또한, 화상 처리 장치(1)는, 제1 가상 시점 화상과 제2 가상 시점 화상이 각각 상이한 생성 장치에 의해 생성되도록 제어를 행해도 된다. 또한, 화상 처리 장치(1)는, 생성 장치에 의한 가상 시점 화상의 출력처나 출력 타이밍을 제어하는 등의 출력 제어를 행해도 된다.
또한, 생성 장치가 시점 취득부(110) 및 화상 생성부(120)의 기능을 갖고 있고, 화상 처리 장치(1)가 카메라 정보 취득부(100)에 의해 취득되는 화상에 기초하여 생성 장치에 의한 가상 시점 화상의 생성을 제어해도 된다. 여기서 카메라 정보 취득부(100)에 의해 취득되는 화상은, 카메라군(2)에 의해 촬영된 촬영 화상이나 복수의 촬영 화상의 차분에 기초하여 생성된 화상 등의, 촬영에 기초하는 화상이다. 또한, 생성 장치가 카메라 정보 취득부(100) 및 화상 생성부(120)의 기능을 갖고 있고, 화상 처리 장치(1)가 시점 취득부(110)에 의해 취득되는 화상에 기초하여 생성 장치에 의한 가상 시점 화상의 생성을 제어해도 된다. 여기서 시점 취득부(110)에 의해 취득되는 화상은, 가상 시점 화상에 있어서의 피사체의 형상이나 방향 등 가상 시점에 따라서 정해지는 내용을 나타내는 정보나 가상 시점 정보 등, 가상 시점의 지정에 따른 정보이다. 즉, 화상 처리 장치(1)는 촬영에 기초하는 화상 및 가상 시점의 지정에 따른 정보 중 적어도 어느 것을 포함하는 가상 시점 화상의 생성에 관한 정보를 취득하고, 취득한 정보에 기초하여 가상 시점 화상의 생성을 제어해도 된다.
또한 예를 들어, 화상 처리 시스템(10) 내에 존재하는 생성 장치가 카메라 정보 취득부(100), 시점 취득부(110) 및 화상 생성부(120)의 기능을 갖고 있으며, 화상 처리 장치(1)는 가상 시점 화상의 생성에 관한 정보에 기초하여 생성 장치에 의한 가상 시점 화상의 생성을 제어해도 된다. 이 경우에 있어서의 가상 시점 화상의 생성에 관한 정보는, 예를 들어 생성 장치에 의해 생성되는 제1 가상 시점 화상의 화질에 관한 파라미터 및 제2 가상 시점 화상의 화질에 관한 파라미터 중 적어도 어느 것을 포함한다. 화질에 관한 파라미터의 구체예로서는, 가상 시점 화상의 생성에 사용되는 촬영 화상에 대응하는 카메라의 수, 가상 시점 화상의 해상도, 가상 시점 화상의 생성에 관한 처리 시간으로서 허용되는 시간 등이 있다. 화상 처리 장치(1)는 예를 들어 조작자에 의한 입력에 기초하여 이들 화질에 관한 파라미터를 취득하고, 파라미터를 생성 장치에 송신하는 등, 취득한 파라미터에 기초하여 생성 장치를 제어한다. 이에 의해 조작자는, 각각 상이한 원하는 화질의 복수의 가상 시점 화상을 생성시킬 수 있다.
이상 설명한 바와 같이, 화상 처리 장치(1)는, 복수의 카메라에 의한 각각 상이한 방향으로부터의 피사체의 촬영에 기초하는 화상과 가상 시점의 지정에 따른 정보에 기초하는 가상 시점 화상의 생성 지시를 접수한다. 그리고 화상 처리 장치(1)는, 제1 표시 장치에 출력되는 제1 가상 시점 화상과 제2 표시 장치에 출력되는 제2 가상 시점 화상이, 촬영에 기초하는 화상과 가상 시점의 지정에 따른 정보에 기초하여 생성되도록, 생성 지시의 접수에 따라서 제어를 행한다. 여기서, 제2 가상 시점 화상은, 제1 가상 시점 화상보다 화질이 높은 가상 시점 화상이다. 이에 의해, 예를 들어 리얼타임으로 가상 시점 화상을 보고자 하는 유저와 리얼타임성보다도 가상 시점 화상이 고화질인 것을 우선하는 유저의 양쪽이 있는 경우에도, 표시되어야 할 타이밍에 적합한 가상 시점 화상을 생성할 수 있다.
또한, 본 실시 형태에서는 가상 시점 화상의 화질로서 색의 계조, 해상도, 및 가상 시점 화상의 생성에 사용되는 촬영 화상에 대응하는 카메라의 수를 제어하는 경우에 대하여 설명하였지만, 화질로서 그 밖의 파라미터를 제어해도 된다. 또한, 화질에 관한 복수의 파라미터를 동시에 제어해도 된다.
본 발명은, 상술한 실시 형태의 1 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억 매체를 통해 시스템 또는 장치에 공급하고, 그 시스템 또는 장치의 컴퓨터에 있어서의 1개 이상의 프로세서가 프로그램을 판독하여 실행하는 처리로도 실현 가능하다. 또한, 1 이상의 기능을 실현하는 회로(예를 들어, ASIC 등)에 의해서도 실현 가능하다. 또한, 그 프로그램을 컴퓨터에 의해 판독 가능한 기록 매체에 기록하여 제공해도 된다.
본 발명은 상기 실시 형태에 제한되는 것은 아니고, 본 발명의 정신 및 범위로부터 이탈하지 않고, 다양한 변경 및 변형이 가능하다. 따라서, 본 발명의 범위를 공표하기 위해 이하의 청구항을 첨부한다.
본원은, 2016년 10월 28일에 제출된 일본 특허 출원 제2016-211905호를 기초로 하여 우선권을 주장하는 것이며, 그 기재 내용 모두를 여기에 원용한다.

Claims (19)

  1. 화상 처리 시스템이며,
    복수의 촬영 장치에 의해 각각 상이한 위치로부터 촬영되는 복수의 화상을 취득하기 위한 화상 취득 수단;
    가상 시점을 지정하기 위한 조작에 대응하는 입력을 접수하기 위한 접수 수단; 및
    상기 화상 취득 수단에 의해 취득되는 상기 복수의 화상 및 상기 접수 수단에 의해 접수되는 상기 입력에 기초하여 복수의 가상 시점 화상을 생성하기 위한 생성 수단을 포함하고,
    상기 생성 수단은, 상기 조작에 사용될 제1 가상 시점 화상, 및 상기 제1 가상 시점 화상의 동화상의 프레임당 화상 데이터 크기보다 큰 동화상의 프레임당 화상 데이터 크기를 갖고 상기 조작에 기초하여 지정된 가상 시점에 대응하는 제2 가상 시점 화상을 생성하는, 화상 처리 시스템.
  2. 제1항에 있어서, 상기 제2 가상 시점 화상은 상기 조작에 응답하여 생성된 화상을 시청자가 보도록 표시되는 화상인, 화상 처리 시스템.
  3. 제1항에 있어서, 상기 생성 수단에 의해 생성된 상기 제1 가상 시점 화상과 상기 제2 가상 시점 화상을 출력하기 위한 출력 수단을 더 포함하고,
    상기 출력 수단에 의해 상기 제1 가상 시점 화상이 출력되는 타이밍이 상기 출력 수단에 의해 상기 제2 가상 시점 화상이 출력되는 타이밍보다 빠른, 화상 처리 시스템.
  4. 제1항에 있어서, 상기 제1 가상 시점 화상이 제1 표시 영역에 표시되고 상기 제2 가상 시점 화상이 상기 제1 표시 영역과는 상이한 제2 표시 영역에 표시되도록 상기 생성 수단에 의해 생성되는 상기 제1 가상 시점 화상과 상기 제2 가상 시점 화상의 출력을 제어하기 위한 출력 제어 수단을 더 포함하는, 화상 처리 시스템.
  5. 제1항에 있어서, 상기 생성 수단은, 상기 화상 취득 수단에 의해 취득된 화상으로부터 상기 제1 가상 시점 화상을 생성하는 과정에서 생성되는 화상 데이터와 상기 제1 가상 시점 화상 중 적어도 하나를 이용하여 화상 처리를 추가로 수행함으로써, 상기 제2 가상 시점 화상을 생성하는, 화상 처리 시스템.
  6. 제1항에 있어서, 상기 생성 수단은, 상기 복수의 화상과 상기 입력에 기초하여 생성된 가상 시점 화상에 대하여 동화상의 프레임당 화상 데이터 크기를 증가시키는 화상 처리를 수행함으로써 상기 제2 가상 시점 화상을 생성하고, 상기 가상 시점 화상으로부터 상기 제2 가상 시점 화상을 생성하는 처리의 일부이면서 미리 결정된 값 이하의 처리 시간에 실행되는 처리를 수행함으로써 상기 제1 가상 시점 화상을 생성하는, 화상 처리 시스템.
  7. 제1항에 있어서, 상기 제1 가상 시점 화상은 상기 복수의 촬영 장치 중 적어도 하나에 의해 촬영되는 오브젝트의 형상을 나타내는 화상이며,
    상기 제2 가상 시점 화상은, 상기 오브젝트의 형상에 더하여 또한 상기 제1 가상 시점 화상에 나타나지 않는 상기 오브젝트의 색을 나타내는 화상인, 화상 처리 시스템.
  8. 제1항에 있어서, 상기 생성 수단에 의해 생성된 상기 제2 가상 시점 화상에 포함된 색들의 계조 수는 상기 제1 가상 시점 화상에 포함된 색들의 계조 수보다 큰, 화상 처리 시스템.
  9. 제1항에 있어서, 상기 생성 수단에 의해 생성된 상기 제2 가상 시점 화상의 해상도는 상기 제1 가상 시점 화상의 해상도보다 높은, 화상 처리 시스템.
  10. 제1항에 있어서, 상기 생성 수단은, 상기 제1 가상 시점 화상과 상기 제2 가상 시점 화상에 더하여, 상기 복수의 화상과 상기 입력에 기초하여, 상기 제2 가상 시점 화상의 동화상의 프레임당 화상 데이터 크기보다 큰 동화상의 프레임당 화상 데이터 크기를 갖는 제3 가상 시점 화상을 생성하는, 화상 처리 시스템.
  11. 제10항에 있어서, 상기 제2 가상 시점 화상은 생방송되는 가상 시점 화상이며,
    상기 제3 가상 시점 화상은 수록 후에 방송되는 가상 시점 화상인, 화상 처리 시스템.
  12. 제1항에 있어서, 상기 제2 가상 시점 화상을 생성하도록 상기 생성 수단에 의해 사용되는 화상에 대응하는 촬영 장치의 수는, 상기 제1 가상 시점 화상을 생성하도록 상기 생성 수단에 의해 사용되는 화상에 대응하는 촬영 장치의 수보다 큰, 화상 처리 시스템.
  13. 제1항에 있어서, 가상 시점 화상의 화질에 관한 파라미터를 상기 생성 수단에 출력하기 위한 출력 수단을 더 포함하며,
    상기 생성 수단은, 상기 출력 수단으로부터 출력되는 상기 화질에 관한 상기 파라미터에 기초하여 상기 제1 가상 시점 화상 및 상기 제2 가상 시점 화상을 생성하는, 화상 처리 시스템.
  14. 제13항에 있어서, 상기 화질에 관한 상기 파라미터는, 가상 시점 화상의 생성에 사용되는 촬영 화상에 대응하는 촬영 장치의 수, 가상 시점 화상의 해상도, 및 가상 시점 화상을 생성하기 위한 처리 시간으로서의 허용 시간 중 적어도 하나를 포함하는, 화상 처리 시스템.
  15. 제1항에 있어서, 상기 복수의 화상으로부터 상기 제2 가상 시점 화상을 생성하도록 상기 생성 수단에 의해 실행되는 화상 처리의 처리량은, 상기 복수의 화상으로부터 상기 제1 가상 시점 화상을 생성하도록 상기 생성 수단에 의해 실행되는 화상 처리의 처리량보다 많은, 화상 처리 시스템.
  16. 화상 처리 방법으로서,
    복수의 촬영 장치에 의해 각각 상이한 위치로부터 촬영되는 복수의 화상을 취득하는 취득 단계;
    가상 시점을 지정하기 위한 조작에 대응하는 입력을 접수하는 접수 단계; 및
    상기 취득 단계에서 취득되는 상기 복수의 화상 및 상기 접수 단계에서 접수되는 상기 입력에 기초하여 복수의 가상 시점 화상을 생성하는 단계로서, 상기 조작에 사용되는 제1 가상 시점 화상, 및 생성되는 상기 제1 가상 시점 화상의 동화상의 프레임당 화상 데이터 크기보다 큰 동화상의 프레임당 화상 데이터 크기를 갖고 상기 조작에 기초하여 지정된 가상 시점에 대응하는 제2 가상 시점 화상을 생성하는 생성 단계를 포함하는, 화상 처리 방법.
  17. 제16항에 있어서, 상기 제2 가상 시점 화상은 상기 조작에 응답하여 생성되는 화상을 시청자가 보기 위한 화상인, 화상 처리 방법.
  18. 제16항에 있어서, 상기 생성 단계에서 생성된 상기 제1 가상 시점 화상과 상기 제2 가상 시점 화상을 출력하는 출력 단계를 더 포함하며,
    상기 출력 단계에서 상기 제1 가상 시점 화상이 출력되는 타이밍은 상기 출력 단계에서 상기 제2 가상 시점 화상이 출력되는 타이밍보다 빠른, 화상 처리 방법.
  19. 컴퓨터로 하여금 제1항 내지 제15항 중 어느 한 항에 따른 화상 처리 시스템으로서 기능하게 하는 프로그램을 기억하는, 기억 매체.
KR1020207005390A 2016-10-28 2017-10-20 화상 처리 시스템, 화상 처리 방법 및 기억 매체 Active KR102262731B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020217016990A KR102364052B1 (ko) 2016-10-28 2017-10-20 화상 처리 시스템, 화상 처리 방법 및 기억 매체

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016211905A JP6419128B2 (ja) 2016-10-28 2016-10-28 画像処理装置、画像処理システム、画像処理方法及びプログラム
JPJP-P-2016-211905 2016-10-28
PCT/JP2017/037978 WO2018079430A1 (ja) 2016-10-28 2017-10-20 画像処理装置、画像処理システム、画像処理方法及びプログラム
KR1020197014181A KR102083767B1 (ko) 2016-10-28 2017-10-20 화상 처리 장치, 화상 처리 시스템, 화상 처리 방법 및 기억 매체

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020197014181A Division KR102083767B1 (ko) 2016-10-28 2017-10-20 화상 처리 장치, 화상 처리 시스템, 화상 처리 방법 및 기억 매체

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020217016990A Division KR102364052B1 (ko) 2016-10-28 2017-10-20 화상 처리 시스템, 화상 처리 방법 및 기억 매체

Publications (2)

Publication Number Publication Date
KR20200023513A true KR20200023513A (ko) 2020-03-04
KR102262731B1 KR102262731B1 (ko) 2021-06-10

Family

ID=62023396

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020217016990A Active KR102364052B1 (ko) 2016-10-28 2017-10-20 화상 처리 시스템, 화상 처리 방법 및 기억 매체
KR1020207005390A Active KR102262731B1 (ko) 2016-10-28 2017-10-20 화상 처리 시스템, 화상 처리 방법 및 기억 매체
KR1020197014181A Active KR102083767B1 (ko) 2016-10-28 2017-10-20 화상 처리 장치, 화상 처리 시스템, 화상 처리 방법 및 기억 매체

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020217016990A Active KR102364052B1 (ko) 2016-10-28 2017-10-20 화상 처리 시스템, 화상 처리 방법 및 기억 매체

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020197014181A Active KR102083767B1 (ko) 2016-10-28 2017-10-20 화상 처리 장치, 화상 처리 시스템, 화상 처리 방법 및 기억 매체

Country Status (11)

Country Link
US (2) US11128813B2 (ko)
EP (2) EP4012661A1 (ko)
JP (1) JP6419128B2 (ko)
KR (3) KR102364052B1 (ko)
CN (2) CN110944119B (ko)
AU (3) AU2017351012B2 (ko)
BR (1) BR112019008387B1 (ko)
CA (1) CA3041976C (ko)
ES (1) ES2908243T3 (ko)
RU (1) RU2708437C1 (ko)
WO (1) WO2018079430A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018155670A1 (ja) * 2017-02-27 2018-08-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像配信方法、画像表示方法、画像配信装置及び画像表示装置
JP7027049B2 (ja) * 2017-06-15 2022-03-01 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP7033865B2 (ja) * 2017-08-10 2022-03-11 キヤノン株式会社 画像生成装置、画像生成方法、及びプログラム
JP7030452B2 (ja) * 2017-08-30 2022-03-07 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、情報処理システム及びプログラム
JP6868288B2 (ja) * 2018-09-11 2021-05-12 株式会社アクセル 画像処理装置、画像処理方法、及び画像処理プログラム
JP7353782B2 (ja) * 2019-04-09 2023-10-02 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP7418101B2 (ja) * 2019-07-26 2024-01-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
WO2021117482A1 (ja) * 2019-12-09 2021-06-17 ソニーグループ株式会社 情報処理装置および方法、プログラム、並びに、情報処理システム
JP7488285B2 (ja) * 2019-12-26 2024-05-21 富士フイルム株式会社 情報処理装置、情報処理装置の作動方法、及びプログラム
JP7389140B2 (ja) * 2019-12-26 2023-11-29 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
JP6708917B1 (ja) * 2020-02-05 2020-06-10 リンクウィズ株式会社 形状検出方法、形状検出システム、プログラム
JP7476160B2 (ja) * 2021-11-29 2024-04-30 キヤノン株式会社 情報処理装置、情報処理システム、及びプログラム
CN115883792B (zh) * 2023-02-15 2023-05-05 深圳市完美显示科技有限公司 一种利用5g和8k技术的跨空间实景用户体验系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004280250A (ja) * 2003-03-13 2004-10-07 Canon Inc 情報処理装置および方法
JP2011135138A (ja) * 2009-12-22 2011-07-07 Canon Inc 映像再生装置及びその制御方法
JP2013175988A (ja) * 2012-02-27 2013-09-05 Nec Casio Mobile Communications Ltd 映像送信装置、端末装置、映像送信方法及びプログラム
JP2013223008A (ja) 2012-04-13 2013-10-28 Canon Inc 画像処理装置及び方法
JP2016519546A (ja) * 2013-05-26 2016-06-30 ピクセルロット エルティーディー．Ｐｉｘｅｌｌｏｔ Ｌｔｄ． 低コストでテレビ番組を制作する方法及びシステム

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3486579B2 (ja) * 1999-09-02 2004-01-13 キヤノン株式会社 空間描画方法、仮想空間描画装置および記憶媒体
US20020049979A1 (en) * 2000-05-18 2002-04-25 Patrick White Multiple camera video system which displays selected images
US7085409B2 (en) * 2000-10-18 2006-08-01 Sarnoff Corporation Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
US7307654B2 (en) * 2002-10-31 2007-12-11 Hewlett-Packard Development Company, L.P. Image capture and viewing system and method for generating a synthesized image
US8711923B2 (en) * 2002-12-10 2014-04-29 Ol2, Inc. System and method for selecting a video encoding format based on feedback data
EP1646012B1 (en) * 2003-06-20 2016-04-13 Nippon Telegraph And Telephone Corporation Virtual visual point image generating method and 3-d image display method and device
CN100355272C (zh) * 2005-06-24 2007-12-12 清华大学 一种交互式多视点视频系统中虚拟视点的合成方法
JP4727329B2 (ja) * 2005-07-15 2011-07-20 パナソニック株式会社 画像合成装置及び画像合成方法
JP2007150747A (ja) * 2005-11-28 2007-06-14 Matsushita Electric Ind Co Ltd 受信装置及び本線映像配信装置
US8277316B2 (en) * 2006-09-14 2012-10-02 Nintendo Co., Ltd. Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting
JP4895042B2 (ja) 2007-07-20 2012-03-14 富士フイルム株式会社 画像圧縮装置、画像圧縮方法、及びプログラム
US9041722B2 (en) * 2007-11-16 2015-05-26 Sportvision, Inc. Updating background texture for virtual viewpoint animations
US8270767B2 (en) * 2008-04-16 2012-09-18 Johnson Controls Technology Company Systems and methods for providing immersive displays of video camera information from a plurality of cameras
US8819172B2 (en) * 2010-11-04 2014-08-26 Digimarc Corporation Smartphone-based methods and systems
US8611674B1 (en) * 2010-01-18 2013-12-17 Disney Enterprises, Inc. System and method for invariant-based normal estimation
US8823797B2 (en) * 2010-06-03 2014-09-02 Microsoft Corporation Simulated video with extra viewpoints and enhanced resolution for traffic cameras
JP2012114816A (ja) * 2010-11-26 2012-06-14 Sony Corp 画像処理装置、画像処理方法及び画像処理プログラム
EP2688280A4 (en) * 2011-03-18 2014-09-10 Sony Corp IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
EP2600316A1 (en) * 2011-11-29 2013-06-05 Inria Institut National de Recherche en Informatique et en Automatique Method, system and software program for shooting and editing a film comprising at least one image of a 3D computer-generated animation
KR101265711B1 (ko) * 2011-11-30 2013-05-20 주식회사 이미지넥스트 3ｄ 차량 주변 영상 생성 방법 및 장치
KR101224221B1 (ko) * 2012-05-10 2013-01-22 쉐어쉐어주식회사 응용프로그램을 이용한 콘텐츠 운영 시스템
CN104364754A (zh) 2012-06-12 2015-02-18 索尼公司 信息处理设备、信息处理方法及程序
CN102801997B (zh) * 2012-07-11 2014-06-11 天津大学 基于感兴趣深度的立体图像压缩方法
US9769365B1 (en) * 2013-02-15 2017-09-19 Red.Com, Inc. Dense field imaging
US9462301B2 (en) * 2013-03-15 2016-10-04 Google Inc. Generating videos with multiple viewpoints
KR102098277B1 (ko) * 2013-06-11 2020-04-07 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
US9996974B2 (en) * 2013-08-30 2018-06-12 Qualcomm Incorporated Method and apparatus for representing a physical scene
EP3055763A1 (en) * 2013-10-07 2016-08-17 VID SCALE, Inc. User adaptive 3d video rendering and delivery
JP6607433B2 (ja) 2014-06-23 2019-11-20 パナソニックＩｐマネジメント株式会社 映像配信方法及びサーバ
JP6299492B2 (ja) 2014-07-03 2018-03-28 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP6477214B2 (ja) 2015-05-01 2019-03-06 セイコーエプソン株式会社 傾斜度測定方法及び装置並びに電子機器及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004280250A (ja) * 2003-03-13 2004-10-07 Canon Inc 情報処理装置および方法
JP2011135138A (ja) * 2009-12-22 2011-07-07 Canon Inc 映像再生装置及びその制御方法
JP2013175988A (ja) * 2012-02-27 2013-09-05 Nec Casio Mobile Communications Ltd 映像送信装置、端末装置、映像送信方法及びプログラム
JP2013223008A (ja) 2012-04-13 2013-10-28 Canon Inc 画像処理装置及び方法
JP2016519546A (ja) * 2013-05-26 2016-06-30 ピクセルロット エルティーディー．Ｐｉｘｅｌｌｏｔ Ｌｔｄ． 低コストでテレビ番組を制作する方法及びシステム

Also Published As

Publication number Publication date
CN109964253B (zh) 2020-01-31
RU2708437C1 (ru) 2019-12-06
JP6419128B2 (ja) 2018-11-07
ES2908243T3 (es) 2022-04-28
EP3534337B1 (en) 2022-02-16
JP2018073105A (ja) 2018-05-10
AU2017351012A1 (en) 2019-05-23
CA3041976C (en) 2020-07-28
AU2017351012B2 (en) 2019-11-14
KR20190064649A (ko) 2019-06-10
BR112019008387B1 (pt) 2021-02-23
US20190253639A1 (en) 2019-08-15
EP3534337A4 (en) 2020-08-26
KR20210068629A (ko) 2021-06-09
WO2018079430A1 (ja) 2018-05-03
AU2020200831A1 (en) 2020-02-20
CN110944119B (zh) 2022-04-26
BR112019008387A2 (pt) 2019-07-09
AU2021269399A1 (en) 2021-12-16
EP4012661A1 (en) 2022-06-15
EP3534337A1 (en) 2019-09-04
CN109964253A (zh) 2019-07-02
US11128813B2 (en) 2021-09-21
KR102083767B1 (ko) 2020-03-02
US20210344848A1 (en) 2021-11-04
KR102364052B1 (ko) 2022-02-18
CA3041976A1 (en) 2018-05-03
AU2021269399B2 (en) 2023-09-28
KR102262731B1 (ko) 2021-06-10
CN110944119A (zh) 2020-03-31

Similar Documents

Publication Publication Date Title
KR102083767B1 (ko) 화상 처리 장치, 화상 처리 시스템, 화상 처리 방법 및 기억 매체
KR102049245B1 (ko) 화상처리 장치, 화상처리 방법, 화상처리 시스템 및 기억매체
JP7051457B2 (ja) 画像処理装置、画像処理方法、及びプログラム
KR102280587B1 (ko) 가상 시점 화상을 생성하는 시스템, 방법, 및 비일시적 컴퓨터 판독가능 기억 매체
KR102162107B1 (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램
JP7023696B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2019197279A (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
KR20210059775A (ko) 이미지 합성
JP7642394B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2019003428A (ja) 画像処理装置、画像処理方法及びプログラム
JP7439146B2 (ja) 画像処理システム、画像処理方法及びプログラム
JP7313811B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6672417B2 (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
JP6717486B1 (ja) 拡張仮想空間提供システム
WO2022176719A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP2022103836A (ja) 情報処理装置、情報処理方法及びプログラム
JP2023175503A (ja) 画像処理装置及びその画像処理方法
JP2023003765A (ja) 画像生成装置およびその制御方法、画像生成システム、ならびにプログラム

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20200225

Application number text: 1020197014181

Filing date: 20190517

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200312

Patent event code: PE09021S01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20201027

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210302

A107 Divisional application of patent
GRNT Written decision to grant
PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20210603

Application number text: 1020197014181

Filing date: 20190517

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210603

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210604

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240527

Start annual number: 4

End annual number: 4