JPH08331607A

JPH08331607A - 三次元表示画像生成方法

Info

Publication number: JPH08331607A
Application number: JP25714195A
Authority: JP
Inventors: Yukinori Matsumoto; 幸則松本; Hajime Terasaki; 肇寺崎; Masazumi Katayama; 正純片山; Kazuhide Sugimoto; 和英杉本; Tsutomu Arakawa; 勉荒川; Osamu Suzuki; 治鈴木
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 1995-03-29
Filing date: 1995-09-08
Publication date: 1996-12-13

Abstract

(57)【要約】【課題】精度の高い三次元表示用画像を生成するため
の自動化に最適な方法が希求された。【解決手段】入力映像から、被写体の画面上の動き情
報を抽出する（工程１）。このとき、ブロックマッチン
グ等の手法を使う。つづいて三次元空間における被写体
の現実の動きを算出する（工程２）。入力映像はもとの
三次元的な動きの投影であるから、複数の代表点の動き
から三次元表示の動きが逆変換によって求められる。こ
の結果、被写体の座標が判明するため、被写体の奥行き
情報が獲得できる（工程３）。この奥行きに従って視差
を計算し、入力映像から両眼用画像を生成する（工程
４）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は三次元表示画像を
生成する方法、特に、疑似的に三次元表示を行うため
に、単眼映像または多眼映像（ステレオ映像）から左右
両眼用の画像を生成する方法に関する。

【０００２】

【従来の技術】単眼で撮影された二次元映像を元に疑似
的に三次元表示を行う技術に、時間差方式の三次元表示
がある。ここでまず、この原理を図１〜３によって説明
する。図１に示すように、背景は変化せず被写体のみが
左から右へ移動する映像において、図２のように再生さ
れた右眼画像と左眼画像の間に一定の時間差を設けると
する。このとき、図３に示すような視差が生じる。ここ
で、図２と図３の数字はフィールド番号を示している。
「視差」あるいは「両眼視差」とは、左右両眼からある
点を見たときの視線ベクトルの角度差をいう。

【０００３】通常はこれら左右両眼の画像を、フィール
ドに同期して動作するシャッターメガネを介して見るこ
とにより、立体視が可能となる。図２の場合、左眼の方
がより進んだフィールドを見る。仮に被写体が逆向きに
移動すれば、右眼に与えるフィールドを進ませればよ
い。こうした判断は例えば画像編集者によって行われ
る。以上が時間差方式の三次元表示の原理である。

【０００４】特開昭６０−２６３５９４号公報には、こ
の方式に基づく立体画像再生装置が開示されている。こ
の装置は上記原理の適用において、１．フィールドに同期した切換えを行うと、それぞれの
眼に入る画像はインタレースの一方の画面のみとなって
解像度が低下し、２．一方、切換えをフレームに同期させると、それぞれ
の眼に入るフリッカー周波数が３０ヘルツとなってちら
つきが増加する、という課題に鑑み、１．垂直・水平偏向信号を逓倍して同一フィールドを複
数回表示し、２．その逓倍周波数に合わせてシャッターメガネをより
高速に切り換える、という構成を採る。この構成によれば、両眼にインタレ
ースの両画面を表示しつつフリッカー周波数を高くする
ことができ、結果としてより自然な立体表示が可能とな
る。

【０００５】さらにこの装置においては、被写体の動き
に応じて時間差を１フィールドと２フィールドの間で選
択する点について言及されている。動きが遅ければ大き
めの時間差（つまり２フィールド）を持たせて立体視の
効果を維持するというもので、かかる選択は「動き検出
回路」によるものとされる。

【０００６】なお、特開昭６０−２６３５９４号公報に
開示される技術を以降「従来技術」と呼ぶ。また本明細
書においては、以後原則として、単に「映像」といえば
処理の対象となる入力（ただし後述の視点変更映像を除
く）、「画像」といえば処理後の出力（主に、最終的に
左右両眼に表示される画像）を指す。

【０００７】

【発明が解決しようとする課題】上記した従来技術によ
れば、時間差方式のもとで一定の立体視効果を得ること
ができる。しかし、以下の課題も存在する。

【０００８】［課題１］技術的・機能的制約従来技術では、時間差によって両眼視差を生じさせる必
要性から、前提として、被写体が水平方向に動いていな
ければならない。これは根本的な制約である。さらに従
来技術では、映像の組合せを出力するに留まるため、左
右両眼用の画像（以下「左右画像」という）は既に撮影
された映像から選択されなければならない。従って、１．動きのある映像を連続投入する必要があり、２．左右画像のために常時２枚の映像が必須となり、３．有限な組合せによって、三次元表示が不自然になる
ことがあり、４．その他、強調表示などの表現展開が困難である、等の問題が発生する。この結果、こうした三次元表示に
は自ずと限界があり、この限界は従来技術の応用と発展
の足かせとなっている。

【０００９】［課題２］処理自動化の困難性従来技術によれば、「動き検出回路」によって処理の自
動化が可能とされるものの、具体的な方途が不明であ
る。またそれ以上に、もし課題１の解決を考えた場合、
この動き検出回路程度の構成によって所望の画像を得る
ことはできない。すなわち、課題１を解決しつつ処理の
自動化を図るとき、少なくとも以下の工程に関する具体
的方法を示す必要がある。

【００１０】１．映像の解析被写体の動き情報を獲得する。図１の例でいえば、被写
体領域の移動方向と速度等、動き情報を自動的に抽出す
る工程２．画像の生成前記解析結果に基づき、立体視に必要な視差を生む両眼
用の画像を自動生成し、表示する工程［本発明の目的］以上の諸点に鑑み、本発明の目的は以
下に約言される。

【００１１】［目的１］技術的・機能的制約の解消本発明では、既存の映像の組合せではなく、視点と被写
体の距離情報（以降単に「奥行き情報」という）に従っ
て新たに生成する。本発明は時間差という概念に拘束さ
れない。

【００１２】本発明で複数映像が必要なのは奥行き情報
の抽出時のみであり、以降、１つの映像から自由に左右
画像が生成される。これにより上記課題１の本質的解決
を図るとともに、画像処理の自由度を向上させるもので
ある。

【００１３】［目的２］処理の自動化目的１を達成しつつ、処理自動化のために以下の方法を
具体的に開示する。

【００１４】１．映像の解析に当たり、被写体の任意方
向の動きから奥行き情報を自動抽出する方法２．画像の生成に当たり、前記奥行き情報に従って被写
体各部位に与えるべき視差を算出し、新たな画像を自動
生成する方法１．２．の両手続の結果、時間差方式の前提条件である
被写体の水平方向の動きは不要となる。

【００１５】［目的３］多眼入力映像の三次元表示目的１、２は主に単眼入力映像から三次元表示画像を生
成する方法に関連する。そこで本発明は、目的１、２を
達成する技術を利用して多眼入力映像を三次元表示する
ための画像生成方法も開示する。

【００１６】

【課題を解決するための手段】本発明は、処理の対象と
なる元の映像から該映像の奥行き情報を抽出し、この情
報に従って三次元表示用の画像を生成する。ここで「元
の映像」とは、単眼で撮影されたものでもよいし、多眼
で撮影されたステレオ映像でもよい。

【００１７】このとき本発明は、複数の映像フレーム間
における映像各部位の二次元的な位置の変位を検出し、
この情報から前記奥行き情報を抽出する。「映像各部
位」とは、映像を構成する各領域や各画素をいう。「映
像フレーム」とは映像の処理単位で、通常の画像フレー
ムの他、画像フィールド、ＭＰＥＧのピクチャ等を含
む。「複数の映像フレーム」は、単眼の場合は異なる時
刻に撮影された複数フレーム（以下「異時刻フレー
ム」）をいう。多眼の場合は、同時に撮影された複数フ
レーム（以下「同時刻フレーム」）でもよいし、多眼カ
メラを構成する１つのカメラによる異時刻フレームでも
よい。「二次元的な」とは、映像フレームが平面映像で
あることを意味する。多眼の場合でも、各カメラの映像
は平面映像である。「二次元的な位置の変位」とは、平
面上における位置の変位をいう。異時刻フレームなら時
間経過に伴う位置の変化（すなわち動き）、同時刻フレ
ームなら複数フレーム間の位置のずれを指す。

【００１８】本発明のある態様では、前記複数の映像フ
レームは異時刻フレームであり、前記二次元的な位置の
変位量に基づいてこれらの異時刻フレームが選択され
る。変位量が大き過ぎる場合は、例えば時刻差を少なく
して複数フレームを選択する方法が考えられる。

【００１９】本発明では、前記映像各部位の二次元的な
位置の変位量を統計的に処理し、その処理結果に基づい
て複数の映像フレームを選択してもよい。統計的な処理
として、映像各部位の動きベクトルの分散を導出し、こ
の値が所定値よりも大きくなるように複数の映像フレー
ムを選択してもよい。分散の導出は既知の計算によって
行われる。映像各部位の動きが小さすぎると計算誤差が
大きくなるため、分散がある程度大きいほうが好まし
い。

【００２０】従って本発明のある態様では、分散が所定
値よりも大きくなるような複数の映像フレームを選択す
ることができない場合、三次元表示用画像の生成を中止
する。誤差の大きさに起因して不自然な三次元表示が行
われる事態を回避するためである。

【００２１】本発明は、こうして得られた映像各部位の
二次元的な位置の変位から、映像各部位が現実の三次元
空間において占める相対位置関係を導出する。その結果
に従って前記奥行きを決定する。入力が単眼映像の場
合、必ずしも絶対位置が求まらない。これは後述のスケ
ールファクターの問題である。そこで、少なくとも相対
位置を求める。

【００２２】このとき、前記二次元的な位置の変位から
前記映像各部位の三次元的な動きを算出し、この動きか
ら三角測量の原理によって前記映像各部位の三次元空間
における位置座標を算出し、その結果に従って前記奥行
きを決定してもよい。単眼の場合はカメラの移動を仮定
して三角測量の原理を適用する。多眼の場合は例えば左
右映像に対してこの原理を適用する。

【００２３】本発明では、複数の映像フレーム間におけ
る被写体の対応を把握する必要がある。そこで、基準と
なる映像フレーム（以下「基準フレーム」という）に代
表点を設定し、他の映像フレーム（以下「対象フレー
ム」という）における前記代表点の対応点を求め、これ
ら代表点と対応点の位置関係を求めて、前記映像各部位
の二次元的な位置の変位を認識してもよい。これは一種
の画像認識技術である。ここでいう「対応点」とは、代
表点に対応する点である。対応点には、「真の対応点」
と「計算上の対応点」の２つの概念が存在する。対応点
は本来、各代表点に対して一意的に存在するはずであ
り、その存在個所以外の点が対応点であるという状態は
考えられない。この理想的な対応点が真の対応点であ
る。

【００２４】一方、画像処理計算から決まる対応点は、
真の対応点に一致するとは限らない。これが計算上の対
応点である。計算上の対応点は、真の対応点の存在個所
以外に存在することがありうるだけではなく、その位置
が適宜変更されることもある。後者は、例えば後述の対
応点精度の改善処理を行う場合に発生する。

【００２５】なお本明細書では、特に必要でない限り、
「対応点」ということばを「真の対応点」と「計算上の
対応点」の２つの概念に対して区別することなく用い
る。

【００２６】ここで、基準フレームと対象フレームが異
時刻フレームであるとき、代表点と対応点の位置関係か
ら、さらに別の対象フレームの対応点の位置を予想し、
対応点を探索すべき領域を限定してもよい。最も簡単な
例では、基準フレームと対象フレーム間で検出された被
写体の動きが同じ速度で維持されると仮定して、別の対
象フレームにおける被写体の存在個所を予想すればよ
い。

【００２７】このとき、前記代表点のうち幾何的に特徴
のある映像領域に関連するものについては、それら代表
点の対応点の関連する映像領域についても前記幾何的な
特徴が維持されるよう、前記対応点の位置を調整しても
よい。「幾何的な特徴」を有する映像部分の例は、家の
屋根の角や地平線などである。幾何的な特徴は被写体の
幾何的特徴のみならず、映像中の色の変化点で構成され
ることもある。幾何的な特徴を維持すれば対応関係がよ
り正確に把握されるという経験則に基づく。

【００２８】このとき、幾何的に特徴のある映像領域と
して直線を含む領域を採用してもよい。基準フレームで
直線をなした部分は対象フレームでも直線をなすと仮定
するのである。対応点の位置を微調整して直線上に乗せ
る計算負荷は比較的軽い。

【００２９】対象フレームにおける特定点近傍の映像領
域と、基準フレームの代表点近傍の映像領域間で映像の
類似性を評価し、この評価結果が良好な場合に前記特定
点をもって前記代表点の対応点と決めてもよい。対応関
係の把握に映像の類似性を採用するのである。「類似
性」の判断基準は、色の近さ、形の近さなどである。

【００３０】ここで「特定点」とは、評価に投入される
対応点の候補をいう。候補の決め方は問わない。例えば
等間隔に複数の特定点をとり、これらのうちで評価結果
が最良だった点を対応点とすればよい。

【００３１】さらに、この類似性だけでなく、特定点間
の相対位置の妥当性を評価し、これら両評価の結果が良
好な場合に前記特定点をもって前記代表点の対応点と決
めてもよい。例えば、基準フレームで点Ａよりも右にあ
った点Ｂが、類似性評価の結果、対象フレームにおいて
点Ａよりも左に存在するとされた場合、その周囲の対応
関係にもこうした逆転現象があれば、点Ｂの位置は妥当
と考えることができる。別の例としては、基準フレーム
に取られたある領域の重心は対象フレームでもその領域
の重心付近にくると仮定し、位置の評価を行ってもよ
い。

【００３２】ここでは、２つの評価を終えてから対応点
を決めてもよいし、いずれか一方が終わった段階で対応
点を仮りに決め、他方の評価によってその妥当性を判断
してもよい。

【００３３】こうした２つの評価を経て対応点が決まっ
た場合、本発明のある態様では、各評価の結果を数値化
して統合し、対応点の位置を変化させながらその数値を
再計算し、繰り返し計算を通して対応点の位置精度を改
善してもよい。つまり、２種類の評価結果を重み付けし
て加算し、この加算結果を最適化する対応点を求める。

【００３４】このときさらに、一旦全対応点の位置を固
定した上で、１つの対応点のみを移動させながら前記各
評価の結果が最良となる点を探索し、探索された最良点
の位置を前記１つの対応点の新たな位置とし、これらの
探索および位置の変更を順次全対応点について行っても
よい。

【００３５】ある対応点Ｘを移動するとき、他の対応点
を固定した上で２つの評価を行い、その結果が最良とな
る点をもって対応点Ｘの新たな位置とする。これで対応
点Ｘの１回の位置改善が終わる。つづいて、次の対応点
について同様の探索と移動処理を行う。このときも他の
点は固定しておく。処理は全対応点について行い、必要
に応じて二巡以上繰り返す。以下、この改善手法を「固
定探索手法」と呼ぶことにする。

【００３６】固定探索処理が終了したのち、オイラー方
程式を用いて対応点の位置精度を高めてもよい。オイラ
ー方程式は２つの評価の統合後の数値が極値（極大値ま
たは極小値）をとる条件を表す。この数値には、全対応
点の評価結果が反映されている。オイラー方程式によれ
ば、画像の最小単位（例えば画素）よりも高い精度で対
応点の位置を改善することも可能である。

【００３７】本発明では、前記類似性評価をブロックマ
ッチングによって行ってもよい。この方法によれば、色
の類似性と形状の類似性の両方が同時に評価される。

【００３８】より具体的には、このブロックマッチング
は、比較すべき映像領域の間で色濃度のｎ乗誤差総和を
計算すればよい。ｎは１または２とする。ｎ＝１のとき
は色濃度の差の絶対値の総和を求める。

【００３９】ここで色濃度に対し、所定の色偏向定数を
考慮してブロックマッチングを行ってもよい（以下「バ
イアスド・ブロックマッチング」と呼ぶ）。同時刻フレ
ームの場合、複数のカメラの特性によって色濃度に一定
の偏位が生じやすい。同じカメラによる異時刻フレーム
の場合にも、時刻によって天候が変わる（つまり映像の
明度等が変わる）ようなとき、同様の現象が起こる。こ
れを打ち消すように色偏向定数を与える。

【００４０】ここで色偏向定数は、ｎ乗誤差総和が最小
となるよう決められる。そのように決めることで色濃度
の偏向が最もよく解消されると考えられるためである。

【００４１】具体的には、色偏向定数は映像領域間の各
画素の色濃度差の平均値とすればよい。このとき、最も
一般的な２乗誤差総和が最小になるためである。前記ブ
ロックマッチングは、映像領域間で各画素の色濃度差か
ら色偏向定数を減算した後に２乗誤差総和を算出すれば
よい。

【００４２】本発明のある態様では、映像に含まれる点
を特徴点と非特徴点に分類し、特徴点である代表点につ
いて優先的に対応点を決める。特徴点である対応点を補
間して非特徴点である対応点を決めることもできる。基
準フレームと対象フレームの間でブロックマッチングを
行い、その結果、代表点との対応が良好な対応点を特徴
点と決めてもよい。ブロックマッチングはバイアスド・
ブロックマッチングでもよい。

【００４３】本発明では、異時刻フレームにおいて位置
が安定的に変化している点を特徴点としてもよい。別の
言い方をすれば、動きベクトルが安定している点を特徴
点とする。このような点は的確に追跡されていると考え
られるためである。

【００４４】同時刻フレーム間における位置の変位（す
なわち位置のずれ）が、その近傍時刻において撮影され
た同時刻フレーム間においてもほぼ一定となるか、また
は一定変化する点を特徴点としてもよい。このような点
も追跡の精度が高いためである。

【００４５】こうして奥行き情報が獲得された後、本発
明では、その奥行き情報に従って両眼視差を決定し、こ
の両眼視差に応じて左右画像を生成すればよい。映像各
部位ごとに両眼視差を決定し、左右画像を生成してもよ
い。左右画像は、両眼視差に応じた水平方向の変位を持
つように生成すればよい。このとき、所定範囲の奥行き
を持つ部位を選定し、選定された部位のみに対して左右
画像を生成することもできる。例えば、奥行きが１０メ
ートル以内の映像部位のみを選定する場合、１０メート
ルを超える領域（背景）に別の映像をはめ込むなどの加
工が可能となる。

【００４６】本発明のある態様では、水平方向の変位を
与えたとき、その影響によって画像枠に現れる段差を修
正する。例えば、画像端部に対して中央方向への変位が
与えられたとき、その部分が中央方向に凹んで見えるた
めである。

【００４７】両眼視差は例えば、奥行きが大きくなるに
従って次第に小さな値になるように決定すればよい。両
眼視差の定義に沿い、自然な三次元表示が可能となるた
めである。

【００４８】このとき、奥行きまたは両眼視差を所定の
範囲に収まるように変換し、その結果得られた新たな奥
行き情報に従って両眼視差を変更してもよい。例えば、
近すぎる奥行き（大きすぎる両眼視差）に修正を加える
ためである。「所定の範囲」とは、例えば画像の奥行き
が視点からディスプレイ画面までの距離よりも大きくな
る範囲でよい。

【００４９】変換の例として、奥行きまたは両眼視差の
広がりを任意の点を中心として線形圧縮する方法、所定
の範囲に収まらない奥行きまたは両眼視差をその範囲の
上限値または下限値のうち近いほうの値に一律して変換
する方法がある。後者の場合さらに、変換後の値が所定
の範囲の上限値または下限値に滑らかに収束する非線形
変換を用いてもよい。

【００５０】本発明では、三次元表示用の画像が生成さ
れたとき、画像の所定の領域の奥行き感を変更するため
に、その領域に与えるべき両眼視差を可変としてもよ
い。「所定の領域」とは、例えば人物の領域である。例
えばこの人物の奥行きを大きくして（すなわち遠ざけ
て）見ることが可能となる。奥行きを小さくする場合
は、一種の強調表示が可能となる。

【００５１】ある領域の奥行き感を変更したとき、その
変更に応じてその領域の表示面積を変更してもよい。例
えば人物を遠ざけたいとき、この人物の奥行きを大きく
すると同時に人物の面積を小さくすべきである。

【００５２】本発明の別の態様では、映像の視点（すな
わちカメラの位置）の仮想的な変更を行う（以下、こう
して得られる映像を「視点変更映像」ともいう）。この
ために、想定される視点の変更に伴う映像各部位の位置
の変位を前記奥行き情報から逆算し、前記位置の変位に
従って映像を再構築する。これは、一種の画像加工技術
である。例えば視点の高さを変えてみる場合、カメラの
移動距離と前記奥行き情報から三角測量の原理等から被
写体（映像各部位）の変位が計算できる。この計算結果
に従って所期の映像を構築すればよい。このとき、再構
築された映像について映像各部位の奥行き情報を再計算
し、その結果得られた新たな奥行き情報から両眼視差を
補正してもよい。

【００５３】視点変更映像の応用技術として、元の映像
が２眼カメラによって撮影されたものであるとき、これ
ら２眼と所定の相関位置に仮想カメラを想定し、この仮
想カメラから撮影されるべき映像を視点変更映像として
生成し、この視点変更映像と前記２眼カメラによって撮
影された現実の映像とによって多視点映像を生成しても
よい。一般に多視点映像を得る場合、３眼以上のカメラ
によって映像を撮影しなければならない。そこでこの態
様では、もともと２眼カメラによる映像が存在する場
合、仮想的なカメラを別に設けたときに得られるべき映
像を視点変更映像として生成し、これら３以上の映像に
よって多視点映像を生成する。例えば、この多視点映像
のうち、２つの映像を選択して両眼視差を調整すること
により、所望の立体表示を得ることができる。

【００５４】別の態様として本発明は、映像の視点を、
ある映像フレームを撮影した視点から別の映像フレーム
を撮影した視点まで仮想的に移動させながら、移動経路
上の任意の個所を視点とする。例えば、映像フレーム１
を撮影した視点を視点１、別の映像フレーム２を撮影し
た視点を視点２と定義すると、本発明は映像の視点を視
点１から視点２に仮想的に移動させながら、移動中の任
意の位置を視点とする視点変更映像を生成する。映像フ
レーム１と２が異時刻フレームを構成する場合、視点変
更映像を多めに生成すれば、映像フレーム１と２の間を
滑らかに変化する映像を得ることができる。これは、例
えば滑らかなスローモーション映像を得る場合などに応
用することができる。スローモーションの各映像につい
て必要な両眼視差の調整を行えば、この間も良好な三次
元表示が実現する。当然ながら、映像フレーム１、２は
同時刻フレームであってもよい。

【００５５】

【発明の実施の形態】実施形態１．本発明の好適な実施形態を適宜図面を参照
しながら説明する。実施形態１と２では、単眼で撮影さ
れた映像が入力されるものとする。多眼（ステレオ映
像）の場合は実施形態３で説明する。

【００５６】図４は本実施形態によって三次元表示画像
を生成するための主な工程を示す図である。図に示すよ
うに、本実施形態は以下の工程に従って元となる二次元
映像から三次元表示用の画像を生成する。ここで工程１
〜３が映像の解析、工程４が生成に関するものである。
まず各工程の概略を説明する。

【００５７】［工程１］二次元動き情報の抽出映像に含まれる被写体の動き情報を抽出する。この段階
ではまだ動き情報を二次元情報として扱う。表示画面を
座標平面上にとり、被写体のこの画面上の動きを二次元
座標で記述する。

【００５８】本工程では、被写体の動きの把握のために
映像フレーム間の対応関係を検出する。基準フレームで
ある時刻ｔの映像フレーム（以降「フレームｔ」とい
う）に予め複数の代表点を設定しておき、別の時刻ｔ'
の対象フレーム（以降「フレームｔ' 」という）におけ
る前記各代表点の対応点を追跡する。フレームｔとｔ'
は異時刻フレームを形成するが、これらは時間的に隣接
するフレームである必要はない。また本工程の特徴は、
被写体の水平方向のみならず、任意の方向の動きから二
次元動き情報を抽出できる点にある。本明細書では、以
降ｔ、ｔ' がそれぞれ時刻を示す。

【００５９】本明細書では以降「フレーム」といえば、
フィールドなど広く映像構成単位全般を指すものとし、
例えば５２５本の走査線によって構成されるテレビ受像
器の１フレームや、６４０×４８０画素によって構成さ
れるパーソナルコンピュータの一画面のみを指すもので
はない。また、代表点はフレームｔのみならず、フレー
ムｔ、ｔ' の両方に設定してもよい。

【００６０】［工程２］三次元動き情報の算出被写体の二次元的な動きが判明すれば、この被写体の三
次元空間における現実の動き情報（三次元動き情報）を
算出する。この際、代表点と対応点の組を多数とること
により、被写体が実際に起こす動きを並進および回転の
両運動成分によって記述する。

【００６１】［工程３］奥行き情報の獲得被写体の現実の動きの様子がわかれば、各時刻における
被写体の相対位置関係が判明する。この関係がわかれば
被写体またはその各部位（以降単に「映像各部位」とも
いう）の奥行き情報が求められる。

【００６２】［工程４］画像の生成奥行き情報に応じて視差を決定し、左右両眼の画像を生
成する。この際、一般には近いものほど視差を大きくす
る。映像各部位で奥行きは異なるため、左右画像は部位
ごとに異なる視差を生じるよう生成される。ここで注意
すべきは、工程１における動き情報が任意方向の動きか
ら抽出可能な事実と、本工程において視差をつける方向
が原則として水平方向に限られる事実を混同してはなら
ない点である。後者は画像を見る者の両眼が水平方向に
位置することに由来する。なお、実施形態の説明におい
ても「視差」または「両眼視差」は従来技術で行った定
義に従うが、これ以外の定義であっても、容易に本発明
の方法を適用することができる。

【００６３】以上が概略である。以降、各工程を詳述す
る。

【００６４】［工程１］二次元動き情報の抽出図５は映像フレーム間の対応関係を検出するためのフロ
ーチャートである。同図に示す各ステップを説明する。

【００６５】（Ｓ１０）フレームｔに代表点を設定図６に示すように、まず基準フレームｔに代表点を設定
する。同図では、フレームｔを８×８画素ごとにメッシ
ュによって分割し、各代表点を格子点に置いている。こ
こでは左からｉ番目、上からｊ番目の代表点をＰt
（ｉ, ｊ）と記述し、Ｐt （ｉ, ｊ）に対する時刻ｔ'
の対応点をＰt'（ｉ, ｊ）と記述する。また、必要に応
じてＰt （ｉ, ｊ）のｘ、ｙ座標をそれぞれ、Ｐt
（ｉ, ｊ）x 、Ｐt （ｉ, ｊ）y と記述する。

【００６６】なお本ステップにおいて、代表点は格子点
に限らず任意の箇所に配置してもよい。極端な場合は全
画素を代表点とすることもできる。

【００６７】（Ｓ１１）対応点候補領域の設定例えば図６に示すＰt （６, ４）という代表点を考えた
場合、Ｐt'（６, ４）の存在しうる領域を予め設定す
る。これは映像の動きがある限度以上に急激な場合を除
き、Ｐt'（６, ４）がＰt （６, ４）の近傍にあるとい
う仮定に基づく。本実施形態では、例えばＰt （６,
４）の近傍１００×６０画素の領域にＰt'（６, ４）が
入るものとし、Ｐt'（６, ４）の検出の際の計算量を削
減する。

【００６８】本ステップについては以下の応用が可能で
ある。

【００６９】１．映像が比較的激しく動いているときは
フレームｔ、ｔ' が隣接するようにｔ' を決める。代表
点の位置変化は最小に抑制され、対応点が前記領域に入
らないおそれも最小となる。ただし当然ながら、予め候
補領域を画面全体とする方法も考えられる。その場合、
計算量が増加するが、映像の大きな動きよって対応点を
取り逃すおそれは減る。

【００７０】２．本実施形態では単にＰt'（６, ４）が
Ｐt （６, ４）の近傍にあると仮定したが、いったんＰ
t （６, ４）の複数フレームにおける移動軌跡が判明し
たときは、この軌跡の延長線上に候補領域を決めること
も可能である。映像の動きがある程度一定している場
合、この方法による対応点候補領域の絞り込みは非常に
有効である。

【００７１】（Ｓ１２）対応点候補領域における非類似
度の計算つづいて、候補領域から対応点の位置を具体的に決めて
いく。ただし本ステップでは、前ステップとは逆に、映
像の動きが緩慢過ぎる場合に問題が生じる。動きが少な
いと動き情報の抽出が困難になり、抽出された情報が大
きな誤差を含む可能性があるためである。

【００７２】そこでこのようなときには、予めフレーム
ｔ、ｔ' がある程度離れるようｔ'を決める。この際、
映像各部位の変化量を統計的に処理し、例えば変化量の
分散が所定値を超えるようなｔ' を決めればよい。な
お、仮に条件を満たすｔ' が見つからなければ、三次元
表示用画像の生成を中止する。このときは入力された映
像をそのまま出力するか、または映像の全部位に同じ奥
行きを付与して表示すればよい。

【００７３】本ステップでは、対応点の位置を決めるべ
く、フレームｔ、ｔ' 間でブロックマッチングによる非
類似度の計算を行う。前記対応点候補領域内のある点を
中心とする近傍ブロックと代表点の近傍ブロックとの間
で濃度の２乗誤差の総和（非類似度）を求め、これが最
小になる点を計算上の対応点と決める。

【００７４】図７はブロックマッチングの様子を示す図
で、本実施形態では９画素で１ブロックと定義し、中央
の画素を代表点とする。

【００７５】同図において、まずフレームｔ上にＰt
（ｉ, ｊ）を含むブロック１を取り、フレームｔ' 側で
は対応点の仮の候補Ｐt'（ｉ, ｊ）を含むブロック２を
取る。ここで一般に、画素（ｘ, ｙ）の時刻ｔにおける
画素値をＩt （ｘ, ｙ）と記述すれば、非類似度（Ｅ１
とする）は、

【数１】Ｅ1=ΣΣ｛It(Pt(i,j)x+u,Pt(i,j)y+v)-It'(Pt'(i,j)x+u,Pt'(i,j)y+v)｝² （式１）によって求められる。ここで２つのΣはｕ、ｖに関す
る。これらはそれぞれ、ｕ＝−１，０，１ｖ＝−１，０，１の値を取り、仮のＰt'（ｉ, ｊ）に対して合計９画素に
関する２乗誤差総和が計算できる。そこでＰt'（ｉ,
ｊ）を候補領域内で少しずつ動かしていき、Ｅ１が最小
になる点を対応点と決めればよい。

【００７６】図８はＰt'（ｉ, ｊ）ごとにＥ１の値を縦
方向に表した模式図であり、同図の場合、非類似度が急
峻なピークをとる点Ｑが対応点と決まる。以降、同様に
他の代表点についても対応点を決めていく。

【００７７】なお、本ステップには以下の応用または変
形がある。

【００７８】１．ここでは濃淡画像を前提に、濃度の２
乗誤差を計算したが、カラー画像の場合、ＲＧＢ各濃度
の２乗誤差の総和、すなわちＥ１_R＋Ｅ１_G＋Ｅ１_Bを
非類似度としてもよい。これは他の色空間による濃度、
例えばＨＶＣ濃度であってもよい。２乗誤差の代わりに
単なる誤差の絶対値（残差の総和）を採用してもよい。２．本ステップでは１ブロックを９画素としたが、通常
はある程度多数の画素によってブロックを定義すること
が望ましい。例えば通常のパーソナルコンピュータまた
はワークステーションの高解像度画面を想定する場合、
実験の結果、１６×１６画素程度のブロックによって良
好な結果が得られている。

【００７９】（Ｓ１３）対応点の初期位置の決定前ステップにより、一応は対応点を求めることができ
た。しかしこの段階では対応点の位置が正しいとは限ら
ない。被写体の境界やエッジについては対応点が比較的
正しく求まるものの、例えば変化の乏しい映像部位で
は、対応点の位置は相当誤差を含んでいるとみるべきで
ある。図８でいえばＥ１が明確なピークをとらない状態
といってよい。図９は前ステップの結果求められた対応
点と代表点の関係を示す図で、同図に示すごとく、家や
木、特にそれらの輪郭等の特徴的な点については対応点
が良好に求まるが、空や地面については誤差が大きい。

【００８０】そこで本ステップと次ステップにより、対
応点の位置補正を行う。本ステップでは、まず対応点の
初期位置という概念を導入し、実際にその初期位置を決
める。つづいて、次ステップで繰り返し計算による位置
精度の改善を図る。

【００８１】本ステップにおける対応点初期位置の決定
には以下の方針が考えられる。

【００８２】１．前ステップで求められた全対応点を同
等に扱う全対応点の位置をそのままそれらの初期位置として次ス
テップへ投入する。

【００８３】２．対応点の扱いに差異を設ける当初よりある程度正しい位置にあると思われる対応点
（以降「特徴点」という）の位置はそのまま初期位置と
して使い、そうでない対応点（以降「非特徴点」とい
う）の初期位置については、前記特徴点のそれをもとに
決めるというものである。ここで特徴点としては以下の
点を想定することができるが、これらの点は現実には一
致することも多い。

【００８４】（１）前ステップのＥ１が明確なピークを
示した対応点このような対応点の位置精度は一般に高いためである。

【００８５】（２）直交エッジ成分が多く存在する箇所
にある対応点建物の角などの部分では対応点の位置がかなり正しいと
思われるためである。（３）フレームｔ、ｔ' 、・・・において位置が安定的
に変化している対応点ここで変化の安定性は、動きベクトルの一定性というこ
とができる。ここでは、フレームの進行に伴って移動方
向、移動距離が一定な対応点を選ぶ。具体的には、例え
ば動きベクトルのばらつきが所定値以下の対応点を選定
する。こうした対応点は的確に追跡されているはずであ
り、代表点と正しい対応関係にあると判断できるためで
ある。ただし、例えば映像を撮影するカメラが不規則に
動いた場合には、その影響を加味して判断する。

【００８６】こうして特徴点が選定されれば、これらは
そのまま初期位置として使い、非特徴点の初期位置は特
徴点の位置を補間したり、または特徴点の近傍から順に
決めていくことができる。すなわち、前ステップによる
非特徴点の位置精度は低いため、精度の高い特徴点から
幾何的に非特徴点の初期位置を与えるのである。なお当
然ながら、（３）の特徴点を見つける場合にも前ステッ
プの方法を有効利用できる。

【００８７】以上、特徴点の選定に基づいた対応点初期
位置の決定方法を述べたが、この他、動的計画法（ダイ
ナミック・プログラミング）を用いて対応点の初期値を
求めてもよい。

【００８８】（Ｓ１４）対応点の改善処理対応点の位置の妥当性を評価するために式を導入し、繰
り返し計算によって位置精度を改善する。Ｓ１２ステッ
プでは非類似度を評価する式１を導入したが、ここでは
さらに、対応点間の相対位置関係の妥当性を評価する式
を導入し、これら２つ評価結果を統合して位置の改善を
図る。

【００８９】図１０は相対位置を評価する原理を説明す
る図である。同図において、各点はそれぞれ対応点を表
している。このうち、図中のＰt'（ｉ, ｊ）を中心に考
えると、これには以下の４つの対応点、

【数２】Ｐt'（i-1,j ）、Ｐt'（i+1,j ）、Ｐt'（i,j-1 ）、Ｐt'（i,j+1 ）が隣接している。Ｐt'（ｉ, ｊ）は通常、これら４つの
点の重心付近に存在すると考えるのが妥当である。これ
は、映像各部位が動いても画素単位の微視的な見方をす
れば相対位置関係がほぼ保たれるという経験則に基づい
ている。なお、この性質を数学的にいえば、（ｉ, ｊ）
の関数Ｐt'（ｉ, ｊ）の２次微分がほぼ０であるという
ことにほかならない。

【００９０】従って上記４点の重心を（St'(i,j)x ，S
t'(i,j)y ）と表記すれば、

【数３】Ｅ２＝｛Pt'(i,j)x-St'(i,j)x ｝²＋｛Pt'(i,j)y-St'(i,j)y ｝²（式２）が相対位置の妥当性評価式となる。この式だけを考えれ
ば、Ｅ２が最小値になるときに対応点の位置が最も望ま
しい状態となる。

【００９１】本ステップでは、式１および式２の評価結
果を適当な結合定数ｋで加算し、Ｅ＝Ｅ１／Ｎ＋ｋ・Ｅ２（式３）で表されるＥを最終的な評価式とする（Ｎはブロックマ
ッチングの際に定義された１つのブロックに含まれる画
素数である）。すなわち、まず各対応点についてＥを計
算し、続いて全対応点のＥの総和ΣＥを計算し、ΣＥが
最小値となるよう、各対応点の位置をすこしずつ変化さ
せる。ΣＥの値が収束するか、または繰り返し計算を所
定の上限回数に達するまで行い、改善処理を施す。より
具体的には、各対応点の位置を変化させるとき、以下の
いずれかの方法を実施すればよい。

【００９２】（１）オイラー方程式を解く方法 ΣＥが極値（ここでは極小値）をとる条件を示すオイラ
ー方程式を数値的に解くことによって対応点を得る。こ
の手法自体は既知である。これは、各代表点を含むブロ
ックでの画像傾き情報と、対応ブロック間の画素差分情
報から改善すべき方向を見い出し、これに基づいて対応
点の位置を初期位置から徐々に動かしていき、最終解を
求める。

【００９３】（２）固定探索手法まず、対応点候補領域において、改善対象の対応点のＥ
が最小になる点を探し、これを新たな対応点とする。こ
のとき、他の点の位置を不動とみなして探索を行う点に
特徴がある。この処理を順次全対応点に対して行う。

【００９４】（３）混合手法（２）の手法によれば、画素単位の精度で対応点の位置
が求まる。一方、（１）によれば、理論上画素単位以下
の精度で位置を求めることができる。そこで、まず
（２）の手法によって画素単位の精度で対応関係を求
め、しかる後にオイラー方程式を適用して精度を高める
ことも可能である。

【００９５】なお実験によれば、同じ精度で比較した場
合、（２）の手法によって（１）よりも短時間で好まし
い解が得られている。

【００９６】図１１は図９の対応点候補に対して本ステ
ップの改善処理を行った結果を示す図である。実験によ
れば、カラー画像の場合、ｋは５〜２００程度で良好な
結果が得られることがわかった。図９と図１１はともに
模式的な図であるが、実験の結果、実際にこれらの図に
近い改善が見られた。

【００９７】以上が工程１の詳細である。本工程の特徴
は被写体の任意方向の動きから二次元動き情報を抽出で
きる点にある。これは代表点と対応点という概念で動き
を把握する利点であり、水平方向の動きを検出して時間
差を決定する従来技術に比べ、広い応用を可能とするも
のである。

【００９８】なお本工程には、以下の応用または変形が
ある。

【００９９】１．Ｅ２導出の際、上下左右の４点のみな
らず、斜め方向の４点を加えた計８点の重心を考える。
いかなる組合せが最適であるかは映像の種類にも依存す
るため、適宜実験によって決めていくことが望ましい。

【０１００】２．式３による評価は、Ｅ１のみによる評
価結果が思わしくなかった対応点から優先的に行う。こ
れはＥ１の結果が悪い対応点は一般に位置の誤差が大き
いと考えられるためであり、こうした対応点の位置を早
期に、かつ大幅に改善することが望ましいためである。

【０１０１】３．位置改善の際、幾何情報も利用する。
フレームｔにおいて幾何的に特徴のある領域、例えば直
線を形成していた複数の代表点については、それらの対
応点も直線を形成するように位置を補正する。これは映
像上直線に見える部分は現実の三次元空間でも直線であ
る可能性が高く、一方、三次元空間の直線はフレーム
ｔ' でも直線となるべきだからである。本来奥行きは直
線に沿って一様に変化するものであり、直線に沿う変化
は視覚的に容易に把握されるため、この方法による改善
効果は大きい。かかる改善をしない場合、最終的に生成
される画像において直線に沿う奥行きにむらが生じ、不
自然な三次元表示になることがある。

【０１０２】４．さらに別のフレームについても対応点
を求める。本工程ではフレームｔに対するフレームｔ'
の対応点を求めたが、さらに第三のフレームｔ''におけ
る対応点も求め、映像各部位の平均化された動きを求め
ることができる。この方法は、フレームｔ' における対
応点位置を改善していくのではない。多くのフレームで
対応点をとることにより、対応点の位置とそのフレーム
が撮影された時間から映像各部位の動きを統計的に決め
ていくものである。

【０１０３】［工程２］三次元動き情報の算出工程１により、映像各部位の画面上の二次元的な動きが
判明した。工程２ではこの情報から各部位の三次元的な
動きを算出する。映像は被写体の現実の動きを平面に投
影したものであり、本工程では代表点と対応点の位置関
係からもとの動きを導出する。

【０１０４】一般に被写体の三次元空間における動き
は、並進運動と回転運動の合成として記述することがで
きる。ここではまず、動きが並進運動のみで構成される
場合の計算方法を説明し、後に一般化された方法を概説
する。

【０１０５】１．動きが並進運動のみの場合図１２はある点Ｐの画面上の移動と三次元空間での現実
の移動の対応を示す図である。同図では画面上の二次元
座標を大文字Ｘ等で、現実の三次元座標を小文字ｘ等で
表記するものとし、三次元座標のうちｘ、ｙ軸を画面上
に、ｚ軸を奥行き方向にとっている。また、視点から画
面までの距離を１とする。

【０１０６】この図に示す通り、Ｐ（Ｘ, Ｙ）は画面上
をＰ' （Ｘ',Ｙ' ）へ移動するが、この間、この点は三
次元空間においてＳ（ｘ, ｙ, ｚ）からＳ（ｘ',ｙ',
ｚ' ）へと移動する。ここで、

【数４】（ｘ',ｙ',ｚ' ）＝（ｘ, ｙ, ｚ）＋（ａ, ｂ, ｃ）とすれば、画面までの距離が１なので、Ｘ＝ｘ／ｚ，Ｙ＝ｙ／ｚＸ' ＝ｘ' ／ｚ' ，Ｙ' ＝ｙ' ／ｚ' となる。これを解けば、Ｘ' ＝（Ｘｚ＋ａ）／（ｚ＋ｃ）Ｙ' ＝（Ｙｚ＋ｂ）／（ｚ＋ｃ）となるため、ｚを消去し、次式が求められる。

【０１０７】

【数５】（ａ−Ｘ' ｃ）（Ｙ' −Ｙ）＝（ｂ−Ｙ' ｃ）（Ｘ' −Ｘ）（式４）式４は画面上の動き情報で表現されているため、工程１
で得られた情報によって未知数ａ, ｂ, ｃを決めること
ができる。しかしこの際、現実にはｋ倍の大きさの物体
がｋ倍離れたところをｋ倍の速さで移動するケースにお
いて、このｋの値（スケールファクター）を決めること
はできず、ａ, ｂ, ｃについてはそれらの比のみを求め
ることが可能となる。数学的にいえば、（Ｘ, Ｙ）と
（Ｘ',Ｙ'）の対応を３組与えても、この連立方程式を
行列表示した際の係数行列のランク（階数）は高々２で
あり、ａ, ｂ, ｃは相対値としてしか決まらない。そこ
で本工程では、仮にｃ＝１と正規化してａ, ｂを表すこ
とにする。比のみでも、次工程による処理が可能なため
である。

【０１０８】並進運動の別の解法として、式４から誤差
ｅを、

【数６】 e ＝｛(a-X'c)(Y'-Y) −(b-Y'c)(X'-X) ｝² ＝｛(Y'-Y)a-（X'-X)b−(XY'-X'Y)c｝² （式５）と定義し、代表点と対応点の全対応関係についてｅの総
和Σｅをとり、この値を最小にするａ, ｂ, ｃを次の式
から求めてもよい。

【０１０９】ｄ（Σｅ）／ｄａ＝０（式６）ｄ（Σｅ）／ｄｂ＝０（式７）ｄ（Σｅ）／ｄｃ＝０（式８）より具体的には、式６〜８はそれぞれ次の形に展開され
る。

【０１１０】

【数７】 a Σ(Y'-Y)²-bΣ(X'-X)(Y'-Y)-cΣ(Y'-Y)(XY'-X'Y)=0 （式９） -a Σ(X'-X)(Y'-Y)+bΣ(X'-X)²+cΣ(X'-X)(XY'-X'Y)=0 （式１０） -a Σ(Y'-Y)(XY'-X'Y)+b Σ(X'-X)(XY'-X'Y)+c Σ(XY'-X'Y) ²=0 （式１１）以上が並進運動に関する計算方法の例である。

【０１１１】２．動きが回転運動を含む場合回転運動はｘ, ｙ, ｚ方向の３つの変位と各軸を中心と
する３つの回転角、例えばα, β, γによって記述する
ことができる。回転角はオイラー角またはロールピッチ
法などによって表現することができる。

【０１１２】ここで上記合計６つの変数を決定すればよ
いが、ここでも上述のごとくスケールファクターが決ま
らないため、ある変数を１として各変数の比を求める。
理論的上、代表点と対応点を５組とれば運動を記述する
ことができる。

【０１１３】ここで注意すべきは、組のとりかたによっ
ては動きの様子が線形解法によって求まらないことがあ
る点である。こうした場合を考慮する際、組を８以上と
ればよいことが知られている。８組の変化から線形解法
によって回転運動を記述しうる根拠については、例えば
「動きからの単眼立体視による形状認識の線形解法につ
いて」（出口・秋場、計測自動制御学会論文集vol.26，
No.6，714/720 （1990））などに示されている。

【０１１４】［工程３］奥行き情報の獲得工程２によって映像各部位の三次元的な動きの相対量が
わかった。工程３では、この相対量から各部位の奥行き
情報を導出する。本工程では説明のために、被写体は静
止しており、それを撮影するカメラの側が動くものと仮
定する。映像処理の際には被写体とカメラの相対運動が
問題となるため、この仮定によって良好な結果が得られ
る。

【０１１５】映像のある部位の動きを回転行列Ｒと並進
ベクトル（ａ, ｂ, ｃ）により、（ｘ',ｙ',ｚ' ）＝Ｒ（ｘ, ｙ, ｚ）＋（ａ, ｂ, ｃ）と表す場合、この逆変換、

【数８】（ｘ, ｙ, ｚ）＝Ｒ^-1｛（ｘ',ｙ',ｚ' ）−（ａ, ｂ, ｃ）｝（式１２）をカメラの動きと考える。

【０１１６】図１３はカメラの三次元移動とある点Ｐの
画面上の移動から点Ｐの三次元座標を導く原理を説明す
る図である。同図からわかるように、この原理は一般に
三角測量の原理として知られるもので、位置の異なる２
点から点Ｐの方向を見たとき、点Ｐの現実の位置（図中
の点Ｓ）はそれら２つの視線の交点に存在するというも
のである。

【０１１７】同図では、時刻ｔ〜ｔ' の間にカメラが矢
印で示すように式１２に従って移動したとする。フレー
ムｔでは点Ｓが点Ｐt に、ｔ' では点Ｐt'にそれぞれ投
影されている。点Ｓは図中の２つの直線Ｌｔ、Ｌｔ' の
交点にある。

【０１１８】ここでカメラの方向とＬｔ、Ｌｔ' のなす
角θｔ、θｔ' は既知であり、一方カメラの移動方向と
距離が判明しているため、点Ｓの三次元座標を求めるこ
とが可能となる。この座標により、映像各部位の奥行き
情報が判明する。

【０１１９】ここで注意すべきは、前述のごとくｃ＝１
という正規化のため、求められた座標も一定の割合で拡
大または圧縮されていることである。しかしこの場合で
も、奥行き情報は一様に拡大圧縮されているため、奥行
きの相互関係は正しい。

【０１２０】以上が本工程の概要であるが、本工程では
前工程までの誤差を考慮する必要がある。誤差により、
通常は前記Ｌｔ、Ｌｔ' が計算上交わらないためであ
る。こうした事情に配慮し、本工程では両直線の最接近
点の中点のｚ座標を点Ｓの奥行き値と近似する。これを
数式によって説明する。

【０１２１】上記Ｌｔ、Ｌｔ' の方向ベクトルをそれぞ
れ（ｕ, ｖ, ｗ）、（ｕ',ｖ',ｗ'）とする。ここで実
数パラメータα、βにより両直線は、Ｌｔ：（ｘ, ｙ, ｚ）＋α（ｕ, ｖ, ｗ）Ｌｔ' ：（ｘ',ｙ',ｚ' ）＋β（ｕ',ｖ',ｗ' ）（式１３）と表すことができる。従って、

【数９】e = {(x+βu)-(x'+ αu')}²+{(y+ βv)-(y'+
αv')}²+{(z+βw)-(z'+ αw')}² とし、ｅを最小にするα、βをｄｅ／ｄα＝０、ｄｅ／
ｄβ＝０より求める。すなわち、

【数１０】(u²+v²+w²) α-(uu'+vv'+ww')β+(x-x')u
+(y-y')v+(z-z')w=0 (u' ²+v' ²+w' ²) β-(uu'+vv'+ww')α+(x-x')u'+(y
-y')v'+(z-z')w'=0 を解いてα、βを求め、最終的に点Ｓの奥行き値を、

【数１１】{(z+αw)+(z'+ βw')}/2 とすればよい。ここで仮に誤差が０だったとすれば、こ
の座標は両直線の交点のｚ座標に一致する。

【０１２２】また別の方法として、これら両直線を一旦
フレームｔの画面に透視投影し、投影後の最近接点のｚ
座標を求めることもできる。ここでＬｔは代表点である
一点に投影され、一方Ｌｔ' は一般に直線に投影され
る。Ｌｔ' が式１３で表記されるならば、投影後の各点
のｘ、ｙ座標は、Ｌｔ' 上の各点のそれらをそのｚ座標
で割ることにより、 x = f(x'+ βu')/(z'+βw') （式１４） y = f(y'+ βv')/(z'+βw') （式１５）と書くことができる。ここでｆは視点からフレームｔの
画面までの距離で、実際にはｆ＝１などとして扱えばよ
い。式１４、１５からβを消去すれば投影後の直線（以
下Ｌｉという）が以下のように求まる。

【０１２３】ｋｘ＋ｍｙ＋f ｎ＝0 ただしここで、ｋ＝v'z'-w'y' 、ｍ＝w'x'-u'z' 、ｎ＝u'y'-v'x' とおいている。

【０１２４】求めるべき最近接点は、代表点ＰｔからＬ
ｉに下ろした垂線とＬｉの交点（以下Ｄとする）であ
り、その座標は、ｘ＝（m ²X-kn-kmY）／（k ²+m²）（式１６）ｙ＝（k ²Y-mn-kmX）／（k ²+m²）となる。ここで点Ｔに対応するもとのＬｔ' 上の点をＥ
（x'',y'',z'' ）とすれば、点Ｅは、式１６を式１４に
代入してβを求め、これをＬｔ' の式に代入することよ
って求められる。ここでβは、 β＝（xz'-fx' ）／(fu'-xw'）であるため、これを式１３へ代入し、点Ｅのｚ座標 z''
は、 z'' ＝z'+ w'（xz'-fx' ）／（fu'-xw' ）と求まる。これを点Ｓの奥行き値とすればよい。

【０１２５】なお、画像処理の際の誤差によって上記の
奥行きが負の値となる場合（点Ｓがカメラの後方に存在
することになる場合）、この計算結果は信頼することが
できない。このときは正の奥行き値を持つ近傍の代表点
から補間するなどの処理を行う。

【０１２６】以上、いずれの方法をとるかは別として、
求められた映像各部位の奥行きは、例えば代表点ごとに
数値として与えればよい。図１４はフレームｔにおいて
各代表点に数値が与えられた状態を示す図で、例えばＰ
t （２, ３）、Ｐt （４, ３）それぞれの奥行きは１０
０、２００となり、後者の実際の位置は前者よりも２倍
離れたところにあることがわかる。

【０１２７】［工程４］画像の生成工程３で求められた奥行き情報に応じて視差を決定し、
左右画像を生成する。このとき、奥行きが大きいほど視
差を小さくする。

【０１２８】図１５は奥行き情報に従って視差を与える
様子を示す図である。同図では、被写体とカメラを含む
系全体を上から見ている。ここでカメラによって撮影さ
れた映像画面に、図１４で例示したＰt （２, ３）、Ｐ
t （４, ３）をとると、これらの実際の位置（同図では
それぞれＳt （２, ３）、Ｓt （４, ３）とする）はカ
メラから１：２の距離にある。

【０１２９】そこで本工程では、まずＬスクリーンとＲ
スクリーンを図の位置に置く。次に人の左右両眼に対応
するＬ視点、Ｒ視点を設定し、これら各視点からＳt
（２,３）、Ｓt （４, ３）を見て前記Ｌ、Ｒスクリー
ンに投影する。この作業をすべての代表点について行
い、最終的にＬ、Ｒスクリーンに得られた画像をそれぞ
れ左眼用、右眼用画像とする。以上が本工程の概要であ
り、こうして得られた両眼用の画像を例えば特開平３−
６５９４３号公報に記載のレンチキュラー方式のディス
プレイに表示すれば、良好な立体視が実現される。

【０１３０】本実施形態では、所期の領域を切り出した
上で立体表示を行ってもよい。例えば奥行き５メートル
の位置に「人」がいて、背景に「山」がある映像の場
合、「奥行き１０メートル以内」という条件を与えて画
像処理を行うことにより、「人」の領域のみを切り出す
ことができる。そこで「人」の領域のみに対して左右画
像を生成し、それ以外の領域を空白にしたり、予め用意
した別の映像を貼り付けることができる。本発明はこう
した画像認識・加工技術をも与える。

【０１３１】本工程といままでの工程との違いの１つ
に、使用する映像フレームの数がある。いままでの工程
では少なくとも２つの映像フレームから必要情報を抽出
したが、本工程では１つの映像フレームから左右画像を
生成することができる。図１６はフレームｔを基準とし
て生成された左右画像を示す図で、フレームｔの映像各
部位「木」、「家」、「人」はこの順に奥行きが小さく
なる。最も近い「人」には、１．右眼画像において最も左に変位し、２．左眼画像において最も右に変位する、という特徴がある。１．はもとのフレームｔの実際の風
景を少し右に移動して見た状態、２．はその逆と考えれ
ばよい。この結果、「人」の奥行きは小さくなり、近い
距離に知覚される。同図では各部位の変位がメッシュ格
子点の移動によって表されており、「人」、「家」、
「木」の順に変位（視差）が小さくなる。

【０１３２】フレームｔから画像を生成する場合、図１
６でメッシュ分割された領域を変形させることになる
が、この領域変換の際、条件に応じて以下のように線形
または非線形変換を使い分ける必要がある。

【０１３３】１．非線形変換図１６からわかるように、領域のいくつかは台形に変換
されるべきであるが、アフィン変換等の通常の線形変換
でこれを実現することはできない。そこで領域の４頂点
に対する変換を行う場合は、透視変換等の非線形変換を
用いる。

【０１３４】２．線形変換領域を２つの三角形に分割するのであれば、その３頂点
に対してアフィン変換等の線形変換を採用することがで
きる。

【０１３５】以上の変換によれば、画像各部位が水平方
向に変位する結果、画像の枠部に段差が生じることがあ
る。例えば図１６において、左右画像がともに画像内側
に変位している箇所が該当する。本工程では、このよう
な箇所に画素を追加して段差を修正し、画像領域の形状
（この場合は矩形）をもとのまま維持することにする。

【０１３６】不足画素の奥行きは、例えばその近傍画素
の奥行きを補間するなどの方法によって求めることがで
きる。こうして追加された画素は両眼のうち一方からの
み見えることになるが、これは人が実際に窓から外を見
る場合にも窓枠付近で発生する現象であり、不自然では
ない。なお当然ながら、段差によって不足した画素を追
加するほかに、段差によって外側にはみ出した余剰画素
を削除して形状を維持してもよい。いずれにせよ、こう
した処理によって不自然な表示を回避することができ
る。

【０１３７】以上、本工程では奥行きに従って視差を決
定したが、以下の理由からいったん決まった視差につい
て調節可能な構成とすることが望ましい。

【０１３８】１．眼の疲れの考慮上記の例でいえば、最も近い「人」であってもその奥行
きが極端に小さいことは好ましくない。画面よりも極端
に前に像が結ばれると眼が疲れやすいことが知られてい
るためである。別の報告（日経エレクトロニクス１９８
８年４月４日号２１１ページに記載）によれば、目から
５０ｃｍの距離にディスプレイを置いたとき、画像各部
位の奥行きが０．２〜２ｍ程度の範囲にあることが望ま
しいとされる。

【０１３９】２．個人差の考慮視差の広がりを大きくとった画像（近い物）はより手前
に、遠い物はより遠くに見える画像を好む人もいれば、
その逆もいる。

【０１４０】３．処理能力の考慮例えば山など遠景を構成する領域をすべて一定の奥行き
として画像を生成すれば処理すべきデータ量が減る。

【０１４１】以上の理由から、本工程では必要に応じて
以下の奥行き変換または視差変換機能を採用する。

【０１４２】１．奥行き変換機能奥行きを直接線形または非線形変換する。変換の対象は
奥行きであり、ここでは視差は結果的に変更されること
になる。例えば奥行きがａ〜１０ａ（ａは任意）の間を
とる映像については、これを一様に１０倍し、１０ａ〜
１００ａとすることができる。これは奥行きが全体的に
小さ過ぎる場合に有効な措置である。

【０１４３】また別の例として、奥行きが０〜１００ａ
のとき、これを任意の点、例えば５０ａを中心として２
５ａ〜７５ａへ圧縮変換してもよい。さらに他の例とし
て、２０ａ以下の奥行きはすべて２０ａに、一方１００
０ａ以上はすべて１０００ａに変換する方法も考えられ
る。ただしこの場合、上下限値である１０００ａおよび
２０ａにおいて変換結果が不連続となるため、映像によ
っては多少不自然な表示となる。この状態を解決する方
法としては、前記上下限値に滑らかに収束するような非
線形変換、この場合であればもとの奥行きをｚとして、ｚ → α／{ １＋exp （-(x-0.5 α)/αT ）｝＋ｚ０ただし、ｚ０＝２０ａ，α＝１０００ａ−２０ａ＝９８０ａ，Ｔ
＝４のような変換を行えばよい。

【０１４４】２．視差変換機能視差を線形または非線形変換する。奥行きからいったん
視差を導出し、この視差に対して変換を加え、これを再
度奥行きに戻す方法である。

【０１４５】図１７は視差を非線形変換する様子を示し
ている。同図の中心線Ｌ上に対象となる点Ｓをとり、一
方、視点ＡからＬに下ろした垂線の足を点Ｂとする。こ
のとき、点Ｓの奥行きは線分ＳＢ、点Ｓの視差θ（厳密
に定義に従えば視差の１／２）は図のように与えられ
る。

【０１４６】ここで、一例として視差を１／２倍に一様
圧縮することを考える。すなわち、 θ' ＝θ／２（式１７）となる点Ｓ' が変換後の点であり、この奥行きは線分
Ｓ' Ｂによって与えられる。この変換に関する一連の処
理をより数学的に説明すれば、まず奥行きＳＢからθ
を、 θ＝atan（ＳＢ）によって求め、Ｓ' Ｂを、Ｓ' Ｂ＝tan θ' によって求め、このＳ' Ｂを変換後の奥行き情報として
利用すればよい。この変換は奥行きの単純な線形変換よ
りも、遠い点はより遠くへ、近い点はより近くへ変換さ
れるため、奥行き感の調節効果が大きい。なお式１７は
単純な線形圧縮式であるが、θ→θ' についても１．で
示した各種非線形変換を施すことができる。

【０１４７】以上が本発明の実施形態１に係る三次元表
示画像生成方法の説明である。本発明によれば、既存の
映像の組合せではなく、画像を奥行き情報に従って新た
に生成するため、従来技術の技術的・機能的課題を解決
することができる。この際、時間差方式の前提条件であ
る被写体の水平方向の動きは不要なため、本発明の適用
範囲は広い。また、代表点に対する対応点の検出方法を
開示したため、奥行き情報の自動抽出、画像の自動生成
を容易かつ効果的に行うことができる。

【０１４８】実施形態２．実施形態２では実施形態１の
実施に最適な装置を説明する。

【０１４９】図１８は実施形態１を実施するためのハー
ドウエア構成例を示す図である。

【０１５０】同図において、処理対象となる映像は映像
入力回路２０から入力され、ここでＡ／Ｄ変換を受け
る。変換後の映像はフレームメモリ制御回路２２によっ
てフレームメモリ２４に格納される。フレームメモリ２
４の後段には、複数の映像フレームを読み出して対応点
を検出する対応点検出回路２６が置かれている。この回
路は実施形態１の工程１をハードウエア的に実施するも
ので、ブロックマッチングには例えばＭＰＥＧのエンコ
ーダ回路を採用することができる。

【０１５１】対応点検出回路２６において検出された対
応点の座標は、いったん対応点座標メモリ２８に格納さ
れ、動き検出回路３０によって適宜読み出される。動き
検出回路３０は実施形態１の工程２、３を実施するもの
で、並進・回転運動から被写体の三次元相対位置を算出
する。

【０１５２】つづいて三次元位置情報は画像生成回路３
２へ入力される。この回路はフレームメモリ２４から生
成の元映像を読み出し、所定の視差を与えて左右画像を
生成する。画像生成回路３２の前段には、外部から各種
指示を受け付ける指示入力部３４が設けられている。

【０１５３】こうして画像生成回路３２によって生成さ
れた左右画像は、画像出力回路によるＤ／Ａ変換を受
け、図示しないディスプレイ装置へ出力される。

【０１５４】以上の構成による本装置の動作を説明す
る。

【０１５５】まず、カメラによって撮影された映像また
はビデオ再生装置によって再生された映像等が映像入力
回路２０から入力される。この映像はフレームメモリ２
４に格納されるが、本装置において三次元表示ではなく
通常の表示を行う場合には、フレームメモリ２４に格納
された映像を順次読み出してディスプレイに表示する
か、または入力された映像をそのままディスプレイに表
示することで対応する。三次元表示を行う場合は、フレ
ームメモリ２４から読み出された複数の映像フレームに
対し、対応点検出回路２６、動き検出回路３０によって
被写体の奥行き情報が獲得される。つづいて画像生成回
路３２がこの奥行き情報に従い、左右画像を生成する。

【０１５６】以上が本装置の概要である。なお、前述の
指示入力部３４の構成と機能は以下のように実現でき
る。

【０１５７】１．指示入力部３４が調節つまみの場合ユーザーの好みに応じて、生成された画像の奥行き感を
調節する。このつまみによって奥行きを圧縮または拡大
し、奥行き感を可変とする。奥行き感を最小に設定した
場合に通常の二次元表示に戻るよう、予めつまみの回転
量を調整しておく方法もある。

【０１５８】２．指示入力部３４がポインティング・デ
バイスの場合（１）奥行き感の調節を画像全体ではなく、画像各領域
毎に行う。例えば図１６において「人」をより近い位置
に表示したい場合、マウス等のポインティング・デバイ
スで「人」をクリックする。この結果、画像生成回路３
２は「人」の奥行き情報を内部で変換し、視差を大きく
して強調表示することができる。この際、奥行き感の変
更に応じてその領域の表示面積を変更すればさらに効果
的である。より具体的には、奥行きを１／２倍したらそ
の領域の面積を４倍する等の方法がある。

【０１５９】（２）視点変更映像を得ることができる。
映像の撮影視点をマスウ等でクリックして指示すれば、
奥行き情報が利用できるため、視点の変更に伴って発生
すべき映像各部位の並進・回転運動を逆算することがで
きる。このため、視点変更後に見えるべき映像を再構築
することが可能となる。例えば図１６において、カメラ
の設置される高さを変えた場合、カメラを前進、後退さ
せた場合の映像を生成することが可能となる。この際、
再構築された映像について映像各部位の奥行き情報を再
計算し、新たな奥行き情報から視差を補正すれば三次元
表示も良好に保たれる。なお、視点変更映像については
実施形態４でも記述する。

【０１６０】以上、本装置をワークステーションに組み
込んで実験した結果を図面によって説明する。

【０１６１】図１９〜２６は本装置による画像生成の過
程を示すもので、いずれもディスプレイ上に表示された
中間調画像の写真であり、約６４０×４８０画素領域で
構成されている。

【０１６２】図１９と図２０はそれぞれフレームｔとフ
レームｔ' の映像で、カメラの移動によって多少映像に
動きがある。図２１はフレームｔをメッシュ分割して代
表点を設けた状態を示し、図２２はフレームｔ' におけ
る対応点の初期位置を示している。ここでは特徴点を優
先的に扱い、代表点を中心とする１６×１６画素の領域
でブロックマッチングを行った結果の最良点を初期位置
とした。

【０１６３】図２３は実施形態１の式３、つまり対応点
の位置関係をも考慮して対応点位置を改善した結果を示
す図で、図２２に比べて位置の大幅な改善が見られる。

【０１６４】図２４は獲得された奥行き情報を濃淡で表
したもので、薄い画素ほど奥行きが小さい。同図からわ
かるように、奥行き情報がかなり正確に得られている。

【０１６５】図２５と図２６はそれぞれ、奥行き情報に
従って生成された左右画像である。これらの図からわか
るように、手前の物ほど視差が大きくなり、与えられる
水平変位も大きくなっている。

【０１６６】以上、本装置によれば実施形態１の方法を
円滑に実施することができる。この際、特にブロックマ
ッチングのソフトウエアによる実行時間を考慮すれば、
ここをハードウエアで行うことによる処理速度の改善効
果は大きい。

【０１６７】本装置を製品とする場合の態様としては、
例えばパーソナルコンピュータやワークステーションに
図１８の構成を有するアド・オンカードを搭載する方
法、テレビ受信装置やビデオ再生装置に図１８の構成を
予め内蔵する方法等が有効である。本装置をカメラと組
み合わせた場合、例えば物のまわりを一周して映像を取
り込み、これから三次元表示カタログを作成するなどの
応用もある。この方法によれば、従来必要とされたレー
ザ、赤外線、超音波等による奥行きの測定が不要とな
る。

【０１６８】実施形態３．実施形態１、２では、入力映
像が単眼カメラによって撮影されるものとした。ここで
は、多眼カメラによるステレオ映像を入力映像とする場
合の三次元表示画像生成方法を、実施形態１との相違点
を中心に説明する。

【０１６９】図２７は実施形態３によって三次元表示画
像を生成するための主な工程を示す。同図と実施形態１
の図４との主な違いは以下の通りである。

【０１７０】１．工程１の「動き情報」が「変位情報」
に変更される実施形態１では異時刻フレームを扱ったが、実施形態３
では基本的に同時刻フレームを扱う。同時刻の場合、被
写体に動きを定義することはできないため、代わりに同
時刻フレーム間の被写体の位置のずれ（変位）の情報を
抽出する。

【０１７１】２．工程２が不要となる図４の工程２「三次元動き情報の算出」に対応するステ
ップがない。多眼の場合、はじめから図１３の状態で撮
影がなされるため、三角測量の原理によって直接奥行き
情報が獲得できるためである。

【０１７２】なお、複数カメラの相対位置関係に狂いが
発生しうる多眼カメラシステムを用いる場合、この狂い
を補正するセルフキャリブレーションを行ったほうがよ
い。この場合、工程２はセルフキャリブレーション工程
となる。セルフキャリブレーションの手法については、
例えば、富田、高橋「ステレオカメラのセルフキャリブ
レーション」（情報処理Vol.31，No.5（1990）650 〜65
9 ページ）、特開昭６３−２９３０３８号公報、特開昭
６３−２９３０３９号公報などに示されている。

【０１７３】以下、実施形態３の工程１〜３を説明す
る。

【０１７４】［工程１］二次元変位情報の抽出実施形態１の説明において、「動き」を「変位」に置き
換える他、フレームｔ、ｔ' の組をフレーム１、２に置
き換えればよい。フレーム１、２はそれぞれカメラ１、
２から撮影された映像を指し、撮影時刻はｔで固定とす
る。実施形態３では、最低これら２枚のフレームのみか
ら最終画像を得ることができる。すなわち多眼撮影の場
合は、入力は静止映像であってもよい。その他、実施形
態１の工程１との相違は以下の通りである。

【０１７５】（１）実施形態１のＳ１１（対応点候補領
域の設定）では、映像の動きの激しさまたは各部位の移
動軌跡に基づき、異時刻フレームの選択または対応点候
補領域を絞り込んで対応点検出処理の計算量削減を行っ
た。実施形態３では絞り込みの方法を以下のように変更
し、同様に有効な計算量削減を実現する。

【０１７６】まず、通常どおり多眼カメラが水平に設置
されると仮定する。このとき、対応点のｙ座標（上下方
向の座標）はほぼ等くなる。この仮定と画像処理に伴う
誤差およびカメラの設置誤差を考慮し、対応点候補領域
を横長の帯状領域に限定する。さらに、フレームｔ'
（ｔ' ＝ｔ−１）において対応する代表点の位置の差が
ｘであれば、フレームｔにおける対応点探索領域も、や
はり差がｘとなる近傍に限定することができる。

【０１７７】（２）実施形態１のＳ１２（対応点候補領
域における非類似度の計算）では、映像の動きが緩慢過
ぎる場合に統計処理を導入したが、実施形態３ではこの
作業も不要である。

【０１７８】（３）実施形態１のＳ１２同様、実施形態
３でも対応点の位置を決めるべくブロックマッチングを
行うが、ここではバイアスド・ブロックマッチングを採
用したほうがよい場合がある。バイアスド・ブロックマ
ッチングは、多眼カメラを構成する各カメラが異なる特
性を持つ場合、有効に機能する。例えば、カメラ２がカ
メラ１よりも青味がかった映像を送出するとすれば、フ
レーム２の色濃度から青（Ｂ）の成分を一定量差し引い
た後（すなわち色偏向定数α_Bを引いた後）、ブロック
マッチングを行うべきである。こうした処理を行わない
場合、最良マッチングを取り逃がすおそれがある。実際
には、例えばＲＧＢで色濃度を表す場合、前記の青
（Ｂ）のみならず、赤（Ｒ）と緑（Ｇ）についてもそれ
ぞれ色偏向定数α_R、α_Gを引くべきである。

【０１７９】図７および式１を基礎として、バイアスド
・ブロックマッチングを式で説明する。ここでは、実施
形態１で用いたＰt （ｉ, ｊ）をフレーム１、２に対応
して単にＰ１、Ｐ２と表記し、Ｉt （ｉ, ｊ）も同様に
Ｉ１、Ｉ２と表記する。このとき式１は、

【数１２】Ｅ１= ΣΣ｛I1(P1x+u,P1y+v) −I2(P2x+u,P2y+v) ｝² （式１８）と簡単になる。この式が濃淡画像の場合の通常のブロッ
クマッチングを表す。

【０１８０】一方、バイアスド・ブロックマッチングで
は、式１８を、

【数１３】Ｅ１= ΣΣ｛I1(P1x+u,P1y+v) −I2(P2x+u,P2y+v) −α｝² （式１９）とすればよい。カラー画像の場合、αはα_R、α_Gまた
はα_Bであり、ＲＧＢそれぞれの画像において求めたＥ
１の和、すなわちＥ１_R＋Ｅ１_G＋Ｅ１_Bでマッチング
を行う。さらに見やすさを考えて、I1(P1x+u,P1y+v) を
単にＩ１、I2(P2x+u,P2y+v) を単にＩ２と表記すれば、
式１９は、Ｅ１= ΣΣ（I1-I2-α）² （式２０）となる。Ｉ１、Ｉ２はｕ、ｖの関数であるが、αは定数
である。

【０１８１】αの最適値を考える。カメラ１、２はほぼ
同じ被写体を撮影しているはずだから、フレーム１、２
の映像は、映像各部位の変位は別として、ほぼ同様の内
容を含む。すなわちカメラの特性が近づくほど、式２０
のＥ１の値は小さくなる。この事実から逆に、αはＥ１
を最小にする値とすべきことがわかる。式２０は、

【数１４】Ｅ１＝ΣΣ｛（I1-I2 ）²−2 α（I1-I2 ）＋α²｝＝ΣΣ（I1-I2 ）²−2 αΣΣ（I1-I2 ）＋ΣΣα² （式２１）領域の総画素数をＮと仮定すれば、ΣΣ１＝Ｎだから、
式２１は、

【数１５】Ｅ１＝ΣΣ（I1-I2 ）²−2 αΣΣ（I1-I2 ）＋Ｎα² （式２２）となる。従って、ｄＥ１／ｄα＝−２ΣΣ（I1-I2 ）＋２Ｎα であるから、 α＝｛ΣΣ（I1-I2 ）｝／Ｎ（式２３）のとき、Ｅ１は最小となる。このαは、ブロックマッチ
ングの対象となる２つの領域間の各画素の色濃度差の平
均値と言い換えられる。式２３を式２２に代入して計算
すれば、

【数１６】Ｅ１＝ΣΣ（I1-I2 ）²−｛ΣΣ（I1-I2 ）｝²／Ｎ（式２４）となるため、結局バイアスド・ブロックマッチングでは
式２４を計算すればよいことになる。あとは実施形態１
同様の処理を経て最良マッチングを探索すればよい。

【０１８２】ここでは当然ながら、ＨＶＣ濃度などＲＧ
Ｂ濃度以外の色空間による濃度を採用してもよい。２乗
誤差の代わりに１乗誤差、すなわち残差に基づいてブロ
ックマッチングを行ってもよい。

【０１８３】（４）実施形態１のＳ１３（対応点の初期
位置の決定）では、特徴点として、異時刻フレームｔ、
ｔ' 、・・・において位置が安定的に変化している点を
選んだが、ここでは選定基準を加重する。

【０１８４】図２８は実施形態３で導入される特徴点の
選定基準を示す図である。同図において、Ｆ１０〜Ｆ１
２の３枚がカメラ１によって撮影された異時刻フレー
ム、Ｆ２０〜Ｆ２２の３枚がカメラ２によって撮影され
た異時刻フレームである。それぞれ左右２枚の組が同時
刻フレームを示す。ここではある点Ｐに注目し、点Ｐの
位置の異時刻フレーム間の動きをベクトルＡｎで、点Ｐ
の同時刻フレーム間の変位をベクトルＢｎ（ｎ：自然
数）でそれぞれ表している。

【０１８５】以上の設定の下、実施形態３では、次の基
準を満足する点を特徴点として選定する。

【０１８６】（ａ）ベクトルＢｎがほぼ一定であるか、
ほぼ一定変化するあるいは、この他、（ｂ）ベクトルＡｎがほぼ一定であるか、ほぼ一定変化
するの基準も追加し、（ａ）、（ｂ）をともに満足する点を
特徴点として選定してもよい。

【０１８７】（ｂ）は実施形態１で導入した条件に相当
する。既述のごとく、多眼撮影では同時刻フレームのみ
から奥行き情報を求めることができる。しかしその前提
となる映像間の対応関係の正確な把握は、これとは別問
題であり、異時刻フレーム間の情報も積極的に利用すべ
きである。上記の２条件を同時に満たす点は、相当正確
に追跡されていると考えられるため、二次元変位情報の
抽出に対して重要な手掛かりを与える。ただし入力が静
止映像の場合は、既知の動的計画法（ダイナミック・プ
ログラミング）によって対応点を求めることもできる。

【０１８８】［工程２］奥行き情報の獲得工程１で求められた映像各部位の変位から各部位の奥行
き情報を導出する。多眼の場合、ある時刻ｔで図１３の
状態が実現されるので、以下、実施形態１の工程３の方
法によって奥行き情報を獲得すればよい。

【０１８９】ここで注意すべきは、撮影カメラの位置関
係が固定であるため、この関係およびカメラの倍率（焦
点距離）が既知であれば、実施形態１で決まらないとさ
れたスケールファクターｃも含め、実施形態３では正し
い奥行き情報が求まる。

【０１９０】［工程３］画像の生成実施形態１の工程４（画像の生成）と同等の処理を行え
ばよい。

【０１９１】以上が実施形態３の概要である。実施形態
３の場合、入力がステレオ映像、出力が三次元表示画像
である。従って、入力映像の忠実な再現が可能となる
他、実施形態１で説明した強調表示等の処理を施すこと
によって、所期の画像を生成することができる。

【０１９２】実施形態４．実施形態２では、マウスクリ
ックによって視点変更映像を得る技術を説明した。ここ
では、異なる目的によって視点変更映像を生成し、これ
を異なる用途に利用する例を説明する。

【０１９３】前述のように、本発明によれば、実際にカ
メラの位置を移動しなくとも、異なる視点からの映像を
得ることができるが、この場合、当然ながら視点の仮想
的な移動距離が短いほうが正確な画像を得ることができ
る。この事実を利用して、実施形態４では次の用途を考
える。

【０１９４】１．２眼映像から多視点映像の生成２眼カメラによってステレオ映像が得られているとき、
仮想的に第３のカメラを設けて多視点映像を生成する。
２眼カメラの間隔は一般に小さいため、例えばこれらと
ともに、小さな三角形をなす点を視点とする視点変更映
像を生成する。この映像は比較的正確であり、もとの２
眼カメラによる映像と合わせることで良好な多視点映像
を形成することができる。この後、奥行き情報を加味す
ることによって、多視点のうちの任意の視点からの三次
元表示画像を生成することできる。

【０１９５】２．スローモーション映像の生成例えば時間的に最も近い２枚の異時刻フレームをフレー
ムｔ、ｔ' とする。これらのフレームを撮影した視点を
それぞれ視点ｔ、ｔ' とする。視点はフレームｔ、ｔ'
の間に視点ｔから視点ｔ' に実際に移動しているが、こ
の間の映像は存在しない。そこで視点ｔ、ｔ' 間に仮想
的な視点を設け、視点変更映像を生成する。視点変更映
像を多数設けて順次表示すればスローモーション映像が
得られる。この際、次の効果がある。

【０１９６】ａ．本来ならコマ送り的な映像となるべき
映像の動きが極めて滑らかになるｂ．時間的に近いフレーム間では一般に視点の移動が少
ないため、非常に良好な映像が得られるｃ．視点ｔ、ｔ' 間の視点の移動経路を変化させれば、
異なるイメージのスローモーション映像が得られる。

【０１９７】この間も、奥行き情報を加味することによ
って滑らかな三次元表示画像を生成することが可能とな
る。なおこの技術は、当然ながら同時刻フレーム間に適
用することもできる。

【０１９８】

【発明の効果】本発明によれば元の映像の奥行き情報か
ら三次元表示用の画像を生成することができ、課題であ
った機能的・技術的制約が解消される。入力映像は単
眼、多眼のいずれでもよく、適用範囲が広い。単眼の場
合はシステム構成が簡素化でき、多眼の場合は奥行きの
計算精度がさらに高くなる。

【０１９９】本発明によれば、複数の映像フレーム間に
おける映像各部位の二次元的な位置の変位から奥行き情
報を抽出することができ、容易に三次元表示を行うこと
ができる。

【０２００】二次元的な位置の変位量に基づいて複数の
映像フレームを選択する場合は、計算途上の誤差が減
る。

【０２０１】二次元的な位置の変位量を統計的に処理す
る場合は、選択の最適化、客観化が可能となる。

【０２０２】映像各部位の動きベクトルの分散が所定値
よりも大きくなるように複数の映像フレームを選択する
場合は、選択の客観化に加え、計算精度の保証が可能と
なる。

【０２０３】分散が大きくなるような選択ができない場
合、通常の映像表示等、他の表示で代替できる。

【０２０４】二次元的な位置の変化から映像各部位が現
実の三次元空間において占める相対位置関係を導出する
場合は、奥行きを正しく求めることができる。

【０２０５】映像各部位の三次元的な動きから三角測量
の原理によって映像各部位の三次元空間における位置座
標を算出する場合は、、奥行きの決定を容易かつ正確に
行うことができる。

【０２０６】本発明では、代表点と対応点という概念を
導入したため、従来のように水平方向の動きに限らず、
三次元表示が可能となる。

【０２０７】代表点と対応点の位置関係から他の異時刻
フレームの対応点の位置を予想する場合は、対応点探索
の計算量が削減される。

【０２０８】代表点のうち幾何的に特徴のある映像領域
に関連するものについては、対応点の関連する映像領域
についてもその特徴が維持されるため、対応点の位置精
度が高い。

【０２０９】幾何的に特徴のある映像領域として直線を
含む領域を採用する場合は、対応点の位置精度が改善さ
れる。

【０２１０】複数の映像フレーム間で映像の類似度が高
い点を対応点とする場合は、対応点を正しく求めること
ができる。

【０２１１】映像の類似性のみならず、対応点間の相対
位置の妥当性も評価する場合は、両評価の結果から対応
点の位置精度を改善することができる。

【０２１２】前記各評価の結果が統合され、繰り返し計
算がなされる場合は、対応点の位置精度を徐々に改善し
ていくことができる。

【０２１３】前記類似性の評価をブロックマッチングに
よって行う場合は、容易かつ妥当な評価が可能となる。

【０２１４】ブロックマッチングでは、色濃度のｎ乗誤
差が計算されるため、映像に応じて実験等により最適の
条件を設定することができる。

【０２１５】バイアスド・ブロックマッチングを行う場
合は、特に多眼撮影された入力映像に対して良好な三次
元表示画像の生成が可能となる。

【０２１６】色偏向定数をｎ乗誤差総和が最小となるよ
う決められる場合は、評価結果の信頼性が高まる。

【０２１７】色偏向定数として映像領域間の各画素の色
濃度差の平均値を採用する場合は、２乗誤差総和が最小
となり、評価結果の信頼性が高まる。

【０２１８】特徴点の対応点を優先的に決める場合は、
対応点の位置精度が高まる。

【０２１９】特徴点である対応点を補間することで非特
徴点である対応点を決める場合は、非特徴点の対応点の
位置精度も必然的に高くなる。

【０２２０】複数の映像フレーム間でブロックマッチン
グを行って特徴点を決める場合は、特徴点選定の客観
化、選定結果の妥当性向上が可能となる。

【０２２１】異時刻フレームで位置の変化が安定して発
生する点を特徴点とした場合、かかる点は精度よく追跡
されているため、その位置精度が高い。

【０２２２】同時刻フレーム間における位置の変位が、
その近傍時刻に撮影された同時刻フレーム間においても
ほぼ一定となる点を特徴点とする場合、多眼映像から三
次元表示画像を良好に生成することができる。

【０２２３】本発明によれば、奥行き情報に従った両眼
視差から左右画像が生成されため、現実の奥行き間と生
成された画像の対応関係が良好となる。

【０２２４】映像各部位ごとに両眼視差を決定する場合
は、生成された画像がより自然なものとなる。

【０２２５】所定範囲の奥行きを持つ映像部位のみを選
定して左右画像を生成する場合は、一種の画像認識に基
づく画像加工が可能となる。

【０２２６】画像に対して両眼視差に応じた水平方向の
変位を与える場合は、人の眼にとって自然な三次元表示
が実現される。

【０２２７】前記水平方向の変位が与えられたとき、画
像枠に現れる段差を修正する場合は、この部分に不自然
な表示がなされない。

【０２２８】奥行きが大きくなるに従って両眼視差を小
さな値にする場合は、現実の映像を見た場合と同じ関係
が実現される。

【０２２９】奥行きあるいは両眼視差を所定の範囲に収
める場合は、眼の疲労等に配慮することができる。

【０２３０】奥行きまたは両眼視差の広がりが任意の点
を中心として線形圧縮する場合は、単純な変換で所望の
奥行き感を得ることができる。

【０２３１】所定の範囲に収まらない奥行きまたは両眼
視差をその範囲の上限値または下限値のうち近いほうの
値に一律変換する場合は、容易に効果的な変換をなしつ
つ、画像データの圧縮、処理時間の短縮を図ることがで
きる。

【０２３２】変換後の値が所定の範囲の上限値または下
限値に滑らかに収束する非線形変換を用いる場合は、こ
れら上下限値付近において表示が不自然とならない。

【０２３３】本発明によれば、生成されるべき三次元表
示画像における所定の領域の奥行き感を変更することが
でき、見る者の好み等に応じた柔軟な対応が可能とな
る。

【０２３４】奥行き感の変更に応じてその領域の表示面
積を変更する場合は、例えば近くに表示された物は大き
くなり、自然な表示が可能となる。

【０２３５】仮想的な視点の変更に伴って映像を再構築
する場合は、各種画像処理への途が開かれる。一旦多視
点映像またはスローモーション映像を生成した後に三次
元表示画像を生成する技術が可能となる。

【０２３６】このとき、再構築された映像について奥行
き情報が再計算されるため、再度良好な三次元表示をす
ることが可能となる。

【図面の簡単な説明】

【図１】背景は変化せず被写体のみが左から右へ移動
する映像を示す図でる。

【図２】再生された右眼画像と左眼画像の間に一定の
時間差を設ける様子を示す図である。

【図３】図２の時間差の結果、視差が生じる様子を示
す図である。

【図４】実施形態１によって三次元表示画像を生成す
るための主な工程を示す図である。

【図５】映像フレーム間の対応関係を検出するための
フローチャートである。

【図６】基準フレームｔに代表点を設定する様子を示
す図である。

【図７】ブロックマッチングの様子を示す図である。

【図８】仮の対応点Ｐt'（ｉ, ｊ）ごとにＥの値を縦
方向に示した模式図である。

【図９】Ｓ１２ステップの結果求められた対応点と代
表点の関係を示す図である。

【図１０】対応点の相対位置を評価する原理を説明す
る図である。

【図１１】図９の対応点候補に対して本ステップの改
善処理を行った結果を示す図である。

【図１２】ある点Ｐの画面上の移動と三次元空間での
移動の対応を示す図である。

【図１３】カメラの三次元移動とある点Ｐの画面上の
移動から点Ｐの三次元座標を導く原理を説明する図であ
る。

【図１４】フレームｔにおいて各代表点に数値が与え
られた状態を示す図である。

【図１５】奥行き情報に従って視差を与える様子を示
す図である。

【図１６】フレームｔを基準として生成された左右両
画像を示す図である。

【図１７】視差を非線形変換する様子を示す図であ
る。

【図１８】実施形態１を実施するためのハードウエア
構成例を示す図である。

【図１９】フレームｔの映像をディスプレイ上に表示
した中間調画像の写真である。

【図２０】フレームｔ' の映像をディスプレイ上に表
示した中間調画像の写真である。

【図２１】フレームｔをメッシュ状に分割して代表点
を設けた状態をディスプレイ上に表示した中間調画像の
写真である。

【図２２】フレームｔ' における対応点の初期位置を
ディスプレイ上に表示した中間調画像の写真である。

【図２３】対応点位置を改善した結果をディスプレイ
上に表示した中間調画像の写真である。

【図２４】奥行き情報を濃淡でディスプレイ上に表示
した中間調画像の写真である。

【図２５】奥行き情報に従って生成された左画像をデ
ィスプレイ上に表示した中間調画像の写真である。

【図２６】奥行き情報に従って生成された右画像をデ
ィスプレイ上に表示した中間調画像の写真である。

【図２７】実施形態３によって三次元表示画像を生成
するための主な工程を示す図である。

【図２８】実施形態３で導入される特徴点の選定基準
を示す図である。

【符号の説明】

２０映像入力回路、２２フレームメモリ制御回路、
２４フレームメモリ、２６対応点検出回路、２８
対応点座標メモリ、３０動き検出回路、３２画像生成
回路、３４指示入力部、３６画像出力回路。

───────────────────────────────────────────────────── フロントページの続き (72)発明者杉本和英大阪府守口市京阪本通２丁目５番５号三洋電機株式会社内 (72)発明者荒川勉大阪府守口市京阪本通２丁目５番５号三洋電機株式会社内 (72)発明者鈴木治大阪府守口市京阪本通２丁目５番５号三洋電機株式会社内

Claims

【特許請求の範囲】

【請求項１】処理の対象となる元の映像から該映像の
奥行き情報を抽出し、この情報に従って三次元表示用の
画像を生成することを特徴とする三次元表示画像生成方
法。
【請求項２】請求項１に記載の三次元表示画像生成方
法において、複数の映像フレーム間における映像各部位の二次元的な
位置の変位を検出し、この情報から前記奥行き情報を抽
出することを特徴とする三次元表示画像生成方法。
【請求項３】請求項２に記載の三次元表示画像生成方
法において、前記複数の映像フレームは異なる時刻に撮影されたもの
であり、前記二次元的な位置の変位量に基づいてこれら複数の映
像フレームを選択することを特徴とする三次元表示画像
生成方法。
【請求項４】請求項３に記載の三次元表示画像生成方
法において、前記映像各部位の二次元的な位置の変位量を統計的に処
理し、その処理結果に基づいて前記複数の映像フレーム
を選択することを特徴とする三次元表示画像生成方法。
【請求項５】請求項４に記載の三次元表示画像生成方
法において、前記変位量の統計的な処理は、前記映像各部位の動きベ
クトルの分散の導出であり、この分散が所定値よりも大
きくなるように前記複数の映像フレームを選択すること
を特徴とする三次元表示画像生成方法。
【請求項６】請求項５に記載の三次元表示画像生成方
法において、前記分散が所定値よりも大きくなるような複数の映像フ
レームを選択することができない場合には、三次元表示
用画像の生成を中止することを特徴とする三次元表示画
像生成方法。
【請求項７】請求項２〜６のいずれかに記載の三次元
表示画像生成方法において、前記二次元的な位置の変位から前記映像各部位が現実の
三次元空間において占める相対位置関係を導出し、その
結果に従って前記奥行きを決定することを特徴とする三
次元表示画像生成方法。
【請求項８】請求項２〜６のいずれかに記載の三次元
表示画像生成方法において、前記二次元的な位置の変位から前記映像各部位の三次元
的な動きを算出し、この動きから三角測量の原理によって前記映像各部位の
三次元空間における位置座標を算出し、その結果に従って前記奥行きを決定することを特徴とす
る三次元表示画像生成方法。
【請求項９】請求項２〜８のいずれかに記載の三次元
表示画像生成方法において、基準となる映像フレームに代表点を設定し、他の映像フレームにおける前記代表点の対応点を求め、これら代表点と対応点の位置関係を求めることによっ
て、前記映像各部位の二次元的な位置の変位を認識する
ことを特徴とする三次元表示画像生成方法。
【請求項１０】請求項９に記載の三次元表示画像生成
方法において、前記基準となる映像フレームと前記他の映像フレームが
異なる時刻に撮影されたものであるとき、前記代表点と前記対応点の位置関係から、さらに他の映
像フレームの対応点の位置を予想し、対応点を探索すべ
き領域を限定することを特徴とする三次元表示画像生成
方法。
【請求項１１】請求項９、１０のいずれかに記載の三
次元表示画像生成方法において、前記代表点のうち、幾何的に特徴のある映像領域に関連
するものについては、それら代表点の対応点の関連する
映像領域についても前記幾何的な特徴が維持されるよ
う、前記対応点の位置を調整することを特徴とする三次
元表示画像生成方法。
【請求項１２】請求項１１に記載の三次元表示画像生
成方法において、前記幾何的に特徴のある映像領域は、直線を含む領域で
あることを特徴とする三次元表示画像生成方法。
【請求項１３】請求項９に記載の三次元表示画像生成
方法において、前記他の映像フレームにおける特定点近傍の映像領域
と、前記基準となる映像フレームの代表点近傍の映像領
域間で映像の類似性を評価し、この評価結果が良好な場
合に前記特定点をもって前記代表点の対応点と決めるこ
とを特徴とする三次元表示画像生成方法。
【請求項１４】請求項９に記載の三次元表示画像生成
方法において、前記他の映像フレームにおける特定点近傍の映像領域
と、前記基準となる映像フレームの代表点近傍の映像領
域間で映像の類似性を評価し、前記特定点間の相対位置の妥当性を評価し、これら両評価の結果が良好な場合に前記特定点をもって
前記代表点の対応点と決めることを特徴とする三次元表
示画像生成方法。
【請求項１５】請求項１４に記載の三次元表示画像生
成方法において、前記各評価の結果を数値化して統合し、前記対応点の位置を変化させながら前記数値を再計算
し、繰り返し計算を通して前記対応点の位置精度を改善する
ことを特徴とする三次元表示画像生成方法。
【請求項１６】請求項１５に記載の三次元表示画像生
成方法において、一旦全対応点の位置を固定した上で、１つの対応点のみ
を移動させながら前記各評価の結果が最良となる点を探
索し、探索された最良点の位置を前記１つの対応点の新たな位
置とし、これらの探索および位置の変更を順次全対応点について
行うことを特徴とする三次元表示画像生成方法。
【請求項１７】請求項１６に記載の三次元表示画像生
成方法において、前記探索および位置の変更を全対応点について行った
後、統合された各評価の数値が極値をとる条件を表すオ
イラー方程式を数値的に解くことにより、前記対応点の
位置精度を改善することを特徴とする三次元表示画像生
成方法。
【請求項１８】請求項１３〜１７のいずれかに記載の
三次元表示画像生成方法において、前記類似性の評価がブロックマッチングによって行われ
ることを特徴とする三次元表示画像生成方法。
【請求項１９】請求項１８に記載の三次元表示画像生
成方法において、前記ブロックマッチングでは、比較すべき映像領域の間
で色濃度のｎ乗誤差総和（ｎは１または２）が計算され
ることを特徴とする三次元表示画像生成方法。
【請求項２０】請求項１９に記載の三次元表示画像生
成方法において、前記色濃度に対して、所定の色偏向定数を考慮して前記
ブロックマッチングを行うことを特徴とする三次元表示
画像生成方法。
【請求項２１】請求項２０に記載の三次元表示画像生
成方法において、前記色偏向定数は、前記ｎ乗誤差総和が最小となるよう
決められることを特徴とする三次元表示画像生成方法。
【請求項２２】請求項２１に記載の三次元表示画像生
成方法において、前記色偏向定数は、前記映像領域間の各画素の色濃度差
の平均値であり、前記ブロックマッチングは、前記映像領域間で各画素の
色濃度差から前記色偏向定数を減算した後に２乗誤差総
和を算出することを特徴とする三次元表示画像生成方
法。
【請求項２３】請求項１３〜２２のいずれかに記載の
三次元表示画像生成方法において、映像に含まれる点を特徴点と非特徴点に分類し、特徴点
である代表点について優先的に対応点を決めることを特
徴とする三次元表示画像生成方法。
【請求項２４】請求項２３に記載の三次元表示画像生
成方法において、前記特徴点である対応点を補間して前記非特徴点である
対応点を決めることを特徴とする三次元表示画像生成方
法。
【請求項２５】請求項２３に記載の三次元表示画像生
成方法において、前記基準となる映像フレームと前記他の映像フレームの
間でブロックマッチングを行い、その結果、代表点との
対応が良好である対応点を前記特徴点とすることを特徴
とする三次元表示画像生成方法。
【請求項２６】請求項２３に記載の三次元表示画像生
成方法において、前記特徴点は、撮影時刻の異なる複数の映像フレームに
おいて位置が安定的に変化している点であることを特徴
とする三次元表示画像生成方法。
【請求項２７】請求項２３に記載の三次元表示画像生
成方法において、前記特徴点は、同時に撮影された映像フレーム間におけ
る位置の変位が、その近傍時刻において同時に撮影され
た映像フレーム間においてもほぼ一定であるか、または
一定変化する点であることを特徴とする三次元表示画像
生成方法。
【請求項２８】請求項１〜２７のいずれかに記載の三
次元表示画像生成方法において、前記奥行き情報に従って両眼視差を決定し、この両眼視
差に応じて左右両眼用の画像を生成することを特徴とす
る三次元表示画像生成方法。
【請求項２９】請求項２〜２７のいずれかに記載の三
次元表示画像生成方法において、前記映像各部位の奥行き情報に従って部位ごとに両眼視
差を決定し、この両眼視差に応じて部位ごとに左右両眼
用の画像を生成することを特徴とする三次元表示画像生
成方法。
【請求項３０】請求項２９に記載の三次元表示画像生
成方法において、前記映像各部位の奥行き情報に従って所定範囲の奥行き
を持つ部位を選定し、選定された部位のみに対して左右
両眼用の画像を生成することを特徴とする三次元表示画
像生成方法。
【請求項３１】請求項２８〜３０のいずれかに記載の
三次元表示画像生成方法において、画像に対して前記両眼視差に応じた水平方向の変位を与
えることにより、前記左右両眼用の画像を生成すること
を特徴とする三次元表示画像生成方法。
【請求項３２】請求項３１に記載の三次元表示画像生
成方法において、前記水平方向の変位を与えたとき、その影響によって画
像枠に現れる段差を修正することを特徴とする三次元表
示画像生成方法。
【請求項３３】請求項２８〜３２のいずれかに記載の
三次元表示画像生成方法において、前記奥行きが大きくなるに従って、前記両眼視差が次第
に小さな値になるように決定することを特徴とする三次
元表示画像生成方法。
【請求項３４】請求項２８〜３３のいずれかに記載の
三次元表示画像生成方法において、前記奥行きまたは前記両眼視差を所定の範囲に収まるよ
うに変換し、その結果得られた新たな奥行き情報に従っ
て両眼視差を変更することを特徴とする三次元表示画像
生成方法。
【請求項３５】請求項３４に記載の三次元表示画像生
成方法において、前記奥行きまたは前記両眼視差の広がりを任意の点を中
心として線形圧縮することにより、前記奥行きまたは前
記両眼視差を前記所定の範囲に収まるように変換するこ
とを特徴とする三次元表示画像生成方法。
【請求項３６】請求項３４に記載の三次元表示画像生
成方法において、前記所定の範囲に収まらない奥行きまたは両眼視差を前
記所定の範囲の上限値または下限値のうち近いほうの値
に一律して変換することを特徴とする三次元表示画像生
成方法。
【請求項３７】請求項３４に記載の三次元表示画像生
成方法において、変換後の値が前記所定の範囲の上限値または下限値に滑
らかに収束する非線形変換を用い、前記奥行きまたは前
記両眼視差が所定の範囲に収まるように変換することを
特徴とする三次元表示画像生成方法。
【請求項３８】請求項２８〜３２のいずれかに記載の
三次元表示画像生成方法において、生成されるべき三次元表示画像における所定の領域の奥
行き感を変更するために、その領域に与えるべき両眼視
差を可変としたことを特徴とする三次元表示画像生成方
法。
【請求項３９】請求項３８に記載の三次元表示画像生
成方法において、前記所定の領域の奥行き感を変更したとき、その変更に
応じてその領域の表示面積を変更することを特徴とする
三次元表示画像生成方法。
【請求項４０】請求項２８〜３２のいずれかに記載の
三次元表示画像生成方法において、映像の視点を仮想的に変更するために、想定される視点
の変更に伴う映像各部位の位置の変位を前記奥行き情報
から逆算し、前記位置の変位に従って映像を再構築する
ことを特徴とする三次元表示画像生成方法。
【請求項４１】請求項４０に記載の三次元表示画像生
成方法において、元の映像が２眼カメラによって撮影さ
れたものであるとき、これら２眼と所定の相関位置に仮想カメラを想定し、この仮想カメラから撮影されるべき映像を視点変更映像
として生成し、この視点変更映像と前記２眼カメラによって撮影された
現実の映像とによって多視点映像を生成することを特徴
とする三次元表示画像生成方法。
【請求項４２】請求項４０、４１のいずれかに記載の
三次元表示画像生成方法において、映像の視点を、ある映像フレームを撮影した視点から別
の映像フレームを撮影した視点まで仮想的に移動させな
がら、移動経路上の任意の個所を視点とする視点変更映
像を生成することを特徴とする三次元表示画像生成方
法。
【請求項４３】請求項４０〜４２のいずれかに記載の
三次元表示画像生成方法において、前記再構築された映像について前記映像各部位の奥行き
情報を再計算し、その結果得られた新たな奥行き情報か
ら前記両眼視差を補正することを特徴とする三次元表示
画像生成方法。