JPH1040420A - 奥行き感制御方法 - Google Patents

Abstract

(57)【要約】 【課題】 立体動画像を表示する際、視差角度の変化が
急峻であると視覚疲労が促進される。 【解決手段】 ステレオカメラから右目用画像と奥行き
情報を受け取り、奥行き情報に基づく視差角度を与えて
左目用画像を生成する。このとき、奥行きが大きく変化
する瞬間をシーンチェンジ検出部４０で検出し、奥行き
変換部３８で奥行きの変化をなだらかにする。奥行きの
変化が緩慢になるため、視差角度の変化も緩慢になる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、奥行き感制御方
法に関する。この発明は特に、立体動画像を撮影、生成
または表示等する際に、その画像に立体感を持たせる手
段である奥行きを制御する方法に関する。

【０００２】

【従来の技術】ＶＲ（バーチャル・リアリティ）技術の
ひとつに、映像の立体表示を挙げることができる。これ
は、観視者の左右両目に与える映像を操作することによ
り、疑似的に立体感を現出せしめる画像処理技術であ
る。こうした立体画像を生成するために、被写体をステ
レオカメラで撮影する方法が知られている。

【０００３】図６はステレオカメラによる立体画像の生
成原理を示す図である。同図では、２台のカメラ２、４
がステレオカメラを構成し、これらが被写体である人
６、自動車８、山１０を撮影している。２台のカメラ
２、４と被写体を結んだときに生じる角度は視差角度と
呼ばれ、人６を見たときの視差角度は同図のα、同様に
自動車８、山１０の視差角度はそれぞれβ、γである。
視差角度をこのように定義する場合、観視者に近い被写
体ほど視差角度が大きくなり、理論的には無限遠の被写
体について視差角度がゼロになる。この視差角度によ
り、被写体の奥行き感が生じる。

【０００４】ここで奥行き感とは観視者の目から見た被
写体の遠近感をいう。被写体またはその部位ごとに奥行
き感が異なれば、画像上にいろいろな遠近感が生じ、立
体感が生まれる。奥行き感を発生させる要因（以下「奥
行き感要因」という）は上述の視差角度であるが、これ
と観視者から被写体までの距離、すなわち奥行きには簡
単な関係がある。奥行きをｚ、視差角度をθ、ステレオ
カメラの間隔ｄとし、θが小さければ、ｚ＝ｄ／θとな
る。従って、奥行きｚを奥行き感要因と捉えることもで
きる。図６の場合、人６、自動車８、山１０の奥行きは
それぞれ、Ｚ１、Ｚ２、Ｚ３である。

【０００５】実際に立体画像を表示するときには、例え
ば左のカメラ２の映像を観視者の左目に与え、右のカメ
ラ４の映像を右目に与える。システムによっては一方の
目の画像、例えば右目用画像と、視差角度または奥行き
をセットにして表示装置に送り、表示装置の側で前記視
差角度または奥行きをもとに左目用画像を生成し、右目
用画像と合わせて表示することもある。

【０００６】このように、観視者の目は視差角度などの
奥行き感要因に基づいて被写体の遠近を感知するもので
あるが、この視差角度が何度も急変すると視覚疲労が促
進されることが知られている。とくに、映像のシーンが
切り替わるとき、比較的大きな視差角度の変化が発生し
やすい。例えば、カメラのすぐ前にある花瓶のシーンの
後に遠景のシーンに移ったとき、シーンの継ぎ目で視差
角度が突然小さくなる。視差角度の急変を避けるため
に、立体動画像を作成するとき、最近では以下のような
配慮がなされている。

【０００７】１．カメラマンが同じような視差角度の被
写体、すなわち奥行きが大体等しい被写体を連続的に撮
影する。前述の花瓶から遠景へシーンチェンジするとき
は、いったん中間的な距離にある被写体のシーンを挟む
よう撮影する。

【０００８】２．カメラマンは自由に撮影するかわり
に、後の映像編集の際に視差角度が大きくならないよう
な順序でシーンの並べ換えを行う。

【０００９】シーンチェンジの際の視差角度に対する配
慮の必要性は、例えば「３次元映像の基礎」（泉武博監
修ＮＨＫ放送技術研究所編、オーム社）の８３ページ
に、「…カットつなぎに際して、急激な奥行き変化が生
じないようする必要性を示している」などのように記述
されている。

【００１０】

【発明が解決しようとする課題】しかしながら、前述の
１．２．のような方法は多分にカメラマンや編集者のノ
ウハウまたは経験に負うところが大きい。従って、この
ようなノウハウ等を持つ者がいなければ立体画像の作成
に支障が生じる。また、仮にこのような者がいても、撮
影または編集に注意が必要であり、そのための労力と時
間が発生する。この結果、比較的単純な撮影原理であり
ながら、実際には立体画像の作成、表示等の処理に面倒
な制約があることが認識されつつある。

【００１１】本発明はこうした課題に鑑みてなされたも
のであり、その目的は、立体動画像の処理に際し、急激
な視差角度の変化を回避する奥行き感制御方法を提供す
ることにある。また本発明は、例えばシーンチェンジの
ように視差角度の変化が画面全体に生じる場合だけでな
く、例えば画面の手前に突然人が入ってきたときのよう
に画面の一部に生じる場合にも良好な奥行きの制御方法
を提供する。

【００１２】

【課題を解決するための手段】

（１）本発明の奥行き感制御方法は、被写体の奥行き感
要因の変化を時間方向に緩和する変換処理を施すことに
より、その被写体が立体動画像として表示される際の奥
行き感を制御するものである。

【００１３】ここで「被写体」とは、画像枠に入るもの
すべてをいい、必ずしもカメラで撮影されたものである
必要はない。本明細書では、例えばコンピュータ・グラ
フィックスのキャラクターなども被写体に含まれるもの
とする。奥行き感要因は、視差角度、奥行きのいずれか
であるが、後述の画面上視差と考えてもよい。「被写体
の奥行き感要因の変化」とは、例えば図６の人６から山
１０へシーンチェンジしたとき、奥行きがＺ１からＺ３
に変化することを指している。一方、「その被写体が立
体動画像として表示される際の奥行き感」とは、その画
像を見た者に知覚される奥行き感をいう。「変化を時間
方向に緩和する」とは、ある期間で発生する変化を低減
することをいう。例えばシーンチェンジの際に奥行きが
変わる場合、シーンチェンジ自体はある瞬間に発生する
ため、奥行きの時間変化率は理論上無限大になる。本発
明では、この変化の継続時間をある程度延ばすことによ
り、奥行きの変化を時間方向に緩和しながら画像の奥行
き感を制御する。

【００１４】なお、本発明は奥行きを制御するものであ
るから、「奥行きの制御がなされた立体動画像を生産す
る方法」と解釈することもできる。

【００１５】（２）本発明のある態様では、（１）のと
き、前記被写体が立体動画像として表示される際の奥行
き感要因の時間変化率を考慮して、前記変換処理を行
う。すなわち、変化率が大きくならないよう、例えば一
定の上限を設けた上で緩和処理を行うなどの配慮をな
す。

【００１６】（３）本発明の別の態様では、（１）のと
き、前記変換処理の継続時間を考慮して、その変換処理
を行う。すなわち、変換処理にある程度長い時間をとれ
ば緩和の効果は大きくなるため、こうした配慮をなす。

【００１７】（４）本発明のある態様では、立体動画像
に含まれる情景の切替点付近において、一方の情景の奥
行き感要因を複数の表示単位画像に亘って徐々に他方の
情景の奥行き感要因に近づけていく変換処理を施す。

【００１８】ここで「情景」とは、撮影の対象がある程
度一定している映像の単位であり、シーンまたはカット
はその例である。また「表示単位画像」とは、例えばフ
レームやピクチャのように、表示の単位となる画像をい
う。例えば切替前の情景に関する奥行きをＺ、切替後の
情景に関する奥行きをＺ’とするとき、切替前、切替
後、または切替を挟む期間など、切替点付近でＺを複数
の表示単位画像に亘って、すなわちある程度時間をかけ
て徐々にＺ’に近づけていく。

【００１９】（５）本発明の別の態様では、画像の一部
領域の奥行き感要因が変化するとき、その一部領域の奥
行き感要因の時間的変化を緩和するとともに、画像各領
域の奥行き感の関係を再構築するために前記一部領域以
外の領域の奥行き感要因に対しても所定の変換処理を施
す。

【００２０】ここで、画像の一部領域の奥行き感要因が
変化する例として、新たな被写体が移動してカメラから
近い位置に現れた場合がある。この場合、その被写体の
領域（以下「注目領域」という）において奥行きが急変
するため、注目領域の奥行きをいちどに変化させるので
はなく、ある程度時間をかけながら変化させていく。こ
の場合、例えば注目領域のもとの奥行きが「１００」、
新たに出現した被写体（以下「注目体」という）の奥行
きが「６０」であるとすれば、この領域の奥行きを、 １００→８０→６０ などのように、徐々に変化させていく。これにより、注
目領域に関する視差角度の急変が回避される。

【００２１】一方、注目体の奥行きは、現実には６０で
ある。従って、注目領域以外の領域（以下「通常領域」
という）の中に、仮に奥行き「７０」の被写体が存在す
れば、この被写体は本来注目体よりも遠くに表示される
べきである。しかし、注目領域の奥行きが１００または
８０という数字をとる間、奥行き「７０」の被写体は注
目体よりも近くに表示されてしまう。このため本発明で
は、画像各領域の奥行き感の関係を再構築するために、
通常領域の奥行き感要因も変化させる。

【００２２】（６）（５）のとき本発明のある態様で
は、注目領域の奥行き感要因の時間的変化、および通常
領域の奥行き感要因の時間的変化をともに抑制すべく、
これらの両方を考慮して奥行き感を制御する。上述の例
の場合、通常領域に含まれる被写体のうち、例えば奥行
き「７０」のものの奥行きが「１００」に変更されると
する。この変化の量は３０であり、これによってこの被
写体の領域の視差角度も変化する。従って、本発明では
注目領域の奥行きの時間的変化だけでなく、通常領域の
奥行きの時間的変化も考慮して奥行きを制御する。

【００２３】（７）（６）のとき本発明のある態様で
は、注目領域の奥行き感要因の時間的変化、および通常
領域の奥行き感要因の時間的変化の大きさを総合的に評
価するエネルギー式を導入して奥行き感を制御する。
「エネルギー式」とは、評価上の意義を極値に有する式
という意味であり、この式により、注目領域の奥行きの
時間的変化、および通常領域の奥行きの時間的変化をと
もに低減する協調点を見い出すものである。

【００２４】（８）（６）のとき本発明のある態様で
は、注目領域の奥行き感要因の時間的変化率、または通
常領域の奥行き感要因の時間変化率のうち少なくとも一
方の上限を定める最大変化率制限式を導入して奥行き感
を制御する。

【００２５】

【発明の実施の形態】実施形態１． 実施形態１では、制御すべき奥行き感要因
として被写体の奥行きを選ぶ。図１は本実施形態の奥行
き感制御方法を実施する立体動画像生成装置３０の構成
図である。この装置は、例えば立体ムービーや立体テレ
ビの内部に設けることができる。

【００２６】同図のごとく、この装置はステレオカメラ
等で撮影された画像のうち、右目用画像をその奥行き情
報とともに入力し、左目用画像を生成する。生成された
左目用画像と右目用画像は、同期がとられた後、出力さ
れる。出力された左右目用画像はそれぞれ図示しない表
示装置に送られ、立体表示が行われる。

【００２７】この装置はまず、フレームデータとして入
力される右目用画像を順次記憶するＦＩＦＯ構造のフレ
ームデータ記憶部３２と、奥行き情報が入力される奥行
き変換部３８およびシーンチェンジ検出部４０をもつ。
フレームデータ記憶部３２は、後述のごとく複数のフレ
ームに亘って奥行きを徐々に変化させる際、その計算中
フレームデータを一時的に格納するテンポラリーバッフ
ァとして利用される。

【００２８】シーンチェンジ検出部４０は、入力された
各フレームの奥行き情報をもとに、シーンチェンジの箇
所を検出する。このとき、例えばフレームｓの画像各領
域の奥行きが Zsmin〜Zsmax 、その直後のフレームｔの
それが Ztmin〜Ztmax の範囲にあるとすれば、それぞれ
のフレームの平均の奥行きの差の絶対値Ｄ、 Ｄ＝｜（Zsmin ＋Zsmax ）／２−（Ztmin ＋Ztmax ）／２｜ （式１） が、あるしきい値を超えればシーンチェンジがあったと
判断する。ただしこの検出は、奥行きの平均値の差では
なく、分散の差などに基づいてもよい。

【００２９】奥行き変換部３８は、シーンチェンジが検
出されたとき、それ以降の複数のフレームに亘って奥行
きが徐々に変化するよう、入力された奥行きを変換す
る。式１の場合、フレームｔで急に奥行きが Ztmin〜Zt
max になるのではなく、フレームｔ以降の数フレームに
亘り、Zsmin が次第に Ztmin へ、Zsmax が次第に Ztm
ax へ近づくようフレームｔ以降の各フレームに対応さ
せるべき奥行きを変換する。ただし、シーンチェンジが
ない間は、奥行き変換部３８は入力された奥行き情報を
そのまま出力する。

【００３０】奥行き変換部３８の出力は左目用画像生成
部３６へ与えられる。左目用画像生成部３６は、奥行き
変換部３８から出力された奥行きが例えばフレームｓに
関するものであれば、フレームｓのデータをフレームデ
ータ記憶部３２から読み出し、この右目用画像データお
よび入力された奥行きをもとに既知の方法で左目用画像
を生成する。生成した左目用画像は図示しない表示装置
に与えられる。

【００３１】タイミング調整部３４は、生成された左目
用画像とそれに対応する右目用画像の出力タイミングを
合わせる同期化回路である。ここから右目用画像が左目
用画像とタイミングが合った状態で出力され、これが表
示装置に与えられる。

【００３２】図２は、立体動画像生成装置３０による奥
行きの制御を示す図である。同図（ａ）は奥行き感制御
を行わない従来の場合、同図（ｂ）は本装置によって制
御を行う場合を比較して示している。

【００３３】同図では、右目用画像のフレーム１〜１３
が装置に連続的に入力されている。ここではフレーム１
〜４までがあるシーンＳ１、フレーム５以降が別のシー
ンＳ２であるとし、シーンＳ１における各フレームの画
像各領域の奥行きがすべて Z1min〜Z1max （平均を Z1a
ve と表記）、シーンＳ２のそれがすべて Z2min〜Z2ma
x （平均を Z2ave）にあるとしている。すなわちこの場
合、シーンチェンジが起きるフレーム４と５の間で奥行
きが急変し、この奥行きからそのまま左目用画像を生成
すれば、同図（ａ）に示すごとく、この切替点で視差角
度が大きく変化する。

【００３４】一方、同図（ｂ）ではシーンチェンジの
後、奥行きが徐々に変化している。奥行きは、実際には
フレームごとの離散値をとるはずであるが、ここでは模
式的に連続値として描いている。本装置によって処理を
行う場合、まず図１のシーンチェンジ検出部４０が各フ
レームの奥行きを読み込み、連続するフレームどうしの
奥行きの差を計算する。ここでは、フレーム４とフレー
ム５の間で、 ｜Z1ave −Z2ave ｜ を計算したとき、この値が大きいと判定され、シーンチ
ェンジが検出される。

【００３５】つづいて、奥行き変換部３８でフレーム５
以降のフレームに与えるべき奥行きを操作する。奥行き
操作の際の規則として、例えば次の２つの方法が考えら
れる。

【００３６】１．奥行きの操作をすべきフレーム数を決
めておく ２．奥行きの変化率の上限を決めておく １．の規則は、奥行きの変化を緩和するとき、その緩和
処理の継続時間を考慮するといってもよい。具体的には
１．の場合、例えば「シーンチェンジ直後のフレームを
含め、ｎ枚のフレームを使って奥行きを徐々に変化させ
る」という規則を定めることができる。図２（ｂ）がこ
の規則に則っていると見れば上記ｎは４に相当し、フレ
ーム５〜８の４枚のフレームにおいて奥行きが操作され
ている。この規則を採用するとき、シーンチェンジが比
較的短時間で起こる場合は上記ｎを小さ目の値にとり、
そうでなければ大きくとるような制御も可能である。

【００３７】一方、２．の場合は１．と異なり、奥行き
が操作されるフレームの数は原則として問題にしない。
例えば図２（ｂ）の場合、フレーム４に含まれる奥行き
の最大値 Z1max からフレーム５の最大値 Z2max を結
ぶ直線Ｌの傾きの絶対値がある値を超えないよう奥行き
を制御する。従って、Z1max と Z2max の差が倍になれ
ば、奥行きの操作がなされるフレームの枚数も倍にな
る。この規則を採用する場合、視差角度の変化率をある
数値以下に抑えることが容易になる。

【００３８】こうして奥行きの変換が終われば、変換後
の奥行きを左目用画像生成部３６に投入し、ここで右目
用画像の各フレームとそのフレームに対応する奥行きを
もとに、左目用画像を生成する。生成された左目用画像
は、タイミング調整部３４を経た右目用画像とともに後
段の表示装置に出力される。

【００３９】以上が本実施形態の内容である。本実施形
態によれば、観視者が最終的に表示される立体動画像を
見たとき、視差角度が急激に変化する場面が減るため、
視覚疲労を軽減することができる。なお、本実施形態に
ついては以下のような変形例も考えられる。

【００４０】（１）ここではシーンチェンジ直後のフレ
ームを先頭に奥行きの操作を行ったが、これは別のフレ
ームを先頭にしてもよい。例えば、シーンチェンジのタ
イミングを挟むよう図２のフレーム３〜６の４枚の奥行
きを操作してもよいし、シーンチェンジ前のフレーム１
〜４の４枚を利用してもよい。

【００４１】（２）図２（ｂ）では２つのシーン間で奥
行きを直線的に変換したが、別の変換方法をもちいるこ
ともできる。例えば、フレーム４の奥行きとフレーム９
の奥行きを滑らかにつなぐｔａｎｈ関数などによる非線
形変換を用いてもよい。

【００４２】（３）本実施形態ではシーンチェンジを検
出した上で奥行きの変換を行ったが、原理的には、シー
ンチェンジの有無に関係なく任意のフレーム間の奥行き
の差を徐々に変化させていくことができる。その場合、
図１のシーンチェンジ検出部４０は設けなくてよい。

【００４３】（４）本実施形態の立体動画像生成装置３
０は立体ムービーや立体テレビの内部に設けることがで
きるが、これらの再生側装置側ではなく、撮影側、編集
側装置に適用することもできる。例えば撮影された映像
に対してその場で奥行きの変換を行うステレオカメラシ
ステムの一部や、放送局等の画像編集装置に本発明を組
み込むこともできる。

【００４４】（５）本実施形態では、ステレオカメラで
撮影された被写体に関する奥行きの制御を説明したが、
本発明は例えばコンピュータ・グラフィックスの動画に
ついても適用可能である。その場合も、フレームやシー
ンの切替のときに奥行きが徐々に変化するよう画像を生
成または表示すればよい。

【００４５】（６）本発明によって奥行きを制御した
後、その奥行きと立体表示のもとになる画像を組み合わ
せてネットワークで画像を伝送したり、画像媒体に記録
してこれを流通させることもできる。すなわち本発明
は、被写体の現実の奥行きの変化が時間方向に緩和され
た状態で生成された画像を通信する方法、被写体の現実
の奥行きの変化が時間方向に緩和された状態で生成され
た画像を記録した媒体という形で応用が可能である。

【００４６】（７）本実施形態では、右目用画像と奥行
き情報を入力し、左目用画像を生成した。それ以外に、 １．右目用画像と左目用画像および奥行き情報を入力
し、それぞれ入力を修正して得られる左目用画像と右目
用画像を出力する。

【００４７】２．右目用画像と左目用画像の中間画像お
よび奥行き情報を入力し、それぞれ中間画像から合成し
て得られる左目用画像と右目用画像を出力する。

【００４８】という態様が考えられる。特にこの１．の
場合、個々の画像の修正量が少なく、良好な画像品質が
実現できる。

【００４９】（８）本実施形態では、制御の対象として
奥行きｚをとったが、これは視差角度であってもよい
し、画面上視差であってもよい。その場合、図１の立体
動画像生成装置の奥行き変換部３８に投入される情報
は、奥行き情報の代わりに視差角度情報または画面上視
差情報などとなる。なお、画面上視差とは、被写体が表
示装置のスクリーン位置において持つ視差をいう。その
意味合いは図７に示すとおりであり、同図の場合、画面
上視差はｆｅ／ｚで与えられる。

【００５０】実施形態２．実施形態１では、主にシーン
チェンジによる奥行きの急変に対応したが、実際は同じ
シーンの中でも画像の一部領域、すなわち注目領域の奥
行きが急変することがある。本実施形態は、こうした場
合を考慮した奥行き感制御方法に関する。

【００５１】本実施形態の前提となる技術は、本出願人
が先に特願平７−２５７１４１号で提案した奥行きまた
は視差角度の変換方法の一部（以下「前提技術」とい
う）である。前提技術は、撮影された映像の奥行きまた
は視差角度を線形または非線形変換によって所定の範囲
に収めるというもので、本願同様、視覚疲労などの解消
を目的としている。前提技術では、あるフレームに注目
領域が出現した場合、この領域の奥行きも含めてすべて
の領域の奥行きを所定の範囲に変換するが、本実施形態
ではこの変換動作の速さや程度を調整するものである。

【００５２】図３は隣接する２枚のフレーム（t-1 ）と
フレームｔの対応関係、およびフレームｔに出現した注
目領域６０を説明する図である。同図は背景に山、その
前に自動車がある映像であり、フレームｔでボールがカ
メラの至近距離に現われている。このボールが注目領域
６０を形成する。

【００５３】いま自動車、山、ボールの奥行きをそれぞ
れ Zcar 、Zmnt、Zball とし、仮にこれらを線形変換で
所望の範囲 ZMIN 〜ZMAX（以下「理想範囲」と呼ぶ）に
一律に収めようとすれば、フレーム（t-1 ）では、 ZMIN＝ａZcar＋ｂ ZMAX＝ａZmnt＋ｂ という変換式からａ、ｂ（以下ａ、ｂを「奥行き変換係
数」ともよぶ）を計算することにより、変換規則が決ま
る。一方、フレームｔではボールの出現により、 ZMIN＝ａZball ＋ｂ ZMAX＝ａZmnt＋ｂ を満たす新たな奥行き変換係数ａ、ｂが決まる。この結
果、自動車の奥行きがフレーム（t-1 ）からフレームｔ
に移行する瞬間に急に大きくなるなど、ボール以外の背
景の視差角度が変化する。この変化量が大きい場合、視
覚疲労のみならず画像が不自然になるという問題が発生
する。

【００５４】図４は本実施形態の立体動画像生成装置５
０の構成図である。同図において図１と対応する部分に
は同じ符号を与え、以下異なる部分を中心に説明する。

【００５５】立体動画像生成装置５０は、図１のシーン
チェンジ検出部４０のかわりに、エネルギー演算部５２
を持つ。エネルギー演算部５２には、装置外部からフレ
ーム間の対応点情報、すなわち対応点の位置を特定する
ための情報が与えられている。本実施形態では、対応点
が存在しない点、例えば図３のボールの内部の点に関す
る対応点情報は与えられないものとする。逆に、注目領
域６０以外の領域、すなわち通常領域については必ず対
応点情報が与えられるものとする。

【００５６】エネルギー演算部５２にはまた、奥行き情
報も与えられる。奥行き情報は注目領域６０であるかど
うかを問わず、各フレームの全領域または全画素につい
て与えられるものとする。本実施形態では、注目領域６
０の奥行きの時間的変化、すなわちフレーム（t-1 ）か
らフレームｔへの奥行きの変化、および通常領域の奥行
きの時間的変化をともに抑制すべく、これらの両方を考
慮して奥行きを制御する。エネルギー演算部５２では、
注目領域６０の奥行きの時間的変化と、通常領域の奥行
きの時間的変化の大きさをエネルギー式によって総合的
に評価し、両者をともに低減する協調点を見い出す。こ
こで図３のごとく、フレームｔの点Ｐiはフレーム（t-1
）の点Ｐi に対応する点（以下「対応点」という）で
ある。以下、被写体の現実の奥行きを Zxx で、表示用
の奥行きを ZAxx で表現するものとし、以下のようにパ
ラメータを表記する。

【００５７】 ・Z(i,t) ：時刻ｔにおける点Ｐi の現実の奥行き ・ZA（i,t ） ：時刻ｔにおける点Ｐi の表示用奥行き ・Zmin(t) ：時刻ｔにおける映像全体の現実の奥行きの最小値 ・Zmax(t) ：時刻ｔにおける映像全体の現実の奥行きの最大値 ・ZAmin(t) ：時刻ｔにおける映像全体の表示用奥行きの最小値 ・ZAmax(t) ：時刻ｔにおける映像全体の表示用奥行きの最大値 ・ZMIN、ZMAX ：表示用奥行きの理想範囲の最小値と最大値 ここで、ｔを（t-1 ）におきかえれば、それぞれフレー
ム（t-1 ）に関するパラメータとなる。Zmin(t) 、ZAmi
n(t) には映像全体が考慮されるため、ボールの奥行き
も反映されている点に注意すべきである。このとき、エ
ネルギー演算部５２で行われるエネルギーの計算の式は
以下の通りである。

【００５８】 Ｅ＝Σ（ ZA(i,t-1)−（aZ(i,t) ＋b ））² ＋ｋ（ZMIN−(aZmin(t) ＋b)）² ＋ｋ（ZMAX−(aZmax(t) ＋b)）² （式２） この第１項のΣは、すべての対応点に関する総和であ
り、この項が通常領域の奥行きの変動を抑制するよう作
用する。第１項は通常領域に関する評価を与えるもので
あり、この計算には注目領域６０内部の点は含まれな
い。

【００５９】一方、第２、３項は前提技術の変換方法に
相当する項で、各フレームの奥行きを理想範囲に収める
よう作用する。これらの項の計算には注目領域６０も考
慮される。これらの項に掛かるｋは適当な結合係数であ
る。ｋが大きいほど前提技術の制御に近づき、小さいほ
ど時刻ｔにおける変換後の奥行き、すなわち表示用奥行
きが、時刻（t-1 ）における表示用奥行きに近づく。こ
こでエネルギー演算は、ｄＥ／ｄａ＝０、ｄＥ／ｄｂ＝
０となるａ、ｂを見い出す計算であり、この計算によっ
て、注目領域における奥行きの変化率、および通常領域
における奥行きの変動をともに抑制する協調点が見い出
される。エネルギー演算部５２では、このエネルギー演
算をフレームごとに行い、その時点で最適な奥行き変換
係数ａ、ｂを求めてこれを奥行き変換部３８に通知す
る。奥行き変換部３８では、通知された奥行き変換係数
を用いて奥行きに対する線形変換を行い、この変換結果
をもとに左目用画像生成部３６で左目用画像が生成され
る。

【００６０】図５は、エネルギー演算部５２によるエネ
ルギー演算の結果、奥行き変換部３８で奥行きが変換さ
れる様子を示す図である。同図では、観視者の視線方向
をｚ軸としている。注目領域６０が出現せず、かつ以前
に出現した注目領域の影響がすでに消えている安定的な
期間（以下「安定期間」という）では各フレームの表示
用奥行きがこの範囲に収まる。

【００６１】同図には４段に及んで奥行きの範囲が示さ
れるが、このうち第４段の範囲７６は、フレーム（t-1
）に関する現実の奥行きの範囲である。これが前回の
処理で第３段の範囲７４に変換され、フレーム（t-1 ）
としての表示用奥行きの範囲７４がすでに確定している
ものとする。同図では、フレーム（t-1 ）が安定期間に
あり、その表示用奥行きが理想範囲に一致している。

【００６２】この状態にて、つづいてフレームｔの処理
が行われる。まず、フレームｔが撮影され、映像全体の
現実の奥行きの範囲が同図第２段のような範囲７２にあ
ったとする。ここではこの範囲７２が理想範囲よりも大
きな方向に飛び出している。

【００６３】一方、第１段の範囲７０は奥行き変換部３
８によって元の範囲７２が変換された結果得られる表示
用奥行きの範囲である。ここでは上述したエネルギー演
算により、直前のフレームの表示用奥行き範囲、および
理想範囲がともに考慮された結果、両者の間の範囲が得
られている。式２の第１項については、同図のごとくフ
レーム（t-1 ）の点Ｐi における奥行き ZA(i,t-1)
と、フレームｔの点Ｐiの現実の奥行き Zi が考慮さ
れ、この点の奥行きが ZA(i,t) に変換されている。

【００６４】図３のフレームｔ以降のフレームに注目領
域６０がそのまま留まる場合、本実施形態によれば、最
終的にすべての奥行きが再び理想範囲に収まる。この根
拠を説明する。

【００６５】まず、時刻(t-1) において求められた奥行
き変換係数をａ_t-1 、ｂ_t-1 、時刻ｔにおいて求められ
たそれらをａ_t 、ｂ_t とする。一方、式２のＥを第１項
と第２、３項に分け、以下のように表記する。

【００６６】 Ｅ＝Ｅ１＋ｋＥ２ （式３） ただし、Ｅ１＝Σ（ZA(i,t-1) −(aZ(i,t)＋b)）² Ｅ２＝（ZMIN−(aZmin(t) ＋b)）² ＋（ZMAX−(aZmax
(t) ＋b)）² 時間が経過した後のフレームの奥行きの範囲が理想範囲
に一致するがどうかは、このＥ２によって評価できる。
すなわち、このＥ２が時間に対して一様に減少すれば、
いずれかの時点でフレームの奥行きの範囲が理想範囲に
一致する。ここで、時刻(t-1) 、ｔにおける式３を以下
のように表記する。

【００６７】 Ｅ(t-1) ＝Ｅ１(t-1) ＋ｋＥ２(t-1) （式４） Ｅ(t) ＝Ｅ１(t) ＋ｋＥ２(t) （式５） ただし、奥行き変換係数は式４ではａ_t-1 、ｂ_t-1 、式
５ではａ_t 、ｂ_t である。

【００６８】ここで仮に、時刻ｔにおいても時刻(t-1)
のときの奥行き変換係数ａ_t-1 、ｂ_t-1 を用いた状況を
考え、この場合の式を式５をもとに、 Ｅ(t)'＝Ｅ１(t)'＋ｋＥ２(t)' （式６） と表記する。このとき、時刻(t-1) のときの奥行き変換
係数を用いているため、２つのフレームの通常領域の奥
行きは一致し、Ｅ１(t)'はゼロとなる。したがって、式
６は以下のように変形できる。

【００６９】 Ｅ(t)'＝ｋＥ２(t)'＝ｋＥ２(t-1) （式７） 一方、時刻ｔにおいて最適な数値として求められた奥行
き変換係数ａ_t 、ｂ_tはＥ(t) を最小にするものである
から、当然、 Ｅ(t) ≦ Ｅ(t)' （式８） が成立する。ここで式５および式７から、 Ｅ２(t) −Ｅ２(t-1) ＝（Ｅ(t) −Ｅ１(t) −Ｅ(t)'）
／ｋ が得られる。ここで式８およびＥ１(t) が正であること
を考慮すれば、 Ｅ２(t) −Ｅ２(t-1) ≦０ となり、Ｅ２の一様減少性が証明される。従って、本実
施形態のように画像の一部領域の奥行きが急変するよう
な場合でも、その変化を緩和しながら最終的に奥行きを
理想範囲に収めることが可能になる。

【００７０】図８は被写体の現実の奥行きと、それから
エネルギー計算式によって変換された表示用奥行きとの
関係を示す図である。図中、太い実線は表示用奥行き、
破線は現実の奥行きを示し、時刻Ｔ₀ で急に近いところ
に新たな被写体が現れている。同図の矢印８０、８２に
示すごとく、Ｔ₀ で一旦表示用奥行きが理想範囲の上下
にはみ出る形となり、以降これが時間の経過とともに理
想範囲に収まっていく。

【００７１】なお、実施形態２についても実施形態１同
様の変形例があるほか、以下のような変形例も考えられ
る。

【００７２】（１）本実施形態では、エネルギー計算式
である式２に従って得られた表示用奥行きに忠実に従っ
て画像を生成した。しかしながら、計算の結果理想範囲
を超える奥行きが生じた場合、その超える部分を理想範
囲の上限または下限の近い方に一律に変更する修正を施
した後、表示してもよい。

【００７３】（２）本実施形態では、注目領域と通常領
域の両方を考慮するためにエネルギー計算を行ったが、
これを最大変化率制限計算で行ってもよい。最大変化率
制限計算とは、注目領域の奥行きの時間変化率、または
通常領域の奥行きの時間変化率のうち少なくとも一方の
上限を定めて行う計算をいう。この計算例を示す。ここ
では最大変化率、すなわち変化率の上限をＵＬと書き、
変化率を「隣接するフレーム間における表示用奥行きの
変化」と定義する。この条件で、まず、 KMIN = MIN(ZA(i,t-1))-ZMIN KMAX = MAX(ZA(i,t-1))-ZMAX とおくことにより、次の１、２の処理を行う。

【００７４】１．if (｜KMIN｜≦ UL) then ZMINTMP =
ZMIN ; else if ( KMIN ＞ UL) then ZMINTMP = MIN(ZA(i,t-
1)) - UL ; else if ( KMIN ＜-UL) then ZMINTMP = MIN(ZA(i,t-
1)) + UL ; ２．if (｜KMIN｜≦ UL) then ZMINTMP = ZMIN ; else if ( KMIN ＞ UL) then ZMINTMP = MIN(ZA(i,t-
1)) - UL ; else if ( KMIN ＜-UL) then ZMINTMP = MIN(ZA(i,t-
1)) + UL ; つづいて、 ZMINTMP = aZmin(t-1) + b ZMAXTMP = aZmax(t-1) + b から変換係数ａ、ｂを定める。

【００７５】この計算は、奥行きを線形変する際、対応
点のうち最も変化率の大きい点（以下、変化率最大点と
呼ぶ）はもともと奥行きが最大、最小のいずれかである
ことに着目している。そして、変化率最大点における変
化率がある上限以下になるようａ、ｂを決めるものであ
る。具体的には１．の第１行において、フレーム（t-1
）の表示用奥行きの最小値が ZMIN より小さくとも、
その差がＵＬ以下であれば、フレームｔでは表示用奥行
きの最小値を直接 ZMIN に変更している。この２枚のフ
レーム間の変化率はＵＬ以下に収まるためである。一
方、１．の第２行では、フレーム（t-1 ）の表示用奥行
きの最小値が ZMIN よりも小さく、その差がＵＬを超え
ていれば、フレームｔでは表示用奥行きの最小値を直接
ZMIN に変更せず、ＵＬの分だけ ZMIN に近づけてい
る。従って、この２枚のフレーム間の変化率はＵＬちょ
うどになる。以降、数枚のフレームで最終的に ZMIN に
収めていく。

【００７６】以下、同様に考えばよく、いずれの場合も
変化率はＵＬを超えない。このようにａ、ｂを決める限
り、変化率最大点以外の点の変化率も線形変換によって
一様に圧縮されるため、必ず変化率の上限未満となる。

【００７７】図９は被写体の現実の奥行きと、それから
最大変化率制限方式によって変換された表示用奥行きと
の関係を示す図である。図中の表記は図８に従う。同図
の矢印８４、８６のごとく、変化率の上限が制限されて
いるため、図８とは異なる振る舞いとなる。時刻Ｔ₀ で
被写体が至近距離に現れた結果、その前のフレームの表
示用奥行きの最小値が図中 Zs に変換されている。この
フレーム間の変化量、すなわち変化率はＵＬである。一
方、時刻Ｔ₀ 以降のフレームについては、それらの表示
用奥行きの最小値が同様にＵＬずつ ZMIN に近づいてい
く。従って、矢印８４と矢印８６の傾きは等しい。図９
の場合、理想範囲に対する収束が一様に生じるため、収
束の所要時間が短い点に特徴がある。

【００７８】

【発明の効果】本発明の奥行き感制御方法によれば、立
体動画像に含まれる被写体の現実の奥行きの変化が時間
方向に緩和されるため、視差角度の変化を緩和すること
ができる。この結果、従来のようにカメラマンや画像編
集者のノウハウや人手作業に頼ることなく、良好な立体
動画像を容易に得ることができる。

【００７９】画像の奥行きの変化率を考慮して前記緩和
を行う場合は、例えば視差角度の変化率に上限を設ける
ことができるため、視覚疲労解消の面から好ましい。緩
和処理の継続時間を考慮する場合も同様である。

【００８０】情景の切替点付近において、一方の情景の
奥行きを複数の表示単位画像に亘って徐々に変化させ、
次第に他方の情景の奥行きに近づける場合は、いわゆる
シーンチェンジなど比較的視差角度が急変しやすい場面
に良好に対処できる。

【００８１】注目領域の奥行きの時間的変化と通常領域
の奥行きの時間的変化をともに考慮する場合は、両方の
領域の奥行きの変化に伴う視覚疲労を軽減するだけでな
く、立体表示の不自然さを低減することもできる。これ
ら２つの時間的変化をエネルギー式や最大変化率制限式
によって評価する場合、評価の客観性のみならず、最終
的には画像の奥行きが理想範囲に収まることが保証され
る。

【図面の簡単な説明】

【図１】 実施形態１の奥行き感制御方法を実施する立
体動画像生成装置の構成図である。

【図２】 実施形態１の立体動画像生成装置による奥行
きの制御を示す図である。

【図３】 実施形態２において、隣接する２枚のフレー
ム（t-1 ）とフレームｔの対応関係、およびフレームｔ
に出現した注目領域を説明する図である。

【図４】 実施形態２の立体動画像生成装置の構成図で
ある。

【図５】 実施形態２のエネルギー演算部によるエネル
ギー演算の結果、奥行き変換部で奥行きが変換される様
子を示す図である。

【図６】 ステレオカメラによる立体画像の生成原理を
示す図である。

【図７】 画面上視差の意味を説明する図である。

【図８】 被写体の現実の奥行きと、それからエネルギ
ー計算式によって変換された表示用奥行きとの関係を示
す図である。

【図９】 被写体の現実の奥行きと、それから最大変化
率制限方式によって変換された表示用奥行きとの関係を
示す図である。

【符号の説明】

３０，５０ 立体動画像生成装置、３２ フレームデー
タ記憶部、３４ タイミング調整部、３６ 左目用画像
生成部、３８ 奥行き変換部、４０ シーンチェンジ検
出部、５２ エネルギー演算部、６０ 注目領域、７
０，７２，７４奥行きの範囲。

Claims (8)

【特許請求の範囲】
1. 【請求項１】 被写体の奥行き感要因の変化を時間方向
   に緩和する変換処理を施すことにより、その被写体が立
   体動画像として表示される際の奥行き感を制御すること
   を特徴とする奥行き感制御方法。
2. 【請求項２】 前記被写体が立体動画像として表示され
   る際の奥行き感要因の時間変化率を考慮して、前記変換
   処理を行う請求項１に記載の奥行き感制御方法。
3. 【請求項３】 前記変換処理の継続時間を考慮して、そ
   の変換処理を行う請求項１に記載の奥行き感制御方法。
4. 【請求項４】 立体動画像に含まれる情景の切替点付近
   において、一方の情景の奥行き感要因を複数の表示単位
   画像に亘って徐々に他方の情景の奥行き感要因に近づけ
   ていく変換処理を施すことを特徴とする奥行き感制御方
   法。
5. 【請求項５】 画像の一部領域の奥行き感要因が変化す
   るとき、その一部領域の奥行き感要因の時間的変化を緩
   和するとともに、画像各領域の奥行き感の関係を再構築
   するために前記一部領域以外の領域の奥行き感要因に対
   しても所定の変換処理を施すことを特徴とする奥行き感
   制御方法。
6. 【請求項６】 請求項５に記載の奥行き感制御方法にお
   いて、 前記一部領域の奥行き感要因の時間的変化、および前記
   一部領域以外の領域の奥行き感要因の時間的変化をとも
   に抑制すべく、これらの両方を考慮して奥行き感を制御
   することを特徴とする奥行き感制御方法。
7. 【請求項７】 請求項６に記載の奥行き感制御方法にお
   いて、 前記一部領域の奥行き感要因の時間的変化、および前記
   一部領域以外の領域の奥行き感要因の時間的変化を総合
   的に評価するエネルギー式を導入して奥行き感を制御す
   る奥行き感制御方法。
8. 【請求項８】 請求項６に記載の奥行き感制御方法にお
   いて、 前記一部領域の奥行き感要因の時間変化率、または前記
   一部領域以外の領域の奥行き感要因の時間変化率のうち
   少なくとも一方の上限を定める最大変化率制限式を導入
   して奥行き感を制御する奥行き感制御方法。