JPH0683955A - ３次元画像生成方法 - Google Patents

Abstract

(57)【要約】 【目的】 各画素に対し、焦平面からの離間距離に応じ
たぼやけの効果を与え、演算時間が短く、焦平面にある
物体の画像にその後方にある物体のぼやけが影響を及ぼ
さない自然に近い３次元画像を得る。 【構成】 元画像２を構成する各画素毎に、視点１０か
ら各物体までの距離に関する奥行き情報Ｚと、焦平面６
から各物体までの距離に応じたぼやけの効果の及ぶぼや
け半径Ｒを用意し、これらを用いて、注目画素１３の画
素値を決定するための重み付けフィルタ１１を得る。重
み付けフィルタは、処理対象となる注目画素について、
注目画素より奥行き方向の距離が遠い画素や注目画素ま
での距離がぼやけ半径よりも大きい場所にある周辺画素
の影響を及ぼさないような演算処理を進める。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、コンピュータによって
得られた３次元画像によって遠近感を持つ画像を生成す
る３次元画像生成方法に関する。

【０００２】

【従来の技術】コンピュータグラフィックスは、動画や
静止画の生成のために、あらゆる分野において広く利用
されている。コンピュータグラフィックスは、単なる平
面的な画像だけでなく、遠近法による立体感のある画像
を生成しディスプレーの上に映し出すことができる。

【０００３】ここで、従来一般のカメラによって光学的
に映し出された像の説明を行なう。図２はピンホールカ
メラによる結像作用説明図である。図において、例えば
３個の物体Ａ、Ｂ、Ｃがそれぞれピンホール３から適当
な距離だけ離れて位置しているものとする。この場合ピ
ンホール３によってこれらの物体の像が結像面４に結像
する。これらの像はピンホール３が十分面積の小さいも
のであれば、いずれも正確にピントの合った画像とな
る。通常、コンピュータグラフィックスによって得られ
る元画像は、この図２に示すようなピンホールカメラに
よる画像と同様に、何れもその奥行き方向の位置にかか
わらずピントが合ったものとなる。

【０００４】一方、図３にレンズによる結像作用の説明
図を示す。図に示すように、レンズ５の前方に３個の物
体Ａ、Ｂ、Ｃが位置するとき、これらの像はレンズ５に
よって結像面４上に結像する。この場合、例えば物体Ｂ
に対しレンズ５のピントが合っていると、物体Ｂについ
ては、結像面４に鮮明な像が映る。しかしながら、物体
Ａや物体Ｃは、像を結ぶ位置が結像面４より前方あるい
は後方であるため、いわゆる画像がぼやける状態とな
る。この結像面４に平行でピントの合っている面、即ち
物体Ｂの存在する面を焦平面６と呼んでいる。

【０００５】図４にはピンホールカメラの画像説明図を
示し、図５にはレンズによる画像説明図を示す。図４に
示すように、ピンホールカメラによる場合には、物体
Ａ、物体Ｂ、物体Ｃがそれぞれ奥行き方向に異なる位置
に配置されているにもかかわらず、その画像は全て鮮明
に映し出される。しかし、図６に示すように、レンズに
よる場合には、焦平面に存在する物体Ｂについてはピン
トが正確に合っており、鮮明な画像が映し出されるが、
その前後に配置された物体Ａ、物体Ｃについてはピント
がぼけた状態で映し出される。

【０００６】

【発明が解決しようとする課題】ところで、図４及び図
５の図を比較してみると、図４に示す画像がディスプレ
ーに映し出された場合と、図５に示す画像がディスプレ
ーに映し出された場合とでは、３次元画像として見た場
合に、その与える効果が相違する。即ち、図５に示した
画像の方が、むしろ肉眼によって奥行きのある物を見る
ときの状態に近い。即ち図５に示すような画像の方が奥
行き知覚効果が高いといえる。従って、従来コンピュー
タグラフィックスを用いてこのような奥行き知覚効果の
高い画像を生成することも試みられている。この方法の
一つとして、ピンホールカメラを注目している物体に向
けつつ、奥行き方向に垂直な平面上でピンホールを少し
ずらして得られる画像を、動かし方を変えて複数枚生成
し、こうして得られた複数枚の画像の各画素毎に画素値
の平均を取ることによって目的の画像を得る方法があ
る。

【０００７】しかしながら、このような方法では複数枚
の画像をまず生成するために膨大な演算を実行する必要
があり、処理時間が長時間になるという問題があった。
この他に従来、一枚の画像全体を一様にぼやけさせる方
法がある。この方法は画像の各画素に同一の重み付けフ
ィルタを用いた平滑化処理を施し、奥行きの度合に関係
なく一様にぼやけの影響が及ぶ。

【０００８】図６にこのような従来の方法による生成画
像例図を示す。図に示すように、従来の重み付けフィル
タを用いる方法では、焦平面にある物体Ｂも、重み付け
フィルタの平滑化の影響を受け、ぼやけが生じてしまう
という問題があった。また、本来手前の物体の後ろに隠
れて見えないはずの後方にある物体のぼやけの影響が、
手前の物体にも及んでしまうという問題もあった。本発
明は以上の点に着目してなされたもので、奥行き知覚効
果を高めた自然に近い画像を得るための処理を実行する
３次元画像生成方法を提供することを目的とする。

【０００９】

【課題を解決するための手段】本発明の３次元画像生成
方法は、奥行き方向の位置を示す奥行き情報を含めて生
成された３次元画像に対して、ピントが合っているとす
る奥行き方向の位置における、奥行き方向に垂直な平面
を焦平面と呼ぶとき、前記画像を構成する各画素毎に、
前記焦平面からの離間距離に応じたぼやけの効果を与え
るための範囲を示すぼやけ半径を求め、前記画像中の注
目画素を中心とする一定の領域内に含まれる各周辺画素
について、前記奥行き情報と前記ぼやけ半径とから、前
記注目画素の画素値を決定するための重み付け値を計算
してマトリクス状の重み付けフィルタを得て、前記画像
を構成する全画素に対して、前記重み付けフイルタを用
いた平滑化処理を施すことを特徴とするものである。

【００１０】

【作用】この方法では、奥行き方向の位置を数値を使っ
て表した奥行き情報を含めて生成された３次元画像を用
意する。また、各画素毎に焦平面の奥行き方向の数値と
その画素の奥行き方向の数値の差に応じた、ぼやけの効
果の及ぶ範囲を定めるぼやけ半径Ｒを求める。さらに、
注目画素の色や濃度を定める画素値を決定するために、
重み付けフィルタを得る。この重み付けフィルタは、処
理対象となる注目画素についての画素値演算に使用す
る。注目画素より奥行き方向の距離が遠い画素や、注目
画素までの距離がぼやけ半径よりも大きい場所にある周
辺画素は、注目画素に影響を及ぼさない。それ以外の周
辺画素はぼやけ半径の中に含まれる画素数の逆数に相当
する影響を注目画素に与える。この方法によれば、各画
素に対し、焦平面からの離間距離に応じたぼやけの効果
が与えられる。ぼやけ処理は一枚の画像に対して行なわ
れるため、演算処理に必要な時間が短い。また、焦平面
にある物体の画像にその後方にある物体のぼやけが影響
を及ぼさず自然に近い３次元画像が得られる。

【００１１】

【実施例】以下、本発明の実施例を図を用いて詳細に説
明する。図１は本発明の３次元画像生成方法実施例を示
す説明図である。本発明の方法を概略説明すれば図のよ
うになる。まず、３次元的に配置された物体を、視点１
０から射影変換によって、即ち視点１０から眺めたまま
の形のピントの合った元画像２を生成する。この図では
簡単のために奥行き方向の位置Ｚ１、Ｚ２、Ｚ３に四角
形の平板状の物体が配置されている。このとき、Ｚバッ
ファアルゴリズムによって図のように隠面消去が行なわ
れる。また、元画像の生成を通して、Ｚバッファには元
画像の各画素に対応する奥行き方向の位置を示す奥行き
情報Ｚが格納される。即ち、奥行き情報はＺ１、Ｚ２、
Ｚ３といった値となる。

【００１２】ここで本発明の方法においては、元画像２
と奥行き情報Ｚから、元画像の各画素のぼやけ半径Ｒを
求めておく。ピントが合っているとする焦平面の奥行き
情報をＺ２とすると、ぼやけ半径Ｒは、各画素の奥行き
情報と前記焦平面の奥行き情報の差にほぼ比例した、ぼ
やけの影響が及ぶ範囲を示す半径に相当する値とする。
生成画像１２を得る場合、注目画素とその周辺画素の奥
行き情報とぼやけ半径をもとにして得られる重み付けフ
ィルタ１１を用いて、元画像の平滑処理を行って注目画
素の画素値を決定する。なお、重み付けフィルタ１１の
説明は図１０以下で行う。

【００１３】図７に本発明の方法実施のための装置ブロ
ック図を示す。本発明の方法を実施するためには、図の
ような構成の演算処理回路を用意する。 図の装置は、
ＣＰＵ（中央演算処理ユニット）２１と、これにバスラ
イン２２を介して接続されたメモリ２３とから構成され
る。メモリ２３には元画像データバッファ２４、Ｚバッ
ファ２５、Ｒバッファ２６及び生成画像バッファ２７が
設けられる。元画像データバッファ２４には処理対象と
なる画像が格納される。Ｚバッファ２５には先に図１を
用いて説明した奥行き情報Ｚが、画像を構成する各画素
に対応付けて格納される。Ｒバッファ２６には同様に各
画素に対応付けてぼやけ半径Ｒが格納される。生成画像
データバッファ２７には最終的にぼやけ処理が終了した
生成画像が格納される。

【００１４】図８に本発明の方法の概略動作フローチャ
ートを示す。本発明は、図に示すようなステップＳ１か
らステップＳ４までの処理を実行することによって実施
される。ステップＳ１はぼやけ半径生成処理で、画像を
構成する各画素について、その奥行き情報を元にぼやけ
半径を求める処理である。ステップＳ２は、その処理が
全ての画素について終了したかを判断するステップであ
る。またステップＳ３は、各注目画素毎にその画素値を
求めるための平滑処理に必要な重み付けフィルタを生成
するための処理である。ステップＳ４は、重み付けフィ
ルタを実際に使用して各注目画素について平滑処理を実
行する部分である。

【００１５】以下、上記フローチャートの各動作につい
て具体的にその内容を説明する。図９に本発明によるぼ
やけ半径計算法説明図を示す。この図において、Ｚは奥
行き情報、Ｒ（Ｚ）はぼやけ半径、Ｃは元画像データを
生成するときの座標変換に関係する一定の常数、Ｆは焦
平面の位置の奥行き情報、Ｚ−Ｆは焦平面からの離間距
離を表わしている。具体的には図の物体１−２が配置さ
れた場所が焦平面の位置であり、その奥行き情報Ｚ２は
ここではＦに等しい。また、例えば物体１−３の奥行き
情報はＺ３であるから、焦平面からの離間距離はＺ３−
Ｆとなる。

【００１６】ここで、焦平面の物体１−２上の点８−２
は、目的の画像上でぼやけを発生する必要はないが、そ
の他の物体１−３や１−１上の点８−３や８−１は一定
のぼやけを生じさせる必要がある。そのぼやけの度合
を、本発明においては焦平面からの離間距離に合わせて
決定している。その係数が常数Ｃである。従って、ぼや
け半径Ｒ（Ｚ）は、ＣとＺ−Ｆの絶対値との積となる。
なお、この実施例では、ぼやけの影響が無限に広がるの
を抑えるため、図の下方に示すように、Ｚ−Ｆの絶対値
が制限値Ｄ以下の場合にのみぼやけ半径Ｒ（Ｚ）を焦平
面からの離間距離Ｚ−Ｆに合わせて求めるようにし、そ
れ以外の場合については、ぼやけ半径Ｒ（Ｚ）を常数Ｃ
と制限値Ｄの積ＣＤで表わすことにしている。

【００１７】次に、重み付けフィルタの説明を行なう。
図１０に重み付けフィルタのマトリクス形状説明図を示
す。重み付けフィルタは、例えばこの実施例では７×７
のマトリクス状の演算子から構成される。ここで、図中
に、注目画素１３をｆｃ、周辺画素１４をｆｅと表示し
た。注目画素１３というのは画像中の処理対象となる画
素をいう。また、周辺画素１４は、この注目画素１３の
画素値を決定するために考慮にいれるべき一定範囲の画
素をいう。即ち、この重み付けフィルタは、そのマトリ
クスに含まれる４８個の各周辺画素１４が、注目画素１
３に対しそれぞれどの程度ぼやけの影響を及ぼすかを数
値化している。こうして求めた重み付け値を加算し平均
化して、注目画素１３の画素値が決定される。

【００１８】上記のような重み付けフィルタを生成する
ためには、まず図１１や図１２に示す演算テーブルを必
要とする。図１１は注目画素までの距離Ｄｅの演算テー
ブル説明図である。この演算テーブルは、各周辺画素か
ら注目画素１３までの距離Ｄｅを求めるためのテーブル
である。図のように、横方向に１ドット、２ドット、３
ドットそれぞれ離れた画素について、その距離Ｄｅを
１、２、３と設定すれば、注目画素１３までの距離をそ
れぞれ縦横斜め方向に計算により求めることができる。
その結果をテーブル化し演算テーブルとしておけば、図
１０に示した重み付けフィルタのマトリクスとこの演算
テーブルとを対応させて、周辺画素１４から注目画素１
３までの距離を直ちに求めて、ぼやけ半径と比較するこ
とができる。

【００１９】図１２に関数ｆ（Ｒ（Ｚ））の演算テーブ
ル説明図を示す。関数ｆ（Ｒ（Ｚ））は、重み付けフィ
ルタのマトリクス上の各重み付け値を示している。図１
２の演算テーブルは、ぼやけ半径Ｒから重み付け値を求
める場合に使用される。この値は、図に示すように、周
辺画素１４のぼやけ半径Ｒの中に入る画素数を数え、そ
のぼやけ半径Ｒ（Ｚ）に対応する関数ｆ（Ｒ（Ｚ））の
値を、ぼやけ半径の中に入る画素数の逆数で表わしてい
る。従って、ぼやけ半径が１以下、即ち周辺画素に影響
を及ぼさないものである場合、関数ｆ（Ｒ（Ｚ））の値
は１となり、ぼやけ半径が大きくなる程関数ｆ（Ｒ
（Ｚ））の値は小さくなる。なお、ぼやけ半径Ｒが図の
演算テーブル以上の値になる場合、重み付けフィルタ外
にはずれるため、関数ｆ（Ｒ（Ｚ））の値を一定値にし
ている。

【００２０】図１３に本発明による重み付けフィルタと
その適用処理説明図を示す。上記のような演算テーブル
を使用して、図に示すような重み付けフィルタ１１が生
成される。例えば、この例では、周辺画素１４−１の重
み付け値は０となり、周辺画素１４−２の重み付け値は
２１分の１、周辺画素１４−３の重み付け値は３７分の
１となっている。ここで、重み付け値が０となるのは、
注目画素より奥行き方向の距離が遠い画素である場合、
または、ぼやけ半径Ｒ（Ｚ）が注目画素までの距離Ｄｅ
よりも小さい場合である。即ち、注目画素より奥行き方
向が遠い画素については、手前の画像にぼやけの効果を
及ぼすと不都合になるため、重み付け値を強制的に０に
している。また、ぼやけ半径の円の中に注目画素１３が
入らないような場合にはやはり、その画素のぼやけの影
響を注目画素１３に及ぼさないように、重み付け値が０
となるようにしている。

【００２１】それ以外の画素、即ち注目画素１３に対し
一定のぼやけの影響が及ぶ周辺画素については、図１２
を用いて説明した関数ｆ（Ｒ（Ｚ））の値がそのまま重
み付け値となる。図に示した重み付けフィルタの例で
は、マトリクスを構成する全ての画素についての値が記
入されていないが、実際には全ての画素についてそれぞ
れ０あるいは１から関数ｆ（Ｒ（Ｚ））の最小値４５分
の１までの何れかの重み付け値が設定されることにな
る。上記のようにして得られた重み付けフィルタは、画
像を構成する全ての画素に対し順に適用され、各画素に
ついてその適用処理が実行される。適用処理にあたって
は、図中の式に示すように、元画素値と各マトリクス中
の重み付け値の積を全て加算し、これを重み付け値だけ
の総和で割る。こうして注目画素１３の新画素値が求め
られる。

【００２２】なお、画素値は、カラー画像の場合例えば
赤、緑、青の３色の色成分を持つ。各色成分の画素値
は、それぞれ例えば８ビットの濃度レベルを示してお
り、それぞれについて上記のような重み付けフィルタを
用いた平滑化処理が行なわれる。以上の処理によって、
視点から見て手前にある画像のぼやけの影響は後方にあ
る画像に及び、その影響の度合は焦平面からの距離にほ
ぼ比例する。また、後方の画像は画像上で現われている
部分についてのみぼやけが表現され、手前の画像に対し
ては一切そのぼやけの影響が及ばず、焦平面に近い画像
をぼやけさせることがない。

【００２３】本発明は以上の実施例に限定されない。上
記実施例において使用した奥行き情報やぼやけ半径の値
は、形式的には上記以外の自由な表現で求めるようにし
てよく、また重み付けフィルタの構成は７×７マトリク
スに限らず、要求される合成画像の品質に応じて自由な
大きさに選定して差し支えない。

【００２４】

【発明の効果】以上説明した本発明の３次元画像生成方
法によれば、奥行き情報を含めて生成された３次元画像
に対して、この奥行き情報を用いて焦平面からの離間距
離に応じたぼやけの効果の及ぶ範囲を示すぼやけ半径を
求め、さらに画像中の注目画素を中心とする一定の領域
内に含まれる周辺画素について、注目画素の画素値を決
定するための重み付け値を計算し、マトリクス状の重み
付けフィルタを得て、画像の平滑化処理を施すようにし
たので、演算時間を十分に短縮することができる。ま
た、焦平面からの離間距離に応じたぼやけ半径を設定す
ることによって、焦平面から離れる程ぼやけの大きい自
然に近い画像を得ることができる。さらに、手前の画像
に対し後方の画像のぼやけの影響がないよう平滑化処理
を行なうようにしたので、不自然なぼやけの影響を阻止
し、より自然に近い３次元画像を生成することができ
る。

【図面の簡単な説明】

【図１】本発明の３次元画像生成方法説明図である。

【図２】ピンホールカメラによる結像作用説明図であ
る。

【図３】レンズによる結像作用説明図である。

【図４】ピンホールカメラの画像説明図である。

【図５】レンズによる画像説明図である。

【図６】従来の生成画像例説明図である。

【図７】本発明の方法実施のための装置ブロック図であ
る。

【図８】本発明の方法の概略動作フローチャートであ
る。

【図９】本発明によるぼやけ半径計算法説明図である。

【図１０】重み付けフィルタのマトリクス形状説明図で
ある。

【図１１】注目画素までの距離Ｄｅの演算テーブル説明
図である。

【図１２】函数ｆ（Ｒ（Ｚ））の演算テーブル説明図で
ある。

【図１３】本発明による重み付けフィルタとその適用処
理説明図である。

【符号の説明】

１−１〜１−３ 物体 ２ 元画像 １０ 視点 １１ 重み付けフィルタ １３ 注目画素 １２ 生成画像 Ｚ 奥行き情報 Ｒ ぼやけ半径

Claims (1)

【特許請求の範囲】
1. 【請求項１】 奥行き方向の位置を示す奥行き情報を含
   めて生成された３次元画像に対して、 ピントが合っているとする奥行き方向の位置における、
   奥行き方向に垂直な平面を焦平面と呼ぶとき、 前記画像を構成する各画素毎に、前記焦平面からの離間
   距離に応じたぼやけの効果を与えるための範囲を示すぼ
   やけ半径を求め、 前記画像中の注目画素を中心とする一定の領域内に含ま
   れる各周辺画素について、前記奥行き情報と前記ぼやけ
   半径とから、前記注目画素の画素値を決定するための重
   み付け値を計算してマトリクス状の重み付けフィルタを
   得て、 前記画像を構成する全画素に対して、前記重み付けフイ
   ルタを用いた平滑化処理を施すことを特徴とする３次元
   画像生成方法。