JP2000251090A - 描画装置及び該描画装置で被写界深度を表現する方法 - Google Patents

Abstract

(57)【要約】 【課題】 二次元スクリーンに対し、視点から物体まで
の距離感を表す被写界深度を表現する方法を提供する。 【解決手段】 この被写界深度を表現する方法は、予め
設定されたＺ値に対応する位置にある物体をジャスト・
フォーカス状態とし、前記予め設定されたＺ値から遠方
方向又は手前方向に離れるに従って、段階的にデ・フォ
ーカスの程度が進んだ画像を上書きするようにし、前記
デ・フォーカス状態の画像は、バイリニア、・フィルタ
法を利用して、元の画像を段階的に縮小して、その後拡
大することにより生成し、前記縮小の程度によって、前
記デ・フォーカス状態の程度を制御している。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、描画装置及び該描
画装置で被写界深度を表現する方法に関する。

【０００２】

【従来の技術】従来、ＴＶゲーム装置のようなエンタテ
インメント・システムにおいて三次元の物体を描画する
際には、二次元スクリーンに表現出来るようにするた
め、に透視変換を行っている。この際、三次元的に表現
するため、光源計算等の処理を行っている。

【０００３】しかし、視点から物体方向（Ｚ方向）の距
離感を表す被写界深度を表現する方法は存在しなかっ
た。

【０００４】

【発明が解決しようとする課題】そこで本発明は、上記
課題に鑑みて、被写界深度を表現し得る描画装置を提供
することを目的とする。

【０００５】更に本発明は、二次元スクリーンに対し、
視点から物体までの距離感を表す被写界深度を表現する
方法を提供することを目的とする。

【０００６】

【課題を解決するための手段】本発明に係る描画装置
は、ピクセルの奥行き方向を特定するＺバッファと、ピ
クセル補間アルゴリズムを備えた描画装置であって、前
記ＺバッファのＺ値を予め設定して、元の画像に対し
て、該元の画像を段階的に縮小し、その後拡大して得ら
れたデ・フォーカス状態の画像を上書きし、前記Ｚ値に
対応する物体の画像部分をジャスト・フォーカス状態に
するとともに、その以外の物体の画像部分をデ・フォー
カス状態にすることにより被写界深度を表現することを
特徴とする。

【０００７】更に本発明に係る被写界深度を表現する方
法は、ピクセル補間アルゴリズムを利用して、元の画像
を段階的に縮小して、その後拡大することによりデ・フ
ォーカス状態の画像を生成し、マスク機能をもつアルフ
ァ・プレーンを利用して、予め設定されたＺ値より遠方
の物体の画像部分にマスクを掛け、マスクを掛けた元の
画像に対して、前記デ・フォーカス状態の画像を上書き
して、マスクが掛かっていない画像部分をデ・フォーカ
ス状態の画像とする、諸段階を有する。

【０００８】更に本発明に係る被写界深度を表現する方
法は、ピクセル補間アルゴリズムを利用して、元の画像
を段階的に縮小して、その後拡大することによりデ・フ
ォーカス状態の画像、即ち、焦点ズレしたボケた画像を
生成し、視点からの奥行き方向の距離を制御し得るＺバ
ッファを利用して、前記元の画像に前記デ・フォーカス
状態の画像を上書きする、諸段階を有する。

【０００９】更に本発明に係る被写界深度を表現する方
法は、ピクセル補間アルゴリズムを利用して、元の画像
を段階的に縮小して、その後拡大することによりデ・フ
ォーカス状態の画像を生成し、視点からの奥行き方向の
距離を制御し得るＺバッファを利用して、前記元の画像
に前記デ・フォーカス状態の画像を上書きして、予め設
定されたＺ値より遠方の物体の画像部分をデ・フォーカ
ス状態の画像とし、マスク機能をもつアルファ・プレー
ンを利用して、予め設定されたＺ値より遠方の物体の画
像部分にマスクを掛け、前記デ・フォーカス状態の画像
を上書きして、マスクが掛かっていない画像部分をデ・
フォーカス状態の画像とする、諸段階を有する。

【００１０】更に本発明に係る被写界深度を表現する方
法は、予め設定されたＺ値に対応する位置にある物体を
ジャスト・フォーカス状態とし、前記予め設定されたＺ
値から遠方方向又は手前方向に離れるに従って、段階的
にデ・フォーカスの程度が進んだ画像を上書きするよう
にし、前記デ・フォーカス状態の画像は、ピクセル補間
アルゴリズムを利用して、元の画像を段階的に縮小し
て、その後拡大することにより生成し、前記縮小の程度
によって、前記デ・フォーカス状態の程度を制御してい
る、諸段階を有する。

【００１１】更に本発明に係る記録媒体は、ピクセル補
間アルゴリズムを利用して、元の画像を段階的に縮小し
て、その後拡大することによりデ・フォーカス状態の画
像を生成し、視点からの奥行き方向の距離を制御し得る
Ｚバッファを利用して、前記元の画像に前記デ・フォー
カス状態の画像を上書きして、予め設定されたＺ値より
遠方の物体の画像部分をデ・フォーカス状態の画像と
し、マスク機能をもつアルファ・プレーンを利用して、
予め設定されたＺ値より遠方の物体の画像部分にマスク
を掛け、前記デ・フォーカス状態の画像を上書きして、
マスクが掛かっていない画像部分をデ・フォーカス状態
の画像とする、諸段階を有するプログラムを記録してい
る。

【００１２】

【発明の実施の形態】［ハード構成］

【００１３】本発明に係る被写界深度表現方法は、画像
生成処理において、各々の画素（ピクセル）のＺ方向
（奥行き方向）を制御し得るＺバッファを備え、またア
ルファ・マスク処理が可能であり（アルファ・フィルタ
を備えていること。）、更にバイリニア・フィルタが備
えている情報処理システム、例えばゲーム装置のような
エンタテインメント・システムにおいて実行される。

【００１４】しかし、後述するように、１枚の画像に対
して、この画像に一定の処理を施した画像（処理済み画
像）を上書きする場合、Ｚバッファが所定のＺ値より小
さい（又は大きい）ときのみ上書き可能というようなハ
ードウェア上の制約が無く、所定のＺ値より小さいとき
及び大きいときに、任意選択的に上書き可能であれば、
アルファ・マスク処理が可能（アルファ・フィルタを備
えていること。）の要件は不要となる。

【００１５】（Ｚバッファ）

【００１６】ここで採用するハードウェアは、ＶＲＡＭ
（Video RAM）にＺバッファが備えられている。図１
（Ａ）に示すように、ＶＲＡＭに中に、各ドット（画
素）を特定する、例えば、各８ビットのＲ（赤），Ｇ
（緑），Ｂ（青）に加えて、例えば最大３２ビットのＺ
値と、最大８ビットのＡ（アルファ・ビット又はアルフ
ァ・プレーン）を記憶する領域が備えられている。

【００１７】Ｚ値は、１画面内の視点から物体迄の距離
を表すパラメータである。ＧＰＵ（Graphic Processing
Unit）において、３次元の物体を２次元のスクリーン
に透視変換したとき、視点からの距離（奥行き情報）も
算出され、この奥行き情報に基づいてＺ値が決定され
る。Ｒ，Ｇ，Ｂの値も光源計算等を行って、決定され
る。

【００１８】例えば、図１（Ｂ），（Ｃ）に示すよう
に、物体１００が視点から近くに配置されているとき、
その物体１００を構成するドットのＺ値が大きいと規定
し、反対に、物体が視点から遠くに配置されていると
き、その物体を構成するドットのＺ値が小さいと規定す
る。この場合、Ｚ値を利用することにより、物体の視点
からの奥行き（視点座標系のＺ軸方向の値）を特定する
ことが出来る。

【００１９】従って、１画面内に複数の物体が存在する
画像を生成する場合、或るＺ値を予め設定することによ
り、元の画像に対して、元の画像に何らかの処理をした
画像（処理済み画像）を上書きした場合、この予め設定
されたＺ値と比較してＺ値が相対的に大きい（即ち、視
点から相対的に近い）物体１００の画像部分は元の画像
部分がそのまま残り（画素単位で置換されずに残り）、
Ｚ値が相対的に小さい物体（即ち、視点から相対的に遠
い）物体１０２の画像部分は、処理済み画像で上書きさ
れる（画素単位で置換される）画像を生成することが出
来る。

【００２０】Ｚバッファは、このように奥行き方向に複
数個の物体が存在する画像を生成する場合に利用出来
る。

【００２１】（アルファ・プレーン）

【００２２】一方、図１（Ａ）に示すアルファ値Ａは、
色の混ぜ具合を制御したり、また、マスクをするための
パラメータである。このマスクとは、例えば、画像に色
を塗布するときに、マスクを被せた範囲は色が塗布され
ないような機能を果たすことをいう。

【００２３】従って、元の画像に対し、処理済み画像を
上書きする場合、元の画像に選択的にアルファ値Ａを付
与することにより、マスクを被せたドットは処理済み画
像で上書きされないこととなる。 ［一段階の被写界深度表現］

【００２４】（ポイント・サンプリング法）

【００２５】現在のＴＶゲーム装置では、画像を縮小処
理又は拡大処理するとき、ポイント・サンプリング法を
採用している。

【００２６】図２を用いて、ポイント・サンプリング法
を説明する。図２（Ａ）は縮小前の画像を示し、図２
（Ｂ）は線分比１／２（面積比１／４）で縮小した後の
画像を示している。ここで、説明を簡単にするために、
図２（Ａ）の画像は４×４ドット、即ち１６画素（ピク
セル）から構成され、図２（Ｂ）の画像は２×２ドッ
ト、即ち４画素（ピクセル）から構成されているものと
する。また、画素の位置を特定するために、各画像の横
方向をｘ軸方向、縦方向をｙ軸方向と規定し、各画像の
右上のドットを（ｘ，ｙ）＝（１，１）とする。図２で
は、１６ドットの各ドットは、Ｒ，Ｇ，Ｂによって特定
されているが、図面を簡単にするため、４ドットのみそ
の内容を○×◎△で夫々表している。

【００２７】ポイント・サンプリング法では、縮小後の
ドット（ｘ，ｙ）＝（１，１）を生成するため、縮小前
の対応する領域（ｘ，ｙ）＝（１，１），（１，２），
（２，１），（２，２）の４ドットの内から、縮小後の
ドット（ｘ，ｙ）＝（１，１）の位置を計算して一番近
い位置のドットを採ってくる。この場合、縮小後のドッ
ト（ｘ，ｙ）＝（１，１）に一番近い位置を縮小前の
（ｘ，ｙ）＝（３，１）とすると、ここにあるドット
「○」が、縮小後のドット（ｘ，ｙ）＝（１，１）とな
る。

【００２８】同様に、縮小後のドット（ｘ，ｙ）＝
（２，１）を生成するため、縮小前の対応する領域
（ｘ，ｙ）＝（３，１），（４，１），（３，２），
（４，２）の４ドットの内から、縮小後のドット（ｘ，
ｙ）＝（２，１）の位置を計算して一番近い位置のドッ
トを採ってくる。この場合、縮小後のドット（ｘ，ｙ）
＝（２，１）に一番近い位置を縮小前の（ｘ，ｙ）＝
（３，１）とすると、ここにあるドット「◎」が、縮小
後のドット（ｘ，ｙ）＝（１，１）となる。

【００２９】同様に、ドット「×」，「△」が、夫々、
縮小後のドット（ｘ，ｙ）＝（１，２），（２，２）と
なる。このように、ポイント・サンプリング法は、縮小
前の画像からドット（画素）を間引いて、縮小後の画像
を生成している。従って、縮小前の画像のドットの内、
縮小後の画像に用いられなかったドットは捨てられてし
まうことになる。

【００３０】ポイントサンプリング法で縮小された画像
を拡大すると、縮小前の画像情報の何割かが捨てられて
しまっているので、ノイズが混入した画像を単に拡大し
たモザイク状の画像となってしまう。 （バイリニア・フィルタ法）画像の縮小と拡大

【００３１】図３は、バイリニア・フィルタ法を説明す
る図である。図３（Ａ）は縮小前の４×４ドットから成
る元の画像を示し、図３（Ｂ）は２×２ドットから成る
第１段階縮小後の画像を示し、図３（Ｃ）は第２段階縮
小後の画像を示している。なお、図３（Ａ）に示す元の
画像の１６ドットの各々はＲ，Ｇ，Ｂ等によって特定さ
れているが、図面を簡単にするため、左上の４ドットの
平均値を●で表し、左下の４ドットの平均値を▲で表
し、右上の４ドットの平均値を□で表し、右下の４ドッ
トの平均値を■で表している。

【００３２】バイリニア・フィルタ法では、縮小後のド
ット（ｘ，ｙ）＝（１，１）を生成するため、これに対
応する縮小前の画像の領域である図２（Ａ）の４つのド
ット（ｘ，ｙ）＝（１，１），（２，１），（１，
２），（２，２）の平均値を採用する。同様に、縮小後
のドット（ｘ，ｙ）＝（２，１）を生成するため、これ
に対応する縮小前の画像の領域である図２（Ａ）の４つ
のドット（ｘ，ｙ）＝（３，１），（４，１），（３，
２），（４，２）の平均値を採用する。

【００３３】同様に、縮小後のドット（ｘ，ｙ）＝
（１，２）を生成するため、縮小前の４つのドット
（ｘ，ｙ）＝（１，３），（２，３），（１，４），
（２，４）の平均値を採用し、また、縮小後のドット
（ｘ，ｙ）＝（２，２）を生成するため、縮小前の４つ
のドット（ｘ，ｙ）＝（３，３），（４，３），（３，
４），（４，４）の平均値を採用している。

【００３４】更に、第２段階の縮小（線分比１／４）を
するため、図３（Ｂ）に「◎」で表した４ドットの平均
値を採っている。

【００３５】先に説明した現在行われているポイント・
サンプリング法では、縮小前の画像のドット数と縮小後
の画像のドット数との差だけ、縮小処理において捨てら
れている。即ち、縮小前の画像情報の何割かが利用され
ないで、縮小後の画像が生成されている。これに対し
て、バイリニア・サンプリング法は、縮小前の画像の全
ドット（情報）を利用して、縮小後の画像を生成してい
る点で相違している。

【００３６】しかし、バイリニア・フィルタにおいても
一定の限界があり、例えば縮尺の線分比が１／２より小
さくなるときは、縮小後の１ドットに対応する縮小前の
（即ち、サンプリングしたい）４ドットの平均値が採ら
れるアルゴリズムとなっている。従って、縮小前の画像
を、例えば線分比１／１６に縮小したい場合、一度に１
／１６に縮小すると縮小前の画像情報の何割かが失われ
る。この結果、１／１６に縮小された画像を、元の画像
に拡大したとき、拡大画像にノイズが混入してしまう。

【００３７】しかし、縮小前の画像を、線分比１／２，
１／４，１／８，１／１６，…と段階を追って縮小する
ことにより、理論的に縮小前の画像情報が目的とする解
像度に縮小された画像に取り込まれていることになる。

【００３８】従って、例えば、図４に示すように、１／
４に縮小された画像を、元の画像に拡大するときは（こ
の拡大処理は一度に処理されるが）、距離に応じた混ぜ
合わせ、即ち、補間が行われる。

【００３９】なお、、実際の画像では、１ドットという
ことはない。例えば、図３（Ｂ）に示すような２×２ド
ットの画像を、図３（Ａ）に示すような４×４ドットの
画像に拡大する場合、図３（Ｂ）に示す拡大前の（ｘ，
ｙ）＝（１，１），（２，１），（１，２），（２，
２）に位置するドット「●」，「□」，「▲」，「■」
によって、図３（Ａ）に示す拡大後の対応する位置を
「●」，「□」，「▲」，「■」と夫々規定し、周辺の
ドットはこの規定された値を用いて、対応する位置から
の距離に応じて各ドットが生成される。

【００４０】従って、現在行われているポイント・サン
プリング法にしたがって縮小・拡大された画像に比較し
て、このバイリニア・フィルタを使用した方法では、ぼ
やけた（焦点ズレした）滑らかな画像を再生することが
出来る。

【００４１】図５を用いて、描画領域、ｎ個の作業用領
域等が同じメモリ空間にある混載ＶＲＡＭを例にとって
説明する。まず、ＶＲＡＭ描画領域５０１のイメージ
（元の画像）を多段階に作業用領域５０２〜５０５に１
／２縮小し、元の画像の（１／２）^ｎ＋１の目的解像度
の画像を作成する。

【００４２】１／２ステップに縮小することにより、バ
イリニア・フィルタ等のピクセル補間アルゴリズムを画
像縮小アルゴリズムに適用した場合において、元の画像
の全情報をサンプリングした縮小画像を生成することが
出来る。

【００４３】簡単に説明すると、この現象は、例えば、
６００ｄｐｉ（dots/inch）で表現された画像（元の画
像）を４００ｄｐｉで走査し（但し、この場合には物理
的には縮小していない。）、更に２００ｄｐｉで走査し
て（同様に、物理的には縮小していない。）、その後、
この２００ｄｐｉ画像を６００ｄｐｉで再生する場合に
似ている面がある。

【００４４】これは、２００ｄｐｉの画像は、元の画像
の全情報を有しているが、再生された６００ｄｐｉの画
像は元の画像と比較して、滑らかであるが、一旦解像度
が落ちた分だけぼやけた画像となっている点である。

【００４５】このように段階的に縮小し、その後拡大し
て再生した滑らかにぼやけた画像を利用して、被写界深
度を表現した画像を生成することが出来る。Ｚバッファを利用した複数個の物体の画像

【００４６】元の画像（縮小前の画像）を段階的に縮小
し、その後拡大して再生された画像を１画面の全ての部
分に上書きすると、その画面全体が焦点ズレした（ぼや
けた）画像となってしまう。

【００４７】(1)ここで、Ｚバッファを利用して、１画
面中にＺ値の相異なる（即ち、視点からの距離が相違す
る）複数個の物体が存在し、遠方の物体をぼやかした状
態（焦点ぼけ又はデ・フォーカス状態）とし、近くにあ
る物体はジャスト・フォーカス状態になるような画像を
生成する場合を検討する。

【００４８】図６に示すように、１画面中に少なくとも
遠方の物体と近くにある物体が有る場合を想定する。こ
の場合には、近くの物体１００を構成するドットは平均
してＺ値が大きく、遠方の物体１０２を構成するドット
は平均してＺ値が小さい関係にある。

【００４９】このような複数個の物体が存在するジャス
ト・フォーカス状態の画像（画像-1）を用意する（図７
参照）。次に、この画像を、上述したように段階的に縮
小する（図８参照）。その後、拡大して滑らかにぼやけ
た画像（画像-2）を生成する（図９参照）。

【００５０】上述したＺバッファは、各ドットのＺ値の
大小関係を比較する機能を有している。このＺバッファ
を利用して近くの物体に近いＺ値を予め設定して、ジャ
スト・フォーカス状態の画像（画像-1）に対して、ぼや
けた画像（画像-2）を上書きする。

【００５１】現在試作中のシステムにおけるＺバッファ
では、設定されたＺ値より遠方にある物体（Ｚ値小）の
画像部分は上書きされ、近くにある物体（Ｚ値大）の画
像部分は上書きされないで残るという、一方向の処理が
行われる。

【００５２】この結果、画面中に複数個の物体が存在
し、遠方の物体はぼやけた状態であり、近くにある物体
はジャスト・フォーカス状態となっている画像を生成す
ることができる（図１０参照）。

【００５３】このように、目的解像度のイメージを、ピ
クセル補間アルゴリズム（例えば、バイリニア・フィル
タ等）を適用して、元のＶＲＡＭ描画領域に出力する。

【００５４】このとき、Ｚ値に適切な値を設定しておく
と、そのＺよりも奥にあるピクセルのみが、解像度を落
としたイメージで上書きされ、Ｚを境に奥がぼやけた状
態のイメージとなる。

【００５５】(2) 次に、上記(1)とは反対の画像を検討
する。

【００５６】即ち、Ｚバッファを利用して、１画面中に
Ｚ値の相異なる複数個の物体が存在し、遠方の物体の画
像部分はジャスト・フォーカス状態とし、近くにある物
体の画像部分はぼやけた状態になるような画像を生成す
る場合を検討する。

【００５７】本来、Ｚ判定を逆に設定できる処理系（遠
くのピクセルは上書きされない）では、手前側を解像度
を落としたイメージで上書きすることが出来る。この結
果、手前がぼやけたイメージとなる。

【００５８】上述のように、現在試作中のＺバッファで
は、Ｚ値で比較して、元の画像の物体が近くの物体（Ｚ
値大）なら上書きしないで、遠方の物体（Ｚ値小）なら
上書きしする処理は可能である。しかし、その逆の、元
の画像の物体が近くの物体なら上書きし、遠方の物体
（Ｚ値小）なら上書きしないという、反対方向の処理は
出来ないという制約がある。

【００５９】Ｚ判定を逆に設定できない処理系において
も、アルファビット（図１（Ａ）参照）でマスクを掛け
ることが可能であり、且つアルファビットの有無でピク
セルを上書きする、しないを制御することが可能であれ
ば、次の方法で結果的に手前側を上書きすることが出来
る。

【００６０】(1)所定のＺ値で、描画用ＶＲＡＭのＺが
奥に位置するピクセルのアルファマスクプレーンのみを
塗りつぶす。

【００６１】(2)アルファ・プレーンのマスクの掛かっ
ていないピクセルのみが上書きされるように、アルファ
・プレーンテストの状態を設定する。

【００６２】(3)解像度を落としたイメージを上書きす
る。

【００６３】この結果、アルファ・プレーンのマスクの
掛かっていないピクセル、即ち、所定のＺよりも手前に
あるピクセルのみが解像度を落としたイメージで上書き
されることになる。以下、具体的に説明する。

【００６４】先ず、マスク処理を行う。このマスク処理
段階では、１画像にアルファ値Ａを利用してマスクを被
せて、このマスクを被せた画像を、元の画像に対して、
或るＺ値より奥の画像部分（Ｚ値小の部分）だけ上書き
する。ここでは、Ｒ，Ｇ，Ｂは関係なく、アルファ値Ａ
のみが描画される（或いは、「マスクビットが立つ」と
も表現される。）。ここでマスクビットが立ったとして
も、見た目の画像は何ら差異はない。この段階で、遠方
の物体の画像部分のみがマスクが被された画像で上書き
され、近くの物体の画像部分はマスクなしの画像のまま
となる（図１１参照。但し、図１１は便宜上マスクプレ
ーンで塗られた領域を赤色で覆っている。）。

【００６５】次に、近くの物体の画像部分にぼやけた画
像の上書き処理を行う。先ず、段階的に縮小し、その後
拡大して得られた滑らかにぼやけた画像が用意される。
この全面的にぼやけた画像を、部分的にマスクが被せら
れた元の画像に対して、上書きする。ここで、元の画像
は、遠方の物体の画像部分のみはマスクが被され、近く
の物体の画像部分はマスクなしの状態にある。

【００６６】その結果、遠方の物体の画像部分は上書き
されない。一方、近くの物体の画像部分は滑らかにぼや
けた画像で上書きされる。

【００６７】こうして、１画面中にＺ値の相異なる複数
個の物体が存在し、遠方の物体はジャスト・フォーカス
状態で表現され、近くにある物体はぼやけた状態で表現
された画像を生成することが出来る（図１２参照）。輪
郭のぼやかし

【００６８】但し、この段階では、或るＺ値より遠方の
画像部分だけがマスクされた元の画像に対して、近くの
物体の画像部分だけがぼやけた画像で上書きされている
ため、近くの物体の境界又は輪郭は、Ｚ値で一義的に決
定されている。そのため、近くの物体の輪郭ははっきり
しており、その輪郭の内部に滑らかにぼやけた物体の画
像が組み込まれたようになっている。

【００６９】しかし、近くの物体はぼやけた画像でリア
ルに表現したいため、その輪郭もぼやけて少し膨らんだ
ように見せるのが自然である。そこで、更に、輪郭をぼ
やかすため、奥行きのぼやかし処理を行っている。

【００７０】ここで、元の画像を段階的に縮小して、そ
の後拡大することにより、その物体のぼやけた画像を得
ることができる。ここで、近くに位置する物体をその内
側部分と輪郭部分とに分けて考える。内側部分は、近く
に位置するため（Ｚ値大のため）、上書きされないが、
これに対し、縮小・拡大のため若干膨らんだ輪郭部分
は、近くに位置する物体のＺ値ではないので、この若干
膨らんだ輪郭部分は上書きされる。

【００７１】このようにして得られたぼやけた輪郭部分
と、上述したぼやけた内側部分とを使用することによ
り、近くに位置する物体の輪郭部分と内部部分の両方が
滑らかにぼやけた画像となる。

【００７２】以上により、Ｚ値とＡ値を用いたバイリニ
ア・フィルタ処理により、予め設定されたＺ値（奥行
き）に対して、それより遠方の物体の画像部分をぼやか
し、その後、それより近い物体の画像部分をぼやかすこ
とが出来る。 ［多段階の被写界深度表現］ （多段階の被写界深度表現）

【００７３】次に、上述した処理を多段階に行うことに
より、光学系レンズにおける被写界深度表現を擬似的に
実現することが可能となる。

【００７４】この多段階の被写界深度表現を具体的に説
明する。図３で説明したように段階的に縮小して、その
後図４で説明したように拡大することにより、滑らかに
ぼやかすことが出来る（図８と９参照）。図５に示すよ
うに、このとき、縮小の程度（「Level」という。）に
よってぼやけ程度が異なることが分かる。即ち、例え
ば、元の画像を１／２，１／４，１／８，１／１６と段
階的に縮小して、その後拡大した画像-1/16（解像度１
／１６の画像）と、元の画像を１／２，１／４まで段階
的に縮小して、その後拡大した画像-1/4（解像度１／４
の画像）とでは、画像-1/16の方が画像-1/4よりぼやけ
の程度が大きいことが分かる。

【００７５】元の画像を処理して得られたぼやけの程度
が異なる複数の画像を利用することにより、次のように
多段階の被写界深度を表現した画像を得ることが出来
る。

【００７６】即ち、異なるＺ値を持つ複数個の物体を写
した１枚の画像に対して、例えば、中間のＺ値（中間の
深さ）の物体をジャスト・フォーカス状態とする。奥行
き方向に関しては、そこから更に小さいＺ値（更に奥行
き方向）の物体をその奥行き方向の程度に従ってぼやけ
の程度を順次大きくする。反対に、そこから更に大きい
Ｚ値（更に手前方向）の物体をその手前方向の程度に従
ってぼやけの程度を順次大きくする。

【００７７】こうすることにより、予め設定された中間
のＺ値にある物体をジャスト・フォーカスで表現し、こ
のＺ値から奥行き方向に遠くに及び近くに離れるに従っ
て、ぼやけの程度が順次大きくなった画像を生成するこ
とが出来る。

【００７８】具体的には、図１３に示すように、元の画
像は、ジャスト・フォーカス状態（ぼけの度合いが、Le
vel-0）が、Ｚfar[0]からＺnear[0]の間の画像である。
処理の１番目に、Ｚfar[2]より遠方とＺnear[2]より近
くに、元の画像を１／２，１／４／，１／８と順次縮小
し、その後拡大して非常にぼやかした画像（ぼけの度合
いが、Level-2）を上書きする。

【００７９】２番目に、Ｚfar[1]からＺfar[0]の間と、
Ｚnear[1]からＺnear[0]の間とに、元の画像を１／２，
１／４と順次縮小し、その後拡大してぼやかした画像
（ぼけの度合いが、Level-1）を上書きする。

【００８０】３番目に、Ｚfar[0]からＺfar[1]の間と、
Ｚnear[0]からＺnear[1]の間とに、元の画像を１／２に
縮小し、その後拡大してぼやかした画像（ぼけの度合い
が、Level-0）を上書きする。

【００８１】このようにして、予め定めたジャスト・フ
ォーカス位置から奥行き方向及び手前方向の２方向に段
階的に順次大きくぼけた状態で物体の画像が映された画
像を生成することが出来る。

【００８２】図１３のぼけの段階数（Level数）は、制
作する画面の性質に応じて、任意に設定することが出来
る。また、各段階のぼけの程度も、制作者の光学的な知
見（近似する光学レンズ特性，画角その他の特性）等に
よって、任意に設定することが出来る。また、各段階の
長さも任意に設定できる。

【００８３】（ジャスト・フォーカス位置の移動）

【００８４】図１３のジャスト・フォーカス位置は、任
意に設定できる。また、図１３のように、ジャスト・フ
ォーカス箇所を中心に、奥行き方向と反奥行き方向（手
前方向）を対称的にぼやかしてもよく、或いは非対称的
に、或いは一方向のみをぼやかすこともできる。 ［フローチャート］

【００８５】図１４に示すフローチャートは、予め定め
たジャスト・フォーカス箇所から奥行き方向及び手前方
向の２方向に段階的に順次大きくぼけた状態で物体の画
像が映された１枚の静止画像を生成するフローチャート
である。

【００８６】ここで、ＦＬはフィルタ処理の深さ（但
し、ＦＬ＞０）を示す。フィルタ処理の深さは、図の示
すジャストフォーカス位置（Ｚfar[0]又はＺnear[0]）
から遠方又は手前方向のフィルタ個数であり、換言すれ
ばピンボケ具合の深さの度合いである。

【００８７】Ｚfar[0,…,FL-1]は、ジャスト・フォーカ
ス位置より遠方に掛けるフィルタの位置を表し、ここ
で、Ｚfar[FL-1]はＺfar[0]よりも一層遠方に位置する
ことを表している。

【００８８】同様に、Ｚnear[0,…,FL-1]は、ジャスト
・フォーカス位置より近くに掛けるフィルタの位置を表
し、ここで、Ｚnear[0]はＺnear[FL-1]よりも一層手前
に位置することを表している。また、Ｚnear[0]とＺfar
[0]で挟まれた領域はぼやけない、即ち、ジャスト・フ
ォーカスの領域となっている。

【００８９】ここで、例えば、１段階の被写界深度表現
ではＦＬ＝１であり、多段階の被写界深度表現の内で最
も段階が少ないものはＦＬ＝２である。説明を簡単にす
るため、これらを例にとって説明する。

【００９０】ステップＳ１００で、フィルタ処理の深さ
ＦＬが正か否かが判定される。ＦＬが正のとき次のステ
ップに進み、ＦＬが正でないなら終了する。例えば、１
段階の被写界深度表現ではＦＬ＝１であり、最も簡単な
多段階の被写界深度表現ではＦＬ＝２であるので、両方
ともステップＳ２００に進む。

【００９１】ステップＳ２００で、フィルタ処理の深さ
ＦＬを−１する。例えば、１段階の被写界深度表現では
ＦＬ＝０となり、２段階の被写界深度表現ではＦＬ＝１
となる。

【００９２】ステップＳ３００で、ＦＬをLevelに置
く。例えば、１段階の被写界深度表現ではLevel＝０と
なり、２段階の被写界深度表現ではLevel＝１となる。

【００９３】ステップＳ４００で、処理PROC1を実行す
る。処理PROC1を実行後、ステップＳ１００に戻る。例
えば、１段階の被写界深度表現ではＦＬ＝０であるの
で、終了する。また、２段階の被写界深度表現ではＦＬ
＝１であるので、ステップＳ２００でＦＬ＝０とし、ス
テップＳ３００でLevel＝０として処理PROC１を再度実
行し、ステップＳ１００に戻って終了する。

【００９４】図１５は、図１４のステップＳ４００の処
理PROC1を示すフローであり、１回のフィルタ処理工程
を示していて、カウンタの計数ＭがLevelに達するま
で、処理を実行する構成（ループ）になっている。

【００９５】ステップＳ４１０で、カウンタ計数Ｍをゼ
ロにセットする。

【００９６】ＳステップＳ４２０で、カウンタの計数Ｍ
とLevelを比較し、ＭがLevelより小ならばステップＳ４
３０に進み、ＭよりLevelが大きいか等しいならば、図
のステップＳ４２２に進む。例えば、１段階の被写界深
度表現ではLevel＝０であり、カウンタの計数Ｍは１で
あるので、ループを１回通って、図の処理に進む。２段
階の被写界深度表現ではLevel＝１であるので、ステッ
プＳ４３０に進む。

【００９７】ＳステップＳ４３０で、カウンタの計数Ｍ
がゼロか否かが判定される。ＭがゼロならステップＳ４
４０に進み、ＭがゼロでないならステップＳ４５０に進
む。即ち、最初の１回目はステップＳ４４０に進み、そ
の後はステップＳ４５０に進むことになる。

【００９８】Ｓステップ４４０で、ＶＲＡＭ描画領域を
縦横とも１／２に縮小して作業領域Ｍ（この場合、作業
領域-0）に転送する。最初は、画像はＶＲＡＭ描画領域
にあるからである。例えば、１段階の被写界深度表現で
はスッテプＳ４４０に進み、ＶＲＡＭ描画領域を縦横と
も１／２に縮小して作業領域-0へ転送する。

【００９９】Ｓステップ４５０で、作業領域Ｍ−１を縦
横とも１／２に縮小して作業領域Ｍに転送する。例え
ば、２段階の被写界深度表現では最初のループではスッ
テプＳ４４０に進み、２回目のループではこのステップ
４５０に進む。このとき、作業領域-0の１／２縮小画像
を縦横とも１／２に縮小して、１／４縮小画像を作業領
域-1へ転送する。

【０１００】Ｓステップ４６０で、カウンタの計数Ｍを
１だけ増数して、ステップＳ４２０に戻る。

【０１０１】図１６は、画像の上書き処理のフローチャ
ートである。ここでは、最初に、上述したＺ値を利用し
て、予め設定されたＺ値より遠方の物体をぼやかし、次
にアルファビット（マスクビット）を利用して、予め設
定されたＺ値より近くの物体をぼやかす処理を行ってい
る。

【０１０２】ステップＳ４２２で、作業領域Ｍ−１（最
終的に縮小された画像がある領域）を元のイメージ（画
像）のサイズに拡大して、ＶＲＡＭ描画領域のＺfar[F
L]よりも遠方が上書きされるように出力する。

【０１０３】例えば、１段階の被写界深度表現では、Ｆ
Ｌ＝０，Ｍ＝１であるので、作業領域-0を元のイメージ
サイズの拡大して若干ぼやかして（解像度１／２のぼや
けた画像を）、描画領域のＺfar[0]よりも遠方が上書き
されぼやけるようにする。

【０１０４】なお、２段階の被写界深度表現では、２回
目のループの際に、ＦＬ＝１，Ｍ＝２であるので、作業
領域-1を元のイメージサイズの拡大して一層大きくぼや
かして（解像度１／４のぼやけた画像を）、描画領域の
Ｚfar[1]よりも遠方が上書きされぼやけるようにする。

【０１０５】ステップＳ４２４で、ＶＲＡＭ描画領域全
域のマスクビットを、無条件に全てクリアする。マスク
ビットの前処理である。

【０１０６】ステップＳ４２６で、ＶＲＡＭ領域のＺne
ar[FL]よりも遠方のピクセルのマスクビットが全て立つ
ように、ＶＲＡＭ描画領域のアルファ・プレーンを塗り
つぶす。

【０１０７】例えば、１段階の被写界深度表現では、Ｆ
Ｌ＝０，Ｍ＝１であるので、ＶＲＡＭ領域のＺnear[0]
よりも遠方のピクセルをマスクして、上書きされないよ
うにしている。

【０１０８】なお、２段階の被写界深度表現では、２回
目のループの際に、ＦＬ＝１，Ｍ＝２であるので、ＶＲ
ＡＭ領域のＺnear[1]よりも遠方のピクセルをマスクし
て、更に広い範囲で上書きされないようにしている。

【０１０９】ステップＳ４２８で、作業領域Ｍ−１を元
のイメージ（画像）のサイズに拡大して、ＶＲＡＭ描画
領域のマスクビットが立っていないピクセルのみが上書
きされるように出力する。こうして、マスクされていな
い領域が上書きされ、近くに位置する物体のぼけた画像
が上書きされる。その後、図のステップＳ４２０に戻
る。

【０１１０】上述した図１４から図１６のフローチャー
トにより、予め設定されたＺ値付近の画像部分はジャス
ト・フォーカス状態にあり、予め設定されたＺ値より遠
方の画像部分はその距離に応じて段階的にぼやけた画像
となり、予め設定されたＺ値より遠方の画像部分はその
距離に応じて段階的にぼやけた画像となっている、１枚
の静止画像を生成することが出来る。

【０１１１】このような画像であって、Ｚ値を徐々に変
化した画像を多数生成して、これらを連続的に表示装置
（モニタ）によって表示することにより、奥行き方向に
ジャスト・フォーカスが連続的に変化した臨場感溢れる
画像を作ることが出来る。 ［実際のプログラムへの適用］

【０１１２】上述の被写界深度表現方法は、実際のプロ
グラムには、例えば、次のような種々の方法で実現でき
る。

【０１１３】(1)この被写界深度表現方法は、Ｚバッフ
ァとバイリニア・フィルタを備えたパーソナル・コンピ
ュータ、画像処理用コンピュータ、ＴＶゲーム装置のよ
うなエンタテインメント・システム等の情報システムで
実行することが出来る。

【０１１４】なお、上述の実施形態は、ＶＲＡＭ領域で
の方法について説明してあるが、コンピュータのＣＰＵ
で処理することも可能である。ＣＰＵで実現する場合、
Ｚ値に関わる処理を任意に規定できるので、上述したよ
うなＺバッファは一方向のみしか機能しないという制約
はない。従って、この場合、所定のＺ値より近い位置の
画像部分をぼやかすために利用したマスク（アルファ・
プレーン）は不要となる。

【０１１５】(2)この被写界深度を連続的にリアルタイ
ムに変化させた表現方法は、混載ＶＲＡＭを用いること
によって可能となる。

【０１１６】現時点でのパーソナル・コンピュータの処
理速度では、メイン・メモリとＶＲＡＭ間で画像データ
を転送する速度が遅すぎる。ＣＰＵとグラフィックス回
路間で、一画面のデータ（例えば、６４０×４８０ドッ
トのＲ，Ｇ，Ｂ，等のデータ）を高速転送するバスは、
現在のところ実現されていない。

【０１１７】また、ＴＶゲーム装置のようなエンタテイ
ンメント・システムにおいても、ＶＲＡＭの描画領域を
縮小する場合は問題ないが、テクスチャ領域がＶＲＡＭ
から物理的に離れているようなシステムでは、実現不可
能である。

【０１１８】この被写界深度を連続的に変化させる表現
は、ＧＰＵ（Graphic Processing Unit）回路内にＶＲ
ＡＭを有し、そのＶＲＡＭ内にテクスチャ領域、描画領
域、作業領域に（即ち、同じメモリ空間内に）存在する
ようなシステムで、初めて実現可能となる。ＧＰＵが、
ＣＰＵを介さずに、被写界深度を連続的に変化させる表
現を実行処理できるからである。

【０１１９】(3)この被写界深度表現方法は、例えば、
ゲームソフト作成ツールとしてのライブラリとして、ソ
フトメーカに対して供給され、利用される。この場合に
は、Ｚ値、ＦＬ値、Level値、Ｚ値の変化等のパラメー
タを決定するだけで、被写界深度を表現したゲーム場面
のソフトを作成できる。

【０１２０】

【発明の効果】本発明によれば、被写界深度を表現し得
る描画装置を提供することが出来る。

【０１２１】更に本発明によれば、二次元スクリーンに
対し、視点から物体までの距離感を表す被写界深度を表
現する方法を提供することが出来る。

【図面の簡単な説明】

【図１】図１は、Ｚ値とアルファビットとを説明する図
である。

【図２】図２は、ポイント・サンプリング法を説明する
図である。

【図３】図３は、バイリニア・フィルタ法を説明する図
である。

【図４】図４は、バイリニア・フィルタを利用して、画
像を段階的に縮小し、その後拡大した場合を説明する図
である。

【図５】図５は、ＶＲＡＭ内で、バイリニア・フィルタ
を利用して、画像を段階的に縮小し、その後拡大した場
合を説明する図である。

【図６】図６は、Ｚ値を利用して、元の画像に対して、
滑らかにぼやかした画像を上書きする様子を説明する図
である。

【図７】図７は、ＶＲＡＭ描画領域にある元の画像を示
す図である。

【図８】図８は、元の画像を段階的に縮小する様子を示
す図である。

【図９】図９は、元の画像を段階的に１／１６まで縮小
し、その後拡大した画像を示す図である。

【図１０】図１０は、Ｚバッファを利用して、図７のＶ
ＲＡＭ描画領域にある元の画像に、図９の元の画像を段
階的に１／１６まで縮小し、その後拡大した画像を上書
きした様子を示す図である。

【図１１】図１１は、近くのＺ値（Ｚnear）を指定し
て、ＶＲＡＭ描画領域のマスクプレーンを塗りつぶした
様子を示す図である。この図では、便宜上赤く塗られた
領域（近くの物体以外の領域）は、実際には見えない。

【図１２】図１２は、図１２のマスクが掛かった画像に
対して、図９の画像を上書きした様子を示す図である。

【図１３】図１３は、多段階の被写界深度表現方法を説
明する図である。

【図１４】図１４は、図１５及び図１６と共に、多段階
の被写界深度表現方法の手順を説明するフローチャート
である。

【図１５】図１５は、図１４及び図１６と共に、多段階
の被写界深度表現方法の手順を説明するフローチャート
である。

【図１６】図１６は、図１４及び図１５と共に、多段階
の被写界深度表現方法の手順を説明するフローチャート
である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ディラン カスバート 東京都港区赤坂７丁目１番１号 株式会社 ソニー・コンピュータエンタテインメント 内 Ｆターム(参考） 5B050 AA09 BA09 EA14 EA15 EA29 5B080 CA01 FA16 GA03

Claims (16)

【特許請求の範囲】
1. 【請求項１】 ピクセルの奥行き方向を特定するＺバッ
   ファと、ピクセル補間アルゴリズムを備えた描画装置に
   おいて、 前記ＺバッファのＺ値を予め設定して、元の画像に対し
   て、該元の画像を段階的に縮小し、その後拡大して得ら
   れたデ・フォーカス状態の画像を上書きし、前記Ｚ値に
   対応する物体の画像部分をジャスト・フォーカス状態に
   するとともに、その以外の物体の画像部分をデ・フォー
   カス状態にすることにより被写界深度を表現することを
   特徴とする、描画装置。
2. 【請求項２】 請求項１に記載の描画装置において、 前記ピクセル補間アルゴリズムは、バイリニア・フィル
   タである、描画装置。
3. 【請求項３】 請求項２に記載の描画装置において、 前記描画装置が、ピクセルに対するマスク処理を行うア
   ルファ・プレーンを有し、 前記ＺバッファのＺ値を予め設定して、元の画像に対し
   て、該元の画像を段階的に縮小し、その後拡大して得ら
   れた焦点ズレしたボケた画像を上書きして、前記Ｚ値よ
   り遠方の物体の画像部分をデ・フォーカス状態とし、 前記アルファ・プレーンを用いて、前記Ｚ値より遠方の
   物体の画像部分をマスクした後、前記焦点ズレしたボケ
   た画像を上書きして、前記Ｚ値より近くの物体の画像部
   分をデ・フォーカス状態とすることを特徴とする、描画
   装置。
4. 【請求項４】 請求項１に記載の描画装置において、 描画装置が、描画領域とテクスチャ領域を同じメモリ空
   間に備えたビデオ・ラム（ＶＲＡＭ）を備え、該ＶＲＡ
   Ｍ内で元の画像を段階的に縮小し、その後拡大して焦点
   ズレした画像を生成している、描画装置。
5. 【請求項５】 ピクセル補間アルゴリズムを利用して、
   元の画像を段階的に縮小して、その後拡大することによ
   りデ・フォーカス状態の画像、即ち、焦点ズレしたボケ
   た画像を生成し、 視点からの奥行き方向の距離を制御し得るＺバッファを
   利用して、前記元の画像に前記デ・フォーカス状態の画
   像を上書きする、諸段階を有する被写界深度を表現する
   方法。
6. 【請求項６】 請求項５に記載の被写界深度を表現する
   方法において、 前記元の画像に前記デ・フォーカス状態の画像を上書き
   する段階により、予め設定されたＺ値より遠方の物体の
   画像部分が該デ・フォーカス状態の画像によって上書き
   されることを特徴とする、被写界深度を表現する方法。
7. 【請求項７】 請求項５に記載の被写界深度を表現する
   方法において、 前記ピクセル補間アルゴリズムは、バイリニア・フィル
   タである、被写界深度を表現する方法。
8. 【請求項８】 請求項５に記載の被写界深度を表現す
   る方法において、 前記方法が、描画領域とテクスチャ領域を同じメモリ空
   間に備えたビデオ・ラム（ＶＲＡＭ）内で実行される、
   被写界深度を表現する方法。
9. 【請求項９】 ピクセル補間アルゴリズムを利用して、
   元の画像を段階的に縮小して、その後拡大することによ
   りデ・フォーカス状態の画像を生成し、 マスク機能をもつアルファ・プレーンを利用して、予め
   設定されたＺ値より遠方の物体の画像部分にマスクを掛
   け、 マスクを掛けた元の画像に対して、前記デ・フォーカス
   状態の画像を上書きして、マスクが掛かっていない画像
   部分をデ・フォーカス状態の画像とする、諸段階を有す
   る被写界深度を表現する方法。
10. 【請求項１０】 請求項９に記載の被写界深度を表現す
    る方法において、 前記ピクセル補間アルゴリズムは、バイリニア・フィル
    タである、被写界深度を表現する方法。
11. 【請求項１１】 請求項９に記載の被写界深度を表現す
    る方法において、 前記方法が、描画領域とテクスチャ領域を同じメモリ空
    間に備えたビデオ・ラム（ＶＲＡＭ）内で実行される、
    被写界深度を表現する方法。
12. 【請求項１２】 ピクセル補間アルゴリズムを利用し
    て、元の画像を段階的に縮小して、その後拡大すること
    によりデ・フォーカス状態の画像を生成し、 視点からの奥行き方向の距離を制御し得るＺバッファを
    利用して、前記元の画像に前記デ・フォーカス状態の画
    像を上書きして、予め設定されたＺ値より遠方の物体の
    画像部分をデ・フォーカス状態の画像とし、 マスク機能をもつアルファ・プレーンを利用して、予め
    設定されたＺ値より遠方の物体の画像部分にマスクを掛
    け、 前記デ・フォーカス状態の画像を上書きして、マスクが
    掛かっていない画像部分をデ・フォーカス状態の画像と
    する、諸段階を有する被写界深度を表現する方法。
13. 【請求項１３】 請求項１２に記載の被写界深度を表現
    する方法において、 前記ピクセル補間アルゴリズムは、バイリニア・フィル
    タである、被写界深度を表現する方法。
14. 【請求項１４】 予め設定されたＺ値に対応する位置に
    ある物体をジャスト・フォーカス状態とし、 前記予め設定されたＺ値から遠方方向又は手前方向に離
    れるに従って、段階的にデ・フォーカスの程度が進んだ
    画像を上書きするようにし、 前記デ・フォーカス状態の画像は、ピクセル補間アルゴ
    リズムを利用して、元の画像を段階的に縮小して、その
    後拡大することにより生成し、 前記縮小の程度によって、前記デ・フォーカス状態の程
    度を制御している、諸段階を有する被写界深度を表現す
    る方法。
15. 【請求項１５】 請求項１４に記載の被写界深度を表現
    する方法において、 前記予め設定されたＺ値は、画像毎に連続的に変化して
    いる、被写界深度を表現する方法。
16. 【請求項１６】 ピクセル補間アルゴリズムを利用し
    て、元の画像を段階的に縮小して、その後拡大すること
    によりデ・フォーカス状態の画像を生成し、 視点からの奥行き方向の距離を制御し得るＺバッファを
    利用して、前記元の画像に前記デ・フォーカス状態の画
    像を上書きして、予め設定されたＺ値より遠方の物体の
    画像部分をデ・フォーカス状態の画像とし、 マスク機能をもつアルファ・プレーンを利用して、予め
    設定されたＺ値より遠方の物体の画像部分にマスクを掛
    け、 前記デ・フォーカス状態の画像を上書きして、マスクが
    掛かっていない画像部分をデ・フォーカス状態の画像と
    する、諸段階を有するプログラムを記録した記録媒体。