JPH11296692A - 画像処理方法および画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】複数の視点から撮影された原画像から他の視点
から見た合成画像を生成する画像処理において詳細かつ
鮮明な画像を生成する。また合成画像を生成するのに必
要な計算量とデータ量を削減する。 【解決手段】複数の原画像１１１０に写っている各物体
について、一番大きく写っている原画像を判別１９００
し、合成画像における各物体の映像を、一番大きく写っ
ている原画像から合成１７００する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像に画像変形や
画像混合などの画像処理を施して、新たな画像を生成す
る画像処理に関するものである。

【０００２】

【従来の技術】従来、ある視点から撮影したあるいは描
写した映像をもとに、他の視点から見た合成映像を生成
する画像処理方法が知られている。この画像処理方法
は、三次元モデルの作成が困難な実写映像や絵画などに
対して視点変更の映像効果を生み出すのに効果的であ
る。

【０００３】他視点から見た合成映像を生成する技術の
一つとして、ワーピング技術（「射影変換に基く画像間
の補間」電子情報通信学会、信学技法IE94-14 ( 1994-0
5 )pp.29-36 ）が知られている。ワーピング技術は、デ
ジタル画像である原画像を、原画像の各画素ごとあるい
は複数の画素ごとの移動データにより構成される変形デ
ータに基づいて変形し、新たな合成画像を生成する画像
処理である。ある視点からの映像を原画像として、その
原画像を変形データを用いて変形することで、他の視点
から見た近似映像を合成することができる。しかしワー
ピング技術では、合成画像における物体の映像が、原画
像におけるその物体の映像よりも大きくなる場合、原画
像の映像を拡大する必要があり、合成画像の画質の劣化
が大きくなる。

【０００４】他視点から見た合成映像を生成する別の技
術としてモーフィング技術( "Feature-Based Image Met
amorphosis," Computer Graphics Proc. Vol.29, pp.35
-42,(1992) )も知られている。モーフィング技術は、複
数の原画像を、複数の原画像間において同一の物体がそ
れぞれの原画像のどの部分に写っているかを示した対応
データを用いて変形し、変形した画像を互いに混合し
て、前記複数の原画像の中間的な特徴を有する合成画像
を生成する技術である。モーフィング技術では、合成画
像における物体の映像を複数の原画像の映像を混合して
生成するので、いずれかの原画像においてその物体の映
像が大きく写っていれば、ワーピングの技術を用いた場
合と比較してして画質の劣化を押さえることができる。
しかしモーフィング技術では、複数の画像を混合する結
果、合成画像が全体的にぼやけた映像になる場合が多
い。

【０００５】

【発明が解決しようとする課題】ワーピング技術のよう
に、１枚の原画像のみから合成画像を生成する方法で
は、ある物体の映像が他の原画像に詳細に写っていたと
してもその映像を効果的に利用できない。

【０００６】一方モーフィング技術においては、ある物
体について一番大きくに写っている原画像の映像以外に
も他の原画像の映像を混合してしまうので、合成画像が
全体的にぼやけてしまう。

【０００７】本発明の第１の課題は、ある物体が複数の
原画像に写っている場合、各物体ごとにどの原画像に、
一番大きく写っていると判別された原画像のみから合成
画像におけるその物体の映像を生成することである。本
発明の第２の課題は、各物体ごとにそれぞれ異なる原画
像から作成した合成画像において、異なる原画像から生
成された映像間の接続部分において色が不連続に変化す
る場合、色の変化を連続的にすることで、接続部分を目
立たなくすることである。

【０００８】本発明の第３の課題は、一番大きく写って
いると判断した原画像から合成画像を生成することで不
必要となった原画像の部分と対応データの部分につい
て、合成画像生成時に画像変形処理および画像混合処理
を行わないようにすることで、合成画像生成の計算量を
削減することである。本発明の第４の課題は、不必要と
なった原画像の部分を原画像データから、また不要とな
った対応データの部分を対応データから削除すること
で、合成画像を生成するために必要なデータ量を削減す
ることである。

【０００９】

【課題を解決するための手段】上記第１の課題を解決す
るために、各原画像における各物体の大きさを対応デー
タを用いて比較して、各物体に対して一番鮮明に写って
いる映像を判別し、判別した映像のみから合成画像を生
成する画像処理方法を提供する。

【００１０】ここで、１番鮮明とは、最も大きく写って
いることや物体の形状の特徴を１番表してしることなど
を含む。また、物体とは画像内に映し出されるものを指
す。このため、画像に映像として残れば、人間や動物
上、植物も物体である。また、それらの１部も物体にな
りうる（もちろん、人間など以外の１部も物体となりう
る）。上記第２の課題を解決するために、異なる原画像
から生成される画像の接続部分において、一方の原画像
の色を混合する割合を徐々に減らすのと同時に他方の原
画像の色を混合する割合を徐々に増やす画像処理方法を
提供する。

【００１１】上記第３の課題を解決するために、合成画
像生成処理の前処理として、不必要な原画像の部分と不
必要な対応データの部分とを判別する判別データを作成
し、合成画像生成時には判別データを用いて不必要な原
画像の部分と不必要な対応データの部分については画像
変形処理および画像混合処理を飛ばす画像処理方法を提
供する。上記第４の課題を解決するために、合成画像生
成処理の前処理として、不必要な原画像の部分を原画像
から削除する画像処理方法と不必要な対応データの部分
を対応データから削除する画像処理方法とを提供する。

【００１２】

【発明の実施の形態】以下、本発明の第１の実施の形態
について詳細に述べる。図１は本発明の処理手順とその
入出力データを示す図である。図２は第１の実施形態の
システム構成を示す図である。図３および図４は最大の
画像判別処理１９００のフローチャートを示す図であ
る。図５は色の混合割合決定処理１３１０のフローチャ
ートを示す図である。図６は冗長なデータ判別処理１３
６０のフローチャートを示す図である。図７は合成画像
生成処理１７００のフローチャートを示す図である。図
９は色の混合割合決定処理１３１０を具体例を用いて説
明した図である。

【００１３】第１の実施形態のシステム構成は図２に示
すように、表示装置２１００、入力装置２２００、外部
記憶装置２３００、処理装置２４００、記憶装置２５０
０を、データ転送路であるバス２６００に接続して構成
する。表示装置２１００は、例えばＣＲＴディスプレ
ィ、液晶表示装置であり、合成画像１８００ならびにユ
ーザに対する指示案内を表示する。

【００１４】入力装置２２００は、例えばキーボード、
マウスであり、ユーザからの指示を入力する。外部記憶
装置２３００は、原画像１１００、対応データ１２０
０、原画像’１４００、対応データ’１５００、合成デ
ータ１６００を記憶する。原画像１１００、対応データ
１２００、原画像’１４００、対応データ’１５００、
合成データ１６００の詳細については後述する。処理装
置２４００は、前処理１３００ならびに合成画像生成処
理１７００を実行する。前処理１３００、合成画像生成
処理１７００の詳細については後述する。記憶装置２５
００は、例えばメモリで、原画像１１００、対応データ
１２００、原画像’１４００、対応データ’１５００、
合成データ１６００、合成画像画像１８００、カウント
データ２７００、重みデータ２８００を一時的に記憶す
る。合成画像１８００、カウントデータ２７００、重み
データ２８００の詳細については後述する。

【００１５】以下、本実施形態の処理手順について図１
を用いて述べる。本発明の入力データは、複数の原画像
[m]１１１０（１≦ｍ≦Ｍ）からなる原画像１１００と
複数の対応データ[m,n]１２１０（ n≠m, 1≦n≦Ｍ ）
からなる対応データ１２００である。明細書中の[ ] 内
の文字は添え字を表すものとする。ここで定数Ｍは原画
像１１００の枚数がＭ枚であることを表す。以後、原画
像、対応データ、原画像’、対応データ’、合成データ
を添字付きで表現した場合は複数のデータの中の特定の
一つを指し、添字を伴わない場合は複数のデータ全てを
差すものとする。また英大文字で表したパラメータは定
数を表わすものとする。また英小文字で表したパラメー
タは変数を表し、定義域内において適宜変化するものと
する。ただし、明細書中で明示的に変数の値が不変であ
ると宣言した範囲内と明細書中の一文で表現される間
は、その値が変化しないものとする。原画像[m]１１１
０はデジタル画像である。デジタル画像とは、画像を画
素と呼ばれる小さな離散的な点に分割し、各画素におけ
る濃淡の値も離散的な値で表現したものであり、例えば
ビットマップである。

【００１６】デジタル画像の個々の画素は、添字を付け
て画素[s,t]（ 1≦s≦S, 1≦t≦Ｔ）で表す。ここで定
数Ｓおよび定数Tは、デジタル画像が横軸Ｓ画素、縦軸
Ｔ画素の大きさであることを表す。画素[s,t]は、デジ
タル画像の左からs番目、上からt番目の画素を表す。以
下、画素[m][s,t]と表記した場合は、原画像[m]１１１
０の画素[s,t]を表すものとする。対応データ[m,n]１２
１０は原画像[ｍ]１１００を変形するためのデータであ
り、原画像[m]１１１０の各画素に対応する原画像[n]１
１１０の画素を示すデータである。ただし対応する画素
が存在しない場合は、「対応する画素がない」という情
報が登録される。ここである画素[s,t]に対応する画素
[u,v] （ 1≦u≦S, 1≦v≦T ）とは、 画素[u,v]を含む
原画像[n]１１１０が、画素[s,t]を含む原画像[m]１１
１０と異なり、さらに画素[u,v]が表す物体が、画素[s,
t]が表す物体と同じような画素のことを差す。

【００１７】以下、対応データ[m,n][s,t]と表記した場
合は、画素[m][s,t]に対応する原画像[n]１１１０の画
素を示すデータを表すものとする。前処理１３００は、
原画像１１００と対応データ１２００を入力データとし
て、中間データである原画像’１４００、対応データ’
１５００、合成データ１６００を生成する。前処理１３
００は、最大の画像判別処理１９００と色の混合割合決
定処理１３１０と冗長なデータ判別処理１３６０からな
る。最大画像判別処理１９００は、原画像１１００に写
る各物体について、どの原画像[m]１１１０に写る前記
物体の映像が一番大きく写っているかを判別する処理で
ある。最大の画像判別処理１９００の詳細については後
術する。色の混合割合決定処理１３１０は、合成画像１
８００において隣接する映像が、異なる原画像[m]１１
１０、原画像[n]１１１０から合成される場合に、原画
像[m]１１１０から合成される映像と原画像[n]１１１０
から合成される映像の境界線において色が不連続で変化
しないように、前記境界線近傍において原画像[m]１１
１０から合成される映像の色と原画像[n]１１１０から
合成される映像の色を混合する処理である。色の混合割
合決定処理１３１０の詳細については後術する。

【００１８】冗長なデータ判別処理１３６０は、後術す
る合成画像生成処理１７００にて不必要となる原画像１
１００の部分と対応データ１２００の部分を判別し、そ
れらの不必要なデータを削除する処理である。冗長なデ
ータ判別処理１３６０の詳細については後術する。原画
像’１４００は、複数の原画像’[m]１４１０からな
る。原画像’[m]１４１０は、原画像[m]１１１０から、
合成映像生成処理１７００で使用しないデータを取り除
いた残りのデータである。

【００１９】対応データ’１５００は、複数の対応デー
タ’[m,n]１５１０からなる。対応データ’[m,n]１５１
０は、対応データ[m,n]１２００から、合成映像生成処
理１７００で使用しないデータを取り除いた残りのデー
タである。合成データ１６００は複数の合成データ[m]
１６１０からなる。合成データ[m]１６１０は、合成画
像生成処理１７００において、原画像[m]１１１０およ
び対応データ[m.n]１２１０のどの部分を使うか（別記
すれば、原画像[m]１１１０のどの部分が原画像’[m]１
４１０に残っていて、対応データ[m]１２００のどの部
分が対応データ’[m]１５００に残っているか）を示す
情報と、原画像’[m]１４１０の色を原画像’[m]１４１
０以外の原画像’１４００の色とどのぐらいの割合で混
合するかを示す情報を持つデータである。以下、合成デ
ータ[m][s,t]と表記した場合は、原画像’[m]１４１０
の画素[s,t]の合成データを表すものとする。

【００２０】合成画像生成処理１７００は、原画像’１
４００、対応データ’１５００、合成データ１６００を
入力データとして合成画像１８００を生成する。合成画
像生成処理１７００の詳細については後術する。

【００２１】以下、最大の画像判別処理１９００につい
て図３、図４を用いて詳しく述べる。処理ステップ１９
０５において、カウントデータ２７００の記憶エリアを
記憶装置２５００に確保しその値を０にクリアする。カ
ウントデータ２７００は、原画像[m]１１１０ごとに割
り当てあてた複数のカウントデータ[m]により構成し、
さらにカウントデータ[m]は、原画像[m]１１１０の全て
の画素[s,t]に割り当てたカウントデータ[m][s,t]によ
り構成する。

【００２２】カウントデータ[m][s,t]は、画素[m][s,t]
と対応する画素が、原画像[m]１１１０以外の原画像１
１００にいくつあるかを数えるのに使用するデータであ
る。処理ステップ１９１０において原画像[m]１１１０
を外部記憶装置２３００から記憶装置１８００に読み込
む。処理ステップ１９４５によって成される処理制御の
各ループにおいて、変数mの値は変化しない。処理ステ
ップ１９１５において原画像[n]１１１０を外部記憶装
置２３００から記憶装置２５００に読み込む。処理ステ
ップ１９４０によって成される各処理制御のループにお
いて変数ｎの値は変化しない。処理ステップ１９２０に
おいて対応データ[m,n]１２１０を外部記憶装置２３０
０から記憶装置２５００に読み込む。処理ステップ１９
２５において、画素[m][s,t]と対応する画素[n][u,v]が
存在するかを対応データ[m,n][s,t]を用いて調べる。処
理ステップ１９３５によって成される各処理制御のルー
プにおいて変数s,t,u,vの値は変化しない。

【００２３】対応する画素[n][u,v]が存在する場合には
処理ステップ１９３０に処理制御を移す。対応する画素
[n][u,v]が存在しない場合には、処理ステップ１９３５
に処理制御を移す。処理ステップ１９３０において、カ
ウントデータ[n][u,v]の値を１増やす。処理ステップ１
９３５において、原画像[m]１１１０の全ての画素[s,t]
に対して処理ステップ１９２５から処理ステップ１９３
５までを繰り返す。処理ステップ１９４０において、原
画像[m]１１１０以外の全ての原画像[n]１１１０に対し
て、処理ステップ１９１５から処理ステップ１９４０ま
でを繰り返す。処理ステップ１９４５において全ての原
画像[m]１１１０に対して、処理ステップ１９１０から
１９４５までを繰り返す。処理ステップ１９４８におい
て合成データ１６００の記憶エリアを記憶装置２５００
に確保する。合成データは１６００は、それぞれの原画
像[m]１１１０ごとに割り当てた合成データ[m]１６１０
から構成し、さらに合成データ[m]１６１０は、全ての
画素[m][s,t]ごとに割り当てられた合成データ[m][s,t]
から構成する。

【００２４】合成データ[m][s,t]の値は、Xmin( Xmin=0
)からXmax( Xmax > 0 )までの値をとり、特に合成デー
タ[m][s,t]の値がXminとなった場合は、画素[m][s,t]が
合成画像生成処理１７００において不要であることを示
す。処理ステップ１９５０において、画素[m][s,t]に対
応する画素[n][u,v]が存在するかを対応データ[m,n][s,
t]を用いて調べる。処理ステップ１９８０によって成さ
れる処理制御の各ループにおいて変数mの値は変化しな
い。処理ステップ１９７５によって成される処理制御の
各ループにおいて変数s,tの値は変化しない。処理ステ
ップ１９６０によって成される処理制御の各ループにお
いて変数n,u,vの値は変化しない。処理ステップ１９５
５においてカウントデータ[m][s,t]の値がカウントデー
タ[n][u,v]の値以下であるを調べ、カウントデータ[n]
[u,v]の値以下の場合は処理制御を１９６０に移す。そ
うでない場合は処理制御を１９７０に移す。処理制御１
９６０において、原画像[m]１１１０以外の全ての原画
像[n]１１１０に対して処理ステップ１９５０から処理
ステップ１９６０までを繰り返す。処理ステップ１９６
５において、画素[m][s,t]の合成データの値にXmax( Xm
ax＞0 ) をセットする。処理ステップ１９７０において
画素[m][s,t]の合成データの値にXmin( Xmin＝0) をセ
ットする。処理ステップ１９７５において、原画像[m]
１１１０の全ての画素[s,t]に対して処理ステップ１９
５０から処理ステップ１９７５までを繰り返す。処理ス
テップ１９８０において全ての原画像[m]１１１０に対
して処理ステップ１９５０から処理ステップ１９８０ま
でを繰り返す。

【００２５】以下、色の混合割合決定処理１３１０の処
理手順について図５を用いて詳しく述べる。処理ステッ
プ１３１５において、合成データ[O]( O=M+1 )を記憶す
る記憶エリアを記憶装置２５００に確保する。合成デー
タ[O]は、合成データ[m]１６１０を一時的に保持するデ
ータである。処理ステップ１３１７において、合成デー
タ[m][s,t]近傍において平滑化処理（コンピュータ画像
処理入門、田村秀行監修、日本工業技術センター編）を
行い、その結果を合成データ[O][s,t]に書き込む。平滑
化処理とは、例えば合成データ[m][s,t]の値と合成デー
タ[m][s,t]に隣接する合成データ( 合成データ[m][s-1,
t-1]...合成データ[m][s+1,t+1] )の平均を求める処理
である。処理ステップ１３２７によって成される処理制
御の各ループにおいて変数ｍの値は変化しない。

【００２６】処理ステップ１３２０によって成される処
理制御の各ループにおいて変数ｓ，ｔの値は変化しな
い。処理ステップ１３２０において原画像［ｍ］１１１
０の全ての画素[s,t]に対して処理ステップ１３１７か
ら処理ステップ１３２０までを繰り返す。処理ステップ
１３２３において合成データ[O]の全ての値を、合成デ
ータ[m]にコピーする。処理ステップ１３２５におい
て、処理ステップ１３１７から処理ステップ１３２５ま
でをI回繰り返す。定数Iは任意の定数であり、定数Ｉの
値を大きくすると、合成画像１８００の異なる原画像１
１００から生成される映像の接続部分において色を混合
する範囲が広くなる。

【００２７】処理ステップ１３２７において全ての原画
像[m]１１１０に対して処理ステップ１３１７から処理
ステップ１３２７までを繰り返す。以上の処理ステップ
により生成した合成データ１６００で、合成画像１８０
０の異なる原画像１１００から合成された映像間の接続
部分において色の混合割合が連続的に変化する原理につ
いて図９を用いて述べる。

【００２８】以下、本具体例を単純化するため、原画像
の枚数は２枚(M＝２)で、原画像の大きさは６×１（Ｓ
＝６、Ｔ＝１）で、それぞれの原画像において、同じ位
置の画素どうしが対応するものとし、最大の画素判別処
理１９００のより、左半分の３つの画素については原画
像[0]１１１０の映像の方が大きいく、右半分の３つの
画素については原画像[1]１１１０の映像の方が大きい
と判別したとする。またXmaxの値は９とする。色の混合
割合決定処理１３１０を行う前における合成データ[0]
１６１０の値は値９２１０であり、合成データ[1]１６
１０の値は値９７１０である。ここで画素[0][s,t]の色
の混合割合(割合[0][s,t]とする)を下記の式により求め
るとし、割合[0][s,t] = 合成データ[0][s,t]÷(合成デ
ータ[0][s,t]＋合成データ[n][s,t])画素[1][s,t]の色
の混合割合(割合[1][s,t]とする) を下記の式により求
めるとすると、割合[1][s,t] = 合成データ[1][s,t]÷
(合成データ[0][s,t]＋合成データ[n][s,t])色の混合割
合決定処理１３１０前における原画像[0]１１１０の各
画素の色を混合する割合は割合９１００で、原画像[1]
１１１０の各画素の色を混合する割合は割合９６００と
なり、画素[0][3,1]と画素[1][4,1]の色が違う場合に
は、接続部分において色が不連続に変化する。ここで図
中の割合の表示はパーセント表示である。

【００２９】次に色の混合割合決定処理１３１０におい
て、合成データ[0]１６1０、合成データ[1]１６1０の全
ての値に対して処理ステップ１３１７の平滑処理を２回
繰り返した場合（Ｉ＝２の場合）について述べる。まず
合成データ[0]１６１０の全ての値に対して平滑処理を
１回適用した結果、合成データ[0]１６１０の値は値９
２２０になる（各合成データ[0][s,t]の新しい値は、そ
の合成データの値と左右の合成データの値の平均であ
る）。合成データ[1]１６１０の値も同様にして値９７
２０になる。さらに平滑処理を再度繰り返して合成デー
タ[0]の値は値９２３０となり、合成データ[1]の値は値
９７３０となる。結果として色の混合割合決定処理１３
１０後における原画像[0]１１１０の各画素の色を混合
する割合は９３００で、原画像[1]１１１０の各画素の
色を混合する割合は９８００となる。接続部分におい
て、色を混合する割合が原画像[0]１１１０から原画像
[1]１１１０へ徐々に変化しており、繋ぎめの不連続性
が削減できることがわかる。

【００３０】以下、冗長なデータ判別処理１３６０の処
理手順について図６を用いて詳しく述べる。処理ステッ
プ１６３５において合成データ[m][s,t]の値がXminであ
るか調べる。Xminの場合は、処理制御を処理ステップ１
３６７に移す。Xminでない場合は、処理制御を処理ステ
ップ１３７３に移す。処理ステップ１３７５によって成
される各ループにおいて変数ｍの値は変化しない。処理
ステップ１３７３によって成される各ループにおいて変
数s,tの値は変化しない。処理ステップ１３６７におい
て画素[m][s,t]を削除する。

【００３１】処理ステップ１３７０において対応データ
[m,n][s,t]を削除する。処理ステップ１３７１におい
て、原画像[m]１１１０以外の全ての原画像[n]１１１０
に対して処理ステップ１３７０から処理ステップ１３７
１までを繰り返す。処理ステップ１３７３において原画
像[m]の全ての画素[s,t]に対して、処理ステップ１３６
５から処理ステップ１３７３までを繰り返す。処理ステ
ップ１３７５において全ての原画像[m]１１１０に対し
て処理ステップ１３６５から処理ステップ１３７５まで
を繰り返す。処理ステップ１３７７において、原画像１
１００を原画像’１４００として外部記憶装置２３００
に書き出す。処理ステップ１３８０において、対応デー
タ１２００を変形データ’１５００として外部記憶装置
２３００に書き出す。処理ステップ１３８３において、
合成データ１６００を外部記憶装置２３００に書き出
す。

【００３２】以下、合成画像生成処理手順について図７
を用いて詳しく述べる。処理ステップ１７０５において
外部から合成画像１８００を生成する視点位置を示す視
点位置パラメータの入力を受ける。処理ステップ１７１
０において、重みデータの記憶エリアを記憶装置２５０
０に確保し初期化する。重みデータは合成画像１８００
の画素[w,x]( 1≦w≦S, 1≦x≦T )ごとに割り当てられ
た重みデータ[w,x]から構成する。重みデータ[w,x]は、
既に合成画像の画素[w,x]に混合された原画像１１００
の画素の重みの合計を保持するデータである。重みデー
タ[w,x]の値は初期値として全て0をセットする。処理ス
テップ１７１３において、原画像’[m]１４１０を外部
記憶装置２３００から記憶装置２５００に読み込む。

【００３３】処理ステップ１７７０によって成される各
ループにおいて変数ｍの値は変化しない。処理ステップ
１７１５において、合成データ[m]１６１０を外部記憶
装置２３００から記憶装置２５００に読み込む。処理ス
テップ１７１８において、対応データ’[m,n]１５１０
を外部記憶装置２３００から記憶装置２５００に読み込
む。処理ステップ１７１９において、原画像’[m]１４
１０以外のすべての原画像’[n]１４１０に対して、処
理ステップ１７１８から処理ステップ１７１９までを繰
り返す。

【００３４】処理ステップ１７２０において、合成デー
タ[m][s,t]の値がXminよりも大きいか調べる。Xminより
も大きい場合には、処理ステップ１７３０に処理制御を
移す。Xminの場合は処理ステップ１７６０に処理制御を
移す。

【００３５】処理ステップ１７６０によって成される各
ループにおいて変数s,tの値は変化しない。処理ステッ
プ１７３０において、原画像’[m]１４１０の画素[s,t]
の合成画像１８００における画素[w,x]の位置を求め
る。画素[w,x]の位置の求め方は、通常のモーフィング
技術による場合と同じであり、視点位置パラメータと対
応データ’１５００により決定する。処理ステップ１７
３０から処理ステップ１７５０に至るまで変数w,xの値
は変化しない。

【００３６】処理ステップ１７４０において、合成画像
１８００の画素[w,x]の色と原画像’[m]１４１０の画素
[s,t]の色を混合して、新たな合成画像１８００の画素
[w,x]の色を計算する。合成画像１８００の画素[w,x]の
色をC1、原画像’[m]１４１０の画素[s,t]の色をC2、重
みデータ[w,x]の値をW1合成データ[m][s,t]の値をW2と
すると、新たな合成画像１８００の画素[w,x]の色C3
は、C3 = (C1×W1＋C2×W2)÷(W1＋W2) で求める。処理
ステップ１７５０において、重みデータ[w,x]の値を、
重みデータ[w,x]の値と合成データ[m][s,t]の値を加え
た値に更新する。

【００３７】処理ステップ１７６０において原画像[m]
１１１０の全ての画素[s,t]に対して、処理ステップ１
７２０から処理ステップ１７６０までを繰り返す。処理
ステップ１７７０において、全ての原画像[m]１１１０
に対して処理ステップ１１２０から処理ステップ１７７
０までを繰り返す。

【００３８】以下、第１の実施形態についてまとめる。
第１の実施形態では、合成画像生成処理１７００の前処
理１３００として、最大の画像判別処理１９００と色の
混合割合決定処理１３１０と冗長なデータ判別処理１３
６０からなる合成データ生成処理１３００を行う。最大
の画像判別処理１９００を行うことで、原画像１１００
に写る各物体についてどの原画像１１００の映像にその
物体が一番大きく写っているか判別する。色の混合割合
決定処理１３１０を行うことで、合成画像１８００にお
いて異なる原画像１１００から合成された映像間の不連
続な色の変化を軽減し、繋ぎめを目立たなくする。冗長
なデータ判別処理１３６０を行うことで、合成画像１８
００を合成するのに不必要な、原画像１１００の部分と
初期変形データ１２００の部分を削除する。合成画像生
成処理１７００では、前処理１３００の出力結果である
原画像’１４００、対応データ’１５００、合成データ
１６００を用いて合成画像１６００を生成する。

【００３９】以下、本発明の第２の実施形態について詳
細に説明する。第２の実施形態のシステム構成は図７に
示すように、サーバ８１００とクライアント８２００
を、広域データ転送路であるネットワーク８３００を用
いて接続する。サーバ８１００は、ネットワーク８３０
０を介してクライアント８２００と通信を行う通信装置
８１１０と、前処理１３００（a）を実行する処理装置
８１２０と、原画像１１００と、対応データ１２００
と、合成データ１６００と、カウントデータ２７００と
を一時的に保持する記憶装置８１３０と、外部記憶装置
２３００を、データ転送路であるバス８１４０を用い接
続する。クライアント８２００は、ネットワーク８３０
０を用いてサーバ８１００と通信を行う通信装置８２１
０と、表示装置２１００と、合成画像生成処理１７００
（ａ）を実行する処理装置８２２０と、入力装置２２０
０と、記憶装置２５００を、データ転送路であるバス８
２２０を用い接続する。

【００４０】サーバ８１００において、合成データ生成
処理１３００（ａ）を実行する。合成データ生成処理１
３００（ａ）は、合成データ生成処理１３００に変更を
加えたもので、その相違点は合成データ生成処理１３０
０では記憶装置が記憶装置１８００であったのに対し、
合成データ生成処理１３００（ａ）では記憶装置８１２
０である点である。合成画像生成処理１７００（ａ）
は、合成画像生成処理１７００を変更したもので、その
相違点は合成画像生成処理１７００において記憶装置２
５００と外部記憶装置２３００の間のデータ通信はバス
２６００を介して行っていたのに対し、加工画像生成処
理１７００（ａ）ではバス８１４０、通信装置８１１
０、ネットワーク８３００、通信装置８２１０、バス８
２２０を介してデータ通信を行う点である。

【００４１】以下、第２の実施形態についてまとめる。
第２の実施形態では、原画像’１４００と、対応デー
タ’１５００と、合成データ１６００をサーバ８１００
で作成し、保持する。クライアント８２００において、
合成画像１８００の作成要求があると、サーバ８１００
で作成した、原画像’１４００と、対応データ’１５０
０と、合成データ１６００を、サーバ８１００の外部記
憶装置２３００から、クライアント８２００の記憶装置
２８００に転送し、クライアント８２００の処理装置８
２２０で合成画像生成処理１７００（ａ）実行して、合
成画像１８００を生成する。

【００４２】

【発明の効果】以上述べたように本発明によれば、ある
複数の視点から撮影あるいは描かれた原画像をもとに他
視点から見た合成画像を生成する画像処理において、各
物体について一番大きく写っている原画像を判別し、各
物体について一番大きく写っている原画像のみから、合
成画像におけるその物体の映像を生成するようにしたの
で、従来のワーピング技術やモーフィング技術により合
成画像を生成する画像処理方法と比較して、詳細かつ鮮
明な合成画像が生成可能な画像処理方法が提供できる。

【００４３】さらに、合成画像において、異なる原画像
から生成された映像間の接続部分において、一方の原画
像の色から他方の原画像の色へ色を混合する割合を連続
的に変化するようにしたので、接続部分を目立たなくす
る画像処理方法が提供できる。さらに、合成画像を合成
するのに不必要となる原画像の部分と、対応データの部
分とを示すデータを用意したので、合成画像を生成する
処理において不必要な原画像に対して変形処理および混
合処理を行う必要がなくなり、その結果合成画像を生成
する処理の計算量が削減できる。

【００４４】さらに、それぞれの物体について、一番大
きく写っている画像とその画像を変形するための対応デ
ータ以外は削除するようにしたので、合成画像を生成す
るのに必要なデータ量が削減できる。

【図面の簡単な説明】

【図１】第１の実施の形態の処理手順とその入出力デー
タを示す図である。

【図２】第１の実施形態のシステムの構成図である。

【図３】第１の実施形態の最大の画像判別処理の処理手
順（前半）を示すフローチャートである。

【図４】第１の実施形態の最大の画像判別処理の処理手
順（後半）を示すフローチャートである。

【図５】第１の実施形態の色の混合割合決定処理の処理
手順を示すフローチャートである。

【図６】第１の実施形態の冗長なデータ判別処理の処理
手順を示すフローチャートである。

【図７】第１の実施形態の合成画像生成処理の処理手順
を示すフローチャートである。

【図８】第２の実施形態のシステム構成図である。

【図９】色の権号割合決定処理の効果を具体例を用いて
示した図である。

Claims (6)

【特許請求の範囲】
1. 【請求項１】複数の視点から撮影あるいは描写した複数
   の原画像と、前記複数の原画像間において同一の物体が
   それぞれの前記原画像のどの部分に写っているかあるい
   は書かれているかを示す対応データから、他の視点から
   見た合成画像を生成する画像処理方法において、 前記各物体ごとに一番鮮明に写っているあるいは書かれ
   ている前記原画像を特定する処理ステップと、 前記特定した原画像から前記合成画像における前記各物
   体の映像を合成する処理ステップを有することを特徴と
   する画像処理方法。
2. 【請求項２】請求項１において、 前記各物体ごとに一番鮮明に写っている前記原画像を特
   定ために、 前記対応データを用いて、前記各物体ごとに一番大きく
   写っている前記原画像を特定する処理ステップを有する
   ことを特徴とする画像処理方法。
3. 【請求項３】請求項１において、 前記合成画像の映像で異なる原画像から合成した映像の
   接続部分の色が不連続に変化することを軽減するため
   に、 前記接続部分を判別する処理ステップと、判別した接続
   部分では接続する原画像の色を混合する処理ステップを
   有することを特徴とする画像処理方法。
4. 【請求項４】請求項１において、 前記合成画像を生成する処理の前にあらかじめ前記合成
   画像を生成するのに不必要な前記原画像の部分と前記対
   応データの部分を判別することで、前記合成画像を生成
   する処理の計算量を削減するために、 不必要になる前記原画像の部分と不必要になる前記変形
   データを判別する処理ステップと、判別した前記不必要
   になる原画像の部分と前記不必要になる対応データを少
   ない計算量で検索可能にする合成データを生成する処理
   ステップとを前記合成画像を生成する処理の前処理とし
   て有し、 前記合成データを参照して合成画像を生成する処理ステ
   ップとを有することを特徴とする画像処理方法。
5. 【請求項５】請求項１において、 前記合成画像を合成するのに不必要な前記原画像の部分
   と前記対応データの部分を削除することで前記合成画像
   を合成する際に必要なデータ量を削減するために、 不必要になる前記原画像の部分と不必要になる前記変形
   データを判別する処理ステップと、 不必要になる前記原画像の部分と不必要になる前記変形
   データを削除する処理ステップとを前記画像を生成する
   処理の前処理として有することを特徴とする画像処理方
   法。
6. 【請求項６】前記複数の原画像と、前記対応データとを
   記憶する手段と、 前記各物体ごとに一番鮮明に写っている前記原画像を特
   定する処理ステップと前記特定した原画像から前記合成
   画像を生成する手段と、 生成した前記合成画像を表示する手段とを有することを
   特徴とする画像処理装置。