JPH10178564A - パノラマ画像作成装置及び記録媒体 - Google Patents
パノラマ画像作成装置及び記録媒体Info
- Publication number
- JPH10178564A JPH10178564A JP9269427A JP26942797A JPH10178564A JP H10178564 A JPH10178564 A JP H10178564A JP 9269427 A JP9269427 A JP 9269427A JP 26942797 A JP26942797 A JP 26942797A JP H10178564 A JPH10178564 A JP H10178564A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- divided
- unit
- panoramic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—Three-dimensional [3D] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two two-dimensional [2D] image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/167—Synchronising or controlling image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
Abstract
(57)【要約】
【課題】 分割して撮影した画像を合成してパノラマ画
像を作成するに際し、撮像手段の視野の差、或は、撮影
対象の移動により、オーバーラップ領域の画像が完全に
一致しない。 【解決手段】 画像入力装置１０１と、入力された分割
画像を記憶するフレームメモリ１０２と、分割画像の合
成位置を計算する画像位置計算部１０６と、隣接する分
割画像間のオーバーラップ領域内の視差を含んだ画像か
ら、画像間の視差情報を抽出する画像視差抽出処理部１
０７と、前記視差を含んだ画像から複数の中間画像を作
成する中間画像生成処理部１０８と、分割画像からパノ
ラマ画像を合成する画像合成処理部１０９を備え、オー
バーラップ領域の画像のずれを前記画像視差抽出処理部
１０７で補正すると共に、前記中間画像生成処理部１０
８で作成した中間画像で補間してパノラマ画像を合成す
る。
像を作成するに際し、撮像手段の視野の差、或は、撮影
対象の移動により、オーバーラップ領域の画像が完全に
一致しない。 【解決手段】 画像入力装置１０１と、入力された分割
画像を記憶するフレームメモリ１０２と、分割画像の合
成位置を計算する画像位置計算部１０６と、隣接する分
割画像間のオーバーラップ領域内の視差を含んだ画像か
ら、画像間の視差情報を抽出する画像視差抽出処理部１
０７と、前記視差を含んだ画像から複数の中間画像を作
成する中間画像生成処理部１０８と、分割画像からパノ
ラマ画像を合成する画像合成処理部１０９を備え、オー
バーラップ領域の画像のずれを前記画像視差抽出処理部
１０７で補正すると共に、前記中間画像生成処理部１０
８で作成した中間画像で補間してパノラマ画像を合成す
る。
Description
【０００１】
【発明の属する技術分野】本発明は、複数のスチルデジ
タル画像から、パノラマ画像を合成するパノラマ画像作
成装置に関するものである。
タル画像から、パノラマ画像を合成するパノラマ画像作
成装置に関するものである。
【０００２】
【従来の技術】複数の互いにオーバーラップ領域を持つ
デジタル画像をつなぎ合わせ、パノラマ画像、或いは高
精細（高解像度）画像を作成する方法としては、例え
ば、特開平３−１８２９７６号公報に開示されているよ
うな２つの特徴粒子を隣接画像間で抽出し、それらを結
ぶ線を接合線として画像をつなぐ方法、或いは、特開平
５−１２２６０６号公報に開示されているような濃度差
が最小になるような領域で画像をつなぐ方法がある。ま
た、画像を接合する際に、接合線のように線で結ぶので
はなく、接合線周辺において両画像の濃度変化が不連続
にならないように色調の平滑化を行なう方法が東京大学
出版会発行の画像解析ハンドブック４６６頁に記載され
ている。
デジタル画像をつなぎ合わせ、パノラマ画像、或いは高
精細（高解像度）画像を作成する方法としては、例え
ば、特開平３−１８２９７６号公報に開示されているよ
うな２つの特徴粒子を隣接画像間で抽出し、それらを結
ぶ線を接合線として画像をつなぐ方法、或いは、特開平
５−１２２６０６号公報に開示されているような濃度差
が最小になるような領域で画像をつなぐ方法がある。ま
た、画像を接合する際に、接合線のように線で結ぶので
はなく、接合線周辺において両画像の濃度変化が不連続
にならないように色調の平滑化を行なう方法が東京大学
出版会発行の画像解析ハンドブック４６６頁に記載され
ている。
【０００３】
【発明が解決しようとする課題】しかしながら、デジタ
ル画像の撮影において、手持ちによるパン撮影する場
合、三脚を用いてパン撮影する場合、或いは複数のカメ
ラによりオーバラップを持つように設置し撮影する場合
などがある。手持ちによるパン撮影や、複数のカメラで
の撮影では、図４に示すように、カメラのレンズ位置が
移動する。また、多くのカメラと三脚の組合せにおいて
も回転中心とカメラのレンズ中心が一致しないので多少
のレンズの移動が生じる。これらのレンズ位置の相違
は、撮像画像において被写体の奥行きの違いに起因する
視差を生じさせるため、図５に見られるように画像内の
被写体の奥行きが違う部分においてパン方向側に、一方
では写っているが、他方には写っていないような部分が
生じることや、撮影に時間的ずれがあるために移動する
物体が撮影された場合にも、オーバーラップ内の画像は
一致しない。
ル画像の撮影において、手持ちによるパン撮影する場
合、三脚を用いてパン撮影する場合、或いは複数のカメ
ラによりオーバラップを持つように設置し撮影する場合
などがある。手持ちによるパン撮影や、複数のカメラで
の撮影では、図４に示すように、カメラのレンズ位置が
移動する。また、多くのカメラと三脚の組合せにおいて
も回転中心とカメラのレンズ中心が一致しないので多少
のレンズの移動が生じる。これらのレンズ位置の相違
は、撮像画像において被写体の奥行きの違いに起因する
視差を生じさせるため、図５に見られるように画像内の
被写体の奥行きが違う部分においてパン方向側に、一方
では写っているが、他方には写っていないような部分が
生じることや、撮影に時間的ずれがあるために移動する
物体が撮影された場合にも、オーバーラップ内の画像は
一致しない。
【０００４】従来の画像接合技術では、接合線を直線
や、幅を持った直線で接合していたが、前記のような画
像間に差があるような場合には、うまく合成出来ない場
合が多い。特に、一部は自然につながっていても、視差
の生じている部分や、移動物体を含んでいる箇所におい
ては、接合線上でのずれや、２重写りが生じ、接合した
パノラマ画像の品質を著しく低下させる原因となってい
る。
や、幅を持った直線で接合していたが、前記のような画
像間に差があるような場合には、うまく合成出来ない場
合が多い。特に、一部は自然につながっていても、視差
の生じている部分や、移動物体を含んでいる箇所におい
ては、接合線上でのずれや、２重写りが生じ、接合した
パノラマ画像の品質を著しく低下させる原因となってい
る。
【０００５】本発明は、以上のような従来技術の問題点
を解決するため、カメラなどで風景を撮影する際、カメ
ラのレンズ中心が移動が避けられない場合の撮影におい
ては、奥行きの違いによって生じる視差を含む画像に対
しても、画像のズレや２重写りによる画質の低下が少な
いパノラマ画像作成装置を提供する。また、カメラのレ
ンズ中心が移動が避けられない場合や、動物体を含むこ
とが避けられない場合の撮影においては、奥行きの違い
によって生じる視差や、動物体を含む画像に対しても、
画像のズレや２重写りによる画質の低下が少ないパノラ
マ画像作成装置を提供する。
を解決するため、カメラなどで風景を撮影する際、カメ
ラのレンズ中心が移動が避けられない場合の撮影におい
ては、奥行きの違いによって生じる視差を含む画像に対
しても、画像のズレや２重写りによる画質の低下が少な
いパノラマ画像作成装置を提供する。また、カメラのレ
ンズ中心が移動が避けられない場合や、動物体を含むこ
とが避けられない場合の撮影においては、奥行きの違い
によって生じる視差や、動物体を含む画像に対しても、
画像のズレや２重写りによる画質の低下が少ないパノラ
マ画像作成装置を提供する。
【０００６】
【課題を解決するための手段】本発明の請求項１に係る
パノラマ画像作成装置は、複数の撮像手段により、或い
は、撮像手段を複数回移動して、撮像画像の一部をオー
バーラップさせて撮影し、得られた分割画像をつなぎ合
わせてパノラマ画像を作成するためのパノラマ画像作成
装置であって、前記撮像手段と、前記撮像手段から入力
された分割画像を記憶する記憶手段と、前記撮像手段に
対して前記分割画像の取り込みを指示すると共に、前記
記憶手段に対しては、前記取り込まれた分割画像の記憶
先アドレスを指示する画像入力処理手段と、前記分割画
像の合成位置を計算する画像位置計算手段と、隣接する
前記分割画像間のオーバーラップ領域内の視差を含んだ
画像から、画像間の視差情報を抽出する視差情報抽出手
段と、前記オーバーラップ領域内の視差を含んだ画像か
ら複数の中間画像を作成する中間画像作成手段と、前記
分割画像からパノラマ画像を合成する画像合成手段とを
備え、前記オーバーラップ領域の画像のずれを前記視差
情報抽出手段で補正すると共に、前記中間画像作成手段
で作成した中間画像で補間してパノラマ画像を合成する
ことを特徴とする。
パノラマ画像作成装置は、複数の撮像手段により、或い
は、撮像手段を複数回移動して、撮像画像の一部をオー
バーラップさせて撮影し、得られた分割画像をつなぎ合
わせてパノラマ画像を作成するためのパノラマ画像作成
装置であって、前記撮像手段と、前記撮像手段から入力
された分割画像を記憶する記憶手段と、前記撮像手段に
対して前記分割画像の取り込みを指示すると共に、前記
記憶手段に対しては、前記取り込まれた分割画像の記憶
先アドレスを指示する画像入力処理手段と、前記分割画
像の合成位置を計算する画像位置計算手段と、隣接する
前記分割画像間のオーバーラップ領域内の視差を含んだ
画像から、画像間の視差情報を抽出する視差情報抽出手
段と、前記オーバーラップ領域内の視差を含んだ画像か
ら複数の中間画像を作成する中間画像作成手段と、前記
分割画像からパノラマ画像を合成する画像合成手段とを
備え、前記オーバーラップ領域の画像のずれを前記視差
情報抽出手段で補正すると共に、前記中間画像作成手段
で作成した中間画像で補間してパノラマ画像を合成する
ことを特徴とする。
【０００７】本発明の請求項２に係るパノラマ画像作成
装置は、複数の撮像手段により、或いは、撮像手段を複
数回移動して、撮像画像の一部をオーバーラップさせて
撮影し、得られた分割画像をつなぎ合わせてパノラマ画
像を作成するためのパノラマ画像作成装置であって、前
記撮像手段と、前記撮像手段から入力された分割画像を
記憶する記憶手段と、前記撮像手段に対して前記分割画
像の取り込みを指示すると共に、前記記憶手段に対して
は、前記取り込まれた分割画像の記憶先アドレスを指示
する画像入力処理手段と、前記分割画像の合成位置を計
算する画像位置計算手段と、隣接する前記分割画像間の
オーバーラップ領域内の視差を含んだ画像から、画像間
の視差情報を抽出する視差情報抽出手段と、前記視差情
報抽出手段によって得られた奥行き情報に基づいて、前
記オーバーラップ領域の画像の撮像手段に最も近い被写
体の輪郭上に接合線を設定する接合線決定手段と、前記
分割画像からパノラマ画像を合成する画像合成手段とを
備え、前記オーバーラップ領域の画像のずれを前記視差
情報抽出手段で補正すると共に、前記接合線決定手段に
よって求められた接合線に基づいて、分割画像を接合す
ることを特徴とする。
装置は、複数の撮像手段により、或いは、撮像手段を複
数回移動して、撮像画像の一部をオーバーラップさせて
撮影し、得られた分割画像をつなぎ合わせてパノラマ画
像を作成するためのパノラマ画像作成装置であって、前
記撮像手段と、前記撮像手段から入力された分割画像を
記憶する記憶手段と、前記撮像手段に対して前記分割画
像の取り込みを指示すると共に、前記記憶手段に対して
は、前記取り込まれた分割画像の記憶先アドレスを指示
する画像入力処理手段と、前記分割画像の合成位置を計
算する画像位置計算手段と、隣接する前記分割画像間の
オーバーラップ領域内の視差を含んだ画像から、画像間
の視差情報を抽出する視差情報抽出手段と、前記視差情
報抽出手段によって得られた奥行き情報に基づいて、前
記オーバーラップ領域の画像の撮像手段に最も近い被写
体の輪郭上に接合線を設定する接合線決定手段と、前記
分割画像からパノラマ画像を合成する画像合成手段とを
備え、前記オーバーラップ領域の画像のずれを前記視差
情報抽出手段で補正すると共に、前記接合線決定手段に
よって求められた接合線に基づいて、分割画像を接合す
ることを特徴とする。
【０００８】本発明の請求項３に係るパノラマ画像作成
装置は、請求項２に係るパノラマ画像作成装置におい
て、前記接合線決定手段は、前記オーバーラップ領域の
画像の撮像手段に最も近い被写体のオーバーラップ領域
側の画像端に最も近い輪郭に接合線を設定することを特
徴とする。本発明の請求項４に係るパノラマ画像作成装
置は、請求項２又は、請求項３に係るパノラマ画像作成
装置において、前記接合線決定手段は、前記オーバーラ
ップ領域内において、接合線決定時における基準画像の
選択と、前記接合線決定方法の組み合わせによる複数の
接合線の中から最適な接合線を選出して分割画像を接合
することを特徴とする。
装置は、請求項２に係るパノラマ画像作成装置におい
て、前記接合線決定手段は、前記オーバーラップ領域の
画像の撮像手段に最も近い被写体のオーバーラップ領域
側の画像端に最も近い輪郭に接合線を設定することを特
徴とする。本発明の請求項４に係るパノラマ画像作成装
置は、請求項２又は、請求項３に係るパノラマ画像作成
装置において、前記接合線決定手段は、前記オーバーラ
ップ領域内において、接合線決定時における基準画像の
選択と、前記接合線決定方法の組み合わせによる複数の
接合線の中から最適な接合線を選出して分割画像を接合
することを特徴とする。
【０００９】本発明の請求項５に係る記録媒体は、複数
の撮像手段により、或いは、撮像手段を複数回移動し
て、撮像画像の一部をオーバーラップさせて撮影し、得
られた分割画像をつなぎ合わせてパノラマ画像を作成す
るためのプログラムであり、画像入力処理手段は撮像手
段に対して指示して分割画像の取り込みを行わせると共
に、記憶手段に対して記憶先アドレスを指示して取り込
まれた前記分割画像を記憶手段に記憶させ、画像位置計
算手段には前記分割画像の合成位置を計算させ、視差情
報抽出手段には隣接する前記分割画像間のオーバーラッ
プ領域内の視差を含んだ画像から画像間の視差情報を抽
出させ、中間画像作成手段には前記オーバーラップ領域
内の視差を含んだ画像から複数の中間画像を作成させ、
画像合成手段には前記分割画像からパノラマ画像を合成
させ、その際、前記視差情報抽出手段において前記オー
バーラップ領域の画像のずれを補正すると共に、前記中
間画像作成手段で作成した中間画像で補間してパノラマ
画像を合成する動作を実行させるプログラムを格納した
ものである。
の撮像手段により、或いは、撮像手段を複数回移動し
て、撮像画像の一部をオーバーラップさせて撮影し、得
られた分割画像をつなぎ合わせてパノラマ画像を作成す
るためのプログラムであり、画像入力処理手段は撮像手
段に対して指示して分割画像の取り込みを行わせると共
に、記憶手段に対して記憶先アドレスを指示して取り込
まれた前記分割画像を記憶手段に記憶させ、画像位置計
算手段には前記分割画像の合成位置を計算させ、視差情
報抽出手段には隣接する前記分割画像間のオーバーラッ
プ領域内の視差を含んだ画像から画像間の視差情報を抽
出させ、中間画像作成手段には前記オーバーラップ領域
内の視差を含んだ画像から複数の中間画像を作成させ、
画像合成手段には前記分割画像からパノラマ画像を合成
させ、その際、前記視差情報抽出手段において前記オー
バーラップ領域の画像のずれを補正すると共に、前記中
間画像作成手段で作成した中間画像で補間してパノラマ
画像を合成する動作を実行させるプログラムを格納した
ものである。
【００１０】本発明の請求項６に係る記録媒体は、複数
の撮像手段により、或いは、撮像手段を複数回移動し
て、撮像画像の一部をオーバーラップさせて撮影し、得
られた分割画像をつなぎ合わせてパノラマ画像を作成す
るためのプログラムであり、画像入力処理手段は撮像手
段に対して指示して分割画像の取り込みを行わせると共
に、記憶手段に対して記憶先アドレスを指示して取り込
まれた前記分割画像を記憶手段に記憶させ、画像位置計
算手段には前記分割画像の合成位置を計算させ、視差情
報抽出手段には隣接する前記分割画像間のオーバーラッ
プ領域内の視差を含んだ画像から画像間の視差情報を抽
出させ、接合線決定手段には前記視差情報抽出手段によ
って得られた奥行き情報に基づいて、前記オーバーラッ
プ領域の画像の撮像手段に最も近い被写体の輪郭上に接
合線を設定させ、画像合成手段には前記分割画像からパ
ノラマ画像を合成させ、その際、前記視差情報抽出手段
において前記オーバーラップ領域の画像のずれを補正す
ると共に、前記接合線決定手段によって求められた接合
線に基づいて、分割画像を接合することでパノラマ画像
を合成する動作を実行させるプログラムを格納したもの
である。
の撮像手段により、或いは、撮像手段を複数回移動し
て、撮像画像の一部をオーバーラップさせて撮影し、得
られた分割画像をつなぎ合わせてパノラマ画像を作成す
るためのプログラムであり、画像入力処理手段は撮像手
段に対して指示して分割画像の取り込みを行わせると共
に、記憶手段に対して記憶先アドレスを指示して取り込
まれた前記分割画像を記憶手段に記憶させ、画像位置計
算手段には前記分割画像の合成位置を計算させ、視差情
報抽出手段には隣接する前記分割画像間のオーバーラッ
プ領域内の視差を含んだ画像から画像間の視差情報を抽
出させ、接合線決定手段には前記視差情報抽出手段によ
って得られた奥行き情報に基づいて、前記オーバーラッ
プ領域の画像の撮像手段に最も近い被写体の輪郭上に接
合線を設定させ、画像合成手段には前記分割画像からパ
ノラマ画像を合成させ、その際、前記視差情報抽出手段
において前記オーバーラップ領域の画像のずれを補正す
ると共に、前記接合線決定手段によって求められた接合
線に基づいて、分割画像を接合することでパノラマ画像
を合成する動作を実行させるプログラムを格納したもの
である。
【００１１】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照しながら説明する。図１は、本発明の請
求項１に係る実施形態の一実施例を示すブロック図であ
る。１０１は画像入力装置、１０２はフレームメモリ、
１０３は画像出力装置、１０４は画像入力処理部、１０
５は画像前処理部、１０６は画像位置計算部、１０７は
画像視差抽出処理部、１０８は中間画像生成処理部、１
０９は画像合成処理部、１１０は画像出力処理部、１１
１はタイミング制御部、１１２はＲＡＭである。図３
は、前記ＲＡＭ１１２の一構成例を示す図である。ここ
で、前記ＲＡＭ１１２は以下の説明にあるいくつかの処
理により、所定のアドレスから情報を得たり、各処理に
より発生した情報を格納する場所である。
て、図面を参照しながら説明する。図１は、本発明の請
求項１に係る実施形態の一実施例を示すブロック図であ
る。１０１は画像入力装置、１０２はフレームメモリ、
１０３は画像出力装置、１０４は画像入力処理部、１０
５は画像前処理部、１０６は画像位置計算部、１０７は
画像視差抽出処理部、１０８は中間画像生成処理部、１
０９は画像合成処理部、１１０は画像出力処理部、１１
１はタイミング制御部、１１２はＲＡＭである。図３
は、前記ＲＡＭ１１２の一構成例を示す図である。ここ
で、前記ＲＡＭ１１２は以下の説明にあるいくつかの処
理により、所定のアドレスから情報を得たり、各処理に
より発生した情報を格納する場所である。
【００１２】図８は、本発明の請求項１に係る実施形態
の処理の手順を示す図である。
の処理の手順を示す図である。
【００１３】以下、図１を用いて本発明の請求項１に係
る実施形態に関する内容を説明する。
る実施形態に関する内容を説明する。
【００１４】全体のシステムが起動するとタイミング制
御部１１１は、画像入力処理部１０４、画像前処理部１
０５、画像位置計算部１０６、画像視差抽出処理部１０
７、中間画像生成処理部１０８、画像合成処理部１０
９、画像出力処理部１１０に対してリセット信号を送
る。
御部１１１は、画像入力処理部１０４、画像前処理部１
０５、画像位置計算部１０６、画像視差抽出処理部１０
７、中間画像生成処理部１０８、画像合成処理部１０
９、画像出力処理部１１０に対してリセット信号を送
る。
【００１５】前記各ブロックにおける処理は、タイミン
グ制御部１１１からの開始信号を受信するまで待ち状態
に入る。まず、タイミング制御部１１１は、入力画像を
フレームメモリ１０２へ格納するために画像入力処理部
１０４へ開始信号を出し、画像入力処理部１０４からの
終了信号を受けるまで待ち状態に入る。
グ制御部１１１からの開始信号を受信するまで待ち状態
に入る。まず、タイミング制御部１１１は、入力画像を
フレームメモリ１０２へ格納するために画像入力処理部
１０４へ開始信号を出し、画像入力処理部１０４からの
終了信号を受けるまで待ち状態に入る。
【００１６】画像入力処理部１０４は、タイミング制御
部１１１から開始信号を受けると、画像入力装置１０１
に対し、画像をフレームメモリ１０２に転送する処理を
行なう。もし、オンラインで画像の合成を行なう時は画
像入力装置１０１は、画像入力手段と、画像入力手段か
ら得られるアナログ画像信号をデジタル画像信号に変換
するためのＡ／Ｄ変換手段からなり、画像入力処理部１
０４からの信号により画像の撮像とアナログ画像信号の
Ａ／Ｄ変換手段により、デジタル画像信号に変換し、フ
レームメモリ１０２の所定のアドレスに転送する処理と
なる。オフラインでの画像の合成の場合は、画像入力装
置１０１は画像の記憶装置に当たり、画像入力処理部１
０４は、画像入力装置１０１に記憶されている画像信号
をフレームメモリ１０２の所定のアドレスに転送する処
理となる。画像入力処理部１０４は、全ての画像をフレ
ームメモリ１０２への転送が完了すると、画像入力枚数
や、それぞれの格納アドレスを順次ＲＡＭ１１２の所定
アドレスに書き込む。その後、画像入力処理部１０４
は、タイミング制御部１１１に対して画像入力処理の終
了を通知する終了信号を送信して処理を終了する。
部１１１から開始信号を受けると、画像入力装置１０１
に対し、画像をフレームメモリ１０２に転送する処理を
行なう。もし、オンラインで画像の合成を行なう時は画
像入力装置１０１は、画像入力手段と、画像入力手段か
ら得られるアナログ画像信号をデジタル画像信号に変換
するためのＡ／Ｄ変換手段からなり、画像入力処理部１
０４からの信号により画像の撮像とアナログ画像信号の
Ａ／Ｄ変換手段により、デジタル画像信号に変換し、フ
レームメモリ１０２の所定のアドレスに転送する処理と
なる。オフラインでの画像の合成の場合は、画像入力装
置１０１は画像の記憶装置に当たり、画像入力処理部１
０４は、画像入力装置１０１に記憶されている画像信号
をフレームメモリ１０２の所定のアドレスに転送する処
理となる。画像入力処理部１０４は、全ての画像をフレ
ームメモリ１０２への転送が完了すると、画像入力枚数
や、それぞれの格納アドレスを順次ＲＡＭ１１２の所定
アドレスに書き込む。その後、画像入力処理部１０４
は、タイミング制御部１１１に対して画像入力処理の終
了を通知する終了信号を送信して処理を終了する。
【００１７】タイミング制御部１１１は、入力画像のフ
レームメモリへの転送の終了信号を受信すると、画像前
処理部１０５へ開始信号を送信し、画像前処理部１０５
からの終了信号を受けるまで待ち状態に入る。
レームメモリへの転送の終了信号を受信すると、画像前
処理部１０５へ開始信号を送信し、画像前処理部１０５
からの終了信号を受けるまで待ち状態に入る。
【００１８】画像前処理部１０５は、タイミング制御部
１１１から開始信号を受けると、ＲＡＭ１１２から処理
すべき画像枚数を読み出し記憶し、カウンタｋを１にセ
ットする。次にカウンタｋに対応した画像Ｉ（ｋ）のフ
レームメモリ１０２内のアドレスをＲＡＭ１１２から読
み出し、該アドレスからフレームメモリ１０２内の所定
の画像を読み出す（図８（イ）、（ロ）を参照）。読み
込んだ画像Ｉ（ｋ）に対して、該画像に対する既知の歪
みを除去する処理を行なう。それには、例えば、撮像系
のレンズの持つ収差補正などがある。それを除去した画
像を再度、フレームメモリ１０２の同一のアドレスに書
き出す。その後、カウンタｋを１増やし、カウンタｋと
画像枚数とを比較する。カウンタｋが画像枚数以下なら
ば、次の画像の前処理を行なう。カウンタｋが画像枚数
より大ならば、画像前処理部１０５は、タイミング制御
部１１１に対して画像前処理の終了を通知する終了信号
を送信して処理を終了する。
１１１から開始信号を受けると、ＲＡＭ１１２から処理
すべき画像枚数を読み出し記憶し、カウンタｋを１にセ
ットする。次にカウンタｋに対応した画像Ｉ（ｋ）のフ
レームメモリ１０２内のアドレスをＲＡＭ１１２から読
み出し、該アドレスからフレームメモリ１０２内の所定
の画像を読み出す（図８（イ）、（ロ）を参照）。読み
込んだ画像Ｉ（ｋ）に対して、該画像に対する既知の歪
みを除去する処理を行なう。それには、例えば、撮像系
のレンズの持つ収差補正などがある。それを除去した画
像を再度、フレームメモリ１０２の同一のアドレスに書
き出す。その後、カウンタｋを１増やし、カウンタｋと
画像枚数とを比較する。カウンタｋが画像枚数以下なら
ば、次の画像の前処理を行なう。カウンタｋが画像枚数
より大ならば、画像前処理部１０５は、タイミング制御
部１１１に対して画像前処理の終了を通知する終了信号
を送信して処理を終了する。
【００１９】タイミング制御部１１１は、画像前処理部
１０５からの終了信号を受信すると、画像位置計算部１
０６へ開始信号を送信し、画像位置計算部１０６からの
終了信号を受けるまで待ち状態に入る。
１０５からの終了信号を受信すると、画像位置計算部１
０６へ開始信号を送信し、画像位置計算部１０６からの
終了信号を受けるまで待ち状態に入る。
【００２０】画像位置計算部１０６は、タイミング制御
部１１１から開始信号を受けると、ＲＡＭ１１２から処
理すべき画像枚数を読み出し記憶し、カウンタｋを１に
セットする。次にカウンタｋに対応した画像のフレーム
メモリ１０２内のアドレスをＲＡＭ１１２から読み出
し、該アドレスからフレームメモリ１０２内の所定の画
像Ｉ（ｋ）の内、図９（ａ）及び図９（ｂ）に示すよう
なパターンマッチングの参照領域となる部分（rx0，ry
0）−（rx1，ry1）を読み出す。
部１１１から開始信号を受けると、ＲＡＭ１１２から処
理すべき画像枚数を読み出し記憶し、カウンタｋを１に
セットする。次にカウンタｋに対応した画像のフレーム
メモリ１０２内のアドレスをＲＡＭ１１２から読み出
し、該アドレスからフレームメモリ１０２内の所定の画
像Ｉ（ｋ）の内、図９（ａ）及び図９（ｂ）に示すよう
なパターンマッチングの参照領域となる部分（rx0，ry
0）−（rx1，ry1）を読み出す。
【００２１】さらに、その画像に隣接する画像Ｉ（ｋ＋
１）の探索領域（sx0，sy0）−（sx1，sy1）を同様に読
み出す。探索領域については、画像間の位置関係がある
程度分かっている場合、つまり、位置関係を一定にする
ように撮像されたか、或いは、撮像後、大まかな位置関
係を外部から与えられている場合には、その情報によ
り、探索領域を限定して読み出し、また、位置関係が未
定の場合には、画像の全領域を探索領域として読み出
す。
１）の探索領域（sx0，sy0）−（sx1，sy1）を同様に読
み出す。探索領域については、画像間の位置関係がある
程度分かっている場合、つまり、位置関係を一定にする
ように撮像されたか、或いは、撮像後、大まかな位置関
係を外部から与えられている場合には、その情報によ
り、探索領域を限定して読み出し、また、位置関係が未
定の場合には、画像の全領域を探索領域として読み出
す。
【００２２】読み込んだそれぞれの画像の参照領域、探
索領域をもとにパターンマッチングを行ない、参照領域
の画像信号が、探索領域内でのマッチングする位置、つ
まり、参照領域との相関値が最も高い位置（mx0，my0）
を求める。相関値は、例えば下式で計算を行なう。
索領域をもとにパターンマッチングを行ない、参照領域
の画像信号が、探索領域内でのマッチングする位置、つ
まり、参照領域との相関値が最も高い位置（mx0，my0）
を求める。相関値は、例えば下式で計算を行なう。
【００２３】
【数１】
【００２４】ここで、Ｒareaは参照領域、Ｒ（ｘ，ｙ）
は参照領域の座標（ｘ，ｙ）における輝度値、Ｓ（ｘ，
ｙ）は探索領域の座標（ｘ，ｙ）における輝度値、（of
fsetx，offsety）は探索画像の原点（０，０）からのオ
フセットである。ここで求めたマッチング位置（mx0，m
y0）は、図９（ｃ）に示すように元の画像から切り出し
た参照領域、探索領域のそれぞれの画像における位置な
ので、以下の式で補正を行ない、元画像における画像間
のずれ量（ｘmove，ｙmove）を求める。
は参照領域の座標（ｘ，ｙ）における輝度値、Ｓ（ｘ，
ｙ）は探索領域の座標（ｘ，ｙ）における輝度値、（of
fsetx，offsety）は探索画像の原点（０，０）からのオ
フセットである。ここで求めたマッチング位置（mx0，m
y0）は、図９（ｃ）に示すように元の画像から切り出し
た参照領域、探索領域のそれぞれの画像における位置な
ので、以下の式で補正を行ない、元画像における画像間
のずれ量（ｘmove，ｙmove）を求める。
【００２５】
【数２】
【００２６】以上により、画像間のずれ量（平行移動
量）が計算出来る。
量）が計算出来る。
【００２７】また、必要ならば、図９（ｄ）及び図９
（ｅ）のように２個以上の参照領域を設けることで、参
照領域間の距離とマッチング領域間の距離の変化から画
像のスケールの変化、参照領域とマッチング領域のなす
方向差により相対的な回転角度なども、求められる。例
えば、複数の参照領域の中心を通るベクトルＶｒ、マッ
チング領域の中心を通るベクトルをＶｍとした場合、ス
ケールの変化、回転角度は以下の式によって求められ
る。
（ｅ）のように２個以上の参照領域を設けることで、参
照領域間の距離とマッチング領域間の距離の変化から画
像のスケールの変化、参照領域とマッチング領域のなす
方向差により相対的な回転角度なども、求められる。例
えば、複数の参照領域の中心を通るベクトルＶｒ、マッ
チング領域の中心を通るベクトルをＶｍとした場合、ス
ケールの変化、回転角度は以下の式によって求められ
る。
【００２８】
【数３】
【００２９】この場合、画像Ｉ(ｋ）に対するスケール
Ｓ（ｋ）、回転角度θ（ｋ）から、画像Ｉ（ｋ＋１）を
１／Ｓｋ倍、−θ（ｋ）だけ回転したものを改めてフレ
ームバッファの元の画像Ｉ（ｋ＋１）のアドレスに書き
出す。さらに求めた平行移動量をカウンタｋに対応した
ＲＡＭ１１２の所定の位置に書き込む。以上の処理を行
なった後、カウンタｋを１増やし、カウンタｋと画像枚
数との比較を行なう。カウンタｋが画像枚数より小なら
ば、次の画像位置の計算処理を行なう。カウンタｋが画
像枚数に等しいか大ならば、画像位置計算部１０６は、
タイミング制御部１１１に対して画像位置計算処理の終
了を通知する終了信号を送信して処理を終了する。
Ｓ（ｋ）、回転角度θ（ｋ）から、画像Ｉ（ｋ＋１）を
１／Ｓｋ倍、−θ（ｋ）だけ回転したものを改めてフレ
ームバッファの元の画像Ｉ（ｋ＋１）のアドレスに書き
出す。さらに求めた平行移動量をカウンタｋに対応した
ＲＡＭ１１２の所定の位置に書き込む。以上の処理を行
なった後、カウンタｋを１増やし、カウンタｋと画像枚
数との比較を行なう。カウンタｋが画像枚数より小なら
ば、次の画像位置の計算処理を行なう。カウンタｋが画
像枚数に等しいか大ならば、画像位置計算部１０６は、
タイミング制御部１１１に対して画像位置計算処理の終
了を通知する終了信号を送信して処理を終了する。
【００３０】タイミング制御部１１１は、画像位置計算
部１０６からの終了信号を受信すると、画像視差抽出部
１０７へ開始信号を送信し、画像視差抽出処理部１０７
からの終了信号を受けるまで待ち状態に入る。
部１０６からの終了信号を受信すると、画像視差抽出部
１０７へ開始信号を送信し、画像視差抽出処理部１０７
からの終了信号を受けるまで待ち状態に入る。
【００３１】画像視差抽出処理部１０７は、タイミング
制御部１１１から開始信号を受けると、ＲＡＭ１１２か
ら処理すべき画像枚数を読み出し記憶し、カウンタｋを
１にセットする。次にカウンタｋに対応した画像のフレ
ームメモリ１０２内のアドレスをＲＡＭ１１２から読み
出し、該アドレスからフレームメモリ１０２内の画像を
読み出す。これを画像Ｉ（ｋ）と呼ぶ。さらに、その画
像に隣接する（カウンタｋ＋１に対応する）画像を読み
出す。この画像を画像Ｉ（ｋ＋１）と呼ぶ。その後、画
像位置計算部１０６で求めた平行移動量をＲＡＭ１１２
より読み出し、画像Ｉ（ｋ）と画像Ｉ（ｋ＋１）がオー
バーラップする領域を画像Ｉ（ｋ）、画像Ｉ（ｋ＋１）
についてそれぞれ求める。
制御部１１１から開始信号を受けると、ＲＡＭ１１２か
ら処理すべき画像枚数を読み出し記憶し、カウンタｋを
１にセットする。次にカウンタｋに対応した画像のフレ
ームメモリ１０２内のアドレスをＲＡＭ１１２から読み
出し、該アドレスからフレームメモリ１０２内の画像を
読み出す。これを画像Ｉ（ｋ）と呼ぶ。さらに、その画
像に隣接する（カウンタｋ＋１に対応する）画像を読み
出す。この画像を画像Ｉ（ｋ＋１）と呼ぶ。その後、画
像位置計算部１０６で求めた平行移動量をＲＡＭ１１２
より読み出し、画像Ｉ（ｋ）と画像Ｉ（ｋ＋１）がオー
バーラップする領域を画像Ｉ（ｋ）、画像Ｉ（ｋ＋１）
についてそれぞれ求める。
【００３２】そして、画像Ｉ（ｋ）のオーバーラップ部
分を分割し、それぞれを参照領域とし、画像Ｉ（ｋ＋
１）から対応する位置をパターンマッチングの手法を用
いて探索する。この際、探索を行なうのは視差による画
像間のずれであるので、探索は横方向のみから行なえば
良い。このずれ量は、視差による物体の見かけ上の動き
量であり、それは、奥行きに起因しているため、ずれの
方向や、ずれ量から、参照領域内の物体の奥行きが推定
出来る（図１０を参照）。
分を分割し、それぞれを参照領域とし、画像Ｉ（ｋ＋
１）から対応する位置をパターンマッチングの手法を用
いて探索する。この際、探索を行なうのは視差による画
像間のずれであるので、探索は横方向のみから行なえば
良い。このずれ量は、視差による物体の見かけ上の動き
量であり、それは、奥行きに起因しているため、ずれの
方向や、ずれ量から、参照領域内の物体の奥行きが推定
出来る（図１０を参照）。
【００３３】また、ある奥行きの距離の点を一致させた
場合、同一幅のオーバーラップ内でも、視差の関係上、
ある点よりカメラに近い物体ほど左側へのずれ量が大き
く、ある点よりカメラから遠いほど右側へのずれ量が大
きくなる。ここで、ある距離の点というのは、画像位置
計算部１０６で求めた平行移動量に対応する距離になる
が、ここで求めたオーバーラップ内のずれ量をもとに補
正を加えても良い。例えば、画像中最も奥行きの深い場
所で合わせるのならば、基準値をずれ量の最小値とし、
また、画像中最も奥行きの浅い場所で合わせるのなら
ば、基準値をずれ量の最大値とし、また、ずれ量の平均
を基準値としても良い。求めた基準値分だけＲＡＭ１１
２内の平行移動量を加え、また、今求めたオーバーラッ
プ領域内の各ずれ量を基準値と差をとり、補正する。そ
うすることで、基準値としたずれ量が０に補正出来る。
場合、同一幅のオーバーラップ内でも、視差の関係上、
ある点よりカメラに近い物体ほど左側へのずれ量が大き
く、ある点よりカメラから遠いほど右側へのずれ量が大
きくなる。ここで、ある距離の点というのは、画像位置
計算部１０６で求めた平行移動量に対応する距離になる
が、ここで求めたオーバーラップ内のずれ量をもとに補
正を加えても良い。例えば、画像中最も奥行きの深い場
所で合わせるのならば、基準値をずれ量の最小値とし、
また、画像中最も奥行きの浅い場所で合わせるのなら
ば、基準値をずれ量の最大値とし、また、ずれ量の平均
を基準値としても良い。求めた基準値分だけＲＡＭ１１
２内の平行移動量を加え、また、今求めたオーバーラッ
プ領域内の各ずれ量を基準値と差をとり、補正する。そ
うすることで、基準値としたずれ量が０に補正出来る。
【００３４】この処理においては、正確な奥行きは求め
ず、奥行きの差に伴う視差、つまり画素間のずれ量自体
を、領域毎、或いは画素毎にＲＡＭ１１２に格納してお
く。
ず、奥行きの差に伴う視差、つまり画素間のずれ量自体
を、領域毎、或いは画素毎にＲＡＭ１１２に格納してお
く。
【００３５】図６は、視差抽出を行なうためのマッチン
グの様子を示した図である。
グの様子を示した図である。
【００３６】画像（Ａ）の桝目は分割された参照領域に
当たり、領域内の丸印は領域中心を示す。画像（Ｂ）中
の枠はオーバーラップ領域を示し、丸印は画像（Ａ）の
参照領域中心を示す丸印に対応するもので、そこから伸
びる矢印は、マッチングによるずれの方向と、ずれ量を
示している。ここで、画像が図６のように右側の画像が
左側の画像を撮影した位置より右の位置で撮影されたも
のならば、右方向へのずれは大きければ大きいほど奥行
きが深く、左方向へのずれはずれ量が大きければ大きい
ほど奥行きが浅いことが言える。このずれ量を左方向を
正にとり、画素の輝度値として示したのが画像（Ｃ）で
ある。暗い部分ほど視差が小さく、つまり奥行きが深
く、明るい部分ほど視差が大きく、つまり奥行きが浅い
ことを示す。また、参照領域をさらに小さくすることに
より、より細かな視差抽出が可能になる（図８（ハ）、
（ニ）を参照）。
当たり、領域内の丸印は領域中心を示す。画像（Ｂ）中
の枠はオーバーラップ領域を示し、丸印は画像（Ａ）の
参照領域中心を示す丸印に対応するもので、そこから伸
びる矢印は、マッチングによるずれの方向と、ずれ量を
示している。ここで、画像が図６のように右側の画像が
左側の画像を撮影した位置より右の位置で撮影されたも
のならば、右方向へのずれは大きければ大きいほど奥行
きが深く、左方向へのずれはずれ量が大きければ大きい
ほど奥行きが浅いことが言える。このずれ量を左方向を
正にとり、画素の輝度値として示したのが画像（Ｃ）で
ある。暗い部分ほど視差が小さく、つまり奥行きが深
く、明るい部分ほど視差が大きく、つまり奥行きが浅い
ことを示す。また、参照領域をさらに小さくすることに
より、より細かな視差抽出が可能になる（図８（ハ）、
（ニ）を参照）。
【００３７】同様にして、画像Ｉ（ｋ＋１）を参照側、
画像Ｉ（ｋ）を探索側として奥行き抽出を行なう。画像
Ｉ（ｋ＋１）の視差抽出結果も同様にＲＡＭ１１２に格
納しておく。
画像Ｉ（ｋ）を探索側として奥行き抽出を行なう。画像
Ｉ（ｋ＋１）の視差抽出結果も同様にＲＡＭ１１２に格
納しておく。
【００３８】画像Ｉ（ｋ）、画像Ｉ（ｋ＋１）の奥行き
抽出処理が終わったら、カウンタｋを１増やし、カウン
タｋと画像枚数とを比較する。カウンタｋが画像枚数よ
り小ならば、画像Ｉ（ｋ）、画像Ｉ（ｋ＋１）に対する
奥行き抽出処理を行なう。カウンタｋが画像枚数以上な
らば、画像視差抽出処理部１０７は、タイミング制御部
１１１に対して画像視差抽出処理の終了を通知する終了
信号を送信して処理を終了する。
抽出処理が終わったら、カウンタｋを１増やし、カウン
タｋと画像枚数とを比較する。カウンタｋが画像枚数よ
り小ならば、画像Ｉ（ｋ）、画像Ｉ（ｋ＋１）に対する
奥行き抽出処理を行なう。カウンタｋが画像枚数以上な
らば、画像視差抽出処理部１０７は、タイミング制御部
１１１に対して画像視差抽出処理の終了を通知する終了
信号を送信して処理を終了する。
【００３９】タイミング制御部１１１は、画像視差抽出
処理部１０７からの終了信号を受信すると、中間画像生
成部１０８へ開始信号を送信し、中間画像生成部１０８
からの終了信号を受けるまで待ち状態に入る。
処理部１０７からの終了信号を受信すると、中間画像生
成部１０８へ開始信号を送信し、中間画像生成部１０８
からの終了信号を受けるまで待ち状態に入る。
【００４０】中間画像生成処理部１０８は、タイミング
制御部１１１から開始信号を受けると、ＲＡＭ１１２か
ら処理すべき画像枚数を読み出し記憶し、カウンタｋを
１にセットする。次にカウンタｋに対応した画像のフレ
ームメモリ１０２内のアドレスをＲＡＭ１１２から読み
出し、該アドレスからフレームメモリ１０２内の画像Ｉ
（ｋ）を読み出す。さらに、その画像に隣接する（カウ
ンタｋ＋１に対応する）画像Ｉ（ｋ＋１）を読み出す。
その後、画像位置計算部１０６で求めた平行移動量をＲ
ＡＭ１１２より読み出し、画像Ｉ（ｋ）のオーバラップ
領域、画像Ｉ（ｋ＋１）のオーバーラップ領域をそれぞ
れ求める。
制御部１１１から開始信号を受けると、ＲＡＭ１１２か
ら処理すべき画像枚数を読み出し記憶し、カウンタｋを
１にセットする。次にカウンタｋに対応した画像のフレ
ームメモリ１０２内のアドレスをＲＡＭ１１２から読み
出し、該アドレスからフレームメモリ１０２内の画像Ｉ
（ｋ）を読み出す。さらに、その画像に隣接する（カウ
ンタｋ＋１に対応する）画像Ｉ（ｋ＋１）を読み出す。
その後、画像位置計算部１０６で求めた平行移動量をＲ
ＡＭ１１２より読み出し、画像Ｉ（ｋ）のオーバラップ
領域、画像Ｉ（ｋ＋１）のオーバーラップ領域をそれぞ
れ求める。
【００４１】中間画像（Intermidiate Image）とは、視
点の違う位置から撮像した２枚の画像から、その両視点
の中間である位置で撮像される画像を計算により作成さ
れる画像である。画像Ｉ（ｋ）を撮像した位置を撮像位
置Ｔkとする。ここでは、オーバーラップ内の画像を領
域内で水平方向にｎ−１に分けそれぞれ左から、撮像位
置Ｔkと撮像位置Ｔk+1を１：ｎ−１に内分する位置か
ら、２：ｎ−２，…，ｎ−１：１に内分する撮像位置か
ら撮像される中間画像ＩＩk（ｌ），ｌ＝１，２，…，
ｎ−１を以下の方法で作成する。
点の違う位置から撮像した２枚の画像から、その両視点
の中間である位置で撮像される画像を計算により作成さ
れる画像である。画像Ｉ（ｋ）を撮像した位置を撮像位
置Ｔkとする。ここでは、オーバーラップ内の画像を領
域内で水平方向にｎ−１に分けそれぞれ左から、撮像位
置Ｔkと撮像位置Ｔk+1を１：ｎ−１に内分する位置か
ら、２：ｎ−２，…，ｎ−１：１に内分する撮像位置か
ら撮像される中間画像ＩＩk（ｌ），ｌ＝１，２，…，
ｎ−１を以下の方法で作成する。
【００４２】撮像位置Ｔkと撮像位置Ｔk+1をｌ：ｎ−ｌ
に内分する位置での中間画像生成における中間画像の作
成方法を示す。視差抽出処理部１０７で求めた画像Ｉ
（ｋ）と画像Ｉ（ｋ＋１）の画像間のずれずれ量を、各
画素、或いは領域毎に、ＲＡＭ１１２から読み出す。
に内分する位置での中間画像生成における中間画像の作
成方法を示す。視差抽出処理部１０７で求めた画像Ｉ
（ｋ）と画像Ｉ（ｋ＋１）の画像間のずれずれ量を、各
画素、或いは領域毎に、ＲＡＭ１１２から読み出す。
【００４３】図７（Ａ）及び図７（Ｂ）に示すように画
像Ｉ（ｋ）の画像Ｉ（ｋ＋１）とのオーバーラップ領域
Ｒ１（rx0，ry0）−（rx1，ry1）内の任意の点をＰ１と
し、点Ｐ１の座標を（x1，y1）、点Ｐ１での輝度値をＤ
（Ｐ１）、点Ｐ１でのずれ量をＭ（Ｐ１）（図７（Ａ）
の矢印）とし、画像Ｉ（ｋ＋１）の画像Ｉ（ｋ）とのオ
ーバーラップ領域Ｒ２（rx2，ry2）−（rx3，ry3）内の
任意の点をＰ２とし、点Ｐ２の座標を（x2，y2）、点Ｐ
２での輝度値をＤ（Ｐ２）、点Ｐ２でのずれ量をＭ（Ｐ
２）（図７（Ｂ）の矢印）とする。
像Ｉ（ｋ）の画像Ｉ（ｋ＋１）とのオーバーラップ領域
Ｒ１（rx0，ry0）−（rx1，ry1）内の任意の点をＰ１と
し、点Ｐ１の座標を（x1，y1）、点Ｐ１での輝度値をＤ
（Ｐ１）、点Ｐ１でのずれ量をＭ（Ｐ１）（図７（Ａ）
の矢印）とし、画像Ｉ（ｋ＋１）の画像Ｉ（ｋ）とのオ
ーバーラップ領域Ｒ２（rx2，ry2）−（rx3，ry3）内の
任意の点をＰ２とし、点Ｐ２の座標を（x2，y2）、点Ｐ
２での輝度値をＤ（Ｐ２）、点Ｐ２でのずれ量をＭ（Ｐ
２）（図７（Ｂ）の矢印）とする。
【００４４】まず画像Ｉ（ｋ）を基準にした中間画像Ｉ
Ｉk（ｌ）図７（Ｃ）を作成する。オーバーラップ領域
Ｒ１内の各点Ｐ１（ｘ，ｙ），rx0≦ｘ≦rx1，ry0≦ｙ
≦ry1に対し、中間画像ＩＩk（ｌ）上の点（ｘ＋Ｍ（Ｐ
１）＊ｌ／ｎ−rx0，ｙ−ry0）の輝度値をＤ(Ｐ１）と
する。
Ｉk（ｌ）図７（Ｃ）を作成する。オーバーラップ領域
Ｒ１内の各点Ｐ１（ｘ，ｙ），rx0≦ｘ≦rx1，ry0≦ｙ
≦ry1に対し、中間画像ＩＩk（ｌ）上の点（ｘ＋Ｍ（Ｐ
１）＊ｌ／ｎ−rx0，ｙ−ry0）の輝度値をＤ(Ｐ１）と
する。
【００４５】画像Ｉ（ｋ）のみで中間画像ＩＩk（ｌ）
を作成した場合、画素毎の視差の違いによるずれ量の違
いにより、中間画像のある部分では、複数の画素の輝度
値が書き込まれることになったり、図７（Ｃ）の黒画素
部分のような未定義画素が生じる場合がある。中間画像
の生成中、輝度値が既に書き込まれている場合には、ず
れ量Ｍ（Ｐ１）の大きい画素の輝度値を優先する。なぜ
ならば、ずれ量Ｍ（Ｐ１）が大きければ大きいほどカメ
ラに近い物体であり、それより奥の物体や背景の輝度値
が来るのは不自然だからである。
を作成した場合、画素毎の視差の違いによるずれ量の違
いにより、中間画像のある部分では、複数の画素の輝度
値が書き込まれることになったり、図７（Ｃ）の黒画素
部分のような未定義画素が生じる場合がある。中間画像
の生成中、輝度値が既に書き込まれている場合には、ず
れ量Ｍ（Ｐ１）の大きい画素の輝度値を優先する。なぜ
ならば、ずれ量Ｍ（Ｐ１）が大きければ大きいほどカメ
ラに近い物体であり、それより奥の物体や背景の輝度値
が来るのは不自然だからである。
【００４６】また、未定義画素については、以下のよう
に画像Ｉ（ｋ＋１）から作成した中間画像ＩＩ
k+1（ｌ）でそれを補間する。
に画像Ｉ（ｋ＋１）から作成した中間画像ＩＩ
k+1（ｌ）でそれを補間する。
【００４７】中間画像ＩＩk（ｌ）の作成と同様に画像
Ｉ（ｋ＋１）を基準にした中間画像ＩＩk’（ｌ）図７
（Ｄ）を作成する。
Ｉ（ｋ＋１）を基準にした中間画像ＩＩk’（ｌ）図７
（Ｄ）を作成する。
【００４８】オーバーラップ領域Ｒ２内の各点Ｐ２
（ｘ，ｙ），rx2≦ｘ≦rx3，ry2≦ｙ≦ry3に対し、中間
画像ＩＩk’（ｌ）上の点（ｘ＋Ｍ（Ｐ２）＊（ｎ−
ｌ）／ｎ−rx0，ｙ−ry0）の輝度値をＤ（Ｐ２）とす
る。ただし、先に述べたように輝度値が既に書き込まれ
ている場合には、ずれ量Ｍ（Ｐ１）の大きい画素の輝度
値を優先する。その後、画像Ｉ（ｋ＋１）とその画素毎
のずれ量から作成したＩＩk’（ｌ）を用いて、画像Ｉ
（ｋ）とその画素毎のずれ量から作成したＩＩk（ｌ）
における未定義画素について、対応するＩＩk’(ｌ）の
画素により補間する。
（ｘ，ｙ），rx2≦ｘ≦rx3，ry2≦ｙ≦ry3に対し、中間
画像ＩＩk’（ｌ）上の点（ｘ＋Ｍ（Ｐ２）＊（ｎ−
ｌ）／ｎ−rx0，ｙ−ry0）の輝度値をＤ（Ｐ２）とす
る。ただし、先に述べたように輝度値が既に書き込まれ
ている場合には、ずれ量Ｍ（Ｐ１）の大きい画素の輝度
値を優先する。その後、画像Ｉ（ｋ＋１）とその画素毎
のずれ量から作成したＩＩk’（ｌ）を用いて、画像Ｉ
（ｋ）とその画素毎のずれ量から作成したＩＩk（ｌ）
における未定義画素について、対応するＩＩk’(ｌ）の
画素により補間する。
【００４９】最後に、中間画像に輝度値が書き込まれて
いない箇所が存在した場合には、周囲の書き込まれてい
る輝度値により補間を行なう。図１４は補間の様子を示
したものである。１つ１つの四角が１つの画素にあた
り、中心に丸印の入ったものが未定義の画素である。
今、太線で囲まれた未定義画素の輝度値を、太い破線で
囲まれた８近傍の内、既に定義されている画素、図１４
中では、中心に三角の印が入った画素の平均とする。以
上の操作を未定義画素全てについて繰り返す。もし、８
近傍の画素が全て未定義ならば、他の未定義画素の補間
が終わった後、再度補間操作を行ない、未定義画素がな
くなるまで繰り返す。
いない箇所が存在した場合には、周囲の書き込まれてい
る輝度値により補間を行なう。図１４は補間の様子を示
したものである。１つ１つの四角が１つの画素にあた
り、中心に丸印の入ったものが未定義の画素である。
今、太線で囲まれた未定義画素の輝度値を、太い破線で
囲まれた８近傍の内、既に定義されている画素、図１４
中では、中心に三角の印が入った画素の平均とする。以
上の操作を未定義画素全てについて繰り返す。もし、８
近傍の画素が全て未定義ならば、他の未定義画素の補間
が終わった後、再度補間操作を行ない、未定義画素がな
くなるまで繰り返す。
【００５０】また、８近傍の既に定義されている画素の
数が多い未定義画素から補間を行なえば、より品質の良
い補間画像が得られる。以上で中間画像ＩＩk（ｌ）は
生成されるが、合成に用いる領域は（dx＊(ｌ−１），
０）−（dx＊ｌ，（ry1−ry0））である。そのため、そ
の部分のみをフレームメモリ１０２に書き込み、画像Ｉ
（ｋ）と画像Ｉ（ｋ＋１）とのオーバーラップ領域での
ｌ：ｎ−ｌの中間画像生成を終える。
数が多い未定義画素から補間を行なえば、より品質の良
い補間画像が得られる。以上で中間画像ＩＩk（ｌ）は
生成されるが、合成に用いる領域は（dx＊(ｌ−１），
０）−（dx＊ｌ，（ry1−ry0））である。そのため、そ
の部分のみをフレームメモリ１０２に書き込み、画像Ｉ
（ｋ）と画像Ｉ（ｋ＋１）とのオーバーラップ領域での
ｌ：ｎ−ｌの中間画像生成を終える。
【００５１】ｌ＝１，…，９までの前記中間画像作成処
理を行なったら、ＲＡＭ１１２に作成した中間画像の枚
数を所定アドレスに書き込み、カウンタｋを１増やし、
カウンタｋと画像枚数とを比較する。カウンタｋが画像
枚数より小ならば、更新したカウンタに相当する画像に
対する前記中間画像処理を行なう。カウンタｋが画像枚
数と等しいならば、中間画像生成処理部１０８は、タイ
ミング制御部１１１に対して中間画像生成処理の終了を
通知する終了信号を送信して処理を終了する。
理を行なったら、ＲＡＭ１１２に作成した中間画像の枚
数を所定アドレスに書き込み、カウンタｋを１増やし、
カウンタｋと画像枚数とを比較する。カウンタｋが画像
枚数より小ならば、更新したカウンタに相当する画像に
対する前記中間画像処理を行なう。カウンタｋが画像枚
数と等しいならば、中間画像生成処理部１０８は、タイ
ミング制御部１１１に対して中間画像生成処理の終了を
通知する終了信号を送信して処理を終了する。
【００５２】タイミング制御部１１１は、中間画像生成
処理部１０９からの終了信号を受信すると、画像合成処
理部１０９へ開始信号を送信し、画像合成処理部１０９
からの終了信号を受けるまで待ち状態に入る。
処理部１０９からの終了信号を受信すると、画像合成処
理部１０９へ開始信号を送信し、画像合成処理部１０９
からの終了信号を受けるまで待ち状態に入る。
【００５３】画像合成処理部１０９は、タイミング制御
部１１１から開始信号を受けると、ＲＡＭ１１２から処
理すべき画像枚数を読み出し記憶し、カウンタｋを１に
セットする。次にカウンタｋに対応した画像のフレーム
メモリ１０２内のアドレスをＲＡＭ１１２から読み出
し、該アドレスからフレームメモリ１０２内の画像Ｉ
（ｋ）を読み出す。
部１１１から開始信号を受けると、ＲＡＭ１１２から処
理すべき画像枚数を読み出し記憶し、カウンタｋを１に
セットする。次にカウンタｋに対応した画像のフレーム
メモリ１０２内のアドレスをＲＡＭ１１２から読み出
し、該アドレスからフレームメモリ１０２内の画像Ｉ
（ｋ）を読み出す。
【００５４】カウンタｋが１の場合には、画像Ｉ（ｋ）
をフレームメモリ１０２の出力画像領域の所定位置に書
き込む。
をフレームメモリ１０２の出力画像領域の所定位置に書
き込む。
【００５５】カウンタｋが１より大きい場合には、画像
Ｉ（ｋ−１）とのずれ量Ｍ（ｋ）をＲＡＭ１１２から呼
び出す。画像Ｉ（ｋ−１）とのオーバラップ領域Ｒk（r
x0，ry0）−（rx1，ry1）を計算する。また、中間画像
生成処理部１０８で作成した画像Ｉ（ｋ−１）と画像Ｉ
（ｋ）に対する中間画像枚数ｎをＲＡＭ１１２から呼び
出す。中間画像ＩＩk（ｉ），ｉ＝１，…，ｎの張り付
け位置をＰiとした場合、位置Ｐiは、
Ｉ（ｋ−１）とのずれ量Ｍ（ｋ）をＲＡＭ１１２から呼
び出す。画像Ｉ（ｋ−１）とのオーバラップ領域Ｒk（r
x0，ry0）−（rx1，ry1）を計算する。また、中間画像
生成処理部１０８で作成した画像Ｉ（ｋ−１）と画像Ｉ
（ｋ）に対する中間画像枚数ｎをＲＡＭ１１２から呼び
出す。中間画像ＩＩk（ｉ），ｉ＝１，…，ｎの張り付
け位置をＰiとした場合、位置Ｐiは、
【００５６】
【数４】
【００５７】で計算出来、中間画像ＩＩk（ｉ），ｉ＝
１，…，ｎを合成画像メモリ位置Ｐiにコピーする。次
に、位置（Σk i=1Ｍ（ｉ）＋rx1，ry1）以降に画像Ｉ
（ｋ）のｘ座標rx1の右以降の部分をコピーする（図８
（ホ）、（ヘ）を参照）。
１，…，ｎを合成画像メモリ位置Ｐiにコピーする。次
に、位置（Σk i=1Ｍ（ｉ）＋rx1，ry1）以降に画像Ｉ
（ｋ）のｘ座標rx1の右以降の部分をコピーする（図８
（ホ）、（ヘ）を参照）。
【００５８】以上の処理が終わったら、カウンタｋを１
増やし、カウンタｋと画像枚数とを比較する。カウンタ
ｋが画像枚数以下ならば、更新した画像Ｉ（ｋ）に対す
る前記処理を続けて行なう。カウンタｋが画像枚数より
大ならば、画像合成処理部１０９は、タイミング制御部
１１１に対して画像合成処理の終了を通知する終了信号
を送信して処理を終了する。
増やし、カウンタｋと画像枚数とを比較する。カウンタ
ｋが画像枚数以下ならば、更新した画像Ｉ（ｋ）に対す
る前記処理を続けて行なう。カウンタｋが画像枚数より
大ならば、画像合成処理部１０９は、タイミング制御部
１１１に対して画像合成処理の終了を通知する終了信号
を送信して処理を終了する。
【００５９】タイミング制御部１１１は、画像合成処理
部１０９からの終了信号を受信すると、画像出力処理部
１１０へ開始信号を送信し、画像出力処理部１１０から
の終了信号を受けるまで待ち状態に入る。画像出力処理
部１１０は、タイミング制御部１１１からの開始信号を
受けとると、ＲＡＭ１１２からフレームメモリ１０２内
の出力画像アドレスを読み出す。次に、画像出力装置１
０３へ画像出力を開始するための開始信号を送り、出力
画像信号をフレームメモリ１０２から順次読み出し、画
像出力装置１０３に出力する。出力画像を画像出力装置
１０３から出力し終わると、画像出力処理部１１０は、
タイミング制御部１１１に対して画像出力処理の終了を
通知する終了信号を送信して処理を終了する。
部１０９からの終了信号を受信すると、画像出力処理部
１１０へ開始信号を送信し、画像出力処理部１１０から
の終了信号を受けるまで待ち状態に入る。画像出力処理
部１１０は、タイミング制御部１１１からの開始信号を
受けとると、ＲＡＭ１１２からフレームメモリ１０２内
の出力画像アドレスを読み出す。次に、画像出力装置１
０３へ画像出力を開始するための開始信号を送り、出力
画像信号をフレームメモリ１０２から順次読み出し、画
像出力装置１０３に出力する。出力画像を画像出力装置
１０３から出力し終わると、画像出力処理部１１０は、
タイミング制御部１１１に対して画像出力処理の終了を
通知する終了信号を送信して処理を終了する。
【００６０】タイミング制御部１１１は、画像出力処理
部１１０からの終了信号を受信すると全てを終了する。
部１１０からの終了信号を受信すると全てを終了する。
【００６１】以上の一連の処理の流れにより、２つの画
像のオーバーラップ内の被写体間の視差の違いは、中間
画像の作成により、軽減され、出来上がった合成画像
は、視差の違いが存在した部分においても従来のよう
に、ずれたり、２重になって合成されたりすることが、
なくなる。当然のことながら、中間画像の作成数、つま
り、オーバーラップ内の分割数を多くすることで、より
自然なパノラマ画像が得られる。また、本発明の請求項
１に係る実施形態において、視差によりずれ量の違う被
写体を同一幅のオーバーラップで合成するため、カメラ
に近いものはより幅が狭く合成され、遠いものは幅広に
合成される。カメラに近い部分を自然にしたい場合は、
画像視差抽出処理部１０７において、カメラに近い物体
のずれ量を基準値として、全体のずれ量を補正すれば良
い。また、カメラに遠い部分を自然にしたい場合は、画
像視差抽出処理部１０７において、カメラに遠い物体の
ずれ量を基準値として、全体のずれ量を補正すれば良
い。
像のオーバーラップ内の被写体間の視差の違いは、中間
画像の作成により、軽減され、出来上がった合成画像
は、視差の違いが存在した部分においても従来のよう
に、ずれたり、２重になって合成されたりすることが、
なくなる。当然のことながら、中間画像の作成数、つま
り、オーバーラップ内の分割数を多くすることで、より
自然なパノラマ画像が得られる。また、本発明の請求項
１に係る実施形態において、視差によりずれ量の違う被
写体を同一幅のオーバーラップで合成するため、カメラ
に近いものはより幅が狭く合成され、遠いものは幅広に
合成される。カメラに近い部分を自然にしたい場合は、
画像視差抽出処理部１０７において、カメラに近い物体
のずれ量を基準値として、全体のずれ量を補正すれば良
い。また、カメラに遠い部分を自然にしたい場合は、画
像視差抽出処理部１０７において、カメラに遠い物体の
ずれ量を基準値として、全体のずれ量を補正すれば良
い。
【００６２】以上、ここで挙げた実施例は本発明の請求
項１に係る実施形態の一例であり、本発明の主旨を変え
ない限り、本実施例の内容に限定されるものではない。
項１に係る実施形態の一例であり、本発明の主旨を変え
ない限り、本実施例の内容に限定されるものではない。
【００６３】図２は、本発明の請求項２に係る実施形態
の一実施例を示すブロック図である。
の一実施例を示すブロック図である。
【００６４】１０１は画像入力装置、１０２はフレーム
メモリ、１０３は画像出力装置、１０４は画像入力処理
部、１０５は画像前処理部、１０６は画像位置計算部、
１０７’は画像視差抽出処理部、１０８’は接合線決定
処理部、１０９’は画像合成処理部、１１０は画像出力
処理部、１１１はタイミング制御部、１１２はＲＡＭで
ある。
メモリ、１０３は画像出力装置、１０４は画像入力処理
部、１０５は画像前処理部、１０６は画像位置計算部、
１０７’は画像視差抽出処理部、１０８’は接合線決定
処理部、１０９’は画像合成処理部、１１０は画像出力
処理部、１１１はタイミング制御部、１１２はＲＡＭで
ある。
【００６５】図１１は、本発明の請求項２に係る実施形
態の処理の手順を示す図である。
態の処理の手順を示す図である。
【００６６】以下、図２を用いて本発明の請求項２に係
る実施形態に関する内容を説明する。
る実施形態に関する内容を説明する。
【００６７】画像入力処理部１０４、画像前処理部１０
５、画像位置計算部１０６の各機能と、画像位置計算部
１０６までの処理は、本発明の請求項１に係る実施形態
と同じ処理を行なうので、詳細は省略する。
５、画像位置計算部１０６の各機能と、画像位置計算部
１０６までの処理は、本発明の請求項１に係る実施形態
と同じ処理を行なうので、詳細は省略する。
【００６８】タイミング制御部１１１は、画像位置計算
部１０６からの終了信号を受信すると、画像視差抽出処
理部１０７’へ開始信号を送信し、画像視差抽出処理部
１０７’からの終了信号を受けるまで待ち状態に入る。
部１０６からの終了信号を受信すると、画像視差抽出処
理部１０７’へ開始信号を送信し、画像視差抽出処理部
１０７’からの終了信号を受けるまで待ち状態に入る。
【００６９】画像視差抽出処理部１０７’は、タイミン
グ制御部１１１から開始信号を受けると、ＲＡＭ１１２
から処理すべき画像枚数を読み出し記憶し、カウンタｋ
を１にセットする。次にカウンタｋに対応した画像のフ
レームメモリ１０２内のアドレスをＲＡＭ１１２から読
み出し、該アドレスからフレームメモリ１０２内の画像
Ｉ（ｋ）を読み出す。さらに、その画像に隣接する（カ
ウンタｋ＋１に対応する）画像Ｉ（ｋ＋１）を読み出
す。その後、画像位置計算部１０６で求めた平行移動量
をＲＡＭ１１２より読み出し、画像Ｉ（ｋ）のオーバラ
ップ領域、画像Ｉ（ｋ＋１）のオーバーラップ領域をそ
れぞれ求める。
グ制御部１１１から開始信号を受けると、ＲＡＭ１１２
から処理すべき画像枚数を読み出し記憶し、カウンタｋ
を１にセットする。次にカウンタｋに対応した画像のフ
レームメモリ１０２内のアドレスをＲＡＭ１１２から読
み出し、該アドレスからフレームメモリ１０２内の画像
Ｉ（ｋ）を読み出す。さらに、その画像に隣接する（カ
ウンタｋ＋１に対応する）画像Ｉ（ｋ＋１）を読み出
す。その後、画像位置計算部１０６で求めた平行移動量
をＲＡＭ１１２より読み出し、画像Ｉ（ｋ）のオーバラ
ップ領域、画像Ｉ（ｋ＋１）のオーバーラップ領域をそ
れぞれ求める。
【００７０】そして、画像Ｉ（ｋ）のオーバーラップ部
分を分割し、それぞれを参照領域とし、画像Ｉ（ｋ＋
１）から対応する位置をパターンマッチングの手法を用
いて探索する。この際、探索を行なうのは視差による画
像間のずれであるので、探索は横方向のみから行なえば
良い。このずれ量は視差による物体の見かけ上の動き量
であり、それは奥行きに起因しているため、ずれの方向
や、ずれ量から、参照領域内の物体の奥行きが推定出来
る。また、ある距離の点を一致させた場合、同一幅のオ
ーバーラップ内でも、視差の関係上、ある点よりカメラ
に近い物体ほど左側へのずれ量が大きく、ある点よりカ
メラから遠いほど右側へのずれ量が大きくなる。
分を分割し、それぞれを参照領域とし、画像Ｉ（ｋ＋
１）から対応する位置をパターンマッチングの手法を用
いて探索する。この際、探索を行なうのは視差による画
像間のずれであるので、探索は横方向のみから行なえば
良い。このずれ量は視差による物体の見かけ上の動き量
であり、それは奥行きに起因しているため、ずれの方向
や、ずれ量から、参照領域内の物体の奥行きが推定出来
る。また、ある距離の点を一致させた場合、同一幅のオ
ーバーラップ内でも、視差の関係上、ある点よりカメラ
に近い物体ほど左側へのずれ量が大きく、ある点よりカ
メラから遠いほど右側へのずれ量が大きくなる。
【００７１】ここで、求めた領域、或いは画素の中で、
最も奥行きのあるものを求め、つまり、左方向を正とし
た場合、最も小さいずれ量を持つ領域と、そこにおける
ずれ量を各領域、或いは画素間の距離から引き、画像位
置計算部１０６で求めた平行移動量に加えることで、画
像のずれを画像内部で最も奥行きのある部分を基準のず
れとする。それに伴いＲＡＭ１１２内の平行移動量、オ
ーバーラップ領域内の各ずれ量も補正しておく。同様に
して、画像Ｉ（ｋ＋１）を参照側、画像Ｉ（ｋ）を探索
側として視差抽出を行なう。画像Ｉ（ｋ＋１）の視差抽
出結果も同様にＲＡＭ１１２に格納しておく。
最も奥行きのあるものを求め、つまり、左方向を正とし
た場合、最も小さいずれ量を持つ領域と、そこにおける
ずれ量を各領域、或いは画素間の距離から引き、画像位
置計算部１０６で求めた平行移動量に加えることで、画
像のずれを画像内部で最も奥行きのある部分を基準のず
れとする。それに伴いＲＡＭ１１２内の平行移動量、オ
ーバーラップ領域内の各ずれ量も補正しておく。同様に
して、画像Ｉ（ｋ＋１）を参照側、画像Ｉ（ｋ）を探索
側として視差抽出を行なう。画像Ｉ（ｋ＋１）の視差抽
出結果も同様にＲＡＭ１１２に格納しておく。
【００７２】画像Ｉ（ｋ）、画像Ｉ（ｋ＋１）の視差抽
出処理が終わったら、カウンタｋを１増やし、カウンタ
ｋと画像枚数とを比較する。カウンタｋが画像枚数より
小ならば、画像Ｉ（ｋ）、画像Ｉ（ｋ＋１）に対する視
差抽出処理を行なう。カウンタｋが画像枚数以上なら
ば、画像視差抽出処理部１０７’は、タイミング制御部
１１１に対して画像視差抽出処理の終了を通知する終了
信号を送信して処理を終了する。
出処理が終わったら、カウンタｋを１増やし、カウンタ
ｋと画像枚数とを比較する。カウンタｋが画像枚数より
小ならば、画像Ｉ（ｋ）、画像Ｉ（ｋ＋１）に対する視
差抽出処理を行なう。カウンタｋが画像枚数以上なら
ば、画像視差抽出処理部１０７’は、タイミング制御部
１１１に対して画像視差抽出処理の終了を通知する終了
信号を送信して処理を終了する。
【００７３】タイミング制御部１１１は、画像視差抽出
処理部１０７’からの終了信号を受信すると、接合線決
定処理部１０８’へ開始信号を送信し、接合線決定処理
部１０８’からの終了信号を受けるまで待ち状態に入
る。
処理部１０７’からの終了信号を受信すると、接合線決
定処理部１０８’へ開始信号を送信し、接合線決定処理
部１０８’からの終了信号を受けるまで待ち状態に入
る。
【００７４】接合線決定処理部１０８’は、タイミング
制御部１１１から開始信号を受けると、ＲＡＭ１１２か
ら処理すべき画像枚数を読み出し記憶し、カウンタｋを
１にセットする。次にカウンタｋに対応した画像のフレ
ームメモリ１０２内のアドレスをＲＡＭ１１２から読み
出し、該アドレスからフレームメモリ１０２内の画像Ｉ
（ｋ）を読み出す。さらに、その画像に隣接する（カウ
ンタｋ＋１に対応する）画像Ｉ（ｋ＋１）を読み出す。
その後、画像視差抽出処理部１０７’で求めた画像Ｉ
（ｋ）、画像Ｉ（ｋ＋１）の視差量をＲＡＭ１１２より
読み出す。
制御部１１１から開始信号を受けると、ＲＡＭ１１２か
ら処理すべき画像枚数を読み出し記憶し、カウンタｋを
１にセットする。次にカウンタｋに対応した画像のフレ
ームメモリ１０２内のアドレスをＲＡＭ１１２から読み
出し、該アドレスからフレームメモリ１０２内の画像Ｉ
（ｋ）を読み出す。さらに、その画像に隣接する（カウ
ンタｋ＋１に対応する）画像Ｉ（ｋ＋１）を読み出す。
その後、画像視差抽出処理部１０７’で求めた画像Ｉ
（ｋ）、画像Ｉ（ｋ＋１）の視差量をＲＡＭ１１２より
読み出す。
【００７５】ここで請求項２、３、４における画像Ｉ
（ｋ）からの接合線を求める方法を各々図１１、１２、
１３を用いて説明する。画像視差抽出処理部１０７’に
より、画像Ｉ（ｋ）（図１１（ａ））と画像Ｉ（ｋ＋
１）（図１１（ｂ））から求めた画像Ｉ（ｋ）に対する
視差画像（図１１（ｃ））から、画像右端からみて画像
の視差がより大きくなるように変化する点、つまり下式
を満たす点を抽出する。
（ｋ）からの接合線を求める方法を各々図１１、１２、
１３を用いて説明する。画像視差抽出処理部１０７’に
より、画像Ｉ（ｋ）（図１１（ａ））と画像Ｉ（ｋ＋
１）（図１１（ｂ））から求めた画像Ｉ（ｋ）に対する
視差画像（図１１（ｃ））から、画像右端からみて画像
の視差がより大きくなるように変化する点、つまり下式
を満たす点を抽出する。
【００７６】
【数５】
【００７７】ここで、Ｅ（ｘ，ｙ）は画像の座標（ｘ，
ｙ）における視差の量、Thresholdは適当な閾値であ
る。図１１（ｅ）における画像内の白い丸印に当たる。
これらの点列は、被写体の右側の輪郭線を示し、画像Ｉ
（ｋ＋１）上において対応する位置の左側では、画像Ｉ
（ｋ）の見えていない部分が見えていることになり、こ
れらの点付近の、特に左側では、画像Ｉ（ｋ）、Ｉ（ｋ
＋１）の間の差が大きい。また、これらの点の右側付近
においては、両方の画像で同じものが見えているため、
画像Ｉ（ｋ）、Ｉ（ｋ＋１）の差は小さいことになる。
ｙ）における視差の量、Thresholdは適当な閾値であ
る。図１１（ｅ）における画像内の白い丸印に当たる。
これらの点列は、被写体の右側の輪郭線を示し、画像Ｉ
（ｋ＋１）上において対応する位置の左側では、画像Ｉ
（ｋ）の見えていない部分が見えていることになり、こ
れらの点付近の、特に左側では、画像Ｉ（ｋ）、Ｉ（ｋ
＋１）の間の差が大きい。また、これらの点の右側付近
においては、両方の画像で同じものが見えているため、
画像Ｉ（ｋ）、Ｉ（ｋ＋１）の差は小さいことになる。
【００７８】請求項２における接合線の抽出方法は、以
上を考慮して、求めた視差変化の大きい点列から、なる
べく同一の視差をもつ点を抽出し、つまり、カメラに近
く、同一の物体の輪郭線を抽出し、それを接合線とする
方法である。また、図１１（ｅ）のように上下にそれら
の視差変化の大きい箇所がない場合はそれらに、最も近
い輪郭線の端から画像の上端又は、下端に下ろした線を
接合線とする。
上を考慮して、求めた視差変化の大きい点列から、なる
べく同一の視差をもつ点を抽出し、つまり、カメラに近
く、同一の物体の輪郭線を抽出し、それを接合線とする
方法である。また、図１１（ｅ）のように上下にそれら
の視差変化の大きい箇所がない場合はそれらに、最も近
い輪郭線の端から画像の上端又は、下端に下ろした線を
接合線とする。
【００７９】請求項３における接合線の抽出方法は、同
様に求めた視差変化の大きい点列で、オーバーラップ領
域内でのある閾値Thresholdを越える最もオーバーラッ
プ領域側の画像端に近い点列、つまりここでは最も右側
の点列を結ぶ線を接合線Ｌ（ｋ）とする方法である（図
１２（ｉ）を参照）。
様に求めた視差変化の大きい点列で、オーバーラップ領
域内でのある閾値Thresholdを越える最もオーバーラッ
プ領域側の画像端に近い点列、つまりここでは最も右側
の点列を結ぶ線を接合線Ｌ（ｋ）とする方法である（図
１２（ｉ）を参照）。
【００８０】請求項４における接合線の抽出方法は、以
下の通りである。前記請求項２及び請求項３における接
合線の抽出方法は、画像Ｉ（ｋ＋１）を基準にして、左
から右への視差変化の大きい点列を求めることにより、
同様に適応出来る。すなわち、２つの方法で画像Ｉ
（ｋ）、画像Ｉ（ｋ＋１）から接合線を求めることによ
り、複数の接合線の候補が求められる。閾値Threshold
の値を変更することで更に複数の接合線の候補が得られ
る。それらをＬi（ｋ），ｉ＝１，２，…とする（図１
３（Ｉ）、（ＩＩ）を参照）。
下の通りである。前記請求項２及び請求項３における接
合線の抽出方法は、画像Ｉ（ｋ＋１）を基準にして、左
から右への視差変化の大きい点列を求めることにより、
同様に適応出来る。すなわち、２つの方法で画像Ｉ
（ｋ）、画像Ｉ（ｋ＋１）から接合線を求めることによ
り、複数の接合線の候補が求められる。閾値Threshold
の値を変更することで更に複数の接合線の候補が得られ
る。それらをＬi（ｋ），ｉ＝１，２，…とする（図１
３（Ｉ）、（ＩＩ）を参照）。
【００８１】接合線候補Ｌi（ｋ），ｉ＝１，２，…で
最も最適なのものは、以下の値が最も小さくなる接合線
となる。
最も最適なのものは、以下の値が最も小さくなる接合線
となる。
【００８２】
【数６】
【００８３】ここで、Ｃは接合線Ｌi（ｋ）上の経路
で、Ｌi（ｋ）（ｘ，ｙ）は画像Ｉ（ｋ）における接合
線Ｌi（ｋ）上の点（ｘ，ｙ）での輝度値（或いは、Ｒ
ＧＢのそれぞれの値のベクトル）、Ｌi’（ｋ）
（ｘ’，ｙ’）は画像Ｉ（ｋ＋１）における接合線Ｌi
（ｋ）上の画像Ｉ（ｋ）における点（ｘ，ｙ）に対応す
る点（ｘ’，ｙ’）上での輝度値（或いは、ＲＧＢのそ
れぞれの値のベクトル）である。上式を最小にする接合
線候補Ｌi（ｋ）を求め、それを接合線とする（図１３
（ＩＩＩ）を参照）。以上のように求めた接合線Ｌ
（ｋ）を、ＲＡＭ１１２の所定アドレスに順次書き出し
て終了する。
で、Ｌi（ｋ）（ｘ，ｙ）は画像Ｉ（ｋ）における接合
線Ｌi（ｋ）上の点（ｘ，ｙ）での輝度値（或いは、Ｒ
ＧＢのそれぞれの値のベクトル）、Ｌi’（ｋ）
（ｘ’，ｙ’）は画像Ｉ（ｋ＋１）における接合線Ｌi
（ｋ）上の画像Ｉ（ｋ）における点（ｘ，ｙ）に対応す
る点（ｘ’，ｙ’）上での輝度値（或いは、ＲＧＢのそ
れぞれの値のベクトル）である。上式を最小にする接合
線候補Ｌi（ｋ）を求め、それを接合線とする（図１３
（ＩＩＩ）を参照）。以上のように求めた接合線Ｌ
（ｋ）を、ＲＡＭ１１２の所定アドレスに順次書き出し
て終了する。
【００８４】画像Ｉ（ｋ）、画像Ｉ（ｋ＋１）の接合線
決定処理が終わったら、カウンタｋを１増やし、カウン
タｋと画像枚数とを比較する。カウンタｋが画像枚数よ
り小ならば、画像Ｉ（ｋ）、画像Ｉ（ｋ＋１）に対する
接合線決定処理を行なう。カウンタｋが画像枚数以上な
らば、接合線決定処理部１０８’は、タイミング制御部
１１１に対して接合線決定処理の終了を通知する終了信
号を送信して処理を終了する。
決定処理が終わったら、カウンタｋを１増やし、カウン
タｋと画像枚数とを比較する。カウンタｋが画像枚数よ
り小ならば、画像Ｉ（ｋ）、画像Ｉ（ｋ＋１）に対する
接合線決定処理を行なう。カウンタｋが画像枚数以上な
らば、接合線決定処理部１０８’は、タイミング制御部
１１１に対して接合線決定処理の終了を通知する終了信
号を送信して処理を終了する。
【００８５】タイミング制御部１１１は、接合線決定処
理部１０８’からの終了信号を受信すると、画像合成処
理部１０９’へ開始信号を送信し、画像合成処理部１０
９’からの終了信号を受けるまで待ち状態に入る。
理部１０８’からの終了信号を受信すると、画像合成処
理部１０９’へ開始信号を送信し、画像合成処理部１０
９’からの終了信号を受けるまで待ち状態に入る。
【００８６】画像合成処理部１０９’は、タイミング制
御部１１１から開始信号を受けると、ＲＡＭ１１２から
処理すべき画像枚数を読み出し記憶し、カウンタｋを１
にセットする。次にカウンタｋに対応した画像のフレー
ムメモリ１０２内のアドレスをＲＡＭ１１２から読み出
し、該アドレスからフレームメモリ１０２内の画像Ｉ
（ｋ）を読み出す。カウンタｋが１の場合には、画像Ｉ
（ｋ）をフレームメモリ１０２の出力画像領域の所定位
置に書き込む。
御部１１１から開始信号を受けると、ＲＡＭ１１２から
処理すべき画像枚数を読み出し記憶し、カウンタｋを１
にセットする。次にカウンタｋに対応した画像のフレー
ムメモリ１０２内のアドレスをＲＡＭ１１２から読み出
し、該アドレスからフレームメモリ１０２内の画像Ｉ
（ｋ）を読み出す。カウンタｋが１の場合には、画像Ｉ
（ｋ）をフレームメモリ１０２の出力画像領域の所定位
置に書き込む。
【００８７】カウンタｋが１より大きい場合には、画像
Ｉ（ｋ−１）との平行移動量Ｍ（ｋ）と接合線Ｌ（ｋ−
１）をＲＡＭ１１２から呼び出す。
Ｉ（ｋ−１）との平行移動量Ｍ（ｋ）と接合線Ｌ（ｋ−
１）をＲＡＭ１１２から呼び出す。
【００８８】画像Ｉ（ｋ）をおく位置は、
【００８９】
【数７】
【００９０】により得られる。また接合線も、Ｐk-1だ
けずらした位置に補正する。
けずらした位置に補正する。
【００９１】画像Ｉ（ｋ）を合成メモリへコピーする
際、以下の条件で行ない、画像を合成する。
際、以下の条件で行ない、画像を合成する。
【００９２】・接合線Ｌk-1より左になる画素は書き込
まない。 ・接合線Ｌk-1の右ｗドット分は濃度平滑によって画像
Ｉ（ｋ）とのスムージングを行なう。 ・接合線Ｌk-1の右ｗドット以降は画素をそのまま書き
込む。
まない。 ・接合線Ｌk-1の右ｗドット分は濃度平滑によって画像
Ｉ（ｋ）とのスムージングを行なう。 ・接合線Ｌk-1の右ｗドット以降は画素をそのまま書き
込む。
【００９３】ここで、ｗは適当な定数値である。このｗ
ドットで濃度平滑を行なうことで、接合がより自然にな
る。図１１においては、図１１（ｈ）のようにマスクを
かけ、濃度平滑化を行なう領域を設け、図１１（ｇ）と
の合成により、図１１（ｉ）のような合成画像を生成す
ることになる。
ドットで濃度平滑を行なうことで、接合がより自然にな
る。図１１においては、図１１（ｈ）のようにマスクを
かけ、濃度平滑化を行なう領域を設け、図１１（ｇ）と
の合成により、図１１（ｉ）のような合成画像を生成す
ることになる。
【００９４】以上の処理が終わったら、カウンタｋを１
増やし、カウンタｋと画像枚数とを比較する。カウンタ
ｋが画像枚数以下ならば、更新した画像Ｉ（ｋ）に対す
る前記処理を続けて行なう。カウンタｋが画像枚数より
大ならば、画像合成処理部１０９’は、タイミング制御
部１１１に対して画像合成処理の終了を通知する終了信
号を送信して処理を終了する。
増やし、カウンタｋと画像枚数とを比較する。カウンタ
ｋが画像枚数以下ならば、更新した画像Ｉ（ｋ）に対す
る前記処理を続けて行なう。カウンタｋが画像枚数より
大ならば、画像合成処理部１０９’は、タイミング制御
部１１１に対して画像合成処理の終了を通知する終了信
号を送信して処理を終了する。
【００９５】タイミング制御部１１１は、画像合成処理
部１０９’からの終了信号を受信すると、画像出力処理
部１１０へ開始信号を送信し、画像出力処理部１１０か
らの終了信号を受けるまで待ち状態に入る。
部１０９’からの終了信号を受信すると、画像出力処理
部１１０へ開始信号を送信し、画像出力処理部１１０か
らの終了信号を受けるまで待ち状態に入る。
【００９６】画像出力処理部１１０は、タイミング制御
部１１１からの開始信号を受けとると、ＲＡＭ１１２か
らフレームメモリ１０２内の出力画像アドレスを読み出
す。次に、画像出力装置１０３へ画像出力を開始するた
めの開始信号を送り、出力画像信号をフレームメモリ１
０２から順次読み出し、画像出力装置１０３に出力す
る。出力画像を画像出力装置１０３から出力し終わる
と、画像出力処理部１１０は、タイミング制御部１１１
に対して画像出力処理の終了を通知する終了信号を送信
して処理を終了する。
部１１１からの開始信号を受けとると、ＲＡＭ１１２か
らフレームメモリ１０２内の出力画像アドレスを読み出
す。次に、画像出力装置１０３へ画像出力を開始するた
めの開始信号を送り、出力画像信号をフレームメモリ１
０２から順次読み出し、画像出力装置１０３に出力す
る。出力画像を画像出力装置１０３から出力し終わる
と、画像出力処理部１１０は、タイミング制御部１１１
に対して画像出力処理の終了を通知する終了信号を送信
して処理を終了する。
【００９７】タイミング制御部１１１は、画像出力処理
部１１０からの終了信号を受信することで全てを終了す
る。
部１１０からの終了信号を受信することで全てを終了す
る。
【００９８】以上の一連の処理の流れにより、２枚の画
像のオーバーラップ領域内の視差の違いは、カメラに近
い被写体ほど大きく、そこで合成が行なわれるとずれ
や、２重になる原因となるが、カメラに近い被写体での
輪郭上に接合線を設けることにより、視差が大きく違う
部分で接合することが少なくなり、接合画像は、従来よ
りも自然になり、品質が向上する。
像のオーバーラップ領域内の視差の違いは、カメラに近
い被写体ほど大きく、そこで合成が行なわれるとずれ
や、２重になる原因となるが、カメラに近い被写体での
輪郭上に接合線を設けることにより、視差が大きく違う
部分で接合することが少なくなり、接合画像は、従来よ
りも自然になり、品質が向上する。
【００９９】また、本発明の請求項２、３、４に係る実
施形態では、画像中に動物体を含む画像であっても、視
差抽出において、それが視差として現れるために、同様
に高品質に接合が可能になる。以上、ここで挙げた実施
例は本発明の請求項２、３、４に係る実施例の一例であ
り、本発明の主旨を変えない限り、実施例の内容に限定
されるものではない。
施形態では、画像中に動物体を含む画像であっても、視
差抽出において、それが視差として現れるために、同様
に高品質に接合が可能になる。以上、ここで挙げた実施
例は本発明の請求項２、３、４に係る実施例の一例であ
り、本発明の主旨を変えない限り、実施例の内容に限定
されるものではない。
【０１００】また、本発明のパノラマ画像作成装置にお
いて、一連のパノラマ画像を作成する処理を実現するプ
ログラムは、フロッピーディスク、ハードディスク、磁
気テープ、ＣＤ−ＲＯＭ／光ディスク／光磁気ディス
ク、ＭＤ等のメディア、及びＲＯＭ／ＲＡＭメモリ等の
記録媒体に格納される以下の内容である。
いて、一連のパノラマ画像を作成する処理を実現するプ
ログラムは、フロッピーディスク、ハードディスク、磁
気テープ、ＣＤ−ＲＯＭ／光ディスク／光磁気ディス
ク、ＭＤ等のメディア、及びＲＯＭ／ＲＡＭメモリ等の
記録媒体に格納される以下の内容である。
【０１０１】格納されるプログラム内容の一例として
は、複数の撮像手段により、或いは、撮像手段を複数回
移動して、撮像画像の一部をオーバーラップさせて撮影
して得られた分割画像を、画像入力処理手段は撮像手段
に対して指示して取り込みを行わせると共に、記憶手段
に対して記憶先アドレスを指示して取り込まれた前記分
割画像を記憶手段に記憶させ、画像位置計算手段には前
記分割画像の合成位置を計算させ、視差情報抽出手段に
は隣接する前記分割画像間のオーバーラップ領域内の視
差を含んだ画像から画像間の視差情報を抽出させ、中間
画像作成手段には前記オーバーラップ領域内の視差を含
んだ画像から複数の中間画像を作成させ、画像合成手段
には前記分割画像からパノラマ画像を合成させ、その
際、前記視差情報抽出手段において前記オーバーラップ
領域の画像のずれを補正すると共に、前記中間画像作成
手段で作成した中間画像で補間してパノラマ画像を合成
する動作を実行させるものである。
は、複数の撮像手段により、或いは、撮像手段を複数回
移動して、撮像画像の一部をオーバーラップさせて撮影
して得られた分割画像を、画像入力処理手段は撮像手段
に対して指示して取り込みを行わせると共に、記憶手段
に対して記憶先アドレスを指示して取り込まれた前記分
割画像を記憶手段に記憶させ、画像位置計算手段には前
記分割画像の合成位置を計算させ、視差情報抽出手段に
は隣接する前記分割画像間のオーバーラップ領域内の視
差を含んだ画像から画像間の視差情報を抽出させ、中間
画像作成手段には前記オーバーラップ領域内の視差を含
んだ画像から複数の中間画像を作成させ、画像合成手段
には前記分割画像からパノラマ画像を合成させ、その
際、前記視差情報抽出手段において前記オーバーラップ
領域の画像のずれを補正すると共に、前記中間画像作成
手段で作成した中間画像で補間してパノラマ画像を合成
する動作を実行させるものである。
【０１０２】また、格納されるプログラム内容の別の一
例としては、複数の撮像手段により、或いは、撮像手段
を複数回移動して、撮像画像の一部をオーバーラップさ
せて撮影して得られた分割画像を、画像入力処理手段は
撮像手段に対して指示して取り込みを行わせると共に、
記憶手段に対して記憶先アドレスを指示して取り込まれ
た前記分割画像を記憶手段に記憶させ、画像位置計算手
段には前記分割画像の合成位置を計算させ、視差情報抽
出手段には隣接する前記分割画像間のオーバーラップ領
域内の視差を含んだ画像から画像間の視差情報を抽出さ
せ、接合線決定手段には前記視差情報抽出手段によって
得られた奥行き情報に基づいて、前記オーバーラップ領
域の画像の撮像手段に最も近い被写体の輪郭上に接合線
を設定させ、画像合成手段には前記分割画像からパノラ
マ画像を合成させ、その際、前記視差情報抽出手段にお
いて前記オーバーラップ領域の画像のずれを補正すると
共に、前記接合線決定手段によって求められた接合線に
基づいて、分割画像を接合することでパノラマ画像を合
成する動作を実行させるものである。
例としては、複数の撮像手段により、或いは、撮像手段
を複数回移動して、撮像画像の一部をオーバーラップさ
せて撮影して得られた分割画像を、画像入力処理手段は
撮像手段に対して指示して取り込みを行わせると共に、
記憶手段に対して記憶先アドレスを指示して取り込まれ
た前記分割画像を記憶手段に記憶させ、画像位置計算手
段には前記分割画像の合成位置を計算させ、視差情報抽
出手段には隣接する前記分割画像間のオーバーラップ領
域内の視差を含んだ画像から画像間の視差情報を抽出さ
せ、接合線決定手段には前記視差情報抽出手段によって
得られた奥行き情報に基づいて、前記オーバーラップ領
域の画像の撮像手段に最も近い被写体の輪郭上に接合線
を設定させ、画像合成手段には前記分割画像からパノラ
マ画像を合成させ、その際、前記視差情報抽出手段にお
いて前記オーバーラップ領域の画像のずれを補正すると
共に、前記接合線決定手段によって求められた接合線に
基づいて、分割画像を接合することでパノラマ画像を合
成する動作を実行させるものである。
【０１０３】尚、ここで挙げた内容例は本発明の請求項
５、６に係る実施例の一例であり、本発明の主旨を変え
ない限り、上記内容に限定されるものではない。
５、６に係る実施例の一例であり、本発明の主旨を変え
ない限り、上記内容に限定されるものではない。
【０１０４】以上、本発明におけるプログラムは、上記
記録媒体を用いることで、パーソナルコンピュータ、携
帯情報端末、カメラ一体型画像処理装置などの各種情報
機器においても使用出来るものである。
記録媒体を用いることで、パーソナルコンピュータ、携
帯情報端末、カメラ一体型画像処理装置などの各種情報
機器においても使用出来るものである。
【０１０５】
【発明の効果】以上のように本発明のパノラマ画像作成
装置では、各請求項において以下の効果が得られる。
装置では、各請求項において以下の効果が得られる。
【０１０６】本発明の請求項１及び請求項５において
は、被写体の奥行きに起因する視差を画像間のオーバラ
ップ内で計算により求め、それをもとに画像の取られた
位置を補間する中間画像を用いてオーバーラップ内の画
像を補間することにより、被写体の奥行きによる視差が
ある場合においても、従来より自然なパノラマ画像が生
成出来る効果が得られる。
は、被写体の奥行きに起因する視差を画像間のオーバラ
ップ内で計算により求め、それをもとに画像の取られた
位置を補間する中間画像を用いてオーバーラップ内の画
像を補間することにより、被写体の奥行きによる視差が
ある場合においても、従来より自然なパノラマ画像が生
成出来る効果が得られる。
【０１０７】本発明の請求項２及び請求項６において
は、被写体の奥行きに起因する視差や、動物体を画像間
のオーバラップ内で計算により求め、それをもとに両画
像間での物体の奥行きの差が大きい場所を含まないよう
な画像のラインを接合ラインとして用いることにより、
被写体の奥行きによる視差がある場合や、動物体を含む
場合においても、従来より品質が良く、歪みの少ない自
然なパノラマ画像が生成出来る効果が得られる。
は、被写体の奥行きに起因する視差や、動物体を画像間
のオーバラップ内で計算により求め、それをもとに両画
像間での物体の奥行きの差が大きい場所を含まないよう
な画像のラインを接合ラインとして用いることにより、
被写体の奥行きによる視差がある場合や、動物体を含む
場合においても、従来より品質が良く、歪みの少ない自
然なパノラマ画像が生成出来る効果が得られる。
【０１０８】本発明の請求項３においては、近くの被写
体が複雑な形状である場合など、前記請求項２の発明で
は、接合線がうまく求められない場合でも、比較的近い
被写体の集合の輪郭で接合線を設けることで、品質が良
く、歪みの少ない自然なパノラマ画像が生成出来る効果
が得られる。
体が複雑な形状である場合など、前記請求項２の発明で
は、接合線がうまく求められない場合でも、比較的近い
被写体の集合の輪郭で接合線を設けることで、品質が良
く、歪みの少ない自然なパノラマ画像が生成出来る効果
が得られる。
【０１０９】本発明の請求項４においては、オーバーラ
ップ内の被写体の位置によっては、前記請求項２及び請
求項３の発明で、基準とする画像を常に１方向に固定し
てはうまくいかない場合があり、その場合、基準とする
画像の選択と、前記請求項２及び請求項３の発明での接
合線決定方法の組み合わせによって作成される複数の接
合線の候補を選び出し、それらの中から、接合線上での
画像間の差が最も小さくなる最適な接合線を選び出すこ
とにより、より安定に品質が良く、歪みの少ない自然な
パノラマ画像が生成出来る効果が得られる。
ップ内の被写体の位置によっては、前記請求項２及び請
求項３の発明で、基準とする画像を常に１方向に固定し
てはうまくいかない場合があり、その場合、基準とする
画像の選択と、前記請求項２及び請求項３の発明での接
合線決定方法の組み合わせによって作成される複数の接
合線の候補を選び出し、それらの中から、接合線上での
画像間の差が最も小さくなる最適な接合線を選び出すこ
とにより、より安定に品質が良く、歪みの少ない自然な
パノラマ画像が生成出来る効果が得られる。
【図１】本発明の請求項１における実施形態の一実施例
を説明するブロック図である。
を説明するブロック図である。
【図２】本発明の請求項２における実施形態の一実施例
を説明するブロック図である。
を説明するブロック図である。
【図３】本発明の請求項１における実施形態でのＲＡＭ
の一構成例を示した説明図である。
の一構成例を示した説明図である。
【図４】カメラの移動、或いは、複数のカメラによるオ
ーバーラップ領域を持たせた画像撮影の様子を示した説
明図である。
ーバーラップ領域を持たせた画像撮影の様子を示した説
明図である。
【図５】図４で撮影された画像であって、奥行きの違い
によってオーバーラップ内の画像が一致しないことを示
した説明図である。
によってオーバーラップ内の画像が一致しないことを示
した説明図である。
【図６】視差抽出を行なうためのマッチングの様子を示
した説明図である。
した説明図である。
【図７】中間画像の作成の様子を示した説明図である。
【図８】本発明の請求項１における実施形態の処理の手
順を示した説明図である。
順を示した説明図である。
【図９】本発明の請求項１及び請求項２において画像位
置を求める様子を示した説明図である。
置を求める様子を示した説明図である。
【図１０】画像間のマッチングのずれ量とカメラからの
奥行きとの関係を示した説明図である。
奥行きとの関係を示した説明図である。
【図１１】本発明の請求項２における実施形態の処理の
手順を示した説明図である。
手順を示した説明図である。
【図１２】本発明の請求項３における接合線の決定の様
子を示した説明図である。
子を示した説明図である。
【図１３】本発明の請求項４における接合線の決定の様
子を示した説明図である。
子を示した説明図である。
【図１４】未定義画素の周囲からの補間方法の様子を示
した説明図である。
した説明図である。
１０１ 画像入力装置 １０２ フレームメモリ １０３ 画像出力装置 １０４ 画像入力処理部 １０５ 画像前処理部 １０６ 画像位置計算部 １０７ 画像視差抽出処理部 １０８ 中間画像生成処理部 １０９ 画像合成処理部 １１０ 画像出力処理部 １１１ タイミング制御部 １１２ ＲＡＭ １０７’ 画像視差抽出処理部 １０８’ 接合線決定処理部 １０９’ 画像合成処理部
Claims (6)
- 【請求項１】 複数の撮像手段により、或いは、撮像手
段を複数回移動して、撮像画像の一部をオーバーラップ
させて撮影し、得られた分割画像をつなぎ合わせてパノ
ラマ画像を作成するためのパノラマ画像作成装置であっ
て、 前記撮像手段と、 前記撮像手段から入力された分割画像を記憶する記憶手
段と、 前記撮像手段に対して前記分割画像の取り込みを指示す
ると共に、前記記憶手段に対しては、前記取り込まれた
分割画像の記憶先アドレスを指示する画像入力処理手段
と、 前記分割画像の合成位置を計算する画像位置計算手段
と、 隣接する前記分割画像間のオーバーラップ領域内の視差
を含んだ画像から、画像間の視差情報を抽出する視差情
報抽出手段と、 前記オーバーラップ領域内の視差を含んだ画像から複数
の中間画像を作成する中間画像作成手段と、 前記分割画像からパノラマ画像を合成する画像合成手段
とを備え、 前記オーバーラップ領域の画像のずれを前記視差情報抽
出手段で補正すると共に、前記中間画像作成手段で作成
した中間画像で補間してパノラマ画像を合成することを
特徴とするパノラマ画像作成装置。 - 【請求項２】 複数の撮像手段により、或いは、撮像手
段を複数回移動して、撮像画像の一部をオーバーラップ
させて撮影し、得られた分割画像をつなぎ合わせてパノ
ラマ画像を作成するためのパノラマ画像作成装置であっ
て、 前記撮像手段と、 前記撮像手段から入力された分割画像を記憶する記憶手
段と、 前記撮像手段に対して前記分割画像の取り込みを指示す
ると共に、前記記憶手段に対しては、前記取り込まれた
分割画像の記憶先アドレスを指示する画像入力処理手段
と、 前記分割画像の合成位置を計算する画像位置計算手段
と、 隣接する前記分割画像間のオーバーラップ領域内の視差
を含んだ画像から、画像間の視差情報を抽出する視差情
報抽出手段と、 前記視差情報抽出手段によって得られた奥行き情報に基
づいて、前記オーバーラップ領域の画像の撮像手段に最
も近い被写体の輪郭上に接合線を設定する接合線決定手
段と、 前記分割画像からパノラマ画像を合成する画像合成手段
とを備え、 前記オーバーラップ領域の画像のずれを前記視差情報抽
出手段で補正すると共に、前記接合線決定手段によって
求められた接合線に基づいて、分割画像を接合すること
を特徴とするパノラマ画像作成装置。 - 【請求項３】 請求項２記載のパノラマ画像作成装置に
おいて、 前記接合線決定手段は、前記オーバーラップ領域の画像
の撮像手段に最も近い被写体のオーバーラップ領域側の
画像端に最も近い輪郭に接合線を設定することを特徴と
するパノラマ画像作成装置。 - 【請求項４】 請求項２又は、請求項３記載のパノラマ
画像作成装置において、 前記接合線決定手段は、前記オーバーラップ領域内にお
いて、接合線決定時における基準画像の選択と、前記接
合線決定方法の組み合わせによる複数の接合線の中か
ら、最適な接合線を選出して分割画像を接合することを
特徴とするパノラマ画像作成装置。 - 【請求項５】 複数の撮像手段により、或いは、撮像手
段を複数回移動して、撮像画像の一部をオーバーラップ
させて撮影し、得られた分割画像をつなぎ合わせてパノ
ラマ画像を作成するためのプログラムであり、 画像入力処理手段は撮像手段に対して指示して分割画像
の取り込みを行わせると共に、記憶手段に対して記憶先
アドレスを指示して取り込まれた前記分割画像を記憶手
段に記憶させ、 画像位置計算手段には前記分割画像の合成位置を計算さ
せ、 視差情報抽出手段には隣接する前記分割画像間のオーバ
ーラップ領域内の視差を含んだ画像から画像間の視差情
報を抽出させ、 中間画像作成手段には前記オーバーラップ領域内の視差
を含んだ画像から複数の中間画像を作成させ、 画像合成手段には前記分割画像からパノラマ画像を合成
させ、 その際、前記視差情報抽出手段において前記オーバーラ
ップ領域の画像のずれを補正すると共に、前記中間画像
作成手段で作成した中間画像で補間してパノラマ画像を
合成する動作を実行させるプログラムを格納した記録媒
体。 - 【請求項６】 複数の撮像手段により、或いは、撮像手
段を複数回移動して、撮像画像の一部をオーバーラップ
させて撮影し、得られた分割画像をつなぎ合わせてパノ
ラマ画像を作成するためのプログラムであり、 画像入力処理手段は撮像手段に対して指示して分割画像
の取り込みを行わせると共に、記憶手段に対して記憶先
アドレスを指示して取り込まれた前記分割画像を記憶手
段に記憶させ、 画像位置計算手段には前記分割画像の合成位置を計算さ
せ、 視差情報抽出手段には隣接する前記分割画像間のオーバ
ーラップ領域内の視差を含んだ画像から画像間の視差情
報を抽出させ、 接合線決定手段には前記視差情報抽出手段によって得ら
れた奥行き情報に基づいて、前記オーバーラップ領域の
画像の撮像手段に最も近い被写体の輪郭上に接合線を設
定させ、 画像合成手段には前記分割画像からパノラマ画像を合成
させ、 その際、前記視差情報抽出手段において前記オーバーラ
ップ領域の画像のずれを補正すると共に、前記接合線決
定手段によって求められた接合線に基づいて、分割画像
を接合することでパノラマ画像を合成する動作を実行さ
せるプログラムを格納した記録媒体。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9269427A JPH10178564A (ja) | 1996-10-17 | 1997-10-02 | パノラマ画像作成装置及び記録媒体 |
| US08/951,713 US6005987A (en) | 1996-10-17 | 1997-10-16 | Picture image forming apparatus |
| EP97117985A EP0837428B1 (en) | 1996-10-17 | 1997-10-16 | Picture image forming apparatus |
| DE69713243T DE69713243T2 (de) | 1996-10-17 | 1997-10-16 | Bilderzeugungsgerät |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27432696 | 1996-10-17 | ||
| JP8-274326 | 1996-10-17 | ||
| JP9269427A JPH10178564A (ja) | 1996-10-17 | 1997-10-02 | パノラマ画像作成装置及び記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH10178564A true JPH10178564A (ja) | 1998-06-30 |
Family
ID=26548762
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9269427A Pending JPH10178564A (ja) | 1996-10-17 | 1997-10-02 | パノラマ画像作成装置及び記録媒体 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6005987A (ja) |
| EP (1) | EP0837428B1 (ja) |
| JP (1) | JPH10178564A (ja) |
| DE (1) | DE69713243T2 (ja) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000244814A (ja) * | 1999-02-24 | 2000-09-08 | Hitachi Ltd | 画像合成装置、画像合成方法が記録された記録媒体 |
| JP2002208005A (ja) * | 2001-01-12 | 2002-07-26 | Minolta Co Ltd | 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| US6587597B1 (en) | 1999-01-21 | 2003-07-01 | Nec Corporation | Image input method, image input apparatus, and recording medium |
| JP2007104583A (ja) * | 2005-10-07 | 2007-04-19 | Fujifilm Corp | 撮影装置 |
| US7324135B2 (en) | 2002-10-15 | 2008-01-29 | Seiko Epson Corporation | Panoramic composition of multiple image data |
| JP2008252716A (ja) * | 2007-03-30 | 2008-10-16 | Nikon Corp | 撮像装置 |
| KR101030435B1 (ko) | 2009-08-07 | 2011-04-20 | 포항공과대학교 산학협력단 | 시차와 움직이는 물체가 있는 영상에 대한 실시간 모자익 영상 생성 방법 |
| KR101065339B1 (ko) | 2008-07-02 | 2011-09-16 | 삼성전자주식회사 | 휴대 단말기 및 휴대 단말기 간 분할 촬영 방법 |
| JP2012182582A (ja) * | 2011-02-28 | 2012-09-20 | Olympus Imaging Corp | 撮像装置 |
| CN102694972A (zh) * | 2011-03-24 | 2012-09-26 | 卡西欧计算机株式会社 | 具有重构图像的功能的装置以及方法 |
| JP2013183353A (ja) * | 2012-03-02 | 2013-09-12 | Toshiba Corp | 画像処理装置 |
| JP2014149798A (ja) * | 2013-02-04 | 2014-08-21 | Casio Comput Co Ltd | 画像処理装置、撮像装置、画像処理方法及びプログラム |
| CN104255026A (zh) * | 2012-05-11 | 2014-12-31 | 索尼公司 | 图像处理设备和图像处理方法 |
| US9652856B2 (en) | 2014-08-12 | 2017-05-16 | Ricoh Company, Ltd. | Image processing system, image processing apparatus, and image capturing system |
| JP2018026744A (ja) * | 2016-08-12 | 2018-02-15 | 日本電信電話株式会社 | パノラマ映像情報生成装置、これに用いるパノラマ映像情報生成方法、およびパノラマ映像情報生成用プログラム |
| JP2018142963A (ja) * | 2018-03-27 | 2018-09-13 | パナソニックＩｐマネジメント株式会社 | 画像処理システム、画像処理装置および画像処理方法 |
| JP2020525912A (ja) * | 2017-07-06 | 2020-08-27 | ヒューマンアイズ テクノロジーズ リミテッド | デジタル画像を適応的にスティッチするシステムおよび方法 |
Families Citing this family (136)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000514548A (ja) | 1996-05-10 | 2000-10-31 | アプライド、サイエンス、フィクション、インコーポレーテッド | 輝度優先色センサ |
| US6069714A (en) | 1996-12-05 | 2000-05-30 | Applied Science Fiction, Inc. | Method and apparatus for reducing noise in electronic film development |
| US6442301B1 (en) | 1997-01-06 | 2002-08-27 | Applied Science Fiction, Inc. | Apparatus and method for defect channel nulling |
| US6017688A (en) | 1997-01-30 | 2000-01-25 | Applied Science Fiction, Inc. | System and method for latent film recovery in electronic film development |
| US6380539B1 (en) | 1997-01-30 | 2002-04-30 | Applied Science Fiction, Inc. | Four color trilinear CCD scanning |
| JPH114398A (ja) * | 1997-06-11 | 1999-01-06 | Hitachi Ltd | デジタルワイドカメラ |
| US6215914B1 (en) * | 1997-06-24 | 2001-04-10 | Sharp Kabushiki Kaisha | Picture processing apparatus |
| US6611629B2 (en) * | 1997-11-03 | 2003-08-26 | Intel Corporation | Correcting correlation errors in a composite image |
| DE19855885A1 (de) * | 1997-12-04 | 1999-08-05 | Fuji Photo Film Co Ltd | Bildverarbeitungsverfahren und -vorrichtung |
| US6720997B1 (en) * | 1997-12-26 | 2004-04-13 | Minolta Co., Ltd. | Image generating apparatus |
| JPH11205648A (ja) * | 1998-01-09 | 1999-07-30 | Olympus Optical Co Ltd | 画像合成装置 |
| WO1999040729A1 (en) | 1998-02-04 | 1999-08-12 | Applied Science Fiction, Inc. | Multilinear array sensor with an infrared line |
| EP1086577B1 (en) | 1998-02-23 | 2002-09-18 | Applied Science Fiction, Inc. | Progressive area scan in electronic film development |
| AU2990399A (en) | 1998-03-13 | 1999-09-27 | Applied Science Fiction, Inc. | Image defect correction method |
| US6486908B1 (en) * | 1998-05-27 | 2002-11-26 | Industrial Technology Research Institute | Image-based method and system for building spherical panoramas |
| US6674485B2 (en) | 1998-08-31 | 2004-01-06 | Hitachi Software Engineering Co., Ltd. | Apparatus and method for image compositing |
| US6384936B1 (en) * | 1998-10-26 | 2002-05-07 | Hewlett-Packard Company | Printer effort reduction through caching and reduction |
| US6594041B1 (en) | 1998-11-20 | 2003-07-15 | Applied Science Fiction, Inc. | Log time processing and stitching system |
| US6437358B1 (en) | 1999-02-04 | 2002-08-20 | Applied Science Fiction, Inc. | Apparatus and methods for capturing defect data |
| US6404516B1 (en) | 1999-02-22 | 2002-06-11 | Applied Science Fiction, Inc. | Parametric image stitching |
| US6781620B1 (en) | 1999-03-16 | 2004-08-24 | Eastman Kodak Company | Mixed-element stitching and noise reduction system |
| AU6202100A (en) | 1999-06-29 | 2001-01-31 | Applied Science Fiction, Inc. | Slot coating device for electronic film development |
| US7015954B1 (en) * | 1999-08-09 | 2006-03-21 | Fuji Xerox Co., Ltd. | Automatic video system using multiple cameras |
| US6439784B1 (en) | 1999-08-17 | 2002-08-27 | Applied Science Fiction, Inc. | Method and system for using calibration patches in electronic film processing |
| JP4372382B2 (ja) * | 1999-08-20 | 2009-11-25 | ヒーブルー ユニバーシティ オブ エルサレム | 移動カメラにより記録された画像の修正モザイキングのためのシステムおよび方法 |
| US6487321B1 (en) | 1999-09-16 | 2002-11-26 | Applied Science Fiction | Method and system for altering defects in a digital image |
| WO2001027688A2 (en) | 1999-10-08 | 2001-04-19 | Applied Science Fiction, Inc. | System and method for correcting defects in digital images through selective fill-in from surrounding areas |
| AU1077101A (en) | 1999-10-08 | 2001-04-23 | Applied Science Fiction, Inc. | Method and apparatus for differential illumination image-capturing and defect handling |
| US6924911B1 (en) | 1999-10-12 | 2005-08-02 | Eastman Kodak Company | Method and system for multi-sensor signal detection |
| US6711302B1 (en) | 1999-10-20 | 2004-03-23 | Eastman Kodak Company | Method and system for altering defects in digital image |
| US6865289B1 (en) * | 2000-02-07 | 2005-03-08 | Canon Kabushiki Kaisha | Detection and removal of image occlusion errors |
| AU2054401A (en) | 1999-12-17 | 2001-06-25 | Applied Science Fiction, Inc. | Method and system for selective enhancement of image data |
| US6683995B2 (en) | 1999-12-23 | 2004-01-27 | Eastman Kodak Company | Method and apparatus for correcting large defects in digital images |
| US6704458B2 (en) | 1999-12-29 | 2004-03-09 | Eastman Kodak Company | Method and apparatus for correcting heavily damaged images |
| US7164511B2 (en) * | 1999-12-29 | 2007-01-16 | Eastman Kodak Company | Distinguishing positive and negative films system and method |
| US6864973B2 (en) | 1999-12-30 | 2005-03-08 | Eastman Kodak Company | Method and apparatus to pre-scan and pre-treat film for improved digital film processing handling |
| US6862117B1 (en) | 1999-12-30 | 2005-03-01 | Eastman Kodak Company | Method and apparatus for reducing the effect of bleed-through on captured images |
| US6554504B2 (en) | 1999-12-30 | 2003-04-29 | Applied Science Fiction, Inc. | Distributed digital film processing system and method |
| US6540416B2 (en) | 1999-12-30 | 2003-04-01 | Applied Science Fiction, Inc. | System and method for digital film development using visible light |
| US6965692B1 (en) | 1999-12-30 | 2005-11-15 | Eastman Kodak Company | Method and apparatus for improving the quality of reconstructed information |
| US6720560B1 (en) | 1999-12-30 | 2004-04-13 | Eastman Kodak Company | Method and apparatus for scanning images |
| WO2001050197A1 (en) | 1999-12-30 | 2001-07-12 | Applied Science Fiction, Inc. | System and method for digital color dye film processing |
| US6788335B2 (en) | 1999-12-30 | 2004-09-07 | Eastman Kodak Company | Pulsed illumination signal modulation control & adjustment method and system |
| US6813392B2 (en) | 1999-12-30 | 2004-11-02 | Eastman Kodak Company | Method and apparatus for aligning multiple scans of the same area of a medium using mathematical correlation |
| EP1247140A1 (en) | 1999-12-30 | 2002-10-09 | Applied Science Fiction, Inc. | Improved system and method for digital film development using visible light |
| US6707557B2 (en) | 1999-12-30 | 2004-03-16 | Eastman Kodak Company | Method and system for estimating sensor dark current drift and sensor/illumination non-uniformities |
| US6447178B2 (en) | 1999-12-30 | 2002-09-10 | Applied Science Fiction, Inc. | System, method, and apparatus for providing multiple extrusion widths |
| AU2733601A (en) | 1999-12-31 | 2001-07-16 | Applied Science Fiction, Inc. | Digital film processing method |
| US6475711B1 (en) | 1999-12-31 | 2002-11-05 | Applied Science Fiction, Inc. | Photographic element and digital film processing method using same |
| US6619863B2 (en) | 2000-02-03 | 2003-09-16 | Eastman Kodak Company | Method and system for capturing film images |
| AU2001238021A1 (en) | 2000-02-03 | 2001-08-14 | Applied Science Fiction | Match blur system and method |
| JP2004514156A (ja) | 2000-02-03 | 2004-05-13 | アプライド・サイエンス・フィクション | フィルム処理液カートリッジ、および、フィルムを現像しかつディジタル化するための方法 |
| WO2001057796A2 (en) | 2000-02-03 | 2001-08-09 | Applied Science Fiction | Method, system, and software for signal processing using pyramidal decomposition |
| US6786655B2 (en) | 2000-02-03 | 2004-09-07 | Eastman Kodak Company | Method and system for self-service film processing |
| WO2001057797A2 (en) | 2000-02-03 | 2001-08-09 | Applied Science Fiction | Method, system and software for signal processing using sheep and shepherd artifacts |
| US7810037B1 (en) * | 2000-02-11 | 2010-10-05 | Sony Corporation | Online story collaboration |
| US8407595B1 (en) | 2000-02-11 | 2013-03-26 | Sony Corporation | Imaging service for automating the display of images |
| US7262778B1 (en) | 2000-02-11 | 2007-08-28 | Sony Corporation | Automatic color adjustment of a template design |
| US7136528B2 (en) | 2000-02-11 | 2006-11-14 | Sony Corporation | System and method for editing digital images |
| DE60137655D1 (de) * | 2000-02-29 | 2009-03-26 | Panasonic Corp | Bildaufnahmesystem und fahrzeugmontiertes Sensorsystem |
| US7397949B2 (en) | 2000-06-21 | 2008-07-08 | Microsoft Corporation | Serial storage of ink and its properties |
| US7006711B2 (en) | 2000-06-21 | 2006-02-28 | Microsoft Corporation | Transform table for ink sizing and compression |
| JP2002112992A (ja) * | 2000-06-30 | 2002-04-16 | Canon Inc | 信号処理装置及び方法、及び撮像装置 |
| US7313289B2 (en) * | 2000-08-30 | 2007-12-25 | Ricoh Company, Ltd. | Image processing method and apparatus and computer-readable storage medium using improved distortion correction |
| TW538382B (en) | 2000-09-21 | 2003-06-21 | Applied Science Fiction Inc | Dynamic image correction and imaging systems |
| US6750435B2 (en) * | 2000-09-22 | 2004-06-15 | Eastman Kodak Company | Lens focusing device, system and method for use with multiple light wavelengths |
| US20020106134A1 (en) * | 2000-09-22 | 2002-08-08 | Dundon Thomas A. | Multiple-orientation image defect detection and correction |
| US6888997B2 (en) | 2000-12-05 | 2005-05-03 | Eastman Kodak Company | Waveguide device and optical transfer system for directing light to an image plane |
| US6707473B2 (en) | 2001-08-01 | 2004-03-16 | Microsoft Corporation | Dynamic rendering of ink strokes with transparency |
| JP2004523793A (ja) | 2001-02-09 | 2004-08-05 | イーストマン コダック カンパニー | デジタルフィルム処理液およびデジタルフィルムの処理方法 |
| JP3472273B2 (ja) * | 2001-03-07 | 2003-12-02 | キヤノン株式会社 | 画像再生装置及び画像処理装置及び方法 |
| US6987892B2 (en) * | 2001-04-19 | 2006-01-17 | Eastman Kodak Company | Method, system and software for correcting image defects |
| DE10126790A1 (de) * | 2001-06-01 | 2003-01-02 | Micronas Munich Gmbh | Verfahren und Vorrichtung zur Darstellung von wenigstens zwei Bildern in einem Gesamtbild |
| US7343053B2 (en) | 2001-06-27 | 2008-03-11 | Microsoft Corporation | Transform table for ink sizing and compression |
| WO2003005303A2 (en) * | 2001-07-02 | 2003-01-16 | Matchlight Software, Inc. | System and method for discovering and categorizing attributes of a digital image |
| JP4046957B2 (ja) | 2001-07-05 | 2008-02-13 | キヤノン株式会社 | 撮像装置及びその制御方法、情報処理装置及び方法、並びに記憶媒体 |
| US6805501B2 (en) | 2001-07-16 | 2004-10-19 | Eastman Kodak Company | System and method for digital film development using visible light |
| US7168038B2 (en) * | 2001-08-01 | 2007-01-23 | Microsoft Corporation | System and method for scaling and repositioning drawings |
| US6770863B2 (en) * | 2001-10-26 | 2004-08-03 | Agilent Technologies, Inc. | Apparatus and method for three-dimensional relative movement sensing |
| JP3739693B2 (ja) * | 2001-11-09 | 2006-01-25 | 本田技研工業株式会社 | 画像認識装置 |
| US7263240B2 (en) | 2002-01-14 | 2007-08-28 | Eastman Kodak Company | Method, system, and software for improving signal quality using pyramidal decomposition |
| CN1312908C (zh) | 2002-04-17 | 2007-04-25 | 精工爱普生株式会社 | 数码相机 |
| JP2004015286A (ja) | 2002-06-05 | 2004-01-15 | Seiko Epson Corp | ディジタルカメラ |
| US7184609B2 (en) * | 2002-06-28 | 2007-02-27 | Microsoft Corp. | System and method for head size equalization in 360 degree panoramic images |
| CN100369460C (zh) * | 2002-08-01 | 2008-02-13 | 精工爱普生株式会社 | 数码相机 |
| US7623733B2 (en) * | 2002-08-09 | 2009-11-24 | Sharp Kabushiki Kaisha | Image combination device, image combination method, image combination program, and recording medium for combining images having at least partially same background |
| US8994822B2 (en) | 2002-08-28 | 2015-03-31 | Visual Intelligence Lp | Infrastructure mapping system and method |
| US8483960B2 (en) | 2002-09-20 | 2013-07-09 | Visual Intelligence, LP | Self-calibrated, remote imaging and data processing system |
| US7893957B2 (en) | 2002-08-28 | 2011-02-22 | Visual Intelligence, LP | Retinal array compound camera system |
| US6928194B2 (en) * | 2002-09-19 | 2005-08-09 | M7 Visual Intelligence, Lp | System for mosaicing digital ortho-images |
| USRE49105E1 (en) | 2002-09-20 | 2022-06-14 | Vi Technologies, Llc | Self-calibrated, remote imaging and data processing system |
| US7215362B2 (en) * | 2002-10-31 | 2007-05-08 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Auto-calibration of multi-projector systems |
| JP3945430B2 (ja) * | 2003-03-19 | 2007-07-18 | コニカミノルタホールディングス株式会社 | 画像による対象物の計測方法および撮像装置 |
| US7463280B2 (en) | 2003-06-03 | 2008-12-09 | Steuart Iii Leonard P | Digital 3D/360 degree camera system |
| EP1706702A2 (en) * | 2003-12-21 | 2006-10-04 | KREMEN, Stanley H. | System and apparatus for recording, transmitting, and projecting digital three-dimensional images |
| US7609290B2 (en) * | 2005-01-28 | 2009-10-27 | Technology Advancement Group, Inc. | Surveillance system and method |
| EP1936323B1 (en) * | 2005-09-12 | 2010-03-03 | Trimble Jena GmbH | Surveying instrument and method of providing survey data using a surveying instrument |
| US20070081081A1 (en) * | 2005-10-07 | 2007-04-12 | Cheng Brett A | Automated multi-frame image capture for panorama stitching using motion sensor |
| FR2897163B1 (fr) * | 2006-02-08 | 2008-04-11 | Thales Sa | Procede de geo-localisation d'une ou plusieurs cibles |
| US8417060B2 (en) * | 2006-03-20 | 2013-04-09 | Arizona Board Of Regents For And On Behalf Of Arizona State University | Methods for multi-point descriptors for image registrations |
| US20080065754A1 (en) * | 2006-08-17 | 2008-03-13 | Benhase Linda V | System And Method For Dynamic Picture Generation In A Web Or Java Application |
| US7630367B2 (en) * | 2006-09-01 | 2009-12-08 | Wipro Limited | Approach for fast IP address lookups |
| US8275215B2 (en) * | 2007-05-08 | 2012-09-25 | Arcsoft (Shanghai) Technology Company, Ltd | Merging images |
| US8203764B2 (en) * | 2007-06-27 | 2012-06-19 | Lexmark International, Inc. | Phased illumination method for image capture system |
| US8164600B2 (en) * | 2007-12-06 | 2012-04-24 | Barco Nv | Method and system for combining images generated by separate sources |
| KR101473215B1 (ko) * | 2008-04-18 | 2014-12-17 | 삼성전자주식회사 | 파노라마 이미지 생성장치 및 그 방법 |
| TWI408947B (zh) * | 2009-02-13 | 2013-09-11 | 晨星半導體股份有限公司 | 影像調整裝置及影像調整方法 |
| JP5235798B2 (ja) * | 2009-06-22 | 2013-07-10 | 富士フイルム株式会社 | 撮影装置及びその制御方法 |
| GB2473247B (en) * | 2009-09-04 | 2015-02-11 | Sony Corp | A method and apparatus for image alignment |
| US8385689B2 (en) * | 2009-10-21 | 2013-02-26 | MindTree Limited | Image alignment using translation invariant feature matching |
| US9237294B2 (en) | 2010-03-05 | 2016-01-12 | Sony Corporation | Apparatus and method for replacing a broadcasted advertisement based on both heuristic information and attempts in altering the playback of the advertisement |
| US8917929B2 (en) * | 2010-03-19 | 2014-12-23 | Lapis Semiconductor Co., Ltd. | Image processing apparatus, method, program, and recording medium |
| US9369621B2 (en) * | 2010-05-03 | 2016-06-14 | Invisage Technologies, Inc. | Devices and methods for high-resolution image and video capture |
| US8723946B2 (en) * | 2010-09-16 | 2014-05-13 | Honda Motor Co., Ltd. | Workpiece inspecting apparatus and workpiece inspecting method |
| JP5696419B2 (ja) * | 2010-09-30 | 2015-04-08 | カシオ計算機株式会社 | 画像処理装置及び方法、並びにプログラム |
| US9832528B2 (en) | 2010-10-21 | 2017-11-28 | Sony Corporation | System and method for merging network-based content with broadcasted programming content |
| US8983121B2 (en) * | 2010-10-27 | 2015-03-17 | Samsung Techwin Co., Ltd. | Image processing apparatus and method thereof |
| US8861890B2 (en) | 2010-11-24 | 2014-10-14 | Douglas Alan Lefler | System and method for assembling and displaying individual images as a continuous image |
| TWI437476B (zh) * | 2011-02-24 | 2014-05-11 | Au Optronics Corp | 互動式立體顯示系統及計算三維座標的方法 |
| JP5561214B2 (ja) * | 2011-03-15 | 2014-07-30 | オムロン株式会社 | 画像処理装置および画像処理プログラム |
| JP2012222674A (ja) * | 2011-04-12 | 2012-11-12 | Sony Corp | 画像処理装置、画像処理方法、プログラム |
| EP2726937B1 (en) | 2011-06-30 | 2019-01-23 | Nokia Technologies Oy | Method, apparatus and computer program product for generating panorama images |
| US9076215B2 (en) * | 2011-11-28 | 2015-07-07 | Panasonic Intellectual Property Management Co., Ltd. | Arithmetic processing device |
| US9111351B2 (en) * | 2011-12-15 | 2015-08-18 | Sony Corporation | Minimizing drift using depth camera images |
| US20130258044A1 (en) * | 2012-03-30 | 2013-10-03 | Zetta Research And Development Llc - Forc Series | Multi-lens camera |
| GB2506411B (en) | 2012-09-28 | 2020-03-11 | 2D3 Ltd | Determination of position from images and associated camera positions |
| NL2010213C2 (en) | 2013-01-31 | 2014-08-04 | Lely Patent Nv | Camera system, animal related system therewith, and method to create 3d camera images. |
| DE102013211271A1 (de) * | 2013-06-17 | 2014-12-18 | Robert Bosch Gmbh | System und Verfahren zum Zusammenfügen mittels mehrerer optischer Sensoren aufgenommener Bilder |
| DE102014213536B4 (de) * | 2014-07-11 | 2025-10-16 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Zusammenfügen von Teilbildern zu einem Abbild eines zusammenhängenden Umgebungsbereiches eines Fortbewegungsmittels, Fahrerassistenzsystem und Fortbewegungsmittel |
| JP6525570B2 (ja) * | 2014-12-04 | 2019-06-05 | キヤノン株式会社 | 画像表示システム、制御装置、制御方法及びプログラム |
| US20160295108A1 (en) * | 2015-04-01 | 2016-10-06 | Cheng Cao | System and method for panoramic imaging |
| JP6397801B2 (ja) * | 2015-06-30 | 2018-09-26 | 日立オートモティブシステムズ株式会社 | 物体検知装置 |
| US9875548B2 (en) * | 2015-12-18 | 2018-01-23 | Ricoh Co., Ltd. | Candidate list generation |
| GB201620037D0 (en) * | 2016-11-28 | 2017-01-11 | Nokia Technologies Oy | Imaging device and method |
| US20200294194A1 (en) * | 2019-03-11 | 2020-09-17 | Nvidia Corporation | View synthesis using neural networks |
| AT527033B1 (de) * | 2023-05-09 | 2024-10-15 | Frequentis Ag | Verfahren zur Darstellung und Aktualisierung eines Panoramabildes einer Landschaft |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3646336A (en) * | 1964-09-04 | 1972-02-29 | Itek Corp | Correlation unit |
| US4602857A (en) * | 1982-12-23 | 1986-07-29 | James H. Carmel | Panoramic motion picture camera and method |
| JPH03182976A (ja) * | 1989-12-11 | 1991-08-08 | Sumitomo Metal Ind Ltd | ディジタル画像の接合方法 |
| JP3045763B2 (ja) * | 1990-11-22 | 2000-05-29 | 旭光学工業株式会社 | カメラシステム |
| US5465163A (en) * | 1991-03-18 | 1995-11-07 | Canon Kabushiki Kaisha | Image processing method and apparatus for processing oversized original images and for synthesizing multiple images |
| JPH05122606A (ja) * | 1991-10-30 | 1993-05-18 | Matsushita Electric Ind Co Ltd | 画像合成処理方法および画像合成処理装置 |
| US5631697A (en) * | 1991-11-27 | 1997-05-20 | Hitachi, Ltd. | Video camera capable of automatic target tracking |
| JP3238755B2 (ja) * | 1992-08-21 | 2001-12-17 | 富士通株式会社 | ホログラムの作成および立体表示方法並びに立体表示装置 |
| US5452105A (en) * | 1992-11-19 | 1995-09-19 | Sharp Kabushiki Kaisha | Joint-portion processing device for image data for use in an image processing apparatus |
| FR2698699B1 (fr) * | 1992-11-30 | 1994-12-30 | Peugeot | Procédé de détection de contours dans une scène mobile et dispositif pour la mise en Óoeuvre de ce procédé. |
| KR940017747A (ko) * | 1992-12-29 | 1994-07-27 | 에프. 제이. 스미트 | 영상 처리 디바이스 |
| EP0650299B1 (fr) * | 1993-10-20 | 1998-07-22 | Laboratoires D'electronique Philips S.A.S. | Procédé de traitement des niveaux de luminance dans une image composite et système de traitement d'image appliquant ce procédé |
| US5764871A (en) * | 1993-10-21 | 1998-06-09 | Eastman Kodak Company | Method and apparatus for constructing intermediate images for a depth image from stereo images using velocity vector fields |
| US5703961A (en) * | 1994-12-29 | 1997-12-30 | Worldscape L.L.C. | Image transformation and synthesis methods |
| JPH09265056A (ja) * | 1995-07-14 | 1997-10-07 | Pioneer Electron Corp | 立体画像表示装置 |
| US5825915A (en) * | 1995-09-12 | 1998-10-20 | Matsushita Electric Industrial Co., Ltd. | Object detecting apparatus in which the position of a planar object is estimated by using hough transform |
| EP0954828B1 (en) * | 1997-01-30 | 2004-10-27 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Generalized panoramic mosaic |
-
1997
- 1997-10-02 JP JP9269427A patent/JPH10178564A/ja active Pending
- 1997-10-16 DE DE69713243T patent/DE69713243T2/de not_active Expired - Fee Related
- 1997-10-16 US US08/951,713 patent/US6005987A/en not_active Expired - Fee Related
- 1997-10-16 EP EP97117985A patent/EP0837428B1/en not_active Expired - Lifetime
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6587597B1 (en) | 1999-01-21 | 2003-07-01 | Nec Corporation | Image input method, image input apparatus, and recording medium |
| JP2000244814A (ja) * | 1999-02-24 | 2000-09-08 | Hitachi Ltd | 画像合成装置、画像合成方法が記録された記録媒体 |
| JP2002208005A (ja) * | 2001-01-12 | 2002-07-26 | Minolta Co Ltd | 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| US7324135B2 (en) | 2002-10-15 | 2008-01-29 | Seiko Epson Corporation | Panoramic composition of multiple image data |
| JP2007104583A (ja) * | 2005-10-07 | 2007-04-19 | Fujifilm Corp | 撮影装置 |
| JP2008252716A (ja) * | 2007-03-30 | 2008-10-16 | Nikon Corp | 撮像装置 |
| KR101065339B1 (ko) | 2008-07-02 | 2011-09-16 | 삼성전자주식회사 | 휴대 단말기 및 휴대 단말기 간 분할 촬영 방법 |
| KR101030435B1 (ko) | 2009-08-07 | 2011-04-20 | 포항공과대학교 산학협력단 | 시차와 움직이는 물체가 있는 영상에 대한 실시간 모자익 영상 생성 방법 |
| JP2012182582A (ja) * | 2011-02-28 | 2012-09-20 | Olympus Imaging Corp | 撮像装置 |
| CN102694972A (zh) * | 2011-03-24 | 2012-09-26 | 卡西欧计算机株式会社 | 具有重构图像的功能的装置以及方法 |
| JP2012205015A (ja) * | 2011-03-24 | 2012-10-22 | Casio Comput Co Ltd | 画像処理装置及び画像処理方法、並びにプログラム |
| JP2013183353A (ja) * | 2012-03-02 | 2013-09-12 | Toshiba Corp | 画像処理装置 |
| CN104255026A (zh) * | 2012-05-11 | 2014-12-31 | 索尼公司 | 图像处理设备和图像处理方法 |
| JP2014149798A (ja) * | 2013-02-04 | 2014-08-21 | Casio Comput Co Ltd | 画像処理装置、撮像装置、画像処理方法及びプログラム |
| US9652856B2 (en) | 2014-08-12 | 2017-05-16 | Ricoh Company, Ltd. | Image processing system, image processing apparatus, and image capturing system |
| JP2018026744A (ja) * | 2016-08-12 | 2018-02-15 | 日本電信電話株式会社 | パノラマ映像情報生成装置、これに用いるパノラマ映像情報生成方法、およびパノラマ映像情報生成用プログラム |
| JP2020525912A (ja) * | 2017-07-06 | 2020-08-27 | ヒューマンアイズ テクノロジーズ リミテッド | デジタル画像を適応的にスティッチするシステムおよび方法 |
| JP2018142963A (ja) * | 2018-03-27 | 2018-09-13 | パナソニックＩｐマネジメント株式会社 | 画像処理システム、画像処理装置および画像処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| DE69713243D1 (de) | 2002-07-18 |
| EP0837428A2 (en) | 1998-04-22 |
| EP0837428B1 (en) | 2002-06-12 |
| EP0837428A3 (en) | 2000-01-05 |
| US6005987A (en) | 1999-12-21 |
| DE69713243T2 (de) | 2003-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4513906B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
| JP4760973B2 (ja) | 撮像装置及び画像処理方法 | |
| JP7093015B2 (ja) | パノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラム | |
| EP0837428B1 (en) | Picture image forming apparatus | |
| JP4363151B2 (ja) | 撮影装置、その画像処理方法及びプログラム | |
| JP4658223B2 (ja) | 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体 | |
| US20050008254A1 (en) | Image generation from plurality of images | |
| JP2005141527A (ja) | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム | |
| JP6157606B2 (ja) | 画像融合方法及び装置 | |
| JP2005100407A (ja) | 複数のソース画像からパノラマ画像を作成するシステム及び方法 | |
| Chen et al. | Full-frame video stabilization via SIFT feature matching | |
| JPH10126665A (ja) | 画像合成装置 | |
| JP4128123B2 (ja) | 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JPH11331696A (ja) | 画像処理方法、装置および記録媒体 | |
| JP6274744B2 (ja) | 画像処理装置および画像処理方法 | |
| JP2821042B2 (ja) | 画像合成装置 | |
| Souza et al. | 360 stitching from dual-fisheye cameras based on feature cluster matching | |
| JP2020160773A (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
| JP4363153B2 (ja) | 撮影装置、その画像処理方法及びプログラム | |
| JPH1083442A (ja) | 画像合成方法 | |
| JP2008003683A (ja) | 画像生成装置及びその方法並びに記録媒体 | |
| JP4803319B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
| JP2000236434A (ja) | 画像形成装置 | |
| JP4154023B2 (ja) | 画像合成方法、画像合成装置、画像合成システム、及び記憶媒体 | |
| JPH10105677A (ja) | 画像接合方法及び画像接合装置 |