JP2000307947A - 画像処理装置およびその方法 - Google Patents
画像処理装置およびその方法Info
- Publication number
- JP2000307947A JP2000307947A JP11109189A JP10918999A JP2000307947A JP 2000307947 A JP2000307947 A JP 2000307947A JP 11109189 A JP11109189 A JP 11109189A JP 10918999 A JP10918999 A JP 10918999A JP 2000307947 A JP2000307947 A JP 2000307947A
- Authority
- JP
- Japan
- Prior art keywords
- image
- distortion
- reference image
- plane
- measuring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
(57)【要約】
【課題】 撮像面と被写体面とが互いに傾いた状態で撮
影された画像の歪みを補正し、かつこれらの画像から歪
みの補正された合成画像を簡単に作成する。 【解決手段】 撮像手段２は被写体面を撮像する。平面
計測手段１０は、撮像手段２を基準とした被写体面の向
きを計測する。画像歪み補正手段１１は、平面計測手段
１０で計測した被写体面の向きに基づいて撮像手段２が
撮像した画像の斜め撮影による歪みを補正する。
影された画像の歪みを補正し、かつこれらの画像から歪
みの補正された合成画像を簡単に作成する。 【解決手段】 撮像手段２は被写体面を撮像する。平面
計測手段１０は、撮像手段２を基準とした被写体面の向
きを計測する。画像歪み補正手段１１は、平面計測手段
１０で計測した被写体面の向きに基づいて撮像手段２が
撮像した画像の斜め撮影による歪みを補正する。
Description
【０００１】
【発明の属する技術分野】この発明は、デジタルスチル
カメラなどに用いられ、被写体面を撮影した画像の斜め
撮影による歪みの補正を行う画像処理装置及びその方法
に関する。
カメラなどに用いられ、被写体面を撮影した画像の斜め
撮影による歪みの補正を行う画像処理装置及びその方法
に関する。
【０００２】
【従来の技術】コンピュータ・ネットワークの急速な進
歩とともにビジネスの在り方も多様化し、あらゆる局面
で重要な情報を素早く取得する必要性が生じている。そ
れに伴い、携帯型の入力装置を用いて平面状の文書や写
真を簡便かつ高精度に入力することへの要求が高まって
いる。現状では、デジタルスチルカメラのような画像入
力装置を用いて、A4程度の大きさの紙面文書等の被写体
面を撮影した画像情報を活用するという応用例がある。
歩とともにビジネスの在り方も多様化し、あらゆる局面
で重要な情報を素早く取得する必要性が生じている。そ
れに伴い、携帯型の入力装置を用いて平面状の文書や写
真を簡便かつ高精度に入力することへの要求が高まって
いる。現状では、デジタルスチルカメラのような画像入
力装置を用いて、A4程度の大きさの紙面文書等の被写体
面を撮影した画像情報を活用するという応用例がある。
【０００３】しかしこの応用例においては、上記装置の
撮像面が紙面に対して平行でない状態で撮影した場合、
撮影した画像に遠近効果による歪みが生じるという不具
合がある。
撮像面が紙面に対して平行でない状態で撮影した場合、
撮影した画像に遠近効果による歪みが生じるという不具
合がある。
【０００４】これに対して、特開平3-94383号公報に
は、既知の固定形状を想定し、この固定形状内に入力画
像を配置して、固定形状の歪み方を調べることにより、
本来の平面上での形状になる変換パラメータを発見し、
斜め撮影による画像の歪みを補正するという技術が開示
されている。
は、既知の固定形状を想定し、この固定形状内に入力画
像を配置して、固定形状の歪み方を調べることにより、
本来の平面上での形状になる変換パラメータを発見し、
斜め撮影による画像の歪みを補正するという技術が開示
されている。
【０００５】また、特開平5-101221号公報においては、
被写体面に直交格子を導入し、各格子点の空間座標を求
め、撮像面に設けられた座標系に直交変換を施して射影
することにより、画像歪みを補正するという技術が開示
されている。
被写体面に直交格子を導入し、各格子点の空間座標を求
め、撮像面に設けられた座標系に直交変換を施して射影
することにより、画像歪みを補正するという技術が開示
されている。
【０００６】特開平9-289600号公報においては、カメラ
の撮像面と被写体面とのなす傾斜角を入力する角度設定
手段と、被写体までの距離を測定する測距手段を設け、
角度設定手段を用いて傾斜角を入力した状態で被写体を
撮影することにより、上記傾斜角と測距手段で検出され
た被写体距離に基づいて、被写体を正面から見た画像に
補正するという技術が開示されている。
の撮像面と被写体面とのなす傾斜角を入力する角度設定
手段と、被写体までの距離を測定する測距手段を設け、
角度設定手段を用いて傾斜角を入力した状態で被写体を
撮影することにより、上記傾斜角と測距手段で検出され
た被写体距離に基づいて、被写体を正面から見た画像に
補正するという技術が開示されている。
【０００７】特開平10-79878号公報においては、撮像面
を走査させて被写体を周期的に撮像した分割画像を、ア
フィン変換などの2次元の座標変換処理によって繋ぎ合
わせた合成画像において、同じ連結成分ごとにラベル付
けし、ラベル付けされた画像の連結成分をその大きさに
よって直線、文字及び図形に分類し、分類された直線或
いは文字基線の傾きを評価し、文字の外接矩形と直線の
距離を保持して、評価された傾きの分だけ直線を回転さ
せて補正することにより、解像度の高い画像を得るとい
う静止画像撮像装置が開示されている。
を走査させて被写体を周期的に撮像した分割画像を、ア
フィン変換などの2次元の座標変換処理によって繋ぎ合
わせた合成画像において、同じ連結成分ごとにラベル付
けし、ラベル付けされた画像の連結成分をその大きさに
よって直線、文字及び図形に分類し、分類された直線或
いは文字基線の傾きを評価し、文字の外接矩形と直線の
距離を保持して、評価された傾きの分だけ直線を回転さ
せて補正することにより、解像度の高い画像を得るとい
う静止画像撮像装置が開示されている。
【０００８】
【発明が解決しようとする課題】しかし、特開平3-9438
3号公報に開示の技術では、撮影対象を形状が既知の固
定図形内に配置する必要があり、紙面を撮影するために
面倒な作業が必要である。
3号公報に開示の技術では、撮影対象を形状が既知の固
定図形内に配置する必要があり、紙面を撮影するために
面倒な作業が必要である。
【０００９】また、特開平5-101221号公報に開示の技術
では、被写体面に直交格子を重ねあわせ、各格子点の２
次元座標を手動で入力するという作業が必要であり、簡
便な動作で被写体面を撮影するのは極めて困難である。
では、被写体面に直交格子を重ねあわせ、各格子点の２
次元座標を手動で入力するという作業が必要であり、簡
便な動作で被写体面を撮影するのは極めて困難である。
【００１０】さらに、特開平9-289600号公報に開示の技
術では、角度設定手段を操作して撮像面と被写体面との
なす傾斜角を正確に手動入力するのは非常に困難であ
り、その結果高い精度で画像の歪みを補正するのも困難
になる。
術では、角度設定手段を操作して撮像面と被写体面との
なす傾斜角を正確に手動入力するのは非常に困難であ
り、その結果高い精度で画像の歪みを補正するのも困難
になる。
【００１１】また前記応用例においては、新聞紙等の大
面積の紙面情報やパネルや壁に描かれた情報を、上記装
置で高い解像度で読み込むことが極めて困難であるとい
う不具合もある。
面積の紙面情報やパネルや壁に描かれた情報を、上記装
置で高い解像度で読み込むことが極めて困難であるとい
う不具合もある。
【００１２】そこで、携帯可能な画像入力装置でこれら
の大きな被写体を分割撮影して、得られた複数枚の画像
を貼り合わせて、1枚の合成画像を作成して解像度の高
い画像を得るという技術がある。その例が前記特開平10
-79878号公報に開示の技術である。
の大きな被写体を分割撮影して、得られた複数枚の画像
を貼り合わせて、1枚の合成画像を作成して解像度の高
い画像を得るという技術がある。その例が前記特開平10
-79878号公報に開示の技術である。
【００１３】しかし、一般に各々の分割画像を撮像した
時の撮像装置の文書に対する姿勢はそれぞれ異なるの
で、前記合成画像の画面上の位置によって直線や文字基
線の傾きはまちまちである。そのため、合成画像の至る
所で上記ラベル付け、傾きの評価、回転補正を行う必要
があり、処理が非常に煩雑となる。
時の撮像装置の文書に対する姿勢はそれぞれ異なるの
で、前記合成画像の画面上の位置によって直線や文字基
線の傾きはまちまちである。そのため、合成画像の至る
所で上記ラベル付け、傾きの評価、回転補正を行う必要
があり、処理が非常に煩雑となる。
【００１４】この発明の目的は、撮像面と被写体面とが
互いに傾いた状態で撮影された画像の歪みを補正し、か
つこれらの画像から歪みの補正された合成画像を簡単に
作成することである。
互いに傾いた状態で撮影された画像の歪みを補正し、か
つこれらの画像から歪みの補正された合成画像を簡単に
作成することである。
【００１５】
【課題を解決するための手段】請求項１に記載の発明
は、被写体面を撮像する撮像手段と、この撮像手段を基
準とした前記被写体面の向きを計測する平面計測手段
と、この計測した被写体面の向きに基づいて前記撮像手
段が撮像した画像の斜め撮影による歪みを補正する画像
歪み補正手段と、を備えている画像処理装置である。
は、被写体面を撮像する撮像手段と、この撮像手段を基
準とした前記被写体面の向きを計測する平面計測手段
と、この計測した被写体面の向きに基づいて前記撮像手
段が撮像した画像の斜め撮影による歪みを補正する画像
歪み補正手段と、を備えている画像処理装置である。
【００１６】したがって、任意の被写体面を任意の視点
・姿勢で撮影した場合でも、平面を計測することによ
り、簡便に画像の歪みを補正することができる。
・姿勢で撮影した場合でも、平面を計測することによ
り、簡便に画像の歪みを補正することができる。
【００１７】請求項２に記載の発明は、先に撮像された
画像と一部が重複するように複数の視点から被写体を撮
像する撮像手段と、この撮像手段を基準とした前記被写
体面の向きを計測する平面計測手段と、ある画像を基準
画像とし、この基準画像と重複する部分をもつ画像を参
照画像とした場合に、前記基準画像において複数の特徴
点を抽出するとともに、前記参照画像において前記特徴
点と同一の個所を示す対応点を検出する対応検出手段
と、この対応検出手段が検出した前記特徴点と前記対応
点との関係に基づいて、前記基準画像を前記参照画像上
に座標変換することにより画像を貼り合せる画像貼り合
わせ手段と、前記平面計測手段が計測した被写体面の向
きに基づいて前記画像貼り合わせ手段が貼り合わせた画
像の斜め撮影による歪みを補正する合成画像歪み補正手
段と、を備えている画像処理装置である。
画像と一部が重複するように複数の視点から被写体を撮
像する撮像手段と、この撮像手段を基準とした前記被写
体面の向きを計測する平面計測手段と、ある画像を基準
画像とし、この基準画像と重複する部分をもつ画像を参
照画像とした場合に、前記基準画像において複数の特徴
点を抽出するとともに、前記参照画像において前記特徴
点と同一の個所を示す対応点を検出する対応検出手段
と、この対応検出手段が検出した前記特徴点と前記対応
点との関係に基づいて、前記基準画像を前記参照画像上
に座標変換することにより画像を貼り合せる画像貼り合
わせ手段と、前記平面計測手段が計測した被写体面の向
きに基づいて前記画像貼り合わせ手段が貼り合わせた画
像の斜め撮影による歪みを補正する合成画像歪み補正手
段と、を備えている画像処理装置である。
【００１８】したがって、任意の被写体面を任意の視点
・姿勢で撮影した複数の画像を貼り合わせた画像を、計
測した被写体面の向きを用いて座標変換することによ
り、簡便に歪みのない合成画像を作成することができ
る。
・姿勢で撮影した複数の画像を貼り合わせた画像を、計
測した被写体面の向きを用いて座標変換することによ
り、簡便に歪みのない合成画像を作成することができ
る。
【００１９】請求項３に記載の発明は、先に撮像された
画像と一部が重複するように複数の視点から被写体を撮
像する撮像手段と、この撮像手段を基準とした前記被写
体面の向きを計測する平面計測手段と、この計測した被
写体面の向きに基づいて前記撮像手段が撮像した画像の
斜め撮影による歪みを補正する画像歪み補正手段と、こ
の補正した複数の画像のうち、ある画像を基準画像と
し、この基準画像と重複する部分をもつ画像を参照画像
とした場合に、前記基準画像において複数の特徴点を抽
出するとともに、前記参照画像において前記特徴点と同
一の個所を示す対応点を検出する対応検出手段と、この
対応検出手段が検出した前記特徴点と前記対応点との関
係に基づいて、前記基準画像を前記参照画像上に座標変
換することにより画像を貼り合せる画像貼り合わせ手段
と、を備えている画像処理装置である。
画像と一部が重複するように複数の視点から被写体を撮
像する撮像手段と、この撮像手段を基準とした前記被写
体面の向きを計測する平面計測手段と、この計測した被
写体面の向きに基づいて前記撮像手段が撮像した画像の
斜め撮影による歪みを補正する画像歪み補正手段と、こ
の補正した複数の画像のうち、ある画像を基準画像と
し、この基準画像と重複する部分をもつ画像を参照画像
とした場合に、前記基準画像において複数の特徴点を抽
出するとともに、前記参照画像において前記特徴点と同
一の個所を示す対応点を検出する対応検出手段と、この
対応検出手段が検出した前記特徴点と前記対応点との関
係に基づいて、前記基準画像を前記参照画像上に座標変
換することにより画像を貼り合せる画像貼り合わせ手段
と、を備えている画像処理装置である。
【００２０】したがって、任意の被写体面を任意の視点
・姿勢で撮影した場合でも、平面を計測することによ
り、簡便に各画像の歪みを補正することができる。
・姿勢で撮影した場合でも、平面を計測することによ
り、簡便に各画像の歪みを補正することができる。
【００２１】請求項４に記載の発明は、請求項１〜３の
いずれかの一に記載の画像処理装置において、前記平面
計測手段は、前記撮像手段を基準とした前記被写体面の
距離も計測するものであり、前記画像歪み補正手段およ
び合成画像歪み補正手段は、前記距離に比例した拡大係
数も用いて画像の斜め撮影による歪みを補正するもので
あるである。
いずれかの一に記載の画像処理装置において、前記平面
計測手段は、前記撮像手段を基準とした前記被写体面の
距離も計測するものであり、前記画像歪み補正手段およ
び合成画像歪み補正手段は、前記距離に比例した拡大係
数も用いて画像の斜め撮影による歪みを補正するもので
あるである。
【００２２】したがって、平面を計測して得られた距離
情報を用いて、被写体面を撮影した各画像の歪みを補正
することにより、各歪み補正画像における被写体像の大
きさをほぼ等しくすることができる。
情報を用いて、被写体面を撮影した各画像の歪みを補正
することにより、各歪み補正画像における被写体像の大
きさをほぼ等しくすることができる。
【００２３】請求項５に記載の発明は、請求項１〜４の
いずれかの一に記載の画像処理装置において、前記画像
歪み補正手段または合成画像歪み補正手段により補正さ
れた画像の画面上での傾きを補正する傾き補正手段を備
えている。
いずれかの一に記載の画像処理装置において、前記画像
歪み補正手段または合成画像歪み補正手段により補正さ
れた画像の画面上での傾きを補正する傾き補正手段を備
えている。
【００２４】したがって、撮影した各々の画像や貼り合
わせた画像における被写体像の歪み・傾きを補正するこ
とができる。
わせた画像における被写体像の歪み・傾きを補正するこ
とができる。
【００２５】請求項６に記載の発明は、撮像手段により
被写体面を撮像する工程と、前記撮像手段を基準とした
前記被写体面の向きを計測する工程と、この計測した被
写体面の向きに基づいて前記撮像手段が撮像した画像の
斜め撮影による歪みを補正する工程と、を含んでなる画
像処理方法である。
被写体面を撮像する工程と、前記撮像手段を基準とした
前記被写体面の向きを計測する工程と、この計測した被
写体面の向きに基づいて前記撮像手段が撮像した画像の
斜め撮影による歪みを補正する工程と、を含んでなる画
像処理方法である。
【００２６】したがって、任意の被写体面を任意の視点
・姿勢で撮影した場合でも、平面を計測することによ
り、簡便に画像の歪みを補正することができる。
・姿勢で撮影した場合でも、平面を計測することによ
り、簡便に画像の歪みを補正することができる。
【００２７】請求項７に記載の発明は、撮像手段により
先に撮像された画像と一部が重複するように複数の視点
から被写体を撮像する工程と、前記撮像手段を基準とし
た前記被写体面の向きを計測する工程と、ある画像を基
準画像とし、この基準画像と重複する部分をもつ画像を
参照画像とした場合に、前記基準画像において複数の特
徴点を抽出するとともに、前記参照画像において前記特
徴点と同一の個所を示す対応点を検出する工程と、この
工程で検出した前記特徴点と前記対応点との関係に基づ
いて、前記基準画像を前記参照画像上に座標変換するこ
とにより画像を貼り合せる工程と、前記計測工程で計測
した被写体面の向きに基づいて前記貼り合わせ工程で貼
り合わせた画像の斜め撮影による歪みを補正する工程
と、を含んでなる画像処理方法である。
先に撮像された画像と一部が重複するように複数の視点
から被写体を撮像する工程と、前記撮像手段を基準とし
た前記被写体面の向きを計測する工程と、ある画像を基
準画像とし、この基準画像と重複する部分をもつ画像を
参照画像とした場合に、前記基準画像において複数の特
徴点を抽出するとともに、前記参照画像において前記特
徴点と同一の個所を示す対応点を検出する工程と、この
工程で検出した前記特徴点と前記対応点との関係に基づ
いて、前記基準画像を前記参照画像上に座標変換するこ
とにより画像を貼り合せる工程と、前記計測工程で計測
した被写体面の向きに基づいて前記貼り合わせ工程で貼
り合わせた画像の斜め撮影による歪みを補正する工程
と、を含んでなる画像処理方法である。
【００２８】したがって、任意の被写体面を任意の視点
・姿勢で撮影した複数の画像を貼り合わせた画像を、計
測した被写体面の向きを用いて座標変換することによ
り、簡便に歪みのない合成画像を作成することができ
る。
・姿勢で撮影した複数の画像を貼り合わせた画像を、計
測した被写体面の向きを用いて座標変換することによ
り、簡便に歪みのない合成画像を作成することができ
る。
【００２９】請求項８に記載の発明は、撮像手段により
先に撮像された画像と一部が重複するように複数の視点
から被写体を撮像する工程と、前記撮像手段を基準とし
た前記被写体面の向きを計測する工程と、この計測した
被写体面の向きに基づいて前記撮像手段が撮像した画像
の斜め撮影による歪みを補正する工程と、この補正した
複数の画像のうち、ある画像を基準画像とし、この基準
画像と重複する部分をもつ画像を参照画像とした場合
に、前記基準画像において複数の特徴点を抽出するとと
もに、前記参照画像において前記特徴点と同一の個所を
示す対応点を検出する工程と、この工程で検出した前記
特徴点と前記対応点との関係に基づいて、前記基準画像
を前記参照画像上に座標変換することにより画像を貼り
合せる工程と、を含んでなる画像処理方法である。
先に撮像された画像と一部が重複するように複数の視点
から被写体を撮像する工程と、前記撮像手段を基準とし
た前記被写体面の向きを計測する工程と、この計測した
被写体面の向きに基づいて前記撮像手段が撮像した画像
の斜め撮影による歪みを補正する工程と、この補正した
複数の画像のうち、ある画像を基準画像とし、この基準
画像と重複する部分をもつ画像を参照画像とした場合
に、前記基準画像において複数の特徴点を抽出するとと
もに、前記参照画像において前記特徴点と同一の個所を
示す対応点を検出する工程と、この工程で検出した前記
特徴点と前記対応点との関係に基づいて、前記基準画像
を前記参照画像上に座標変換することにより画像を貼り
合せる工程と、を含んでなる画像処理方法である。
【００３０】したがって、任意の被写体面を任意の視点
・姿勢で撮影した場合でも、平面を計測することによ
り、簡便に各画像の歪みを補正することができる。
・姿勢で撮影した場合でも、平面を計測することによ
り、簡便に各画像の歪みを補正することができる。
【００３１】請求項９に記載の発明は、請求項６〜８の
いずれかの一に記載の画像処理方法において、前記計測
工程は、前記撮像手段を基準とした前記被写体面の距離
も計測するものであり、前記補正工程は、前記距離に比
例した拡大係数も用いて画像の斜め撮影による歪みを補
正するものである。
いずれかの一に記載の画像処理方法において、前記計測
工程は、前記撮像手段を基準とした前記被写体面の距離
も計測するものであり、前記補正工程は、前記距離に比
例した拡大係数も用いて画像の斜め撮影による歪みを補
正するものである。
【００３２】したがって、平面を計測して得られた距離
情報を用いて、被写体面を撮影した各画像の歪みを補正
することにより、各歪み補正画像における被写体像の大
きさをほぼ等しくすることができる。
情報を用いて、被写体面を撮影した各画像の歪みを補正
することにより、各歪み補正画像における被写体像の大
きさをほぼ等しくすることができる。
【００３３】請求項１０に記載の発明は、請求項６〜９
のいずれかの一に記載の画像処理方法において、前記補
正工程で補正された画像の画面上での傾きを補正する工
程を含んでなる。
のいずれかの一に記載の画像処理方法において、前記補
正工程で補正された画像の画面上での傾きを補正する工
程を含んでなる。
【００３４】したがって、撮影した各々の画像や貼り合
わせた画像における被写体像の歪み・傾きを補正するこ
とができる。
わせた画像における被写体像の歪み・傾きを補正するこ
とができる。
【００３５】
【発明の実施の形態】［発明の実施の形態１］図１に示
すような被写体面を撮影した時に生じる画像の歪みを補
正する画像処理装置１の構成・動作について以下に説明
する。図２は、この発明の実施の形態１である画像処理
装置１の構成を示すブロック図である。
すような被写体面を撮影した時に生じる画像の歪みを補
正する画像処理装置１の構成・動作について以下に説明
する。図２は、この発明の実施の形態１である画像処理
装置１の構成を示すブロック図である。
【００３６】すなわち画像処理装置１は、撮像手段２
と、撮像手段２により得られた画像信号に処理を施す信
号処理手段３と、信号処理手段３の出力が供給されるメ
モリ制御手段４、主制御手段５及びインターフェース
（以下Ｉ／Ｆと略す）６と、メモリ制御手段４の指令に
より画像信号を蓄積するフレームメモリ７と、Ｉ／Ｆ６
を経由して画像信号を表示する表示手段８と、Ｉ／Ｆ６
を経由して画像信号をはじめとする種々の信号の読み書
きを行う外部記憶手段９とを有する。その他、撮像手段
２を基準にした被写体面の向きを計測する平面計測手段
１０と、平面計測手段１０の出力した前記被写体面の向
きを基に、撮影した画像における斜め撮影による歪みを
補正する画像歪み補正手段１１をも有している。
と、撮像手段２により得られた画像信号に処理を施す信
号処理手段３と、信号処理手段３の出力が供給されるメ
モリ制御手段４、主制御手段５及びインターフェース
（以下Ｉ／Ｆと略す）６と、メモリ制御手段４の指令に
より画像信号を蓄積するフレームメモリ７と、Ｉ／Ｆ６
を経由して画像信号を表示する表示手段８と、Ｉ／Ｆ６
を経由して画像信号をはじめとする種々の信号の読み書
きを行う外部記憶手段９とを有する。その他、撮像手段
２を基準にした被写体面の向きを計測する平面計測手段
１０と、平面計測手段１０の出力した前記被写体面の向
きを基に、撮影した画像における斜め撮影による歪みを
補正する画像歪み補正手段１１をも有している。
【００３７】以下、各ブロックの詳細を説明する。撮像
手段２は、レンズ１２、絞り１３、シャッタ１４、光電
変換素子１５及び前処理手段１６より構成されている。
光電変換素子１５には、例えばCCD（charge coupled de
vice）が使用される。また前処理手段１６は、プリアン
プやAGC（auto gain controll）等のアナログ信号処理
やアナログ−デジタル変換器（以下A/D変換器と略す）
を備えており、光電変換素子１５より出力されたアナロ
グ映像信号に対して増幅・クランプ等の前処理を施した
後、上記アナログ映像信号をデジタル映像信号に変換す
る。
手段２は、レンズ１２、絞り１３、シャッタ１４、光電
変換素子１５及び前処理手段１６より構成されている。
光電変換素子１５には、例えばCCD（charge coupled de
vice）が使用される。また前処理手段１６は、プリアン
プやAGC（auto gain controll）等のアナログ信号処理
やアナログ−デジタル変換器（以下A/D変換器と略す）
を備えており、光電変換素子１５より出力されたアナロ
グ映像信号に対して増幅・クランプ等の前処理を施した
後、上記アナログ映像信号をデジタル映像信号に変換す
る。
【００３８】信号処理手段３は、デジタル信号処理プロ
セッサ（DSPプロセッサ）等により構成されており、撮
像手段２より得られたデジタル映像信号に対して色分
解、ホワイトバランス調整、γ補正等の種々の画像処理
を施す。メモリ制御手段４は、こうして処理された画像
信号をフレームメモリ７に格納したり、逆にフレームメ
モリ７に格納された画像信号を読み出す。フレームメモ
リ７は、少なくとも１枚の画像を格納可能であり、一般
的にVRAM、SRAM、DRAM等が使用される。フレームメモリ
７から読み出された画像信号の記録は、信号処理手段３
において画像信号に対して画像圧縮等の信号処理を施し
た後、Ｉ／Ｆ６を介して外部記憶手段９に保存すること
によって行われる。外部記憶手段９は、ICメモリカード
や光磁気ディスク等が使用できるが、モデムカードやIS
DNカードを利用して、ネットワークを経由して画像信号
を直接遠隔地の記録媒体に送信しても構わない。逆に、
外部記憶手段９に記録された画像信号の読み出しは、Ｉ
／Ｆ６を介して信号処理手段３に画像信号を送信し、信
号処理手段３において画像伸張を施すことによって行わ
れる。一方、外部記憶手段９及びフレームメモリ７から
読み出された画像信号の表示は、信号処理手段３におい
て画像信号に対してデジタル−アナログ変換（以後D/A
変換と略す）や増幅等の信号処理を施した後、Ｉ／Ｆ６
を介して表示手段８に送信することによって行われる。
表示手段８は、例えば画像処理装置１の筐体に設置され
た液晶表示装置より構成される。
セッサ（DSPプロセッサ）等により構成されており、撮
像手段２より得られたデジタル映像信号に対して色分
解、ホワイトバランス調整、γ補正等の種々の画像処理
を施す。メモリ制御手段４は、こうして処理された画像
信号をフレームメモリ７に格納したり、逆にフレームメ
モリ７に格納された画像信号を読み出す。フレームメモ
リ７は、少なくとも１枚の画像を格納可能であり、一般
的にVRAM、SRAM、DRAM等が使用される。フレームメモリ
７から読み出された画像信号の記録は、信号処理手段３
において画像信号に対して画像圧縮等の信号処理を施し
た後、Ｉ／Ｆ６を介して外部記憶手段９に保存すること
によって行われる。外部記憶手段９は、ICメモリカード
や光磁気ディスク等が使用できるが、モデムカードやIS
DNカードを利用して、ネットワークを経由して画像信号
を直接遠隔地の記録媒体に送信しても構わない。逆に、
外部記憶手段９に記録された画像信号の読み出しは、Ｉ
／Ｆ６を介して信号処理手段３に画像信号を送信し、信
号処理手段３において画像伸張を施すことによって行わ
れる。一方、外部記憶手段９及びフレームメモリ７から
読み出された画像信号の表示は、信号処理手段３におい
て画像信号に対してデジタル−アナログ変換（以後D/A
変換と略す）や増幅等の信号処理を施した後、Ｉ／Ｆ６
を介して表示手段８に送信することによって行われる。
表示手段８は、例えば画像処理装置１の筐体に設置され
た液晶表示装置より構成される。
【００３９】平面計測手段１０は、各々の画像を撮影す
る時の、画像処理装置１に対する被写体面の向きを計測
する。平面計測手段１０は一例として図３のように、ス
ポット光源２１、受光素子２２、３次元座標算出手段２
３、平面算出手段３４より構成される。スポット光源２
１は発光ダイオードや半導体レーザー等の光源２５、ポ
リゴンミラーなどの走査ミラー２６及び走査ミラー２６
の動きを制御する駆動手段２７より構成され、光源２５
より発生したスポット光が被写体面に当たるように光の
向きを制御する部分であり、その光の向きは駆動手段２
７より出力される信号により検出される。受光素子２２
は、スポット光源２１と位置関係が既知である場所に設
置されたPSD（position sensitive detector）やCCD等
の光電変換素子より構成され、被写体面より戻ってきた
反射光の向きを検出する。３次元座標算出手段２３は、
スポット光源２１の照射したスポット光の向き、スポッ
ト光源２１と受光素子２２との位置関係、及び受光素子
２２が検出した反射光の向きより、三角測量の原理で画
像処理装置１を基準にした被写体面の３次元座標（Ｘ，
Ｙ，Ｚ）を算出する。平面算出手段３４は、３次元座標
算出手段２３が算出した、同一直線上にない３点以上の
３次元座標を用いて、平面方程式を推定する。例えば、
求める平面方程式を、
る時の、画像処理装置１に対する被写体面の向きを計測
する。平面計測手段１０は一例として図３のように、ス
ポット光源２１、受光素子２２、３次元座標算出手段２
３、平面算出手段３４より構成される。スポット光源２
１は発光ダイオードや半導体レーザー等の光源２５、ポ
リゴンミラーなどの走査ミラー２６及び走査ミラー２６
の動きを制御する駆動手段２７より構成され、光源２５
より発生したスポット光が被写体面に当たるように光の
向きを制御する部分であり、その光の向きは駆動手段２
７より出力される信号により検出される。受光素子２２
は、スポット光源２１と位置関係が既知である場所に設
置されたPSD（position sensitive detector）やCCD等
の光電変換素子より構成され、被写体面より戻ってきた
反射光の向きを検出する。３次元座標算出手段２３は、
スポット光源２１の照射したスポット光の向き、スポッ
ト光源２１と受光素子２２との位置関係、及び受光素子
２２が検出した反射光の向きより、三角測量の原理で画
像処理装置１を基準にした被写体面の３次元座標（Ｘ，
Ｙ，Ｚ）を算出する。平面算出手段３４は、３次元座標
算出手段２３が算出した、同一直線上にない３点以上の
３次元座標を用いて、平面方程式を推定する。例えば、
求める平面方程式を、
【００４０】
【数１】 とおき、Ｎ点の３次元座標（Ｘi，Ｙi，Ｚi）（ｉ＝
１，…，Ｎ）を用いて、上記平面方程式の４つのパラメ
ータ（ａ，ｂ，ｃ，ｄ）を、次式で示す最小自乗法によ
り算出する。
１，…，Ｎ）を用いて、上記平面方程式の４つのパラメ
ータ（ａ，ｂ，ｃ，ｄ）を、次式で示す最小自乗法によ
り算出する。
【００４１】
【数２】 画像歪み補正手段１１は、平面計測手段１０が出力した
被写体面の向きを表す３つのパラメータ（ａ，ｂ，ｃ）
を用いて、被写体面を正面から撮影した画像に変換する
ことにより、斜め撮影による画像の歪みを補正する。本
実施の形態では図４のように、平面計測手段１０が計測
した被写体面に平行な平面を被投影面として、該被投影
面に向かって歪んだ被写体像を持つ画像を投影すること
により、画像の歪みを補正する。このようにして歪みが
補正された画像を、以下歪み補正画像と呼ぶ。以下、歪
み補正画像を作成する方法について、詳細に説明する。
被写体面の向きを表す３つのパラメータ（ａ，ｂ，ｃ）
を用いて、被写体面を正面から撮影した画像に変換する
ことにより、斜め撮影による画像の歪みを補正する。本
実施の形態では図４のように、平面計測手段１０が計測
した被写体面に平行な平面を被投影面として、該被投影
面に向かって歪んだ被写体像を持つ画像を投影すること
により、画像の歪みを補正する。このようにして歪みが
補正された画像を、以下歪み補正画像と呼ぶ。以下、歪
み補正画像を作成する方法について、詳細に説明する。
【００４２】まず、画像座標（ｘ，ｙ）に対応する視線
の向きを定める。撮像手段２の光学系は図５のように、 ｘ軸：画像面右向きを正 ｙ軸：画像面下向きを正 ｚ軸：光軸方向；対象に向かう向きを正 原点０：撮像手段２の光学中心 ｆ：焦点距離 とする中心射影モデルであると仮定し、以後このｘｙｚ
座標系を装置座標系と呼ぶ。すると、（ｘ，ｙ）に対応
する視線の向きは、装置座標系を基準にした次の３次元
ベクトルＰで表すことができる。
の向きを定める。撮像手段２の光学系は図５のように、 ｘ軸：画像面右向きを正 ｙ軸：画像面下向きを正 ｚ軸：光軸方向；対象に向かう向きを正 原点０：撮像手段２の光学中心 ｆ：焦点距離 とする中心射影モデルであると仮定し、以後このｘｙｚ
座標系を装置座標系と呼ぶ。すると、（ｘ，ｙ）に対応
する視線の向きは、装置座標系を基準にした次の３次元
ベクトルＰで表すことができる。
【００４３】
【数３】 次に図６のように、装置座標系のz軸を、被投影面の単
位法線ベクトルに変換するような回転行列Ｒを求める。
この場合、次の関係式が成立する。
位法線ベクトルに変換するような回転行列Ｒを求める。
この場合、次の関係式が成立する。
【００４４】
【数４】 (4)式を満たす回転行列Ｒは多数存在するが、ここでは
回転行列Ｒを次式のように定義する。
回転行列Ｒを次式のように定義する。
【００４５】
【数５】 これは図７のように、以下の順序で装置座標系を回転さ
せることに相当する。 (1) 装置座標系を、ｙ軸回りにβだけ回転する。この回
転によりできる座標系をｘ1ｙ1ｚ1座標系とする。 (2) 装置座標系を、ｘ1軸回りにαだけ回転する この時、ａ2＋ｂ2＋ｃ2＝１（ｃ＞０）、及び(4)〜(6)
式を用いると、回転角α，βは次式のように導出され
る。
せることに相当する。 (1) 装置座標系を、ｙ軸回りにβだけ回転する。この回
転によりできる座標系をｘ1ｙ1ｚ1座標系とする。 (2) 装置座標系を、ｘ1軸回りにαだけ回転する この時、ａ2＋ｂ2＋ｃ2＝１（ｃ＞０）、及び(4)〜(6)
式を用いると、回転角α，βは次式のように導出され
る。
【００４６】
【数６】 以上で求められた回転角α，βを(5)式に代入すること
により、Ｒを一意に定めることができる。
により、Ｒを一意に定めることができる。
【００４７】最後に、これまでの手順で求められた３次
元ベクトルｐ、回転行列Ｒ、及び被写体面の向きを表す
３つのパラメータ（ａ，ｂ，ｃ）を用いて、画像座標
（ｘ，ｙ）を被投影面上に座標変換する。すなわち図４
において、画像面の１点に対応する３次元ベクトルＰを
延長した時に被投影面と交差する点ｐを、座標変換後の
画像座標とする。装置座標系を基準とした、点ｐに対応
する３次元ベクトルをＰとすると、Ｐは次式で表され
る。
元ベクトルｐ、回転行列Ｒ、及び被写体面の向きを表す
３つのパラメータ（ａ，ｂ，ｃ）を用いて、画像座標
（ｘ，ｙ）を被投影面上に座標変換する。すなわち図４
において、画像面の１点に対応する３次元ベクトルＰを
延長した時に被投影面と交差する点ｐを、座標変換後の
画像座標とする。装置座標系を基準とした、点ｐに対応
する３次元ベクトルをＰとすると、Ｐは次式で表され
る。
【００４８】
【数７】 ここでｋは、撮像手段２の光学中心０から被投影面まで
の距離を表す拡大係数であるが、前述したように該被投
影面に向かって画像を投影することにより歪みを補正す
るので、ｋは作成される歪み補正画像の大きさを表して
いる。また、Ｐは点ｐを画像撮影時の装置座標系を基準
に表したベクトルであるが、Ｐを回転行列Ｒを用いて次
式のように座標変換することにより、画像処理装置１を
被写体面と正対させた時の３次元ベクトルＰ´に変換す
る。
の距離を表す拡大係数であるが、前述したように該被投
影面に向かって画像を投影することにより歪みを補正す
るので、ｋは作成される歪み補正画像の大きさを表して
いる。また、Ｐは点ｐを画像撮影時の装置座標系を基準
に表したベクトルであるが、Ｐを回転行列Ｒを用いて次
式のように座標変換することにより、画像処理装置１を
被写体面と正対させた時の３次元ベクトルＰ´に変換す
る。
【００４９】
【数８】 したがって、(10)式の３次元ベクトルＰ´のｘ座標、ｙ
座標を、点（ｘ，ｙ）の座標変換後の画像座標とするこ
とにより、補正変換後の画像座標（ｘ，ｙ）を得る。整
理すると次式のようになる。
座標を、点（ｘ，ｙ）の座標変換後の画像座標とするこ
とにより、補正変換後の画像座標（ｘ，ｙ）を得る。整
理すると次式のようになる。
【００５０】
【数９】 以上の手順によって、(11)式を用いて画像面上の任意の
座標（ｘ，ｙ）を（Ｘ，Ｙ）に座標変換することによ
り、歪み補正画像を作成することができる。歪み補正画
像の画像座標（Ｘ，Ｙ）に対応する変換前の画像座標
（ｘ，ｙ）は一般に整数にならないが、双一次補間法や
B-スプライン補間法などの既存の方法を用いて補間する
ことにより、画像を作成すればよい。
座標（ｘ，ｙ）を（Ｘ，Ｙ）に座標変換することによ
り、歪み補正画像を作成することができる。歪み補正画
像の画像座標（Ｘ，Ｙ）に対応する変換前の画像座標
（ｘ，ｙ）は一般に整数にならないが、双一次補間法や
B-スプライン補間法などの既存の方法を用いて補間する
ことにより、画像を作成すればよい。
【００５１】上記したような画像処理の方法について、
図８のフローチャートにより説明する。まず、撮像手段
２により被写体面を撮影すると同時に、撮影時における
被写体面の向きを表す３つのパラメータを求める（ステ
ップS1）。次に、得られた（ａ，ｂ，ｃ）を基に、先に
説明した手順で回転行列Ｒを算出する（ステップS2）。
以上の手順で求めた（ａ，ｂ，ｃ）及び回転行列Ｒを基
に、(11)式の座標変換を施すことにより歪み補正画像を
作成し（ステップS3）、処理を終了する。
図８のフローチャートにより説明する。まず、撮像手段
２により被写体面を撮影すると同時に、撮影時における
被写体面の向きを表す３つのパラメータを求める（ステ
ップS1）。次に、得られた（ａ，ｂ，ｃ）を基に、先に
説明した手順で回転行列Ｒを算出する（ステップS2）。
以上の手順で求めた（ａ，ｂ，ｃ）及び回転行列Ｒを基
に、(11)式の座標変換を施すことにより歪み補正画像を
作成し（ステップS3）、処理を終了する。
【００５２】［発明の実施の形態２］以下に説明する発
明の実施の形態２〜４では、図９のように、画像処理装
置１を用いて、異なる場所から同一の被写体面の静止画
像を、画像の一部が重複するように、視点1から視点Kま
でのK箇所から撮影した場合の動作について説明する。
視点1で撮影した画像をIm 1、視点2で撮影した画像をIm
2などと呼ぶことにする。また、説明を簡単にするた
め、Im 1とIm 2、Im 2とIm 3のように、隣り合う順序で
撮影したIm jとIm j+1との間で重複領域を持つと仮定す
る。
明の実施の形態２〜４では、図９のように、画像処理装
置１を用いて、異なる場所から同一の被写体面の静止画
像を、画像の一部が重複するように、視点1から視点Kま
でのK箇所から撮影した場合の動作について説明する。
視点1で撮影した画像をIm 1、視点2で撮影した画像をIm
2などと呼ぶことにする。また、説明を簡単にするた
め、Im 1とIm 2、Im 2とIm 3のように、隣り合う順序で
撮影したIm jとIm j+1との間で重複領域を持つと仮定す
る。
【００５３】図１０は、この発明の実施の形態２に係る
画像処理装置１の構成図である。図１０において、図２
と同一符号の部材は、発明の実施の形態１と同様の部材
であるので、詳細な説明は省略する。
画像処理装置１の構成図である。図１０において、図２
と同一符号の部材は、発明の実施の形態１と同様の部材
であるので、詳細な説明は省略する。
【００５４】画像処理装置１は、互いに重複する領域を
持つ画像間の特徴点及び対応点を抽出する対応検出手段
３１と、対応検出手段３１が出力した特徴点と対応点の
関係を基に、座標変換により互いに重複する領域を持つ
画像を貼り合わせる画像貼り合わせ手段３２と、画像貼
り合わせ手段３２が作成した貼り合わせ画像を記憶する
貼り合わせ画像記憶手段３３と、平面計測手段１０の出
力した前記被写体面の向きを基に、貼り合わせ画像記憶
手段３３に蓄積された貼り合わせ画像の斜め撮影による
歪みを補正する合成画像歪み補正手段３４とを有してい
る。
持つ画像間の特徴点及び対応点を抽出する対応検出手段
３１と、対応検出手段３１が出力した特徴点と対応点の
関係を基に、座標変換により互いに重複する領域を持つ
画像を貼り合わせる画像貼り合わせ手段３２と、画像貼
り合わせ手段３２が作成した貼り合わせ画像を記憶する
貼り合わせ画像記憶手段３３と、平面計測手段１０の出
力した前記被写体面の向きを基に、貼り合わせ画像記憶
手段３３に蓄積された貼り合わせ画像の斜め撮影による
歪みを補正する合成画像歪み補正手段３４とを有してい
る。
【００５５】対応検出手段３１、画像貼り合わせ手段３
２、貼り合わせ画像記憶手段３３、及び合成画像歪み補
正手段３４の構成・動作を、以下説明する。対応検出手
段３１は、互いに重複した領域を持つ２枚の画像におい
て同一の部分を撮影した箇所を検出するものである。こ
こでは、相関演算を用いた方法について説明する。対応
検出手段３１は、図１１のように、特徴点設定手段３
５、相関演算手段３６より構成される。図１０のフレー
ムメモリ７には、先に撮影した画像（基準画像）と、基
準画像と重複した領域を持つ参照画像が蓄積されてい
る。特徴点設定手段３５は基準画像において、特徴点の
位置を決定し、特徴点を中心とするの濃淡パターンを抽
出し、相関窓を作成する。特徴点の位置は、角（corne
r）のように画像の濃度パターンが特徴的である箇所を
抽出することにより決定される。相関演算手段３６は、
基準画像で作成した相関窓の濃淡パターンとほぼ一致す
る箇所を、参照画像において相関演算により検出し、こ
れを対応点と決定する。ここで、相関演算によるブロッ
クマッチングにより対応点を検出する一例について説明
する。図１２のように、（２Ｎ＋１）（２Ｐ＋１）の相
関窓を用いたブロックマッチングで、基準画像における
ｉ番目の特徴点（ｘi0，ｙi0）と、参照画像における点
（ｘi0＋ｄｘi，ｙi0＋ｄｙi）の相互相関値Ｓiは、次
式により計算される。
２、貼り合わせ画像記憶手段３３、及び合成画像歪み補
正手段３４の構成・動作を、以下説明する。対応検出手
段３１は、互いに重複した領域を持つ２枚の画像におい
て同一の部分を撮影した箇所を検出するものである。こ
こでは、相関演算を用いた方法について説明する。対応
検出手段３１は、図１１のように、特徴点設定手段３
５、相関演算手段３６より構成される。図１０のフレー
ムメモリ７には、先に撮影した画像（基準画像）と、基
準画像と重複した領域を持つ参照画像が蓄積されてい
る。特徴点設定手段３５は基準画像において、特徴点の
位置を決定し、特徴点を中心とするの濃淡パターンを抽
出し、相関窓を作成する。特徴点の位置は、角（corne
r）のように画像の濃度パターンが特徴的である箇所を
抽出することにより決定される。相関演算手段３６は、
基準画像で作成した相関窓の濃淡パターンとほぼ一致す
る箇所を、参照画像において相関演算により検出し、こ
れを対応点と決定する。ここで、相関演算によるブロッ
クマッチングにより対応点を検出する一例について説明
する。図１２のように、（２Ｎ＋１）（２Ｐ＋１）の相
関窓を用いたブロックマッチングで、基準画像における
ｉ番目の特徴点（ｘi0，ｙi0）と、参照画像における点
（ｘi0＋ｄｘi，ｙi0＋ｄｙi）の相互相関値Ｓiは、次
式により計算される。
【００５６】
【数１０】 各特徴点に対して、相互相関値Ｓiの最大値が予め定め
られた閾値以上である点を求めることにより、参照画像
における対応点（ｘi0＋ｄｘi，ｙi0＋ｄｙi）が求めら
れる。Ｓiの最大値が閾値以下ならば、対応点は存在し
ないとする。
られた閾値以上である点を求めることにより、参照画像
における対応点（ｘi0＋ｄｘi，ｙi0＋ｄｙi）が求めら
れる。Ｓiの最大値が閾値以下ならば、対応点は存在し
ないとする。
【００５７】画像貼り合わせ手段３２は、対応検出手段
３１より出力された特徴点と対応点との関係を基に、基
準画像を参照画像に座標変換することにより画像を貼り
合わせる。ここでは、座標変換に射影変換を用いると仮
定して説明する。射影変換とは、図１３のようにある被
写体平面を２枚撮影し、片方を基準画像、もう片方を参
照画像とした時に、図１４のように基準画像に写った被
写体像を参照画像撮影時の見え方に変換することを指
す。これを数式で表すと、基準画像における特徴点（ｘ
s，ｙs）と参照画像における対応点（ｘr，ｙr）の間
に、次式の関係が成立する。
３１より出力された特徴点と対応点との関係を基に、基
準画像を参照画像に座標変換することにより画像を貼り
合わせる。ここでは、座標変換に射影変換を用いると仮
定して説明する。射影変換とは、図１３のようにある被
写体平面を２枚撮影し、片方を基準画像、もう片方を参
照画像とした時に、図１４のように基準画像に写った被
写体像を参照画像撮影時の見え方に変換することを指
す。これを数式で表すと、基準画像における特徴点（ｘ
s，ｙs）と参照画像における対応点（ｘr，ｙr）の間
に、次式の関係が成立する。
【００５８】
【数１１】 (13)式においては８つの未知パラメータが存在するの
で、特徴点と対応点の組が４つ以上得られれば、最小自
乗法等の計算法により係数ｂ1〜ｂ8を求めることができ
る。以上の手順で、係数ｂ1〜ｂ8を計算することにより
貼り合わせた画像を、射影変換画像と呼ぶことにする。
で、特徴点と対応点の組が４つ以上得られれば、最小自
乗法等の計算法により係数ｂ1〜ｂ8を求めることができ
る。以上の手順で、係数ｂ1〜ｂ8を計算することにより
貼り合わせた画像を、射影変換画像と呼ぶことにする。
【００５９】以上では２視点から撮影した場合の射影変
換画像の作成法を説明したが、反復処理により射影変換
画像を順次作成して３枚以上の画像を貼り合わせること
ができる。以下、Im 1〜Im j-1を、Im jに対して射影変
換した画像を、PIm j（ 1≦j≦K 、但しPIm 1 = Im 1と
する）と呼ぶことにする。PIm jにおいて、Im 1〜Imj-1
に写った被写体像はそれぞれ、Im j撮影時の見え方に変
換されて、Im jに貼り付けられている。PIm jを作成す
る反復処理を、以下に示す。
換画像の作成法を説明したが、反復処理により射影変換
画像を順次作成して３枚以上の画像を貼り合わせること
ができる。以下、Im 1〜Im j-1を、Im jに対して射影変
換した画像を、PIm j（ 1≦j≦K 、但しPIm 1 = Im 1と
する）と呼ぶことにする。PIm jにおいて、Im 1〜Imj-1
に写った被写体像はそれぞれ、Im j撮影時の見え方に変
換されて、Im jに貼り付けられている。PIm jを作成す
る反復処理を、以下に示す。
【００６０】j= 2, … , Kについて、以下の処理を繰り
返す。 PIm j-1を基準画像、Im jを参照画像とする。 基準画像において特徴点を抽出し、参照画像におい
て対応点を検出する。 で検出した4組以上の特徴点と対応点を用いて、(1
3)式の係数ｂ1〜ｂ8を求め、PIm j-1をIm jに対して射
影変換してPIm jを作成する。 jを１つ加算して、に戻る。
返す。 PIm j-1を基準画像、Im jを参照画像とする。 基準画像において特徴点を抽出し、参照画像におい
て対応点を検出する。 で検出した4組以上の特徴点と対応点を用いて、(1
3)式の係数ｂ1〜ｂ8を求め、PIm j-1をIm jに対して射
影変換してPIm jを作成する。 jを１つ加算して、に戻る。
【００６１】以上の反復処理によって、最終的にはIm 1
〜Im K-1をIm Kに射影変換した画像PIm Kが得られる、
すなわちIm 1〜Im Kから１枚の貼り合わせ画像を作成す
ることができる。こうして作成された貼り合わせ画像
は、貼り合わせ画像記憶手段３３に保存される。
〜Im K-1をIm Kに射影変換した画像PIm Kが得られる、
すなわちIm 1〜Im Kから１枚の貼り合わせ画像を作成す
ることができる。こうして作成された貼り合わせ画像
は、貼り合わせ画像記憶手段３３に保存される。
【００６２】合成画像歪み補正手段３４は、前記画像貼
り合わせ手段３２が作成した貼り合わせ画像PIm Kにお
ける歪みを補正するものである。画像貼り合わせ手段３
２が作成した貼り合わせ画像PIm Kは既に説明したよう
に、参照画像撮影時の見え方に変換して貼り合わされた
画像なので、参照画像において被写体像が歪んでいた場
合、当然貼り合わせ画像も歪みを含んでいる。そこで図
１５において、参照画像（＝Im K）を撮影した時に、前
記平面計測手段１０の出力した被写体面の向きを表す３
つのパラメータ（ａ，ｂ，ｃ）を用いて、発明の実施の
形態１と同様に、(3)式〜(11)式の処理によって、貼り
合わせ画像PIm Kの歪みを補正する。
り合わせ手段３２が作成した貼り合わせ画像PIm Kにお
ける歪みを補正するものである。画像貼り合わせ手段３
２が作成した貼り合わせ画像PIm Kは既に説明したよう
に、参照画像撮影時の見え方に変換して貼り合わされた
画像なので、参照画像において被写体像が歪んでいた場
合、当然貼り合わせ画像も歪みを含んでいる。そこで図
１５において、参照画像（＝Im K）を撮影した時に、前
記平面計測手段１０の出力した被写体面の向きを表す３
つのパラメータ（ａ，ｂ，ｃ）を用いて、発明の実施の
形態１と同様に、(3)式〜(11)式の処理によって、貼り
合わせ画像PIm Kの歪みを補正する。
【００６３】上記したような画像処理の方法について、
図１６のフローチャートにより説明する。まず、撮像手
段２により被写体面を撮影し、この画像を基準画像とし
て記憶すると同時に、撮影時における被写体面の向きを
表す３つのパラメータ（ａ，ｂ，ｃ）を求める（ステッ
プS11）。続いて、基準画像と一部が重複するように視
点及び画像処理装置１の姿勢を変化させて撮像手段２に
より被写体面を撮影し、この画像を参照画像として記憶
すると同時に、撮影時における被写体面の向きを表す３
つのパラメータ（ａ，ｂ，ｃ）を求める（ステップS1
2）。基準画像において特徴点を抽出すると共に、参照
画像において該特徴点と同じ箇所を示す対応点を検出す
る（ステップS13）。こうして得られた特徴点と対応点
の関係を基に、先に説明した方法で基準画像を参照画像
に対して座標変換した画像を作成する（ステップS1
4）。その後、さらに画像を撮影して合成する画像を増
やす場合には（ステップS15）、以上の処理で作成した
貼り合わせ画像を基準画像に置き換えて（ステップS1
6）、ステップS2からステップS14の動作を繰り返す。そ
うでない場合には、最後に作成した貼り合わせ画像を、
参照画像撮影時の被写体面のパラメータ（ａ，ｂ，ｃ）
を用いて、(11)式の座標変換を行うことにより貼り合わ
せ画像の歪みを補正して（ステップS17）、処理を終了
する。
図１６のフローチャートにより説明する。まず、撮像手
段２により被写体面を撮影し、この画像を基準画像とし
て記憶すると同時に、撮影時における被写体面の向きを
表す３つのパラメータ（ａ，ｂ，ｃ）を求める（ステッ
プS11）。続いて、基準画像と一部が重複するように視
点及び画像処理装置１の姿勢を変化させて撮像手段２に
より被写体面を撮影し、この画像を参照画像として記憶
すると同時に、撮影時における被写体面の向きを表す３
つのパラメータ（ａ，ｂ，ｃ）を求める（ステップS1
2）。基準画像において特徴点を抽出すると共に、参照
画像において該特徴点と同じ箇所を示す対応点を検出す
る（ステップS13）。こうして得られた特徴点と対応点
の関係を基に、先に説明した方法で基準画像を参照画像
に対して座標変換した画像を作成する（ステップS1
4）。その後、さらに画像を撮影して合成する画像を増
やす場合には（ステップS15）、以上の処理で作成した
貼り合わせ画像を基準画像に置き換えて（ステップS1
6）、ステップS2からステップS14の動作を繰り返す。そ
うでない場合には、最後に作成した貼り合わせ画像を、
参照画像撮影時の被写体面のパラメータ（ａ，ｂ，ｃ）
を用いて、(11)式の座標変換を行うことにより貼り合わ
せ画像の歪みを補正して（ステップS17）、処理を終了
する。
【００６４】［発明の実施の形態３］図１７は、この発
明の実施の形態３である画像処理装置１の構成図であ
る。図１７において、図２と同一符号の部材は、発明の
実施の形態１と同様の部材であるので、詳細な説明は省
略する。
明の実施の形態３である画像処理装置１の構成図であ
る。図１７において、図２と同一符号の部材は、発明の
実施の形態１と同様の部材であるので、詳細な説明は省
略する。
【００６５】画像処理装置１は、平面計測手段１０の出
力した被写体面の向きを基に、各々の画像の斜め撮影に
よる歪みを補正する画像歪み補正手段４１を備えてい
る。
力した被写体面の向きを基に、各々の画像の斜め撮影に
よる歪みを補正する画像歪み補正手段４１を備えてい
る。
【００６６】画像処理装置１による処理の手順を中心
に、構成・動作を説明する。平面計測手段１０は、各々
の画像を撮影する時の、画像処理装置１に対する被写体
面の向きを計測する。画像歪み補正手段４１は、前記平
面計測手段１０が出力した被写体面の向き（ａ，ｂ，
ｃ）を用いて、先に説明した手順で、各画像の斜め撮影
による歪みを補正する。対応検出手段３１は、前記画像
歪み補正手段４１で歪みを補正され、互いに重複した領
域を持つ２枚の画像において、同一の部分を撮影した箇
所を検出する。例えば、前述した相関演算を用いて対応
付けを行う場合、本実施の形態では斜め撮影による歪み
を補正した画像間の相関をとるので、さらに容易かつ精
度の高い対応付けが可能となる。以上で得られた歪みを
補正した基準画像、参照画像および特徴点と対応点の関
係により、(13)式の係数ｂ1〜ｂ8を求めて基準画像を参
照画像に貼り合わせる。
に、構成・動作を説明する。平面計測手段１０は、各々
の画像を撮影する時の、画像処理装置１に対する被写体
面の向きを計測する。画像歪み補正手段４１は、前記平
面計測手段１０が出力した被写体面の向き（ａ，ｂ，
ｃ）を用いて、先に説明した手順で、各画像の斜め撮影
による歪みを補正する。対応検出手段３１は、前記画像
歪み補正手段４１で歪みを補正され、互いに重複した領
域を持つ２枚の画像において、同一の部分を撮影した箇
所を検出する。例えば、前述した相関演算を用いて対応
付けを行う場合、本実施の形態では斜め撮影による歪み
を補正した画像間の相関をとるので、さらに容易かつ精
度の高い対応付けが可能となる。以上で得られた歪みを
補正した基準画像、参照画像および特徴点と対応点の関
係により、(13)式の係数ｂ1〜ｂ8を求めて基準画像を参
照画像に貼り合わせる。
【００６７】上記したような画像処理の方法について、
図１８のフローチャートにより説明する。まず、撮像手
段２により被写体面を撮影し、この画像を基準画像とし
て記憶すると同時に、撮影時における被写体面の向きを
表す３つのパラメータ（ａ，ｂ，ｃ）を求め（ステップ
S21）、このパラメータ（ａ，ｂ，ｃ）を用いて、(3)〜
(11)式の処理手順で基準画像における歪みを補正し、基
準画像を歪みを補正したものに置き換える（ステップS2
2）。続いて、基準画像と一部が重複するように視点及
び画像処理装置１の姿勢を変化させて、撮像手段２によ
り被写体面を撮影し、この画像を参照画像として記憶す
ると同時に、撮影時における被写体面の向きを表す３つ
のパラメータ（ａ，ｂ，ｃ）を求め（ステップS23）、
このパラメータ（ａ，ｂ，ｃ）を用いて、(3)〜(11)式
の処理手順で参照画像における歪みを補正し、参照画像
を歪みを補正したものに置き換える（ステップS24）。
基準画像において特徴点を抽出すると共に、参照画像に
おいて該特徴点と同じ箇所を示す対応点を検出する（ス
テップS25）。こうして得られた特徴点と対応点の関係
を基に、先に説明した方法で基準画像を参照画像に対し
て座標変換した画像を作成する（ステップS26）。その
後、さらに画像を撮影して合成する画像を増やす場合に
は（ステップS27）、以上の処理で作成した貼り合わせ
画像を基準画像に置き換えて（ステップS28）、ステッ
プS23からステップS26の動作を繰り返す。そうでない場
合には、処理を終了する。
図１８のフローチャートにより説明する。まず、撮像手
段２により被写体面を撮影し、この画像を基準画像とし
て記憶すると同時に、撮影時における被写体面の向きを
表す３つのパラメータ（ａ，ｂ，ｃ）を求め（ステップ
S21）、このパラメータ（ａ，ｂ，ｃ）を用いて、(3)〜
(11)式の処理手順で基準画像における歪みを補正し、基
準画像を歪みを補正したものに置き換える（ステップS2
2）。続いて、基準画像と一部が重複するように視点及
び画像処理装置１の姿勢を変化させて、撮像手段２によ
り被写体面を撮影し、この画像を参照画像として記憶す
ると同時に、撮影時における被写体面の向きを表す３つ
のパラメータ（ａ，ｂ，ｃ）を求め（ステップS23）、
このパラメータ（ａ，ｂ，ｃ）を用いて、(3)〜(11)式
の処理手順で参照画像における歪みを補正し、参照画像
を歪みを補正したものに置き換える（ステップS24）。
基準画像において特徴点を抽出すると共に、参照画像に
おいて該特徴点と同じ箇所を示す対応点を検出する（ス
テップS25）。こうして得られた特徴点と対応点の関係
を基に、先に説明した方法で基準画像を参照画像に対し
て座標変換した画像を作成する（ステップS26）。その
後、さらに画像を撮影して合成する画像を増やす場合に
は（ステップS27）、以上の処理で作成した貼り合わせ
画像を基準画像に置き換えて（ステップS28）、ステッ
プS23からステップS26の動作を繰り返す。そうでない場
合には、処理を終了する。
【００６８】なお本実施の形態においては、斜め撮影に
よる画像の歪みを補正した画像同士を貼り合わせるの
で、(13)式で表される射影変換の代わりに、次式のアフ
ィン変換を用いても貼り合わせ画像を得ることができ
る。
よる画像の歪みを補正した画像同士を貼り合わせるの
で、(13)式で表される射影変換の代わりに、次式のアフ
ィン変換を用いても貼り合わせ画像を得ることができ
る。
【００６９】
【数１２】 画像貼り合わせ手段３２が、(13)式の射影変換または(1
4)式のアフィン変換に基づいた構成・動作に限定されな
いことは言うまでもない。
4)式のアフィン変換に基づいた構成・動作に限定されな
いことは言うまでもない。
【００７０】［発明の実施の形態４］この発明の実施の
形態４は、発明の実施の形態１〜３において、被写体面
までの距離を利用して、作成される歪み補正画像の大き
さを、各被写体像の大きさが概ね等しくなるように調整
することに関するものである。例えば、図１９(a)のよ
うに基準画像と参照画像を、被写体面までの距離や撮像
手段２の光軸（z軸）の向きが異なった状態で撮影する
と、図１９(b)のようにそれぞれの歪み補正画像におけ
る被写体像の大きさも異なる場合がある。そこで、平面
計測手段１０の出力を利用して歪み補正画像の大きさを
調整するように、画像歪み補正手段４１を構成する。そ
の一例を以下説明する。
形態４は、発明の実施の形態１〜３において、被写体面
までの距離を利用して、作成される歪み補正画像の大き
さを、各被写体像の大きさが概ね等しくなるように調整
することに関するものである。例えば、図１９(a)のよ
うに基準画像と参照画像を、被写体面までの距離や撮像
手段２の光軸（z軸）の向きが異なった状態で撮影する
と、図１９(b)のようにそれぞれの歪み補正画像におけ
る被写体像の大きさも異なる場合がある。そこで、平面
計測手段１０の出力を利用して歪み補正画像の大きさを
調整するように、画像歪み補正手段４１を構成する。そ
の一例を以下説明する。
【００７１】平面計測手段１０は、発明の実施の形態１
と同様の構成をとり、被写体面の方程式を表すパラメー
タ（ａ，ｂ，ｃ，ｄ）、及び装置座標系を基準にした各
点の３次元座標を出力する。画像歪み補正手段４１は、
前記平面計測手段１０が出力した（ａ，ｂ，ｃ，ｄ）及
び各点の３次元座標より、(3)〜(11)式の手順で各画像
の歪みを補正すると共に、(11)式の座標変換に用いる最
適な拡大係数kを算出する。例えば、図１９(a)におい
て、基準画像撮影時に平面計測手段１０が出力した被写
体面のパラメータを（ａ，ｂ，ｃ，ｄ）、また参照画像
撮影時に平面計測手段１０が出力した被写体面のパラメ
ータを（ａ´，ｂ´，ｃ´，ｄ´）とする。基準画像、
参照画像の歪み補正画像作成に用いる拡大係数をそれぞ
れk、k´(k＞０，k´＞０)とおくと、
と同様の構成をとり、被写体面の方程式を表すパラメー
タ（ａ，ｂ，ｃ，ｄ）、及び装置座標系を基準にした各
点の３次元座標を出力する。画像歪み補正手段４１は、
前記平面計測手段１０が出力した（ａ，ｂ，ｃ，ｄ）及
び各点の３次元座標より、(3)〜(11)式の手順で各画像
の歪みを補正すると共に、(11)式の座標変換に用いる最
適な拡大係数kを算出する。例えば、図１９(a)におい
て、基準画像撮影時に平面計測手段１０が出力した被写
体面のパラメータを（ａ，ｂ，ｃ，ｄ）、また参照画像
撮影時に平面計測手段１０が出力した被写体面のパラメ
ータを（ａ´，ｂ´，ｃ´，ｄ´）とする。基準画像、
参照画像の歪み補正画像作成に用いる拡大係数をそれぞ
れk、k´(k＞０，k´＞０)とおくと、
【００７２】
【数１３】 とすれば、図１９(b)のように各々の被写体像の大きさ
が概ね等しい歪み補正画像が得られる。
が概ね等しい歪み補正画像が得られる。
【００７３】［発明の実施の形態５］この発明の実施の
形態５は、発明の実施の形態１〜４において、撮影時に
おける被写体面の向きを表す３つのパラメータ（ａ，
ｂ，ｃ）を用いて画像処理装置１を被写体面に正対させ
て撮影した画像に変換することにより、各々の画像の歪
みを補正するが、これは撮像手段２の光軸（z軸）を被
写体面の向きと一致させるような座標変換を施した結果
得られる画像を擬似的に生成することを意味する。しか
し、この座標変換は被写体面の法線ベクトルを回転軸と
する１軸回りの自由度を残している。すなわち、撮影時
の画像処理装置１の姿勢によっては、図２０(a)のよう
に、画像面上で被写体像が傾いた歪み補正画像が作成さ
れる。本実施の形態では、発明の実施の形態１〜４に傾
き補正手段５１を設置し、図２０(b)のように傾きの殆
ど無い歪み補正画像を得ることを目的とする。
形態５は、発明の実施の形態１〜４において、撮影時に
おける被写体面の向きを表す３つのパラメータ（ａ，
ｂ，ｃ）を用いて画像処理装置１を被写体面に正対させ
て撮影した画像に変換することにより、各々の画像の歪
みを補正するが、これは撮像手段２の光軸（z軸）を被
写体面の向きと一致させるような座標変換を施した結果
得られる画像を擬似的に生成することを意味する。しか
し、この座標変換は被写体面の法線ベクトルを回転軸と
する１軸回りの自由度を残している。すなわち、撮影時
の画像処理装置１の姿勢によっては、図２０(a)のよう
に、画像面上で被写体像が傾いた歪み補正画像が作成さ
れる。本実施の形態では、発明の実施の形態１〜４に傾
き補正手段５１を設置し、図２０(b)のように傾きの殆
ど無い歪み補正画像を得ることを目的とする。
【００７４】傾き補正手段５１は、第２１図のように、
回転角設定手段５２、回転中心設定手段５３、及び回転
演算手段５４より構成される。回転角設定手段５２と回
転中心設定手段５３はスイッチ等により構成され、例え
ば画像処理装置１の筐体上に表示手段８と隣り合う位置
に配置される。回転角設定手段５２は画面上での回転角
θを、また回転中心設定手段５３は画面上での回転中心
座標（ｘ0，ｙ0）を指定する。回転演算手段５４は筐体
内部に内蔵された演算回路等により構成され、回転角θ
及び回転中心座標（ｘ0，ｙ0）を用いて、以下の座標変
換式により歪み補正画像の画面上での傾きを補正する。
回転角設定手段５２、回転中心設定手段５３、及び回転
演算手段５４より構成される。回転角設定手段５２と回
転中心設定手段５３はスイッチ等により構成され、例え
ば画像処理装置１の筐体上に表示手段８と隣り合う位置
に配置される。回転角設定手段５２は画面上での回転角
θを、また回転中心設定手段５３は画面上での回転中心
座標（ｘ0，ｙ0）を指定する。回転演算手段５４は筐体
内部に内蔵された演算回路等により構成され、回転角θ
及び回転中心座標（ｘ0，ｙ0）を用いて、以下の座標変
換式により歪み補正画像の画面上での傾きを補正する。
【００７５】
【数１４】 (16)式の座標変換を、歪み補正画像に適用して傾きを補
正した画像を、表示手段８上で確認することができる。
正した画像を、表示手段８上で確認することができる。
【００７６】なお、いうまでもなく、前記の各発明の実
施の形態の説明は、本発明の一例を説明したにすぎず、
この発明を前記の各発明の実施の形態通りに限定・縮小
すべきではない。例えば、平面計測手段１０の構成は前
記実施の形態で説明した範囲に限定されず、波動（光、
電波、音波）を対象に照射し、対象からの反射波の伝播
時間や位相差を計測することにより対象までの距離を求
める、また被写体面の焦点ぼけの量から距離を求めるな
ど、別の構成でも構わない。また、対応検出手段３１に
おいて相関法による濃度マッチングにより対応点を検出
すると説明したが、時空間微分法など別の手法で行って
も構わない。
施の形態の説明は、本発明の一例を説明したにすぎず、
この発明を前記の各発明の実施の形態通りに限定・縮小
すべきではない。例えば、平面計測手段１０の構成は前
記実施の形態で説明した範囲に限定されず、波動（光、
電波、音波）を対象に照射し、対象からの反射波の伝播
時間や位相差を計測することにより対象までの距離を求
める、また被写体面の焦点ぼけの量から距離を求めるな
ど、別の構成でも構わない。また、対応検出手段３１に
おいて相関法による濃度マッチングにより対応点を検出
すると説明したが、時空間微分法など別の手法で行って
も構わない。
【００７７】
【発明の効果】請求項１に記載の発明は、任意の被写体
面を任意の視点・姿勢で撮影した場合でも、平面を計測
することにより、簡便に画像の歪みを補正することがで
きる。
面を任意の視点・姿勢で撮影した場合でも、平面を計測
することにより、簡便に画像の歪みを補正することがで
きる。
【００７８】請求項２に記載の発明は、任意の被写体面
を任意の視点・姿勢で撮影した複数の画像を貼り合わせ
た画像を、計測した被写体面の向きを用いて座標変換す
ることにより、簡便に歪みのない合成画像を作成するこ
とができる。
を任意の視点・姿勢で撮影した複数の画像を貼り合わせ
た画像を、計測した被写体面の向きを用いて座標変換す
ることにより、簡便に歪みのない合成画像を作成するこ
とができる。
【００７９】請求項３に記載の発明は、任意の被写体面
を任意の視点・姿勢で撮影した場合でも、平面を計測す
ることにより、簡便に各画像の歪みを補正することがで
きる。また、歪みを補正した画像を用いて対応を検出す
るので、請求項２に記載の画像処理装置と比較して、さ
らに対応付けの精度が上がり、その結果、一層高精細な
合成画像を簡便に得ることができる。
を任意の視点・姿勢で撮影した場合でも、平面を計測す
ることにより、簡便に各画像の歪みを補正することがで
きる。また、歪みを補正した画像を用いて対応を検出す
るので、請求項２に記載の画像処理装置と比較して、さ
らに対応付けの精度が上がり、その結果、一層高精細な
合成画像を簡便に得ることができる。
【００８０】請求項４に記載の発明は、請求項１〜３の
いずれかの一に記載の画像処理装置において、平面を計
測して得られた距離情報を用いて、被写体面を撮影した
各画像の歪みを補正することにより、各歪み補正画像に
おける被写体像の大きさをほぼ等しくすることができ
る。また、請求項３に記載の発明に本請求項に記載の発
明を適用すれば、被写体像の大きさがほぼ等しい歪み補
正画像を用いて対応を検出するので、さらに対応付けの
精度が上がり、その結果、一層高精細な合成画像を簡便
に得ることができる。
いずれかの一に記載の画像処理装置において、平面を計
測して得られた距離情報を用いて、被写体面を撮影した
各画像の歪みを補正することにより、各歪み補正画像に
おける被写体像の大きさをほぼ等しくすることができ
る。また、請求項３に記載の発明に本請求項に記載の発
明を適用すれば、被写体像の大きさがほぼ等しい歪み補
正画像を用いて対応を検出するので、さらに対応付けの
精度が上がり、その結果、一層高精細な合成画像を簡便
に得ることができる。
【００８１】請求項５に記載の発明は、請求項１〜４の
いずれかの一に記載の画像処理装置において、撮影した
各々の画像や貼り合わせた画像における被写体像の歪み
・傾きを補正することができる。また、請求項３に記載
の発明に本請求項に記載の発明を適用すれば、被写体像
の傾きがほぼ等しい歪み補正画像を用いて対応を検出す
るので、さらに対応付けの精度が上がり、その結果、一
層高精細な合成画像を簡便に得ることができる。
いずれかの一に記載の画像処理装置において、撮影した
各々の画像や貼り合わせた画像における被写体像の歪み
・傾きを補正することができる。また、請求項３に記載
の発明に本請求項に記載の発明を適用すれば、被写体像
の傾きがほぼ等しい歪み補正画像を用いて対応を検出す
るので、さらに対応付けの精度が上がり、その結果、一
層高精細な合成画像を簡便に得ることができる。
【００８２】請求項６に記載の発明は、任意の被写体面
を任意の視点・姿勢で撮影した場合でも、平面を計測す
ることにより、簡便に画像の歪みを補正することができ
る。
を任意の視点・姿勢で撮影した場合でも、平面を計測す
ることにより、簡便に画像の歪みを補正することができ
る。
【００８３】請求項７に記載の発明は、任意の被写体面
を任意の視点・姿勢で撮影した複数の画像を貼り合わせ
た画像を、計測した被写体面の向きを用いて座標変換す
ることにより、簡便に歪みのない合成画像を作成するこ
とができる。
を任意の視点・姿勢で撮影した複数の画像を貼り合わせ
た画像を、計測した被写体面の向きを用いて座標変換す
ることにより、簡便に歪みのない合成画像を作成するこ
とができる。
【００８４】請求項８に記載の発明は、任意の被写体面
を任意の視点・姿勢で撮影した場合でも、平面を計測す
ることにより、簡便に各画像の歪みを補正することがで
きる。また、歪みを補正した画像を用いて対応を検出す
るので、請求項７に記載の発明と比較して、さらに対応
付けの精度が上がり、その結果、一層高精細な合成画像
を簡便に得ることができる。
を任意の視点・姿勢で撮影した場合でも、平面を計測す
ることにより、簡便に各画像の歪みを補正することがで
きる。また、歪みを補正した画像を用いて対応を検出す
るので、請求項７に記載の発明と比較して、さらに対応
付けの精度が上がり、その結果、一層高精細な合成画像
を簡便に得ることができる。
【００８５】請求項９に記載の発明は、請求項６〜８の
いずれかの一に記載の画像処理方法において、平面を計
測して得られた距離情報を用いて、被写体面を撮影した
各画像の歪みを補正することにより、各歪み補正画像に
おける被写体像の大きさをほぼ等しくすることができ
る。また、請求項８に記載の発明に本請求項に記載の発
明を適用すれば、被写体像の大きさがほぼ等しい歪み補
正画像を用いて対応を検出するので、さらに対応付けの
精度が上がり、その結果、一層高精細な合成画像を簡便
に得ることができる。
いずれかの一に記載の画像処理方法において、平面を計
測して得られた距離情報を用いて、被写体面を撮影した
各画像の歪みを補正することにより、各歪み補正画像に
おける被写体像の大きさをほぼ等しくすることができ
る。また、請求項８に記載の発明に本請求項に記載の発
明を適用すれば、被写体像の大きさがほぼ等しい歪み補
正画像を用いて対応を検出するので、さらに対応付けの
精度が上がり、その結果、一層高精細な合成画像を簡便
に得ることができる。
【００８６】請求項１０に記載の発明は、請求項６〜９
のいずれかの一に記載の画像処理方法において、撮影し
た各々の画像や貼り合わせた画像における被写体像の歪
み・傾きを補正することができる。また、請求項８に記
載の発明に本請求項に記載の発明を適用すれば、被写体
像の傾きがほぼ等しい歪み補正画像を用いて対応を検出
するので、さらに対応付けの精度が上がり、その結果、
一層高精細な合成画像を簡便に得ることができる。
のいずれかの一に記載の画像処理方法において、撮影し
た各々の画像や貼り合わせた画像における被写体像の歪
み・傾きを補正することができる。また、請求項８に記
載の発明に本請求項に記載の発明を適用すれば、被写体
像の傾きがほぼ等しい歪み補正画像を用いて対応を検出
するので、さらに対応付けの精度が上がり、その結果、
一層高精細な合成画像を簡便に得ることができる。
【図１】被写体面を撮影した時に生じる画像の歪みの補
正を説明する概念図である。
正を説明する概念図である。
【図２】この発明の実施の形態１である画像処理装置の
構成を示すブロック図である。
構成を示すブロック図である。
【図３】前記画像処理装置の平面計測手段の構成を示す
ブロック図である。
ブロック図である。
【図４】前記画像処理装置の動作を説明する概念図であ
る。
る。
【図５】前記画像処理装置の動作を説明する概念図であ
る。
る。
【図６】前記画像処理装置の動作を説明する概念図であ
る。
る。
【図７】前記画像処理装置の動作を説明する概念図であ
る。
る。
【図８】前記画像処理装置の動作を説明するフローチャ
ートである。
ートである。
【図９】画像処理装置を用いて、異なる場所から同一の
被写体面の静止画像を、画像の一部が重複するように、
視点1から視点KまでのK箇所から撮影する場合の概念図
である。
被写体面の静止画像を、画像の一部が重複するように、
視点1から視点KまでのK箇所から撮影する場合の概念図
である。
【図１０】この発明の実施の形態２に係る画像処理装置
の構成を説明するブロック図である。
の構成を説明するブロック図である。
【図１１】前記画像処理装置の対応検出手段の構成を説
明するブロック図である。
明するブロック図である。
【図１２】前記画像処理装置の動作を説明する概念図で
ある。
ある。
【図１３】前記画像処理装置の動作を説明する概念図で
ある。
ある。
【図１４】前記画像処理装置の動作を説明する概念図で
ある。
ある。
【図１５】前記画像処理装置の動作を説明する概念図で
ある。
ある。
【図１６】前記画像処理装置の動作を説明するフローチ
ャートである。
ャートである。
【図１７】この発明の実施の形態３である画像処理装置
の構成を説明するブロック図である。
の構成を説明するブロック図である。
【図１８】前記画像処理装置の動作を説明するフローチ
ャートである。
ャートである。
【図１９】この発明の実施の形態４である画像処理装置
の動作を説明する概念図である。
の動作を説明する概念図である。
【図２０】この発明の実施の形態５である画像処理装置
の動作を説明する概念図である。
の動作を説明する概念図である。
【図２１】前記画像処理装置の動作を説明する概念図で
ある。
ある。
１ 画像処理装置 ２ 撮像手段 １０ 平面計測手段 １１ 画像歪み補正手段 ３１ 対応検出手段 ３２ 画像貼り合わせ手段 ３４ 合成画像歪み補正手段 ５１ 傾き補正手段
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/232 Ｇ０６Ｆ 15/66 ３５０Ａ 5/91 Ｈ０４Ｎ 5/91 Ｊ Ｆターム(参考） 5B057 BA02 CD12 CE10 5C021 YC01 YC02 YC03 5C022 AB00 AB28 AB51 AB68 AC69 5C023 AA10 AA31 AA37 AA38 DA04 5C053 FA27 KA03 KA25 LA01 LA06
Claims (10)
- 【請求項１】 被写体面を撮像する撮像手段と、 この撮像手段を基準とした前記被写体面の向きを計測す
る平面計測手段と、 この計測した被写体面の向きに基づいて前記撮像手段が
撮像した画像の斜め撮影による歪みを補正する画像歪み
補正手段と、を備えている画像処理装置。 - 【請求項２】 先に撮像された画像と一部が重複するよ
うに複数の視点から被写体を撮像する撮像手段と、 この撮像手段を基準とした前記被写体面の向きを計測す
る平面計測手段と、 ある画像を基準画像とし、この基準画像と重複する部分
をもつ画像を参照画像とした場合に、前記基準画像にお
いて複数の特徴点を抽出するとともに、前記参照画像に
おいて前記特徴点と同一の個所を示す対応点を検出する
対応検出手段と、 この対応検出手段が検出した前記特徴点と前記対応点と
の関係に基づいて、前記基準画像を前記参照画像上に座
標変換することにより画像を貼り合せる画像貼り合わせ
手段と、 前記平面計測手段が計測した被写体面の向きに基づいて
前記画像貼り合わせ手段が貼り合わせた画像の斜め撮影
による歪みを補正する合成画像歪み補正手段と、を備え
ている画像処理装置。 - 【請求項３】 先に撮像された画像と一部が重複するよ
うに複数の視点から被写体を撮像する撮像手段と、 この撮像手段を基準とした前記被写体面の向きを計測す
る平面計測手段と、 この計測した被写体面の向きに基づいて前記撮像手段が
撮像した画像の斜め撮影による歪みを補正する画像歪み
補正手段と、 この補正した複数の画像のうち、ある画像を基準画像と
し、この基準画像と重複する部分をもつ画像を参照画像
とした場合に、前記基準画像において複数の特徴点を抽
出するとともに、前記参照画像において前記特徴点と同
一の個所を示す対応点を検出する対応検出手段と、 この対応検出手段が検出した前記特徴点と前記対応点と
の関係に基づいて、前記基準画像を前記参照画像上に座
標変換することにより画像を貼り合せる画像貼り合わせ
手段と、を備えている画像処理装置。 - 【請求項４】 前記平面計測手段は、前記撮像手段を基
準とした前記被写体面の距離も計測するものであり、 前記画像歪み補正手段および合成画像歪み補正手段は、
前記距離に比例した拡大係数も用いて画像の斜め撮影に
よる歪みを補正するものである、請求項１〜３のいずれ
かの一に記載の画像処理装置。 - 【請求項５】 前記画像歪み補正手段または合成画像歪
み補正手段により補正された画像の画面上での傾きを補
正する傾き補正手段を備えている請求項１〜４のいずれ
かの一に記載の画像処理装置。 - 【請求項６】 撮像手段により被写体面を撮像する工程
と、 前記撮像手段を基準とした前記被写体面の向きを計測す
る工程と、 この計測した被写体面の向きに基づいて前記撮像手段が
撮像した画像の斜め撮影による歪みを補正する工程と、
を含んでなる画像処理方法。 - 【請求項７】 撮像手段により先に撮像された画像と一
部が重複するように複数の視点から被写体を撮像する工
程と、 前記撮像手段を基準とした前記被写体面の向きを計測す
る工程と、 ある画像を基準画像とし、この基準画像と重複する部分
をもつ画像を参照画像とした場合に、前記基準画像にお
いて複数の特徴点を抽出するとともに、前記参照画像に
おいて前記特徴点と同一の個所を示す対応点を検出する
工程と、 この工程で検出した前記特徴点と前記対応点との関係に
基づいて、前記基準画像を前記参照画像上に座標変換す
ることにより画像を貼り合せる工程と、 前記計測工程で計測した被写体面の向きに基づいて前記
貼り合わせ工程で貼り合わせた画像の斜め撮影による歪
みを補正する工程と、を含んでなる画像処理方法。 - 【請求項８】 撮像手段により先に撮像された画像と一
部が重複するように複数の視点から被写体を撮像する工
程と、 前記撮像手段を基準とした前記被写体面の向きを計測す
る工程と、 この計測した被写体面の向きに基づいて前記撮像手段が
撮像した画像の斜め撮影による歪みを補正する工程と、 この補正した複数の画像のうち、ある画像を基準画像と
し、この基準画像と重複する部分をもつ画像を参照画像
とした場合に、前記基準画像において複数の特徴点を抽
出するとともに、前記参照画像において前記特徴点と同
一の個所を示す対応点を検出する工程と、 この工程で検出した前記特徴点と前記対応点との関係に
基づいて、前記基準画像を前記参照画像上に座標変換す
ることにより画像を貼り合せる工程と、を含んでなる画
像処理方法。 - 【請求項９】 前記計測工程は、前記撮像手段を基準と
した前記被写体面の距離も計測するものであり、 前記補正工程は、前記距離に比例した拡大係数も用いて
画像の斜め撮影による歪みを補正するものである、請求
項６〜８のいずれかの一に記載の画像処理方法。 - 【請求項１０】 前記補正工程で補正された画像の画面
上での傾きを補正する工程を含んでなる請求項６〜９の
いずれかの一に記載の画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10918999A JP4324271B2 (ja) | 1999-04-16 | 1999-04-16 | 画像処理装置およびその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10918999A JP4324271B2 (ja) | 1999-04-16 | 1999-04-16 | 画像処理装置およびその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000307947A true JP2000307947A (ja) | 2000-11-02 |
| JP4324271B2 JP4324271B2 (ja) | 2009-09-02 |
Family
ID=14503904
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10918999A Expired - Fee Related JP4324271B2 (ja) | 1999-04-16 | 1999-04-16 | 画像処理装置およびその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4324271B2 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011053937A (ja) * | 2009-09-02 | 2011-03-17 | Nec Corp | 画像変換パラメータ算出装置、画像変換パラメータ算出方法およびプログラム |
| WO2011052064A1 (ja) * | 2009-10-30 | 2011-05-05 | キヤノン株式会社 | 情報処理装置および方法 |
| WO2017110645A1 (ja) * | 2015-12-22 | 2017-06-29 | シャープ株式会社 | 作業支援装置、作業支援方法、作業支援プログラム、及び記録媒体 |
| WO2017203777A1 (ja) * | 2016-05-23 | 2017-11-30 | ソニー株式会社 | 電子装置、電子装置の制御方法、および、プログラム |
| JP2019004305A (ja) * | 2017-06-14 | 2019-01-10 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| CN111965630A (zh) * | 2020-08-17 | 2020-11-20 | 南京先能光电科技有限公司 | 一种空间定位系统 |
| JP2023052595A (ja) * | 2019-09-05 | 2023-04-11 | 富士フイルム株式会社 | 画像処理装置、画像処理システム、画像処理方法及びプログラム |
-
1999
- 1999-04-16 JP JP10918999A patent/JP4324271B2/ja not_active Expired - Fee Related
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011053937A (ja) * | 2009-09-02 | 2011-03-17 | Nec Corp | 画像変換パラメータ算出装置、画像変換パラメータ算出方法およびプログラム |
| WO2011052064A1 (ja) * | 2009-10-30 | 2011-05-05 | キヤノン株式会社 | 情報処理装置および方法 |
| US8928755B2 (en) | 2009-10-30 | 2015-01-06 | Canon Kabushiki Kaisha | Information processing apparatus and method |
| WO2017110645A1 (ja) * | 2015-12-22 | 2017-06-29 | シャープ株式会社 | 作業支援装置、作業支援方法、作業支援プログラム、及び記録媒体 |
| WO2017203777A1 (ja) * | 2016-05-23 | 2017-11-30 | ソニー株式会社 | 電子装置、電子装置の制御方法、および、プログラム |
| JPWO2017203777A1 (ja) * | 2016-05-23 | 2019-03-22 | ソニー株式会社 | 電子装置、電子装置の制御方法、および、プログラム |
| US10565462B2 (en) | 2016-05-23 | 2020-02-18 | Sony Corporation | Electronic apparatus, method of controlling electronic apparatus, and program |
| JP2019004305A (ja) * | 2017-06-14 | 2019-01-10 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| JP2023052595A (ja) * | 2019-09-05 | 2023-04-11 | 富士フイルム株式会社 | 画像処理装置、画像処理システム、画像処理方法及びプログラム |
| JP7482268B2 (ja) | 2019-09-05 | 2024-05-13 | 富士フイルム株式会社 | 画像処理装置、画像処理システム、画像処理方法及びプログラム |
| CN111965630A (zh) * | 2020-08-17 | 2020-11-20 | 南京先能光电科技有限公司 | 一种空间定位系统 |
| CN111965630B (zh) * | 2020-08-17 | 2024-05-28 | 南京先能光电科技有限公司 | 一种空间定位系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4324271B2 (ja) | 2009-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6097430A (en) | Image processing apparatus | |
| US6788828B2 (en) | Adaptive image combination according to image sensing condition | |
| JP4297111B2 (ja) | 撮像装置、画像処理方法及びそのプログラム | |
| JP4306006B2 (ja) | ３次元データ入力方法及び装置 | |
| JP4886716B2 (ja) | 画像処理装置および方法並びにプログラム | |
| US20030169918A1 (en) | Stereoscopic image characteristics examination system | |
| JP2004032172A (ja) | 複眼撮像装置およびこれを備えた機器 | |
| JP2002071309A (ja) | ３次元画像検出装置 | |
| JP2000125190A (ja) | カメラシステム及び記録媒体 | |
| JPH11136575A (ja) | 撮像装置及び撮像画像合成方法 | |
| JP2001177752A (ja) | 互いに相違する集束距離で撮影された画像構成要素を有する組合せ出力画像を生成するための撮像方法および装置 | |
| JP2001177716A (ja) | 画像処理方法と画像処理装置 | |
| JP4324271B2 (ja) | 画像処理装置およびその方法 | |
| JP4169464B2 (ja) | 画像処理方法と画像処理装置及びコンピュータ読み取り可能な記録媒体 | |
| JP2000134537A (ja) | 画像入力装置及びその方法 | |
| JP2009134357A (ja) | 画像処理装置、撮像装置、画像処理プログラム及び画像処理方法 | |
| JP3282332B2 (ja) | 画像入力システム | |
| JP4221808B2 (ja) | ３次元データ入力方法及び装置 | |
| JP2023172202A (ja) | 画像処理装置、移動体、画像処理方法及びコンピュータプログラム | |
| JPH07174538A (ja) | 画像入力カメラ | |
| JP2000244797A (ja) | 画像信号処理装置および方法 | |
| JP2000228748A (ja) | 画像入力装置 | |
| JPH11281332A (ja) | 撮像装置 | |
| JP2000115639A (ja) | 画像入力装置及びその方法 | |
| JP2001292312A (ja) | 画像読取装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050620 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050622 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050620 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050822 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060411 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060612 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060703 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20070323 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090608 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120612 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130612 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |