JP2000312287A - パノラマ画像作成方法 - Google Patents
パノラマ画像作成方法Info
- Publication number
- JP2000312287A JP2000312287A JP11119302A JP11930299A JP2000312287A JP 2000312287 A JP2000312287 A JP 2000312287A JP 11119302 A JP11119302 A JP 11119302A JP 11930299 A JP11930299 A JP 11930299A JP 2000312287 A JP2000312287 A JP 2000312287A
- Authority
- JP
- Japan
- Prior art keywords
- image
- ground
- distant view
- images
- distant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 18
- 230000009466 transformation Effects 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 abstract description 12
- 238000013519 translation Methods 0.000 abstract description 5
- 238000012545 processing Methods 0.000 abstract description 4
- 238000007781 pre-processing Methods 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
(57)【要約】
【課題】 遠景部分と近景部分からなる複数の画像から
接合部の整合性の高いパノラマ画像を作成する。 【解決手段】 遠景部分に行われるアフィン変換や平面
投影変換による相関計算に対して接合部の整合性を保つ
ように、地面部分を変換することにより、２枚の画像か
らパノラマ画像を作成するときの接合の位置合わせの判
定に画面上部の遠景部分の映像情報についてのみを参照
する。また、地面部分の変換において、画像に対して垂
直な面に投影した画像を作成し、投影後の地面部分を元
来の地面部分と入れ替えた画像についてパノラマ接合を
行った後に、地面部分について前記の投影の逆変換を行
うことにより、接合部の歪みや不整合を軽減できる。
接合部の整合性の高いパノラマ画像を作成する。 【解決手段】 遠景部分に行われるアフィン変換や平面
投影変換による相関計算に対して接合部の整合性を保つ
ように、地面部分を変換することにより、２枚の画像か
らパノラマ画像を作成するときの接合の位置合わせの判
定に画面上部の遠景部分の映像情報についてのみを参照
する。また、地面部分の変換において、画像に対して垂
直な面に投影した画像を作成し、投影後の地面部分を元
来の地面部分と入れ替えた画像についてパノラマ接合を
行った後に、地面部分について前記の投影の逆変換を行
うことにより、接合部の歪みや不整合を軽減できる。
Description
【０００１】
【発明の属する技術分野】本発明は、パノラマ画像作成
方法に関するものであり、特にデジタルカメラによって
撮影された画像のパノラマ画像作成方法、マルチメディ
アにおけるウォークスルー実現のための全周画像の作成
方法、没入感ディスプレイのための広視野パノラマ画像
の作成方法に好適なパノラマ画像作成方法に関するもの
である。
方法に関するものであり、特にデジタルカメラによって
撮影された画像のパノラマ画像作成方法、マルチメディ
アにおけるウォークスルー実現のための全周画像の作成
方法、没入感ディスプレイのための広視野パノラマ画像
の作成方法に好適なパノラマ画像作成方法に関するもの
である。
【０００２】
【従来の技術】従来、画像の一部が重複パノラマ画像作
成方法として、接合しようとする画像は画像の１／３〜
１／２がオーバーラップするように撮影され、そのオー
バーラップ部分の情報を基に、アフィン変換によるパラ
メータ変換や平面投影変換による相関計算によって位置
合わせがされる。その後の画像間の輝度、色相などの調
整が行われる。このような研究の先行例としては、S.Pe
leg and J.Herman “Panoramic Mosaics by Manifold P
rojection”, CVPR, June 1997, pp 338-343やH.Shum a
nd R.Szelski ”Panoramic Mosaics” Microsoft Resea
rch Technical Report MSR-TR-97-23など、多くの研究
が挙げられる。また現在、パノラマ作成ソフトウェア
は、製品としてQuicktime VR、VideoBrush、PhotoVista
など数種類が市販もしくはデジタルカメラの付録などと
して添付されている。
成方法として、接合しようとする画像は画像の１／３〜
１／２がオーバーラップするように撮影され、そのオー
バーラップ部分の情報を基に、アフィン変換によるパラ
メータ変換や平面投影変換による相関計算によって位置
合わせがされる。その後の画像間の輝度、色相などの調
整が行われる。このような研究の先行例としては、S.Pe
leg and J.Herman “Panoramic Mosaics by Manifold P
rojection”, CVPR, June 1997, pp 338-343やH.Shum a
nd R.Szelski ”Panoramic Mosaics” Microsoft Resea
rch Technical Report MSR-TR-97-23など、多くの研究
が挙げられる。また現在、パノラマ作成ソフトウェア
は、製品としてQuicktime VR、VideoBrush、PhotoVista
など数種類が市販もしくはデジタルカメラの付録などと
して添付されている。
【０００３】
【発明が解決しようとする課題】例えば、図３及び図４
の２枚の画像からパノラマ画像を合成する場合、２つの
画像の位置合わせをアフィン変換や平面投影変換による
相関計算によって行うと、これらの計算法に馴染まない
近景の地面の影響によって位置合わせが破綻することが
ある。具体的には、図５の円内のように近景地面の接合
がうまくいかなかったり、図６の円内のように接合部に
おいて、地面の整合性を追及するあまり遠景部分がうま
く接合されなかったり、画面全体が湾曲してしまうこと
などが挙げられる。図５及び図６は極端な例であるが、
これらの中間的な不自然な合成になったり、合成自体が
不可能になることも多い。この原因は、視線に垂直な遠
景と視線と平行な地面に関して、前者のみについて成立
する位置合わせの相関計算を、後者を含めて適用してし
まったことにある。
の２枚の画像からパノラマ画像を合成する場合、２つの
画像の位置合わせをアフィン変換や平面投影変換による
相関計算によって行うと、これらの計算法に馴染まない
近景の地面の影響によって位置合わせが破綻することが
ある。具体的には、図５の円内のように近景地面の接合
がうまくいかなかったり、図６の円内のように接合部に
おいて、地面の整合性を追及するあまり遠景部分がうま
く接合されなかったり、画面全体が湾曲してしまうこと
などが挙げられる。図５及び図６は極端な例であるが、
これらの中間的な不自然な合成になったり、合成自体が
不可能になることも多い。この原因は、視線に垂直な遠
景と視線と平行な地面に関して、前者のみについて成立
する位置合わせの相関計算を、後者を含めて適用してし
まったことにある。
【０００４】本発明は遠景部分と近景部分からなる複数
の画像から接合部の整合性の高いパノラマ画像を作成す
るパノラマ画像作成方法を提供することを目的としてい
る。近景部分とは遠景部分の手前の比較的平坦な前方部
分を指すものであり、地面部分を指すものである。
の画像から接合部の整合性の高いパノラマ画像を作成す
るパノラマ画像作成方法を提供することを目的としてい
る。近景部分とは遠景部分の手前の比較的平坦な前方部
分を指すものであり、地面部分を指すものである。
【０００５】
【課題を解決するための手段】上記目的を達成するため
に、本発明では、遠景部分と近景部分に別々の処理を施
す。画面上部の遠景部分については従来法で位置合わせ
を行い、地面部分については幾何変換により、現実の地
面を上から見たような画像に変換し、変換後の画像を接
続した後に再び視点から見たように幾何変換を行う。こ
れにより地面部分の接合部において、整合性の高いパノ
ラマ合成を行う。
に、本発明では、遠景部分と近景部分に別々の処理を施
す。画面上部の遠景部分については従来法で位置合わせ
を行い、地面部分については幾何変換により、現実の地
面を上から見たような画像に変換し、変換後の画像を接
続した後に再び視点から見たように幾何変換を行う。こ
れにより地面部分の接合部において、整合性の高いパノ
ラマ合成を行う。
【０００６】すなわち本発明によれば、水平方向に連続
するよう撮像された複数枚の画像のそれぞれについて、
十分に遠方に存在する事物を含む遠景部分と、前記遠景
部分の手前の比較的平坦な前方部分とを判別するステッ
プと、前記遠景部分が有する映像情報のみを参照して、
隣接した前記遠景部分間の重なりの位置を合わせて接合
するステップと、前記前方部分が有する映像情報のみを
参照して、隣接した前記前方部分間の重なりの位置を合
わせて接合するステップとを、有するパノラマ画像作成
方法が提供される。
するよう撮像された複数枚の画像のそれぞれについて、
十分に遠方に存在する事物を含む遠景部分と、前記遠景
部分の手前の比較的平坦な前方部分とを判別するステッ
プと、前記遠景部分が有する映像情報のみを参照して、
隣接した前記遠景部分間の重なりの位置を合わせて接合
するステップと、前記前方部分が有する映像情報のみを
参照して、隣接した前記前方部分間の重なりの位置を合
わせて接合するステップとを、有するパノラマ画像作成
方法が提供される。
【０００７】また本発明によれば、水平方向に連続する
よう撮像された複数枚の画像のそれぞれについて、十分
に遠方に存在する事物を含む遠景部分と、前記遠景部分
の手前の比較的平坦な前方部分とを判別するステップ
と、前記画像に対して垂直かつ前記遠景部分と前記地面
部分の交線を含む面に前記前方部分を投影するステップ
と、前記面に投影された前方部分の画像を前記撮像画像
内の前方部分と入れ替えるステップと、隣接した前記画
像間の重なりの位置を合わせて接合するステップと、前
記接合された前方部分に関して、前記投影の逆変換を行
うステップとを、有するパノラマ画像作成方法が提供さ
れる。
よう撮像された複数枚の画像のそれぞれについて、十分
に遠方に存在する事物を含む遠景部分と、前記遠景部分
の手前の比較的平坦な前方部分とを判別するステップ
と、前記画像に対して垂直かつ前記遠景部分と前記地面
部分の交線を含む面に前記前方部分を投影するステップ
と、前記面に投影された前方部分の画像を前記撮像画像
内の前方部分と入れ替えるステップと、隣接した前記画
像間の重なりの位置を合わせて接合するステップと、前
記接合された前方部分に関して、前記投影の逆変換を行
うステップとを、有するパノラマ画像作成方法が提供さ
れる。
【０００８】
【発明の実施の形態】以下、図面を参照して本発明のパ
ノラマ画像作成方法に係る実施例を説明する。図２は遠
景と地面の表現の模式図である。山の風景など十分に遠
方に存在する事物を遠景平面１０で表し、比較的平坦な
地面もしくは水面などから構成されるような地面を撮像
者方向に向かう複数の平行線を有する地面１２で表して
いる。図２中の位置Ｂ、位置Ｃはパノラマ画像作成の基
となる画像を撮像するためのカメラ位置である。また、
位置Ａは位置Ｂと位置Ｃの中間の位置に当たる。
ノラマ画像作成方法に係る実施例を説明する。図２は遠
景と地面の表現の模式図である。山の風景など十分に遠
方に存在する事物を遠景平面１０で表し、比較的平坦な
地面もしくは水面などから構成されるような地面を撮像
者方向に向かう複数の平行線を有する地面１２で表して
いる。図２中の位置Ｂ、位置Ｃはパノラマ画像作成の基
となる画像を撮像するためのカメラ位置である。また、
位置Ａは位置Ｂと位置Ｃの中間の位置に当たる。
【０００９】図７は、図２中の位置Ａから遠景平面に垂
直に視線を向けたときに見える理想的なパノラマ風景で
ある。また図３は、図２中の位置Ｂから地面のラインと
平行かつ地面と水平に撮像方向を定めて、やや水平画角
の小さなカメラで風景を撮像したときの画像である。ま
た図４は、図２中の位置Ｃから地面のラインと平行かつ
地面と水平に撮像方向を定めて、やや水平画角の小さな
カメラで風景を撮像した画像である。図３及び図４は位
置Ｂ及び位置Ｃから図２中の遠景部分１０に垂直な視線
で撮影されたものなので、図３及び図４の遠景画像は図
７と同じ範囲に関してカバーするものであり、地面部分
１２の平行線については、図３及び図４も図７と同様、
下に行くほど均等に広がっていくパターンになっている
が、図７ほどその広がりは大きくない。
直に視線を向けたときに見える理想的なパノラマ風景で
ある。また図３は、図２中の位置Ｂから地面のラインと
平行かつ地面と水平に撮像方向を定めて、やや水平画角
の小さなカメラで風景を撮像したときの画像である。ま
た図４は、図２中の位置Ｃから地面のラインと平行かつ
地面と水平に撮像方向を定めて、やや水平画角の小さな
カメラで風景を撮像した画像である。図３及び図４は位
置Ｂ及び位置Ｃから図２中の遠景部分１０に垂直な視線
で撮影されたものなので、図３及び図４の遠景画像は図
７と同じ範囲に関してカバーするものであり、地面部分
１２の平行線については、図３及び図４も図７と同様、
下に行くほど均等に広がっていくパターンになっている
が、図７ほどその広がりは大きくない。
【００１０】図１は本発明のパノラマ画像作成方法に係
る２枚の画像からパノラマ画像を作成する実施例のフロ
ーチャートである。このフローチャートに従って本発明
のパノラマ画像作成方法を説明する。図３及び図４に示
された２枚の画像から図２のようなパノラマ画像を作成
する場合、まずステップＳ１において２枚の画像内の遠
景部分と地面部分をそれぞれ判別する。ステップＳ１
は、この後に続くステップにおいて、地面部分に対して
遠景部分とは別の変換を行うための準備段階である。ス
テップＳ２において、遠景画像に関して、相対的なアフ
ィンパラメータを求め、２枚の画像間で回転、サイズの
統一を行う。また、平行移動成分を計算しておく。ステ
ップＳ３において、画像内の地面部分を変換処理しパノ
ラマ合成に適した画像を作成する。ステップＳ４におい
て、２枚の画像を接合し、ステップＳ２で求めておいた
平行移動成分に基づいて位置合わせを行い、画像を整合
する。そしてステップＳ５において、地面部分について
のみステップＳ３で行った変換の逆変換を行う。このよ
うにして図７に示すようなパノラマ画像を得る。
る２枚の画像からパノラマ画像を作成する実施例のフロ
ーチャートである。このフローチャートに従って本発明
のパノラマ画像作成方法を説明する。図３及び図４に示
された２枚の画像から図２のようなパノラマ画像を作成
する場合、まずステップＳ１において２枚の画像内の遠
景部分と地面部分をそれぞれ判別する。ステップＳ１
は、この後に続くステップにおいて、地面部分に対して
遠景部分とは別の変換を行うための準備段階である。ス
テップＳ２において、遠景画像に関して、相対的なアフ
ィンパラメータを求め、２枚の画像間で回転、サイズの
統一を行う。また、平行移動成分を計算しておく。ステ
ップＳ３において、画像内の地面部分を変換処理しパノ
ラマ合成に適した画像を作成する。ステップＳ４におい
て、２枚の画像を接合し、ステップＳ２で求めておいた
平行移動成分に基づいて位置合わせを行い、画像を整合
する。そしてステップＳ５において、地面部分について
のみステップＳ３で行った変換の逆変換を行う。このよ
うにして図７に示すようなパノラマ画像を得る。
【００１１】次に、ステップＳ３においての地面部分の
変換方法を説明する。図８は、図２中の位置Ｂ上高さＭ
の地点に設置されたカメラの撮像方向が水平なときの図
２の断面を示した模式的な説明図である。図８におい
て、地面部分は線分（Ｅ−Ｅ´）、遠景部分は線分（Ｄ
−Ｅ´）で表されている。またカメラの垂直画角をθ
ｖ、視距離をＬ、原画像の縦方向の長さをＨとする。
変換方法を説明する。図８は、図２中の位置Ｂ上高さＭ
の地点に設置されたカメラの撮像方向が水平なときの図
２の断面を示した模式的な説明図である。図８におい
て、地面部分は線分（Ｅ−Ｅ´）、遠景部分は線分（Ｄ
−Ｅ´）で表されている。またカメラの垂直画角をθ
ｖ、視距離をＬ、原画像の縦方向の長さをＨとする。
【００１２】図２の地面部分を原風景の垂直平面に投影
したものが、図８で示すように地下に潜った形で表され
た垂直面内地面部分１４（Ｆ−Ｅ´）である。位置Ｂ上
高さＭにある視点から垂直面内地面部分１４（Ｅ−Ｅ
´）を眺めたときには、地面部分１２（Ｅ−Ｅ´）は遠
景部分１０と同じ面内に投影されているように見える。
すなわち、垂直面内地面部分１４（Ｆ−Ｅ´）上の点と
地面部分１２（Ｅ−Ｅ´）上の点は１対１の関係にあ
り、位置Ｂ上高さＭにある視点と垂直面内地面部分１４
（Ｆ−Ｅ´）上の１点Ｊとを結ぶ直線が地面部分１２
（Ｅ−Ｅ´）と交わる点をＧと置くことができる。撮像
画像は２次元平面であり、本来撮像者に向かってくるよ
うな水平面である地面部分も、このような垂直平面とし
て撮像される。
したものが、図８で示すように地下に潜った形で表され
た垂直面内地面部分１４（Ｆ−Ｅ´）である。位置Ｂ上
高さＭにある視点から垂直面内地面部分１４（Ｅ−Ｅ
´）を眺めたときには、地面部分１２（Ｅ−Ｅ´）は遠
景部分１０と同じ面内に投影されているように見える。
すなわち、垂直面内地面部分１４（Ｆ−Ｅ´）上の点と
地面部分１２（Ｅ−Ｅ´）上の点は１対１の関係にあ
り、位置Ｂ上高さＭにある視点と垂直面内地面部分１４
（Ｆ−Ｅ´）上の１点Ｊとを結ぶ直線が地面部分１２
（Ｅ−Ｅ´）と交わる点をＧと置くことができる。撮像
画像は２次元平面であり、本来撮像者に向かってくるよ
うな水平面である地面部分も、このような垂直平面とし
て撮像される。
【００１３】図９は図８の地面部分の水平面を俯瞰した
模式図である。図８中の点Ｇの存在する領域が図９中の
黒塗り部分で示されている。これは図８中の原画像の地
面部分を上から見た画像を作成することに相当する。図
９中の黒塗り部分は、地面部分と遠景部分との境界から
撮像者方向への距離ｙ´に応じて、幅が（Ｌ−ｙ´）・
Ｈ／Ｌの長さで短くなる台形となる。以上のように、原
画像地面部分と台形の地面画像の対応が計算される。こ
の台形画像を元の地面部分に再投影する。このとき、こ
の再投影は黒塗り部分の多視点的な投影であり、例えば
図１０のように台形の地面画像１６の形がそのまま残る
ように投影する。地面部分を一度水平面に投影し、投影
により作られた台形領域を垂直面に再投影する方法によ
って、図３及び図４の地面部分の画像を、図１０及び図
１１のような台形の地面画像１６に入れ替える。これら
の地面部分の線は平行となっている。
模式図である。図８中の点Ｇの存在する領域が図９中の
黒塗り部分で示されている。これは図８中の原画像の地
面部分を上から見た画像を作成することに相当する。図
９中の黒塗り部分は、地面部分と遠景部分との境界から
撮像者方向への距離ｙ´に応じて、幅が（Ｌ−ｙ´）・
Ｈ／Ｌの長さで短くなる台形となる。以上のように、原
画像地面部分と台形の地面画像の対応が計算される。こ
の台形画像を元の地面部分に再投影する。このとき、こ
の再投影は黒塗り部分の多視点的な投影であり、例えば
図１０のように台形の地面画像１６の形がそのまま残る
ように投影する。地面部分を一度水平面に投影し、投影
により作られた台形領域を垂直面に再投影する方法によ
って、図３及び図４の地面部分の画像を、図１０及び図
１１のような台形の地面画像１６に入れ替える。これら
の地面部分の線は平行となっている。
【００１４】上記の投影及び地面部分の画像の入れ替え
を、撮像された画像上に座標系を設定することにより数
式で表現することもできる。図３において、ｖは撮像画
像の縦方向の長さ、ｈは撮像画像の横方向の長さ、図８
中のＭに対応したパラメータｍは撮像画像を地面部分の
上辺と上下に分ける水平方向の中心線との長さである。
さらに、図９中のＫに対応したパラメータをｋ、図９中
のＬに対応したパラメータをｌと置く。また撮像画像上
に、地面部分の上辺をｘ軸、上辺の中点から垂直方向に
ｙ軸となる座標系を定めると、地面部分を座標（ｘ，
ｙ）で表すことができる。この地面部分（ｘ，ｙ）を以
下の式によって変換する。この変換によって図１０に示
された台形の地面画像１６の座標（ｘ´，ｙ´）が得ら
れ、地面部分の線が平行である台形の画像が得られる。 ｘ´＝｛ｌ−（ｙ／ｐ）・ｋ｝・ｘ／ｌ ｙ´＝ ｙ ただし、 ｐ ＝（ｖ／２）−ｍ、０≦ｙ≦Ｐ ｋ＝ｐ／tan（θｖ／２）｝ 図８中のＬに対応したパラメータ：ｌ ｌ ＝（ｖ／２）・｛１／tan（θｖ／２）｝
を、撮像された画像上に座標系を設定することにより数
式で表現することもできる。図３において、ｖは撮像画
像の縦方向の長さ、ｈは撮像画像の横方向の長さ、図８
中のＭに対応したパラメータｍは撮像画像を地面部分の
上辺と上下に分ける水平方向の中心線との長さである。
さらに、図９中のＫに対応したパラメータをｋ、図９中
のＬに対応したパラメータをｌと置く。また撮像画像上
に、地面部分の上辺をｘ軸、上辺の中点から垂直方向に
ｙ軸となる座標系を定めると、地面部分を座標（ｘ，
ｙ）で表すことができる。この地面部分（ｘ，ｙ）を以
下の式によって変換する。この変換によって図１０に示
された台形の地面画像１６の座標（ｘ´，ｙ´）が得ら
れ、地面部分の線が平行である台形の画像が得られる。 ｘ´＝｛ｌ−（ｙ／ｐ）・ｋ｝・ｘ／ｌ ｙ´＝ ｙ ただし、 ｐ ＝（ｖ／２）−ｍ、０≦ｙ≦Ｐ ｋ＝ｐ／tan（θｖ／２）｝ 図８中のＬに対応したパラメータ：ｌ ｌ ＝（ｖ／２）・｛１／tan（θｖ／２）｝
【００１５】ステップＳ２において、画面上部の遠景画
像についてあらかじめサイズの統合などをしておき、さ
らに平行移動成分を計算しておく。ステップＳ３におい
て、図３及び図４を図１０及び図１１のような地面部分
の線が平行である画像に変換した後、これら２枚の画像
をステップＳ４で接合する。このとき図１２に示すよう
に地面部分は平行な線を有する状態である。したがっ
て、このとき地面画像についても２つの画像間で整合が
とれており、前もって求めておいた遠景部分の平行移動
成分を基に位置合わせをしたとき、地面部分についても
うまく接続することができる。
像についてあらかじめサイズの統合などをしておき、さ
らに平行移動成分を計算しておく。ステップＳ３におい
て、図３及び図４を図１０及び図１１のような地面部分
の線が平行である画像に変換した後、これら２枚の画像
をステップＳ４で接合する。このとき図１２に示すよう
に地面部分は平行な線を有する状態である。したがっ
て、このとき地面画像についても２つの画像間で整合が
とれており、前もって求めておいた遠景部分の平行移動
成分を基に位置合わせをしたとき、地面部分についても
うまく接続することができる。
【００１６】さらにステップＳ５において、図１０及び
図１１の地面部分に関してのみ、位置合わせのために行
った変換の逆変換をして元の画像のスケールに戻す。つ
まり、ステップＳ５において、地面部分の幅を画像の横
幅に戻す作業を行う。逆変換とは、図３と同様に画像を
左右等間隔に分ける線分をｙ軸とし、台形をしている地
面部分を原画像地面部分に投影された投影画像であると
みなして、元の撮像画像上に再投影していくことであ
る。また、図１３に示すように地面部分の画像に関して
接合後の水平画角θｈを考慮して、例えば図１３中の太
線の内側のみを元の画像に逆変換にて戻すことにより、
すなわち、元に戻す範囲を選択することにより所望の水
平画角を有するパノラマ画像を得ることも可能である。
これにより図７で示す理想的なパノラマ画像の有する水
平画角を作り出すこともできる。以上の作業を水平方向
に連続するよう撮像された画像において、隣り合った画
像同士で接合することにより、複数枚の画像から成る１
枚のパノラマ画像を作成することが可能となる。
図１１の地面部分に関してのみ、位置合わせのために行
った変換の逆変換をして元の画像のスケールに戻す。つ
まり、ステップＳ５において、地面部分の幅を画像の横
幅に戻す作業を行う。逆変換とは、図３と同様に画像を
左右等間隔に分ける線分をｙ軸とし、台形をしている地
面部分を原画像地面部分に投影された投影画像であると
みなして、元の撮像画像上に再投影していくことであ
る。また、図１３に示すように地面部分の画像に関して
接合後の水平画角θｈを考慮して、例えば図１３中の太
線の内側のみを元の画像に逆変換にて戻すことにより、
すなわち、元に戻す範囲を選択することにより所望の水
平画角を有するパノラマ画像を得ることも可能である。
これにより図７で示す理想的なパノラマ画像の有する水
平画角を作り出すこともできる。以上の作業を水平方向
に連続するよう撮像された画像において、隣り合った画
像同士で接合することにより、複数枚の画像から成る１
枚のパノラマ画像を作成することが可能となる。
【００１７】上記の実施例においては、地面部分に対し
て変換を行った後、遠景部分と地面部分を接合し、遠景
部分の情報を基に画面を整合している。しかし、地面部
分と遠景部分を全く独立にして、２枚の画像の地面部分
を整合する作業と２枚の画像の遠景部分を整合する作業
を別々に行った後、地面部分と遠景部分を貼り合わせる
作業をすることによりパノラマ画像を作成することも可
能である。また、本発明のパノラマ画像作成方法に係る
ステップを、例えば画像加工を行う者が目で見ることに
より遠景部分と近景部分を選別するなど手動化すること
も可能であり、コンピュータにより自動化することも可
能である。また、パノラマ画像の基となる画像はデジタ
ルカメラで撮像された画像であることが望ましいが、例
えば感光材料などに記録された画像をデジタル画像へと
処理して作成した画像を用いることも本発明の好ましい
態様である。
て変換を行った後、遠景部分と地面部分を接合し、遠景
部分の情報を基に画面を整合している。しかし、地面部
分と遠景部分を全く独立にして、２枚の画像の地面部分
を整合する作業と２枚の画像の遠景部分を整合する作業
を別々に行った後、地面部分と遠景部分を貼り合わせる
作業をすることによりパノラマ画像を作成することも可
能である。また、本発明のパノラマ画像作成方法に係る
ステップを、例えば画像加工を行う者が目で見ることに
より遠景部分と近景部分を選別するなど手動化すること
も可能であり、コンピュータにより自動化することも可
能である。また、パノラマ画像の基となる画像はデジタ
ルカメラで撮像された画像であることが望ましいが、例
えば感光材料などに記録された画像をデジタル画像へと
処理して作成した画像を用いることも本発明の好ましい
態様である。
【００１８】
【発明の効果】以上説明したように本発明によれば、十
分に遠方に存在する事物と比較的平坦な地面もしくは水
面などから構成されるような風景を撮影した複数枚の画
像を接合して１枚のパノラマ画像を作成する場合、遠景
部分に行われるアフィン変換や平面投影変換による相関
計算に対して、接合部の整合性を保つように地面部分を
変換することにより、２枚の画像からパノラマ画像を作
成するときの接合の位置合わせの判定に画面上部の遠景
の事物の映像情報についてのみを参照することができ、
地面部分においてもアフィン変換や平面投影変換による
相関計算の適用が可能となる。
分に遠方に存在する事物と比較的平坦な地面もしくは水
面などから構成されるような風景を撮影した複数枚の画
像を接合して１枚のパノラマ画像を作成する場合、遠景
部分に行われるアフィン変換や平面投影変換による相関
計算に対して、接合部の整合性を保つように地面部分を
変換することにより、２枚の画像からパノラマ画像を作
成するときの接合の位置合わせの判定に画面上部の遠景
の事物の映像情報についてのみを参照することができ、
地面部分においてもアフィン変換や平面投影変換による
相関計算の適用が可能となる。
【００１９】さらに上記構成に加えて、接合前の各々の
変換について、地面・水面に相当する部分をあらかじめ
設定した視点を基準に、画像に対する垂直面で交線を遠
景事物と地面・水面の境界とする面に投影した画像を作
成し、投影後の地面部分を元来の地面部分と入れ替えた
画像についてパノラマ接合を行った後に、地面部分につ
いて前記の投影と逆の操作を行うことにより、接合部に
おける歪みや不整合を軽減する効果を奏する。
変換について、地面・水面に相当する部分をあらかじめ
設定した視点を基準に、画像に対する垂直面で交線を遠
景事物と地面・水面の境界とする面に投影した画像を作
成し、投影後の地面部分を元来の地面部分と入れ替えた
画像についてパノラマ接合を行った後に、地面部分につ
いて前記の投影と逆の操作を行うことにより、接合部に
おける歪みや不整合を軽減する効果を奏する。
【図１】本発明のパノラマ画像作成方法に係る２枚の画
像からパノラマ画像を作成する実施例のフローチャート
である。
像からパノラマ画像を作成する実施例のフローチャート
である。
【図２】遠景と地面の表現の模式図である。
【図３】図２中の位置Ｂから、風景を撮像したときの撮
像画像であり、地面部分の変換の説明に必要な座標系を
示す説明図である。
像画像であり、地面部分の変換の説明に必要な座標系を
示す説明図である。
【図４】図２中の位置Ｃから、風景を撮像した画像であ
る。
る。
【図５】地面部分の接合部において整合がとれていない
接合失敗例である。
接合失敗例である。
【図６】遠景部分の接合部において整合がとれていない
接合失敗例である。
接合失敗例である。
【図７】図２中の位置Ａから撮像される理想的なパノラ
マ画像である。
マ画像である。
【図８】図２中の位置Ｂ上高さＭの地点に設置されたカ
メラの撮像方向が水平なときの図２の断面を示した模式
的な説明図である。
メラの撮像方向が水平なときの図２の断面を示した模式
的な説明図である。
【図９】図８の地面部分の水平面を俯瞰した模式図であ
る。
る。
【図１０】図２中の位置Ｂ上高さＭの地点から撮像し
た、地面部分変換後の被接合画像である。
た、地面部分変換後の被接合画像である。
【図１１】図２中の位置Ｃ上高さＭの地点から撮像し
た、地面部分変換後の被接合画像である。
た、地面部分変換後の被接合画像である。
【図１２】図２中の位置Ｂ上高さＭの地点からの撮像画
像及び図２中の位置Ｃ上高さＭの地点からの撮像画像を
接合したパノラマ画像である。
像及び図２中の位置Ｃ上高さＭの地点からの撮像画像を
接合したパノラマ画像である。
【図１３】逆変換する前の水平画角に応じた地面部分の
調整を示す説明図である。
調整を示す説明図である。
１０ 遠景部分 １２ 地面部分 １４ 垂直面内地面部分 １６ 投影後の地面画像（台形の地面画像）
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 AA20 BA02 CC03 CD01 CD02 CD03 CD05 CE10 5C054 AA01 FC15 FD02 HA00 5C076 AA01 AA19 AA24 BA06 CB05
Claims (2)
- 【請求項１】 水平方向に連続するよう撮像された複数
枚の画像のそれぞれについて、十分に遠方に存在する事
物を含む遠景部分と、前記遠景部分の手前の比較的平坦
な前方部分とを判別するステップと、 前記遠景部分が有する映像情報のみを参照して、隣接し
た前記遠景部分間の重なりの位置を合わせて接合するス
テップと、 前記前方部分が有する映像情報のみを参照して、隣接し
た前記前方部分間の重なりの位置を合わせて接合するス
テップとを、 有するパノラマ画像作成方法。 - 【請求項２】 水平方向に連続するよう撮像された複数
枚の画像のそれぞれについて、十分に遠方に存在する事
物を含む遠景部分と、前記遠景部分の手前の比較的平坦
な前方部分とを判別するステップと、 前記画像に対して垂直かつ前記遠景部分と前記地面部分
の交線を含む面に前記前方部分を投影するステップと、 前記面に投影された前方部分の画像を前記撮像画像内の
前方部分と入れ替えるステップと、 隣接した前記画像間の重なりの位置を合わせて接合する
ステップと、 前記接合された前方部分に関して、前記投影の逆変換を
行うステップとを、 有するパノラマ画像作成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11930299A JP4129938B2 (ja) | 1999-04-27 | 1999-04-27 | パノラマ画像作成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11930299A JP4129938B2 (ja) | 1999-04-27 | 1999-04-27 | パノラマ画像作成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000312287A true JP2000312287A (ja) | 2000-11-07 |
| JP4129938B2 JP4129938B2 (ja) | 2008-08-06 |
Family
ID=14758067
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11930299A Expired - Lifetime JP4129938B2 (ja) | 1999-04-27 | 1999-04-27 | パノラマ画像作成方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4129938B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011193062A (ja) * | 2010-03-11 | 2011-09-29 | Fujifilm Corp | パノラマ画像撮像装置及びパノラマ画像合成方法 |
| JP2019159840A (ja) * | 2018-03-13 | 2019-09-19 | 萩原電気ホールディングス株式会社 | 画像合成装置及び画像合成方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH064660A (ja) * | 1992-06-18 | 1994-01-14 | Matsushita Electric Ind Co Ltd | 画像合成装置 |
| JPH0993431A (ja) * | 1995-09-26 | 1997-04-04 | Canon Inc | パノラマ画像合成装置 |
| JPH1063876A (ja) * | 1996-08-22 | 1998-03-06 | Mitsubishi Electric Corp | 画像合成装置 |
-
1999
- 1999-04-27 JP JP11930299A patent/JP4129938B2/ja not_active Expired - Lifetime
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH064660A (ja) * | 1992-06-18 | 1994-01-14 | Matsushita Electric Ind Co Ltd | 画像合成装置 |
| JPH0993431A (ja) * | 1995-09-26 | 1997-04-04 | Canon Inc | パノラマ画像合成装置 |
| JPH1063876A (ja) * | 1996-08-22 | 1998-03-06 | Mitsubishi Electric Corp | 画像合成装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011193062A (ja) * | 2010-03-11 | 2011-09-29 | Fujifilm Corp | パノラマ画像撮像装置及びパノラマ画像合成方法 |
| JP2019159840A (ja) * | 2018-03-13 | 2019-09-19 | 萩原電気ホールディングス株式会社 | 画像合成装置及び画像合成方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4129938B2 (ja) | 2008-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105447850B (zh) | 一种基于多视点图像的全景图拼接合成方法 | |
| US6788333B1 (en) | Panoramic video | |
| US9576403B2 (en) | Method and apparatus for fusion of images | |
| US6411742B1 (en) | Merging images to form a panoramic image | |
| JP5842886B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび撮像システム | |
| CN110782394A (zh) | 全景视频快速拼接方法及系统 | |
| US8491128B2 (en) | System and method for projection correction by capturing projection image | |
| US20080253685A1 (en) | Image and video stitching and viewing method and system | |
| US7224392B2 (en) | Electronic imaging system having a sensor for correcting perspective projection distortion | |
| CN106462944A (zh) | 将多个高分辨率图像映射到一个低分辨率360度图像上生成无重影的高分辨全景图 | |
| CN104104887A (zh) | 向图像施加边界的方法和设备 | |
| JP2004506285A (ja) | 高速デジタルパンチルトズームビデオ | |
| CN105308503A (zh) | 利用短程相机校准显示系统的系统和方法 | |
| CN105144687A (zh) | 图像处理装置、图像处理方法及程序 | |
| JP3817302B2 (ja) | 画像生成装置 | |
| CN101431617A (zh) | 用于合并视频以实时显示的方法和系统 | |
| CN117853329A (zh) | 一种基于轨道摄像机多视角融合的图像拼接方法及系统 | |
| CN113112404B (zh) | 一种基于滑动窗口的图像拼接方法及装置 | |
| TWI615808B (zh) | 全景即時影像處理方法 | |
| CN110544203A (zh) | 一种运动最小二乘法与线约束相结合的视差图像拼接方法 | |
| JP2017050857A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| KR102138333B1 (ko) | 파노라마 영상 생성 장치 및 방법 | |
| JP2003115057A (ja) | テクスチャ編集装置、テクスチャ編集システムおよび方法 | |
| JP4148817B2 (ja) | パノラマ画像撮影装置及びパノラマ画像撮影方法 | |
| CN111200686A (zh) | 拍摄图像合成方法、终端和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040513 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040517 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20040930 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040930 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060412 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20060412 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080208 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080401 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080422 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080516 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110530 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120530 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120530 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120530 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120530 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130530 Year of fee payment: 5 |
|
| EXPY | Cancellation because of completion of term |