JP2000307949A - 画像の補間方法、画像処理方法、画像表示方法、画像処理装置、画像表示装置、及びコンピュータプログラム記憶媒体 - Google Patents
画像の補間方法、画像処理方法、画像表示方法、画像処理装置、画像表示装置、及びコンピュータプログラム記憶媒体Info
- Publication number
- JP2000307949A JP2000307949A JP11202300A JP20230099A JP2000307949A JP 2000307949 A JP2000307949 A JP 2000307949A JP 11202300 A JP11202300 A JP 11202300A JP 20230099 A JP20230099 A JP 20230099A JP 2000307949 A JP2000307949 A JP 2000307949A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- viewpoint position
- interpolation
- morphing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—Three-dimensional [3D] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
- A63F2300/6661—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
- A63F2300/6661—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera
- A63F2300/6676—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera by dedicated player input
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
- A63F2300/695—Imported photos, e.g. of the player
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/44—Morphing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 広い移動範囲でも、制約が無くて補間画像を
生成する方法を提案するものである。 【解決手段】 ２つの実画像が包含関係にある場合に
は、両画像を光軸が一致するように回転し、回転後の両
画像に非線形の補間処理を施し、更に補間画像をユーザ
の視線方向に回転する。
生成する方法を提案するものである。 【解決手段】 ２つの実画像が包含関係にある場合に
は、両画像を光軸が一致するように回転し、回転後の両
画像に非線形の補間処理を施し、更に補間画像をユーザ
の視線方向に回転する。
Description
【０００１】
【発明の属する技術分野】本発明は、既存の画像からユ
ーザの視点位置での画像を補間して生成する、画像補間
方法、画像処理方法、画像表示方法、並びにこれらの装
置さらにはコンピュータプログラム記憶媒体に関する。
ーザの視点位置での画像を補間して生成する、画像補間
方法、画像処理方法、画像表示方法、並びにこれらの装
置さらにはコンピュータプログラム記憶媒体に関する。
【０００２】
【従来の技術】大規模な仮想環境を構築する場合、写実
性の点で、幾何モデルベースのＣＧ表現よりも実写画像
に基づく手法が有利である。実写画像は位置・姿勢セン
サを装備したカメラより複数位置において環境を撮影
し、得られた複数視点での実写画像から例えばモーフィ
ングの手法を用いて任意視点での仮想画像を生成するも
のである。換言すれば、モーフィングの手法を用いれ
ば、ユーザは、撮影を行った視点位置（以下の説明で
は、視点位置は視線方向も含むとする）を超えて任意の
視点位置において仮想空間を体験することが可能とな
る。
性の点で、幾何モデルベースのＣＧ表現よりも実写画像
に基づく手法が有利である。実写画像は位置・姿勢セン
サを装備したカメラより複数位置において環境を撮影
し、得られた複数視点での実写画像から例えばモーフィ
ングの手法を用いて任意視点での仮想画像を生成するも
のである。換言すれば、モーフィングの手法を用いれ
ば、ユーザは、撮影を行った視点位置（以下の説明で
は、視点位置は視線方向も含むとする）を超えて任意の
視点位置において仮想空間を体験することが可能とな
る。
【０００３】モーフィングは、まず、２つの原画像（例
えば画像Ａと画像Ｂ）中の同一対象の写っている領域を
例えば矩形で対応づける、即ち、ユーザが同一領域であ
ると認識した２つの部分画像領域（例えば領域Ａ’と領
域Ｂ’）を対応領域とするわけである。そして、両領域
内部の形状と色とを線形補間することにより仮想画像Ｑ
を構成する。この仮想画像Ｑの生成には前述したように
線形補間が使われるが、この線形補間は、上記両画像
Ａ，Ｂを撮像したカメラの視点位置PCA，PCBにおけるカ
メラの光軸が基線（カメラ中心を結ぶ直線）に共に直交
していることが歪みの少ない補間画像を生成するために
有効であることが提案されている。
えば画像Ａと画像Ｂ）中の同一対象の写っている領域を
例えば矩形で対応づける、即ち、ユーザが同一領域であ
ると認識した２つの部分画像領域（例えば領域Ａ’と領
域Ｂ’）を対応領域とするわけである。そして、両領域
内部の形状と色とを線形補間することにより仮想画像Ｑ
を構成する。この仮想画像Ｑの生成には前述したように
線形補間が使われるが、この線形補間は、上記両画像
Ａ，Ｂを撮像したカメラの視点位置PCA，PCBにおけるカ
メラの光軸が基線（カメラ中心を結ぶ直線）に共に直交
していることが歪みの少ない補間画像を生成するために
有効であることが提案されている。
【０００４】S.M. SeitzとC.R. Dyerは、両視点位置
PCA，PCBにおける光軸が上記条件を満足しない場合に
も、歪みのない補間画像を生成する手法を、”View Mor
phing”,Proc. SIGGRAPH ’96, pp.21-30 (1996)におい
て提案している。その原理はおよそ以下のようである。
PCA，PCBにおける光軸が上記条件を満足しない場合に
も、歪みのない補間画像を生成する手法を、”View Mor
phing”,Proc. SIGGRAPH ’96, pp.21-30 (1996)におい
て提案している。その原理はおよそ以下のようである。
【０００５】第１図において、画像Ａは視点位置PCAに
おいて、画像Bは視点位置PCBにおいて得られたものとす
る。両視点位置におけるカメラの光軸方向は平行でな
く、また、両光軸は基線に直交していない。尚、第１図
において、座標x1とx2とは１つの対象点についての対応
点である。任意の視点位置Peにおける仮想画像Ｑを線形
補間により生成すると、歪みが発生するので、S.M. Sei
tzとC.R. Dyerは第２図に示すように、あたかも光軸が
回転させられて共に光軸が基線に直交した状態で撮像し
た画像であるかのように、両画像A,Bを回転し、回転後
の画像A’,B’に対して線形補間を施して仮想画像Q’を
得ると、その仮想画像は歪みがないというものである。
おいて、画像Bは視点位置PCBにおいて得られたものとす
る。両視点位置におけるカメラの光軸方向は平行でな
く、また、両光軸は基線に直交していない。尚、第１図
において、座標x1とx2とは１つの対象点についての対応
点である。任意の視点位置Peにおける仮想画像Ｑを線形
補間により生成すると、歪みが発生するので、S.M. Sei
tzとC.R. Dyerは第２図に示すように、あたかも光軸が
回転させられて共に光軸が基線に直交した状態で撮像し
た画像であるかのように、両画像A,Bを回転し、回転後
の画像A’,B’に対して線形補間を施して仮想画像Q’を
得ると、その仮想画像は歪みがないというものである。
【０００６】
【発明が解決しようとする課題】しかしながら、この先
行技術の手法には１つの大きな制約条件が課せられてお
り、この条件をはずれると補間そのものが成り立たない
という欠点があることを上記S.M. SeitzとC.R. Dyerは
指摘している。即ち、第３図に示すように、一方視点位
置におけるカメラの視野が他方の視点位置におけるカメ
ラの視野を含む場合には、光軸と基線とが垂直で光軸同
士が平行になるように画像を回転すると、回転後の両画
像には対応点が存在せず、従って、線形補間によっては
歪みのない画像を生成することはできなくなることが指
摘されている。
行技術の手法には１つの大きな制約条件が課せられてお
り、この条件をはずれると補間そのものが成り立たない
という欠点があることを上記S.M. SeitzとC.R. Dyerは
指摘している。即ち、第３図に示すように、一方視点位
置におけるカメラの視野が他方の視点位置におけるカメ
ラの視野を含む場合には、光軸と基線とが垂直で光軸同
士が平行になるように画像を回転すると、回転後の両画
像には対応点が存在せず、従って、線形補間によっては
歪みのない画像を生成することはできなくなることが指
摘されている。
【０００７】
【課題を解決するための手段】本発明は、上記制約を払
拭して任意の視点位置でも仮想画像を補間により生成す
ることのできる画像の補間方法を提案することを目的と
する。
拭して任意の視点位置でも仮想画像を補間により生成す
ることのできる画像の補間方法を提案することを目的と
する。
【０００８】上記課題を達成するための、本発明の請求
項１にかかる方法は、第１の視点位置と第２の視点位置
において夫々得られた第１と第２の画像に基づいて、前
記２つの視点位置と異なるユーザ視点位置における補間
画像を生成する方法であって、前記第１の画像と第２の
画像を，それらを夫々撮影したカメラの光軸が、前記第
１の視点位置と前記第２の視点位置との間を結ぶ基線方
向に略一致する第１の方向となるように、前記第１の視
点位置と第２の視点位置の夫々の周りに回転する第１の
回転工程と、所定の特徴点についての前記第１の画像中
の第１の対応点の座標と前記特徴点の前記第２の画像中
の第２の対応点の座標に非線形の比例配分を施すことに
より、前記ユーザ視点位置において前記第１の方向を視
線方向として有する補間画像の対応点の座標を演算する
第１の座標補間工程と、前記補間画像を前記第１の方向
から前記ユーザ視点位置における視線方向に回転し、回
転後の画像を補間画像として出力する第２の回転工程と
を具備することを特徴とする。
項１にかかる方法は、第１の視点位置と第２の視点位置
において夫々得られた第１と第２の画像に基づいて、前
記２つの視点位置と異なるユーザ視点位置における補間
画像を生成する方法であって、前記第１の画像と第２の
画像を，それらを夫々撮影したカメラの光軸が、前記第
１の視点位置と前記第２の視点位置との間を結ぶ基線方
向に略一致する第１の方向となるように、前記第１の視
点位置と第２の視点位置の夫々の周りに回転する第１の
回転工程と、所定の特徴点についての前記第１の画像中
の第１の対応点の座標と前記特徴点の前記第２の画像中
の第２の対応点の座標に非線形の比例配分を施すことに
より、前記ユーザ視点位置において前記第１の方向を視
線方向として有する補間画像の対応点の座標を演算する
第１の座標補間工程と、前記補間画像を前記第１の方向
から前記ユーザ視点位置における視線方向に回転し、回
転後の画像を補間画像として出力する第２の回転工程と
を具備することを特徴とする。
【０００９】この補間方法によれば、２つの画像の光軸
を一致させることにより、非線形の比例配分が可能にな
って、ユーザ視点位置での補間画像を生成することが可
能になる。この補間画像は、ユーザの視線方向に合わせ
て回転させれば、まさに回転された画像は、ユーザの視
点位置の視線方向での補間された画像となる。
を一致させることにより、非線形の比例配分が可能にな
って、ユーザ視点位置での補間画像を生成することが可
能になる。この補間画像は、ユーザの視線方向に合わせ
て回転させれば、まさに回転された画像は、ユーザの視
点位置の視線方向での補間された画像となる。
【００１０】上記非線形の補間処理は、所定の関係を満
足する画像に対してのみ行うべきである。そこで、本発
明の好適な一態様である請求項２に拠れば、前記第１の
画像の視野が前記第２の画像のレンズ中心を含むか否
か、あるいは前記第２の画像の視野が前記第１の画像の
レンズ中心を含むか否かを判断する判断工程を更に具備
し、前記第１の回転工程は肯定と判断された場合に実行
される。
足する画像に対してのみ行うべきである。そこで、本発
明の好適な一態様である請求項２に拠れば、前記第１の
画像の視野が前記第２の画像のレンズ中心を含むか否
か、あるいは前記第２の画像の視野が前記第１の画像の
レンズ中心を含むか否かを判断する判断工程を更に具備
し、前記第１の回転工程は肯定と判断された場合に実行
される。
【００１１】本発明の好適な一態様である請求項３に拠
れば、前記第１の画像の視野が前記第２の画像のレンズ
中心を含むか否か、あるいは前記第２の画像の視野が前
記第１の画像のレンズ中心を含むか否かを判断する判断
工程と、前記判断工程での判断結果が否である場合に、
前記第１の回転工程を実行せずに、前記第１の画像と第
２の画像とを、それらの光軸を前記基線方向に夫々略直
交するように、前記第１の視点位置と第２の視点位置の
夫々の周りに回転する第３の回転工程と、前記第１の画
像の第１の対応点の座標と前記第２の画像の第２の対応
点の座標に線形の比例配分を施すことにより、前記ユー
ザ視点位置において前記基線方向に直交する第２の方向
を視線方向として有する補間画像の対応点の座標を演算
する第２の座標補間工程と、前記補間画像を前記第２の
方向から前記ユーザ視点位置における視線方向に回転
し、回転後の画像を補間画像として出力する第４の回転
工程とを具備することを特徴とする。
れば、前記第１の画像の視野が前記第２の画像のレンズ
中心を含むか否か、あるいは前記第２の画像の視野が前
記第１の画像のレンズ中心を含むか否かを判断する判断
工程と、前記判断工程での判断結果が否である場合に、
前記第１の回転工程を実行せずに、前記第１の画像と第
２の画像とを、それらの光軸を前記基線方向に夫々略直
交するように、前記第１の視点位置と第２の視点位置の
夫々の周りに回転する第３の回転工程と、前記第１の画
像の第１の対応点の座標と前記第２の画像の第２の対応
点の座標に線形の比例配分を施すことにより、前記ユー
ザ視点位置において前記基線方向に直交する第２の方向
を視線方向として有する補間画像の対応点の座標を演算
する第２の座標補間工程と、前記補間画像を前記第２の
方向から前記ユーザ視点位置における視線方向に回転
し、回転後の画像を補間画像として出力する第４の回転
工程とを具備することを特徴とする。
【００１２】本発明の好適な一態様である請求項４に拠
れば、前記ユーザ視点位置は、前記第１の視点位置と前
記第２の視点位置との間を、ｔ対１−ｔに内分する場合
に、前記第１の座標補間工程における前記非線形の比例
配分処理は、前記補間画像の座標の逆数値1/xeが、前記
第１の対応点座標の逆数値1/xAと前記第２の対応点の座
標の逆数値1/xBをｔ対１−ｔに内分することにより得ら
れるものであることを特徴とする。
れば、前記ユーザ視点位置は、前記第１の視点位置と前
記第２の視点位置との間を、ｔ対１−ｔに内分する場合
に、前記第１の座標補間工程における前記非線形の比例
配分処理は、前記補間画像の座標の逆数値1/xeが、前記
第１の対応点座標の逆数値1/xAと前記第２の対応点の座
標の逆数値1/xBをｔ対１−ｔに内分することにより得ら
れるものであることを特徴とする。
【００１３】本発明の好適な一態様である請求項５に拠
れば、前記ユーザ視点位置は、前記第１の視点位置と前
記第２の視点位置との間を、ｔ対１−ｔに内分する場合
に、前記第２の座標補間工程における前記線形の比例配
分処理は、前記補間画像の座標値xeが、前記第１の対応
点の座標値xAと前記第２の対応点の座標値xBをｔ対１−
ｔに内分することにより得られるものであることを特徴
とする。
れば、前記ユーザ視点位置は、前記第１の視点位置と前
記第２の視点位置との間を、ｔ対１−ｔに内分する場合
に、前記第２の座標補間工程における前記線形の比例配
分処理は、前記補間画像の座標値xeが、前記第１の対応
点の座標値xAと前記第２の対応点の座標値xBをｔ対１−
ｔに内分することにより得られるものであることを特徴
とする。
【００１４】上記非線形の補間処理は、所定の関係を満
足する画像に対してのみ行うべきである。そこで、本発
明の好適な一態様である請求項６に拠れば、前記第１の
画像と前記第２の画像とは少なくとも同じ対象物に由来
する対応点の画像データを有するか否かを判断する工程
を更に具備する。
足する画像に対してのみ行うべきである。そこで、本発
明の好適な一態様である請求項６に拠れば、前記第１の
画像と前記第２の画像とは少なくとも同じ対象物に由来
する対応点の画像データを有するか否かを判断する工程
を更に具備する。
【００１５】本発明の好適な一態様である請求項７に拠
れば、前記第１の画像と前記第２の画像とは少なくとも
同じ対象物に由来する対応点の画像データを有さないと
きには、画像データベースから、少なくとも対応点を有
する他の画像を探索する工程を更に具備する。これによ
り、連続的に画像補間が可能となる。本発明の好適な一
態様である請求項８に拠れば、前記第１と第２の視点位
置は、撮像時のカメラ視点位置とカメラの光軸方向によ
って規定され、前記ユーザ視点位置は、ユーザの視点位
置とユーザの視線方向によって規定される。
れば、前記第１の画像と前記第２の画像とは少なくとも
同じ対象物に由来する対応点の画像データを有さないと
きには、画像データベースから、少なくとも対応点を有
する他の画像を探索する工程を更に具備する。これによ
り、連続的に画像補間が可能となる。本発明の好適な一
態様である請求項８に拠れば、前記第１と第２の視点位
置は、撮像時のカメラ視点位置とカメラの光軸方向によ
って規定され、前記ユーザ視点位置は、ユーザの視点位
置とユーザの視線方向によって規定される。
【００１６】本発明の好適な一態様である請求項９に拠
れば、前記第２の回転工程または第４の回転工程から出
力される補間画像はパノラマ画像としてユーザに提示さ
れる。
れば、前記第２の回転工程または第４の回転工程から出
力される補間画像はパノラマ画像としてユーザに提示さ
れる。
【００１７】本発明のさらなる目的は、ユーザに広い範
囲で移動可能とするために、制限のない画像補間方法を
提供する。
囲で移動可能とするために、制限のない画像補間方法を
提供する。
【００１８】この課題を達成するために、請求項１０に
かかる補間方法は、第１の視点位置と第２の視点位置と
第３の視点位置において夫々得られた第１の画像と第２
の画像と第３の画像とに基づいて、前記３つの視点位置
と異なるユーザ視点位置における補間画像を生成する方
法であって、前記第１の画像乃至第３の画像のいずれか
２つが包含関係にあるか否かを判断する判断工程と、前
記ユーザ視点位置と前記第１の視点位置乃至第３の視点
位置との関係に基づいて、第１の内分比と第２の内分比
とを求める内分比演算工程と、包含関係にある視点位置
を有する任意の２つの画像に対して、非線形比例配分処
理を施すことにより、前記２つの視点位置間の内分点位
置において基線方向の視線方向を有する一時仮想画像を
補間生成する第１の座標補間工程と、包含関係にない視
点位置を有する任意の２つの画像に対して、線形比例配
分処理を施すことにより、前記２つの視点位置間の内分
点位置において基線方向に直交する方向の視線方向を有
する一時仮想画像を補間生成する第２の座標補間工程
と、前記第１の画像と第２の画像が包含関係にあるかな
いかに応じて、前記第１の画像と第２の画像に対して、
前記第１の内分比を用いて前記第１のモーフィング処理
又は第２のモーフィング処理のいずれか一方を施すこと
により、前記第１の内分比に対応する内分点位置におけ
る一時仮想画像を生成する第１画像補間工程と、前記一
時仮想画像と第３の画像が包含関係にあるかないかに応
じて、前記一時仮想画像と第３の画像に対して、前記第
２の内分比を用いて前記第１のモーフィング処理又は第
２のモーフィング処理のいずれか一方を施すことによ
り、前記第２の内分比に対応する前記ユーザ視点位置に
おける補間画像を生成する第２画像補間工程と、第２画
像補間工程において得られた前記補間画像を前記ユーザ
視点位置における視線方向に回転し、回転後の画像を補
間画像として出力する回転工程とを具備することを特徴
とする。
かかる補間方法は、第１の視点位置と第２の視点位置と
第３の視点位置において夫々得られた第１の画像と第２
の画像と第３の画像とに基づいて、前記３つの視点位置
と異なるユーザ視点位置における補間画像を生成する方
法であって、前記第１の画像乃至第３の画像のいずれか
２つが包含関係にあるか否かを判断する判断工程と、前
記ユーザ視点位置と前記第１の視点位置乃至第３の視点
位置との関係に基づいて、第１の内分比と第２の内分比
とを求める内分比演算工程と、包含関係にある視点位置
を有する任意の２つの画像に対して、非線形比例配分処
理を施すことにより、前記２つの視点位置間の内分点位
置において基線方向の視線方向を有する一時仮想画像を
補間生成する第１の座標補間工程と、包含関係にない視
点位置を有する任意の２つの画像に対して、線形比例配
分処理を施すことにより、前記２つの視点位置間の内分
点位置において基線方向に直交する方向の視線方向を有
する一時仮想画像を補間生成する第２の座標補間工程
と、前記第１の画像と第２の画像が包含関係にあるかな
いかに応じて、前記第１の画像と第２の画像に対して、
前記第１の内分比を用いて前記第１のモーフィング処理
又は第２のモーフィング処理のいずれか一方を施すこと
により、前記第１の内分比に対応する内分点位置におけ
る一時仮想画像を生成する第１画像補間工程と、前記一
時仮想画像と第３の画像が包含関係にあるかないかに応
じて、前記一時仮想画像と第３の画像に対して、前記第
２の内分比を用いて前記第１のモーフィング処理又は第
２のモーフィング処理のいずれか一方を施すことによ
り、前記第２の内分比に対応する前記ユーザ視点位置に
おける補間画像を生成する第２画像補間工程と、第２画
像補間工程において得られた前記補間画像を前記ユーザ
視点位置における視線方向に回転し、回転後の画像を補
間画像として出力する回転工程とを具備することを特徴
とする。
【００１９】この方法によれば、画像が包含関係にある
ときもないときにも画像補間を実現できる。
ときもないときにも画像補間を実現できる。
【００２０】本発明の好適な一態様である請求項１１に
拠れば、前記第１の座標補間工程においては、前記任意
の２つの画像を夫々の視点位置において、基線方向に前
記任意の２つの画像を回転して夫々の光軸を一致させる
工程を具備し、回転された２つの画像に対して前記補間
処理が施される。
拠れば、前記第１の座標補間工程においては、前記任意
の２つの画像を夫々の視点位置において、基線方向に前
記任意の２つの画像を回転して夫々の光軸を一致させる
工程を具備し、回転された２つの画像に対して前記補間
処理が施される。
【００２１】本発明の好適な一態様である請求項１２に
拠れば、前記第２の座標補間工程においては、前記任意
の２つの画像を夫々の視点位置において、基線方向に直
交する方向に前記任意の２つの画像を回転して前記任意
の２つの画像を平行にする工程を具備し、回転された２
つの画像に対して前記補間処理が施されることを特徴と
する。本発明の好適な一態様である請求項１３に拠れ
ば、前記判断工程は、一方の画像の視野が他方の画像の
レンズ中心を含むか否かを判断することを特徴とする。
拠れば、前記第２の座標補間工程においては、前記任意
の２つの画像を夫々の視点位置において、基線方向に直
交する方向に前記任意の２つの画像を回転して前記任意
の２つの画像を平行にする工程を具備し、回転された２
つの画像に対して前記補間処理が施されることを特徴と
する。本発明の好適な一態様である請求項１３に拠れ
ば、前記判断工程は、一方の画像の視野が他方の画像の
レンズ中心を含むか否かを判断することを特徴とする。
【００２２】本発明の好適な一態様である請求項１４に
拠れば、前記第１の視点位置と前記第２の視点位置との
間を前記第１の内分比に分割する一時仮想位置PTと、前
記第３の視点位置との間を前記第２の内分比に分割する
視点位置は前記ユーザ視点位置に一致することを特徴と
する。
拠れば、前記第１の視点位置と前記第２の視点位置との
間を前記第１の内分比に分割する一時仮想位置PTと、前
記第３の視点位置との間を前記第２の内分比に分割する
視点位置は前記ユーザ視点位置に一致することを特徴と
する。
【００２３】本発明の好適な一態様である請求項１５に
拠れば、前記第１の座標補間工程においては、前記一時
仮想画像の座標の逆数値1/xeが、前記２つの画像の一方
の第１の対応点の座標の逆数値1/xAと、他方の画像の第
２の対応点の座標の逆数値1/xBを前記第１の内分比に内
分することにより得られることを特徴とする。
拠れば、前記第１の座標補間工程においては、前記一時
仮想画像の座標の逆数値1/xeが、前記２つの画像の一方
の第１の対応点の座標の逆数値1/xAと、他方の画像の第
２の対応点の座標の逆数値1/xBを前記第１の内分比に内
分することにより得られることを特徴とする。
【００２４】本発明の好適な一態様である請求項１６に
拠れば、前記第２の座標補間工程においては、前記一時
仮想画像の座標値xeが、前記２つの画像の一方の第１の
対応点の座標値xAと、他方の画像の第２の対応点の座標
値xBを前記第２の内分比に内分することにより得られる
ことを特徴とする。
拠れば、前記第２の座標補間工程においては、前記一時
仮想画像の座標値xeが、前記２つの画像の一方の第１の
対応点の座標値xAと、他方の画像の第２の対応点の座標
値xBを前記第２の内分比に内分することにより得られる
ことを特徴とする。
【００２５】本発明の好適な一態様である請求項１８に
拠れば、前記第１の画像乃至第３の画像が少なくとも同
じ対象物に由来する対応点の画像データを有さないとき
には、画像データベースから、少なくとも対応点を有す
る他の画像を探索する工程を更に具備する。これによ
り、画像補間の可能性が更に広がる。
拠れば、前記第１の画像乃至第３の画像が少なくとも同
じ対象物に由来する対応点の画像データを有さないとき
には、画像データベースから、少なくとも対応点を有す
る他の画像を探索する工程を更に具備する。これによ
り、画像補間の可能性が更に広がる。
【００２６】本発明のさらなる目的は、画像補間に際し
て制限が無く、ユーザに二次元的に拡がりのある空間で
移動を許す画像補間のための画像処理装置を提供する。
て制限が無く、ユーザに二次元的に拡がりのある空間で
移動を許す画像補間のための画像処理装置を提供する。
【００２７】この目的のために、請求項２１に記載の画
像処理装置は、複数の画像を夫々の視点位置情報と共に
予め記憶する画像データベースと、ユーザの視線方向を
視点位置と共に検出する手段と、ユーザの視線方向の対
応点を含む第１乃至第３の画像を前記画像データベース
から探索する手段と、前記第１の画像乃至第３の画像の
いずれか２つが包含関係にあるか否かを判断する判断手
段と、前記ユーザ視点位置と前記第１の視点位置乃至第
３の視点位置との関係に基づいて、第１の内分比と第２
の内分比とを求める内分比演算手段と、包含関係にある
視点位置を有する任意の２つの画像に対して、非線形比
例配分処理を施すことにより、前記２つの視点位置間の
内分点位置において基線方向の視線方向を有する一時仮
想画像を補間生成する第１の座標補間手段と、包含関係
にない視点位置を有する任意の２つの画像に対して、線
形比例配分処理を施すことにより、前記２つの視点位置
間の内分点位置において基線方向に直交する方向の視線
方向を有する一時仮想画像を補間生成する第２の座標補
間手段と、前記第１の画像と第２の画像が包含関係にあ
るかないかに応じて、前記第１の画像と第２の画像に対
して、前記第１の内分比を用いて前記第１のモーフィン
グ処理又は第２のモーフィング処理のいずれか一方を施
すことにより、前記第１の内分比に対応する内分点位置
における一時仮想画像を生成する第１画像補間手段と、
前記一時仮想画像と第３の画像が包含関係にあるかない
かに応じて、前記一時仮想画像と第３の画像に対して、
前記第２の内分比を用いて前記第１のモーフィング処理
又は第２のモーフィング処理のいずれか一方を施すこと
により、前記第２の内分比に対応する前記ユーザ視点位
置における補間画像を生成する第２画像補間手段と、第
２画像補間手段において得られた前記補間画像を前記ユ
ーザ視点位置における視線方向に回転し、回転後の画像
を補間画像として出力する回転手段とを具備することを
特徴とする。
像処理装置は、複数の画像を夫々の視点位置情報と共に
予め記憶する画像データベースと、ユーザの視線方向を
視点位置と共に検出する手段と、ユーザの視線方向の対
応点を含む第１乃至第３の画像を前記画像データベース
から探索する手段と、前記第１の画像乃至第３の画像の
いずれか２つが包含関係にあるか否かを判断する判断手
段と、前記ユーザ視点位置と前記第１の視点位置乃至第
３の視点位置との関係に基づいて、第１の内分比と第２
の内分比とを求める内分比演算手段と、包含関係にある
視点位置を有する任意の２つの画像に対して、非線形比
例配分処理を施すことにより、前記２つの視点位置間の
内分点位置において基線方向の視線方向を有する一時仮
想画像を補間生成する第１の座標補間手段と、包含関係
にない視点位置を有する任意の２つの画像に対して、線
形比例配分処理を施すことにより、前記２つの視点位置
間の内分点位置において基線方向に直交する方向の視線
方向を有する一時仮想画像を補間生成する第２の座標補
間手段と、前記第１の画像と第２の画像が包含関係にあ
るかないかに応じて、前記第１の画像と第２の画像に対
して、前記第１の内分比を用いて前記第１のモーフィン
グ処理又は第２のモーフィング処理のいずれか一方を施
すことにより、前記第１の内分比に対応する内分点位置
における一時仮想画像を生成する第１画像補間手段と、
前記一時仮想画像と第３の画像が包含関係にあるかない
かに応じて、前記一時仮想画像と第３の画像に対して、
前記第２の内分比を用いて前記第１のモーフィング処理
又は第２のモーフィング処理のいずれか一方を施すこと
により、前記第２の内分比に対応する前記ユーザ視点位
置における補間画像を生成する第２画像補間手段と、第
２画像補間手段において得られた前記補間画像を前記ユ
ーザ視点位置における視線方向に回転し、回転後の画像
を補間画像として出力する回転手段とを具備することを
特徴とする。
【００２８】本発明の好適な一態様である請求項２２に
拠れば、前記第１の座標補間手段においては、前記任意
の２つの画像を夫々の視点位置において、基線方向に前
記任意の２つの画像を回転して夫々の光軸を一致させる
手段を具備し、回転された２つの画像に対して前記補間
処理が施されることを特徴とする。
拠れば、前記第１の座標補間手段においては、前記任意
の２つの画像を夫々の視点位置において、基線方向に前
記任意の２つの画像を回転して夫々の光軸を一致させる
手段を具備し、回転された２つの画像に対して前記補間
処理が施されることを特徴とする。
【００２９】本発明の好適な一態様である請求項２３に
拠れば、前記第２の座標補間手段においては、前記任意
の２つの画像を夫々の視点位置において、基線方向に直
交する方向に前記任意の２つの画像を回転して前記任意
の２つの画像を平行にする手段を具備し、回転された２
つの画像に対して前記補間処理が施されることを特徴と
する。
拠れば、前記第２の座標補間手段においては、前記任意
の２つの画像を夫々の視点位置において、基線方向に直
交する方向に前記任意の２つの画像を回転して前記任意
の２つの画像を平行にする手段を具備し、回転された２
つの画像に対して前記補間処理が施されることを特徴と
する。
【００３０】本発明の好適な一態様である請求項２９に
拠れば、前記第１の画像乃至第３の画像が少なくとも同
じ対象物に由来する対応点の画像データを有さないとき
には、画像データベースから、少なくとも対応点を有す
る他の画像を探索する手段を更に具備することを特徴と
する。
拠れば、前記第１の画像乃至第３の画像が少なくとも同
じ対象物に由来する対応点の画像データを有さないとき
には、画像データベースから、少なくとも対応点を有す
る他の画像を探索する手段を更に具備することを特徴と
する。
【００３１】ユーザの移動可能な範囲を広げるために、
本発明の好適な一態様である請求項３２に拠れば、前記
第１画像補間手段により生成された一時仮想画像をその
視点位置情報と共に前記画像データベースに記憶する手
段を更に具備することを特徴とする。
本発明の好適な一態様である請求項３２に拠れば、前記
第１画像補間手段により生成された一時仮想画像をその
視点位置情報と共に前記画像データベースに記憶する手
段を更に具備することを特徴とする。
【００３２】ユーザの移動可能な範囲を広げるために、
本発明の好適な一態様である請求項３３に拠れば、前記
第２画像補間手段により生成された一時仮想画像をその
視点位置情報と共に前記画像データベースに記憶する手
段を更に具備することを特徴とする。
本発明の好適な一態様である請求項３３に拠れば、前記
第２画像補間手段により生成された一時仮想画像をその
視点位置情報と共に前記画像データベースに記憶する手
段を更に具備することを特徴とする。
【００３３】本発明の他の目的は、モーフィング処理に
適した画像、特に凹凸を有する対象物体を撮像した画像
をモーフィングに適するように加工する画像処理装置を
提案するものである。
適した画像、特に凹凸を有する対象物体を撮像した画像
をモーフィングに適するように加工する画像処理装置を
提案するものである。
【００３４】上述の請求項１乃至請求項３４の補間処理
は、第１の視点位置と第２の視点位置（更には第３の視
点位置）の中間位置に若しくは内部の任意位置に、補間
のためのユーザ視点位置が設定される。従って、特に、
請求項１乃至請求項３４の補間処理に適した基となる画
像においては、撮像されている対象物体の相対的な前後
関係は、ユーザ視点位置が、前記第１の視点位置と第２
の視点位置（更には第３の視点位置）の任意の中間位置
に、若しくは内部の任意位置におかれても、変動ないこ
とが期待される。このことは、請求項１乃至請求項３４
の補間処理に適した元画像を前もって生成する必要があ
ることを意味する。
は、第１の視点位置と第２の視点位置（更には第３の視
点位置）の中間位置に若しくは内部の任意位置に、補間
のためのユーザ視点位置が設定される。従って、特に、
請求項１乃至請求項３４の補間処理に適した基となる画
像においては、撮像されている対象物体の相対的な前後
関係は、ユーザ視点位置が、前記第１の視点位置と第２
の視点位置（更には第３の視点位置）の任意の中間位置
に、若しくは内部の任意位置におかれても、変動ないこ
とが期待される。このことは、請求項１乃至請求項３４
の補間処理に適した元画像を前もって生成する必要があ
ることを意味する。
【００３５】而して、上記の目的のために、請求項３５
の、対象物体を第１と第２の視点位置において夫々撮像
した第１と第２の二次元画像を処理してモーフィング画
像を生成する画像処理装置は、前記第１の二次元画像を
前記第１の視点位置からの複数の奥行き距離の夫々に応
じて複数の第１の二次元部分画像に分割すると共に、前
記第２の二次元画像を前記第２の視点位置からの複数の
奥行き距離の夫々に応じて複数の第２の二次元部分画像
に分割する分割手段を具備することを特徴とする。
の、対象物体を第１と第２の視点位置において夫々撮像
した第１と第２の二次元画像を処理してモーフィング画
像を生成する画像処理装置は、前記第１の二次元画像を
前記第１の視点位置からの複数の奥行き距離の夫々に応
じて複数の第１の二次元部分画像に分割すると共に、前
記第２の二次元画像を前記第２の視点位置からの複数の
奥行き距離の夫々に応じて複数の第２の二次元部分画像
に分割する分割手段を具備することを特徴とする。
【００３６】奥行き距離に応じて分割され生成される複
数対の二次元部分画像において反映される対象物体間の
前後関係は、第１の視点位置と第２の視点位置位置の任
意の中間の視点位置において保存される。従って、この
ような二次元部分画像を将来モーフィング処理に供した
場合には前後関係が正しく反映されたモーフィングを保
証する。例えば、前後関係を有する２物体を視点位置を
移動しながら見れば、一方の物体の一部が他方の物体の
一部によって見えたり隠されたりしなければならない。
前後関係を考慮しないでその２物体の画像を基にしてモ
ーフィングを行うと、補間画像が、本来は見えない筈の
部分が見えてしまうように生成されたり、或いは、本来
見えるはずの部分が見えなくなってしまうように生成さ
れたりする。対象物体間の前後関係を考慮した分割によ
り生成された部分画像は、見えるはずの部分を見えるよ
うに、見えない部分を見えないように顕在化させること
ができる。見えるはずではあるが隠されている部分を顕
在化させることにより、その部分に対して、画像データ
の補充（レタッチ操作）を行うことができる。
数対の二次元部分画像において反映される対象物体間の
前後関係は、第１の視点位置と第２の視点位置位置の任
意の中間の視点位置において保存される。従って、この
ような二次元部分画像を将来モーフィング処理に供した
場合には前後関係が正しく反映されたモーフィングを保
証する。例えば、前後関係を有する２物体を視点位置を
移動しながら見れば、一方の物体の一部が他方の物体の
一部によって見えたり隠されたりしなければならない。
前後関係を考慮しないでその２物体の画像を基にしてモ
ーフィングを行うと、補間画像が、本来は見えない筈の
部分が見えてしまうように生成されたり、或いは、本来
見えるはずの部分が見えなくなってしまうように生成さ
れたりする。対象物体間の前後関係を考慮した分割によ
り生成された部分画像は、見えるはずの部分を見えるよ
うに、見えない部分を見えないように顕在化させること
ができる。見えるはずではあるが隠されている部分を顕
在化させることにより、その部分に対して、画像データ
の補充（レタッチ操作）を行うことができる。
【００３７】二次元画像はそもそも奥行き情報を有さな
い。このような二次元画像から、奥行き距離に応じた二
次元部分画像を分割生成する作業は、操作性が優れユー
ザフレンドリーである必要がある。そこで、本発明の好
適な一態様である請求項３６に拠れば、前記分割手段
は、前記第１と第２の二次元画像を表示する表示手段
と、ユーザに、表示された前記第１と第２の二次元画像
内の夫々の部分領域を、これらに奥行き距離に対応する
階層情報を付して、一対の二次元部分画像として指定す
る第１の指定手段とを具備する。
い。このような二次元画像から、奥行き距離に応じた二
次元部分画像を分割生成する作業は、操作性が優れユー
ザフレンドリーである必要がある。そこで、本発明の好
適な一態様である請求項３６に拠れば、前記分割手段
は、前記第１と第２の二次元画像を表示する表示手段
と、ユーザに、表示された前記第１と第２の二次元画像
内の夫々の部分領域を、これらに奥行き距離に対応する
階層情報を付して、一対の二次元部分画像として指定す
る第１の指定手段とを具備する。
【００３８】ユーザは、表示された画像を見ることによ
り、表示画面中の対象物体間の前後関係を判断し、部分
領域を間違いなく指定することができる。
り、表示画面中の対象物体間の前後関係を判断し、部分
領域を間違いなく指定することができる。
【００３９】任意の視点位置からのモーフィング処理を
行うと、隠れていた部分を視野に入れなければならない
場合が発生する。この場合に備えて、請求項３７の画像
処理装置では、前記第１の指定手段が、前記任意視点位
置に対してより近い方の階層に属する二次元部分画像に
よって、より遠い方の階層に属する二次元部分画像が隠
されている部分領域を前記表示手段上において指定する
第２の指定手段と、前記隠されている部分領域の画素値
をユーザにレタッチ処理可能にさせるレタッチ手段とを
具備する。
行うと、隠れていた部分を視野に入れなければならない
場合が発生する。この場合に備えて、請求項３７の画像
処理装置では、前記第１の指定手段が、前記任意視点位
置に対してより近い方の階層に属する二次元部分画像に
よって、より遠い方の階層に属する二次元部分画像が隠
されている部分領域を前記表示手段上において指定する
第２の指定手段と、前記隠されている部分領域の画素値
をユーザにレタッチ処理可能にさせるレタッチ手段とを
具備する。
【００４０】隠されている部分領域がモーフィング処理
の結果、視野に入るようになっても、その領域はレタッ
チ処理されているので問題はない。
の結果、視野に入るようになっても、その領域はレタッ
チ処理されているので問題はない。
【００４１】請求項３８によると、前記第１の指定手段
は、第１階層情報値を有する一対の二次元部分画像につ
いて、前記第１階層情報値以外の値の第２階層情報値を
有する１つまたは複数対の二次元部分画像の画素値を所
定の固定値に書き換える書き換え手段を具備することを
特徴とする。尚、請求項３９では、前記所定の固定値
は、例えば、黒を示す画素値である。
は、第１階層情報値を有する一対の二次元部分画像につ
いて、前記第１階層情報値以外の値の第２階層情報値を
有する１つまたは複数対の二次元部分画像の画素値を所
定の固定値に書き換える書き換え手段を具備することを
特徴とする。尚、請求項３９では、前記所定の固定値
は、例えば、黒を示す画素値である。
【００４２】部分画像には、近接した距離関係を有する
複数の物体の画像が含まれる場合がある。そこで、本発
明の好適な一態様である請求項４０に拠れば、前記分割
手段は、ある階層に対応する一対の第１と第２の二次元
部分画像において、複数の部分領域（オブジェクト）を
指定する第３の指定手段を具備する。
複数の物体の画像が含まれる場合がある。そこで、本発
明の好適な一態様である請求項４０に拠れば、前記分割
手段は、ある階層に対応する一対の第１と第２の二次元
部分画像において、複数の部分領域（オブジェクト）を
指定する第３の指定手段を具備する。
【００４３】尚、画像データの記憶には種々の形態が考
えられるが、本発明の好適な一態様である請求項４１に
拠れば、前記分割手段は、元の第１と第２の二次元画像
と、複数対の二次元部分画像と、階層情報とを併せて記
憶する。
えられるが、本発明の好適な一態様である請求項４１に
拠れば、前記分割手段は、元の第１と第２の二次元画像
と、複数対の二次元部分画像と、階層情報とを併せて記
憶する。
【００４４】請求項３５乃至請求項４１の画像処理装置
は、補間処理（モーフィング処理）に適した画像を生成
し記憶するためにある。従って、請求項３５乃至４１の
いずれかに記載の画像処理装置によって生成され記憶さ
れた複数対の二次元部分画像を読み出して、任意の視点
位置からの画像を生成するモーフィング処理を施すため
の画像表示装置が提供されることが好ましい。そこで、
請求項４２の画像表示装置は、各奥行き距離に対応する
一対の第１の二次元部分画像と第２の二次元部分画像と
に基づいて、任意の視点位置からの部分モーフィング画
像を生成する処理を、全ての奥行き距離に対応する二次
元部分画像の対に対して行う第１のモーフィング処理手
段と、前記第１のモーフィング処理手段により生成され
た各奥行き距離に対応する部分モーフィング画像を合成
し、合成画像を所定の表示装置に表示する表示手段とを
具備することを特徴とする。
は、補間処理（モーフィング処理）に適した画像を生成
し記憶するためにある。従って、請求項３５乃至４１の
いずれかに記載の画像処理装置によって生成され記憶さ
れた複数対の二次元部分画像を読み出して、任意の視点
位置からの画像を生成するモーフィング処理を施すため
の画像表示装置が提供されることが好ましい。そこで、
請求項４２の画像表示装置は、各奥行き距離に対応する
一対の第１の二次元部分画像と第２の二次元部分画像と
に基づいて、任意の視点位置からの部分モーフィング画
像を生成する処理を、全ての奥行き距離に対応する二次
元部分画像の対に対して行う第１のモーフィング処理手
段と、前記第１のモーフィング処理手段により生成され
た各奥行き距離に対応する部分モーフィング画像を合成
し、合成画像を所定の表示装置に表示する表示手段とを
具備することを特徴とする。
【００４５】本発明の好適な一態様である請求項４３に
拠れば、ウォークスルーアプリケーションに適用したこ
とを特徴とする。
拠れば、ウォークスルーアプリケーションに適用したこ
とを特徴とする。
【００４６】本発明の好適な一態様である請求項４４に
拠れば、前記任意の視点位置に関する情報を入力する入
力手段（例えばジョイスティック）を更に具備する。
拠れば、前記任意の視点位置に関する情報を入力する入
力手段（例えばジョイスティック）を更に具備する。
【００４７】本発明の好適な一態様である請求項４５に
拠れば、前記入力手段は、視点位置の値を仮想的に変更
することを特徴とする。
拠れば、前記入力手段は、視点位置の値を仮想的に変更
することを特徴とする。
【００４８】全ての画像が、奥行きを考慮したモーフィ
ングに適しているとは限らない。奥行きを考慮したモー
フィングは処理に時間がかかるからである。そこで、請
求項４６の画像表示装置は、前記第１と第２の二次元画
像に直接基づいてモーフィング画像を生成する第２のモ
ーフィング処理手段と、前記第１のモーフィング処理手
段と第２のモーフィング処理手段とを選択的に切り替え
る切換手段とを更に具備することを特徴とする。
ングに適しているとは限らない。奥行きを考慮したモー
フィングは処理に時間がかかるからである。そこで、請
求項４６の画像表示装置は、前記第１と第２の二次元画
像に直接基づいてモーフィング画像を生成する第２のモ
ーフィング処理手段と、前記第１のモーフィング処理手
段と第２のモーフィング処理手段とを選択的に切り替え
る切換手段とを更に具備することを特徴とする。
【００４９】請求項４７の画像表示装置は、切換の現実
的な手段を提供する。即ち、請求項４７の画像表示装置
は、前記任意の視点位置に関する情報を入力する入力手
段と、ウォークスルー仮想空間内の任意のウォークスル
ー経路について、そのウォークスルー経路にユーザの視
点位置が存在した場合に、前記第１のモーフィング処理
と第２のモーフィング処理のいずれを適用すべきかを前
もって決定しておき、その決定結果を表す情報を前記ウ
ォークスルー経路の位置と共に記憶するメモリとを具備
し、前記切換手段は、前記入力手段が入力した視点位置
の情報に対応する決定結果情報を前記メモリから取り出
し、この情報を基にして前記第１のモーフィング処理手
段と第２のモーフィング処理手段のいずれかを選択して
動作させることを特徴とする。
的な手段を提供する。即ち、請求項４７の画像表示装置
は、前記任意の視点位置に関する情報を入力する入力手
段と、ウォークスルー仮想空間内の任意のウォークスル
ー経路について、そのウォークスルー経路にユーザの視
点位置が存在した場合に、前記第１のモーフィング処理
と第２のモーフィング処理のいずれを適用すべきかを前
もって決定しておき、その決定結果を表す情報を前記ウ
ォークスルー経路の位置と共に記憶するメモリとを具備
し、前記切換手段は、前記入力手段が入力した視点位置
の情報に対応する決定結果情報を前記メモリから取り出
し、この情報を基にして前記第１のモーフィング処理手
段と第２のモーフィング処理手段のいずれかを選択して
動作させることを特徴とする。
【００５０】請求項４２の画像表示装置は、請求項２１
の画像処理装置と組み合わせると有効である。そこで、
請求項４２の表示装置は、前記第１のモーフィング処理
手段は、複数の画像を夫々の視点位置情報と共に前もっ
て記憶する画像データベースと、ユーザの視線方向を視
点位置と共に検出する手段と、ユーザの視線方向の対応
点を含む第１乃至第３の画像を前記画像データベースか
ら探索する手段と、前記第１の画像乃至第３の画像のい
ずれか２つが包含関係にあるか否かを判断する判断手段
と、前記ユーザ視点位置と前記第１の視点位置乃至第３
の視点位置との関係に基づいて、第１の内分比と第２の
内分比とを求める内分比演算手段と、包含関係にある視
点位置を有する任意の２つの画像に対して、非線形比例
配分処理を施すことにより、前記２つの視点位置間の内
分点位置において基線方向の視線方向を有する一時仮想
画像を補間生成する第１の座標補間手段と、包含関係に
ない視点位置を有する任意の２つの画像に対して、線形
比例配分処理を施すことにより、前記２つの視点位置間
の内分点位置において基線方向に直交する方向の視線方
向を有する一時仮想画像を補間生成する第２の座標補間
手段と、前記第１の画像と第２の画像が包含関係にある
かないかに応じて、前記第１の画像と第２の画像に対し
て、前記第１の内分比を用いて前記第１のモーフィング
処理又は第２のモーフィング処理のいずれか一方を施す
ことにより、前記第１の内分比に対応する内分点位置に
おける一時仮想画像を生成する第１画像補間手段と、前
記一時仮想画像と第３の画像が包含関係にあるかないか
に応じて、前記一時仮想画像と第３の画像に対して、前
記第２の内分比を用いて前記第１のモーフィング処理又
は第２のモーフィング処理のいずれか一方を施すことに
より、前記第２の内分比に対応する前記ユーザ視点位置
における補間画像を生成する第２画像補間手段と、第２
画像補間手段において得られた前記補間画像を前記ユー
ザ視点位置における視線方向に回転し、回転後の画像を
補間画像として出力する回転手段とを具備することを特
徴とする。
の画像処理装置と組み合わせると有効である。そこで、
請求項４２の表示装置は、前記第１のモーフィング処理
手段は、複数の画像を夫々の視点位置情報と共に前もっ
て記憶する画像データベースと、ユーザの視線方向を視
点位置と共に検出する手段と、ユーザの視線方向の対応
点を含む第１乃至第３の画像を前記画像データベースか
ら探索する手段と、前記第１の画像乃至第３の画像のい
ずれか２つが包含関係にあるか否かを判断する判断手段
と、前記ユーザ視点位置と前記第１の視点位置乃至第３
の視点位置との関係に基づいて、第１の内分比と第２の
内分比とを求める内分比演算手段と、包含関係にある視
点位置を有する任意の２つの画像に対して、非線形比例
配分処理を施すことにより、前記２つの視点位置間の内
分点位置において基線方向の視線方向を有する一時仮想
画像を補間生成する第１の座標補間手段と、包含関係に
ない視点位置を有する任意の２つの画像に対して、線形
比例配分処理を施すことにより、前記２つの視点位置間
の内分点位置において基線方向に直交する方向の視線方
向を有する一時仮想画像を補間生成する第２の座標補間
手段と、前記第１の画像と第２の画像が包含関係にある
かないかに応じて、前記第１の画像と第２の画像に対し
て、前記第１の内分比を用いて前記第１のモーフィング
処理又は第２のモーフィング処理のいずれか一方を施す
ことにより、前記第１の内分比に対応する内分点位置に
おける一時仮想画像を生成する第１画像補間手段と、前
記一時仮想画像と第３の画像が包含関係にあるかないか
に応じて、前記一時仮想画像と第３の画像に対して、前
記第２の内分比を用いて前記第１のモーフィング処理又
は第２のモーフィング処理のいずれか一方を施すことに
より、前記第２の内分比に対応する前記ユーザ視点位置
における補間画像を生成する第２画像補間手段と、第２
画像補間手段において得られた前記補間画像を前記ユー
ザ視点位置における視線方向に回転し、回転後の画像を
補間画像として出力する回転手段とを具備することを特
徴とする。
【００５１】
【発明の実施の形態】以下、添付図面を参照しながら、
本発明の実施形態を説明する。
本発明の実施形態を説明する。
【００５２】〈原理〉第４図は、一方のカメラ（視点位
置PCA）の視野が他方のカメラ（視点位置PCB）の視野を
含む場合を示している。この場合は従来の手法では線形
補間は不可能であった。そこで、第５図に示すように、
両カメラの光軸が略一致（同じ直線上に実質的に乗る）
ように、カメラ（即ち画像）を回転して、回転後の画像
A'とB'とを得、これらの画像から線形補間により仮想画
像Q’を得るものである。尚、本実施形態および実施例
ではの説明では、説明の便宜上、視点位置は、視点位置
のみならず視線方向も含むとする。
置PCA）の視野が他方のカメラ（視点位置PCB）の視野を
含む場合を示している。この場合は従来の手法では線形
補間は不可能であった。そこで、第５図に示すように、
両カメラの光軸が略一致（同じ直線上に実質的に乗る）
ように、カメラ（即ち画像）を回転して、回転後の画像
A'とB'とを得、これらの画像から線形補間により仮想画
像Q’を得るものである。尚、本実施形態および実施例
ではの説明では、説明の便宜上、視点位置は、視点位置
のみならず視線方向も含むとする。
【００５３】第６図以下を用いて更に実施形態の原理を
説明する。
説明する。
【００５４】今、第６図に示すように、２つのカメラ視
点PCAとPCBとにおける実画像RIA,RI Bが得られているも
のとする。基線に対し、カメラ視点PCAでの光軸は角度
αAだけずれ、カメラ視点PCBでの光軸は角度αBだけず
れているものとする。また、ユーザの視点位置Peが、第
６図に示すように、上記基線上において内分比t：(1-t)
で内分されている位置に載っていることを仮定する。
尚、この仮定は、後述するように、載っていない場合に
も一般化できる。
点PCAとPCBとにおける実画像RIA,RI Bが得られているも
のとする。基線に対し、カメラ視点PCAでの光軸は角度
αAだけずれ、カメラ視点PCBでの光軸は角度αBだけず
れているものとする。また、ユーザの視点位置Peが、第
６図に示すように、上記基線上において内分比t：(1-t)
で内分されている位置に載っていることを仮定する。
尚、この仮定は、後述するように、載っていない場合に
も一般化できる。
【００５５】第６図の例では、視点位置PCAにおける視
野は視点位置PCBにおける視野を含むもので、従来の手
法では、対応点を演算することができなかった。前述し
たように、本実施形態の手法は、第６図のような位置関
係を有する実画像を第７図のように、夫々の光軸が一致
するように、夫々の視点位置で回転して回転画像RI’A,
RI’Bを得るものである。
野は視点位置PCBにおける視野を含むもので、従来の手
法では、対応点を演算することができなかった。前述し
たように、本実施形態の手法は、第６図のような位置関
係を有する実画像を第７図のように、夫々の光軸が一致
するように、夫々の視点位置で回転して回転画像RI’A,
RI’Bを得るものである。
【００５６】回転画像RI’A,RI’Bは、第８図，第９図
に示された公知の手法により得ることができる。即ち、
第８図に示すように、回転前の画像の視野角をβ（同じ
カメラを用いればβA=βBである）とし、また、同カメ
ラの焦点距離をｆ、水平方向画素数をＷとする。一般的
に、基線から角度αA（またはαB）だけ離れているカメ
ラの光軸を基線に一致させることは画像RIA（またはR
IB）を角度αA（またはαB）だけ回転させ、回転画像R
I’A（またはRI’B）を得ることに等価である。この回
転により、原画像RIA（またはRIB）の任意の座標(xA,
yA)（または(xB,yB)）は角度αA（またはαB）だけ回転
させられて、次式に示された(x’A,y’A)（または
(x’B,y’B)）となる。
に示された公知の手法により得ることができる。即ち、
第８図に示すように、回転前の画像の視野角をβ（同じ
カメラを用いればβA=βBである）とし、また、同カメ
ラの焦点距離をｆ、水平方向画素数をＷとする。一般的
に、基線から角度αA（またはαB）だけ離れているカメ
ラの光軸を基線に一致させることは画像RIA（またはR
IB）を角度αA（またはαB）だけ回転させ、回転画像R
I’A（またはRI’B）を得ることに等価である。この回
転により、原画像RIA（またはRIB）の任意の座標(xA,
yA)（または(xB,yB)）は角度αA（またはαB）だけ回転
させられて、次式に示された(x’A,y’A)（または
(x’B,y’B)）となる。
【００５７】［EQ1A］
【００５８】［EQ2A］
【００５９】［EQ1B］
【００６０】［EQ2B］
【００６１】ここで、
【００６２】［EQ3A］
【００６３】［EQ3B］
【００６４】［EQ3C］
【００６５】本実施形態では、ユーザ視点位置での仮想
画像VIeは、上記回転後の光軸が一致された画像RI’A,R
I’Bに基づいて生成する。発明者達は、一般的に、例え
ば、第１０図の配置において、光軸I’A，I’Bが一致す
る２枚の画像RI’A,RI’Bに関して、同一対象物の、両
画像におけるある対応点の座標xA，xBとすると、任意の
視点位置P’eでの対応点の座標(xe, ye)は、
画像VIeは、上記回転後の光軸が一致された画像RI’A,R
I’Bに基づいて生成する。発明者達は、一般的に、例え
ば、第１０図の配置において、光軸I’A，I’Bが一致す
る２枚の画像RI’A,RI’Bに関して、同一対象物の、両
画像におけるある対応点の座標xA，xBとすると、任意の
視点位置P’eでの対応点の座標(xe, ye)は、
【００６６】［EQ4］
【００６７】［EQ5］
【００６８】と表される。即ち、２つの実画像RI’A,R
I’B上の２つの対応点座標と仮想画像VR上の１つの対応
点の間には上記EQ4, EQ5が成立することになる。換言す
れば、仮想画像をEQ4, EQ5のような非線形補間によって
生成することができる。上記のEQ4, EQ5は第１０図を参
照し以下の計算により得ることができる。尚、カメラの
座標系を(x, y)とし、グローバル座標系(X,Y,Z)とし、
Ｘ軸＝ｘ軸、Ｙ軸＝ｙ軸、更に、Ｚ軸＝光軸となるよう
に定め、更に、対象物のある一点のグローバル座標を(X
0,Y0,Z0)、カメラの焦点距離をｆとする。
I’B上の２つの対応点座標と仮想画像VR上の１つの対応
点の間には上記EQ4, EQ5が成立することになる。換言す
れば、仮想画像をEQ4, EQ5のような非線形補間によって
生成することができる。上記のEQ4, EQ5は第１０図を参
照し以下の計算により得ることができる。尚、カメラの
座標系を(x, y)とし、グローバル座標系(X,Y,Z)とし、
Ｘ軸＝ｘ軸、Ｙ軸＝ｙ軸、更に、Ｚ軸＝光軸となるよう
に定め、更に、対象物のある一点のグローバル座標を(X
0,Y0,Z0)、カメラの焦点距離をｆとする。
【００６９】上記３つの画像上の対応点は全て同じ光軸
上に載っていなければならないから、
上に載っていなければならないから、
【００７０】［EQ6A］
【００７１】［EQ6B］
【００７２】［EQ6C］
【００７３】が得られる。
【００７４】［EQ6D］
【００７５】に着目し、EQ6からｆを消去することによ
り、
り、
【００７６】［EQ7A］
【００７７】［EQ7B］
【００７８】を経て、上記EQ4, EQ5を得ることができ
る。尚、EQ7, EQ7B式は、本実施形態の「非線形の比例
配分処理」が、仮想画像の座標値xe（またはye）の逆数
（1/ xeまたは1/ye）が、実画像RIAの画像座標系におけ
る座標値xA（またはyA）の逆数（1/xAまたは1/yA）と、
実画像RIBの画像座標系における座標値xB（またはyB）
の逆数（1/xBまたは1/yB）とが、ｔ：１−ｔ
る。尚、EQ7, EQ7B式は、本実施形態の「非線形の比例
配分処理」が、仮想画像の座標値xe（またはye）の逆数
（1/ xeまたは1/ye）が、実画像RIAの画像座標系におけ
る座標値xA（またはyA）の逆数（1/xAまたは1/yA）と、
実画像RIBの画像座標系における座標値xB（またはyB）
の逆数（1/xBまたは1/yB）とが、ｔ：１−ｔ
【００７９】に比例配分されている。EQ4, EQ5の補間式
は、非線形ではあるものの、簡単な式で表されている。
この理由は、２つの光軸を一致させているからである。
尚、もし光軸を若干の誤差を許して一致させようにした
場合においてEQ1, EQ2の変換式を用いると、歪みは不一
致の度合に応じて増加するであろう。
は、非線形ではあるものの、簡単な式で表されている。
この理由は、２つの光軸を一致させているからである。
尚、もし光軸を若干の誤差を許して一致させようにした
場合においてEQ1, EQ2の変換式を用いると、歪みは不一
致の度合に応じて増加するであろう。
【００８０】EQ4, EQ5によって得られたユーザの視点位
置での補間画像は、ユーザが、点PC A,PCBを結ぶ基線の
方向を向いているときの仮想画像である。実際には、第
６図の例では、ユーザは基線に対して角度αeだけ回転
しているから、仮想画像VRを角度αeだけ回転させる必
要がある。角度αeだけ回転した仮想画像の画素の座標
を(xe,ye)とすると、
置での補間画像は、ユーザが、点PC A,PCBを結ぶ基線の
方向を向いているときの仮想画像である。実際には、第
６図の例では、ユーザは基線に対して角度αeだけ回転
しているから、仮想画像VRを角度αeだけ回転させる必
要がある。角度αeだけ回転した仮想画像の画素の座標
を(xe,ye)とすると、
【００８１】［EQ8］
【００８２】［EQ9］
【００８３】ここで、
【００８４】［EQ10A］
【００８５】［EQ10B］
【００８６】かくして、第６図のような配置関係にある
カメラからの若しくは視点位置での２つの実画像に基づ
いて、その視点位置を結ぶ基線上の任意の位置に視点を
有するユーザから見た補間画像を歪みを発生することな
く生成することができる。
カメラからの若しくは視点位置での２つの実画像に基づ
いて、その視点位置を結ぶ基線上の任意の位置に視点を
有するユーザから見た補間画像を歪みを発生することな
く生成することができる。
【００８７】
【第１実施例】上述の実施形態において説明した手法
は、第４図或いは第６図から明らかなように、仮想的な
ユーザ視点位置は、実画像のカメラ視点位置PCAとPCBと
を結ぶ線（即ち、基線）上にとっている、このことは、
ユーザの仮想空間を体験できる範囲は基線上に限られる
ことになる。
は、第４図或いは第６図から明らかなように、仮想的な
ユーザ視点位置は、実画像のカメラ視点位置PCAとPCBと
を結ぶ線（即ち、基線）上にとっている、このことは、
ユーザの仮想空間を体験できる範囲は基線上に限られる
ことになる。
【００８８】以下に提案する実施例の仮想画像の補間方
法は、仮想空間内の移動範囲を二次元的に拡張したもの
であり、そのために実画像を３枚用意する。即ち、３枚
の実画像から、その３枚の画像の視点位置が規定する所
定の仮想空間（二次元空間）での自由な移動をユーザに
可能にするものである。移動可能な空間を二次元的に拡
げるために、３枚の実画像の撮像位置は、第１２図或い
は第１３図に示すように、３角形を構成するように配置
する。
法は、仮想空間内の移動範囲を二次元的に拡張したもの
であり、そのために実画像を３枚用意する。即ち、３枚
の実画像から、その３枚の画像の視点位置が規定する所
定の仮想空間（二次元空間）での自由な移動をユーザに
可能にするものである。移動可能な空間を二次元的に拡
げるために、３枚の実画像の撮像位置は、第１２図或い
は第１３図に示すように、３角形を構成するように配置
する。
【００８９】この実施例の画像補間において重要なこと
は、撮像方向（カメラ視点位置）が知れた３つの実画像
が得られることである。第１２図の例では、２つのカメ
ラIとIIを用い、この２つのカメラを同時に同じ方向に
移動させながら、異なる撮像位置で複数の画像（実画
像）を取得する。第１３図の例では、３つの実画像を得
るために、３つのカメラI，II，IIIを用いて、同時に撮
像することにより、３つの実画像を得る。少なくとも、
これら３枚の実画像からある程度の広がりの中で移動可
能にして仮想空間を得ることができる。また、第１３図
の例で、３つのカメラを同時に移動すれば、次々と３枚
一組の画像を得ることができる。換言すれば、移動可能
な仮想空間は更に広がることになる。
は、撮像方向（カメラ視点位置）が知れた３つの実画像
が得られることである。第１２図の例では、２つのカメ
ラIとIIを用い、この２つのカメラを同時に同じ方向に
移動させながら、異なる撮像位置で複数の画像（実画
像）を取得する。第１３図の例では、３つの実画像を得
るために、３つのカメラI，II，IIIを用いて、同時に撮
像することにより、３つの実画像を得る。少なくとも、
これら３枚の実画像からある程度の広がりの中で移動可
能にして仮想空間を得ることができる。また、第１３図
の例で、３つのカメラを同時に移動すれば、次々と３枚
一組の画像を得ることができる。換言すれば、移動可能
な仮想空間は更に広がることになる。
【００９０】第１２図の例で、２つのカメラを配置する
ための条件は、カメラIとカメラIIとは共に対象物体を
視野に納めると共に、カメラIの視野がカメラIIの視野
に含まれるように配置する。この例では、カメラI（ま
たはカメラII）を移動すれば、カメラの光軸を回転させ
なければ、少なくとも、視点位置１と２（異なる時刻）
とでは、カメラIの光軸は同一方向を向く。後述するよ
うに、視点位置１と２で得られた２つの実画像は、それ
ら２つの視点位置での光軸が、一方は他方を含まないも
のとなるから、ひずみのない線形補間が可能である。
ための条件は、カメラIとカメラIIとは共に対象物体を
視野に納めると共に、カメラIの視野がカメラIIの視野
に含まれるように配置する。この例では、カメラI（ま
たはカメラII）を移動すれば、カメラの光軸を回転させ
なければ、少なくとも、視点位置１と２（異なる時刻）
とでは、カメラIの光軸は同一方向を向く。後述するよ
うに、視点位置１と２で得られた２つの実画像は、それ
ら２つの視点位置での光軸が、一方は他方を含まないも
のとなるから、ひずみのない線形補間が可能である。
【００９１】第１３図の例では、カメラIとカメラIIの
光軸の一方が他方を含まないものとなるように、これら
２つのカメラを配置する。
光軸の一方が他方を含まないものとなるように、これら
２つのカメラを配置する。
【００９２】第１２図の例及び第１３図の例で、カメラ
を移動すれば、多数の実画像が得ることができるのは上
述したとおりである。本実施例の画像補間は、第１３図
のような同時に撮影された画像だけを用いてのみ行われ
るものではない。少なくとも第１２図の例では、カメラ
Iにより異なる時点で撮像された２つの画像（と、カメ
ラIIにより撮像された１枚の画像）を用いて補間を行っ
ている。即ち、第１２図の例でも、第１３図の例でも、
所定の条件さえ満足した３枚の実画像であれば、その画
像が同一カメラで取得されたものでなくとも、或いは同
時に異なるカメラで取得されたものでなくとも、仮想画
像を補間することが可能となることは後述の説明から明
らかとなるであろう。
を移動すれば、多数の実画像が得ることができるのは上
述したとおりである。本実施例の画像補間は、第１３図
のような同時に撮影された画像だけを用いてのみ行われ
るものではない。少なくとも第１２図の例では、カメラ
Iにより異なる時点で撮像された２つの画像（と、カメ
ラIIにより撮像された１枚の画像）を用いて補間を行っ
ている。即ち、第１２図の例でも、第１３図の例でも、
所定の条件さえ満足した３枚の実画像であれば、その画
像が同一カメラで取得されたものでなくとも、或いは同
時に異なるカメラで取得されたものでなくとも、仮想画
像を補間することが可能となることは後述の説明から明
らかとなるであろう。
【００９３】本実施例の画像補間は、３つの実画像の視
点位置を考慮してユーザの視点位置Peを設定する。補間
画像を生成するに際して、３つの実画像の夫々の視点位
置に重み付けを行う。３つの実画像IA,IB,ICについて夫
々考慮すべき重み係数(wA,wB,wC)は、実画像IA,IB,ICが
３つの実視点位置(PCA,PCB,PCC)において、第１４図の
ように配置していれば、
点位置を考慮してユーザの視点位置Peを設定する。補間
画像を生成するに際して、３つの実画像の夫々の視点位
置に重み付けを行う。３つの実画像IA,IB,ICについて夫
々考慮すべき重み係数(wA,wB,wC)は、実画像IA,IB,ICが
３つの実視点位置(PCA,PCB,PCC)において、第１４図の
ように配置していれば、
【００９４】［EQ11］
【００９５】と表され、実画像IA,IB,ICが第１５図のよ
うに配置していれば、
うに配置していれば、
【００９６】［EQ12］
【００９７】と表され、実画像IA,IB,ICが第１６図のよ
うに配置していれば、
うに配置していれば、
【００９８】［EQ13A］
【００９９】となる。EQ11乃至EQ13のいずれかにより求
められた重み係数に基づいて、第１４図乃至第１６図に
示した内分比が決定される。即ち、
められた重み係数に基づいて、第１４図乃至第１６図に
示した内分比が決定される。即ち、
【０１００】［EQ13B］
【０１０１】［EQ13C］
【０１０２】第１４図乃至第１６図に示した内分比は、
一時的な仮想視点位置PTを設定する。一時仮想視点位置
PTは、第１４図の配置では基線ＡＢ上に、第１５図の配
置では基線ＢＣ上に、第１６図の配置では基線ＣＡ上
に、夫々、比率１−ｓ：ｓとなるように、夫々取られ
る。一時仮想視点位置PTにおける仮想画像は、その一時
仮想視点位置PTが存在する基線の両端点（即ち、２つの
実画像の夫々撮像位置）における視点方向が、第６図の
関係になっていれば、即ち、一方の画像の視野が他方の
実画像の視野を含んでいれば（以下、２画像がこの関係
にある時には、「包含関係にある」と呼ぶこととす
る）、第７図乃至第１１図に関連して説明した方法（即
ち、EQ4, EQ5に従う非線形補間方法）によって求めるこ
とができる。このようにして一時的な仮想視点位置PTに
おける仮想画像が得られる。以下において、一時的な仮
想視点位置PTにおける仮想画像を「一時的仮想画像V
IT」と呼ぶ。
一時的な仮想視点位置PTを設定する。一時仮想視点位置
PTは、第１４図の配置では基線ＡＢ上に、第１５図の配
置では基線ＢＣ上に、第１６図の配置では基線ＣＡ上
に、夫々、比率１−ｓ：ｓとなるように、夫々取られ
る。一時仮想視点位置PTにおける仮想画像は、その一時
仮想視点位置PTが存在する基線の両端点（即ち、２つの
実画像の夫々撮像位置）における視点方向が、第６図の
関係になっていれば、即ち、一方の画像の視野が他方の
実画像の視野を含んでいれば（以下、２画像がこの関係
にある時には、「包含関係にある」と呼ぶこととす
る）、第７図乃至第１１図に関連して説明した方法（即
ち、EQ4, EQ5に従う非線形補間方法）によって求めるこ
とができる。このようにして一時的な仮想視点位置PTに
おける仮想画像が得られる。以下において、一時的な仮
想視点位置PTにおける仮想画像を「一時的仮想画像V
IT」と呼ぶ。
【０１０３】一時的仮想画像VITが得られたならば、そ
の一時的仮想画像VITと、３つの実視点位置(PCA,PCB,P
CC)の内の、この一時的仮想画像VITを生成するのに参照
した２つの実視点位置以外の実視点位置（以下、「残り
の視点位置」と呼び、例えば第１４図の例ではPCC）と
の間で、ユーザ視点位置での仮想画像VIeを生成する。
この場合、一時的仮想画像VITが、「残りの視点位置」
での実画像と「包含関係」にあれば、上記ユーザ視点位
置での仮想画像VIeを、第７図乃至第１１図に関連して
説明した方法によって求めることができる。
の一時的仮想画像VITと、３つの実視点位置(PCA,PCB,P
CC)の内の、この一時的仮想画像VITを生成するのに参照
した２つの実視点位置以外の実視点位置（以下、「残り
の視点位置」と呼び、例えば第１４図の例ではPCC）と
の間で、ユーザ視点位置での仮想画像VIeを生成する。
この場合、一時的仮想画像VITが、「残りの視点位置」
での実画像と「包含関係」にあれば、上記ユーザ視点位
置での仮想画像VIeを、第７図乃至第１１図に関連して
説明した方法によって求めることができる。
【０１０４】ところで、仮想画像を得るに際して「包含
関係」を前提としてEQ4, EQ5の「非線形補間」を用い
た。しかしながら、第１４図乃至第１６図の画像配置に
おいて、一時的仮想画像VITやユーザ視点位置での仮想
画像VIeを得るに際して、常に、「包含関係」が満足さ
れているとは限られない。
関係」を前提としてEQ4, EQ5の「非線形補間」を用い
た。しかしながら、第１４図乃至第１６図の画像配置に
おいて、一時的仮想画像VITやユーザ視点位置での仮想
画像VIeを得るに際して、常に、「包含関係」が満足さ
れているとは限られない。
【０１０５】前述したように、２つの画像が包含関係に
あるとは、後方に位置するカメラの視野内に、前方のカ
メラのレンズ中心が存在する状態を言うから、レンズ中
心が前記視野内に存在しない場合には２つの画像は「包
含関係」にない。本実施例では、２つの画像が「包含関
係にない」場合には、「線形補間」の手法を用いて仮想
画像（一時的仮想画像やユーザ視点での仮想画像）を形
成するものである。
あるとは、後方に位置するカメラの視野内に、前方のカ
メラのレンズ中心が存在する状態を言うから、レンズ中
心が前記視野内に存在しない場合には２つの画像は「包
含関係」にない。本実施例では、２つの画像が「包含関
係にない」場合には、「線形補間」の手法を用いて仮想
画像（一時的仮想画像やユーザ視点での仮想画像）を形
成するものである。
【０１０６】２つの画像が包含関係にない場合における
線形補間について説明する。第１７図において、実画像
RIAとRIBとは共に包含関係になく、基線に対して、夫
々、αA，αBだけずれている。ここで、実画像RIAとRIB
が共に基線に対して直交するように、実画像RIAとRIBを
夫々のレンズ中心の周りに回転する。この回転により、
第１８図に示すように、原画像RIA（またはRIB）の任意
の座標(xA,yA)（または(xB,yB)）は角度αA（または
αB）だけ回転させられて、次式に示された(x’A,y’A)
（または(x’B,y’B)）となる。
線形補間について説明する。第１７図において、実画像
RIAとRIBとは共に包含関係になく、基線に対して、夫
々、αA，αBだけずれている。ここで、実画像RIAとRIB
が共に基線に対して直交するように、実画像RIAとRIBを
夫々のレンズ中心の周りに回転する。この回転により、
第１８図に示すように、原画像RIA（またはRIB）の任意
の座標(xA,yA)（または(xB,yB)）は角度αA（または
αB）だけ回転させられて、次式に示された(x’A,y’A)
（または(x’B,y’B)）となる。
【０１０７】［EQ14］
【０１０８】［EQ15］
【０１０９】［EQ16］
【０１１０】［EQ17］
【０１１１】［EQ18A］
【０１１２】［EQ18B］
【０１１３】［EQ18C］
【０１１４】次に、ユーザ視点位置での仮想画像VI’
を、上記回転後の光軸が一致された画像RI’A,RI’Bに
基づいて公知の線形補間に従って生成する。ユーザ視点
位置Peがカメラ視点PCA,PCBを、１−ｓ：ｓ
を、上記回転後の光軸が一致された画像RI’A,RI’Bに
基づいて公知の線形補間に従って生成する。ユーザ視点
位置Peがカメラ視点PCA,PCBを、１−ｓ：ｓ
【０１１５】に内分する位置にあるならば、線形補間さ
れた仮想画像VIe内の座標(x’e, y’e)は、
れた仮想画像VIe内の座標(x’e, y’e)は、
【０１１６】［EQ19］
【０１１７】［EQ20］
【０１１８】によって得られる。実際のユーザ視点位置
は基線に対してαeだけ回転しているから、生成すべき
仮想画像は、(x’e, y’e)をαeだけ回転した画像(xe,
ye)、
は基線に対してαeだけ回転しているから、生成すべき
仮想画像は、(x’e, y’e)をαeだけ回転した画像(xe,
ye)、
【０１１９】［EQ21］
【０１２０】［EQ22］
【０１２１】ここで、
【０１２２】［EQ23］
【０１２３】［EQ24］
【０１２４】によって得られる。３つの実画像が第１４
図乃至第１６図の配置のうちのいずれかの配置にある時
の、ユーザ視点位置Peでの仮想画像の生成について説明
する。
図乃至第１６図の配置のうちのいずれかの配置にある時
の、ユーザ視点位置Peでの仮想画像の生成について説明
する。
【０１２５】第１４図乃至第１６図の配置のうちのいず
れかの配置にあっても、「一時的仮想視点PT」における
「一時的仮想画像」を求める必要がある。ユーザ視点位
置Peでの仮想画像は、前述したように、この「一時的仮
想画像」と「残りの視点位置」での画像とに基づいて、
「線形補間」(EQ19, EQ20)或いは非線形補間(EQ4, EQ5)
の手法により得るものである。
れかの配置にあっても、「一時的仮想視点PT」における
「一時的仮想画像」を求める必要がある。ユーザ視点位
置Peでの仮想画像は、前述したように、この「一時的仮
想画像」と「残りの視点位置」での画像とに基づいて、
「線形補間」(EQ19, EQ20)或いは非線形補間(EQ4, EQ5)
の手法により得るものである。
【０１２６】〈制御手順〉以上説明したように、本実施
例の画像補間は、２つの画像が包含関係にあるか否かに
よって、包含関係がある場合には非線形補間を、ない場
合には線形補間を適用するものである。更に、ユーザの
移動範囲を拡張するために本実施例は３つの画像を用い
る。ところで、一時仮想画像を生成するにしても、ユー
ザ視点での仮想画像を生成するにしても、元となる２つ
或いは３つの画像は、ユーザ視点位置および視線方向で
の対象物体の対応点に関する画像データを含まなくては
ならない。画像が対象物体の画像データを含むことを、
「対象物を含む」と呼ぶ。換言すれば、あるユーザ視点
位置における補間画像を生成するときには、３つの実画
像の全ては必ず「対象物を含まなくてはならない」。こ
のために、ユーザが視点位置を移動したために、それま
での画像補間処理に用いてきた３枚一組画像が「対象物
を含ま」なくなる場合もあり得る。この場合には、第２
０図のように、組合せを変えた３枚の画像を選択しなけ
ればならない。即ち、選択画像を変えることによりユー
ザの移動範囲を大きく拡張することができる。特に、本
実施例の制御は、後述するように、画像の組合せによっ
て、重み係数の計算方法を第１４図乃至第１６図のいず
れかを選択でき、さらには、画像間の包含関係に応じ
て、線形補間或いは非線形補間を選択できるので、仮想
画像を生成できない場合が極めて減少する。
例の画像補間は、２つの画像が包含関係にあるか否かに
よって、包含関係がある場合には非線形補間を、ない場
合には線形補間を適用するものである。更に、ユーザの
移動範囲を拡張するために本実施例は３つの画像を用い
る。ところで、一時仮想画像を生成するにしても、ユー
ザ視点での仮想画像を生成するにしても、元となる２つ
或いは３つの画像は、ユーザ視点位置および視線方向で
の対象物体の対応点に関する画像データを含まなくては
ならない。画像が対象物体の画像データを含むことを、
「対象物を含む」と呼ぶ。換言すれば、あるユーザ視点
位置における補間画像を生成するときには、３つの実画
像の全ては必ず「対象物を含まなくてはならない」。こ
のために、ユーザが視点位置を移動したために、それま
での画像補間処理に用いてきた３枚一組画像が「対象物
を含ま」なくなる場合もあり得る。この場合には、第２
０図のように、組合せを変えた３枚の画像を選択しなけ
ればならない。即ち、選択画像を変えることによりユー
ザの移動範囲を大きく拡張することができる。特に、本
実施例の制御は、後述するように、画像の組合せによっ
て、重み係数の計算方法を第１４図乃至第１６図のいず
れかを選択でき、さらには、画像間の包含関係に応じ
て、線形補間或いは非線形補間を選択できるので、仮想
画像を生成できない場合が極めて減少する。
【０１２７】第２１図は、本実施例の補間方法を組み込
んだ画像補間（パノラマ画像表示）装置の制御手順を示
すフローチャートである。この装置の制御手順は大きく
分けて、前処理（ステップＳ１００）と補間画像の生成
表示（ステップＳ２００）に分けられる。
んだ画像補間（パノラマ画像表示）装置の制御手順を示
すフローチャートである。この装置の制御手順は大きく
分けて、前処理（ステップＳ１００）と補間画像の生成
表示（ステップＳ２００）に分けられる。
【０１２８】ステップＳ１００の詳細は第２２図に示さ
れる。即ち、ステップＳ１０２では、環境の画像を前も
って収集し、併せて、複数の収集位置での、撮影位置
（視点位置）と撮影方向（カメラの視線方向）に関する
データをも収集する。ステップＳ１０４では、画像と、
視点位置と視線方向（併せて視点位置と呼ぶ場合もあ
る）とを対応づけてデータベースに記憶する。
れる。即ち、ステップＳ１０２では、環境の画像を前も
って収集し、併せて、複数の収集位置での、撮影位置
（視点位置）と撮影方向（カメラの視線方向）に関する
データをも収集する。ステップＳ１０４では、画像と、
視点位置と視線方向（併せて視点位置と呼ぶ場合もあ
る）とを対応づけてデータベースに記憶する。
【０１２９】ステップＳ１０６では、ステップＳ１０２
で収集された複数の画像の中から、同じ対象物の対応点
を共に含む３枚一組の画像を分類する。ステップＳ１０
８では、各組内の３枚の画像について、対応点を３角形
のメッシュにて対応づける。上記組合せでは、同じ画像
が異なる組に分類されることを許す。例えば第２３図の
例で、対象物をカメラ視点位置Ａ乃至Ｇで撮像した場
合、
で収集された複数の画像の中から、同じ対象物の対応点
を共に含む３枚一組の画像を分類する。ステップＳ１０
８では、各組内の３枚の画像について、対応点を３角形
のメッシュにて対応づける。上記組合せでは、同じ画像
が異なる組に分類されることを許す。例えば第２３図の
例で、対象物をカメラ視点位置Ａ乃至Ｇで撮像した場
合、
【０１３０】第ｎの組... Ａ，Ｂ，Ｃ 第n+1の組...Ｂ，Ｃ，Ｄ 第n+2の組...Ａ，Ｂ，Ｄ 等の組合せが許される。このような組合せにより、第２
０図に示したような組合せの拡張、即ち、移動領域の拡
大効果が得られる。
０図に示したような組合せの拡張、即ち、移動領域の拡
大効果が得られる。
【０１３１】ステップＳ２００の処理の詳細を第２４図
により説明する。即ち、ステップＳ２０２では、観察者
（ユーザ）の現在の視点位置Pe(Xe,Ye,Ze)と視線方向α
eとを取得する。ステップＳ２０４では、視点位置P
e(Xe,Ye,Ze)と視線方向αeに基づいて、最適な一組３枚
の画像IA,IB,ICを決定する。ステップＳ２０４では、第
１４図乃至第１６図のうちのどの内分方法を用いるかを
決定する。ステップＳ２０６では、非線形の補間処理に
用いられる第１の内分比(s : 1-s)と第２の内分比(t :
1-t)とが決定される。
により説明する。即ち、ステップＳ２０２では、観察者
（ユーザ）の現在の視点位置Pe(Xe,Ye,Ze)と視線方向α
eとを取得する。ステップＳ２０４では、視点位置P
e(Xe,Ye,Ze)と視線方向αeに基づいて、最適な一組３枚
の画像IA,IB,ICを決定する。ステップＳ２０４では、第
１４図乃至第１６図のうちのどの内分方法を用いるかを
決定する。ステップＳ２０６では、非線形の補間処理に
用いられる第１の内分比(s : 1-s)と第２の内分比(t :
1-t)とが決定される。
【０１３２】ステップＳ２０８では、画像IA,IBが包含
関係を有するかを判定する。包含関係は前述したよう
に、一方の画像の視野内に他方のレンズ中心が含まれる
状態を言う。この包含関係を第２６図を用いて説明す
る。２台のカメラの光軸ベクトルを夫々V1,V2、これら
のカメラのレンズ中心を結ぶベクトルV12とする。ま
た、V1とV12とのなす角度をθ１、V2とV12とのなす角度
をθ２、またθtをカメラの画角βの２分の１とする
と、
関係を有するかを判定する。包含関係は前述したよう
に、一方の画像の視野内に他方のレンズ中心が含まれる
状態を言う。この包含関係を第２６図を用いて説明す
る。２台のカメラの光軸ベクトルを夫々V1,V2、これら
のカメラのレンズ中心を結ぶベクトルV12とする。ま
た、V1とV12とのなす角度をθ１、V2とV12とのなす角度
をθ２、またθtをカメラの画角βの２分の１とする
と、
【０１３３】［EQ25］
【０１３４】が満たされているか否かで行う。画像IA,I
Bが包含関係を有する場合には、ステップＳ２１０以下
に進む。即ち、ステップＳ２１０では第６図に示したよ
うに、画像IA,IBの光軸が略一致して平行になるように
画像IA,IBを回転する。ステップＳ２１２では、第７図
に示すように、仮想画像を非線形補間により補間生成す
る。ステップＳ２１４では、第８図に示すように、その
仮想画像をユーザの視線方向に合わせて回転する。ステ
ップＳ２１６では、生成した仮想画像を、その視点位置
と共にデータベースに格納する。本実施例では、仮想画
像を実画像と同じように扱い、他の仮想画像の生成の基
礎とすることができる。
Bが包含関係を有する場合には、ステップＳ２１０以下
に進む。即ち、ステップＳ２１０では第６図に示したよ
うに、画像IA,IBの光軸が略一致して平行になるように
画像IA,IBを回転する。ステップＳ２１２では、第７図
に示すように、仮想画像を非線形補間により補間生成す
る。ステップＳ２１４では、第８図に示すように、その
仮想画像をユーザの視線方向に合わせて回転する。ステ
ップＳ２１６では、生成した仮想画像を、その視点位置
と共にデータベースに格納する。本実施例では、仮想画
像を実画像と同じように扱い、他の仮想画像の生成の基
礎とすることができる。
【０１３５】画像IA,IBが包含関係にない場合には、ス
テップＳ２１８乃至ステップＳ２２２において、第１７
図乃至第１９図に示すように線形補間を行う。ステップ
Ｓ２２２では補間された画像を視線方向に合わせて回転
する。
テップＳ２１８乃至ステップＳ２２２において、第１７
図乃至第１９図に示すように線形補間を行う。ステップ
Ｓ２２２では補間された画像を視線方向に合わせて回転
する。
【０１３６】かくして、包含関係にある場合とない場合
とにおける、仮想視点位置PT（第１４図乃至第１６図を
参照）における仮想画像が得られた。
とにおける、仮想視点位置PT（第１４図乃至第１６図を
参照）における仮想画像が得られた。
【０１３７】第２５図は、第２４図の制御手順により得
られた仮想画像VIと残りの画像ICとについて包含関係を
判断する。仮想画像VIと残りの画像ICとが包含関係にあ
る場合には、前述の非線形補間を行うために、ステップ
Ｓ２３２乃至ステップＳ２３６を行う。仮想画像VIと残
りの画像ICとが包含関係にない場合には、前述の線形補
間を行うために、ステップＳ２４０乃至ステップＳ２４
４を行う。かくして、仮想画像VIと残りの画像ICとにつ
いて、包含関係に応じて非線形補間または線形補間がな
されて、ユーザ視点位置でのユーザ視線方向での仮想画
像が生成されたことになる。
られた仮想画像VIと残りの画像ICとについて包含関係を
判断する。仮想画像VIと残りの画像ICとが包含関係にあ
る場合には、前述の非線形補間を行うために、ステップ
Ｓ２３２乃至ステップＳ２３６を行う。仮想画像VIと残
りの画像ICとが包含関係にない場合には、前述の線形補
間を行うために、ステップＳ２４０乃至ステップＳ２４
４を行う。かくして、仮想画像VIと残りの画像ICとにつ
いて、包含関係に応じて非線形補間または線形補間がな
されて、ユーザ視点位置でのユーザ視線方向での仮想画
像が生成されたことになる。
【０１３８】第２７図は、本実施例の制御のさらなる拡
張を説明する。即ち、第２７図の制御では、複数回の線
形補間（或いは非線形補間）によりユーザ視点位置での
仮想画像を生成し、それらの複数の仮想画像をつなぎ合
わせることにより、移動可能なユーザの視野範囲を拡張
することができる。
張を説明する。即ち、第２７図の制御では、複数回の線
形補間（或いは非線形補間）によりユーザ視点位置での
仮想画像を生成し、それらの複数の仮想画像をつなぎ合
わせることにより、移動可能なユーザの視野範囲を拡張
することができる。
【０１３９】以上説明したように、本発明の実施形態や
実施例によれば、第２８図に示すように、２通りの補間
により、ユーザの移動可能な範囲を拡張すると共に、パ
ノラマ画像生成の際に制限を少なくすることができる。
実施例によれば、第２８図に示すように、２通りの補間
により、ユーザの移動可能な範囲を拡張すると共に、パ
ノラマ画像生成の際に制限を少なくすることができる。
【０１４０】
【第２実施例】上記実施形態若しくは第１実施例に関連
して説明したモーフィング（以下、「通常モーフィン
グ」と呼ぶ）は、２枚または３枚の実写画像（コンピュ
ータ画像であってもよい）の２つの視点（または３つの
視点）間に存在する任意の視点から撮影したら得られる
であろう仮想補間画像をモーフィング処理により生成す
るものであった。上記実施形態および第１実施例は、物
体（現実物体の実写画像であろうと仮想物体の仮想画像
であろうと）が凹凸（特に奥行き方向での凹凸）が少な
い場合には、視点位置が変化しても、その視点位置から
は「見えない」部分の発生が少ないことが予想できるた
めに、有効であると考えられる。
して説明したモーフィング（以下、「通常モーフィン
グ」と呼ぶ）は、２枚または３枚の実写画像（コンピュ
ータ画像であってもよい）の２つの視点（または３つの
視点）間に存在する任意の視点から撮影したら得られる
であろう仮想補間画像をモーフィング処理により生成す
るものであった。上記実施形態および第１実施例は、物
体（現実物体の実写画像であろうと仮想物体の仮想画像
であろうと）が凹凸（特に奥行き方向での凹凸）が少な
い場合には、視点位置が変化しても、その視点位置から
は「見えない」部分の発生が少ないことが予想できるた
めに、有効であると考えられる。
【０１４１】しかしながら、実際の物体（従って、仮想
物体も）は凹凸の大きいものがあり、そのような物体を
視点位置を移動させながら上記の「通常モーフィング」
処理を行うと、ある視点で本来では見えない部分を見え
るかのように補間画像を生成したり、本来では見えるは
ずの部分を見えていないものとして補間画像を生成した
りする。 この第２実施例は、後述する「階層化モーフ
ィング」処理を導入し、画像中に含まれる対象物体に凹
凸が少ない（或いはあっても無視できる）場合には、前
述の「通常モーフィング処理」を行い、画像中に含まれ
る対象物体に凹凸が大きい（或いは無視できない）場合
には、「階層化モーフィング処理」を実行する、即ち、
「通常モーフィング処理」と「階層化モーフィング処
理」とを適応的に切り替えるというものである。
物体も）は凹凸の大きいものがあり、そのような物体を
視点位置を移動させながら上記の「通常モーフィング」
処理を行うと、ある視点で本来では見えない部分を見え
るかのように補間画像を生成したり、本来では見えるは
ずの部分を見えていないものとして補間画像を生成した
りする。 この第２実施例は、後述する「階層化モーフ
ィング」処理を導入し、画像中に含まれる対象物体に凹
凸が少ない（或いはあっても無視できる）場合には、前
述の「通常モーフィング処理」を行い、画像中に含まれ
る対象物体に凹凸が大きい（或いは無視できない）場合
には、「階層化モーフィング処理」を実行する、即ち、
「通常モーフィング処理」と「階層化モーフィング処
理」とを適応的に切り替えるというものである。
【０１４２】第２９図は、この第２実施例の画像処理装
置が特に好適であろうと考えられるウォークスルー仮想
空間を説明する。図中、ハッチングを付した部分はユー
ザが仮想的にウォークスルーが可能な経路である。粗い
ハッチングを施した２つのパス５０，８０は狭く、細か
いハッチングを施した領域６０，７０は二次元的な広が
りを有する。即ち、ユーザが狭いパス５０または８０を
ウォークスルーする間は、進行方向の左右（紙面で上下
方向）に移動できる幅は少ないが、領域６０，７０では
大きく切れ込んで左右方向（紙面で上下方向）に移動す
ることができる。この結果、ユーザは、領域５０，８０
をウォークスルーする間は、たとえ、視線が進行方向に
直交する方向（即ち、紙面上下方向）に向くことがあっ
ても、左右の背景（遠景）に近づくことはないので、背
景画像（パノラマ画像）における奥行き方向の凹凸は問
題とはならない。従って、この区間５０，８０では、通
常モーフィング処理を行えばよい。しかしながら、領域
６０，７０をウォークスルー中は、背景に近づくことが
あり得るので、背景画像（パノラマ画像中の物体も含め
る）の凹凸が問題となる。そこで、領域６０，７０をウ
ォークスルー中は「階層化モーフィング処理」を適用す
る。
置が特に好適であろうと考えられるウォークスルー仮想
空間を説明する。図中、ハッチングを付した部分はユー
ザが仮想的にウォークスルーが可能な経路である。粗い
ハッチングを施した２つのパス５０，８０は狭く、細か
いハッチングを施した領域６０，７０は二次元的な広が
りを有する。即ち、ユーザが狭いパス５０または８０を
ウォークスルーする間は、進行方向の左右（紙面で上下
方向）に移動できる幅は少ないが、領域６０，７０では
大きく切れ込んで左右方向（紙面で上下方向）に移動す
ることができる。この結果、ユーザは、領域５０，８０
をウォークスルーする間は、たとえ、視線が進行方向に
直交する方向（即ち、紙面上下方向）に向くことがあっ
ても、左右の背景（遠景）に近づくことはないので、背
景画像（パノラマ画像）における奥行き方向の凹凸は問
題とはならない。従って、この区間５０，８０では、通
常モーフィング処理を行えばよい。しかしながら、領域
６０，７０をウォークスルー中は、背景に近づくことが
あり得るので、背景画像（パノラマ画像中の物体も含め
る）の凹凸が問題となる。そこで、領域６０，７０をウ
ォークスルー中は「階層化モーフィング処理」を適用す
る。
【０１４３】第３０図は、上述の通常モーフィングと階
層化モーフィングとの適応的切換制御を適用した第２実
施例の仮想空間ウォークスルーシステムの構成を示す。
層化モーフィングとの適応的切換制御を適用した第２実
施例の仮想空間ウォークスルーシステムの構成を示す。
【０１４４】第３０図中、１００は、三面スクリーンで
あり、中央スクリーン１００Ｃを挟んで左スクリーン１
００Ｌと右スクリーン１００Ｒとが左右に配置されてい
る。これらのスクリーンに表示されるべき３枚の画像は
画像生成用計算機４００で生成される。計算機４００
は、三枚の画像をシリアルで３台のスキャンコンバータ
（ＳＣ）６００に順に送る。画像生成用計算機４００が
参照する実写画像はハードディスク５００に格納されて
いる。制御用計算機３００にはジョイスティック２００
が接続され、ユーザがジョイスティック２００を操作す
ることにより入力されるウォークスルー方向（ユーザが
仮想空間中でウォークスルーしたい方向）は計算機３０
０で処理される。即ち、制御用計算機３００は、ある時
刻ｔにおけるジョイスティック２００の状態に関するデ
ータをEthernetを介して計算機４００に送る。画像生成
用計算機４００は、このデータに基づいて時刻ｔにおけ
るユーザの視点位置、視線方向に関するデータを演算す
る。そして、この視点、視線方向に応じた３枚若しくは
２枚のパノラマ画像をハードディスク５００から取り出
して、所定の演算を行ってスキャンコンバータ６００に
送る。
あり、中央スクリーン１００Ｃを挟んで左スクリーン１
００Ｌと右スクリーン１００Ｒとが左右に配置されてい
る。これらのスクリーンに表示されるべき３枚の画像は
画像生成用計算機４００で生成される。計算機４００
は、三枚の画像をシリアルで３台のスキャンコンバータ
（ＳＣ）６００に順に送る。画像生成用計算機４００が
参照する実写画像はハードディスク５００に格納されて
いる。制御用計算機３００にはジョイスティック２００
が接続され、ユーザがジョイスティック２００を操作す
ることにより入力されるウォークスルー方向（ユーザが
仮想空間中でウォークスルーしたい方向）は計算機３０
０で処理される。即ち、制御用計算機３００は、ある時
刻ｔにおけるジョイスティック２００の状態に関するデ
ータをEthernetを介して計算機４００に送る。画像生成
用計算機４００は、このデータに基づいて時刻ｔにおけ
るユーザの視点位置、視線方向に関するデータを演算す
る。そして、この視点、視線方向に応じた３枚若しくは
２枚のパノラマ画像をハードディスク５００から取り出
して、所定の演算を行ってスキャンコンバータ６００に
送る。
【０１４５】第３１図は、制御計算機３００と画像生成
計算機４００による、ウォークスルーのための全体的な
制御手順を示すフローチャートである。尚、第３１図の
ステップＳ４００のモーフィングの切換工程の詳細は第
３２図に説明されている。
計算機４００による、ウォークスルーのための全体的な
制御手順を示すフローチャートである。尚、第３１図の
ステップＳ４００のモーフィングの切換工程の詳細は第
３２図に説明されている。
【０１４６】まず、ステップＳ３００では、ジョイステ
ィック（以下、JSと略す）２００の操作をユーザに促
す。ステップＳ３０２，ステップＳ３０４で、JSの操作
状態は制御用計算機３００を経て画像生成用計算機４０
０に送られる。計算機４００は、ステップＳ３０８で、
JSの操作によって進行した現在の視点位置、視線方向を
計算する。ステップＳ３１０では、計算機４００は、現
時点の視点位置と視線方向とに基づいて、その位置・姿
勢に最適な３枚若しくは２枚の画像を取り出す。ステッ
プＳ４００では、最適なモーフィング処理（通常モーフ
ィング処理か階層化モーフィング処理を選択し、その処
理への切換を行い、選択されたモーフィング処理を実行
する。ステップＳ５００では、モーフィング処理の結果
得られた画像をフレームメモリ内で描画する。ステップ
Ｓ５０２，ステップＳ５０４，ステップＳ５０６では描
画された画像をスクリーンに映写する。
ィック（以下、JSと略す）２００の操作をユーザに促
す。ステップＳ３０２，ステップＳ３０４で、JSの操作
状態は制御用計算機３００を経て画像生成用計算機４０
０に送られる。計算機４００は、ステップＳ３０８で、
JSの操作によって進行した現在の視点位置、視線方向を
計算する。ステップＳ３１０では、計算機４００は、現
時点の視点位置と視線方向とに基づいて、その位置・姿
勢に最適な３枚若しくは２枚の画像を取り出す。ステッ
プＳ４００では、最適なモーフィング処理（通常モーフ
ィング処理か階層化モーフィング処理を選択し、その処
理への切換を行い、選択されたモーフィング処理を実行
する。ステップＳ５００では、モーフィング処理の結果
得られた画像をフレームメモリ内で描画する。ステップ
Ｓ５０２，ステップＳ５０４，ステップＳ５０６では描
画された画像をスクリーンに映写する。
【０１４７】第３２図は、第３１図のステップＳ４００
の詳細手順を示す。即ち、ステップＳ４０２で、現在ウ
ォークスルー中の位置に割り当てられたモーフィングモ
ードを調べる。このモードは「通常モーフィング処理」
か「階層化モーフィング処理」の区別を示す１ビットデ
ータによって識別可能であり、例えば、第２９図に示さ
れたウォークスルー可能な全ての位置（ｘ、ｙ）に１ビ
ットのフラグMを割り当てることとする。具体的には、
第２９図で、粗いハッチング領域（即ち、通常モーフィ
ングを行うべき領域）の任意の座標にはM=0を、細かい
ハッチング領域（即ち、階層化モーフィングを行うべき
領域）の任意の座標にはM=1を割り当てるとする。
の詳細手順を示す。即ち、ステップＳ４０２で、現在ウ
ォークスルー中の位置に割り当てられたモーフィングモ
ードを調べる。このモードは「通常モーフィング処理」
か「階層化モーフィング処理」の区別を示す１ビットデ
ータによって識別可能であり、例えば、第２９図に示さ
れたウォークスルー可能な全ての位置（ｘ、ｙ）に１ビ
ットのフラグMを割り当てることとする。具体的には、
第２９図で、粗いハッチング領域（即ち、通常モーフィ
ングを行うべき領域）の任意の座標にはM=0を、細かい
ハッチング領域（即ち、階層化モーフィングを行うべき
領域）の任意の座標にはM=1を割り当てるとする。
【０１４８】現在のウォークスルー地点が粗いハッチン
グ領域内（即ち、M=0の領域５０，８０）であれば、ス
テップＳ４１０に進んで、「通常モーフィング処理」を
行う。「通常モーフィング処理」とは、第２４図，第２
５図に示された処理、若しくは周知のパノラマ画像の切
換処理をいう。従って、「通常モーフィング処理」の詳
細な説明は省略する。
グ領域内（即ち、M=0の領域５０，８０）であれば、ス
テップＳ４１０に進んで、「通常モーフィング処理」を
行う。「通常モーフィング処理」とは、第２４図，第２
５図に示された処理、若しくは周知のパノラマ画像の切
換処理をいう。従って、「通常モーフィング処理」の詳
細な説明は省略する。
【０１４９】現在のウォークスルー地点が細かいハッチ
ング領域内（即ち、M=1の領域６０，７０）であれば、
ステップＳ４０４に進み、ジョイスティック２００のボ
タン２０１（第３０図）が押されているかを確認する。
押されていない場合には、処理はメインルーチンにEXIT
する。即ち、領域６０または７０に現在の視点位置があ
っても、このボタン２０１が同時に押されてジョイステ
ィック２００が操作されない限りは、階層化モーフィン
グ処理は行われないことになる。ボタン２０１が押され
ている場合には、ステップＳ４０６で、後述の階層化モ
ーフィング処理を行う。Ｓ４０６の階層化モーフィング
処理は、ボタン２０１を解除しない限りはエネーブルさ
れている。
ング領域内（即ち、M=1の領域６０，７０）であれば、
ステップＳ４０４に進み、ジョイスティック２００のボ
タン２０１（第３０図）が押されているかを確認する。
押されていない場合には、処理はメインルーチンにEXIT
する。即ち、領域６０または７０に現在の視点位置があ
っても、このボタン２０１が同時に押されてジョイステ
ィック２００が操作されない限りは、階層化モーフィン
グ処理は行われないことになる。ボタン２０１が押され
ている場合には、ステップＳ４０６で、後述の階層化モ
ーフィング処理を行う。Ｓ４０６の階層化モーフィング
処理は、ボタン２０１を解除しない限りはエネーブルさ
れている。
【０１５０】ステップＳ４０６の階層化モーフィング処
理について更に詳細に説明する。
理について更に詳細に説明する。
【０１５１】この階層化モーフィング処理は、事前に、
背景画像（パノラマ画像）を階層化しておく前処理が必
要である。この前処理は、実写画像内の複数の対象物
（現実物体）の画像を、奥行き深さに応じて複数の領域
に分割するものである。そして、実際の階層化モーフィ
ング処理では、ある範囲の深さの奥行き内に入る領域を
１つのレイヤとして把握し、このレイヤの夫々に対して
通常モーフィングを施するものである。具体的には、領
域６０，７０に視点位置があるときのために準備されて
いる背景画像（パノラマ画像）は、前もって「階層化」
されているのである。
背景画像（パノラマ画像）を階層化しておく前処理が必
要である。この前処理は、実写画像内の複数の対象物
（現実物体）の画像を、奥行き深さに応じて複数の領域
に分割するものである。そして、実際の階層化モーフィ
ング処理では、ある範囲の深さの奥行き内に入る領域を
１つのレイヤとして把握し、このレイヤの夫々に対して
通常モーフィングを施するものである。具体的には、領
域６０，７０に視点位置があるときのために準備されて
いる背景画像（パノラマ画像）は、前もって「階層化」
されているのである。
【０１５２】前処理であるところの「階層化処理」につ
いて説明する。
いて説明する。
【０１５３】「階層化処理」のための説明の便宜上、第
３３図に示すように、四角柱１０００と三角柱２０００
とからなる現実空間を視点位置E1, E2, E3において撮像
することにより第３４図のような３つの画像を得た場合
を想定する。各視点位置において撮像して得た３枚の実
画像(RI1, RI2, RI3)を第３４図に示す。第３４図にお
いて、アラビア数字は３枚の画像間で対応する特徴点を
示す。
３３図に示すように、四角柱１０００と三角柱２０００
とからなる現実空間を視点位置E1, E2, E3において撮像
することにより第３４図のような３つの画像を得た場合
を想定する。各視点位置において撮像して得た３枚の実
画像(RI1, RI2, RI3)を第３４図に示す。第３４図にお
いて、アラビア数字は３枚の画像間で対応する特徴点を
示す。
【０１５４】前処理である階層化処理を実行すると、計
算機３００は、上記３枚の実画像(RI1, RI2, RI3)を制
御用計算機３００のモニタ画面に第３４図のように表示
する。
算機３００は、上記３枚の実画像(RI1, RI2, RI3)を制
御用計算機３００のモニタ画面に第３４図のように表示
する。
【０１５５】第３５図は階層化の原理を説明する。どの
画像部分をどのレイヤに所属させるかは、ユーザが、第
３４図のモニタの表示画面を見ながら指定する。即ち、
ユーザは、画面上に表示されている物体が本来はどのよ
うな奥行き関係にあるかを推定することができる。例え
ば、第３４図の実写画像RI1が計算機３００のモニタ装
置に表示されていれば、ユーザは、その表示内容から、
三角柱２０００が四角柱１０００の後方にあり、三角柱
２０００と四角柱１０００の更に後方に背景が存在する
ことは推定できる。そこで、ユーザは、まず、背景に対
してレイヤIを割り付ける。その上で、第３４図の画像R
I1において、三角柱２０００の最外側の５つの頂点（１
０，１１，１２，１３，１４）によって画成された画像
部分をレイヤIIとして割り付ける。また、四角柱１００
０の最外側の６つの頂点（１，２，３，４，５，６）に
よって画成された画像部分をレイヤIIIとして割り付け
る。第３５図（即ち第３１図）の例では、背景が最後方
で、三角柱２０００が中間に、四角柱１０００が近傍に
あるから、上述の画像分割は、第３５図に示すようなレ
イヤ分割となる。即ち、この階層化処理を経ると、実写
画像は、例えば、レイヤI乃至レイヤIIIは階層化される
こととなる。第２実施例の階層化モーフィング処理は、
同じ階層にある二次元画像は同じ範囲の奥行きにあるも
のと見なして、補間モーフィングを施す。第２実施例の
階層化モーフィングは、互いに近しい奥行き関係にある
複数の画像部分を同じレイヤに属させることにより、同
じレイヤに属する画像部分については、視点位置が移動
しても、見え隠れの程度を一様とすることができるよう
になることを利用する。即ち、第２実施例も、第１実施
例と同じように、視点位置の移動に応じた補間画像を生
成するものであるが、視点位置の移動に応じて発生する
奥行きの異なる部分間での見え隠れの変化に対して、実
画像では隠れされている部分であって、仮想の視点位置
では見えなくてはならないその部分を、ユーザに、確実
に顕在化させることができる。実画像では隠されている
部分（範囲）をユーザに目で見えるようにすることによ
り、その隠されている部分の画素の濃淡データやカラー
データを後述のレタッチ操作により補充することができ
るからである。
画像部分をどのレイヤに所属させるかは、ユーザが、第
３４図のモニタの表示画面を見ながら指定する。即ち、
ユーザは、画面上に表示されている物体が本来はどのよ
うな奥行き関係にあるかを推定することができる。例え
ば、第３４図の実写画像RI1が計算機３００のモニタ装
置に表示されていれば、ユーザは、その表示内容から、
三角柱２０００が四角柱１０００の後方にあり、三角柱
２０００と四角柱１０００の更に後方に背景が存在する
ことは推定できる。そこで、ユーザは、まず、背景に対
してレイヤIを割り付ける。その上で、第３４図の画像R
I1において、三角柱２０００の最外側の５つの頂点（１
０，１１，１２，１３，１４）によって画成された画像
部分をレイヤIIとして割り付ける。また、四角柱１００
０の最外側の６つの頂点（１，２，３，４，５，６）に
よって画成された画像部分をレイヤIIIとして割り付け
る。第３５図（即ち第３１図）の例では、背景が最後方
で、三角柱２０００が中間に、四角柱１０００が近傍に
あるから、上述の画像分割は、第３５図に示すようなレ
イヤ分割となる。即ち、この階層化処理を経ると、実写
画像は、例えば、レイヤI乃至レイヤIIIは階層化される
こととなる。第２実施例の階層化モーフィング処理は、
同じ階層にある二次元画像は同じ範囲の奥行きにあるも
のと見なして、補間モーフィングを施す。第２実施例の
階層化モーフィングは、互いに近しい奥行き関係にある
複数の画像部分を同じレイヤに属させることにより、同
じレイヤに属する画像部分については、視点位置が移動
しても、見え隠れの程度を一様とすることができるよう
になることを利用する。即ち、第２実施例も、第１実施
例と同じように、視点位置の移動に応じた補間画像を生
成するものであるが、視点位置の移動に応じて発生する
奥行きの異なる部分間での見え隠れの変化に対して、実
画像では隠れされている部分であって、仮想の視点位置
では見えなくてはならないその部分を、ユーザに、確実
に顕在化させることができる。実画像では隠されている
部分（範囲）をユーザに目で見えるようにすることによ
り、その隠されている部分の画素の濃淡データやカラー
データを後述のレタッチ操作により補充することができ
るからである。
【０１５６】第２実施例の階層化モーフィングが、奥行
き方向で起伏の激しい物体（例えば第３６図のような、
頂点がユーザの方向に向いている円錐）を扱うときは、
第３７図のように、多くのレイヤを設定する。第３７図
の例では、レイヤIの背景レイヤと、レイヤIIからレイ
ヤVまでの４つの複数の同心円環状のレイヤとに分割さ
れる。
き方向で起伏の激しい物体（例えば第３６図のような、
頂点がユーザの方向に向いている円錐）を扱うときは、
第３７図のように、多くのレイヤを設定する。第３７図
の例では、レイヤIの背景レイヤと、レイヤIIからレイ
ヤVまでの４つの複数の同心円環状のレイヤとに分割さ
れる。
【０１５７】階層化処理の制御手順の詳細は第３８図に
示される。また、階層化処理の具体的な動作は第３９図
乃至第４１図に説明される。また、階層化処理された結
果の階層化構造画像を第４２図に示す。
示される。また、階層化処理の具体的な動作は第３９図
乃至第４１図に説明される。また、階層化処理された結
果の階層化構造画像を第４２図に示す。
【０１５８】第３９図乃至第４１図、第４２図を参照し
ながら、第３４図の画像RI1に対して階層化処理を行っ
た場合の詳細について説明する。
ながら、第３４図の画像RI1に対して階層化処理を行っ
た場合の詳細について説明する。
【０１５９】第２実施例では、階層の指定は、即ち、二
次元画像の特徴点（通常は輪郭線の頂点）の指定によっ
て行う。また、第２実施例での「レタッチ処理」と黒く
塗る処理とは、市販の汎用の画像オーサリングツールソ
フトウエアであるPhotoShop（米国Adobe社製）を用いて
行った。
次元画像の特徴点（通常は輪郭線の頂点）の指定によっ
て行う。また、第２実施例での「レタッチ処理」と黒く
塗る処理とは、市販の汎用の画像オーサリングツールソ
フトウエアであるPhotoShop（米国Adobe社製）を用いて
行った。
【０１６０】第２実施例での階層化は、その部分画像の
輪郭線の特徴点の点列Pi(k)に、階層値ｉを割り当てる
ことに帰結する。ここで、ｉは階層を表す値（値が小さ
いほど、その部分画像奥方向に深いことを意味する）、
ｋは同じ階層ｉに含まれる部分画像を示す。
輪郭線の特徴点の点列Pi(k)に、階層値ｉを割り当てる
ことに帰結する。ここで、ｉは階層を表す値（値が小さ
いほど、その部分画像奥方向に深いことを意味する）、
ｋは同じ階層ｉに含まれる部分画像を示す。
【０１６１】第３４図の画像RI1をユーザが階層化処理
すると、視点位置から遠いレイヤから順に、
すると、視点位置から遠いレイヤから順に、
【０１６２】レイヤI（ｉ＝I）：背景画像全体、 レイヤII（ｉ＝II）：点列PI(1) = 10→11→12→13→14 レイヤIII（ｉ＝III）：点列PII(1) = 1→2→3→4→5→
6 が得られる。尚、三角柱２０００の頂点１３はユーザか
らは見えないが、ユーザは、三角柱２０００の頂点１３
は四角柱によって隠されていることが分かっているの
で、仮想頂点１３を与えた。
6 が得られる。尚、三角柱２０００の頂点１３はユーザか
らは見えないが、ユーザは、三角柱２０００の頂点１３
は四角柱によって隠されていることが分かっているの
で、仮想頂点１３を与えた。
【０１６３】点列Pi(k)によって示される閉領域はオブ
ジェクトを表し、そのオブジェクトを参照すれば、その
閉領域内の全ての画素値を参照することができる。
ジェクトを表し、そのオブジェクトを参照すれば、その
閉領域内の全ての画素値を参照することができる。
【０１６４】もし、四角柱１０００と三角柱２０００と
が視点位置から見て同じような奥行き範囲にあるのであ
れば、ユーザは四角柱１０００と三角柱２０００に対し
て同じレイヤ値を与えるであろう。この場合には、
が視点位置から見て同じような奥行き範囲にあるのであ
れば、ユーザは四角柱１０００と三角柱２０００に対し
て同じレイヤ値を与えるであろう。この場合には、
【０１６５】レイヤII（ｉ＝II）： 点列PII(1) = 10→11→12→13→14 点列PII(1) = 1→2→3→4→5→6
【０１６６】となる。このようなオブジェクト化によっ
て、ハードディスク５００内の所定の領域には、第４２
図のような、３つの画像毎に、更に、レイヤ毎に、オブ
ジェクト化された点列Pi(k)のテーブルが生成される。
画像生成用計算機４００はこのテーブルを参照して、階
層化モーフィングを行う。第３８図は、階層化処理の制
御手順を説明するフローチャートである。同図のステッ
プＳ６００乃至ステップＳ６１４のループは、第４２図
のオブジェクトテーブルを生成する工程を説明する。即
ち、ステップＳ６０４乃至ステップＳ６１０において
は、ユーザが、計算機３００のマウスなどを用いて、１
つのレイヤ値ｉについて、その階層内にあると思われる
夫々（引数ｋ）の対象物（部分画像）を、ステップＳ６
０６において、点列Pi(k)として、指定するものであ
る。その結果はステップＳ６０８でメモリに記憶され
る。
て、ハードディスク５００内の所定の領域には、第４２
図のような、３つの画像毎に、更に、レイヤ毎に、オブ
ジェクト化された点列Pi(k)のテーブルが生成される。
画像生成用計算機４００はこのテーブルを参照して、階
層化モーフィングを行う。第３８図は、階層化処理の制
御手順を説明するフローチャートである。同図のステッ
プＳ６００乃至ステップＳ６１４のループは、第４２図
のオブジェクトテーブルを生成する工程を説明する。即
ち、ステップＳ６０４乃至ステップＳ６１０において
は、ユーザが、計算機３００のマウスなどを用いて、１
つのレイヤ値ｉについて、その階層内にあると思われる
夫々（引数ｋ）の対象物（部分画像）を、ステップＳ６
０６において、点列Pi(k)として、指定するものであ
る。その結果はステップＳ６０８でメモリに記憶され
る。
【０１６７】あるレイヤ（値ｉ）について全ての対象物
の指定が終了すると（ステップＳ６１０でＮＯ）、ステ
ップＳ６１２でカウンタｋを初期化し、ステップＳ６１
４で、対象（第３４図の画像）の画像内に他のレイヤと
して処理すべき部分画像があるかないかの入力をユーザ
に促す。処理すべき部分画像があるとユーザが判断すれ
ば、ステップＳ６０２乃至ステップＳ６１４までの工程
が繰り返される。
の指定が終了すると（ステップＳ６１０でＮＯ）、ステ
ップＳ６１２でカウンタｋを初期化し、ステップＳ６１
４で、対象（第３４図の画像）の画像内に他のレイヤと
して処理すべき部分画像があるかないかの入力をユーザ
に促す。処理すべき部分画像があるとユーザが判断すれ
ば、ステップＳ６０２乃至ステップＳ６１４までの工程
が繰り返される。
【０１６８】全ての部分画像を処理したならば、累積さ
れたレイヤの値はカウンタｉに記憶されている。そこ
で、ステップＳ６１６でその値をレジスタＮに記憶して
おく。
れたレイヤの値はカウンタｉに記憶されている。そこ
で、ステップＳ６１６でその値をレジスタＮに記憶して
おく。
【０１６９】ステップＳ６１８〜ステップＳ６２４の処
理は、各レイヤの部分画像の有効部分の画素値を保存
し、無効部分の画素値をFF（即ち黒色）とし、「隠れ部
分」についてはレタッチ処理を施すものである。
理は、各レイヤの部分画像の有効部分の画素値を保存
し、無効部分の画素値をFF（即ち黒色）とし、「隠れ部
分」についてはレタッチ処理を施すものである。
【０１７０】ステップＳ６１８〜ステップＳ６２４の処
理の具体例が第３９図乃至第４１図に説明されている。
また、第４４図は、階層化処理のためのアプリケーショ
ン・プログラムのプルダウンメニューを表している。第
４５図は、階層化処理アプリケーション・プログラムを
実行中に現在処理中のレイヤ番号とオブジェクト番号と
を示している。
理の具体例が第３９図乃至第４１図に説明されている。
また、第４４図は、階層化処理のためのアプリケーショ
ン・プログラムのプルダウンメニューを表している。第
４５図は、階層化処理アプリケーション・プログラムを
実行中に現在処理中のレイヤ番号とオブジェクト番号と
を示している。
【０１７１】レイヤ分割についてのユーザの操作を第４
４図を参照して説明する。
４図を参照して説明する。
【０１７２】最下位のレイヤ（レイヤI）は前述したよ
うに、元の原画像全体に与えられる。即ち、ファイルメ
ニューの新規作成を選択すると、分割対象の原画像を選
択すべくダイアローグが計算機３００のＣＲＴ上に標示
され、ユーザは原画像のファイル名を入力する。する
と、その画像がＣＲＴ上に標示される。ユーザは、レイ
ヤIとレイヤIIとの境界（閉曲線）をマウスによって指
定する。第３４図の例では、 点列1, 2, 16, 14, 10, 11, 12, 15, 4, 5, 6 によって指定する。勿論、境界の指定は、点列だけでは
なく、矩形領域指定アイコン、所謂「投げ縄」アイコ
ン、またはマウスによる自由曲線によっても指定でき
る。この状態で、ユーザが、編集メニュウの「レイヤ設
定」をマウスによってクリックすると、原画像の内部で
あって、 点列PI(1) =1, 2, 16, 14, 10, 11, 12, 15, 4, 5, 6
うに、元の原画像全体に与えられる。即ち、ファイルメ
ニューの新規作成を選択すると、分割対象の原画像を選
択すべくダイアローグが計算機３００のＣＲＴ上に標示
され、ユーザは原画像のファイル名を入力する。する
と、その画像がＣＲＴ上に標示される。ユーザは、レイ
ヤIとレイヤIIとの境界（閉曲線）をマウスによって指
定する。第３４図の例では、 点列1, 2, 16, 14, 10, 11, 12, 15, 4, 5, 6 によって指定する。勿論、境界の指定は、点列だけでは
なく、矩形領域指定アイコン、所謂「投げ縄」アイコ
ン、またはマウスによる自由曲線によっても指定でき
る。この状態で、ユーザが、編集メニュウの「レイヤ設
定」をマウスによってクリックすると、原画像の内部で
あって、 点列PI(1) =1, 2, 16, 14, 10, 11, 12, 15, 4, 5, 6
【０１７３】によって区画された境界の外側の領域が、
レイヤIとして割り付けられる。この時点では、ＣＲＴ
画面には、第４５図のように、現在のレイヤ番号とし
て、LL=01が、オブジェクト番号としてOB=01が表示され
ている。
レイヤIとして割り付けられる。この時点では、ＣＲＴ
画面には、第４５図のように、現在のレイヤ番号とし
て、LL=01が、オブジェクト番号としてOB=01が表示され
ている。
【０１７４】次に、ユーザが三角柱２０００によって形
成されるレイヤIIを設定したいときは、前述したよう
に、 点列PII(1) = 10→11→12→13→14 をマウスなどで選択し、「レイヤ設定」メニューを選択
すると、三角柱２０００の内部がレイヤIとして形成さ
れる。この時点では、ＣＲＴ画面には、現在のレイヤ番
号として、LL=02が、オブジェクト番号としてOB=01が表
示されている。
成されるレイヤIIを設定したいときは、前述したよう
に、 点列PII(1) = 10→11→12→13→14 をマウスなどで選択し、「レイヤ設定」メニューを選択
すると、三角柱２０００の内部がレイヤIとして形成さ
れる。この時点では、ＣＲＴ画面には、現在のレイヤ番
号として、LL=02が、オブジェクト番号としてOB=01が表
示されている。
【０１７５】もし同じレイヤに他のオブジェクトが存在
する（ステップＳ６１０でＹＥＳ）場合には、マウスな
どにより、そのオブジェクトの境界を選択（ステップＳ
６０８）して、「編集メニュー」の「オブジェクト設
定」副メニューを選択すると、その部分が別のオブジェ
クトとして形成される。このときには、ＣＲＴ画面に
は、現在のオブジェクト番号としてOB=02が表示される
ことになろう。
する（ステップＳ６１０でＹＥＳ）場合には、マウスな
どにより、そのオブジェクトの境界を選択（ステップＳ
６０８）して、「編集メニュー」の「オブジェクト設
定」副メニューを選択すると、その部分が別のオブジェ
クトとして形成される。このときには、ＣＲＴ画面に
は、現在のオブジェクト番号としてOB=02が表示される
ことになろう。
【０１７６】レイヤの設定やオブジェクトの設定は、以
上のようにして「編集メニュー」に掲げられた各種の機
能を駆使することにより実現でき、その結果、第３４図
の例の画像RI１は、レイヤIからレイヤIIIまでの３つの
レイヤに分割される。
上のようにして「編集メニュー」に掲げられた各種の機
能を駆使することにより実現でき、その結果、第３４図
の例の画像RI１は、レイヤIからレイヤIIIまでの３つの
レイヤに分割される。
【０１７７】尚、一度設定したレイヤやオブジェクトを
削除するときは、そのレイヤのオブジェクトの内部をマ
ウスでクリックし、「編集メニュー」の「レイヤ解除」
または「オブジェクト解除」副メニューを選択すること
により達成される。同メニューにより、レイヤやオブジ
ェクトが削除されたときは、全てのレイヤ番号やオブジ
ェクト番号は順に繰り下げられる。
削除するときは、そのレイヤのオブジェクトの内部をマ
ウスでクリックし、「編集メニュー」の「レイヤ解除」
または「オブジェクト解除」副メニューを選択すること
により達成される。同メニューにより、レイヤやオブジ
ェクトが削除されたときは、全てのレイヤ番号やオブジ
ェクト番号は順に繰り下げられる。
【０１７８】第３８図の制御手順のステップＳ６１６乃
至ステップＳ６２４の処理は、全てのレイヤと全てのオ
ブジェクトが設定された（ステップＳ６１４でＮＯの判
断）後において実行される処理であって、この処理は他
のレイヤのオブジェクトを黒で埋めるものである。
至ステップＳ６２４の処理は、全てのレイヤと全てのオ
ブジェクトが設定された（ステップＳ６１４でＮＯの判
断）後において実行される処理であって、この処理は他
のレイヤのオブジェクトを黒で埋めるものである。
【０１７９】まず、ステップＳ６１６で総レイヤ趨を記
憶するレジスタＮにカウンタｉの値をセーブする。ま
た、カウンタｉを０に初期化する。ステップＳ６１８で
は、最下位レイヤ（背景レイヤ）を選択するためにカウ
ンタｉを１だけインクリメントする。
憶するレジスタＮにカウンタｉの値をセーブする。ま
た、カウンタｉを０に初期化する。ステップＳ６１８で
は、最下位レイヤ（背景レイヤ）を選択するためにカウ
ンタｉを１だけインクリメントする。
【０１８０】ステップＳ６２０では、レイヤｉに属さな
い全てのレイヤのオブジェクトの画素を黒でペーストす
る。第３４図の画像RI1を例にすれば、レイヤIに対して
は第３９図のように、点列PI(1) =1, 2, 16, 14, 10, 1
1, 12, 15, 4, 5, 6の内部が黒で塗りつぶされる。
い全てのレイヤのオブジェクトの画素を黒でペーストす
る。第３４図の画像RI1を例にすれば、レイヤIに対して
は第３９図のように、点列PI(1) =1, 2, 16, 14, 10, 1
1, 12, 15, 4, 5, 6の内部が黒で塗りつぶされる。
【０１８１】ステップＳ６２２では、隠れ部分をレタッ
チする操作をユーザに促す。「隠れ部分」とは、レイヤ
ｉのいずれかのオブジェクトｋが、ｉ以外の他のレイヤ
のオブジェクトによって隠されている場合において、そ
の隠されている部分をいうものとする。そのような「隠
れ部分」はユーザがＣＲＴ画面を見ることにより認識可
能である。「隠れ部分」はユーザによって「レタッチ」
されることができる。「レタッチ」処理は、「隠れ部
分」がモーフィングによって可視的に顕在化する場合に
備えて、予め、色・模様・テクスチャ等を与えて、モー
フィングされた画像に見苦しい部分が発生しないように
するための処理である。
チする操作をユーザに促す。「隠れ部分」とは、レイヤ
ｉのいずれかのオブジェクトｋが、ｉ以外の他のレイヤ
のオブジェクトによって隠されている場合において、そ
の隠されている部分をいうものとする。そのような「隠
れ部分」はユーザがＣＲＴ画面を見ることにより認識可
能である。「隠れ部分」はユーザによって「レタッチ」
されることができる。「レタッチ」処理は、「隠れ部
分」がモーフィングによって可視的に顕在化する場合に
備えて、予め、色・模様・テクスチャ等を与えて、モー
フィングされた画像に見苦しい部分が発生しないように
するための処理である。
【０１８２】隠れ部分をユーザに選定させるために、Ｃ
ＲＴ上に「レタッチ元のテクスチャを選択して下さい」
とのメッセージが表示される。第３９図の例では、ユー
ザは「レタッチ」の処理が不要と考えために「隠れ部
分」の設定を行わなかった。
ＲＴ上に「レタッチ元のテクスチャを選択して下さい」
とのメッセージが表示される。第３９図の例では、ユー
ザは「レタッチ」の処理が不要と考えために「隠れ部
分」の設定を行わなかった。
【０１８３】ステップＳ６２４からステップＳ６１８に
戻り、次のレイヤのオブジェクト（第３４図の例ではレ
イヤII）が選択される。レイヤIiに対してステップＳ６
２０の処理が施されると、レイヤIとレイヤIIIの領域が
黒で塗りつぶされるために、第４０図のような画面がＣ
ＲＴ上に表示される。
戻り、次のレイヤのオブジェクト（第３４図の例ではレ
イヤII）が選択される。レイヤIiに対してステップＳ６
２０の処理が施されると、レイヤIとレイヤIIIの領域が
黒で塗りつぶされるために、第４０図のような画面がＣ
ＲＴ上に表示される。
【０１８４】ステップＳ６２２で、ＣＲＴ上に「レタッ
チ元のテクスチャを選択して下さい」とのメッセージが
表示される。この時点でユーザは、レイヤIIの三角柱２
０００のオブジェクトの一部がレイヤIIIの四角柱１０
００の一部によって隠されていることを知っている。そ
の隠れ部分の領域は、 点列：16, 3, 15, 13 であり、かかる部分の画素値はレイヤIIIの四角柱１０
００の対応領域の画素値であろう。そこで、ユーザは、
その隠れ部分領域を、三角柱２０００のテクスチャでレ
タッチするために、三角柱２０００の所望の領域をマウ
スで選択し、「編集メニュー」の「レタッチ元」副メニ
ューを選択する。そして、点列：16, 3, 15, 13に囲ま
れた領域をマウスでクリックして、「編集メニュー」の
「レタッチ先」副メニューを選択すると、上記隠れ部分
領域には、「レタッチ元」メニューで選択されたテクス
チャが繰り返しペーストされる。
チ元のテクスチャを選択して下さい」とのメッセージが
表示される。この時点でユーザは、レイヤIIの三角柱２
０００のオブジェクトの一部がレイヤIIIの四角柱１０
００の一部によって隠されていることを知っている。そ
の隠れ部分の領域は、 点列：16, 3, 15, 13 であり、かかる部分の画素値はレイヤIIIの四角柱１０
００の対応領域の画素値であろう。そこで、ユーザは、
その隠れ部分領域を、三角柱２０００のテクスチャでレ
タッチするために、三角柱２０００の所望の領域をマウ
スで選択し、「編集メニュー」の「レタッチ元」副メニ
ューを選択する。そして、点列：16, 3, 15, 13に囲ま
れた領域をマウスでクリックして、「編集メニュー」の
「レタッチ先」副メニューを選択すると、上記隠れ部分
領域には、「レタッチ元」メニューで選択されたテクス
チャが繰り返しペーストされる。
【０１８５】こうして、モーフィング時に備えて、隠れ
部分領域はユーザが最適と判断したテクスチャによって
「レタッチ」される。このために、モーフィングされた
画像には不自然な領域が発生することが防止される。
部分領域はユーザが最適と判断したテクスチャによって
「レタッチ」される。このために、モーフィングされた
画像には不自然な領域が発生することが防止される。
【０１８６】ステップＳ６１８〜ステップＳ６２２２の
処理がレイヤIIIに対して行われると第４１図のような
画面が得られる。
処理がレイヤIIIに対して行われると第４１図のような
画面が得られる。
【０１８７】かくして、第２実施例の「階層化」アプリ
ケーション・プログラムの制御手順（第３８図）によ
り、元の画像はレイヤ毎に分割され、各レイヤはオブジ
ェクト毎に分割されて、新たな階層化画像データが第４
２図のようなテーブル形式で作成される。結果、階層化
モーフィング処理（第４３図の制御手順）において、階
層毎にモーフィングを行うための準備が完了した。
ケーション・プログラムの制御手順（第３８図）によ
り、元の画像はレイヤ毎に分割され、各レイヤはオブジ
ェクト毎に分割されて、新たな階層化画像データが第４
２図のようなテーブル形式で作成される。結果、階層化
モーフィング処理（第４３図の制御手順）において、階
層毎にモーフィングを行うための準備が完了した。
【０１８８】本発明の階層化処理は、本来は連続的に変
化する三次元物体の撮影画像を、階段的に（階層的に）
「輪切り」にして、視点位置の移動によって隠れること
となる画像部分を顕在化させるものである。この階層化
処理（第３８図の手順）を第３６図の物体に適用する
と、第３７図のような、階段状のオブジェクト画像が得
られる。
化する三次元物体の撮影画像を、階段的に（階層的に）
「輪切り」にして、視点位置の移動によって隠れること
となる画像部分を顕在化させるものである。この階層化
処理（第３８図の手順）を第３６図の物体に適用する
と、第３７図のような、階段状のオブジェクト画像が得
られる。
【０１８９】第３１図のウォークスルーアプリケーショ
ン・プログラムの処理の説明に戻る。ステップＳ３１０
でハードディスク装置５００から取り出される画像デー
タは、第３２図のステップＳ４０２などにより、階層化
モーフィングを行うべきか、通常モーフィング処理を行
うべきかによって異なる。もし、ステップＳ４０２，ス
テップＳ４０４で、ユーザの視点位置が階層化モーフィ
ング処理を行うべき領域にまでウォークスルーしてきた
と判断された場合には、ステップＳ３１０で取り出すべ
き画像データは第４２図のように階層化された画像デー
タとなろう。そこで、第３２図のステップＳ４０６で
は、階層化モーフィング処理を行う。ステップＳ４０６
の詳細は第４３図に示されている。
ン・プログラムの処理の説明に戻る。ステップＳ３１０
でハードディスク装置５００から取り出される画像デー
タは、第３２図のステップＳ４０２などにより、階層化
モーフィングを行うべきか、通常モーフィング処理を行
うべきかによって異なる。もし、ステップＳ４０２，ス
テップＳ４０４で、ユーザの視点位置が階層化モーフィ
ング処理を行うべき領域にまでウォークスルーしてきた
と判断された場合には、ステップＳ３１０で取り出すべ
き画像データは第４２図のように階層化された画像デー
タとなろう。そこで、第３２図のステップＳ４０６で
は、階層化モーフィング処理を行う。ステップＳ４０６
の詳細は第４３図に示されている。
【０１９０】即ち、第４３図のステップＳ４０６ａで
は、カウンタｉとｋとを初期化し、ステップＳ４０６ｂ
では、次の階層を選択するためにカウンタｉを１だけイ
ンクリメントし、ステップＳ４０６ｃでは、オブジェク
トｋ＋１を選択し、ステップＳ４０６ｄでは、３枚の画
像（第３４図の例ではRI1，RI2，RI3）のうちの、カウ
ンタｉとカウンタｋによって指定されるオブジェクト
（ｉ，ｋ）の画像データに対しての、第１実施例のモー
フィング処理を行う。ステップＳ４０６ｃ乃至ステップ
Ｓ４０６ｅの処理を全てのオブジェクトに対して行い、
ステップＳ４０６ｂ乃至ステップＳ４０６ｆの処理を全
てのレイヤの全てのオブジェクトに対して行う。以上の
ようにして階層化モーフィング処理が終了する。
は、カウンタｉとｋとを初期化し、ステップＳ４０６ｂ
では、次の階層を選択するためにカウンタｉを１だけイ
ンクリメントし、ステップＳ４０６ｃでは、オブジェク
トｋ＋１を選択し、ステップＳ４０６ｄでは、３枚の画
像（第３４図の例ではRI1，RI2，RI3）のうちの、カウ
ンタｉとカウンタｋによって指定されるオブジェクト
（ｉ，ｋ）の画像データに対しての、第１実施例のモー
フィング処理を行う。ステップＳ４０６ｃ乃至ステップ
Ｓ４０６ｅの処理を全てのオブジェクトに対して行い、
ステップＳ４０６ｂ乃至ステップＳ４０６ｆの処理を全
てのレイヤの全てのオブジェクトに対して行う。以上の
ようにして階層化モーフィング処理が終了する。
【０１９１】第３１図のステップＳ４００で、補間モー
フィング処理（詳細は第３２図）が終了すると、ステッ
プＳ５００でレンダリング（描画処理）が行われる。レ
ンダリング（描画処理）は、モーフィングが階層化モー
フィングによる階層化画像データをレンダリングすると
きは、１つのあるレイヤｉに属する全てのオブジェクト
のモーフィングされた階層化画像データを合成し、更に
全ての階層の階層化画像データを合成する。この合成後
の画像をステップＳ５０４，ステップＳ５０６でスクリ
ーン装置１００に表示する。
フィング処理（詳細は第３２図）が終了すると、ステッ
プＳ５００でレンダリング（描画処理）が行われる。レ
ンダリング（描画処理）は、モーフィングが階層化モー
フィングによる階層化画像データをレンダリングすると
きは、１つのあるレイヤｉに属する全てのオブジェクト
のモーフィングされた階層化画像データを合成し、更に
全ての階層の階層化画像データを合成する。この合成後
の画像をステップＳ５０４，ステップＳ５０６でスクリ
ーン装置１００に表示する。
【０１９２】第２実施例を種々変形することができる。
即ち、第２実施例の通常モーフィング処理も階層化モー
フィング処理も、３枚の画像に基づいてモーフィングす
るものであったが、実施形態の手法と同じように２枚の
画像に基づく変形例に対しても本発明を適用できる。
即ち、第２実施例の通常モーフィング処理も階層化モー
フィング処理も、３枚の画像に基づいてモーフィングす
るものであったが、実施形態の手法と同じように２枚の
画像に基づく変形例に対しても本発明を適用できる。
【０１９３】また、通常モーフィング処理として、周知
のパノラマ画像の単なる切換処理を導入してもよい。
のパノラマ画像の単なる切換処理を導入してもよい。
【０１９４】本発明の画像処理をウォークスルーアプリ
ケーション・プログラムに適用した例を用いて説明した
が、本発明の適用範囲はウォークスルーに限定されず、
およそ、複数（２点以上）の視点から撮像した画像に基
づいて補間モーフィングを行う適用分野であれば、いか
なる分野にも適用可能である。
ケーション・プログラムに適用した例を用いて説明した
が、本発明の適用範囲はウォークスルーに限定されず、
およそ、複数（２点以上）の視点から撮像した画像に基
づいて補間モーフィングを行う適用分野であれば、いか
なる分野にも適用可能である。
【０１９５】
【発明の効果】以上説明したように、本発明によれば、
補間画像を生成する際の制約を払拭して任意の視点位置
でも仮想画像を補間により生成することができた。
補間画像を生成する際の制約を払拭して任意の視点位置
でも仮想画像を補間により生成することができた。
【図１】 従来技術において、線形補間において歪みが
発生する理由を説明する図。
発生する理由を説明する図。
【図２】 従来技術において、画像の視線方向を基線に
直交する処理を行えば歪みが発生しない理由を説明する
図。
直交する処理を行えば歪みが発生しない理由を説明する
図。
【図３】 従来技術において、歪みを除去できない理由
を説明する図。
を説明する図。
【図４】 本発明の実施形態における、非線形補間の原
理を説明する図。
理を説明する図。
【図５】 実施形態の非線形補間の前処理として、画像
の光軸を一致させる処理を説明する図。
の光軸を一致させる処理を説明する図。
【図６】 非線形補間処理が必要な場合を説明する図。
【図７】 実施形態の非線形補間処理を説明する図。
【図８】 非線形補間の前処理として、画像の光軸を一
致させる処理を説明する図。
致させる処理を説明する図。
【図９】 非線形補間の前処理として、画像の光軸を一
致させる処理を説明する図。
致させる処理を説明する図。
【図１０】 実施形態の非線形補間処理の原理を説明す
る図。
る図。
【図１１】 非線形補間処理後に画像をユーザの視線方
向に一致させるための回転処理を説明する図。
向に一致させるための回転処理を説明する図。
【図１２】 本発明の第１実施例において、３つの画像
を用いることが必要であることを説明する図。
を用いることが必要であることを説明する図。
【図１３】 本発明の第１実施例において、３つの画像
を用いることが必要であることを説明する図。
を用いることが必要であることを説明する図。
【図１４】 １つの内分点がユーザ視点位置に一致する
ように、２つの内分点の取り方の１手法を説明する図。
ように、２つの内分点の取り方の１手法を説明する図。
【図１５】 １つの内分点がユーザ視点位置に一致する
ように、２つの内分点の取り方の他の手法を説明する
図。
ように、２つの内分点の取り方の他の手法を説明する
図。
【図１６】 １つの内分点がユーザ視点位置に一致する
ように、２つの内分点の取り方の他の手法を説明する
図。
ように、２つの内分点の取り方の他の手法を説明する
図。
【図１７】 第１実施例の線形補間の原理を説明する
図。
図。
【図１８】 第１実施例の線形補間の原理を説明する
図。
図。
【図１９】 第１実施例の線形補間の原理を説明する
図。
図。
【図２０】 選択対象の画像を切り替えることにより移
動範囲が拡張する理由を説明する図。
動範囲が拡張する理由を説明する図。
【図２１】 第１実施例の制御手順の全体を示すフロー
チャート。
チャート。
【図２２】 制御手順の前処理の詳細を説明するフロー
チャート。
チャート。
【図２３】 画像セットの組合せにおいて異なるセット
に同一の画像が含まれることを許す理由を説明する図。
に同一の画像が含まれることを許す理由を説明する図。
【図２４】 第１実施例の補間処理のための制御手順を
示すフローチャート。
示すフローチャート。
【図２５】 第１実施例の補間処理のための制御手順を
示すフローチャート。
示すフローチャート。
【図２６】 包含関係を説明する図。
【図２７】 第１実施例の手法が更に拡張される理由を
説明する図。
説明する図。
【図２８】 実施形態や第１実施例における補間原理を
概略化して説明する図。
概略化して説明する図。
【図２９】 本発明を仮想空間のウォークスルーに適用
した第２実施例における、視点位置の相違に応じたモー
フィングの切換を説明する図。
した第２実施例における、視点位置の相違に応じたモー
フィングの切換を説明する図。
【図３０】 第２実施例に係るウォークスルーシステム
の構成を説明する図。
の構成を説明する図。
【図３１】 第２実施例のウォークスルーアプリケーシ
ョン・プログラムの前提手順を説明するフローチャー
ト。
ョン・プログラムの前提手順を説明するフローチャー
ト。
【図３２】 図３１のステップＳ４０の詳細を説明する
フローチャート。
フローチャート。
【図３３】 第２実施例において、対象物体間に前後関
係がある場合を説明する図。
係がある場合を説明する図。
【図３４】 図３３の対象物体を撮像して得られた３つ
の基となる画像を制御装置３００のＣＲＴ画面に表示し
たときの画面の図。
の基となる画像を制御装置３００のＣＲＴ画面に表示し
たときの画面の図。
【図３５】 第２実施例で、空間を、奥行き距離を参照
しながら複数のレイヤに分割する原理を説明する図。
しながら複数のレイヤに分割する原理を説明する図。
【図３６】 視線方向にとがった対象物体と視点位置と
の関係を説明する図。
の関係を説明する図。
【図３７】 図３６の物体の画像を第２実施例の階層化
分割に従って分割したときの部分画像の生成の様子を説
明する図。
分割に従って分割したときの部分画像の生成の様子を説
明する図。
【図３８】 第２実施例のモーフィングに適した画像を
生成するための前処理工程（階層化処理）の制御手順を
説明するフローチャート。
生成するための前処理工程（階層化処理）の制御手順を
説明するフローチャート。
【図３９】 第２実施例の前処理におけるステップＳ６
１６乃至ステップＳ６２４の動作を具体例（レイヤI）
を用いて説明する図。
１６乃至ステップＳ６２４の動作を具体例（レイヤI）
を用いて説明する図。
【図４０】 第２実施例の前処理におけるステップＳ６
１６乃至ステップＳ６２４の動作を具体例（レイヤII）
を用いて説明する図。
１６乃至ステップＳ６２４の動作を具体例（レイヤII）
を用いて説明する図。
【図４１】 第２実施例の前処理におけるステップＳ６
１６乃至ステップＳ６２４の動作を具体例（レイヤII
I）を用いて説明する図。
１６乃至ステップＳ６２４の動作を具体例（レイヤII
I）を用いて説明する図。
【図４２】 第２実施例の前処理により生成された階層
化画像データの構造を説明する図。
化画像データの構造を説明する図。
【図４３】 図３２のステップＳ４０６の詳細な手順を
説明するフローチャート。
説明するフローチャート。
【図４４】 第２実施例の階層化アプリケーション・プ
ログラムが表示するプルダウンメニューを説明する図。
ログラムが表示するプルダウンメニューを説明する図。
【図４５】 第２実施例の前処理において、制御装置３
００のＣＲＴ画面に表示される、現在指定されているレ
イヤとオブジェクトの番号を表示するウインドを説明す
る図。
００のＣＲＴ画面に表示される、現在指定されているレ
イヤとオブジェクトの番号を表示するウインドを説明す
る図。
フロントページの続き Ｆターム(参考） 5B050 BA11 DA07 EA12 EA19 EA24 EA27 FA02 5B057 BA02 CD03 CE08 DA07 DC05 DC32 5C023 AA01 AA03 AA34 AA37 AA38 AA40 CA01 DA04 DA08
Claims (71)
- 【請求項１】 第１の視点位置と第２の視点位置におい
て夫々得られた第１と第２の画像に基づいて、前記２つ
の視点位置と異なるユーザ視点位置における補間画像を
生成する方法であって、 前記第１の画像と第２の画像を，それらを夫々撮影した
カメラの光軸が、前記第１の視点位置と前記第２の視点
位置との間を結ぶ基線方向に略一致する第１の方向とな
るように、前記第１の視点位置と第２の視点位置の夫々
の周りに回転する第１の回転工程と、 所定の特徴点についての前記第１の画像中の第１の対応
点の座標と前記特徴点の前記第２の画像中の第２の対応
点の座標に非線形の比例配分を施すことにより、前記ユ
ーザ視点位置において前記第１の方向を視線方向として
有する補間画像の対応点の座標を演算する第１の座標補
間工程と、 前記補間画像を前記第１の方向から前記ユーザ視点位置
における視線方向に回転し、回転後の画像を補間画像と
して出力する第２の回転工程とを具備することを特徴と
する画像の補間方法。 - 【請求項２】 前記第１の画像の視野が前記第２の画像
のレンズ中心を含むか否か、あるいは前記第２の画像の
視野が前記第１の画像のレンズ中心を含むか否かを判断
する判断工程を更に具備し、 前記第１の回転工程は、肯定と判断された場合に実行さ
れることを特徴とする請求項１に記載の画像の補間方
法。 - 【請求項３】 前記第１の画像の視野が前記第２の画像
のレンズ中心を含むか否か、あるいは前記第２の画像の
視野が前記第１の画像のレンズ中心を含むか否かを判断
する判断工程と、 前記判断工程での判断結果が否である場合に、前記第１
の回転工程を実行せずに、前記第１の画像と第２の画像
とを、それらの光軸を前記基線方向に夫々略直交するよ
うに、前記第１の視点位置と第２の視点位置の夫々の周
りに回転する第３の回転工程と、 前記第１の画像の第１の対応点の座標と前記第２の画像
の第２の対応点の座標に線形の比例配分を施すことによ
り、前記ユーザ視点位置において前記基線方向に直交す
る第２の方向を視線方向として有する補間画像の対応点
の座標を演算す る第２の座標補間工程と、前記補間画像を前記第２の方
向から前記ユーザ視点位置における視線方向に回転し、
回転後の画像を補間画像として出力する第４の回転工程
とを具備することを特徴とする請求項１乃至２のいずれ
かに記載の画像の補間方法。 - 【請求項４】 前記ユーザ視点位置は、前記第１の視点
位置と前記第２の視点位置との間を、ｔ対１−ｔに内分
する場合に、 前記第１の座標補間工程における前記非線形の比例配分
処理は、前記補間画像の座標の逆数値1/xeが、前記第１
の対応点座標の逆数値1/xAと前記第２の対応点の座標の
逆数値1/xBをｔ対１−ｔに内分することにより得られる
ものであることを特徴とする請求項１乃至３のいずれか
に記載の画像の補間方法。 - 【請求項５】 前記ユーザ視点位置は、前記第１の視点
位置と前記第２の視点位置との間を、ｔ対１−ｔに内分
する場合に、 前記第２の座標補間工程における前記線形の比例配分処
理は、前記補間画像の座標値xeが、前記第１の対応点の
座標値xAと前記第２の対応点の座標値xBをｔ対１−ｔに
内分することにより得られるものであることを特徴とす
る請求項３に記載の画像の補間方法。 - 【請求項６】 前記第１の画像と前記第２の画像とは少
なくとも同じ対象物に由来する対応点の画像データを有
するか否かを判断する工程を更に具備することを特徴と
する請求項１乃至５のいずれかに記載の画像の補間方
法。 - 【請求項７】 前記第１の画像と前記第２の画像とは少
なくとも同じ対象物に由来する対応点の画像データを有
さないときには、画像データベースから、少なくとも対
応点を有する他の画像を探索する工程を更に具備するこ
とを特徴とする請求項１乃至６のいずれかに記載の画像
の補間方法。 - 【請求項８】 前記第１と第２の視点位置は、撮像時の
カメラ視点位置とカメラの光軸方向によって規定され、
前記ユーザ視点位置は、ユーザの視点位置とユーザの視
線方向によって規定されることを特徴とする請求項１乃
至７のいずれかに記載の画像の補間方法。 - 【請求項９】 前記第２の回転工程または第４の回転工
程から出力される補間画像はパノラマ画像としてユーザ
に提示されることを特徴とする請求項１乃至８のいずれ
かに記載の画像の補間方法。 - 【請求項１０】 第１の視点位置と第２の視点位置と第
３の視点位置において夫々得られた第１の画像と第２の
画像と第３の画像とに基づいて、前記３つの視点位置と
異なるユーザ視点位置における補間画像を生成する方法
であって、 前記第１の画像乃至第３の画像のいずれか２つが包含関
係にあるか否かを判断する判断工程と、 前記ユーザ視点位置と前記第１の視点位置乃至第３の視
点位置との関係に基づいて、第１の内分比と第２の内分
比とを求める内分比演算工程と、 包含関係にある視点位置を有する任意の２つの画像に対
して、非線形比例配分処理を施すことにより、前記２つ
の視点位置間の内分点位置において基線方向の視線方向
を有する一時仮想画像を補間生成する第１の座標補間工
程と、 包含関係にない視点位置を有する任意の２つの画像に対
して、線形比例配分処理を施すことにより、前記２つの
視点位置間の内分点位置において基線方向に直交する方
向の視線方向を有する一時仮想画像を補間生成する第２
の座標補間工程と、 前記第１の画像と第２の画像が包含関係にあるかないか
に応じて、前記第１の画像と第２の画像に対して、前記
第１の内分比を用いて前記第１のモーフィング処理又は
第２のモーフィング処理のいずれか一方を施すことによ
り、前記第１の内分比に対応する内分点位置における一
時仮想画像を生成する第１画像補間工程と、 前記一時仮想画像と第３の画像が包含関係にあるかない
かに応じて、前記一時仮想画像と第３の画像に対して、
前記第２の内分比を用いて前記第１のモーフィング処理
又は第２のモーフィング処理のいずれか一方を施すこと
により、前記第２の内分比に対応する前記ユーザ視点位
置における補間画像を生成する第２画像補間工程と、 第２画像補間工程において得られた前記補間画像を前記
ユーザ視点位置における視線方向に回転し、回転後の画
像を補間画像として出力する回転工程とを具備すること
を特徴とする画像の補間方法。 - 【請求項１１】 前記第１の座標補間工程においては、
前記任意の２つの画像を夫々の視点位置において、基線
方向に前記任意の２つの画像を回転して夫々の光軸を一
致させる工程を具備し、回転された２つの画像に対して
前記補間処理が施されることを特徴とする請求項１０に
記載の画像の補間方法。 - 【請求項１２】 前記第２の座標補間工程においては、
前記任意の２つの画像を夫々の視点位置において、基線
方向に直交する方向に前記任意の２つの画像を回転して
前記任意の２つの画像を平行にする工程を具備し、回転
された２つの画像に対して前記補間処理が施されること
を特徴とする請求項１０または１１に記載の画像の補間
方法。 - 【請求項１３】 前記判断工程は、一方の画像の視野が
他方の画像のレンズ中心を含むか否かを判断することを
特徴とする請求項１０乃至１２のいずれかに記載の画像
の補間方法。 - 【請求項１４】 前記第１の視点位置と前記第２の視点
位置との間を前記第１の内分比に分割する一時仮想位置
PTと、前記第３の視点位置との間を前記第２の内分比に
分割する視点位置は前記ユーザ視点位置に一致すること
を特徴とする請求項１０乃至１３のいずれかに記載の画
像の補間方法。 - 【請求項１５】 前記第１の座標補間工程においては、
前記一時仮想画像の座標の逆数値1/xeが、前記２つの画
像の一方の第１の対応点の座標の逆数値1/xAと、他方の
画像の第２の対応点の座標の逆数値1/xBを前記第１の内
分比に内分することにより得られることを特徴とする請
求項１０乃至１４のいずれかに記載の画像の補間方法。 - 【請求項１６】 前記第２の座標補間工程においては、
前記一時仮想画像の座標値xeが、前記２つの画像の一方
の第１の対応点の座標値xAと、他方の画像の第２の対応
点の座標値xBを前記第２の内分比に内分することにより
得られることを特徴とする請求項１０乃至１５に記載の
画像の補間方法。 - 【請求項１７】 前記第１の画像乃至第３の画像は少な
くとも同じ対象物に由来する対応点の画像データを有す
るか否かを判断する工程を更に具備することを特徴とす
る請求項１０乃至１６のいずれかに記載の画像の補間方
法。 - 【請求項１８】 前記第１の画像乃至第３の画像が少な
くとも同じ対象物に由来する対応点の画像データを有さ
ないときには、画像データベースから、少なくとも対応
点を有する他の画像を探索する工程を更に具備すること
を特徴とする請求項１０乃至１７のいずれかに記載の画
像の補間方法。 - 【請求項１９】 前記第１乃至第３の画像の視点位置
は、撮像時のカメラ視点位置とカメラの光軸方向によっ
て規定され、前記ユーザ視点位置は、ユーザの視点位置
とユーザの視線方向によって規定されることを特徴とす
る請求項１０乃至１８のいずれかに記載の画像の補間方
法。 - 【請求項２０】 前記回転工程から出力される補間画像
はパノラマ画像としてユーザに提示されることを特徴と
する請求項１０乃至１９のいずれかに記載の画像の補間
方法。 - 【請求項２１】 複数の画像を夫々の視点位置情報と共
に予め記憶する画像データベースと、 ユーザの視線方向を視点位置と共に検出する手段と、 ユーザの視線方向の対応点を含む第１乃至第３の画像を
前記画像データベースから探索する手段と、 前記第１の画像乃至第３の画像のいずれか２つが包含関
係にあるか否かを判断する判断手段と、 前記ユーザ視点位置と前記第１の視点位置乃至第３の視
点位置との関係に基づいて、第１の内分比と第２の内分
比とを求める内分比演算手段と、 包含関係にある視点位置を有する任意の２つの画像に対
して、非線形比例配分処理を施すことにより、前記２つ
の視点位置間の内分点位置において基線方向の視線方向
を有する一時仮想画像を補間生成する第１の座標補間手
段と、 包含関係にない視点位置を有する任意の２つの画像に対
して、線形比例配分処理を施すことにより、前記２つの
視点位置間の内分点位置において基線方向に直交する方
向の視線方向を有する一時仮想画像を補間生成する第２
の座標補間手段と、 前記第１の画像と第２の画像が包含関係にあるかないか
に応じて、前記第１の画像と第２の画像に対して、前記
第１の内分比を用いて前記第１のモーフィング処理又は
第２のモーフィング処理のいずれか一方を施すことによ
り、前記第１の内分比に対応する内分点位置における一
時仮想画像を生成する第１画像補間手段と、 前記一時仮想画像と第３の画像が包含関係にあるかない
かに応じて、前記一時仮想画像と第３の画像に対して、
前記第２の内分比を用いて前記第１のモーフィング処理
又は第２のモーフィング処理のいずれか一方を施すこと
により、前記第２の内分比に対応する前記ユーザ視点位
置における補間画像を生成する第２画像補間手段と、 第２画像補間手段において得られた前記補間画像を前記
ユーザ視点位置における視線方向に回転し、回転後の画
像を補間画像として出力する回転手段とを具備すること
を特徴とする画像処理装置。 - 【請求項２２】 前記第１の座標補間手段においては、
前記任意の２つの画像を夫々の視点位置において、基線
方向に前記任意の２つの画像を回転して夫々の光軸を一
致させる手段を具備し、回転された２つの画像に対して
前記補間処理が施されることを特徴とする請求項２１に
記載の画像処理装置。 - 【請求項２３】 前記第２の座標補間手段においては、
前記任意の２つの画像を夫々の視点位置において、基線
方向に直交する方向に前記任意の２つの画像を回転して
前記任意の２つの画像を平行にする手段を具備し、回転
された２つの画像に対して前記補間処理が施されること
を特徴とする請求項２１または２２に記載の画像処理装
置。 - 【請求項２４】 前記判断手段は、一方の画像の視野が
他方の画像のレンズ中心を含むか否かを判断することを
特徴とする請求項２１乃至２３のいずれかに記載の画像
処理装置。 - 【請求項２５】 前記第１の視点位置と前記第２の視点
位置との間を前記第１の内分比に分割する一時仮想位置
PTと、前記第３の視点位置との間を前記第２の内分比に
分割する視点位置は前記ユーザ視点位置に一致すること
を特徴とする請求項２１乃至２４のいずれかに記載の画
像処理装置。 - 【請求項２６】 前記第１の座標補間手段においては、
前記一時仮想画像の座標の逆数値1/xeが、前記２つの画
像の一方の第１の対応点の座標の逆数値1/xAと、他方の
画像の第２の対応点の座標の逆数値1/xBを前記第１の内
分比に内分することにより得られることを特徴とする請
求項２１乃至２５のいずれかに記載の画像処理装置。 - 【請求項２７】 前記第２の座標補間手段においては、
前記一時仮想画像の座標値xeが、前記２つの画像の一方
の第１の対応点の座標値xAと、他方の画像の第２の対応
点の座標値xBを前記第２の内分比に内分することにより
得られることを特徴とする請求項２１乃至２６に記載の
画像処理装置。 - 【請求項２８】 前記第１の画像乃至第３の画像は少な
くとも同じ対象物に由来する対応点の画像データを有す
るか否かを判断する手段を更に具備することを特徴とす
る請求項２１乃至２７のいずれかに記載の画像処理装
置。 - 【請求項２９】 前記第１の画像乃至第３の画像が少な
くとも同じ対象物に由来する対応点の画像データを有さ
ないときには、画像データベースから、少なくとも対応
点を有する他の画像を探索する手段を更に具備すること
を特徴とする請求項２１乃至２８のいずれかに記載の画
像処理装置。 - 【請求項３０】 前記第１乃至第３の画像の視点位置
は、撮像時のカメラ視点位置とカメラの光軸方向によっ
て規定され、前記ユーザ視点位置は、ユーザの視点位置
とユーザの視線方向によって規定されることを特徴とす
る請求項２１乃至２９のいずれかに記載の画像処理装
置。 - 【請求項３１】 前記回転手段から出力される補間画像
はパノラマ画像としてユーザに提示されることを特徴と
する請求項２１乃至３０のいずれかに記載の画像処理装
置。 - 【請求項３２】 前記第１画像補間手段により生成され
た一時仮想画像をその視点位置情報と共に前記画像デー
タベースに記憶する手段を更に具備することを特徴とす
る請求項２１乃至３１のいずれかに記載の画像処理装
置。 - 【請求項３３】 前記第２画像補間手段により生成され
た一時仮想画像をその視点位置情報と共に前記画像デー
タベースに記憶する手段を更に具備することを特徴とす
る請求項２１乃至３２のいずれかに記載の画像処理装
置。 - 【請求項３４】 コンピュータにより実行されるプログ
ラムを記憶するプログラム記憶媒体であって、請求項１
乃至２０のいずれかに記載の補間方法を実現するプログ
ラムコードを記憶するコンピュータプログラム記憶媒
体。 - 【請求項３５】 対象物体を第１と第２の視点位置にお
いて夫々撮像した第１と第２の二次元画像を処理してモ
ーフィング画像を生成する画像処理装置であって、 前記第１の二次元画像を前記第１の視点位置からの複数
の奥行き距離の夫々に応じて複数の第１の二次元部分画
像に分割すると共に、前記第２の二次元画像を前記第２
の視点位置からの複数の奥行き距離の夫々に応じて複数
の第２の二次元部分画像に分割する分割手段を具備する
ことを特徴とする画像処理装置。 - 【請求項３６】 前記分割手段は、 前記第１と第２の二次元画像を表示する表示手段と、 ユーザに、表示された前記第１と第２の二次元画像内の
夫々の部分領域を、これらに奥行き距離に対応する階層
情報を付して、一対の二次元部分画像として指定する第
１の指定手段とを具備することを特徴とする請求項３５
に記載の画像処理装置。 - 【請求項３７】 前記第１の指定手段は、 前記任意視点位置に対してより近い方の階層に属する二
次元部分画像によって、より遠い方の階層に属する二次
元部分画像が隠されている部分領域を前記表示手段上に
おいて指定する第２の指定手段と、 前記隠されている部分領域の画素値をユーザにレタッチ
処理可能にさせるレタッチ手段とを具備することを特徴
とする請求項３６に記載の画像処理装置。 - 【請求項３８】 前記第１の指定手段は、 第１階層情報値を有する一対の二次元部分画像につい
て、前記第１階層情報値以外の値の第２階層情報値を有
する１つまたは複数対の二次元部分画像の画素値を所定
の固定値に書き換える書き換え手段を具備することを特
徴とする請求項３６に記載の画像処理装置。 - 【請求項３９】 前記所定の固定値は黒を示す画素値で
あることを特徴とする請求項３８に記載の画像処理装
置。 - 【請求項４０】 前記分割手段は、ある階層に対応する
一対の第１と第２の二次元部分画像において、複数の部
分領域を指定する第３の指定手段を具備することを特徴
とする請求項３５乃至３９のいずれかに記載の画像処理
装置。 - 【請求項４１】 前記分割手段は、 元の第１と第２の二次元画像と、 複数対の二次元部分画像と、 階層情報とを併せて記憶することを特徴とする請求項３
５乃至４０のいずれかに記載の画像処理装置。 - 【請求項４２】 請求項３５乃至４１のいずれかに記載
の画像処理装置によって生成され記憶された複数対の二
次元部分画像を読み出して、任意の視点位置からの画像
を生成するモーフィング処理を施す画像表示装置であっ
て、 各奥行き距離に対応する一対の第１の二次元部分画像と
第２の二次元部分画像とに基づいて、任意の視点位置か
らの部分モーフィング画像を生成する処理を、全ての奥
行き距離に対応する二次元部分画像の対に対して行う第
１のモーフィング処理手段と、 前記第１のモーフィング処理手段により生成された各奥
行き距離に対応する部分モーフィング画像を合成し、合
成画像を所定の表示装置に表示する表示手段とを具備す
ることを特徴とする画像表示装置。 - 【請求項４３】 ウォークスルーアプリケーションに適
用したことを特徴とする請求項４２に記載の画像表示装
置。 - 【請求項４４】 前記任意の視点位置に関する情報を入
力する入力手段を更に具備することを特徴とする請求項
４３に記載の画像表示装置。 - 【請求項４５】 前記入力手段は、視点位置の値を仮想
的に変更することを特徴とする請求項４４に記載の画像
表示装置。 - 【請求項４６】 前記第１と第２の二次元画像に直接基
づいてモーフィング画像を生成する第２のモーフィング
処理手段と、 前記第１のモーフィング処理手段と第２のモーフィング
処理手段とを選択的に切り替える切換手段とを更に具備
することを特徴とする請求項４２乃至４５のいずれかに
記載の画像表示装置。 - 【請求項４７】 前記任意の視点位置に関する情報を入
力する入力手段と、 ウォークスルー仮想空間内の任意のウォークスルー経路
について、そのウォークスルー経路にユーザの視点位置
が存在した場合に、前記第１のモーフィング処理と第２
のモーフィング処理のいずれを適用すべきかを前もって
決定しておき、その決定結果を表す情報を前記ウォーク
スルー経路の位置と共に記憶するメモリとを具備し、 前記切換手段は、前記入力手段が入力した視点位置の情
報に対応する決定結果情報を前記メモリから取り出し、
この情報を基にして前記第１のモーフィング処理手段と
第２のモーフィング処理手段のいずれかを選択して動作
させることを特徴とする請求項４６に記載の画像表示装
置。 - 【請求項４８】 前記第１のモーフィング処理手段は、 複数の画像を夫々の視点位置情報と共に前もって記憶す
る画像データベースと、 ユーザの視線方向を視点位置と共に検出する手段と、 ユーザの視線方向の対応点を含む第１乃至第３の画像を
前記画像データベースから探索する手段と、 前記第１の画像乃至第３の画像のいずれか２つが包含関
係にあるか否かを判断する判断手段と、 前記ユーザ視点位置と前記第１の視点位置乃至第３の視
点位置との関係に基づいて、第１の内分比と第２の内分
比とを求める内分比演算手段と、 包含関係にある視点位置を有する任意の２つの画像に対
して、非線形比例配分処理を施すことにより、前記２つ
の視点位置間の内分点位置において基線方向の視線方向
を有する一時仮想画像を補間生成する第１の座標補間手
段と、 包含関係にない視点位置を有する任意の２つの画像に対
して、線形比例配分処理を施すことにより、前記２つの
視点位置間の内分点位置において基線方向に直交する方
向の視線方向を有する一時仮想画像を補間生成する第２
の座標補間手段と、 前記第１の画像と第２の画像が包含関係にあるかないか
に応じて、前記第１の画像と第２の画像に対して、前記
第１の内分比を用いて前記第１のモーフィング処理又は
第２のモーフィング処理のいずれか一方を施すことによ
り、前記第１の内分比に対応する内分点位置における一
時仮想画像を生成する第１画像補間手段と、 前記一時仮想画像と第３の画像が包含関係にあるかない
かに応じて、前記一時仮想画像と第３の画像に対して、
前記第２の内分比を用いて前記第１のモーフィング処理
又は第２のモーフィング処理のいずれか一方を施すこと
により、前記第２の内分比に対応する前記ユーザ視点位
置における補間画像を生成する第２画像補間手段と、 第２画像補間手段において得られた前記補間画像を前記
ユーザ視点位置における視線方向に回転し、回転後の画
像を補間画像として出力する回転手段とを具備すること
を特徴とする請求項４２乃至４７のいずれかに記載の画
像表示装置。 - 【請求項４９】 モーフィング画像を生成する目的で、
対象物体を第１と第２の視点位置において夫々撮像した
第１と第２の二次元画像を処理する画像処理方法であっ
て、 前記第１の二次元画像を前記第１の視点位置からの複数
の奥行き距離の夫々に応じて複数の第１の二次元部分画
像に分割すると共に、前記第２の二次元画像を前記第２
の視点位置からの複数の奥行き距離の夫々に応じて複数
の第２の二次元部分画像に分割する分割工程を具備する
ことを特徴とする画像処理方法。 - 【請求項５０】 前記分割工程は、 前記第１と第２の二次元画像を表示する表示工程と、 ユーザに、表示された前記第１と第２の二次元画像内の
夫々の部分領域を、これらに奥行き距離に対応する階層
情報を付して、一対の二次元部分画像として指定する第
１の指定工程とを具備することを特徴とする請求項４９
に記載の画像処理方法。 - 【請求項５１】 前記第１の指定工程は、 前記任意視点位置に対してより近い方の階層に属する二
次元部分画像によって、より遠い方の階層に属する二次
元部分画像が隠されている部分領域を前記表示工程上に
おいて指定する第２の指定工程と、 前記隠されている部分領域の画素値をユーザにレタッチ
処理可能にさせるレタッチ工程とを具備することを特徴
とする請求項５０に記載の画像処理方法。 - 【請求項５２】 前記第１の指定工程は、 第１階層情報値を有する一対の二次元部分画像につい
て、前記第１階層情報値以外の値の第２階層情報値を有
する１つまたは複数対の二次元部分画像の画素値を所定
の固定値に書き換える書き換え工程を具備することを特
徴とする請求項５０に記載の画像処理方法。 - 【請求項５３】 前記所定の固定値は黒を示す画素値で
あることを特徴とする請求項５２に記載の画像処理方
法。 - 【請求項５４】 前記分割工程は、ある階層に対応する
一対の第１と第２の二次元部分画像において、複数の部
分領域を指定する第３の指定工程を具備することを特徴
とする請求項４９乃至５３のいずれかに記載の画像処理
方法。 - 【請求項５５】 前記分割工程は、 元の第１と第２の二次元画像と、 複数対の二次元部分画像と、 階層情報とを併せて記憶することを特徴とする請求項４
９乃至５４のいずれかに記載の画像処理方法。 - 【請求項５６】 請求項４９乃至５５のいずれかに記載
の画像処理方法によって生成され記憶された複数対の二
次元部分画像を読み出して、任意の視点位置からの画像
を生成するモーフィング処理を施す画像表示方法であっ
て、 各奥行き距離に対応する一対の第１の二次元部分画像と
第２の二次元部分画像とに基づいて、任意の視点位置か
らの部分モーフィング画像を生成する処理を、全ての奥
行き距離に対応する二次元部分画像の対に対して行う第
１のモーフィング処理工程と、 前記第１のモーフィング処理工程により生成された各奥
行き距離に対応する部分モーフィング画像を合成し、合
成画像を所定の表示装置に表示する表示工程とを具備す
ることを特徴とする画像表示方法。 - 【請求項５７】 ウォークスルーアプリケーションに適
用したことを特徴とする請求項５６に記載の画像表示方
法。 - 【請求項５８】 前記任意の視点位置に関する情報を入
力する入力工程を更に具備することを特徴とする請求項
５７に記載の画像表示方法。 - 【請求項５９】 前記入力工程は、視点位置の値を仮想
的に変更することを特徴とする請求項４４に記載の画像
表示方法。 - 【請求項６０】 前記第１と第２の二次元画像に直接基
づいてモーフィング画像を生成する第２のモーフィング
処理工程と、 前記第１のモーフィング処理工程と第２のモーフィング
処理工程とを選択的に切り替える切換工程とを更に具備
することを特徴とする請求項５６乃至５９のいずれかに
記載の画像表示方法。 - 【請求項６１】 前記任意の視点位置に関する情報を入
力する入力工程と、 ウォークスルー仮想空間内の任意のウォークスルー経路
について、そのウォークスルー経路にユーザの視点位置
が存在した場合に、前記第１のモーフィング処理と第２
のモーフィング処理のいずれを適用すべきかを前もって
決定しておき、その決定結果を表す情報を前記ウォーク
スルー経路の位置と共に記憶するメモリとを具備し、 前記切換工程は、前記入力工程が入力した視点位置の情
報に対応する決定結果情報を前記メモリから取り出し、
この情報を基にして前記第１のモーフィング処理工程と
第２のモーフィング処理工程のいずれかを選択して動作
させることを特徴とする請求項６０に記載の画像表示方
法。 - 【請求項６２】 前記第１のモーフィング処理工程は、 複数の画像を夫々の視点位置情報と共に前もって記憶す
る画像データベースと、 ユーザの視線方向を視点位置と共に検出する工程と、 ユーザの視線方向の対応点を含む第１乃至第３の画像を
前記画像データベースから探索する工程と、 前記第１の画像乃至第３の画像のいずれか２つが包含関
係にあるか否かを判断する判断工程と、 前記ユーザ視点位置と前記第１の視点位置乃至第３の視
点位置との関係に基づいて、第１の内分比と第２の内分
比とを求める内分比演算工程と、 包含関係にある視点位置を有する任意の２つの画像に対
して、非線形比例配分処理を施すことにより、前記２つ
の視点位置間の内分点位置において基線方向の視線方向
を有する一時仮想画像を補間生成する第１の座標補間工
程と、 包含関係にない視点位置を有する任意の２つの画像に対
して、線形比例配分処理を施すことにより、前記２つの
視点位置間の内分点位置において基線方向に直交する方
向の視線方向を有する一時仮想画像を補間生成する第２
の座標補間工程と、 前記第１の画像と第２の画像が包含関係にあるかないか
に応じて、前記第１の画像と第２の画像に対して、前記
第１の内分比を用いて前記第１のモーフィング処理又は
第２のモーフィング処理のいずれか一方を施すことによ
り、前記第１の内分比に対応する内分点位置における一
時仮想画像を生成する第１画像補間工程と、 前記一時仮想画像と第３の画像が包含関係にあるかない
かに応じて、前記一時仮想画像と第３の画像に対して、
前記第２の内分比を用いて前記第１のモーフィング処理
又は第２のモーフィング処理のいずれか一方を施すこと
により、前記第２の内分比に対応する前記ユーザ視点位
置における補間画像を生成する第２画像補間工程と、 第２画像補間工程において得られた前記補間画像を前記
ユーザ視点位置における視線方向に回転し、回転後の画
像を補間画像として出力する回転工程とを具備すること
を特徴とする請求項５６乃至６１のいずれかに記載の画
像表示方法。 - 【請求項６３】 コンピュータにより実行されるプログ
ラムを記憶するプログラム記憶媒体であって、請求項４
９乃至６２のいずれかに記載の方法を実現するプログラ
ムコードを記憶するコンピュータプログラム記憶媒体。 - 【請求項６４】 互いに異なる複数の位置において撮影
された複数の画像を補間処理して、前記複数の位置とは
異なる視点位置における画像を生成する画像処理装置で
あって、 前記複数の画像間において、一方の画像が他方の画像に
含まれる包含関係の有無を判別する判別手段と、 前記判別手段の判別結果に基いて、前記複数の画像を補
間処理する画像処理手段とを備え、 前記画像処理手段は、前記判別手段によって前記複数の
画像間に包含関係が存在する場合と存在しない場合と
で、補間方法を異ならせるように構成されていることを
特徴とする画像処理装置。 - 【請求項６５】 前記画像処理手段は、前記判別手段に
よって前記画像間に前記包含関係がない場合には、前記
複数の画像間における対応点の座標間を線形補間し、前
記判別手段によって前記画像間に前記包含関係がある場
合には、前記複数の画像間における対応点の座標間を非
線形補間することを特徴とする請求項６４に記載の画像
処理装置。 - 【請求項６６】 前記判別手段は、前記複数位置におい
て前記複数の画像を撮影した際のカメラのレンズ中心
が、他の画像内に含まれるか否かを判別することを特徴
とする請求項６５に記載の画像処理装置。 - 【請求項６７】 前記画像処理手段は、前記複数の画像
に対してモーフィング処理を行うことを特徴とする請求
項６４に記載の画像処理装置。 - 【請求項６８】 互いに異なる複数の位置において撮影
された複数の画像を補間処理して、前記複数の位置とは
異なる視点位置における画像を生成する画像処理方法で
あって、 前記複数の画像間において、一方の画像が他方の画像に
含まれる包含関係の有無を判別する判別する工程と、 前記判別手段の判別結果に基いて、前記複数の画像を補
間処理する画像処理工程と含み、 前記画像処理工程は、前記判別工程によって前記複数の
画像間に包含関係が存在することが判別された場合と、
存在しないことが判別された場合とで、補間方法を異な
らせることを特徴とする画像処理方法 - 【請求項６９】 前記画像処理工程は、前記判別工程に
よって前記画像間に前記包含関係がないと判別された場
合には、前記複数の画像間における対応点の座標間を線
形補間し、前記判別工程によって前記画像間に前記包含
関係があると判別された場合には、前記複数の画像間に
おける対応点の座標間を非線形補間することを特徴とす
る請求項６８に記載の画像処理方法。 - 【請求項７０】 前記判別工程は、前記複数位置におい
て前記複数の画像を撮影した際のカメラのレンズ中心
が、他の画像内に含まれるか否かを判別することを特徴
とする請求項６９に記載の画像処理方法。 - 【請求項７１】 前記画像処理工程は、前記複数の画像
に対してモーフィング処理を行うことを特徴とする請求
項６８に記載の画像処理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20230099A JP3634677B2 (ja) | 1999-02-19 | 1999-07-15 | 画像の補間方法、画像処理方法、画像表示方法、画像処理装置、画像表示装置、及びコンピュータプログラム記憶媒体 |
| US09/376,329 US6636234B2 (en) | 1999-02-19 | 1999-08-18 | Image processing apparatus for interpolating and generating images from an arbitrary view point |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4135499 | 1999-02-19 | ||
| JP11-41354 | 1999-02-19 | ||
| JP20230099A JP3634677B2 (ja) | 1999-02-19 | 1999-07-15 | 画像の補間方法、画像処理方法、画像表示方法、画像処理装置、画像表示装置、及びコンピュータプログラム記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000307949A true JP2000307949A (ja) | 2000-11-02 |
| JP3634677B2 JP3634677B2 (ja) | 2005-03-30 |
Family
ID=26380961
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20230099A Expired - Fee Related JP3634677B2 (ja) | 1999-02-19 | 1999-07-15 | 画像の補間方法、画像処理方法、画像表示方法、画像処理装置、画像表示装置、及びコンピュータプログラム記憶媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6636234B2 (ja) |
| JP (1) | JP3634677B2 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003203251A (ja) * | 2001-09-28 | 2003-07-18 | Fuji Xerox Co Ltd | ビデオシステム、仮想現実を生成するための方法、トランスポートプロトコル、コンピュータ読み取り可能記憶媒体、および、プログラム |
| JP2005149127A (ja) * | 2003-11-14 | 2005-06-09 | Sony Corp | 撮像表示装置及び方法、画像送受信システム |
| JP2010256828A (ja) * | 2009-04-28 | 2010-11-11 | Fuji Mach Mfg Co Ltd | 撮像装置及びその撮像装置を備える切削機械 |
| JP2010282295A (ja) * | 2009-06-02 | 2010-12-16 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
| KR101502598B1 (ko) | 2008-11-12 | 2015-03-16 | 삼성전자주식회사 | 깊이감 인지 향상을 위한 영상 처리 장치 및 방법 |
| JP2015200918A (ja) * | 2014-04-04 | 2015-11-12 | 大木 光晴 | 画像処理装置、方法、および、プログラム |
| CN120685001A (zh) * | 2025-08-22 | 2025-09-23 | 中交一公局西南工程有限公司 | 一种滑坡监测预警方法、装置和系统 |
Families Citing this family (71)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7133812B1 (en) | 1999-08-30 | 2006-11-07 | Ford Global Technologies, Llc | Method of parametic design of an instrument panel support structure |
| JP3632563B2 (ja) * | 1999-10-19 | 2005-03-23 | 株式会社豊田自動織機 | 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法 |
| US6760693B1 (en) * | 2000-03-29 | 2004-07-06 | Ford Global Technologies, Llc | Method of integrating computer visualization for the design of a vehicle |
| US7158923B1 (en) | 2000-03-29 | 2007-01-02 | Ford Global Technologies, Llc | Method of integrating product information management with vehicle design |
| JP2004505394A (ja) * | 2000-08-04 | 2004-02-19 | ダイナミック ディジタル デプス リサーチ プロプライエタリー リミテッド | イメージ変換および符号化技術 |
| US7085409B2 (en) * | 2000-10-18 | 2006-08-01 | Sarnoff Corporation | Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery |
| US6914618B2 (en) * | 2000-11-02 | 2005-07-05 | Sun Microsystems, Inc. | Methods and systems for producing A 3-D rotational image from A 2-D image |
| JP2002232908A (ja) * | 2000-11-28 | 2002-08-16 | Monolith Co Ltd | 画像補間方法および装置 |
| JP3631151B2 (ja) * | 2000-11-30 | 2005-03-23 | キヤノン株式会社 | 情報処理装置、複合現実感提示装置及びその方法並びに記憶媒体 |
| FR2820534B1 (fr) * | 2001-02-08 | 2003-06-27 | Inst Nat Rech Inf Automat | Dispositif de simulation de deformations de materiaux, notamment de tissus corporels mous |
| JP4148671B2 (ja) * | 2001-11-06 | 2008-09-10 | ソニー株式会社 | 表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラム |
| US6795090B2 (en) * | 2001-11-13 | 2004-09-21 | Eastman Kodak Company | Method and system for panoramic image morphing |
| US20040196282A1 (en) * | 2003-02-14 | 2004-10-07 | Oh Byong Mok | Modeling and editing image panoramas |
| US9063633B2 (en) * | 2006-03-30 | 2015-06-23 | Arjuna Indraeswaran Rajasingham | Virtual navigation system for virtual and real spaces |
| US7327349B2 (en) * | 2004-03-02 | 2008-02-05 | Microsoft Corporation | Advanced navigation techniques for portable devices |
| JP2005295004A (ja) * | 2004-03-31 | 2005-10-20 | Sanyo Electric Co Ltd | 立体画像処理方法および立体画像処理装置 |
| US7226167B2 (en) | 2004-05-25 | 2007-06-05 | Eastman Kodak Company | Autostereoscopic display apparatus |
| US7165842B2 (en) * | 2004-09-13 | 2007-01-23 | Eastman Kodak Company | Autostereoscopic display apparatus having glare suppression |
| CA2587644C (en) * | 2004-11-12 | 2015-01-13 | Mok3, Inc. | Method for inter-scene transitions |
| JP2007133489A (ja) * | 2005-11-08 | 2007-05-31 | Sony Corp | 仮想空間画像表示方法、装置、仮想空間画像表示プログラム及び記録媒体 |
| CA2669409C (en) | 2006-11-13 | 2019-09-17 | Everyscape, Inc. | Method for scripting inter-scene transitions |
| KR101367284B1 (ko) * | 2008-01-28 | 2014-02-26 | 삼성전자주식회사 | 시점 변화에 따른 영상 복원 방법 및 장치 |
| US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
| US8866920B2 (en) | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
| WO2010052550A2 (en) * | 2008-11-05 | 2010-05-14 | Easywalk Capital S.A. | System and method for creating and broadcasting interactive panoramic walk-through applications |
| JP5249114B2 (ja) * | 2009-04-03 | 2013-07-31 | Ｋｄｄｉ株式会社 | 画像生成装置、方法及びプログラム |
| JP5299111B2 (ja) | 2009-06-19 | 2013-09-25 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
| US20110001791A1 (en) * | 2009-07-02 | 2011-01-06 | Emaze Imaging Techonolgies Ltd. | Method and system for generating and displaying a three-dimensional model of physical objects |
| US8239783B2 (en) * | 2009-11-19 | 2012-08-07 | Microsoft Corporation | Integrated viewfinder and digital media |
| WO2011063347A2 (en) | 2009-11-20 | 2011-05-26 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
| US9247286B2 (en) * | 2009-12-31 | 2016-01-26 | Broadcom Corporation | Frame formatting supporting mixed two and three dimensional video data communication |
| US8854531B2 (en) * | 2009-12-31 | 2014-10-07 | Broadcom Corporation | Multiple remote controllers that each simultaneously controls a different visual presentation of a 2D/3D display |
| US8964013B2 (en) * | 2009-12-31 | 2015-02-24 | Broadcom Corporation | Display with elastic light manipulator |
| US8823782B2 (en) | 2009-12-31 | 2014-09-02 | Broadcom Corporation | Remote control with integrated position, viewer identification and optical and audio test |
| KR101697184B1 (ko) * | 2010-04-20 | 2017-01-17 | 삼성전자주식회사 | 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법 |
| US8878950B2 (en) | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
| WO2013043761A1 (en) | 2011-09-19 | 2013-03-28 | Pelican Imaging Corporation | Determining depth from multiple views of a scene that include aliasing using hypothesized fusion |
| US9129183B2 (en) | 2011-09-28 | 2015-09-08 | Pelican Imaging Corporation | Systems and methods for encoding light field image files |
| US9613453B2 (en) | 2011-10-04 | 2017-04-04 | Google Inc. | Systems and method for performing a three pass rendering of images |
| US9412206B2 (en) | 2012-02-21 | 2016-08-09 | Pelican Imaging Corporation | Systems and methods for the manipulation of captured light field image data |
| US8675113B2 (en) | 2012-02-24 | 2014-03-18 | Research In Motion Limited | User interface for a digital camera |
| US20140002674A1 (en) | 2012-06-30 | 2014-01-02 | Pelican Imaging Corporation | Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors |
| KR102111181B1 (ko) | 2012-08-21 | 2020-05-15 | 포토내이션 리미티드 | 어레이 카메라를 사용하여 포착된 영상에서의 시차 검출 및 보정을 위한 시스템 및 방법 |
| WO2014032020A2 (en) | 2012-08-23 | 2014-02-27 | Pelican Imaging Corporation | Feature based high resolution motion estimation from low resolution images captured using an array source |
| EP2901671A4 (en) * | 2012-09-28 | 2016-08-24 | Pelican Imaging Corp | GENERATING IMAGES FROM LIGHT FIELDS USING VIRTUAL VIEWPOINTS |
| JP6143469B2 (ja) * | 2013-01-17 | 2017-06-07 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
| US8866912B2 (en) | 2013-03-10 | 2014-10-21 | Pelican Imaging Corporation | System and methods for calibration of an array camera using a single captured image |
| US9578259B2 (en) | 2013-03-14 | 2017-02-21 | Fotonation Cayman Limited | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
| US9497429B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Extended color processing on pelican array cameras |
| US9348411B2 (en) * | 2013-05-24 | 2016-05-24 | Microsoft Technology Licensing, Llc | Object display with visual verisimilitude |
| US10119808B2 (en) | 2013-11-18 | 2018-11-06 | Fotonation Limited | Systems and methods for estimating depth from projected texture using camera arrays |
| WO2015081279A1 (en) | 2013-11-26 | 2015-06-04 | Pelican Imaging Corporation | Array camera configurations incorporating multiple constituent array cameras |
| JP6346445B2 (ja) | 2014-01-10 | 2018-06-20 | キヤノン株式会社 | 処理装置、処理装置の制御方法、およびプログラム |
| EP3467776A1 (en) | 2014-09-29 | 2019-04-10 | Fotonation Cayman Limited | Systems and methods for dynamic calibration of array cameras |
| US10726593B2 (en) * | 2015-09-22 | 2020-07-28 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
| KR102646521B1 (ko) | 2019-09-17 | 2024-03-21 | 인트린식 이노베이션 엘엘씨 | 편광 큐를 이용한 표면 모델링 시스템 및 방법 |
| MX2022004163A (es) | 2019-10-07 | 2022-07-19 | Boston Polarimetrics Inc | Sistemas y metodos para la deteccion de estandares de superficie con polarizacion. |
| DE112020005932T5 (de) | 2019-11-30 | 2023-01-05 | Boston Polarimetrics, Inc. | Systeme und verfahren zur segmentierung von transparenten objekten mittels polarisationsmerkmalen |
| EP4081933B1 (en) | 2020-01-29 | 2026-03-04 | Intrinsic Innovation LLC | Systems and methods for characterizing object pose detection and measurement systems |
| EP4085424A4 (en) | 2020-01-30 | 2024-03-27 | Intrinsic Innovation LLC | SYSTEMS AND METHODS OF DATA SYNTHESIS FOR TRAINING STATISTICAL MODELS ON DIFFERENT IMAGING MODALITIES INCLUDING POLARIZED IMAGES |
| US11953700B2 (en) | 2020-05-27 | 2024-04-09 | Intrinsic Innovation Llc | Multi-aperture polarization optical systems using beam splitters |
| US12020455B2 (en) | 2021-03-10 | 2024-06-25 | Intrinsic Innovation Llc | Systems and methods for high dynamic range image reconstruction |
| US12069227B2 (en) | 2021-03-10 | 2024-08-20 | Intrinsic Innovation Llc | Multi-modal and multi-spectral stereo camera arrays |
| US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
| US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
| US12067746B2 (en) | 2021-05-07 | 2024-08-20 | Intrinsic Innovation Llc | Systems and methods for using computer vision to pick up small objects |
| US12175741B2 (en) | 2021-06-22 | 2024-12-24 | Intrinsic Innovation Llc | Systems and methods for a vision guided end effector |
| US12340538B2 (en) | 2021-06-25 | 2025-06-24 | Intrinsic Innovation Llc | Systems and methods for generating and using visual datasets for training computer vision models |
| US12172310B2 (en) | 2021-06-29 | 2024-12-24 | Intrinsic Innovation Llc | Systems and methods for picking objects using 3-D geometry and segmentation |
| US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
| US12293535B2 (en) | 2021-08-03 | 2025-05-06 | Intrinsic Innovation Llc | Systems and methods for training pose estimators in computer vision |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5613048A (en) * | 1993-08-03 | 1997-03-18 | Apple Computer, Inc. | Three-dimensional image synthesis using view interpolation |
-
1999
- 1999-07-15 JP JP20230099A patent/JP3634677B2/ja not_active Expired - Fee Related
- 1999-08-18 US US09/376,329 patent/US6636234B2/en not_active Expired - Fee Related
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003203251A (ja) * | 2001-09-28 | 2003-07-18 | Fuji Xerox Co Ltd | ビデオシステム、仮想現実を生成するための方法、トランスポートプロトコル、コンピュータ読み取り可能記憶媒体、および、プログラム |
| JP2009181587A (ja) * | 2001-09-28 | 2009-08-13 | Fuji Xerox Co Ltd | ビデオシステム、及びビデオシステム用プログラム |
| JP2005149127A (ja) * | 2003-11-14 | 2005-06-09 | Sony Corp | 撮像表示装置及び方法、画像送受信システム |
| KR101502598B1 (ko) | 2008-11-12 | 2015-03-16 | 삼성전자주식회사 | 깊이감 인지 향상을 위한 영상 처리 장치 및 방법 |
| JP2010256828A (ja) * | 2009-04-28 | 2010-11-11 | Fuji Mach Mfg Co Ltd | 撮像装置及びその撮像装置を備える切削機械 |
| JP2010282295A (ja) * | 2009-06-02 | 2010-12-16 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
| JP2015200918A (ja) * | 2014-04-04 | 2015-11-12 | 大木 光晴 | 画像処理装置、方法、および、プログラム |
| CN120685001A (zh) * | 2025-08-22 | 2025-09-23 | 中交一公局西南工程有限公司 | 一种滑坡监测预警方法、装置和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3634677B2 (ja) | 2005-03-30 |
| US20020171666A1 (en) | 2002-11-21 |
| US6636234B2 (en) | 2003-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3634677B2 (ja) | 画像の補間方法、画像処理方法、画像表示方法、画像処理装置、画像表示装置、及びコンピュータプログラム記憶媒体 | |
| JP5093053B2 (ja) | 電子カメラ | |
| KR102197732B1 (ko) | 실내공간의 3차원 지도 생성 방법 및 장치 | |
| JP3790126B2 (ja) | 時空間領域情報処理方法及び時空間領域情報処理システム | |
| JP5299173B2 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
| JP3104638B2 (ja) | ３次元画像作成装置 | |
| JP2003510702A (ja) | 一連の画像を解析することにより三次元のシーンを構築する方法 | |
| EP1567988A1 (en) | Augmented virtual environments | |
| JPH0785312A (ja) | ３次元動画作成装置 | |
| HK1204378A1 (en) | Automatic tracking matte system | |
| JP2002236909A (ja) | 画像データ処理方法およびモデリング装置 | |
| JP2004234350A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| KR100922544B1 (ko) | 실시간 카메라 트래킹을 이용한 실사 영상 합성 시스템 및 그 방법 | |
| Burkert et al. | A photorealistic predictive display | |
| JP2000155831A (ja) | 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体 | |
| JP3309841B2 (ja) | 合成動画像生成装置および合成動画像生成方法 | |
| JP3979811B2 (ja) | 画像合成装置、画像合成方法、画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| US7064767B2 (en) | Image solution processing method, processing apparatus, and program | |
| JP3642923B2 (ja) | 映像生成処理装置及びその装置で用いられる構造化データを作成する構造化データ作成装置 | |
| JP3575469B2 (ja) | 合成動画像生成装置および合成動画像生成方法 | |
| JP2015200918A (ja) | 画像処理装置、方法、および、プログラム | |
| US6633291B1 (en) | Method and apparatus for displaying an image | |
| JP2001256492A (ja) | 画像合成装置、画像合成方法、画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2000057376A (ja) | 新視点画像生成方法 | |
| JP3630725B2 (ja) | 三次元形状入力装置およびその入力方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20010209 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20010209 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20020703 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20020703 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20031017 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040213 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040412 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041210 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041224 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090107 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100107 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110107 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120107 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130107 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140107 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |