JPH11149575A - 画像処理方法及びその装置 - Google Patents
画像処理方法及びその装置Info
- Publication number
- JPH11149575A JPH11149575A JP10262042A JP26204298A JPH11149575A JP H11149575 A JPH11149575 A JP H11149575A JP 10262042 A JP10262042 A JP 10262042A JP 26204298 A JP26204298 A JP 26204298A JP H11149575 A JPH11149575 A JP H11149575A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- computer model
- dimensional computer
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—Three-dimensional [3D] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
(57)【要約】
【課題】 動作中の対象物体の画像を処理して、三次元
コンピュータモデル内における物体の平面表現を定義す
る画像処理方法及びその装置を提供する。 【解決手段】 実世界の静的背景シーンの三次元コンピ
ュータモデルが創出される（Ｓ２）。背景上を動作中の
物体のビデオ画像を記録し（Ｓ４）、動作中の物体に対
応する画像の部分を識別し、かつ三次元コンピュータモ
デル内での対応する位置を算出するために処理する（Ｓ
６、Ｓ８）。動作中の各物体は、三次元コンピュータモ
デル内の少なくとも１つの垂直平面によって表される。
シミュレーションされた背景と動作中の物体の平面を含
み、ビデオカメラによって記録された動作中の物体のビ
デオデータがその上にレンダリングされる平面上の画像
が、所望の（複数の）観察方向からユーザに表示される
（Ｓ１０）。
コンピュータモデル内における物体の平面表現を定義す
る画像処理方法及びその装置を提供する。 【解決手段】 実世界の静的背景シーンの三次元コンピ
ュータモデルが創出される（Ｓ２）。背景上を動作中の
物体のビデオ画像を記録し（Ｓ４）、動作中の物体に対
応する画像の部分を識別し、かつ三次元コンピュータモ
デル内での対応する位置を算出するために処理する（Ｓ
６、Ｓ８）。動作中の各物体は、三次元コンピュータモ
デル内の少なくとも１つの垂直平面によって表される。
シミュレーションされた背景と動作中の物体の平面を含
み、ビデオカメラによって記録された動作中の物体のビ
デオデータがその上にレンダリングされる平面上の画像
が、所望の（複数の）観察方向からユーザに表示される
（Ｓ１０）。
Description
【０００１】
【発明の属する技術分野】本発明は、三次元コンピュー
タ・モデルの動画で（複数の）物体の表現を生成するた
めに、動画を表示するデータを処理する画像処理方法及
びその装置に関するものである。
タ・モデルの動画で（複数の）物体の表現を生成するた
めに、動画を表示するデータを処理する画像処理方法及
びその装置に関するものである。
【０００２】
【従来の技術】現在、ビデオから生成される画像やその
他の動画の内容、即ちデータは、そのデータを取り込む
カメラの視野特性に依存する。より詳細には、観察者が
物体を見る位置は、そのシーンをカメラが観察する位置
及び観察する方向によって決定される。
他の動画の内容、即ちデータは、そのデータを取り込む
カメラの視野特性に依存する。より詳細には、観察者が
物体を見る位置は、そのシーンをカメラが観察する位置
及び観察する方向によって決定される。
【０００３】この制約の解決策として、ビデオデータを
使用してシーンの動的三次元コンピュータモデルを作り
出し、所望のどの観察方向からもシミュレーションされ
た眺めを生成してユーザに表示することのできる、対話
式システムが提案されてきている。
使用してシーンの動的三次元コンピュータモデルを作り
出し、所望のどの観察方向からもシミュレーションされ
た眺めを生成してユーザに表示することのできる、対話
式システムが提案されてきている。
【０００４】
【発明が解決しようとする課題】本発明は、このような
対話式システムを実現するための画像処理方法及びその
装置を提供することを目的とする。すなわち、ビデオ画
面内を移動する物体を確実に効率よく三次元コンピュー
タモデル内に表現可能とする画像処理方法及びその装置
を提供する。
対話式システムを実現するための画像処理方法及びその
装置を提供することを目的とする。すなわち、ビデオ画
面内を移動する物体を確実に効率よく三次元コンピュー
タモデル内に表現可能とする画像処理方法及びその装置
を提供する。
【０００５】
【課題を解決するための手段】この課題を解決するため
に、本発明の画像処理方法は、シーン内を移動している
物体の一連の画像を定義する画像データを処理して、前
記シーン内での前記物体の位置に対応する、三次元コン
ピュータモデル内の複数の位置での前記物体の表現を定
義する信号を生成する画像処理方法であって、複数の画
像の前記画像データを処理して、前記画像内の前記物体
の境界を表わす各画像のそれぞれの多角形を定義する工
程と、前記物体のそれぞれの位置を表す少なくとも１つ
の平面状表面を三次元コンピュータモデル内で定義する
工程であって、各平面状表面が、三次元コンピュータモ
デル内の所定の表面上の底辺と、前記画像内の前記物体
の境界を表わす前記多角形のそれぞれ１つに対応する位
置及びサイズとで定義される工程と、前記画像データに
応じて前記物体の形状を表すために、前記平面状表面の
テクスチャデータを生成する工程とを含むことを特徴と
する。
に、本発明の画像処理方法は、シーン内を移動している
物体の一連の画像を定義する画像データを処理して、前
記シーン内での前記物体の位置に対応する、三次元コン
ピュータモデル内の複数の位置での前記物体の表現を定
義する信号を生成する画像処理方法であって、複数の画
像の前記画像データを処理して、前記画像内の前記物体
の境界を表わす各画像のそれぞれの多角形を定義する工
程と、前記物体のそれぞれの位置を表す少なくとも１つ
の平面状表面を三次元コンピュータモデル内で定義する
工程であって、各平面状表面が、三次元コンピュータモ
デル内の所定の表面上の底辺と、前記画像内の前記物体
の境界を表わす前記多角形のそれぞれ１つに対応する位
置及びサイズとで定義される工程と、前記画像データに
応じて前記物体の形状を表すために、前記平面状表面の
テクスチャデータを生成する工程とを含むことを特徴と
する。
【０００６】ここで、前記平面状表面の幅が前記画像デ
ータ中の境界の多角形の幅で決定され、前記平面状表面
の高さが前記画像データ中の境界の多角形のアスペクト
比を使って計算される。また、前記各平面状表面が垂直
平面内にある。また、前記物体の境界を表わす多角形が
矩形である。また、前記矩形の辺が画像の辺に平行であ
る。また、１つの前記平面状表面が、前記三次元コンピ
ュータモデル内の物体の各位置を表わすように定義され
る。また、複数の接続された平面状表面が前記三次元コ
ンピュータモデル内の物体の各位置を表わすために定義
される。また、前記画像データが、前記境界多角形内で
前記物体の位置を定義するマスクを抽出するために処理
される。また、三次元コンピュータモデルを創出する工
程を更に含む。また、前記画像データと、前記三次元コ
ンピュータモデルを定義するデータとを処理して、その
中の複数の対応点を識別し、定義された前記対応点を用
いて前記画像と前記モデルとの間での変換を定義する工
程を更に含む。また、選択された観察方向から前記三次
元コンピュータモデルの画像をレンダリングすることに
よって画像データを生成し、そこで前記テクスチャデー
タが前記平面状表面上にレンダリングされる工程を更に
含む。また、前記画像データを伝達する信号を発生させ
る工程を更に含む。また、前記信号を記録する工程を更
に含む。また、前記生成した画像データを用いて、前記
物体の画像を表示する工程を更に含む。また、前記画像
データの記録を直接又は間接に実施する工程を更に含
む。
ータ中の境界の多角形の幅で決定され、前記平面状表面
の高さが前記画像データ中の境界の多角形のアスペクト
比を使って計算される。また、前記各平面状表面が垂直
平面内にある。また、前記物体の境界を表わす多角形が
矩形である。また、前記矩形の辺が画像の辺に平行であ
る。また、１つの前記平面状表面が、前記三次元コンピ
ュータモデル内の物体の各位置を表わすように定義され
る。また、複数の接続された平面状表面が前記三次元コ
ンピュータモデル内の物体の各位置を表わすために定義
される。また、前記画像データが、前記境界多角形内で
前記物体の位置を定義するマスクを抽出するために処理
される。また、三次元コンピュータモデルを創出する工
程を更に含む。また、前記画像データと、前記三次元コ
ンピュータモデルを定義するデータとを処理して、その
中の複数の対応点を識別し、定義された前記対応点を用
いて前記画像と前記モデルとの間での変換を定義する工
程を更に含む。また、選択された観察方向から前記三次
元コンピュータモデルの画像をレンダリングすることに
よって画像データを生成し、そこで前記テクスチャデー
タが前記平面状表面上にレンダリングされる工程を更に
含む。また、前記画像データを伝達する信号を発生させ
る工程を更に含む。また、前記信号を記録する工程を更
に含む。また、前記生成した画像データを用いて、前記
物体の画像を表示する工程を更に含む。また、前記画像
データの記録を直接又は間接に実施する工程を更に含
む。
【０００７】又、本発明の画像処理方法は、シーン内の
表面を移動する物体の三次元コンピュータモデルを創出
する画像処理方法であって、前記シーンの画像から決定
された前記シーン内の物体の位置に応じた位置を有する
少なくとも１つの平面状表面と、物体が移動する表面と
三次元コンピュータモデルの表面との間のマッピングを
定義する変換とを用いて、前記物体がモデル化されるこ
とを特徴とする。
表面を移動する物体の三次元コンピュータモデルを創出
する画像処理方法であって、前記シーンの画像から決定
された前記シーン内の物体の位置に応じた位置を有する
少なくとも１つの平面状表面と、物体が移動する表面と
三次元コンピュータモデルの表面との間のマッピングを
定義する変換とを用いて、前記物体がモデル化されるこ
とを特徴とする。
【０００８】又、本発明の画像処理方法は、シーン内の
物体の動きをモデル化する画像処理方法であって、前記
移動物体の画像が画像データが記録された位置あるいは
記録装置の画像形成パラメータの予備知識なしに処理さ
れて、前記シーンの三次元コンピュータモデル内で平面
状表面と前記平面状表面上にレンダリングするテクスチ
ャデータとを作成することを特徴とする。
物体の動きをモデル化する画像処理方法であって、前記
移動物体の画像が画像データが記録された位置あるいは
記録装置の画像形成パラメータの予備知識なしに処理さ
れて、前記シーンの三次元コンピュータモデル内で平面
状表面と前記平面状表面上にレンダリングするテクスチ
ャデータとを作成することを特徴とする。
【０００９】又、本発明の画像処理装置は、シーン内を
移動している前記物体の一連の画像を定義する画像デー
タを処理して、前記シーン内での物体の位置に対応する
三次元コンピュータモデル内の複数の位置における前記
物体の表現を定義する信号を発生する画像処理装置であ
って、複数の画像の前記画像データを処理して、前記画
像内の前記物体の境界を表わす各画像のそれぞれの多角
形を定義する第１処理手段と、前記物体のそれぞれの位
置を表す少なくとも１つの平面状表面を三次元コンピュ
ータモデル内で定義する第２処理手段であって、各平面
状表面が、三次元コンピュータモデル内の所定の表面上
の底辺と、前記画像内の前記物体の境界を表わす前記多
角形のそれぞれ１つに対応する位置及びサイズとで定義
する第２処理手段と、前記画像データに応じて前記物体
の形状を表すために、前記平面状表面のテクスチャデー
タを生成する第３処理手段とを含むことを特徴とする。
移動している前記物体の一連の画像を定義する画像デー
タを処理して、前記シーン内での物体の位置に対応する
三次元コンピュータモデル内の複数の位置における前記
物体の表現を定義する信号を発生する画像処理装置であ
って、複数の画像の前記画像データを処理して、前記画
像内の前記物体の境界を表わす各画像のそれぞれの多角
形を定義する第１処理手段と、前記物体のそれぞれの位
置を表す少なくとも１つの平面状表面を三次元コンピュ
ータモデル内で定義する第２処理手段であって、各平面
状表面が、三次元コンピュータモデル内の所定の表面上
の底辺と、前記画像内の前記物体の境界を表わす前記多
角形のそれぞれ１つに対応する位置及びサイズとで定義
する第２処理手段と、前記画像データに応じて前記物体
の形状を表すために、前記平面状表面のテクスチャデー
タを生成する第３処理手段とを含むことを特徴とする。
【００１０】ここで、前記第２処理手段が、前記平面状
表面の幅が前記画像データ中の境界の多角形の幅で定義
され、前記平面状表面の高さが前記画像データ中の境界
の多角形のアスペクト比を使って決定されるように、前
記平面状表面を定義するよう構成される。また、前記第
２処理手段が、前記各平面状表面が垂直平面内にあるよ
うに定義されるよう構成される。また、前記物体の境界
を表わす多角形が矩形である。また、前記矩形の辺が画
像の辺に平行である。また、前記第２処理手段が、１つ
の前記平面状表面が、前記三次元コンピュータモデル内
の物体の各位置を表わすように定義されるよう構成され
る。また、前記第２処理手段が、複数の接続された平面
状表面が前記三次元コンピュータモデル内の物体の各位
置を表わすために定義されるよう構成される。また、前
記境界多角形内で前記物体の位置を定義するマスクを抽
出するために前記画像データを処理する手段を更に含
む。また、前記三次元コンピュータモデルを創出する手
段を更に含む。また、前記画像データと、前記三次元コ
ンピュータモデルを定義するデータとを処理して、その
中の複数の対応点を識別し、定義された前記対応点を用
いて前記画像と前記モデルの間での変換を定義する手段
を更に含む。また、観察方向から前記三次元コンピュー
タモデルの画像用の画像データを作成するため、前記平
面状表面上にテクスチャデータをレンダリングする手段
を更に含む。
表面の幅が前記画像データ中の境界の多角形の幅で定義
され、前記平面状表面の高さが前記画像データ中の境界
の多角形のアスペクト比を使って決定されるように、前
記平面状表面を定義するよう構成される。また、前記第
２処理手段が、前記各平面状表面が垂直平面内にあるよ
うに定義されるよう構成される。また、前記物体の境界
を表わす多角形が矩形である。また、前記矩形の辺が画
像の辺に平行である。また、前記第２処理手段が、１つ
の前記平面状表面が、前記三次元コンピュータモデル内
の物体の各位置を表わすように定義されるよう構成され
る。また、前記第２処理手段が、複数の接続された平面
状表面が前記三次元コンピュータモデル内の物体の各位
置を表わすために定義されるよう構成される。また、前
記境界多角形内で前記物体の位置を定義するマスクを抽
出するために前記画像データを処理する手段を更に含
む。また、前記三次元コンピュータモデルを創出する手
段を更に含む。また、前記画像データと、前記三次元コ
ンピュータモデルを定義するデータとを処理して、その
中の複数の対応点を識別し、定義された前記対応点を用
いて前記画像と前記モデルの間での変換を定義する手段
を更に含む。また、観察方向から前記三次元コンピュー
タモデルの画像用の画像データを作成するため、前記平
面状表面上にテクスチャデータをレンダリングする手段
を更に含む。
【００１１】又、本発明の画像処理装置は、シーン内の
表面を移動する物体の三次元コンピュータモデルを創出
する画像処理装置であって、前記シーンの画像から決定
された前記シーン内の物体の位置に応じた位置を有する
少なくとも１つの平面状表面と、物体が移動する表面と
三次元コンピュータモデルの表面との間のマッピングを
定義する変換とを用いて、前記物体がモデル化する手段
を含むことを特徴とする。
表面を移動する物体の三次元コンピュータモデルを創出
する画像処理装置であって、前記シーンの画像から決定
された前記シーン内の物体の位置に応じた位置を有する
少なくとも１つの平面状表面と、物体が移動する表面と
三次元コンピュータモデルの表面との間のマッピングを
定義する変換とを用いて、前記物体がモデル化する手段
を含むことを特徴とする。
【００１２】又、本発明の画像処理装置は、シーン内の
物体の動きをモデル化する画像処理装置であって、前記
移動物体の画像が画像データが記録された位置あるいは
記録装置の画像形成パラメータの予備知識なしに処理し
て、前記シーンの三次元コンピュータモデル内で平面状
表面と前記平面状表面上にレンダリングするテクスチャ
データとを作成する手段を含むことを特徴とする。
物体の動きをモデル化する画像処理装置であって、前記
移動物体の画像が画像データが記録された位置あるいは
記録装置の画像形成パラメータの予備知識なしに処理し
て、前記シーンの三次元コンピュータモデル内で平面状
表面と前記平面状表面上にレンダリングするテクスチャ
データとを作成する手段を含むことを特徴とする。
【００１３】本発明によれば、三次元コンピュータモデ
ル内の物体の平面表現を定義するため、移動している物
体の画像を処理する画像処理方法及びその装置が提供さ
れる。画像内の物体の位置を用いてモデル内での位置を
決定し、この物体に対応する画像データをその表現の際
に使用する。物体を表現するため、複数の平面を使用す
ることが可能である。又、本発明は、画像データ内に記
録される移動中の物体の位置を表すために三次元コンピ
ュータモデル内で平らな表面を定義し、上記画像データ
を用いてその表面のテクスチャデータを作成して、その
表現を表示できるようにする画像処理方法及びその装置
を提供する。テクスチャデータは、物体の画像からの実
画素データでよい。
ル内の物体の平面表現を定義するため、移動している物
体の画像を処理する画像処理方法及びその装置が提供さ
れる。画像内の物体の位置を用いてモデル内での位置を
決定し、この物体に対応する画像データをその表現の際
に使用する。物体を表現するため、複数の平面を使用す
ることが可能である。又、本発明は、画像データ内に記
録される移動中の物体の位置を表すために三次元コンピ
ュータモデル内で平らな表面を定義し、上記画像データ
を用いてその表面のテクスチャデータを作成して、その
表現を表示できるようにする画像処理方法及びその装置
を提供する。テクスチャデータは、物体の画像からの実
画素データでよい。
【００１４】
【発明の実施の形態】次に、添付の図面を参照しなが
ら、本発明の実施の形態をその一例によって説明する。
ら、本発明の実施の形態をその一例によって説明する。
【００１５】＜本実施の形態の画像処理装置の構成例＞
図１は、本実施の形態の画像処理装置の全体的な構成例
を示すブロック図である。
図１は、本実施の形態の画像処理装置の全体的な構成例
を示すブロック図である。
【００１６】本装置には、メモリ６に接続された中央処
理装置（ＣＰＵ）４を含むコンピュータ２が設けられ、
メモリ６は、ＣＰＵ４によって実行されるオペレーショ
ンを定義するプログラムを格納し、ＣＰＵ４によって処
理される対象物体データ及び画像データを格納する働き
をする。
理装置（ＣＰＵ）４を含むコンピュータ２が設けられ、
メモリ６は、ＣＰＵ４によって実行されるオペレーショ
ンを定義するプログラムを格納し、ＣＰＵ４によって処
理される対象物体データ及び画像データを格納する働き
をする。
【００１７】メモリ６にはディスクドライブ８が結合さ
れる。ディスクドライブ８は、フロッピーディスク１０
など取り外し可能なデータ記憶媒体を受け入れると共
に、その媒体に格納されたデータやプログラムをメモリ
６に転送する働きをする。ディスクドライブ８を使用し
て、ＣＰＵ４に対する操作命令を、取り外し可能なデー
タ記憶媒体からメモリ６に入力することが可能である。
れる。ディスクドライブ８は、フロッピーディスク１０
など取り外し可能なデータ記憶媒体を受け入れると共
に、その媒体に格納されたデータやプログラムをメモリ
６に転送する働きをする。ディスクドライブ８を使用し
て、ＣＰＵ４に対する操作命令を、取り外し可能なデー
タ記憶媒体からメモリ６に入力することが可能である。
【００１８】ディスクドライブ８を使用して、ＣＰＵ４
によって処理される画像データを、取り外し可能なデー
タ記憶媒体からコンピュータ２に入力することも可能で
ある。その代わりに又はそれに加えて、ソニー社製のＤ
ＣＲ−ＰＣ７などディジタル画像データ出力装置を有す
るビデオカメラ１２から、処理される画像データを直接
メモリ６に入力することも可能である。画像データをメ
モリ６に入力する前にカメラ１２に格納したり、又は上
記データをカメラ１２で収集すると同時にリアルタイム
でメモリ６に転送することも可能である。また、ディジ
タルカメラ１２の代わりに非ディジタルのビデオカメラ
から画像データを入力することも可能である。この場
合、上記カメラで撮った画像をディジタイザ（図示せ
ず）を用いてディジタル化し、そこからディジタル画像
データを生成してメモリ６に入力する。更に、画像デー
タを格納する局所の又は遠隔のデータベースからの接続
（図示せず）を介して、画像データをメモリ６にダウン
ロードすることも可能である。
によって処理される画像データを、取り外し可能なデー
タ記憶媒体からコンピュータ２に入力することも可能で
ある。その代わりに又はそれに加えて、ソニー社製のＤ
ＣＲ−ＰＣ７などディジタル画像データ出力装置を有す
るビデオカメラ１２から、処理される画像データを直接
メモリ６に入力することも可能である。画像データをメ
モリ６に入力する前にカメラ１２に格納したり、又は上
記データをカメラ１２で収集すると同時にリアルタイム
でメモリ６に転送することも可能である。また、ディジ
タルカメラ１２の代わりに非ディジタルのビデオカメラ
から画像データを入力することも可能である。この場
合、上記カメラで撮った画像をディジタイザ（図示せ
ず）を用いてディジタル化し、そこからディジタル画像
データを生成してメモリ６に入力する。更に、画像デー
タを格納する局所の又は遠隔のデータベースからの接続
（図示せず）を介して、画像データをメモリ６にダウン
ロードすることも可能である。
【００１９】ＣＰＵ４の入力ポートには、例えばキーボ
ード及び／又はマウスやトラッカボールなどの位置感応
入力装置を含むユーザ命令入力装置１４が結合されてい
る。
ード及び／又はマウスやトラッカボールなどの位置感応
入力装置を含むユーザ命令入力装置１４が結合されてい
る。
【００２０】又、ＣＰＵ４にはフレームバッファ１６が
結合される。フレームバッファ１６は、例えば、画像の
１画素に対し１つ（又は数個）の記憶位置を与えること
によって、ＣＰＵ４によって生成された少なくとも１つ
の画像に関する画像データを格納するように構成され
た、メモリ装置を含んでいる。各画素ごとにフレームバ
ッファ内に格納される値が、画像内の画素の色又は輝度
を定義する。
結合される。フレームバッファ１６は、例えば、画像の
１画素に対し１つ（又は数個）の記憶位置を与えること
によって、ＣＰＵ４によって生成された少なくとも１つ
の画像に関する画像データを格納するように構成され
た、メモリ装置を含んでいる。各画素ごとにフレームバ
ッファ内に格納される値が、画像内の画素の色又は輝度
を定義する。
【００２１】フレームバッファ１６には、このフレーム
バッファ１６に格納される画像を従来の方法で表示す
る、表示装置１８が結合されている。またフレームバッ
ファ１６には、ビデオテープレコーダ（ＶＴＲ）２０、
又はペーパプリンタや３５ｍｍフィルムレコーダなどそ
の他の画像記録装置も結合される。
バッファ１６に格納される画像を従来の方法で表示す
る、表示装置１８が結合されている。またフレームバッ
ファ１６には、ビデオテープレコーダ（ＶＴＲ）２０、
又はペーパプリンタや３５ｍｍフィルムレコーダなどそ
の他の画像記録装置も結合される。
【００２２】ハードディスクドライブなどデータ記憶容
量の大きい大容量記憶装置がメモリ６に（通常はＣＰＵ
４を介して）結合され、またフレームバッファ１６にも
結合される。大容量記憶装置２２は、ＣＰＵ４によって
処理されたデータをメモリ６から受け取り、又は表示装
置１８で表示されるデータをフレームバッファ１６から
受け取ることができる。
量の大きい大容量記憶装置がメモリ６に（通常はＣＰＵ
４を介して）結合され、またフレームバッファ１６にも
結合される。大容量記憶装置２２は、ＣＰＵ４によって
処理されたデータをメモリ６から受け取り、又は表示装
置１８で表示されるデータをフレームバッファ１６から
受け取ることができる。
【００２３】ＣＰＵ４、メモリ６、フレームバッファ１
６、表示装置１８と大容量記憶装置２２は、例えばＳｕ
ｎＭｉｃｒｏｓｙｓｔｅｍｓ社から発売されているＳｐ
ａｒｃＳｔａｔｉｏｎのようなワークステーションな
ど、市販の完成システムの一部から構成することが可能
である。
６、表示装置１８と大容量記憶装置２２は、例えばＳｕ
ｎＭｉｃｒｏｓｙｓｔｅｍｓ社から発売されているＳｐ
ａｒｃＳｔａｔｉｏｎのようなワークステーションな
ど、市販の完成システムの一部から構成することが可能
である。
【００２４】本実施の形態としてコンピュータ２に実行
させるための操作命令は、フロッピーディスク１０やそ
の他のデータ記憶媒体に格納されたプログラムの形で、
市販用として供給することができ、又は、例えばデータ
リンク（図示せず）などを介したコンピュータ２への信
号として伝送することができる。その結果、受信側コン
ピュータ２は、本発明を組み込んだ装置に再構成され
る。
させるための操作命令は、フロッピーディスク１０やそ
の他のデータ記憶媒体に格納されたプログラムの形で、
市販用として供給することができ、又は、例えばデータ
リンク（図示せず）などを介したコンピュータ２への信
号として伝送することができる。その結果、受信側コン
ピュータ２は、本発明を組み込んだ装置に再構成され
る。
【００２５】図２に、ＣＰＵ４によって処理する画像デ
ータの集合体の例を概略的に示す。
ータの集合体の例を概略的に示す。
【００２６】例として、図２には、フットボール競技場
３４（コーナー３６、３８、４０、４２で定義された）
内を動いている２人の人間３０、３２を示す。競技場３
４とその中での人間３０、３２の動きは、固定した観察
位置に取り付けられかつ固定した観察方向を有するビデ
オカメラ１２によって記録される。
３４（コーナー３６、３８、４０、４２で定義された）
内を動いている２人の人間３０、３２を示す。競技場３
４とその中での人間３０、３２の動きは、固定した観察
位置に取り付けられかつ固定した観察方向を有するビデ
オカメラ１２によって記録される。
【００２７】＜本実施の形態の画像処理の手順例＞図３
に、本実施の形態で実行される画像処理動作例の例を示
す。
に、本実施の形態で実行される画像処理動作例の例を示
す。
【００２８】図３を参照すると、ステップＳ２では、カ
メラ１２によって観察されるシーンの静的背景（即ち、
動いていない部分）の三次元コンピュータモデルが、ユ
ーザによって創出される。またステップＳ２では、この
背景シーンの画像パラメータも設定される。
メラ１２によって観察されるシーンの静的背景（即ち、
動いていない部分）の三次元コンピュータモデルが、ユ
ーザによって創出される。またステップＳ２では、この
背景シーンの画像パラメータも設定される。
【００２９】図４に、図３のステップＳ２で実行される
処理段階の例をより詳細に示す。
処理段階の例をより詳細に示す。
【００３０】図４を参照すると、ステップＳ２０では静
的背景をモデル化する。すなわち、図２に示す例では、
フットボール競技場３４がモデル化される。これは、市
販のモデリングパッケージを使用して従来の方法で実施
される。
的背景をモデル化する。すなわち、図２に示す例では、
フットボール競技場３４がモデル化される。これは、市
販のモデリングパッケージを使用して従来の方法で実施
される。
【００３１】ステップＳ２２では、カメラ１２を使用し
て、静的背景の複数の参照画像を記録する。本実施の形
態では、ビデオの４つのフレームがカメラ１２によって
記録される。複数の参照画像は、以下に更に説明するよ
うに、背景の採光条件の経時的な変化やノイズ、「静
的」背景内での（例えば、動いている木の枝や葉によっ
て引き起こされる）好ましくない動きを考慮に入れるた
めに記録される。
て、静的背景の複数の参照画像を記録する。本実施の形
態では、ビデオの４つのフレームがカメラ１２によって
記録される。複数の参照画像は、以下に更に説明するよ
うに、背景の採光条件の経時的な変化やノイズ、「静
的」背景内での（例えば、動いている木の枝や葉によっ
て引き起こされる）好ましくない動きを考慮に入れるた
めに記録される。
【００３２】ステップＳ２４では、画像空間（即ち、カ
メラ１２によって記録される画像）と三次元（３Ｄ）世
界空間（即ち、ステップＳ２０で三次元コンピュータモ
デルが創出された空間）との間での変換が計算される。
変換は、画像空間での（対象物体がその上で移動する）
基平面と３Ｄ世界空間（３Ｄコンピュータモデル）での
基平面との間のマッピングである。この変換は、カメラ
の絶対位置や観察されているシーン（図２の例では、フ
ットボール競技場３４）に関連するカメラの位置が前も
って決定されて乃至、同様にカメラの像形成のパラメー
タ（焦点長さ、ＣＣＤのサイズ、ズーム設定など）も前
もって決定されてないため、実施される。この変換によ
って、以下に説明するように、画像空間での対象物体の
位置や大きさに基づいて、確実で効率的な方法での３Ｄ
コンピュータモデルにおける対象物体の表現の創出が可
能になる。
メラ１２によって記録される画像）と三次元（３Ｄ）世
界空間（即ち、ステップＳ２０で三次元コンピュータモ
デルが創出された空間）との間での変換が計算される。
変換は、画像空間での（対象物体がその上で移動する）
基平面と３Ｄ世界空間（３Ｄコンピュータモデル）での
基平面との間のマッピングである。この変換は、カメラ
の絶対位置や観察されているシーン（図２の例では、フ
ットボール競技場３４）に関連するカメラの位置が前も
って決定されて乃至、同様にカメラの像形成のパラメー
タ（焦点長さ、ＣＣＤのサイズ、ズーム設定など）も前
もって決定されてないため、実施される。この変換によ
って、以下に説明するように、画像空間での対象物体の
位置や大きさに基づいて、確実で効率的な方法での３Ｄ
コンピュータモデルにおける対象物体の表現の創出が可
能になる。
【００３３】ステップＳ２４での変換を計算するため、
ステップＳ２２で記録した背景の画像の１つを表示装置
１８上でユーザに表示する。ユーザは、ＣＰＵ４からの
催促に応じて、シーン内の対象物体が動く平面上にある
画像内の複数の点（本実施の形態では４点）を指定す
る。すなわち、図２に示す例を参照すると、フットボー
ル競技場３４のコーナーの点３６、３８、４０、４２を
指定することになる（競技場は人間３０、３２が動く表
面を表す）。ビデオ画像内で識別された点に対応する、
ステップＳ２０で創出された三次元コンピュータモデル
内の点も、ユーザによって定義される。例えば、所定の
観察方向からの三次元コンピュータモデルの眺めを表示
装置１８でユーザに表示し、対応する点を入力手段１４
を使用して指定する。ＣＰＵ４は、次いで、ビデオ画像
内で指定した点の位置と、三次元コンピュータモデル内
で指定した対応する点の位置とを用いて、従来の方法、
例えば次の方程式を用いて、画像空間と３Ｄ世界空間と
の間の変換演算を行う。
ステップＳ２２で記録した背景の画像の１つを表示装置
１８上でユーザに表示する。ユーザは、ＣＰＵ４からの
催促に応じて、シーン内の対象物体が動く平面上にある
画像内の複数の点（本実施の形態では４点）を指定す
る。すなわち、図２に示す例を参照すると、フットボー
ル競技場３４のコーナーの点３６、３８、４０、４２を
指定することになる（競技場は人間３０、３２が動く表
面を表す）。ビデオ画像内で識別された点に対応する、
ステップＳ２０で創出された三次元コンピュータモデル
内の点も、ユーザによって定義される。例えば、所定の
観察方向からの三次元コンピュータモデルの眺めを表示
装置１８でユーザに表示し、対応する点を入力手段１４
を使用して指定する。ＣＰＵ４は、次いで、ビデオ画像
内で指定した点の位置と、三次元コンピュータモデル内
で指定した対応する点の位置とを用いて、従来の方法、
例えば次の方程式を用いて、画像空間と３Ｄ世界空間と
の間の変換演算を行う。
【００３４】
【数１】
【００３５】ただし、ｎ＝１，…，４、Ｘｎ及びＹｎは
世界空間内の点、ｘｎ及びｙｎは画像空間内の点を示
し、Ａ〜Ｈは次式によって得られる。
世界空間内の点、ｘｎ及びｙｎは画像空間内の点を示
し、Ａ〜Ｈは次式によって得られる。
【００３６】
【数２】
【００３７】これは、画像空間での基平面と３Ｄコンピ
ュータモデル（３Ｄ世界空間）での基平面との間の変換
を定義している。
ュータモデル（３Ｄ世界空間）での基平面との間の変換
を定義している。
【００３８】ステップＳ２６では、ＣＰＵ４は静的背景
の参照画像の画素パラメータを計算する。これは、ステ
ップＳ２２で記録した複数の画像から、各画素ごとに平
均グレーレベルμを計算することによって実行される。
即ち、４つのフレームのそれぞれの対応する画素のグレ
ーレベルを考慮し、平均をとる。求めた平均の分散σも
算出する。次に、各画素のグレーレベル用「ウィンド
ウ」をμ±（２σ＋Ｆ）に設定する。ただし、Ｆは、ビ
デオカメラ１２の利得や雑音などの変数を考慮に入れる
ように設定されたエラーファクタである。本実施の形態
では、グレースケールレベルの合計数は２５６であり、
エラーファクタＦは５グレースケールレベルに設定され
る。
の参照画像の画素パラメータを計算する。これは、ステ
ップＳ２２で記録した複数の画像から、各画素ごとに平
均グレーレベルμを計算することによって実行される。
即ち、４つのフレームのそれぞれの対応する画素のグレ
ーレベルを考慮し、平均をとる。求めた平均の分散σも
算出する。次に、各画素のグレーレベル用「ウィンド
ウ」をμ±（２σ＋Ｆ）に設定する。ただし、Ｆは、ビ
デオカメラ１２の利得や雑音などの変数を考慮に入れる
ように設定されたエラーファクタである。本実施の形態
では、グレースケールレベルの合計数は２５６であり、
エラーファクタＦは５グレースケールレベルに設定され
る。
【００３９】ステップＳ２６で各画素ごとに設定される
「ウィンドウ」は、画素が静的背景の画像の一部を形成
する場合にとるグレースケール値の広がりを表す（ビデ
オカメラ１２の観察位置及び方向は一定であり、したが
って背景の一部を形成する画素のグレースケール値が採
光の変化やノイズによるエラーに応じてのみ変化す
る）。以下に説明するように、これらの「ウィンドウ」
は、背景上を動作中の（したがって、定義されたウィン
ドウの外側で画素値を移動させる）対象物体を識別する
ために使用される。
「ウィンドウ」は、画素が静的背景の画像の一部を形成
する場合にとるグレースケール値の広がりを表す（ビデ
オカメラ１２の観察位置及び方向は一定であり、したが
って背景の一部を形成する画素のグレースケール値が採
光の変化やノイズによるエラーに応じてのみ変化す
る）。以下に説明するように、これらの「ウィンドウ」
は、背景上を動作中の（したがって、定義されたウィン
ドウの外側で画素値を移動させる）対象物体を識別する
ために使用される。
【００４０】図３を再び参照すると、ステップＳ４では
「アクション」の画像、即ち背景上で対象物体が動いて
いる画像（例えば、フットボール競技場３４の人物３
０，３２の動き）がビデオカメラ１２によって記録され
る。
「アクション」の画像、即ち背景上で対象物体が動いて
いる画像（例えば、フットボール競技場３４の人物３
０，３２の動き）がビデオカメラ１２によって記録され
る。
【００４１】ステップＳ６では、ＣＰＵ４がステップＳ
４で記録した画像の画像データを処理して、画像内の
「静的背景」の一部ではない対象物体、即ち背景上を動
作中の対象物体を識別する。次に、ＣＰＵ４は、この対
象物体の情報とステップＳ２で定義した三次元コンピュ
ータモデルとを用い、カメラ１２によって記録されたシ
ーンの三次元コンピュータモデルを示すタイムスタンプ
付きの三次元物体データを創出する。
４で記録した画像の画像データを処理して、画像内の
「静的背景」の一部ではない対象物体、即ち背景上を動
作中の対象物体を識別する。次に、ＣＰＵ４は、この対
象物体の情報とステップＳ２で定義した三次元コンピュ
ータモデルとを用い、カメラ１２によって記録されたシ
ーンの三次元コンピュータモデルを示すタイムスタンプ
付きの三次元物体データを創出する。
【００４２】図５に、ステップＳ６でＣＰＵ４によって
実行される処理動作例の例を示す。
実行される処理動作例の例を示す。
【００４３】図５を参照すると、ステップＳ３０では、
ＣＰＵ４が画像内の対応する画素について、処理中の画
像データの各画素のグレーレベルを、ステップＳ２６で
予め設定したグレースケール「ウィンドウ」と比較す
る。その画素について予め定義されたウィンドウの外側
にあるグレーレベルを有するどの画素も、「前景」画
素、即ち背景上を動作中の対象物体の一部を形成する画
素となる可能性があると見なされる。従って、ステップ
Ｓ３０では、ＣＰＵ４が、どの画素が対応して予め計算
されたウィンドウの外側のグレースケールレベルを持つ
かの記録を保持する。
ＣＰＵ４が画像内の対応する画素について、処理中の画
像データの各画素のグレーレベルを、ステップＳ２６で
予め設定したグレースケール「ウィンドウ」と比較す
る。その画素について予め定義されたウィンドウの外側
にあるグレーレベルを有するどの画素も、「前景」画
素、即ち背景上を動作中の対象物体の一部を形成する画
素となる可能性があると見なされる。従って、ステップ
Ｓ３０では、ＣＰＵ４が、どの画素が対応して予め計算
されたウィンドウの外側のグレースケールレベルを持つ
かの記録を保持する。
【００４４】ステップＳ３２では、ノイズを除去するた
めに、画像データをＣＰＵ４で処理する。このようなノ
イズは、例えば、ビデオカメラ１２がＣＣＤ（電荷結合
素子）カメラである場合は量子効果によって、またカメ
ラ１２からのデータを圧縮するために用いられるデータ
圧縮技術によって、またＣＰＵ４で処理されるビデオデ
ータのフレーム取り込みに使用するフレームグラッバに
よってなど、数々の方法によって画像データ中に導入さ
れる。また、このようなノイズは、動作中の対象物体の
境界に近接する画像データでしばしば発生するノイズの
こともある。
めに、画像データをＣＰＵ４で処理する。このようなノ
イズは、例えば、ビデオカメラ１２がＣＣＤ（電荷結合
素子）カメラである場合は量子効果によって、またカメ
ラ１２からのデータを圧縮するために用いられるデータ
圧縮技術によって、またＣＰＵ４で処理されるビデオデ
ータのフレーム取り込みに使用するフレームグラッバに
よってなど、数々の方法によって画像データ中に導入さ
れる。また、このようなノイズは、動作中の対象物体の
境界に近接する画像データでしばしば発生するノイズの
こともある。
【００４５】図６に、図５のステップＳ３２でノイズを
除去するために画像データを処理する際に、ＣＰＵ４が
実行する動作を示す。
除去するために画像データを処理する際に、ＣＰＵ４が
実行する動作を示す。
【００４６】図６を参照すると、ステップＳ５０では、
従来の方法、例えばＲ．Ｍ．Ｈａｒａｌｉｃｋ、Ｌ．
Ｇ．Ｓｈａｐｉｒｏ著「Ｃｏｍｐｕｔｅｒ ａｎｄ Ｒ
ｏｂｏｔ Ｖｉｓｉｏｎ Ｖｏｌｕｍｅ ２」，Ａｄｄ
ｉｓｏｎ−Ｗｅｓｌｅｙ Ｐｕｂｌｉｓｈｉｎｇ Ｃｏ
ｍｐａｎｙ，１９９３ ＩＳＢＮ ０−２０１−５６９
４３−４（ｖ．２）の５８３頁に示される方法で、ＣＰ
Ｕ４が画像データに「縮小」マスクを適用する。この操
作では、３×３の画素マスクを画像データに適用し、こ
のマスクによって定義される９つの画素の各組ごとに、
「前景」画素（ステップＳ３０で識別された）数と「背
景」画素数をカウントする。マスク内の大多数の画素が
背景画素である場合、中央の画素は背景画素であると定
義される（たとえその画素が、以前に前景画素であると
識別されたとしても）。マスク内の大多数の画素が前景
画素である場合は、何の変化も生じない。この操作は、
縮小マスクが全ての画像データに適用されるまで繰り返
される。
従来の方法、例えばＲ．Ｍ．Ｈａｒａｌｉｃｋ、Ｌ．
Ｇ．Ｓｈａｐｉｒｏ著「Ｃｏｍｐｕｔｅｒ ａｎｄ Ｒ
ｏｂｏｔ Ｖｉｓｉｏｎ Ｖｏｌｕｍｅ ２」，Ａｄｄ
ｉｓｏｎ−Ｗｅｓｌｅｙ Ｐｕｂｌｉｓｈｉｎｇ Ｃｏ
ｍｐａｎｙ，１９９３ ＩＳＢＮ ０−２０１−５６９
４３−４（ｖ．２）の５８３頁に示される方法で、ＣＰ
Ｕ４が画像データに「縮小」マスクを適用する。この操
作では、３×３の画素マスクを画像データに適用し、こ
のマスクによって定義される９つの画素の各組ごとに、
「前景」画素（ステップＳ３０で識別された）数と「背
景」画素数をカウントする。マスク内の大多数の画素が
背景画素である場合、中央の画素は背景画素であると定
義される（たとえその画素が、以前に前景画素であると
識別されたとしても）。マスク内の大多数の画素が前景
画素である場合は、何の変化も生じない。この操作は、
縮小マスクが全ての画像データに適用されるまで繰り返
される。
【００４７】ステップＳ５２では、従来の方法、例えば
Ｒ．Ｍ．Ｈａｒａｌｉｃｋ、Ｌ．Ｇ．Ｓｈａｐｉｒｏ著
「Ｃｏｍｐｕｔｅｒ ａｎｄ Ｒｏｂｏｔ Ｖｉｓｉｏ
ｎＶｏｌｕｍｅ ２」，Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ
ＰｕｂｌｉｓｈｉｎｇＣｏｍｐａｎｙ，１９９３ Ｉ
ＳＢＮ ０−２０１−５６９４３−４（ｖ．２）の５８
３頁に示される方法で、ＣＰＵ４が画像に「増大マス
ク」を適用する。この操作は、マスク内の大多数の画素
が前景画素である場合、中央の画素は前景画素であると
定義され（たとえその画素が、以前に背景画素であると
識別されたとしても）、マスク内の大多数の画素が背景
画素である場合は何の変化も生じないこと以外は、ステ
ップＳ５０と同様の方法で実行される。ステップＳ５２
の効果は、ステップＳ５０での縮小マスク操作で誤って
背景画素であると設定された画素を、前景画素に復帰さ
せることである。
Ｒ．Ｍ．Ｈａｒａｌｉｃｋ、Ｌ．Ｇ．Ｓｈａｐｉｒｏ著
「Ｃｏｍｐｕｔｅｒ ａｎｄ Ｒｏｂｏｔ Ｖｉｓｉｏ
ｎＶｏｌｕｍｅ ２」，Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ
ＰｕｂｌｉｓｈｉｎｇＣｏｍｐａｎｙ，１９９３ Ｉ
ＳＢＮ ０−２０１−５６９４３−４（ｖ．２）の５８
３頁に示される方法で、ＣＰＵ４が画像に「増大マス
ク」を適用する。この操作は、マスク内の大多数の画素
が前景画素である場合、中央の画素は前景画素であると
定義され（たとえその画素が、以前に背景画素であると
識別されたとしても）、マスク内の大多数の画素が背景
画素である場合は何の変化も生じないこと以外は、ステ
ップＳ５０と同様の方法で実行される。ステップＳ５２
の効果は、ステップＳ５０での縮小マスク操作で誤って
背景画素であると設定された画素を、前景画素に復帰さ
せることである。
【００４８】図５を再び参照すると、ステップＳ３４で
は、前景画素の集団を識別するためにＣＰＵ４がデータ
の処理を行う。これは、同じ特性を有する画素の集団を
識別するために、従来の方法によって実行され、まず画
像データを走査して前景画素を識別し、次に隣接する画
素を反復的に検討して接続された全ての前景画素を識別
する。
は、前景画素の集団を識別するためにＣＰＵ４がデータ
の処理を行う。これは、同じ特性を有する画素の集団を
識別するために、従来の方法によって実行され、まず画
像データを走査して前景画素を識別し、次に隣接する画
素を反復的に検討して接続された全ての前景画素を識別
する。
【００４９】ステップＳ３６では、ＣＰＵ４がステップ
Ｓ３４で識別された前景画素の次の集団（ここで、ステ
ップＳ３６によって初めて実行されるのは第１の集団で
ある）を考察し、この集団の画素数が３０よりも大か否
か判定する。
Ｓ３４で識別された前景画素の次の集団（ここで、ステ
ップＳ３６によって初めて実行されるのは第１の集団で
ある）を考察し、この集団の画素数が３０よりも大か否
か判定する。
【００５０】画素数が３０以下である場合、その集団は
全体画像（本実施の形態では、７６８画素×５１２画
素）の比較的小さな部分を形成するので、ノイズを表す
と見なせる。この場合、その集団はそれ以上は処理され
ない。一方、集団の画素数が３０より大である場合は、
その集団は動作中の物体を表すと見なされ、更に処理が
実行される。
全体画像（本実施の形態では、７６８画素×５１２画
素）の比較的小さな部分を形成するので、ノイズを表す
と見なせる。この場合、その集団はそれ以上は処理され
ない。一方、集団の画素数が３０より大である場合は、
その集団は動作中の物体を表すと見なされ、更に処理が
実行される。
【００５１】ステップＳ３８では、ＣＰＵ４は画素集団
の大きさを決定する。本実施の形態では、ＣＰＵ４が、
二次元画像内で画像の辺に平行な辺を有する集団の境界
四角形を決定することにより、この処理を実施する。。
の大きさを決定する。本実施の形態では、ＣＰＵ４が、
二次元画像内で画像の辺に平行な辺を有する集団の境界
四角形を決定することにより、この処理を実施する。。
【００５２】ステップＳ４０では、ＣＰＵ４が、ステッ
プＳ２４で算出された変換値を用いてステップＳ２０で
コンピュータモデルが形成された三次元世界空間に、ス
テップＳ３８で決定された境界四角形を投影する。これ
によって、三次元コンピュータモデル内に１つの平面が
作成され、以下に示すように、この平面上には動作中の
対象物体のビデオ画像がユーザに表示するために投影さ
れる。本実施の形態では、三次元コンピュータモデル内
の平面は垂直であり、その底辺は、ステップＳ２４でユ
ーザが選択した点によって定義される３Ｄモデル内の表
面上にある（対象物体は、観察されるシーンと共に、対
応する実世界表面、図２の例ではフットボール競技場３
４上を動くと想定されるためである）。
プＳ２４で算出された変換値を用いてステップＳ２０で
コンピュータモデルが形成された三次元世界空間に、ス
テップＳ３８で決定された境界四角形を投影する。これ
によって、三次元コンピュータモデル内に１つの平面が
作成され、以下に示すように、この平面上には動作中の
対象物体のビデオ画像がユーザに表示するために投影さ
れる。本実施の形態では、三次元コンピュータモデル内
の平面は垂直であり、その底辺は、ステップＳ２４でユ
ーザが選択した点によって定義される３Ｄモデル内の表
面上にある（対象物体は、観察されるシーンと共に、対
応する実世界表面、図２の例ではフットボール競技場３
４上を動くと想定されるためである）。
【００５３】図７に、図５のステップＳ４０で行われる
境界平面の変換の際に、ＣＰＵ４によって実行される動
作を示す。
境界平面の変換の際に、ＣＰＵ４によって実行される動
作を示す。
【００５４】図７を参照すると、ステップＳ６２では、
ＣＰＵ４が、ステップＳ２４で予め算出した変換値を用
いて座標変換を行うことによって、境界四角形の底辺の
２つのコーナーを像空間から三次元世界空間に投影す
る。境界四角形の底辺の各コーナーは、ステップＳ２４
で予め選択された点によって定義される表面にあるコン
ピュータモデルの三次元世界空間内の点へと変換され
る。
ＣＰＵ４が、ステップＳ２４で予め算出した変換値を用
いて座標変換を行うことによって、境界四角形の底辺の
２つのコーナーを像空間から三次元世界空間に投影す
る。境界四角形の底辺の各コーナーは、ステップＳ２４
で予め選択された点によって定義される表面にあるコン
ピュータモデルの三次元世界空間内の点へと変換され
る。
【００５５】ステップＳ６４では、ＣＰＵ４が、ステッ
プＳ６２で変換されたコーナー間の距離を決定すること
により、三次元世界空間内の境界四角形の幅を計算す
る。
プＳ６２で変換されたコーナー間の距離を決定すること
により、三次元世界空間内の境界四角形の幅を計算す
る。
【００５６】ステップＳ６６では、ＣＰＵ４が像空間内
の境界四角形の幅と高さの比と、ステップＳ６４で計算
された三次元世界空間内の幅とを用いて、三次元世界空
間内の境界四角形の高さを計算する（即ち、境界四角形
のアスペクト比が、像空間と三次元世界空間とで同一に
維持される）。
の境界四角形の幅と高さの比と、ステップＳ６４で計算
された三次元世界空間内の幅とを用いて、三次元世界空
間内の境界四角形の高さを計算する（即ち、境界四角形
のアスペクト比が、像空間と三次元世界空間とで同一に
維持される）。
【００５７】図５を再び参照すると、ステップＳ４２で
は、ＣＰＵ４が、予めステップＳ４０で計算された三次
元世界空間内の境界四角形の位置と大きさを格納すると
共に、ビデオ画像内の境界四角形から抽出された境界四
角形のテクスチャデータ及び「前景マスク」、即ち前景
画素に対応する境界四角形内の画素を識別するマスクも
格納される。抽出されたテクスチャデータは、３Ｄ世界
空間内の境界四角形のテクスチャマップを効果的に提供
する。
は、ＣＰＵ４が、予めステップＳ４０で計算された三次
元世界空間内の境界四角形の位置と大きさを格納すると
共に、ビデオ画像内の境界四角形から抽出された境界四
角形のテクスチャデータ及び「前景マスク」、即ち前景
画素に対応する境界四角形内の画素を識別するマスクも
格納される。抽出されたテクスチャデータは、３Ｄ世界
空間内の境界四角形のテクスチャマップを効果的に提供
する。
【００５８】ステップＳ４４では、ステップＳ３４で識
別された前景画素の他の集団でまだ未処理のものが存在
するかどうか、ＣＰＵ４が判定する。考察中のビデオフ
レーム用の前景画素の全ての集団が上述の方法によって
処理されるまで、ステップＳ３６からＳ４４が繰り返さ
れる。この段階では、動作中の各対象物体の位置を表わ
す１つの平面（境界四角形）が配置され、更に、これら
動作中の対象物体のテクスチャ画像データを、後でユー
ザによって選択される観察点に基づき平面上に投影でき
るように格納する、三次元コンピュータモデルが作成さ
れている。従ってこのデータは、カメラ１２から得られ
る１つの二次元画像（ビデオフレーム）の、三次元コン
ピュータモデルに対応する。
別された前景画素の他の集団でまだ未処理のものが存在
するかどうか、ＣＰＵ４が判定する。考察中のビデオフ
レーム用の前景画素の全ての集団が上述の方法によって
処理されるまで、ステップＳ３６からＳ４４が繰り返さ
れる。この段階では、動作中の各対象物体の位置を表わ
す１つの平面（境界四角形）が配置され、更に、これら
動作中の対象物体のテクスチャ画像データを、後でユー
ザによって選択される観察点に基づき平面上に投影でき
るように格納する、三次元コンピュータモデルが作成さ
れている。従ってこのデータは、カメラ１２から得られ
る１つの二次元画像（ビデオフレーム）の、三次元コン
ピュータモデルに対応する。
【００５９】図３を再び参照すると、ステップＳ８で
は、ステップＳ４でカメラ１２によって記録され未だ処
理されていない他の画像（ビデオフレーム）が存在する
か否か、ＣＰＵ４が判定する。ステップＳ４でカメラ１
２により記録された全ての画像が上述の方法で処理され
るまで、ステップＳ６及びＳ８が繰り返される。
は、ステップＳ４でカメラ１２によって記録され未だ処
理されていない他の画像（ビデオフレーム）が存在する
か否か、ＣＰＵ４が判定する。ステップＳ４でカメラ１
２により記録された全ての画像が上述の方法で処理され
るまで、ステップＳ６及びＳ８が繰り返される。
【００６０】ステップＳ１０では、ＣＰＵ４が、ユーザ
に選択された所望の観察点からの画像を、表示装置１８
でユーザに表示する。この段階でＣＰＵ４によって表示
される画像は、予め創出された三次元モデルの対象物体
データを使用して作成された、シミュレーションされた
ビデオ画像である。
に選択された所望の観察点からの画像を、表示装置１８
でユーザに表示する。この段階でＣＰＵ４によって表示
される画像は、予め創出された三次元モデルの対象物体
データを使用して作成された、シミュレーションされた
ビデオ画像である。
【００６１】図８は、ステップＳ１０での画像表示の際
にＣＰＵ４によって実行される処理動作を示す。
にＣＰＵ４によって実行される処理動作を示す。
【００６２】図８を参照すると、ステップＳ７０では、
対象物体が観察される方向が入力装置１４を使用してユ
ーザにより定義される。
対象物体が観察される方向が入力装置１４を使用してユ
ーザにより定義される。
【００６３】ステップＳ７２では、ステップＳ７０で選
択された観察方向に従って、３Ｄ世界空間を視野空間へ
と変換する。この変換によって、モデル化された空間全
体よりも通常は狭い範囲である特定の視野が識別され
る。従って、ステップＳ７４では、視野からはみ出る表
面又はその一部を除去するために、ＣＰＵ４がクリッピ
ング処理を実行する。
択された観察方向に従って、３Ｄ世界空間を視野空間へ
と変換する。この変換によって、モデル化された空間全
体よりも通常は狭い範囲である特定の視野が識別され
る。従って、ステップＳ７４では、視野からはみ出る表
面又はその一部を除去するために、ＣＰＵ４がクリッピ
ング処理を実行する。
【００６４】この段階に至るまでは、ＣＰＵ４によって
処理される対象物体データが三次元座標での位置を定義
する。ステップＳ７６では、３Ｄコンピュータモデルを
構成する三角形の面の頂点が投影されて、二次元画像を
定義する。
処理される対象物体データが三次元座標での位置を定義
する。ステップＳ７６では、３Ｄコンピュータモデルを
構成する三角形の面の頂点が投影されて、二次元画像を
定義する。
【００６５】画像を二次元に投影した後に、「前向
き」、即ち観察者に面している三角形表面、及び「後ろ
向き」、即ち観察者が視認できない三角形表面を識別す
ることが必要である。従って、ステップＳ７８では、後
ろ向きの面を識別して選別する。すなわち、ステップＳ
７８の後には、視認される多角形の三角形の面を識別す
る頂点が二次元内で定義されている。
き」、即ち観察者に面している三角形表面、及び「後ろ
向き」、即ち観察者が視認できない三角形表面を識別す
ることが必要である。従って、ステップＳ７８では、後
ろ向きの面を識別して選別する。すなわち、ステップＳ
７８の後には、視認される多角形の三角形の面を識別す
る頂点が二次元内で定義されている。
【００６６】ステップＳ８０では、ＣＰＵ４によって表
面を定義する二次元データが走査変換され、画素値を生
成する。この段階では、画像内の背景を表す表面をレン
ダリングすると共に、ステップＳ４２で格納された適正
なビデオテクスチャデータによって、ステップＳ４０で
先に決定された境界四角形もレンダリングされる。境界
四角形内の前景画素のみが格納されたビデオテクスチャ
データでレンダリングされるが、これらの画素は格納さ
れた「前景マスク」によって定義される。その他の画素
は、背景テクスチャデータでレンダリングされる。ステ
ップＳ８０で作成されたレンダリングデータは、シミュ
レーションされたビデオフレームを表す。ここで、背景
は、ステップＳ２０で創出されたコンピュータモデルか
ら作成され、動作中の各対象物体は、ビデオ画像から抽
出された動作中の対象物体の画像データが投影される背
景（図２の例では、フットボール競技場３４）の水平表
面から延びる、垂直な平面として表される。
面を定義する二次元データが走査変換され、画素値を生
成する。この段階では、画像内の背景を表す表面をレン
ダリングすると共に、ステップＳ４２で格納された適正
なビデオテクスチャデータによって、ステップＳ４０で
先に決定された境界四角形もレンダリングされる。境界
四角形内の前景画素のみが格納されたビデオテクスチャ
データでレンダリングされるが、これらの画素は格納さ
れた「前景マスク」によって定義される。その他の画素
は、背景テクスチャデータでレンダリングされる。ステ
ップＳ８０で作成されたレンダリングデータは、シミュ
レーションされたビデオフレームを表す。ここで、背景
は、ステップＳ２０で創出されたコンピュータモデルか
ら作成され、動作中の各対象物体は、ビデオ画像から抽
出された動作中の対象物体の画像データが投影される背
景（図２の例では、フットボール競技場３４）の水平表
面から延びる、垂直な平面として表される。
【００６７】ステップＳ８２では、ステップＳ８０で生
成した画素値が、表面ごとにフレームバッファに書き込
まれ、これにより、完全な二次元画像のデータが生成さ
れる。
成した画素値が、表面ごとにフレームバッファに書き込
まれ、これにより、完全な二次元画像のデータが生成さ
れる。
【００６８】ステップＳ８４では、ＣＰＵ４によって、
画素値を定義する信号が生成される。この信号は、表示
装置１８上に対象物体の画像を生成するために用いら
れ、かつ／又は、例えばビデオテープレコーダ２０のビ
デオテープなどに記録される。（生成した画像を、この
ビデオテープから更に生成画像を記録することが可能で
ある。）表示又は記録のために、この信号を遠隔の受信
機に伝送することも可能である。
画素値を定義する信号が生成される。この信号は、表示
装置１８上に対象物体の画像を生成するために用いら
れ、かつ／又は、例えばビデオテープレコーダ２０のビ
デオテープなどに記録される。（生成した画像を、この
ビデオテープから更に生成画像を記録することが可能で
ある。）表示又は記録のために、この信号を遠隔の受信
機に伝送することも可能である。
【００６９】ステップＳ８６では、ステップＳ６で先に
創出されたタイムスタンプ付きの他の「フレーム」の三
次元対象物体データで、ユーザに未だ表示されていない
ものが存在するかどうか、ＣＰＵ４が判定する。このよ
うな対象物体データの全てのフレームが上述の方法に基
づいて表示されるまで、ステップＳ７０からＳ８６が繰
り返され、これによって、シミュレーションされた動く
画像のシーケンスを所望の観察方向からユーザに表示す
ることができる。表示中、ユーザがいつでも観察方向を
変えることができるのは当然である。
創出されたタイムスタンプ付きの他の「フレーム」の三
次元対象物体データで、ユーザに未だ表示されていない
ものが存在するかどうか、ＣＰＵ４が判定する。このよ
うな対象物体データの全てのフレームが上述の方法に基
づいて表示されるまで、ステップＳ７０からＳ８６が繰
り返され、これによって、シミュレーションされた動く
画像のシーケンスを所望の観察方向からユーザに表示す
ることができる。表示中、ユーザがいつでも観察方向を
変えることができるのは当然である。
【００７０】上述の実施の形態に対し、様々な変更点を
加えることが可能である。
加えることが可能である。
【００７１】図３を再び参照すると、上述の実施の形態
では、ステップＳ４で全ての画像を記録した後、ステッ
プＳ６（画像データを処理して動作中の対象物体を識
別、そこから対象物体データを創出）を実行する。同様
に、ステップＳ６及びＳ８を完了した後、ステップＳ１
０（画像の表示）を実行する。しかしながら、ステップ
Ｓ４、Ｓ６、Ｓ１０を、所望の観察方向からユーザに対
し画像を実時間表示させるように実行することが可能で
ある。即ち、ビデオカメラ１２によって次のデータのフ
レームが記録される間に、ステップＳ６及びＳ１０をビ
デオデータの１つのフレーム上で実行することができ
る。この実時間操作が可能なのは、ステップＳ６及びＳ
１０の処理要件がＣＰＵ４上で特に面倒なものではな
く、また、１／３０秒間以内という、ビデオフレームを
記録する合間の時間で処理が実施できるからである。
では、ステップＳ４で全ての画像を記録した後、ステッ
プＳ６（画像データを処理して動作中の対象物体を識
別、そこから対象物体データを創出）を実行する。同様
に、ステップＳ６及びＳ８を完了した後、ステップＳ１
０（画像の表示）を実行する。しかしながら、ステップ
Ｓ４、Ｓ６、Ｓ１０を、所望の観察方向からユーザに対
し画像を実時間表示させるように実行することが可能で
ある。即ち、ビデオカメラ１２によって次のデータのフ
レームが記録される間に、ステップＳ６及びＳ１０をビ
デオデータの１つのフレーム上で実行することができ
る。この実時間操作が可能なのは、ステップＳ６及びＳ
１０の処理要件がＣＰＵ４上で特に面倒なものではな
く、また、１／３０秒間以内という、ビデオフレームを
記録する合間の時間で処理が実施できるからである。
【００７２】上述の実施の形態では、動作中の物体は、
グレースケール値を基に識別される。しかしながら、そ
れに加えて又はその代わりに、色及び赤外の値のウィン
ドウを設定し、これらの画像特性を用いて前景物体を識
別することも可能である。
グレースケール値を基に識別される。しかしながら、そ
れに加えて又はその代わりに、色及び赤外の値のウィン
ドウを設定し、これらの画像特性を用いて前景物体を識
別することも可能である。
【００７３】上述の実施の形態では、ＣＰＵ４によって
処理する画像を記録するのに１台のビデオカメラ１２を
使用している。同様に、３Ｄ世界空間内の１つの境界四
角形が計算され、そこにビデオ画像データがレンダリン
グされる。このシステムには、ユーザが境界四角形の平
面内の観察方向を選択する場合、その境界平面によって
定義される動作中の対象物体が、ユーザに表示されない
（ユーザにとっては「エッジオン(edge on)」状態にあ
るから）という問題がある。この問題は、ステップＳ４
で「動作中」の画像を同時に記録するために複数のカメ
ラを使用することによって、また、閉平面を形成するよ
うに接続した複数の平面（例えば複数の垂直な平面）で
各対象物体を表現することによって、対処できる。ユー
ザに表示するために１つの平面上にレンダリングされる
ビデオ画像データは、表示される境界平面の垂線に最も
近い観察方向をどのビデオカメラが持っているかを決定
することによって、選択される（そのカメラからのビデ
オデータが、境界四角形のテクスチャデータとして使用
される）。
処理する画像を記録するのに１台のビデオカメラ１２を
使用している。同様に、３Ｄ世界空間内の１つの境界四
角形が計算され、そこにビデオ画像データがレンダリン
グされる。このシステムには、ユーザが境界四角形の平
面内の観察方向を選択する場合、その境界平面によって
定義される動作中の対象物体が、ユーザに表示されない
（ユーザにとっては「エッジオン(edge on)」状態にあ
るから）という問題がある。この問題は、ステップＳ４
で「動作中」の画像を同時に記録するために複数のカメ
ラを使用することによって、また、閉平面を形成するよ
うに接続した複数の平面（例えば複数の垂直な平面）で
各対象物体を表現することによって、対処できる。ユー
ザに表示するために１つの平面上にレンダリングされる
ビデオ画像データは、表示される境界平面の垂線に最も
近い観察方向をどのビデオカメラが持っているかを決定
することによって、選択される（そのカメラからのビデ
オデータが、境界四角形のテクスチャデータとして使用
される）。
【００７４】上述の実施の形態では、カメラに向かう動
作中の対象物体の表面に関するデータのみが記録される
ように、１台のビデオカメラ１２によって画像データを
記録する。従って、ステップＳ７０（図８）で、カメラ
１２に向かう観察方向をユーザが選択する場合、カメラ
１２によって視認されたビデオ画像データが境界四角形
上でレンダリングされ、実際にはユーザには対象物体の
反対側の表面の画像が表示されていても、そのビデオ画
像データがユーザに表示される。この問題は、反対方向
を向いている第１及び第２のカメラを使用することによ
って、また、ユーザが選択する観察方向に最も近い観察
方向をどのビデオカメラが持っているかを判定すること
により、境界四角形上にレンダリングされるビデオデー
タを選択する（このカメラで得られるビデオデータが、
境界四角形上でレンダリングされる）ことによって、克
服することができる。
作中の対象物体の表面に関するデータのみが記録される
ように、１台のビデオカメラ１２によって画像データを
記録する。従って、ステップＳ７０（図８）で、カメラ
１２に向かう観察方向をユーザが選択する場合、カメラ
１２によって視認されたビデオ画像データが境界四角形
上でレンダリングされ、実際にはユーザには対象物体の
反対側の表面の画像が表示されていても、そのビデオ画
像データがユーザに表示される。この問題は、反対方向
を向いている第１及び第２のカメラを使用することによ
って、また、ユーザが選択する観察方向に最も近い観察
方向をどのビデオカメラが持っているかを判定すること
により、境界四角形上にレンダリングされるビデオデー
タを選択する（このカメラで得られるビデオデータが、
境界四角形上でレンダリングされる）ことによって、克
服することができる。
【００７５】なお、本発明は、複数の機器（例えばホス
トコンピュータ，インタフェイス機器，リーダ，プリン
タなど）から構成されるシステムに適用しても、一つの
機器からなる装置に適用してもよい。
トコンピュータ，インタフェイス機器，リーダ，プリン
タなど）から構成されるシステムに適用しても、一つの
機器からなる装置に適用してもよい。
【００７６】また、本発明の目的は、前述したように実
施形態の機能を実現するソフトウェアのプログラムコー
ドを記録した記憶媒体を、システムあるいは装置に供給
し、そのシステムあるいは装置のコンピュータ（または
ＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコ
ードを読出し実行することによっても達成される。この
場合、記憶媒体から読出されたプログラムコード自体が
前述した実施形態の機能を実現することになり、そのプ
ログラムコードを記憶した記憶媒体は本発明を構成する
ことになる。
施形態の機能を実現するソフトウェアのプログラムコー
ドを記録した記憶媒体を、システムあるいは装置に供給
し、そのシステムあるいは装置のコンピュータ（または
ＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコ
ードを読出し実行することによっても達成される。この
場合、記憶媒体から読出されたプログラムコード自体が
前述した実施形態の機能を実現することになり、そのプ
ログラムコードを記憶した記憶媒体は本発明を構成する
ことになる。
【００７７】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク，ハードディス
ク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ
−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭな
どを用いることができる。
体としては、例えば、フロッピディスク，ハードディス
ク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ
−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭな
どを用いることができる。
【００７８】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれる。
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれる。
【００７９】更に、記憶媒体から読出されたプログラム
コードが、コンピュータに挿入された機能拡張ボードや
コンピュータに接続された機能拡張ユニットに備わるメ
モリに書込まれた後、そのプログラムコードの指示に基
づき、その機能拡張ボードや機能拡張ユニットに備わる
ＣＰＵなどが実際の処理の一部または全部を行い、その
処理によって前述した実施形態の機能が実現される場合
も含まれる。
コードが、コンピュータに挿入された機能拡張ボードや
コンピュータに接続された機能拡張ユニットに備わるメ
モリに書込まれた後、そのプログラムコードの指示に基
づき、その機能拡張ボードや機能拡張ユニットに備わる
ＣＰＵなどが実際の処理の一部または全部を行い、その
処理によって前述した実施形態の機能が実現される場合
も含まれる。
【００８０】本発明を上記記憶媒体に適用する場合、そ
の記憶媒体には、先に説明したフローチャートに対応す
る処理を実行するプログラムコードを格納することにな
る。
の記憶媒体には、先に説明したフローチャートに対応す
る処理を実行するプログラムコードを格納することにな
る。
【発明の効果】以上説明したように、本発明により、ビ
デオ画面内を移動する物体を確実に効率よく三次元コン
ピュータモデル内に表現可能とする画像処理方法及びそ
の装置を提供できる。
デオ画面内を移動する物体を確実に効率よく三次元コン
ピュータモデル内に表現可能とする画像処理方法及びそ
の装置を提供できる。
【００８１】すなわち、本発明によれば、三次元コンピ
ュータモデル内の物体の平面表現を定義するため、移動
している物体の画像を処理する画像処理方法及びその装
置が提供される。画像内の物体の位置を用いてモデル内
での位置を決定し、この物体に対応する画像データをそ
の表現の際に使用する。物体を表現するため、複数の平
面を使用することが可能である。又、本発明は、画像デ
ータ内に記録される移動中の物体の位置を表すために三
次元コンピュータモデル内で平らな表面を定義し、上記
画像データを用いてその表面のテクスチャデータを作成
して、その表現を表示できるようにする画像処理方法及
びその装置を提供する。テクスチャデータは、物体の画
像からの実画素データでよい。
ュータモデル内の物体の平面表現を定義するため、移動
している物体の画像を処理する画像処理方法及びその装
置が提供される。画像内の物体の位置を用いてモデル内
での位置を決定し、この物体に対応する画像データをそ
の表現の際に使用する。物体を表現するため、複数の平
面を使用することが可能である。又、本発明は、画像デ
ータ内に記録される移動中の物体の位置を表すために三
次元コンピュータモデル内で平らな表面を定義し、上記
画像データを用いてその表面のテクスチャデータを作成
して、その表現を表示できるようにする画像処理方法及
びその装置を提供する。テクスチャデータは、物体の画
像からの実画素データでよい。
【００８２】
【図１】本実施の形態の画像処理装置の構成要素の一例
を示す概略図である。
を示す概略図である。
【図２】本実施の形態の動的環境から得られるビデオデ
ータの集合体の例を示す概略図である。
ータの集合体の例を示す概略図である。
【図３】本実施の形態において、動画を定義する信号を
処理し、三次元コンピュータモデルを創出し、所望の観
察方向からの画像をユーザに表示するために、本実施の
形態で実行される処理動作例を示す最上位レベルのフロ
ーチャートである。
処理し、三次元コンピュータモデルを創出し、所望の観
察方向からの画像をユーザに表示するために、本実施の
形態で実行される処理動作例を示す最上位レベルのフロ
ーチャートである。
【図４】図３のステップＳ２で実行される処理動作例を
示すフローチャートである。
示すフローチャートである。
【図５】図３のステップＳ６で実行される処理動作例を
示すフローチャートである。
示すフローチャートである。
【図６】図５のステップＳ３２で実行される処理動作例
を示すフローチャートである。
を示すフローチャートである。
【図７】図５のステップＳ４０で実行される処理動作例
を示すフローチャートである。
を示すフローチャートである。
【図８】図３のステップＳ１０で実行される処理動作例
を示すフローチャートである。
を示すフローチャートである。
Claims (32)
- 【請求項１】 シーン内を移動している物体の一連の画
像を定義する画像データを処理して、前記シーン内での
前記物体の位置に対応する、三次元コンピュータモデル
内の複数の位置での前記物体の表現を定義する信号を生
成する画像処理方法であって、 複数の画像の前記画像データを処理して、前記画像内の
前記物体の境界を表わす各画像のそれぞれの多角形を定
義する工程と、 前記物体のそれぞれの位置を表す少なくとも１つの平面
状表面を三次元コンピュータモデル内で定義する工程で
あって、各平面状表面が、三次元コンピュータモデル内
の所定の表面上の底辺と、前記画像内の前記物体の境界
を表わす前記多角形のそれぞれ１つに対応する位置及び
サイズとで定義される工程と、 前記画像データに応じて前記物体の形状を表すために、
前記平面状表面のテクスチャデータを生成する工程とを
含むことを特徴とする画像処理方法。 - 【請求項２】 前記平面状表面の幅が前記画像データ中
の境界の多角形の幅で決定され、前記平面状表面の高さ
が前記画像データ中の境界の多角形のアスペクト比を使
って計算されることを特徴とする請求項１に記載の画像
処理方法。 - 【請求項３】 前記各平面状表面が垂直平面内にあるこ
とを特徴とする請求項１又は２に記載の画像処理方法。 - 【請求項４】 前記物体の境界を表わす多角形が矩形で
あることを特徴とする請求項１乃至３のいずれか１つに
記載の画像処理方法。 - 【請求項５】 前記矩形の辺が画像の辺に平行であるこ
とを特徴とする請求項４に記載の画像処理方法。 - 【請求項６】 １つの前記平面状表面が、前記三次元コ
ンピュータモデル内の物体の各位置を表わすように定義
されることを特徴とする請求項１乃至５のいずれか１つ
に記載の画像処理方法。 - 【請求項７】 複数の接続された平面状表面が前記三次
元コンピュータモデル内の物体の各位置を表わすために
定義されることを特徴とする請求項１乃至５のいずれか
１つに記載の画像処理方法。 - 【請求項８】 前記画像データが、前記境界多角形内で
前記物体の位置を定義するマスクを抽出するために処理
されることを特徴とする請求項１乃至７のいずれか１つ
に記載の画像処理方法。 - 【請求項９】 三次元コンピュータモデルを創出する工
程を更に含むことを特徴とする請求項１乃至８のいずれ
か１つに記載の画像処理方法。 - 【請求項１０】 前記画像データと、前記三次元コンピ
ュータモデルを定義するデータとを処理して、その中の
複数の対応点を識別し、定義された前記対応点を用いて
前記画像と前記モデルとの間での変換を定義する工程を
更に含むことを特徴とする請求項１乃至９いずれか１つ
に記載の画像処理方法。 - 【請求項１１】 選択された観察方向から前記三次元コ
ンピュータモデルの画像をレンダリングすることによっ
て画像データを生成し、そこで前記テクスチャデータが
前記平面状表面上にレンダリングされる工程を更に含む
ことを特徴とする請求項１乃至１０のいずれか１つに記
載の画像処理方法。 - 【請求項１２】 前記画像データを伝達する信号を発生
させる工程を更に含むことを特徴とする請求項１１に記
載の画像処理方法。 - 【請求項１３】 前記信号を記録する工程を更に含むこ
とを特徴とする請求項１２に記載の画像処理方法。 - 【請求項１４】 前記生成した画像データを用いて、前
記物体の画像を表示する工程を更に含むことを特徴とす
る請求項１１乃至１３のいずれか１つに記載の画像処理
方法。 - 【請求項１５】 前記画像データの記録を直接又は間接
に実施する工程を更に含むことを特徴とする請求項１１
乃至１４のいずれか１つに記載の画像処理方法。 - 【請求項１６】 シーン内の表面を移動する物体の三次
元コンピュータモデルを創出する画像処理方法であっ
て、 前記シーンの画像から決定された前記シーン内の物体の
位置に応じた位置を有する少なくとも１つの平面状表面
と、物体が移動する表面と三次元コンピュータモデルの
表面との間のマッピングを定義する変換とを用いて、前
記物体がモデル化されることを特徴とする画像処理方
法。 - 【請求項１７】 シーン内の物体の動きをモデル化する
画像処理方法であって、 前記移動物体の画像が画像データが記録された位置ある
いは記録装置の画像形成パラメータの予備知識なしに処
理されて、前記シーンの三次元コンピュータモデル内で
平面状表面と前記平面状表面上にレンダリングするテク
スチャデータとを作成することを特徴とする画像処理方
法。 - 【請求項１８】 シーン内を移動している前記物体の一
連の画像を定義する画像データを処理して、前記シーン
内での物体の位置に対応する三次元コンピュータモデル
内の複数の位置における前記物体の表現を定義する信号
を発生する画像処理装置であって、 複数の画像の前記画像データを処理して、前記画像内の
前記物体の境界を表わす各画像のそれぞれの多角形を定
義する第１処理手段と、 前記物体のそれぞれの位置を表す少なくとも１つの平面
状表面を三次元コンピュータモデル内で定義する第２処
理手段であって、各平面状表面が、三次元コンピュータ
モデル内の所定の表面上の底辺と、前記画像内の前記物
体の境界を表わす前記多角形のそれぞれ１つに対応する
位置及びサイズとで定義する第２処理手段と、 前記画像データに応じて前記物体の形状を表すために、
前記平面状表面のテクスチャデータを生成する第３処理
手段とを含むことを特徴とする画像処理装置。 - 【請求項１９】 前記第２処理手段が、前記平面状表面
の幅が前記画像データ中の境界の多角形の幅で定義さ
れ、前記平面状表面の高さが前記画像データ中の境界の
多角形のアスペクト比を使って決定されるように、前記
平面状表面を定義するよう構成されることを特徴とする
請求項１８に記載の画像処理装置。 - 【請求項２０】 前記第２処理手段が、前記各平面状表
面が垂直平面内にあるように定義されるよう構成される
ことを特徴とする請求項１８又は１９に記載の画像処理
装置。 - 【請求項２１】 前記物体の境界を表わす多角形が矩形
であることを特徴とする請求項１８乃至２０のいずれか
１つに記載の画像処理装置。 - 【請求項２２】 前記矩形の辺が画像の辺に平行である
ことを特徴とする請求項２１に記載の画像処理装置。 - 【請求項２３】 前記第２処理手段が、１つの前記平面
状表面が、前記三次元コンピュータモデル内の物体の各
位置を表わすように定義されるよう構成されることを特
徴とする請求項１８乃至２２のいずれか１つに記載の画
像処理装置。 - 【請求項２４】 前記第２処理手段が、複数の接続され
た平面状表面が前記三次元コンピュータモデル内の物体
の各位置を表わすために定義されるよう構成されること
を特徴とする請求項１８乃至２２のいずれか１つに記載
の画像処理装置。 - 【請求項２５】 前記境界多角形内で前記物体の位置を
定義するマスクを抽出するために前記画像データを処理
する手段を更に含むことを特徴とする請求項１８乃至２
４のいずれか１つに記載の画像処理装置。 - 【請求項２６】 前記三次元コンピュータモデルを創出
する手段を更に含むことを特徴とする請求項１８乃至２
５のいずれか１つに記載の画像処理装置。 - 【請求項２７】 前記画像データと、前記三次元コンピ
ュータモデルを定義するデータとを処理して、その中の
複数の対応点を識別し、定義された前記対応点を用いて
前記画像と前記モデルの間での変換を定義する手段を更
に含むことを特徴とする請求項１８乃至２６のいずれか
１つに記載の画像処理装置。 - 【請求項２８】 観察方向から前記三次元コンピュータ
モデルの画像用の画像データを作成するため、前記平面
状表面上にテクスチャデータをレンダリングする手段を
更に含むことを特徴とする請求項１８乃至２７のいずれ
か１つに記載の画像処理装置。 - 【請求項２９】 シーン内の表面を移動する物体の三次
元コンピュータモデルを創出する画像処理装置であっ
て、 前記シーンの画像から決定された前記シーン内の物体の
位置に応じた位置を有する少なくとも１つの平面状表面
と、物体が移動する表面と三次元コンピュータモデルの
表面との間のマッピングを定義する変換とを用いて、前
記物体がモデル化する手段を含むことを特徴とする画像
処理装置。 - 【請求項３０】 シーン内の物体の動きをモデル化する
画像処理装置であって、 前記移動物体の画像が画像データが記録された位置ある
いは記録装置の画像形成パラメータの予備知識なしに処
理して、前記シーンの三次元コンピュータモデル内で平
面状表面と前記平面状表面上にレンダリングするテクス
チャデータとを作成する手段を含むことを特徴とする画
像処理装置。 - 【請求項３１】 プログラマブル処理装置に請求項１乃
至１７のいずれか１つに記載の画像処理方法を実行させ
るための命令を格納する記憶媒体。 - 【請求項３２】 プログラマブル処理装置に請求項１乃
至１７のいずれか１つに記載の画像処理方法を実行させ
るためのプログラム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GBGB9719694.3A GB9719694D0 (en) | 1997-09-16 | 1997-09-16 | Image processing apparatus |
| GB97196943 | 1997-09-16 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11149575A true JPH11149575A (ja) | 1999-06-02 |
| JP4217305B2 JP4217305B2 (ja) | 2009-01-28 |
Family
ID=10819160
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26204298A Expired - Fee Related JP4217305B2 (ja) | 1997-09-16 | 1998-09-16 | 画像処理装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US6421459B1 (ja) |
| EP (1) | EP0903695B1 (ja) |
| JP (1) | JP4217305B2 (ja) |
| DE (1) | DE69812518T2 (ja) |
| GB (1) | GB9719694D0 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009064445A (ja) * | 2007-09-05 | 2009-03-26 | Sony United Kingdom Ltd | 画像処理装置及び方法 |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE60231373D1 (de) | 2001-01-11 | 2009-04-16 | Smal Camera Technologies Inc | Angepasste empfindlichkeitssteuerung auf einer pixel-zu-pixel-basis für eine digitale bildaufnahmevorrichtung |
| US6747647B2 (en) * | 2001-05-02 | 2004-06-08 | Enroute, Inc. | System and method for displaying immersive video |
| GB2382033A (en) * | 2001-07-16 | 2003-05-21 | Samantha Bhalla | A sports analysis system intended for use in a betting game |
| US20030046177A1 (en) * | 2001-09-05 | 2003-03-06 | Graham Winchester | 3-dimensional imaging service |
| GB2383915B (en) * | 2001-11-23 | 2005-09-28 | Canon Kk | Method and apparatus for generating models of individuals |
| US7190809B2 (en) | 2002-06-28 | 2007-03-13 | Koninklijke Philips Electronics N.V. | Enhanced background model employing object classification for improved background-foreground segmentation |
| US7173666B1 (en) | 2002-08-22 | 2007-02-06 | Smal Camera Technologies | System and method for displaying a non-standard aspect ratio image on a standard aspect ratio monitor |
| US20040189828A1 (en) * | 2003-03-25 | 2004-09-30 | Dewees Bradley A. | Method and apparatus for enhancing a paintball video |
| US7884848B2 (en) * | 2005-05-25 | 2011-02-08 | Ginther Mark E | Viewing environment and recording system |
| US9158975B2 (en) * | 2005-05-31 | 2015-10-13 | Avigilon Fortress Corporation | Video analytics for retail business process monitoring |
| US8131077B2 (en) * | 2007-04-03 | 2012-03-06 | Flashfoto, Inc. | Systems and methods for segmenting an image based on perceptual information |
| DE102007056835A1 (de) | 2007-11-26 | 2009-05-28 | Robert Bosch Gmbh | Bildverarbeitunsmodul zur Schätzung einer Objektposition eines Überwachungsobjekts, Verfahren zur Bestimmung einer Objektposition eines Überwachungsobjekts sowie Computerprogramm |
| US9311567B2 (en) | 2010-05-10 | 2016-04-12 | Kuang-chih Lee | Manifold learning and matting |
| US9525802B2 (en) | 2013-07-24 | 2016-12-20 | Georgetown University | Enhancing the legibility of images using monochromatic light sources |
| US9269126B2 (en) * | 2013-07-24 | 2016-02-23 | Georgetown University | System and method for enhancing the legibility of images |
| US11074827B2 (en) * | 2017-08-25 | 2021-07-27 | Aurora Flight Sciences Corporation | Virtual reality system for aerial vehicle |
| CN108597010A (zh) * | 2018-04-19 | 2018-09-28 | 北京知道创宇信息技术有限公司 | 三维巡航渲染方法及装置 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0437313A (ja) | 1989-12-06 | 1992-02-07 | Texas Instr Inc <Ti> | 論理状態検出センス回路装置及び検出方法 |
| US5341467A (en) * | 1991-12-30 | 1994-08-23 | Xerox Corporation | Method and apparatus for generating and displaying freeform strokes of varying or constant width using adaptive forward differencing |
| WO1993019441A1 (en) * | 1992-03-20 | 1993-09-30 | Commonwealth Scientific And Industrial Research Organisation | An object monitoring system |
| US5363297A (en) * | 1992-06-05 | 1994-11-08 | Larson Noble G | Automated camera-based tracking system for sports contests |
| EP0669758B1 (en) | 1993-09-06 | 2000-03-08 | Kabushiki Kaisha Oh-Yoh Keisoku Kenkyusho | Time-varying image processor and display device |
| FR2710434B1 (fr) * | 1993-09-20 | 1995-11-10 | Daver Gil | Dispositif d'acquisition en temps réel de données relatives à des personnes en mouvement. |
| CA2179809A1 (en) * | 1994-01-10 | 1996-08-20 | Richard C. Fuisz | Viewing imaged objects from selected points of view |
| US5511153A (en) | 1994-01-18 | 1996-04-23 | Massachusetts Institute Of Technology | Method and apparatus for three-dimensional, textured models from plural video images |
| JP3638637B2 (ja) * | 1994-06-17 | 2005-04-13 | 株式会社ナムコ | ポリゴンデータ変換装置及び３次元シミュレータ装置 |
| US5563988A (en) | 1994-08-01 | 1996-10-08 | Massachusetts Institute Of Technology | Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment |
| US5714997A (en) | 1995-01-06 | 1998-02-03 | Anderson; David P. | Virtual reality television system |
| US5850352A (en) * | 1995-03-31 | 1998-12-15 | The Regents Of The University Of California | Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images |
| US5671086A (en) * | 1995-04-18 | 1997-09-23 | The Regents, University Of California | Method and apparatus for accurately manipulating an object during microelectrophoresis |
| FR2741225A1 (fr) * | 1995-11-13 | 1997-05-16 | Production Multimedia Apm Atel | Console de camera virtuelle |
| US6268862B1 (en) * | 1996-03-08 | 2001-07-31 | Canon Kabushiki Kaisha | Three dimensional virtual space generation by fusing images |
| US6124862A (en) | 1997-06-13 | 2000-09-26 | Anivision, Inc. | Method and apparatus for generating virtual views of sporting events |
-
1997
- 1997-09-16 GB GBGB9719694.3A patent/GB9719694D0/en not_active Ceased
-
1998
- 1998-09-15 US US09/153,041 patent/US6421459B1/en not_active Expired - Lifetime
- 1998-09-15 DE DE69812518T patent/DE69812518T2/de not_active Expired - Lifetime
- 1998-09-15 EP EP98307474A patent/EP0903695B1/en not_active Expired - Lifetime
- 1998-09-16 JP JP26204298A patent/JP4217305B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009064445A (ja) * | 2007-09-05 | 2009-03-26 | Sony United Kingdom Ltd | 画像処理装置及び方法 |
| US8284238B2 (en) | 2007-09-05 | 2012-10-09 | Sony Corporation | Image processing apparatus and method |
Also Published As
| Publication number | Publication date |
|---|---|
| EP0903695B1 (en) | 2003-03-26 |
| EP0903695A1 (en) | 1999-03-24 |
| US6421459B1 (en) | 2002-07-16 |
| DE69812518T2 (de) | 2003-12-11 |
| GB9719694D0 (en) | 1997-11-19 |
| JP4217305B2 (ja) | 2009-01-28 |
| DE69812518D1 (de) | 2003-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4217305B2 (ja) | 画像処理装置 | |
| US6914599B1 (en) | Image processing apparatus | |
| JP6560480B2 (ja) | 画像処理システム、画像処理方法、及びプログラム | |
| US6396491B2 (en) | Method and apparatus for reproducing a shape and a pattern in a three-dimensional scene | |
| US8289317B2 (en) | Automatic 3D modeling | |
| US6016148A (en) | Automated mapping of facial images to animation wireframes topologies | |
| CN109711246B (zh) | 一种动态物体识别方法、计算机装置及可读存储介质 | |
| JP2008102972A (ja) | 自動３ｄモデリングシステム及び方法 | |
| EP2065854B1 (en) | posture dependent normal vectors for texture mapping | |
| CN109064533B (zh) | 一种3d漫游方法及系统 | |
| US20030146918A1 (en) | Appearance modelling | |
| US11228706B2 (en) | Plate reconstruction of obscured views of a main imaging device using capture device inputs of the same scene | |
| JPH11144076A (ja) | 映像作成装置 | |
| JPH10111934A (ja) | ３次元形状モデル作成方法及び媒体 | |
| CN115908585B (zh) | 基于时序坐标信息的单阶段多人网格模型构建方法及系统 | |
| JP3706545B2 (ja) | 画像の生成方法及びそれに用いるプログラム | |
| JPH06332993A (ja) | 景観の解析・予測システム | |
| CN115775292A (zh) | 一种动作捕捉数据映射方法、装置、存储介质及电子设备 | |
| JP2026011336A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP2026028410A (ja) | 映像データから３次元モデルを生成するシステム | |
| CN118474327A (zh) | 视频编辑方法、装置、设备及存储介质 | |
| Jeftha | RGBDVideoFX: Processing RGBD data for real-time video effects | |
| JP2001028049A (ja) | ３次元形状取得方法、装置及びコンピュータ読み取り可能な記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050908 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20050908 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050908 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080502 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080701 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080718 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080728 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080807 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080926 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081024 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081110 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111114 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121114 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131114 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |