JPH09139956A - 電子シーン分析および強調のための装置および方法 - Google Patents
電子シーン分析および強調のための装置および方法Info
- Publication number
- JPH09139956A JPH09139956A JP8236234A JP23623496A JPH09139956A JP H09139956 A JPH09139956 A JP H09139956A JP 8236234 A JP8236234 A JP 8236234A JP 23623496 A JP23623496 A JP 23623496A JP H09139956 A JPH09139956 A JP H09139956A
- Authority
- JP
- Japan
- Prior art keywords
- data
- data points
- scene
- error
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/12—Acquisition of 3D measurements of objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Vascular Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Abstract
(57)【要約】 （修正有）
【課題】 人間の眼の知覚に見合った３−Ｄ映像を提供
する。 【解決手段】 捕捉したシーンの一つまたはそれ以上の
視野を表す受信したデータ信号を分析し、強調するため
の装置および方法。受信したデータ信号は、複数のデー
タ点を含んでいる。各視野は、複数の映像点を含んでい
る。複数のデータ点のいくつかは、複数の映像点のいく
つかを表している。複数のデータ・セットは識別される
が、この場合、各データ・セットは、複数のデータ点の
いくつかを含んでいる。識別されたデータ・セットのい
くつかは、一つまたはそれ以上の標準の数値と比較さ
れ、それに応じて、処理された３−Ｄシーンの推定値を
表す出力信号を生成するために、選択的に強調される。
する。 【解決手段】 捕捉したシーンの一つまたはそれ以上の
視野を表す受信したデータ信号を分析し、強調するため
の装置および方法。受信したデータ信号は、複数のデー
タ点を含んでいる。各視野は、複数の映像点を含んでい
る。複数のデータ点のいくつかは、複数の映像点のいく
つかを表している。複数のデータ・セットは識別される
が、この場合、各データ・セットは、複数のデータ点の
いくつかを含んでいる。識別されたデータ・セットのい
くつかは、一つまたはそれ以上の標準の数値と比較さ
れ、それに応じて、処理された３−Ｄシーンの推定値を
表す出力信号を生成するために、選択的に強調される。
Description
【０００１】
【発明の属する技術分野】本発明は、概してビデオ・デ
ータ捕捉、処理および表示に関し、特に電子シーン分析
および強化用の装置および方法に関する。
ータ捕捉、処理および表示に関し、特に電子シーン分析
および強化用の装置および方法に関する。
【０００２】
【従来の技術】従来のビデオ・カメラは、多くの点で人
間の目に類似している。例えば、目は目のレンズおよび
紅彩を取り巻き、制御している筋肉でその焦点および目
に入ってくる光の量を調整する。目のこの構造は、カメ
ラの口径、シャッター速度および焦点に類似している。
カメラも眼も通常一駒ずつの多くの短時間のスナップシ
ョットにより「ものを見ている」。各スナップショット
は、多くの画素（ピクセル）からできている画像の一駒
である。
間の目に類似している。例えば、目は目のレンズおよび
紅彩を取り巻き、制御している筋肉でその焦点および目
に入ってくる光の量を調整する。目のこの構造は、カメ
ラの口径、シャッター速度および焦点に類似している。
カメラも眼も通常一駒ずつの多くの短時間のスナップシ
ョットにより「ものを見ている」。各スナップショット
は、多くの画素（ピクセル）からできている画像の一駒
である。
【０００３】特定のシーンを見るために、眼はその異な
った視野を捕捉するために動く。一つのシーンは、光
源、人々、液体、大気、自動車、建物および他のすべて
のものを含む環境を形成している一組の物理的対象物ま
たは物質からなっている。シーンを見る場合には、シー
ン内の対象物のどれかが動いている場合、それが相互に
または一定の視点に対して運動しているかを識別する。
視点は、通常三次元（「３−Ｄ」）の位置および方向に
よって特定される。それ故、眼の動きは、人が三次元で
周囲のものを認識できる眼と脳との間の協同動作であ
る。
った視野を捕捉するために動く。一つのシーンは、光
源、人々、液体、大気、自動車、建物および他のすべて
のものを含む環境を形成している一組の物理的対象物ま
たは物質からなっている。シーンを見る場合には、シー
ン内の対象物のどれかが動いている場合、それが相互に
または一定の視点に対して運動しているかを識別する。
視点は、通常三次元（「３−Ｄ」）の位置および方向に
よって特定される。それ故、眼の動きは、人が三次元で
周囲のものを認識できる眼と脳との間の協同動作であ
る。
【０００４】眼の後ろにある網膜は、眼と脳とを接続し
ている。網膜は、上記のピクセルを受信する働きをする
約一億の受容器を含んでいる。網膜がシーンを捕らえる
と、脳もシーン内の対象物の大きさ、形、向き、対象物
までの距離、テクスチャなどに関するデータとして、特
定のシーンの視野についての一般的情報を受信する。対
象物までの距離という言葉は、通常眼またはカメラから
認識された特定の対象物までの相対的距離を意味する。
ている。網膜は、上記のピクセルを受信する働きをする
約一億の受容器を含んでいる。網膜がシーンを捕らえる
と、脳もシーン内の対象物の大きさ、形、向き、対象物
までの距離、テクスチャなどに関するデータとして、特
定のシーンの視野についての一般的情報を受信する。対
象物までの距離という言葉は、通常眼またはカメラから
認識された特定の対象物までの相対的距離を意味する。
【０００５】従来のビデオ装置は、通常受信したビデオ
信号を処理し、人の眼が知覚する品質に見合う審美的に
快適な３−Ｄシーンに相当するものを生成することはで
きない。
信号を処理し、人の眼が知覚する品質に見合う審美的に
快適な３−Ｄシーンに相当するものを生成することはで
きない。
【０００６】
【発明が解決しようとする課題】しかし、３−Ｄシーン
を作り上げるための従来のビデオ装置は、通常立体映像
装置を使用している。立体映像装置は、シーン内の眼で
みることができる表面の各点の３−Ｄ位置を大体決定す
るために使用される従来の技術である。従来のビデオ装
置は、多くの場合、表面の形状およびテクスチャの推定
値をすっきりと纏めることができず、従って審美的にも
快適であり、人の眼の知覚することができる程度の品質
を持っている３−Ｄ映像構造物を作ることもできない。
現在でも、これらの欠点が、３−Ｄ製品の市場での売れ
行きを阻んでいる最も大きな障害になっている。
を作り上げるための従来のビデオ装置は、通常立体映像
装置を使用している。立体映像装置は、シーン内の眼で
みることができる表面の各点の３−Ｄ位置を大体決定す
るために使用される従来の技術である。従来のビデオ装
置は、多くの場合、表面の形状およびテクスチャの推定
値をすっきりと纏めることができず、従って審美的にも
快適であり、人の眼の知覚することができる程度の品質
を持っている３−Ｄ映像構造物を作ることもできない。
現在でも、これらの欠点が、３−Ｄ製品の市場での売れ
行きを阻んでいる最も大きな障害になっている。
【０００７】
【課題を解決するための手段】本発明は、一般に電子シ
ーン分析および強調用の装置および方法に関する。より
詳細に説明すると、シーンの少なくとも一つの視野を表
す受信入力信号は、出力信号を生成するために処理され
る。出力信号は、受信または記憶したシーンに関するデ
ータの少なくとも一つを利用して作られた強調３−Ｄシ
ーンの推定値を表す。各々の強調されたシーンの推定値
は、通常一つまたはそれ以上の前景および／または背景
の対象物を含んでいる。
ーン分析および強調用の装置および方法に関する。より
詳細に説明すると、シーンの少なくとも一つの視野を表
す受信入力信号は、出力信号を生成するために処理され
る。出力信号は、受信または記憶したシーンに関するデ
ータの少なくとも一つを利用して作られた強調３−Ｄシ
ーンの推定値を表す。各々の強調されたシーンの推定値
は、通常一つまたはそれ以上の前景および／または背景
の対象物を含んでいる。
【０００８】記憶したシーンに関するデータは、例え
ば、前景および／または背景の対象物を識別するための
データ、すなわち、任意の識別対象物についての一つま
たはそれ以上の誤差の数値を計算するためのデータ、計
算した誤差の数値を小さくするためのシーン情報デー
タ、識別した各対象物の重要性を判断するための視覚的
有意性のデータ、視覚的マスキング・データなどを含ん
でいる。比較を行うために、受信シーン・データは、例
えば、大きさ、形、向き、対象物までの距離、テクスチ
ャなどに関するデータのような二つまたはそれ以上の前
景および／または背景の対象物の間の、一つまたはそれ
以上の関係を示す位置に関するデータを含むことができ
る。すぐに分かると思うが、本発明の重要な特徴は、３
−Ｄシーン推定値を生成するために、処理資源を保存す
るような方法で、記憶および／または受信したシーン・
データをの選択的に使用することである。
ば、前景および／または背景の対象物を識別するための
データ、すなわち、任意の識別対象物についての一つま
たはそれ以上の誤差の数値を計算するためのデータ、計
算した誤差の数値を小さくするためのシーン情報デー
タ、識別した各対象物の重要性を判断するための視覚的
有意性のデータ、視覚的マスキング・データなどを含ん
でいる。比較を行うために、受信シーン・データは、例
えば、大きさ、形、向き、対象物までの距離、テクスチ
ャなどに関するデータのような二つまたはそれ以上の前
景および／または背景の対象物の間の、一つまたはそれ
以上の関係を示す位置に関するデータを含むことができ
る。すぐに分かると思うが、本発明の重要な特徴は、３
−Ｄシーン推定値を生成するために、処理資源を保存す
るような方法で、記憶および／または受信したシーン・
データをの選択的に使用することである。
【０００９】本発明の原理による装置は、強化された３
−Ｄシーンの推定値を表す出力信号を生成し、受信およ
び処理手段を含んでいる。受信手段は入力信号を受信す
る。入力信号は、シーンの少なくとも一つの視野を表
し、この場合、この視野は複数の映像点を含み、入力信
号は複数のデータ点を含んでいる。複数のデータ点のい
くつかは、好適には複数の映像点のいくつかを表してい
ることが好ましい。処理手段は、複数のデータ・セット
を識別するが、この場合、いくつかの識別したデータ・
セットの特定のものをランク付けするために、このラン
ク付けに答えて、強調された３−Ｄシーンの推定値を表
す出力信号を生成するため、識別したデータ・セットの
内のいくつかを選択的に強調するために、各データ・セ
ットはいくつかのデータ点を含んでいる。
−Ｄシーンの推定値を表す出力信号を生成し、受信およ
び処理手段を含んでいる。受信手段は入力信号を受信す
る。入力信号は、シーンの少なくとも一つの視野を表
し、この場合、この視野は複数の映像点を含み、入力信
号は複数のデータ点を含んでいる。複数のデータ点のい
くつかは、好適には複数の映像点のいくつかを表してい
ることが好ましい。処理手段は、複数のデータ・セット
を識別するが、この場合、いくつかの識別したデータ・
セットの特定のものをランク付けするために、このラン
ク付けに答えて、強調された３−Ｄシーンの推定値を表
す出力信号を生成するため、識別したデータ・セットの
内のいくつかを選択的に強調するために、各データ・セ
ットはいくつかのデータ点を含んでいる。
【００１０】本発明の原理による任意の装置の重要な特
徴は、この装置が処理システム、ファームウェアまたは
ハードウェアに基づいているということである。本発明
の原理による方法は、強調した３−Ｄシーンの推定値を
表す出力信号を生成するための、受信入力信号の処理お
よび強調に関する。この方法は、好適には受信、識別、
ランク付けおよび強化というステップを含んでいること
が好ましい。より詳細に説明すると、少なくともシーン
の一つの視野を表す入力信号が受信される。各視野は、
複数の映像点を含み、各入力信号は、複数のデータ点を
含んでいる。いくつかのデータ点は、好適にはいくつか
の映像点を表していることが好ましい。複数のデータ・
セットが識別されるが、各データ・セットはいくつかの
データ点を含んでいる。識別されたデータ・セットのい
くつかは、記憶したシーンおよび重要な情報を使用して
ランク付けされ、誤差の数値の生成が行われる。誤差の
数値は、データ・セットが実際のシーンを正しく表す確
率を示す。上記のランク付けおよび誤差の生成に応じ
て、出力信号を生成するために、識別されたデータ・セ
ットの内の特定のものが選択的に強調される。出力信号
は強調された３−Ｄシーンの推定値を表す。
徴は、この装置が処理システム、ファームウェアまたは
ハードウェアに基づいているということである。本発明
の原理による方法は、強調した３−Ｄシーンの推定値を
表す出力信号を生成するための、受信入力信号の処理お
よび強調に関する。この方法は、好適には受信、識別、
ランク付けおよび強化というステップを含んでいること
が好ましい。より詳細に説明すると、少なくともシーン
の一つの視野を表す入力信号が受信される。各視野は、
複数の映像点を含み、各入力信号は、複数のデータ点を
含んでいる。いくつかのデータ点は、好適にはいくつか
の映像点を表していることが好ましい。複数のデータ・
セットが識別されるが、各データ・セットはいくつかの
データ点を含んでいる。識別されたデータ・セットのい
くつかは、記憶したシーンおよび重要な情報を使用して
ランク付けされ、誤差の数値の生成が行われる。誤差の
数値は、データ・セットが実際のシーンを正しく表す確
率を示す。上記のランク付けおよび誤差の生成に応じ
て、出力信号を生成するために、識別されたデータ・セ
ットの内の特定のものが選択的に強調される。出力信号
は強調された３−Ｄシーンの推定値を表す。
【００１１】本発明を使用および／または実行する好適
な一つの実施例は、ソフトウェアの形をしている。ソフ
トウェアの形をしている実施例は、記憶媒体に記憶され
る複数の処理システム命令を含んでいる。好適な記憶媒
体としては、磁気、光学、または半導体をベースにした
記憶媒体を使用することができ、これら記憶媒体を適当
に配列した組み合わせも使用することができる。処理シ
ステム命令は、処理システムによって、読みだしたり、
実行することができ、実行された場合、本発明の原理に
従って、電子シーン分析および強調を行うために、少な
くとも一つの処理システムを制御する。
な一つの実施例は、ソフトウェアの形をしている。ソフ
トウェアの形をしている実施例は、記憶媒体に記憶され
る複数の処理システム命令を含んでいる。好適な記憶媒
体としては、磁気、光学、または半導体をベースにした
記憶媒体を使用することができ、これら記憶媒体を適当
に配列した組み合わせも使用することができる。処理シ
ステム命令は、処理システムによって、読みだしたり、
実行することができ、実行された場合、本発明の原理に
従って、電子シーン分析および強調を行うために、少な
くとも一つの処理システムを制御する。
【００１２】
【発明の実施の形態】本発明およびその利点をより完全
に理解するためには、添付の図面を参照しながら以下の
詳細な説明を読んでいただきたい。類似の参照番号は、
類似の部品を示す。図１ａは、本発明の原理が特に有利
に使用できる例示としての処理システムをベースにした
ビデオ・システムのブロック図である。この例示として
のシステムは、複数の従来のビデオ・カメラ１０１ａ−
１０１ｎに接続していて、メイン・フレーム・コンピュ
ータとして表示されている単一の処理システム１００を
含んでいる。処理システム１００は、一つまたはそれ以
上のビデオ・カメラ１０１ａ−１０１ｎから、一つまた
はそれ以上の入力データを受信する。各受信入力信号
は、捕捉したビデオまたは写真のシーンの視野を表す真
の物理的信号である。従来のビデオ信号は、通常帰線消
去および同期制御と一緒に捕捉したシーンを表すビデオ
・データを含んでいる。他の実施例の場合には、一台の
カメラしか使用していないが、この場合、例示としての
入力信号は、シーン内の３−Ｄ位置を推定する際に使用
される追加情報を供給するために、適当に配置すること
ができる。この情報は、カメラの口径、レンズの焦点距
離等に関する情報を無制限に含むことができる。
に理解するためには、添付の図面を参照しながら以下の
詳細な説明を読んでいただきたい。類似の参照番号は、
類似の部品を示す。図１ａは、本発明の原理が特に有利
に使用できる例示としての処理システムをベースにした
ビデオ・システムのブロック図である。この例示として
のシステムは、複数の従来のビデオ・カメラ１０１ａ−
１０１ｎに接続していて、メイン・フレーム・コンピュ
ータとして表示されている単一の処理システム１００を
含んでいる。処理システム１００は、一つまたはそれ以
上のビデオ・カメラ１０１ａ−１０１ｎから、一つまた
はそれ以上の入力データを受信する。各受信入力信号
は、捕捉したビデオまたは写真のシーンの視野を表す真
の物理的信号である。従来のビデオ信号は、通常帰線消
去および同期制御と一緒に捕捉したシーンを表すビデオ
・データを含んでいる。他の実施例の場合には、一台の
カメラしか使用していないが、この場合、例示としての
入力信号は、シーン内の３−Ｄ位置を推定する際に使用
される追加情報を供給するために、適当に配置すること
ができる。この情報は、カメラの口径、レンズの焦点距
離等に関する情報を無制限に含むことができる。
【００１３】メイン・フレーム・コンピュータが一台し
か図示されていないが、本発明による処理システムをベ
ースとするシーン分析の強調システムを実行する場合に
は、そのネットワーク結合を含めて、任意の適当に配置
された処理システムを使用することができることに留意
されたい。他の処理システムをベースとしていない実施
例も、ファームウェアまたはハードウェアの形で適当に
実行することができる。上記の実行の種々の面について
は、図２および図３を参照しながらより詳細に説明す
る。
か図示されていないが、本発明による処理システムをベ
ースとするシーン分析の強調システムを実行する場合に
は、そのネットワーク結合を含めて、任意の適当に配置
された処理システムを使用することができることに留意
されたい。他の処理システムをベースとしていない実施
例も、ファームウェアまたはハードウェアの形で適当に
実行することができる。上記の実行の種々の面について
は、図２および図３を参照しながらより詳細に説明す
る。
【００１４】ビデオ・カメラ１０１ａ−１０１ｎは、テ
ニス・スタジアム１０２の周囲に適当に配置されてい
る。テニス・スタジアム１０２は、二つの大きなスタン
ド１０３ａ、１０３ｂおよびコート１０４を含んでい
る。大きなスタンドのそれぞれ１０３ａおよび１０３ｂ
は、図に示す通り、テニスの試合中はその大部分が観客
１０５で占められる多くの複数の席を含んでいる。図に
示す通り、コート１０４には、二人の試合中の選手１０
６ａおよび１０６ｂがいる。
ニス・スタジアム１０２の周囲に適当に配置されてい
る。テニス・スタジアム１０２は、二つの大きなスタン
ド１０３ａ、１０３ｂおよびコート１０４を含んでい
る。大きなスタンドのそれぞれ１０３ａおよび１０３ｂ
は、図に示す通り、テニスの試合中はその大部分が観客
１０５で占められる多くの複数の席を含んでいる。図に
示す通り、コート１０４には、二人の試合中の選手１０
６ａおよび１０６ｂがいる。
【００１５】一台またはそれ以上のビデオ・カメラ１０
１ａ−１０１ｎは、テニスの試合の各光景を捕らえ、こ
の各光景から表示ビデオ・データ信号が作られる。作ら
れた信号は、処理システム１００に入力され、そこで推
定された３−Ｄシーンを作るために、本発明の原理に従
って、分析および強調され、この３−Ｄシーンから３−
Ｄシーンの任意の光景が適当に抽出され、適当に配置さ
れた複数のテレビジョン１０７ａ−１０７ｍに送信され
る。他の実施例の場合には、推定された３−Ｄシーン
を、バーチャル・リアリティ・システムおよび方法論を
無制限に含む、ステレオスコープ技術のような３−Ｄ撮
影装置と一緒に使用することができる。
１ａ−１０１ｎは、テニスの試合の各光景を捕らえ、こ
の各光景から表示ビデオ・データ信号が作られる。作ら
れた信号は、処理システム１００に入力され、そこで推
定された３−Ｄシーンを作るために、本発明の原理に従
って、分析および強調され、この３−Ｄシーンから３−
Ｄシーンの任意の光景が適当に抽出され、適当に配置さ
れた複数のテレビジョン１０７ａ−１０７ｍに送信され
る。他の実施例の場合には、推定された３−Ｄシーン
を、バーチャル・リアリティ・システムおよび方法論を
無制限に含む、ステレオスコープ技術のような３−Ｄ撮
影装置と一緒に使用することができる。
【００１６】処理システム１００は、ビデオ・カメラ１
０１ａ−１０１ｎおよびテレビジョン１０７ａ−１０７
ｍの両方に物理的に接続しているけれども、処理システ
ム１００は、無線通信も容易に行えるように適当に配置
することができる。
０１ａ−１０１ｎおよびテレビジョン１０７ａ−１０７
ｍの両方に物理的に接続しているけれども、処理システ
ム１００は、無線通信も容易に行えるように適当に配置
することができる。
【００１７】例えば、図１ｂについて説明すると、この
図は、本発明の原理を特に有利に使用することができ
る、例示としての処理システムをベースとする無線ロー
カル・エリア・ネットワーク（「ＬＡＮ」）のブロック
図である。図示のＬＡＮは、パソコンとして図示してあ
る二つの例示としての処理システム・ノード１００ａお
よび１００ｂを含んでいる。
図は、本発明の原理を特に有利に使用することができ
る、例示としての処理システムをベースとする無線ロー
カル・エリア・ネットワーク（「ＬＡＮ」）のブロック
図である。図示のＬＡＮは、パソコンとして図示してあ
る二つの例示としての処理システム・ノード１００ａお
よび１００ｂを含んでいる。
【００１８】各処理システム・ノード１００ａおよび１
００ｂは、それぞれ従来のアンテナ１０９ａおよび１０
９ｂに接続していて、従来のビデオホン技術（図示せ
ず）を含んでいる。アンテナ１０９ａおよび１０９ｂ
は、少なくとも二つの処理システム・ノード１００ａお
よび１００ｂの間で無線通信の送受信を行う。受信した
無線通信は、表示電気信号を使用して処理される。図示
のＬＡＮは、それぞれ、ユーザＡおよびＢ、１１０ａお
よび１１０ｂの間の通信を容易にし、その内部において
は、各処理システム・ノードが、本発明の原理に従っ
て、ビデオ・データ信号を送信し、受信し、処理する。
処理された各信号は、３−Ｄシーンの推定値を表す真の
物理的信号になる。
００ｂは、それぞれ従来のアンテナ１０９ａおよび１０
９ｂに接続していて、従来のビデオホン技術（図示せ
ず）を含んでいる。アンテナ１０９ａおよび１０９ｂ
は、少なくとも二つの処理システム・ノード１００ａお
よび１００ｂの間で無線通信の送受信を行う。受信した
無線通信は、表示電気信号を使用して処理される。図示
のＬＡＮは、それぞれ、ユーザＡおよびＢ、１１０ａお
よび１１０ｂの間の通信を容易にし、その内部において
は、各処理システム・ノードが、本発明の原理に従っ
て、ビデオ・データ信号を送信し、受信し、処理する。
処理された各信号は、３−Ｄシーンの推定値を表す真の
物理的信号になる。
【００１９】図２は、例示としての処理システム、すな
わち、本発明の原理に従って、一つまたはそれ以上の受
信信号を分析し、強調するように適当にプログラムされ
ているパソコン１００を示す。すでに説明したように、
本発明を使用および／または実行するための好適な例示
としての実施例は、ソフトウェアの形をしていることが
好ましい。このソフトウェアは、好適には、シーンの分
析および強化を行うために、パソコン１００のような少
なくとも一台の処理システムを制御するために、複数の
処理システム命令を含んでいることが好ましい。
わち、本発明の原理に従って、一つまたはそれ以上の受
信信号を分析し、強調するように適当にプログラムされ
ているパソコン１００を示す。すでに説明したように、
本発明を使用および／または実行するための好適な例示
としての実施例は、ソフトウェアの形をしていることが
好ましい。このソフトウェアは、好適には、シーンの分
析および強化を行うために、パソコン１００のような少
なくとも一台の処理システムを制御するために、複数の
処理システム命令を含んでいることが好ましい。
【００２０】パソコン１００は、ハウジング２０１、モ
ニタ２０２およびキ−ボ−ド２０３を含んでいる。モニ
タ２０２およびキ−ボ−ド２０３は、それぞれ他の適当
に配列した出力および入力装置で代用することもできる
し、上記の装置に接続することもできる。図に一部を断
面図で示したハウジング２０１は、フロッピー・ディス
ク・ドライブ２０４およびハード・ディスク・ドライイ
ブ２０５を含んでいる。フロッピー・ディスク・ドライ
ブ２０４は、受信したり、外部ディスクから読み出した
り、外部ディスクに書き込んだりする。フロッピー・デ
ィスク・ドライブ２０４の代わりに、ビデオホン、ペー
ジングおよびファクシミリおよびシリアルおよびパラレ
ル・データ・ポートを含み、テープ、コンパクト・ディ
スク・ドライブ、電話システムおよびその他の任意のも
のを含むとともに、データを受信および送信するための
任意に適当に配置された構造体を使用することもでき
る。また、フロッピー・ディスク・ドライブ２０４を上
記の構造体と組み合わせることもできる。
ニタ２０２およびキ−ボ−ド２０３を含んでいる。モニ
タ２０２およびキ−ボ−ド２０３は、それぞれ他の適当
に配列した出力および入力装置で代用することもできる
し、上記の装置に接続することもできる。図に一部を断
面図で示したハウジング２０１は、フロッピー・ディス
ク・ドライブ２０４およびハード・ディスク・ドライイ
ブ２０５を含んでいる。フロッピー・ディスク・ドライ
ブ２０４は、受信したり、外部ディスクから読み出した
り、外部ディスクに書き込んだりする。フロッピー・デ
ィスク・ドライブ２０４の代わりに、ビデオホン、ペー
ジングおよびファクシミリおよびシリアルおよびパラレ
ル・データ・ポートを含み、テープ、コンパクト・ディ
スク・ドライブ、電話システムおよびその他の任意のも
のを含むとともに、データを受信および送信するための
任意に適当に配置された構造体を使用することもでき
る。また、フロッピー・ディスク・ドライブ２０４を上
記の構造体と組み合わせることもできる。
【００２１】ハード・ディスク・ドライブ２０５は、迅
速なデータの記憶や検索を行う。ビデオ・データは、例
示としての入力ポートの一つを通して、また例えば、フ
ロッピー・ディスクまたはコンパクト・ディスクのよう
な一つまたはそれ以上の独立している記憶媒体を通し
て、適当に受信することもできる。それ故、例示として
の実施例の重要な特徴は、データの収集、分析および強
化を同時に行う必要がないということである。処理装置
２０６のハウジング２０１の一部は断面図になってい
る。処理装置２０６は、メモリ記憶装置２０７に適当に
接続している。メモリ記憶装置２０７は、ランダム・ア
クセス・メモリ（「ＲＡＭ」）、読みだし専用メモリ
（「ＲＯＭ」）等のような任意の記憶装置を含む、従来
の適当に配置されたメモリ記憶装置であれば何でも使用
することができる。他の実施例の場合には、パソコン１
００には、本発明の原理を協同して実行するために、複
数の処理装置および／または適当に配置されたメモリ記
憶装置、またはそれらの組合わせを装着することができ
る。
速なデータの記憶や検索を行う。ビデオ・データは、例
示としての入力ポートの一つを通して、また例えば、フ
ロッピー・ディスクまたはコンパクト・ディスクのよう
な一つまたはそれ以上の独立している記憶媒体を通し
て、適当に受信することもできる。それ故、例示として
の実施例の重要な特徴は、データの収集、分析および強
化を同時に行う必要がないということである。処理装置
２０６のハウジング２０１の一部は断面図になってい
る。処理装置２０６は、メモリ記憶装置２０７に適当に
接続している。メモリ記憶装置２０７は、ランダム・ア
クセス・メモリ（「ＲＡＭ」）、読みだし専用メモリ
（「ＲＯＭ」）等のような任意の記憶装置を含む、従来
の適当に配置されたメモリ記憶装置であれば何でも使用
することができる。他の実施例の場合には、パソコン１
００には、本発明の原理を協同して実行するために、複
数の処理装置および／または適当に配置されたメモリ記
憶装置、またはそれらの組合わせを装着することができ
る。
【００２２】それ故、パソコン１００は、本発明の処理
システムをベースとする実行の例示としての実施例を説
明するために使用される。本発明の原理は、少なくとも
一つの処理装置、およびカメラ、ビデオホン、テレビジ
ョン、複雑な計算装置および、携帯、ラップトップ／ノ
ートパソコン、ミニ・フレーム、メイン・フレームおよ
びスーパー・コンピュータおよびその他の任意なものを
含み、ＲＩＳＣおよび平行処理アーキテクチャを含む。
また、ビデオ・データを受信するための手段を有してい
る任意の処理システムおよび上記のものの処理システム
・ネットワーク組み合わせ内で実行することができる。
従来の処理システム・アーキテクチャは、本明細書に参
考文献として記載してあるマクミラン出版社刊行のウイ
リアム・ストーリング著の「コンピュータ組織およびア
ーキテクチャ」（１９９３年の第３版）により詳細に説
明されている。
システムをベースとする実行の例示としての実施例を説
明するために使用される。本発明の原理は、少なくとも
一つの処理装置、およびカメラ、ビデオホン、テレビジ
ョン、複雑な計算装置および、携帯、ラップトップ／ノ
ートパソコン、ミニ・フレーム、メイン・フレームおよ
びスーパー・コンピュータおよびその他の任意なものを
含み、ＲＩＳＣおよび平行処理アーキテクチャを含む。
また、ビデオ・データを受信するための手段を有してい
る任意の処理システムおよび上記のものの処理システム
・ネットワーク組み合わせ内で実行することができる。
従来の処理システム・アーキテクチャは、本明細書に参
考文献として記載してあるマクミラン出版社刊行のウイ
リアム・ストーリング著の「コンピュータ組織およびア
ーキテクチャ」（１９９３年の第３版）により詳細に説
明されている。
【００２３】他の好適な例示としての実施例は、ＰＡＬ
（プログラマブル・アレー・ロジック）、およびＰＬＡ
（プログラマブル・ロジック・アレー）、ＤＳＰ（デジ
タル信号プロセッサ）、ＦＰＧＡ（フィールド・プログ
ラマブル・ゲート・アレー）、ＡＳＩＣ（カスタムＩ
Ｃ）、ＶＬＳＩ（超大規模集積回路）のような、適当に
配列されたプログラマブル・ロジック装置および他の任
意のすべての装置を含むファームウェアまたはハードウ
ェア内で実行することができる。
（プログラマブル・アレー・ロジック）、およびＰＬＡ
（プログラマブル・ロジック・アレー）、ＤＳＰ（デジ
タル信号プロセッサ）、ＦＰＧＡ（フィールド・プログ
ラマブル・ゲート・アレー）、ＡＳＩＣ（カスタムＩ
Ｃ）、ＶＬＳＩ（超大規模集積回路）のような、適当に
配列されたプログラマブル・ロジック装置および他の任
意のすべての装置を含むファームウェアまたはハードウ
ェア内で実行することができる。
【００２４】図３は、パソコン１００と一緒に使用する
ことができる例示としてのマイクロプロセッシング・シ
ステムのブロック図である。マイクロプロセッシング・
システムは、データ・バス３０１を通して、単一のメモ
リ記憶装置２０７に接続している単一の処理装置２０６
を含んでいる。メモリ記憶装置２０７は、一つまたはそ
れ以上の命令および／またはデータを記憶する。処理装
置２０６は、記憶した命令を検索し、実行する。例示と
しての処理装置２０６は、制御装置３０２、算術ロジッ
ク装置（「ＡＵＬ」）３０３および例えば、スタック可
能なキャッシュまたは複数のレジスタのようなローカル
・メモリ記憶装置３０４を含んでいる。制御装置３０２
は、メモリ記憶装置２０７から命令を取り出す。ＡＬＵ
３０２は、上記の命令を実行するのに必要な加算および
論理和並びにその他の任意のものを含む複数の演算を行
う。ローカルメモリ記憶装置３０４は、一時的な結果お
よび制御情報を記憶するために使用されるローカル高速
記憶装置である。
ことができる例示としてのマイクロプロセッシング・シ
ステムのブロック図である。マイクロプロセッシング・
システムは、データ・バス３０１を通して、単一のメモ
リ記憶装置２０７に接続している単一の処理装置２０６
を含んでいる。メモリ記憶装置２０７は、一つまたはそ
れ以上の命令および／またはデータを記憶する。処理装
置２０６は、記憶した命令を検索し、実行する。例示と
しての処理装置２０６は、制御装置３０２、算術ロジッ
ク装置（「ＡＵＬ」）３０３および例えば、スタック可
能なキャッシュまたは複数のレジスタのようなローカル
・メモリ記憶装置３０４を含んでいる。制御装置３０２
は、メモリ記憶装置２０７から命令を取り出す。ＡＬＵ
３０２は、上記の命令を実行するのに必要な加算および
論理和並びにその他の任意のものを含む複数の演算を行
う。ローカルメモリ記憶装置３０４は、一時的な結果お
よび制御情報を記憶するために使用されるローカル高速
記憶装置である。
【００２５】図４は、本発明の原理に従って、シーンの
分析および強調を行うための例示としての方法のフロー
チャートである。図１ａおよび図１ｂに示す通り、一つ
またはそれ以上の処理システム１００が、協同してシー
ンを表す少なくとも一つのビデオ信号を受信する。入力
ブロック４０１。例えば、図１ａのビデオ・カメラ１０
１ａ−１０１ｎの任意の一台のような一台またはそれ以
上の従来のビデオ捕捉装置によって、シーンを適当に捕
捉することができることを思い出してもらいたい。特定
のシーンを捕捉するのに一台のカメラを使用する場合に
は、追加の情報を、必要な３−Ｄ位置の情報を抽出する
ことができる処理システムに供給しなければならない。
この情報は、例えば、焦点距離および／またはカメラの
一つまたはそれ以上のレンズの口径および／またはカメ
ラのシャッター速度を含むことができる。
分析および強調を行うための例示としての方法のフロー
チャートである。図１ａおよび図１ｂに示す通り、一つ
またはそれ以上の処理システム１００が、協同してシー
ンを表す少なくとも一つのビデオ信号を受信する。入力
ブロック４０１。例えば、図１ａのビデオ・カメラ１０
１ａ−１０１ｎの任意の一台のような一台またはそれ以
上の従来のビデオ捕捉装置によって、シーンを適当に捕
捉することができることを思い出してもらいたい。特定
のシーンを捕捉するのに一台のカメラを使用する場合に
は、追加の情報を、必要な３−Ｄ位置の情報を抽出する
ことができる処理システムに供給しなければならない。
この情報は、例えば、焦点距離および／またはカメラの
一つまたはそれ以上のレンズの口径および／またはカメ
ラのシャッター速度を含むことができる。
【００２６】受信した各ビデオ信号は、複数のデータ点
を含んでいる。シーンの各視野は複数の映像点を含んで
いる。図示の実施例の場合には、データ点の特定のもの
は映像点の特定のものを表している。処理システム１０
０は、一台またはそれ以上のビデオ捕捉装置から受信し
たデータ点を比較する（処理ブロック４０２）。より詳
細に説明すると、一台またはそれ以上のカメラによって
捕捉した一つのシーンの各視野は、そのシーン内の複数
の３−Ｄ点の２−Ｄ映像投影面への投影である。一定の
３−Ｄ点をその対応する２−Ｄ投影面の点と結ぶことに
よって形成されるすべての線は、投影の共通の中心で交
差する。図５ａは、３−Ｄの対象物５０１が２−Ｄ平面
５０２に投影される台である。投影面５０２は、２−Ｄ
対象物の映像５０３を含んでいる。上記のすべての線ｗ
は、投影面５０４の中心に集まる。それ故、各視野は複
数の映像点を含み、各入力データ信号は複数のデータ点
を含んでいる。
を含んでいる。シーンの各視野は複数の映像点を含んで
いる。図示の実施例の場合には、データ点の特定のもの
は映像点の特定のものを表している。処理システム１０
０は、一台またはそれ以上のビデオ捕捉装置から受信し
たデータ点を比較する（処理ブロック４０２）。より詳
細に説明すると、一台またはそれ以上のカメラによって
捕捉した一つのシーンの各視野は、そのシーン内の複数
の３−Ｄ点の２−Ｄ映像投影面への投影である。一定の
３−Ｄ点をその対応する２−Ｄ投影面の点と結ぶことに
よって形成されるすべての線は、投影の共通の中心で交
差する。図５ａは、３−Ｄの対象物５０１が２−Ｄ平面
５０２に投影される台である。投影面５０２は、２−Ｄ
対象物の映像５０３を含んでいる。上記のすべての線ｗ
は、投影面５０４の中心に集まる。それ故、各視野は複
数の映像点を含み、各入力データ信号は複数のデータ点
を含んでいる。
【００２７】図５ｂに戻って説明すると、この図は、映
像の放射照度およびシーンの放射輝度との間の、より詳
細に説明すると、２−Ｄ投影平面５２０上の映像点
（ｕ、ｖ）と、一定の焦点距離ｆ内の特定のシーン
（ｘ、ｙ、ｚ）の３−Ｄ点との間の直線的な関係を示
す。ピンホール・カメラ５１１が存在すると仮定した場
合、映像の放射照度とシーンの放射輝度との間の関係
は、一般的に下記の式によって表される。 Ｅ＝Ｌ（π／４）（ｄ／ｆ）2ＣＯＳ4α
像の放射照度およびシーンの放射輝度との間の、より詳
細に説明すると、２−Ｄ投影平面５２０上の映像点
（ｕ、ｖ）と、一定の焦点距離ｆ内の特定のシーン
（ｘ、ｙ、ｚ）の３−Ｄ点との間の直線的な関係を示
す。ピンホール・カメラ５１１が存在すると仮定した場
合、映像の放射照度とシーンの放射輝度との間の関係
は、一般的に下記の式によって表される。 Ｅ＝Ｌ（π／４）（ｄ／ｆ）2ＣＯＳ4α
【００２８】上記の式中、Ｅは映像の放射照度であり、
Ｌはシーンの放射輝度であり、ｆは焦点距離（すなわ
ち、ピンホールから映像平面までの距離）であり、ｄは
ピンホール５１１の直径であり、αは垂直線と一定の対
象点と一定の映像点とを結ぶ線との間の角度である。
Ｌはシーンの放射輝度であり、ｆは焦点距離（すなわ
ち、ピンホールから映像平面までの距離）であり、ｄは
ピンホール５１１の直径であり、αは垂直線と一定の対
象点と一定の映像点とを結ぶ線との間の角度である。
【００２９】映像の座標と３−Ｄ空間の座標との間の通
常の関係は、下記の式によって正しく表すことができ
る。 −ｆ／ｚ＝ｕ／ｘ＝ｖ／ｙ
常の関係は、下記の式によって正しく表すことができ
る。 −ｆ／ｚ＝ｕ／ｘ＝ｖ／ｙ
【数１】
【００３０】上記の式中、ｕ＝Ｕ／Ｓ、ｖ＝Ｖ／Ｓ、Ｓ
≠０である。処理システム１００は、相関関係のあるデ
ータ点を３−Ｄ世界座標に投影する（ブロック４０
３）。図示の実施例の場合には、捕捉した一つまたはそ
れ以上の２−Ｄ視野の受信したデータ点を比較するため
に、３−Ｄシーンの推定値が、一台またはそれ以上のビ
デオ捕捉装置からのシーン情報および位置データを使用
して、最初に作られる。
≠０である。処理システム１００は、相関関係のあるデ
ータ点を３−Ｄ世界座標に投影する（ブロック４０
３）。図示の実施例の場合には、捕捉した一つまたはそ
れ以上の２−Ｄ視野の受信したデータ点を比較するため
に、３−Ｄシーンの推定値が、一台またはそれ以上のビ
デオ捕捉装置からのシーン情報および位置データを使用
して、最初に作られる。
【００３１】図５ｃは、理想化した３−Ｄ映像を示す。
この図の中では、第一および第二のピンホール・カメラ
は、一つの３−Ｄ点Ｍの方を向いている。ｍ１およびｍ
２はそれぞれ二つの投影平面ｒ1 およびｒ2 内の映像点
である。図５ｄは、エピポーラ幾何学図形である。この
図においては、線Ｍ−ｍ２が線ｅｐ１を形成している投
影の第一の中心Ｃ１を通して投影され、逆に、線Ｍ−ｍ
１は線ｅｐ２を形成している投影の第二の中心Ｃ２を通
して投影される。線ｅｐ１およびｅｐ２は、エピポーラ
線である。整合中に制約サーチを整合しているとき、好
適にはエピポーラ線を使用することが好ましい。
この図の中では、第一および第二のピンホール・カメラ
は、一つの３−Ｄ点Ｍの方を向いている。ｍ１およびｍ
２はそれぞれ二つの投影平面ｒ1 およびｒ2 内の映像点
である。図５ｄは、エピポーラ幾何学図形である。この
図においては、線Ｍ−ｍ２が線ｅｐ１を形成している投
影の第一の中心Ｃ１を通して投影され、逆に、線Ｍ−ｍ
１は線ｅｐ２を形成している投影の第二の中心Ｃ２を通
して投影される。線ｅｐ１およびｅｐ２は、エピポーラ
線である。整合中に制約サーチを整合しているとき、好
適にはエピポーラ線を使用することが好ましい。
【００３２】図５ｅは、四角い領域内への３−Ｄ点の延
長を示す。この図においては、τ0は、比較部分のピー
クであり、特定の２−Ｄ点は四角い領域内に延びてい
る。特定の実施例の場合には、四角い領域を整合する前
に、各視野は第三の投影面に投影され、第三の投影面
は、投影の中心を結ぶ線に平行である。図５ｆは、複数
の投影の中心を結ぶ線に平行な第三の投影面への視野の
一つの投影を示す。理想的な場合には、この共通の投影
面は二つのもとの投影面を精密に整合している標本化グ
リッドを有している。これら二つの四角の間の類似性
は、下記の相関関数で表される。
長を示す。この図においては、τ0は、比較部分のピー
クであり、特定の２−Ｄ点は四角い領域内に延びてい
る。特定の実施例の場合には、四角い領域を整合する前
に、各視野は第三の投影面に投影され、第三の投影面
は、投影の中心を結ぶ線に平行である。図５ｆは、複数
の投影の中心を結ぶ線に平行な第三の投影面への視野の
一つの投影を示す。理想的な場合には、この共通の投影
面は二つのもとの投影面を精密に整合している標本化グ
リッドを有している。これら二つの四角の間の類似性
は、下記の相関関数で表される。
【数２】
【００３３】上記式中、Ｃ12（τ）はその領域に与えら
れる立体対応の不確実性であり、ｋは下記の式で表され
る。 ｋ＝（２Ｎ＋１）（２Ｐ＋１）σ1（ｕ0，ｖ0）σ2（ｕ
0＋τ，ｖ0）
れる立体対応の不確実性であり、ｋは下記の式で表され
る。 ｋ＝（２Ｎ＋１）（２Ｐ＋１）σ1（ｕ0，ｖ0）σ2（ｕ
0＋τ，ｖ0）
【００３４】上記式中、τはエピポーラ線に沿った変位
を表す。
を表す。
【数３】 およびσ1 （ｕ0、ｖ0）は、点（ｕ0、ｖ0）における映
像内の平均強度および標準偏差を表す。
像内の平均強度および標準偏差を表す。
【数４】
【００３５】類似の式が、
【数５】 およびσ2 （ｕ0＋τ、ｖ0）に対しても適用できる。σ
1 およびσ2 による正規化に応じて、Ｃ12は、好適には
実質的に−１と＋１との間に存在するのが好ましいこと
に留意されたい。
1 およびσ2 による正規化に応じて、Ｃ12は、好適には
実質的に−１と＋１との間に存在するのが好ましいこと
に留意されたい。
【００３６】図５ｅに戻って説明すると、例示としての
相関曲線の場合には、τ0 は２−Ｄ投影面内の映像点の
間の相関関係のピークを表していることに留意された
い。相関曲線は、好適には、第一の投影面から第二の投
影面に換算することが好ましい。これらの曲線の形およ
びピークのところの相関関数の数値は、シーンのその領
域に対する立体対応の不確実性を示す。例えば、上記の
不確実性は下記の式で表される。 ｘ＝１−Ｃ12（τ0）＋w[Ｃ12（τ-1）＋Ｃ12（τ+1）]
相関曲線の場合には、τ0 は２−Ｄ投影面内の映像点の
間の相関関係のピークを表していることに留意された
い。相関曲線は、好適には、第一の投影面から第二の投
影面に換算することが好ましい。これらの曲線の形およ
びピークのところの相関関数の数値は、シーンのその領
域に対する立体対応の不確実性を示す。例えば、上記の
不確実性は下記の式で表される。 ｘ＝１−Ｃ12（τ0）＋w[Ｃ12（τ-1）＋Ｃ12（τ+1）]
【００３７】上記式中、ｘは不確実性の数値であり、ｗ
は予め定めたある程度の加重である。この加重は、好適
には、正規化の目的に対して１以下であることが好まし
い。この不確実性の要因は、この後すぐに説明するよう
に、３−Ｄシーンの推定値を修正するのに使用すること
ができる。
は予め定めたある程度の加重である。この加重は、好適
には、正規化の目的に対して１以下であることが好まし
い。この不確実性の要因は、この後すぐに説明するよう
に、３−Ｄシーンの推定値を修正するのに使用すること
ができる。
【００３８】整合が行われた場合には、処理システム１
００は、複数の光線／ベクトルを３−Ｄ座標に形成する
ために、投影面の中心の位置および四角の中心の（ｕ、
ｖ）座標を使用する。これらの光線の交点により、一定
の表面の点の３−Ｄ座標が決まる。処理システム１００
は、好適には、すべての入力投影面の分析が完了するま
で、このプロセスを反復して行うことが好ましい。
００は、複数の光線／ベクトルを３−Ｄ座標に形成する
ために、投影面の中心の位置および四角の中心の（ｕ、
ｖ）座標を使用する。これらの光線の交点により、一定
の表面の点の３−Ｄ座標が決まる。処理システム１００
は、好適には、すべての入力投影面の分析が完了するま
で、このプロセスを反復して行うことが好ましい。
【００３９】上記の技術は、本明細書に参考文献として
記載してある、マサチューセッツ州、ケンブリッジのＭ
ＩＴプレス社１９９３年発行のオリバー・ファウゲラ著
の「三次元コンピュータ映像−幾何学的視点」により詳
細に記載されている。
記載してある、マサチューセッツ州、ケンブリッジのＭ
ＩＴプレス社１９９３年発行のオリバー・ファウゲラ著
の「三次元コンピュータ映像−幾何学的視点」により詳
細に記載されている。
【００４０】処理システム１００は、図２および図３の
メモリ記憶装置２０７のような、従来の適当に配列され
た記憶装置内に、３−Ｄシーンの推定値のデータ表現を
記憶する（処理ブロック４０４）。
メモリ記憶装置２０７のような、従来の適当に配列され
た記憶装置内に、３−Ｄシーンの推定値のデータ表現を
記憶する（処理ブロック４０４）。
【００４１】その後、処理システム１００は、特定のシ
ーンを形成している種々の対象物およびパターンを識別
する（処理ブロック４０５）。この識別は、好適には、
例えば、異なる対象物およびパターン分類に関する既知
の情報と一緒に整合するような従来のデータ分析技術を
適用して行うことが好ましい。シーンの３−Ｄ推定値が
与えられている場合には、既知またはすでに与えられて
いるシーンに関する情報を、この後すぐに説明するよう
に、３−Ｄ推定値を修正するために、種々の対象物およ
び／またはパターンまたは領域に名前をつけるのに適当
に使用することができる。すでに分かっているシーンに
関する情報は、本明細書で使用されるように、捕捉した
シーンの一つまたはそれ以上の現在の視野を処理する前
に入手している任意のシーン情報である。それ故、すで
に分かっているシーン情報は、建物／図面、日付および
時間、気象条件、人々の数および外見、視野および計数
マスキング、光源、シーンの過去の状態のようなシーン
内の対象物の３−Ｄ構造、テクスチャ、照明および動き
についての知識を無制限に含むことができる。本発明の
特定の実施例の場合には、シーン内の種々の対象物およ
び領域を識別するために、３−Ｄシーンの推定値が分析
される。その後、識別した種々の対象物および領域の属
性を、好適には、既知の対象物および領域のすでに分か
っている対応する属性に対して整合させ／比較する事が
好ましい。
ーンを形成している種々の対象物およびパターンを識別
する（処理ブロック４０５）。この識別は、好適には、
例えば、異なる対象物およびパターン分類に関する既知
の情報と一緒に整合するような従来のデータ分析技術を
適用して行うことが好ましい。シーンの３−Ｄ推定値が
与えられている場合には、既知またはすでに与えられて
いるシーンに関する情報を、この後すぐに説明するよう
に、３−Ｄ推定値を修正するために、種々の対象物およ
び／またはパターンまたは領域に名前をつけるのに適当
に使用することができる。すでに分かっているシーンに
関する情報は、本明細書で使用されるように、捕捉した
シーンの一つまたはそれ以上の現在の視野を処理する前
に入手している任意のシーン情報である。それ故、すで
に分かっているシーン情報は、建物／図面、日付および
時間、気象条件、人々の数および外見、視野および計数
マスキング、光源、シーンの過去の状態のようなシーン
内の対象物の３−Ｄ構造、テクスチャ、照明および動き
についての知識を無制限に含むことができる。本発明の
特定の実施例の場合には、シーン内の種々の対象物およ
び領域を識別するために、３−Ｄシーンの推定値が分析
される。その後、識別した種々の対象物および領域の属
性を、好適には、既知の対象物および領域のすでに分か
っている対応する属性に対して整合させ／比較する事が
好ましい。
【００４２】従って、推定された３−Ｄシーンは、生の
シーンの入力内の複数のデータ・セットを識別するため
に処理される。シーン入力が複数のデータ点を含んでい
ることを思い出されたい。各データ・セットは、好適に
は、一つまたはそれ以上のデータ点を含んでいることが
好ましい。種々のデータ・セットそれぞれは、好適に
は、シーン内の特定の前景および背景の対象物またはパ
ターンを表していることが好ましい。本明細書で使用す
る対象物は、例えば、図１ａのテニスの試合をしている
選手または図１ｂのビデオホンで話をしている二人の人
のような、眼で感知および／または識別できるものなら
何でもいい。本明細書で使用するパターンは、シーンの
特定の視野内で捕捉した背景のような、シーンのはっき
りした一部分である。例えば、図示のテニスの試合が行
われているスタンドにいる観客またはスタンドそれ自
身、またはビデオホンで会話中の人のどちらかの背後で
捕捉されたパターン／領域である。
シーンの入力内の複数のデータ・セットを識別するため
に処理される。シーン入力が複数のデータ点を含んでい
ることを思い出されたい。各データ・セットは、好適に
は、一つまたはそれ以上のデータ点を含んでいることが
好ましい。種々のデータ・セットそれぞれは、好適に
は、シーン内の特定の前景および背景の対象物またはパ
ターンを表していることが好ましい。本明細書で使用す
る対象物は、例えば、図１ａのテニスの試合をしている
選手または図１ｂのビデオホンで話をしている二人の人
のような、眼で感知および／または識別できるものなら
何でもいい。本明細書で使用するパターンは、シーンの
特定の視野内で捕捉した背景のような、シーンのはっき
りした一部分である。例えば、図示のテニスの試合が行
われているスタンドにいる観客またはスタンドそれ自
身、またはビデオホンで会話中の人のどちらかの背後で
捕捉されたパターン／領域である。
【００４３】一つのシーン内の対象物のどちらが、事実
上、次のシーン内のパターン／領域になるのか、またそ
の逆の場合に注目することは重要なことである。例え
ば、あるシーン内の特徴を持っている群衆を見せるため
に、スタンドを走査することもできるし、一方、群衆に
よりテニス選手の間のプレイを強調している他のシーン
内の背景を形成することもできる。本発明の重要な特徴
は、処理ブロック４０３のところで説明したように、対
象物と２８の背景との間を区別することができるという
ことである。
上、次のシーン内のパターン／領域になるのか、またそ
の逆の場合に注目することは重要なことである。例え
ば、あるシーン内の特徴を持っている群衆を見せるため
に、スタンドを走査することもできるし、一方、群衆に
よりテニス選手の間のプレイを強調している他のシーン
内の背景を形成することもできる。本発明の重要な特徴
は、処理ブロック４０３のところで説明したように、対
象物と２８の背景との間を区別することができるという
ことである。
【００４４】処理システム１００は、一つまたはそれ以
上の誤差の数値を生成する（処理ブロック４０６）。誤
差は、一台またはそれ以上のカメラの光景の間のデータ
点内の相関関係の幾何学的な不確実性、テクスチャ、照
明および／または透明度の誤差、一つまたはそれ以上の
対象物、領域および／またはパターンの識別の際の誤差
を無制限に含むことができる。
上の誤差の数値を生成する（処理ブロック４０６）。誤
差は、一台またはそれ以上のカメラの光景の間のデータ
点内の相関関係の幾何学的な不確実性、テクスチャ、照
明および／または透明度の誤差、一つまたはそれ以上の
対象物、領域および／またはパターンの識別の際の誤差
を無制限に含むことができる。
【００４５】この誤差の数値は、参考文献として本明細
書にすでに記載した「三次元コンピュータ映像−幾何学
的視点」に開示されているような、反復処理を無制限に
含んでいる多くの従来の技術の任意なものにより、３−
Ｄシーンの推定値を修正するために使用することができ
る。
書にすでに記載した「三次元コンピュータ映像−幾何学
的視点」に開示されているような、反復処理を無制限に
含んでいる多くの従来の技術の任意なものにより、３−
Ｄシーンの推定値を修正するために使用することができ
る。
【００４６】処理システム１００は、好適には、一つま
たはそれ以上の標準／正規化数値を比較することによ
り、ここでもデータ・セットまたはその選択グループを
含んでいる個々の識別したデータ点をランク付けするこ
とが好ましい（処理ブロック４０７）。比較により、好
適には、重要なランク付け／数値が得られることが好ま
しい。本明細書で使用する標準数値は、視覚的に重要な
ものであり、シーンのどの領域が見る人にとって最も興
味があるかを示している。例えば、聴衆は、スタジアム
（図１ａ）の中のテニス選手より重要ではないし、聴衆
はコンサート内の演奏家より重要でない。処理システム
１００は、メモリ記憶装置の複数のレコード内に処理し
た標準数値を再度記憶する（処理ブロック４０４）。
たはそれ以上の標準／正規化数値を比較することによ
り、ここでもデータ・セットまたはその選択グループを
含んでいる個々の識別したデータ点をランク付けするこ
とが好ましい（処理ブロック４０７）。比較により、好
適には、重要なランク付け／数値が得られることが好ま
しい。本明細書で使用する標準数値は、視覚的に重要な
ものであり、シーンのどの領域が見る人にとって最も興
味があるかを示している。例えば、聴衆は、スタジアム
（図１ａ）の中のテニス選手より重要ではないし、聴衆
はコンサート内の演奏家より重要でない。処理システム
１００は、メモリ記憶装置の複数のレコード内に処理し
た標準数値を再度記憶する（処理ブロック４０４）。
【００４７】処理システム１００は、好適には、ランク
付け／重要度に関する数値を、記憶した数値に適用する
するために、恐らくマスキングおよび追加処理の処理分
を含んでいる追加処理を行うかどうかを表示するため
に、一定の領域に対する誤差の数値と一緒に使用するこ
とが好ましい（処理ブロック４０９）。例えば、重要度
の低い数値および誤差の小さな領域は、追加処理する必
要がなく、重要度の低い数値および誤差の大きな領域
は、マスクさえすればいいし、重要度の高い数値および
誤差の大きな領域は、さらに処理をする必要があるかも
知れないし、重要度が高い数値および誤差の小さな領域
は、余分な資源が存在し、さらに処理することによりシ
ーンの推定値が強化される場合だけに、さらに処理を必
要とするかも知れない。
付け／重要度に関する数値を、記憶した数値に適用する
するために、恐らくマスキングおよび追加処理の処理分
を含んでいる追加処理を行うかどうかを表示するため
に、一定の領域に対する誤差の数値と一緒に使用するこ
とが好ましい（処理ブロック４０９）。例えば、重要度
の低い数値および誤差の小さな領域は、追加処理する必
要がなく、重要度の低い数値および誤差の大きな領域
は、マスクさえすればいいし、重要度の高い数値および
誤差の大きな領域は、さらに処理をする必要があるかも
知れないし、重要度が高い数値および誤差の小さな領域
は、余分な資源が存在し、さらに処理することによりシ
ーンの推定値が強化される場合だけに、さらに処理を必
要とするかも知れない。
【００４８】マスキングは、通常一定のデータ点の特性
を修正するために、一組のアルゴリズムの適用を含んで
いる。マスキングの例としては、例えば、照明の修正、
霧の適用および領域を予め定めた計算した光景または前
の光景で置き換えることなどがある。このような効果
は、３−Ｄのシーンの推定値を修正するために使用され
る。マスキングは、その使用により３−Ｄシーンの指定
部分を作るために必要な処理要件を減らし、それにより
追加の映像処理資源を相対的に重要度の高い領域に適用
することができるという特徴を持っている。
を修正するために、一組のアルゴリズムの適用を含んで
いる。マスキングの例としては、例えば、照明の修正、
霧の適用および領域を予め定めた計算した光景または前
の光景で置き換えることなどがある。このような効果
は、３−Ｄのシーンの推定値を修正するために使用され
る。マスキングは、その使用により３−Ｄシーンの指定
部分を作るために必要な処理要件を減らし、それにより
追加の映像処理資源を相対的に重要度の高い領域に適用
することができるという特徴を持っている。
【００４９】人間の視覚の細部に関する感度は、通常平
均的明るさによって違ってくる。３−Ｄシーンの推定値
の領域が、大きい誤差の推定値を持っているという理由
でマスキングしなければならない場合には、シーンの照
明を暗くすると、眼で知覚される誤差が小さくなる。縁
部を鋭角にするような誤差の場合には、領域をシミュレ
ーションにより焦点をぼかしたり、かすませたりするこ
とにより、または視野と誤差のある領域との間に半透明
のものを挿入したりすることにより、そのような誤差の
影響を最も小さくすることができる。シーンの推定値が
誤差を含んでいる場合には、影響を受けた特定の領域
を、例えば、スタンドの一人またはそれ以上の観客によ
うな予め計算した領域で置き換えるか、または予め計算
した放射輝度のモデルのようなすでに分かっている処理
ブロック４０８の情報で置き換えることができる。
均的明るさによって違ってくる。３−Ｄシーンの推定値
の領域が、大きい誤差の推定値を持っているという理由
でマスキングしなければならない場合には、シーンの照
明を暗くすると、眼で知覚される誤差が小さくなる。縁
部を鋭角にするような誤差の場合には、領域をシミュレ
ーションにより焦点をぼかしたり、かすませたりするこ
とにより、または視野と誤差のある領域との間に半透明
のものを挿入したりすることにより、そのような誤差の
影響を最も小さくすることができる。シーンの推定値が
誤差を含んでいる場合には、影響を受けた特定の領域
を、例えば、スタンドの一人またはそれ以上の観客によ
うな予め計算した領域で置き換えるか、または予め計算
した放射輝度のモデルのようなすでに分かっている処理
ブロック４０８の情報で置き換えることができる。
【００５０】データ点および／またはデータ・セットに
関する重要度に関する数値が大きく、関連する誤差の数
値が、特定の用途に関連する域値を超えた場合には、デ
ータ・セットに関連する特定のデータ点は、好適には、
３−Ｄ面の形およびテクスチャの推定値を修正するため
に、選択的に処理されることが好ましい。すなわち、２
−Ｄ視野のデータ点の相関関係をチェックする際に（処
理ブロック４０２）、四角い領域の追加の大きさは、好
適には、立体対応の整合の際に使用するのが好ましく、
またより広いサーチ領域も使用するのが好適であり、よ
り多くの種類の幾何学的表面が、誤差を小さくするため
に、構造物の点の推定値に適用される。推定値の誤差を
小さくするために使用される処理は、無制限に、３−Ｄ
シーンのフィルタリング、シーンの内挿、移動の推定値
等を含むことができる。
関する重要度に関する数値が大きく、関連する誤差の数
値が、特定の用途に関連する域値を超えた場合には、デ
ータ・セットに関連する特定のデータ点は、好適には、
３−Ｄ面の形およびテクスチャの推定値を修正するため
に、選択的に処理されることが好ましい。すなわち、２
−Ｄ視野のデータ点の相関関係をチェックする際に（処
理ブロック４０２）、四角い領域の追加の大きさは、好
適には、立体対応の整合の際に使用するのが好ましく、
またより広いサーチ領域も使用するのが好適であり、よ
り多くの種類の幾何学的表面が、誤差を小さくするため
に、構造物の点の推定値に適用される。推定値の誤差を
小さくするために使用される処理は、無制限に、３−Ｄ
シーンのフィルタリング、シーンの内挿、移動の推定値
等を含むことができる。
【００５１】処理システム１００は、強調された３−Ｄ
シーンを作る（処理ブロック４１０）。上記の推定値
は、図１ａの一台またはそれ以上のテレビジョン１０７
ａ−１０７ｍ、または図１ｂのパソコン１００ａ、１０
０ｂのモニタのような従来のディスプレイ装置上に表示
するのに適している任意の２−Ｄ光景を作るのに使用さ
れる。他の実施例の場合には、出力信号を後で表示する
ために、従来の記憶装置または媒体に記録することがで
きる。別の方法としては、作ったシーンの推定値を、３
−Ｄシーンで作動する装置と一緒に適当に使用すること
ができる。
シーンを作る（処理ブロック４１０）。上記の推定値
は、図１ａの一台またはそれ以上のテレビジョン１０７
ａ−１０７ｍ、または図１ｂのパソコン１００ａ、１０
０ｂのモニタのような従来のディスプレイ装置上に表示
するのに適している任意の２−Ｄ光景を作るのに使用さ
れる。他の実施例の場合には、出力信号を後で表示する
ために、従来の記憶装置または媒体に記録することがで
きる。別の方法としては、作ったシーンの推定値を、３
−Ｄシーンで作動する装置と一緒に適当に使用すること
ができる。
【００５２】３−Ｄシーンの推定値から、２−Ｄ表示を
生成するための技術は、ピンホール・カメラ・モデルに
よって、投影面に投影される３−Ｄのポリゴンまたはボ
クセルの表示を含んでいる。これも周知であるｚバッフ
ァ・アルゴリズムを使用して、表面の各点も対して、可
視度を計算することが好適である。他の実施例の場合に
は、２−Ｄ映像が３−Ｄ多角形に適用されるテクスチャ
・マッピングを、追加のリアリズムを表現するために使
用することができる。種々の表面の反射特性に従って、
照明も変えられる。３−Ｄモデルから２−Ｄ映像を作る
ための従来の例示としての技術の一つが、本明細書に参
考文献として記載されている、アジソン−ウエズリ出版
社発行のＪ．Ｄ．フォリ、Ａ．バンダム、Ｓ．Ｋ．ファ
イナおよびＪ．Ｆ．ヒューズ著の「コンピュータ・グラ
フィックス：原理と実際」（１９９２年第２版）により
詳細に記載されている。
生成するための技術は、ピンホール・カメラ・モデルに
よって、投影面に投影される３−Ｄのポリゴンまたはボ
クセルの表示を含んでいる。これも周知であるｚバッフ
ァ・アルゴリズムを使用して、表面の各点も対して、可
視度を計算することが好適である。他の実施例の場合に
は、２−Ｄ映像が３−Ｄ多角形に適用されるテクスチャ
・マッピングを、追加のリアリズムを表現するために使
用することができる。種々の表面の反射特性に従って、
照明も変えられる。３−Ｄモデルから２−Ｄ映像を作る
ための従来の例示としての技術の一つが、本明細書に参
考文献として記載されている、アジソン−ウエズリ出版
社発行のＪ．Ｄ．フォリ、Ａ．バンダム、Ｓ．Ｋ．ファ
イナおよびＪ．Ｆ．ヒューズ著の「コンピュータ・グラ
フィックス：原理と実際」（１９９２年第２版）により
詳細に記載されている。
【００５３】本発明の原理を、テニスの試合を捕捉する
ためのビデオおよびビデオホン技術の使用を通して説明
してきたが、そのような適用は、無制限に、監視および
保安システム、室内および戸外スポーツ・イベント、演
奏、演説、名所および史跡見物、想像上の旅行、博物館
ツア等を含む、シーン／映像の処理、および／または効
果を高めるための装置、システムまたは方法論と関連し
て実行することができる。
ためのビデオおよびビデオホン技術の使用を通して説明
してきたが、そのような適用は、無制限に、監視および
保安システム、室内および戸外スポーツ・イベント、演
奏、演説、名所および史跡見物、想像上の旅行、博物館
ツア等を含む、シーン／映像の処理、および／または効
果を高めるための装置、システムまたは方法論と関連し
て実行することができる。
【００５４】本発明およびその利点を詳細に説明してき
たが、本発明の精神および範囲から逸脱しないで、種々
の変更、置き換え、修正を行うことができることを理解
されたい。
たが、本発明の精神および範囲から逸脱しないで、種々
の変更、置き換え、修正を行うことができることを理解
されたい。
【図１ａ】本発明の原理に従って、電子シーン分析およ
び強調を行うための例示としての、処理システムをベー
スとするビデオ・システムのブロック図である。
び強調を行うための例示としての、処理システムをベー
スとするビデオ・システムのブロック図である。
【図１ｂ】ビデオホン技術を含む、例示としての、処理
システムをベースとする無線ローカル・エリア・ネット
ワークのブロック図である。
システムをベースとする無線ローカル・エリア・ネット
ワークのブロック図である。
【図２】本発明の原理に従って、受信ビデオ信号を分析
および強調のためにプログラムすることができる、例示
としての処理システムの実物大の図である。
および強調のためにプログラムすることができる、例示
としての処理システムの実物大の図である。
【図３】図２の例示としての処理システムと一緒に使用
することができる例示としてのマイクロプロセッシング
・システムのブロック図である。
することができる例示としてのマイクロプロセッシング
・システムのブロック図である。
【図４】本発明の原理に従って、電子分析および強調を
行うための例示としての方法のフローチャートである。
行うための例示としての方法のフローチャートである。
【図５ａ】二次元の平面上に投影された三次元の対象物
の台である。
の台である。
【図５ｂ】映像放射照度とシーン放射輝度との間の直線
的関係を示す。
的関係を示す。
【図５ｃ】理想化された三次元の光景であり、この場
合、第一および第二のピンホール・カメラは、一つの三
次元の点の方を向いている。
合、第一および第二のピンホール・カメラは、一つの三
次元の点の方を向いている。
【図５ｄ】投影の第一および第二の中心を通して、線Ｍ
−ｍ1 および線Ｍ−ｍ2 がそれぞれ投影されるエピポー
ラ幾何学図形である。
−ｍ1 および線Ｍ−ｍ2 がそれぞれ投影されるエピポー
ラ幾何学図形である。
【図５ｅ】三次元の点の四角い領域内への延長部を示
す。この場合、τ0 は相関位置のピークである。
す。この場合、τ0 は相関位置のピークである。
【図５ｆ】複数の投影の中心を結ぶ線に平行な第三の投
影面への視野の投影を示す。
影面への視野の投影を示す。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 エリック ディヴィッド ペタジャン アメリカ合衆国 07060 ニュージャーシ ィ，ウォッチュング，メイプル ストリー ト 22
Claims (27)
- 【請求項１】 ３−Ｄシーンの推定値を表す出力信号を
生成させるための装置であって、 複数のデータ点のいくつかが、複数の映像点のいくつか
を表し、視野が複数の映像点を含み、入力信号が複数の
データ点を含んでいる場合に、一つのシーンの一つの視
野を表す少なくとも一つの上記の入力信号を受信するた
めの手段と、 上記の複数の各データ・セットが、上記の複数のデータ
点のいくつかを含んでいる場合に、複数のデータ・セッ
トを識別し、一つまたはそれ以上の上記の複数の識別し
たデータ・セットのランク付けを行い、上記のランク付
けに従って、上記の出力信号を生成するために、一つま
たはそれ以上の上記の複数の識別したデータ・セットを
選択的に強調するための処理手段を備えた装置。 - 【請求項２】 上記の処理手段が、少なくとも一つの処
理装置を含んでいる請求項１に記載の装置。 - 【請求項３】 上記の３−Ｄシーンの推定値を表す上記
の出力信号を発生するために、上記の処理手段に上記の
入力信号を処理を行わせるための複数の処理システム命
令を記憶するための手段をさらに含む請求項１に記載の
装置。 - 【請求項４】 上記の処理手段が、さらに上記の複数の
処理システム命令の内の選択したものを検索し、実行す
るために作動することができる請求項３に記載の装置。 - 【請求項５】 上記の処理手段が、一つまたはそれ以上
の上記の複数のデータ点に対する誤差の数値を決定する
ための手段をさらに含む請求項１に記載の装置。 - 【請求項６】 上記の誤差の数値を小さくするために、
一つまたはそれ以上の上記の複数のデータ点へ、すでに
分かっているシーン情報の一つまたはそれ以上の複数の
レコードを選択的に適用するための手段をさらに含む請
求項５に記載の装置。 - 【請求項７】 上記の入力信号が単一のビデオ・データ
捕捉装置から受信され、上記の装置が上記の単一ビデオ
装置の一つまたはそれ以上のレンズの焦点距離を表す焦
点距離の数値の少なくとも一つと、上記の単一のビデオ
装置の一つまたはそれ以上のレンズの口径の大きさを表
す口径の数値と、上記の単一のビデオ装置のシャッター
速度を表すシャッターの数値を含んでいる追加情報を受
信するための手段をさらに含む請求項１に記載の装置。 - 【請求項８】 ３−Ｄシーンを推定するために、上記の
追加情報を選択的に使用するための手段をさらに含む請
求項７に記載の装置。 - 【請求項９】 ランク付け／重要度に関するデータの一
つまたはそれ以上の複数のレコードを、一つまたはそれ
以上の上記の複数のデータ点に関連する上記の誤差の数
値と選択的に比較するための手段をさらに含む請求項５
に記載の装置。 - 【請求項１０】 一つまたはそれ以上の上記の複数のデ
ータ点に関連するランク付け／重要度に関するデータを
決定するための手段をさらに含む請求項５に記載の装
置。 - 【請求項１１】 一つまたはそれ以上の上記の複数のデ
ータ点に関連するランク付け／重要度に関するデータお
よび誤差の数値が、それぞれ相対的に低くまた相対的に
高く、上記の処理手段が、上記の誤差の数値を小さくす
るために、上記の複数のデータ点のいくつかを選択的に
マスキングするための手段をさらに含む請求項１０に記
載の装置。 - 【請求項１２】 記憶装置から視覚的マスキング・デー
タを検索するための手段を含む請求項１１に記載の装
置。 - 【請求項１３】 一つまたはそれ以上の上記の複数のデ
ータ点に関連するランク付け／重要度に関するデータお
よび誤差の数値が、両方とも相対的に高く、上記の処理
手段が、上記の誤差の数値を小さくするために、上記の
複数のデータ点のいくつかをさらに処理するために作動
する請求項１０に記載の装置。 - 【請求項１４】 一つまたはそれ以上の上記の複数のデ
ータ点に関連する誤差の数値が、相対的に低く、上記の
処理手段が、上記の誤差の数値を小さくするために、上
記の複数のデータ点のいくつかをさらに処理するために
作動する請求項１０に記載の装置。 - 【請求項１５】 上記の複数のデータ点のいくつかの大
きさ、形、向き、対象物までの距離 およびテクスチャ
の内の少なくとも一つに関連する受信した位置のデータ
を選択的に使用することによって、３−Ｄシーンを推定
するための手段をさらに含む請求項１に記載の装置。 - 【請求項１６】 ３−Ｄシーンの推定値を表す出力信号
を生成させるための方法であって、 複数のデータ点のいくつかが、複数の映像点のいくつか
を表し、視野が複数の映像点を含み、入力信号が複数の
データ点を含んでいる場合に、一つのシーンの一つの視
野を表す少なくとも一つの上記の入力信号を受信するた
めのステップと、 上記の複数の各データ・セットが上記の複数のデータ点
を含んでいる場合に、複数のデータ・セットを識別する
ステップと、 一つまたはそれ以上の上記の複数の識別されたデータ・
セットを一つまたはそれ以上の標準の数値と比較し、上
記の比較に従って、上記の出力信号を生成するために、
一つまたはそれ以上の上記の複数の識別したデータ・セ
ットを選択的に強調するステップとを含む方法。 - 【請求項１７】 上記の比較するステップが、一つまた
はそれ以上の上記の複数のデータ点に対する誤差の数値
を決定するステップをさらに含む請求項１６に記載の方
法。 - 【請求項１８】 上記の誤差の数値を少なくするため
に、一つまたはそれ以上の上記の複数のデータ点へ、す
でに分かっているシーン情報の一つまたはそれ以上の複
数のレコードを選択的に適用するためのステップをさら
に含む請求項１７に記載の方法。 - 【請求項１９】 上記の入力信号が単一のビデオ・デー
タ捕捉装置によって作り出され、上記の方法が上記の単
一ビデオ装置の一つまたはそれ以上のレンズの焦点距離
を表す焦点距離の数値の少なくとも一つと、上記の単一
のビデオ装置の一つまたはそれ以上のレンズの口径の大
きさを表す口径の数値と、上記の単一のビデオ装置のシ
ャッター速度を表すシャッターの数値を含んでいる追加
情報を受信するためのステップをさらに含む請求項１６
に記載の方法。 - 【請求項２０】 ３−Ｄシーンを推定するために、上記
の追加情報を選択的に使用するためのステップをさらに
含む請求項１７に記載の方法。 - 【請求項２１】 ランク付け／重要度に関するデータの
一つまたはそれ以上の複数のレコードを、一つまたはそ
れ以上の上記の複数のデータ点に関連する上記の誤差の
数値と選択的に比較するための手段をさらに含む請求項
１７に記載の方法。 - 【請求項２２】 一つまたはそれ以上の上記の複数のデ
ータ点に関連するランク付け／重要度に関するデータを
決定するためのステップをさらに含む請求項１７に記載
の方法。 - 【請求項２３】 一つまたはそれ以上の上記の複数のデ
ータ点に関連するランク付け／重要度に関するデータお
よび誤差の数値が、それぞれ相対的に低くまた相対的に
高く、上記の方法が、上記の誤差の数値を小さくするた
めに、上記の複数のデータ点のいくつかを選択的にマス
キングするためのステップをさらに含む請求項２２に記
載の方法。 - 【請求項２４】 記憶装置から視覚的マスキング・デー
タを検索するためのステップをさらに含む請求項２３に
記載の装置。 - 【請求項２５】 一つまたはそれ以上の上記の複数のデ
ータ点に関連する上記の重要度に関する数値および誤差
の数値が、両方とも相対的に高く、上記の方法が、上記
の誤差の数値を小さくするために、上記の複数のデータ
点のいくつかを処理するためのステップをさらに含む請
求項２２に記載の方法。 - 【請求項２６】 上記の複数のデータ点のいくつかの大
きさ、形、向き、対象物までの距離およびテクスチャの
内の少なくとも一つに関連する受信した位置のデータを
選択的に使用することによって、３−Ｄシーンを推定す
るためのステップをさらに含む請求項１６に記載の装
置。 - 【請求項２７】 ３−Ｄシーンの推定値を表す出力信号
を生成させるための方法であって、 複数のデータ点のいくつかが、複数の映像点のいくつか
を表し、視野が複数の映像点を含み、入力信号が複数の
データ点を含んでいる場合に、一つのシーンの一つの視
野を表す少なくとも一つの上記の入力信号を受信するた
めのステップと、 一つまたはそれ以上の上記の複数の映像点に対する誤差
の数値を決定するステップと、 一つまたはそれ以上の上記の複数のデータ点に関連する
ランク付け／重要度に関するデータを決定するステップ
と、 一つまたはそれ以上の上記の複数のデータ点に関連する
上記のランク付け／重要度に関するデータおよび誤差の
数値が、相対的に低くまた相対的に高い場合に、上記の
誤差の数値を小さくするために、上記の複数のデータ点
のいくつかを選択的にマスキングするステップと、 一つまたはそれ以上の上記の複数のデータ点に関連する
上記のランク付け／重要度に関するデータおよび誤差の
数値の両方が、相対的に高い場合に、上記の誤差の数値
を小さくするために、上記の複数のデータ点のいくつか
を処理するステップと、 上記の出力信号を生成するステップとを含む方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US08/525932 | 1995-09-08 | ||
| US08/525,932 US5768415A (en) | 1995-09-08 | 1995-09-08 | Apparatus and methods for performing electronic scene analysis and enhancement |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH09139956A true JPH09139956A (ja) | 1997-05-27 |
Family
ID=24095215
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8236234A Pending JPH09139956A (ja) | 1995-09-08 | 1996-09-06 | 電子シーン分析および強調のための装置および方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US5768415A (ja) |
| EP (1) | EP0762327A2 (ja) |
| JP (1) | JPH09139956A (ja) |
| KR (1) | KR970019704A (ja) |
| CA (1) | CA2181402A1 (ja) |
Families Citing this family (67)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2891159B2 (ja) * | 1996-02-14 | 1999-05-17 | 日本電気株式会社 | 多眼画像からの物体検出方式 |
| GB2312119B (en) * | 1996-04-12 | 2000-04-05 | Lightworks Editing Systems Ltd | Digital video effects apparatus and method therefor |
| JP2910698B2 (ja) | 1996-10-15 | 1999-06-23 | 日本電気株式会社 | 三次元構造推定方法及び装置 |
| JP3512992B2 (ja) * | 1997-01-07 | 2004-03-31 | 株式会社東芝 | 画像処理装置および画像処理方法 |
| US6236737B1 (en) * | 1997-03-26 | 2001-05-22 | Dalhousie University | Dynamic target addressing system |
| EP0901105A1 (en) | 1997-08-05 | 1999-03-10 | Canon Kabushiki Kaisha | Image processing apparatus |
| JP4105788B2 (ja) | 1997-11-14 | 2008-06-25 | 任天堂株式会社 | ビデオゲーム装置およびその記憶媒体 |
| US6052492A (en) * | 1997-12-09 | 2000-04-18 | Sun Microsystems, Inc. | System and method for automatically generating an image to represent a video sequence |
| WO1999052068A1 (en) * | 1998-04-03 | 1999-10-14 | Koninklijke Philips Electronics N.V. | Image processing method and system involving contour detection steps |
| WO1999052073A1 (en) * | 1998-04-06 | 1999-10-14 | Synapix, Inc. | Pixel grading of image structure for scene analysis |
| US6466205B2 (en) * | 1998-11-19 | 2002-10-15 | Push Entertainment, Inc. | System and method for creating 3D models from 2D sequential image data |
| JP2001252463A (ja) * | 2000-03-10 | 2001-09-18 | Konami Co Ltd | ゲーム装置、指定位置の判定方法、及び記録媒体並びにプログラム |
| JP2001276420A (ja) * | 2000-03-30 | 2001-10-09 | Namco Ltd | ゲーム装置および情報記憶媒体 |
| DE10016074B4 (de) * | 2000-04-01 | 2004-09-30 | Tdv Technologies Corp. | Verfahren und Vorrichtung zur Erzeugung von 3D-Bildern |
| US20020085762A1 (en) * | 2000-11-02 | 2002-07-04 | Image Id Ltd. | Mass event image identification |
| US20030212536A1 (en) * | 2002-05-08 | 2003-11-13 | Cher Wang | Interactive real-scene tour simulation system and method of the same |
| US7184590B2 (en) * | 2002-07-17 | 2007-02-27 | Lockheed Martin Corporation | Algorithm selector |
| US7161579B2 (en) | 2002-07-18 | 2007-01-09 | Sony Computer Entertainment Inc. | Hand-held computer interactive device |
| US8947347B2 (en) * | 2003-08-27 | 2015-02-03 | Sony Computer Entertainment Inc. | Controlling actions in a video game unit |
| US7883415B2 (en) * | 2003-09-15 | 2011-02-08 | Sony Computer Entertainment Inc. | Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion |
| US8797260B2 (en) * | 2002-07-27 | 2014-08-05 | Sony Computer Entertainment Inc. | Inertially trackable hand-held controller |
| US7623115B2 (en) | 2002-07-27 | 2009-11-24 | Sony Computer Entertainment Inc. | Method and apparatus for light input device |
| US7646372B2 (en) * | 2003-09-15 | 2010-01-12 | Sony Computer Entertainment Inc. | Methods and systems for enabling direction detection when interfacing with a computer program |
| US7102615B2 (en) * | 2002-07-27 | 2006-09-05 | Sony Computer Entertainment Inc. | Man-machine interface using a deformable device |
| US7918733B2 (en) * | 2002-07-27 | 2011-04-05 | Sony Computer Entertainment America Inc. | Multi-input game control mixer |
| US8570378B2 (en) | 2002-07-27 | 2013-10-29 | Sony Computer Entertainment Inc. | Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera |
| US7850526B2 (en) * | 2002-07-27 | 2010-12-14 | Sony Computer Entertainment America Inc. | System for tracking user manipulations within an environment |
| US9474968B2 (en) | 2002-07-27 | 2016-10-25 | Sony Interactive Entertainment America Llc | Method and system for applying gearing effects to visual tracking |
| US7854655B2 (en) * | 2002-07-27 | 2010-12-21 | Sony Computer Entertainment America Inc. | Obtaining input for controlling execution of a game program |
| US8233642B2 (en) * | 2003-08-27 | 2012-07-31 | Sony Computer Entertainment Inc. | Methods and apparatuses for capturing an audio signal based on a location of the signal |
| US9393487B2 (en) | 2002-07-27 | 2016-07-19 | Sony Interactive Entertainment Inc. | Method for mapping movements of a hand-held controller to game commands |
| US8686939B2 (en) * | 2002-07-27 | 2014-04-01 | Sony Computer Entertainment Inc. | System, method, and apparatus for three-dimensional input control |
| US7803050B2 (en) * | 2002-07-27 | 2010-09-28 | Sony Computer Entertainment Inc. | Tracking device with sound emitter for use in obtaining information for controlling game program execution |
| US7627139B2 (en) * | 2002-07-27 | 2009-12-01 | Sony Computer Entertainment Inc. | Computer image and audio processing of intensity and input devices for interfacing with a computer program |
| US8160269B2 (en) * | 2003-08-27 | 2012-04-17 | Sony Computer Entertainment Inc. | Methods and apparatuses for adjusting a listening area for capturing sounds |
| US8313380B2 (en) * | 2002-07-27 | 2012-11-20 | Sony Computer Entertainment America Llc | Scheme for translating movements of a hand-held controller into inputs for a system |
| US9174119B2 (en) | 2002-07-27 | 2015-11-03 | Sony Computer Entertainement America, LLC | Controller for providing inputs to control execution of a program when inputs are combined |
| US8139793B2 (en) * | 2003-08-27 | 2012-03-20 | Sony Computer Entertainment Inc. | Methods and apparatus for capturing audio signals based on a visual image |
| US7760248B2 (en) | 2002-07-27 | 2010-07-20 | Sony Computer Entertainment Inc. | Selective sound source listening in conjunction with computer interactive processing |
| US9682319B2 (en) | 2002-07-31 | 2017-06-20 | Sony Interactive Entertainment Inc. | Combiner method for altering game gearing |
| US9177387B2 (en) | 2003-02-11 | 2015-11-03 | Sony Computer Entertainment Inc. | Method and apparatus for real time motion capture |
| US7505862B2 (en) * | 2003-03-07 | 2009-03-17 | Salmon Technologies, Llc | Apparatus and method for testing electronic systems |
| US8072470B2 (en) | 2003-05-29 | 2011-12-06 | Sony Computer Entertainment Inc. | System and method for providing a real-time three-dimensional interactive environment |
| US20070223732A1 (en) * | 2003-08-27 | 2007-09-27 | Mao Xiao D | Methods and apparatuses for adjusting a visual image based on an audio signal |
| US10279254B2 (en) | 2005-10-26 | 2019-05-07 | Sony Interactive Entertainment Inc. | Controller having visually trackable object for interfacing with a gaming system |
| US7874917B2 (en) | 2003-09-15 | 2011-01-25 | Sony Computer Entertainment Inc. | Methods and systems for enabling depth and direction detection when interfacing with a computer program |
| US9573056B2 (en) | 2005-10-26 | 2017-02-21 | Sony Interactive Entertainment Inc. | Expandable control device via hardware attachment |
| US8323106B2 (en) | 2008-05-30 | 2012-12-04 | Sony Computer Entertainment America Llc | Determination of controller three-dimensional location using image analysis and ultrasonic communication |
| US8287373B2 (en) | 2008-12-05 | 2012-10-16 | Sony Computer Entertainment Inc. | Control device for communicating visual information |
| US7663689B2 (en) * | 2004-01-16 | 2010-02-16 | Sony Computer Entertainment Inc. | Method and apparatus for optimizing capture device settings through depth information |
| JP4125252B2 (ja) * | 2004-03-02 | 2008-07-30 | 株式会社東芝 | 画像生成装置、画像生成方法、及び画像生成プログラム |
| US8547401B2 (en) | 2004-08-19 | 2013-10-01 | Sony Computer Entertainment Inc. | Portable augmented reality device and method |
| US20110014981A1 (en) * | 2006-05-08 | 2011-01-20 | Sony Computer Entertainment Inc. | Tracking device with sound emitter for use in obtaining information for controlling game program execution |
| US8310656B2 (en) * | 2006-09-28 | 2012-11-13 | Sony Computer Entertainment America Llc | Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen |
| US8781151B2 (en) | 2006-09-28 | 2014-07-15 | Sony Computer Entertainment Inc. | Object detection using video input combined with tilt angle information |
| USRE48417E1 (en) | 2006-09-28 | 2021-02-02 | Sony Interactive Entertainment Inc. | Object direction using video input combined with tilt angle information |
| US8542907B2 (en) | 2007-12-17 | 2013-09-24 | Sony Computer Entertainment America Llc | Dynamic three-dimensional object mapping for user-defined control device |
| EP2257911B1 (en) | 2008-02-27 | 2018-10-10 | Sony Computer Entertainment America LLC | Methods for capturing depth data of a scene and applying computer actions |
| US8368753B2 (en) | 2008-03-17 | 2013-02-05 | Sony Computer Entertainment America Llc | Controller with an integrated depth camera |
| US8961313B2 (en) * | 2009-05-29 | 2015-02-24 | Sony Computer Entertainment America Llc | Multi-positional three-dimensional controller |
| US8527657B2 (en) | 2009-03-20 | 2013-09-03 | Sony Computer Entertainment America Llc | Methods and systems for dynamically adjusting update rates in multi-player network gaming |
| US8342963B2 (en) | 2009-04-10 | 2013-01-01 | Sony Computer Entertainment America Inc. | Methods and systems for enabling control of artificial intelligence game characters |
| US8142288B2 (en) | 2009-05-08 | 2012-03-27 | Sony Computer Entertainment America Llc | Base station movement detection and compensation |
| US8393964B2 (en) | 2009-05-08 | 2013-03-12 | Sony Computer Entertainment America Llc | Base station for position location |
| WO2012030813A2 (en) | 2010-09-01 | 2012-03-08 | Musco Corporation | Apparatus, system, and method for demonstrating a lighting solution by image rendering |
| US9510757B2 (en) * | 2014-05-07 | 2016-12-06 | Align Technology, Inc. | Identification of areas of interest during intraoral scans |
| US10489968B1 (en) | 2016-09-14 | 2019-11-26 | Musco Corporation | Apparatus, method, and system for three-dimensional (3D) visualization of light for evaluation of playability, glare, and gaps |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3104909B2 (ja) * | 1989-12-05 | 2000-10-30 | ソニー株式会社 | 画像処理装置 |
| US5299298A (en) * | 1991-02-28 | 1994-03-29 | Hewlett-Packard Company | Accelerated shadow testing method for three dimensional graphics rendering system |
| US5534917A (en) * | 1991-05-09 | 1996-07-09 | Very Vivid, Inc. | Video image based control system |
| JP3052681B2 (ja) * | 1993-08-06 | 2000-06-19 | 松下電器産業株式会社 | ３次元動画像生成装置 |
| US5555324A (en) * | 1994-11-01 | 1996-09-10 | Massachusetts Institute Of Technology | Method and apparatus for generating a synthetic image by the fusion of signals representative of different views of the same scene |
| US5606627A (en) * | 1995-01-24 | 1997-02-25 | Eotek Inc. | Automated analytic stereo comparator |
-
1995
- 1995-09-08 US US08/525,932 patent/US5768415A/en not_active Expired - Lifetime
-
1996
- 1996-07-17 CA CA002181402A patent/CA2181402A1/en not_active Abandoned
- 1996-08-28 EP EP96306222A patent/EP0762327A2/en not_active Withdrawn
- 1996-09-06 JP JP8236234A patent/JPH09139956A/ja active Pending
- 1996-09-09 KR KR1019960039424A patent/KR970019704A/ko not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| US5768415A (en) | 1998-06-16 |
| KR970019704A (ko) | 1997-04-30 |
| EP0762327A2 (en) | 1997-03-12 |
| CA2181402A1 (en) | 1997-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5768415A (en) | Apparatus and methods for performing electronic scene analysis and enhancement | |
| US11217006B2 (en) | Methods and systems for performing 3D simulation based on a 2D video image | |
| Kanade et al. | Virtualized reality: Concepts and early results | |
| Matsuyama et al. | 3D video and its applications | |
| US5850352A (en) | Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images | |
| Moezzi et al. | Reality modeling and visualization from multiple video sequences | |
| CN106127680B (zh) | 一种720度全景视频快速浏览方法 | |
| WO2020042970A1 (zh) | 一种三维建模的方法及其装置 | |
| US20130335535A1 (en) | Digital 3d camera using periodic illumination | |
| JP2000503177A (ja) | ２次元映像（ｍｏｔｉｏｎ ｐｉｃｔｕｒｅ）を３次元映像に変換する方法及び装置 | |
| KR20010023596A (ko) | 영상처리 방법 및 장치 | |
| JP2018107793A (ja) | 仮想視点画像の生成装置、生成方法及びプログラム | |
| JP2008508590A (ja) | ３ｄ空間次元に基づく画像処理のためのシステムおよび方法 | |
| JP2016537901A (ja) | ライトフィールド処理方法 | |
| CN113706373A (zh) | 模型重建方法及相关装置、电子设备和存储介质 | |
| Maugey et al. | Ftv360: a multiview 360 video dataset with calibration parameters | |
| JP6799468B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
| US7006102B2 (en) | Method and apparatus for generating models of individuals | |
| JP2021015417A (ja) | 画像処理装置、画像配信システム、および画像処理方法 | |
| JP7447403B2 (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
| AU780494B2 (en) | Method and apparatus for real time insertion of images into video | |
| Mori et al. | An overview of augmented visualization: observing the real world as desired | |
| JP3387856B2 (ja) | 画像処理方法、画像処理装置および記憶媒体 | |
| CN119110097A (zh) | 一种视频显示方法、设备、存储介质及程序产品 | |
| US12388965B2 (en) | Image processing system, image processing method, and storage medium |