JP4173440B2 - 視覚通信信号 - Google Patents

Description

発明の詳細な説明

本発明は、少なくとも３−D画像を発生する画像モデル情報を含む視覚通信信号に関連する。

本発明は、更に、そのような視覚通信信号を送信機から受信機へ伝送する視覚通信システム、そのような視覚通信信号を送信する送信機、そのような視覚通信信号を受信する受信機、そのような視覚通信信号を送信する方法及びそのような視覚通信信号を媒介する実態的な媒体に関連する。

前文に従った視覚通信信号は、Ｍ．Ｍａｇｎｏｒ＆Ｂ．Ｇｉｒｏｄによる”ディスパリティマップを有する光フィールドの階層符号化（Ｈｉｅｒａｃｈｉｃａｌ ｃｏｄｉｎｇ ｏｆ ｌｉｇｈｔ ｆｉｅｌｄｓ ｗｉｔｈ ｄｉｓｐａｒｉｔｙ ｍａｐｓ）”の、Ｐｒｏｃｅｅｄｉｎｇｓ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ＩＣＩＰ９９、日本、神戸 Ｖｏｌ．３、１９９９年、第３３４−３３８ページの論文より知られている。

そのような、視覚通信信号は、例えば、３−Ｄビデオ情報を送信機から受信機へ送る、３次元（３−Ｄ）テレビジョン又は遠隔地間会議システムのような、視覚通信システムで使用される。

視覚通信システムでは、３次元ビデオは、カラーの導入の後の次の変革である。変革のシナリオでは、
−従来のモノスコープのビデオとの互換性を補償し；
−高品質３−Ｄビデオの選択を最初から提供し；
−そして、何年かにわたる連続する改善を可能とする、
解法を見つけるが重要である。

現在では、複雑な光学系を有する、複数のカメラ、距離カメラ、及び高解像度ディスプレイを含む、多くの異なるオプションが、３−Ｄコンテンツを取得し且つ表示するのに利用できる。画像と信号の処理は、例えば、ステレオカメラと２つ以上の視点を扱うマルチ視点ディスプレイの間の、異なる様式を有する装置（即ち、異なるデータ形式を扱う装置）間のインターフェースをすることが必要である。しかしながら、画像と信号処理の最新技術は、とうてい、多数の異なる３−D取得及び表示装置のインターフェースを可能としない。全ての現在の画像処理技術は、不透明な（透明でない）物体についてのみ動作し、一方多くの視覚的アーティファクトを発生している。この問題が解決されるときには、透明（煙、霧、水、窓）、鏡のような放射／反射力（光源、鏡、金属）及び高いトポロジー的な細部及び力学（風の中の葉の動き）を扱う大きな問題がなおある。明らかに、３−Dを成功させるのにきわめて重大な高品質の要求は、一般的には、合わない。

上述の論文から知られる視覚通信信号では、画像モデル情報は、階層的に符号化された光フィールドに含まれる。そのような光フィールドは、カメラの規則的に配置された２−Dグリッドによる簡単なデータ取得を可能とする、静止シーンの２−D画像の密集してサンプルされた組に基づいている。復号器は、符号化された光フィールドに基づいて、元々は記録されていなかったディスパリティが補償された中間光フィールド画像を推定することにより、光フィールドを局所的に精製することが可能である。これらの補間された画像は、レンダリング性能を非常に向上できる。それにも関わらず、これらの補間された画像は、レンダリングアーティファクトにより相対的に低い画像品質を有する。

本発明の目的は、比較的高い画像品質を有する３−D画像の発生を可能とするオープニングパラグラフに記載のような視覚通信信号を提供することである。この目的は、本発明に従った視覚通信信号で達成され、その視覚通信信号は、視覚通信信号が更に、３−D画像の少なくとも一部に対応する画像向上情報を有することを特徴としている。画像モデル情報から、（３−D）画像は任意の視点からレンダリングされうる。これは、いつでも発展シナリオで、どのディスプレイ（モノスコープ、ステレオスコープ、マルチビューディスプレイ）も使用されうることを保証する。画像向上情報は、３−D画像モデルを発生するために元々記録されていた、複数の視点の特定の組が、アーティファクトなしにレンダリングされることを保証する。

この画像モデル情報（又は、３−Dモデル）は、取得装置からの全ての又はほとんど全てのデータを分析処理する結果である。例えば、１つの５０カメラ取得装置は、更に、単一の３−Dモデルとなる。後者は一般的には、少ない情報ビットを含むので、３−Dモデルは効率的な符号化に使用されることが可能である。

例えば、ワイアフレーム又はＶＲＭＬモデル、（ＭＲＩ画像のような）ボクセルマップ、階層ボクセルマップ（ｏｃｔｒｅｅモデル）又は、（例えば、ＭＰＥＧ−４で使用されるような）２Ｄオブジェクトのコレクションのような、どのような種類の３−Dモデルも使用できる。自然なコンテンツのほかにも、３−Ｄモデルは、合成コンテンツ（コンピュータグラフィックス）も含むことが可能である。

従来のモノスコープシステムとの互換性を保証するために、標準のモノスコープ画像と幾何学的情報を有する追加のサブレイヤより構成される、特別な３−Ｄモデルが使用される。後者は、例えば、各画素についての深さｚ（又は、ディスパリティと呼ばれる１／ｚ又は、ディスパリティ微分係数のような得られた量）を含む特別な画像であってもよい。この画像は、いわゆる距離カメラにより（処理なしに）直接的に取得できる現在唯一の実際の３−Ｄモデルであるので、特に興味がある。それは、ステレオスコープ画像素材を処理することによっても発生できる。幾何学的なサブレイヤは、コンテンツ生成側で、完全な後方互換性を提供するために無くても可能である。３−Ｄモデルの情況では、標準のモノスコープ画像は、そして、平坦な３−Ｄモデルを表すと仮定される。このように、画像はさらに、画像向上情報を介して他の画像を効果的にレンダリングする基礎として使用され得る。

画像向上情報は、３−Ｄモデルからレンダリングされる画像（視点）の特定の組の品質を向上することを可能とする。画像向上情報レイヤは、幾つかのサブレイヤを有することができ、その各々は、単一の視点又は、複数の視点の個別の又は（半−）連続する範囲に対応する。範囲サブレイヤは、動き視差を可能とし（即ち、動く観測者の経験する近くの又は遠くの物体の動きの見かけの異なる速度：近くの物体は遠くの物体よりも早く移動するように見える）、１−Ｄ範囲は、水平動き視差を可能とする。３−Ｄ発展のシナリオでは、２−Ｄ範囲サブレイヤが含まれうる。そのような範囲は、シーン内の全ての視覚３−Ｄ情報を含むので、重要である（ホログラムは極端に高い解像度を有する２−Ｄ視点範囲と等価である）。いくつかのアプリケーションに可能なように、多次元範囲（例えば、ｘｙｚカメラ位置、αβγ向き及びｆズーム）が、使用され得、しかしながらそのような範囲は、定義による２−Ｄ視点範囲以上の情報を含むことができない。

自然なコンテンツについては、サブレイヤは、標準的に、記録のために使用される元のカメラに対応する。サブレイヤは、例えば合成コンテンツのためような、霧又は煙のような、特別な効果を加えるのにも使用される。

画像向上の実際の方法は、何でも可能である。良好な候補は、元の画像と適切に３−Ｄモデルからレンダリングされるものの間の差（誤差）を画像向上情報内に含めることである。受信機では、レンダリングされた画像と差画像が、３−Ｄモデルレイヤ内で作られる誤差に関わらず、元の画像となる。

画像向上情報は、例えば、ＤＣＴ変換及び損失のない又は損失のある係数符号化を使用して、符号化される。この方法は、それらが前に復号された画像からのコピー部分により構成された後に、画像の品質を改善するのにＭＰＥＧ−２及びＭＰＥＧ−４でも使用されている。互いに近い単一の視点については、それらの画像間の相互依存（相互相関）も、符号化処理で使用されうる。その範囲内で相関が非常に高い場合の、複数の視点の範囲についてこれは重要である。

本発明に従った視覚通信信号は、以下の特徴を有する：
−広範囲の異なる取得及び表示装置を提供し；
−取得及び表示装置が同じ様式を共有するときはいつでも、又は、従来のモノスコープディスプレイのような、ディスプレイが取得装置からのデータの一部を使用するときにのみ、画像処理の最新の技術に関わらず、高品質伝送を可能とし；
−取得及び表示装置が異なる様式を有するときはいつでも、伝送は可能であり、一方、品質は画像処理の最新技術に依存する。

このように、２−D互換の、高品質３−Dテレビジョンで、成功的な開始がなされ、一方、装置と処理技術の両方で、発展的シナリオが可能とされる。

３−Dテレビジョンの課題を解決する他の視覚通信信号が提案されていることに注意する：
− 単一画像を含む基本レイヤと単一画像に関連する画像向上情報を含む向上レイヤの使用（ＭＰＥＧ−２マルチビュープロファイル（ＭＶＰ）システム）。
− 例えば、ステレオ素材のような、特定の画像に基づく視覚通信信号の使用。これは、高品質３−Ｄ画像となるが、しかし、異なる表示装置の使用の制限ともなる（ステレオディスプレイのみが使用できる）。
− 例えば、’画像＋深さ’３−Ｄモデル又は、ＶＲＭＬ／ｏｃｔｒｅｅ３−Ｄモデル又は、上述の論文に開示されているような光フィールドモデルのような、画像向上情報なしの３−Ｄモデルの使用。これは、画像分析技術の最新の技術による劣化された画像品質となる。

本発明に従った視覚通信信号の実施例は、単一の３−D画像に対応する前記画像向上情報は、実質的に全体の単一３−D画像に関連することを特徴とする。画像向上情報を、全体の３−Ｄ画像へ適用することにより、透明の前景物体が存在する画像を再構成する問題が避けられる。そのような問題は、画像向上情報がレンダリングの穴を埋めるのみであるときに発生する。例えば、’画像＋深さ’３−Ｄモデルは、制限を、表現されたトポロジーに置く。画像が元の画像から実質的に異なる視点からレンダリングされるときはいつでも、レンダリングに穴が現れる。この’穴充填’向上アプローチは、画像内に局所的にのみ穴について発生するが、しかし、全体の画像を通して常に発生する画像／信号処理問題についてはない。

本発明の概念の可能な応用は、以下を含む：
− モノスコープＴＶは、標準画像を伝送することによってのみ可能とされる。この画像は、３−Ｄモデルレイヤに含まれ、’画像＋深さ’形式の３−Ｄモデルは、深さ画像なしに使用される。
− 高品質ステレオスコープ画像は、単一の視点を有する２つのサブレイヤ、又は、’画像＋深さ’３−Ｄモデルからの標準画像との組合せの１つのみを使用して可能化される。
− フィリップス３Ｄ−ＬＣＤのようなマルチビューディスプレイは、幾つかの単一の視点サブレイヤにより、又は、複数の視点の別個の範囲の１つのみのサブレイヤで提供される。この後者のサブレイヤは、シーン上のほとんど連続する範囲の３−Ｄ視点を提供する、１００もの視点をサポートする将来のディスプレイに対して重要である。複数の視点の２−Ｄ範囲は、歪み無く且つ完全な動き視差を有する正確な３−Ｄ幾何図形的配列を有するシーンを示す将来のディスプレイについて重要となる。
− 例えばＴＶ遠隔制御装置による、ユーザによる手動の視点選択は、手動で視点サブレイヤを検索することにより可能化とされる。

本発明に従った視覚通信システムは、送信機から受信機へ本発明に従って視覚通信信号を伝送するように配置される。そのような視覚通信システムは、３−Ｄテレビジョン、遠隔地間会議及び遠隔手術システムを含む。

本発明に従った具体的な媒体は、本発明に従った視覚通信信号を媒介するように配置される。本発明に従った視覚通信信号は、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等のような適する情報単体に記憶されうる。

本発明に従った視覚通信信号は、プライベート又はユーザデータ又は別のＰＩＤ内として、画像モデル情報及び画像向上情報を送る、ＭＰＥＧビデオストリームである（に含まれる）。代わりに、視覚通信信号は、インターネットＴＶを容易にするために、インターネットを介して伝送されても良い。

本発明の上述の目的及び特徴は、図面を参照して好ましい実施例の以下の説明から更に明らかとなろう。

図においては、同一の部分同じ参照番号が付されている。

図１は、本発明に従った視覚通信信号３２の幾つかの可能な実施例を示す。視覚通信信号３２は、３−Ｄモデルレイヤ１０内の画像モデル情報と画像向上レイヤ２０内の画像向上情報を有する。この画像モデル情報から、（３−Ｄ）画像は、任意の視点からレンダリングされる。これは、いつでも発展のシナリオで、どのディスプレイ（モノスコープ、ステレオスコープ、マルチビューディスプレイ）も使用されうることを保証する。画像向上情報は、３−Ｄ画像モデルを発生するために元々記録されていた、複数の視点の特定の組が、アーティファクトなしにレンダリングされることが可能であることを保証する。

画像モデル情報（又は、３−Ｄモデル）は、取得装置からの全ての又はほとんど全てのデータの分析処理の結果である。例えば、１つの５０カメラ取得装置は、更に、単一の３−Ｄモデルとなる。後者は一般的には、より少ない情報ビットを含むので、３−Ｄモデルは、効率的な符号化のために使用されることが可能である。

３−Ｄモデルレイヤ１０は、ワイアフレーム又はＶＲＭＬモデル１４、（ＭＲＩ画像のような）ボクセルマップ又は階層ボクセルマップ（ｏｃｔｒｅｅモデル）１８又は、（例えば、ＭＰＥＧ−４で使用されるような）２−Ｄオブジェクトのコレクション１６のような、１つ又はそれ以上の３−Ｄモデルを有しうる。自然コンテンツの他に、３−Ｄモデルは合成コンテンツ（コンピュータグラフィックス）も含むことが可能である。

従来のモノスコープシステムとの互換性を保証するために、標準のモノスコープ画像と幾何学的情報を有する追加のサブレイヤより構成される、特別な３−Ｄモデル１２が、使用される。後者は、例えば、各画素に対する深さｚ（又は、ディスパリティと呼ばれる１／ｚ又は、ディスパリティ微分係数のような得られた量）を含む特別な画像であってもよい。この画像は、いわゆる距離カメラにより（処理なしに）直接的に取得できる現在唯一の実際の３−Ｄモデルであるので、特に興味がある。それは、ステレオスコープ画像素材を処理することによっても発生できる。幾何学的なサブレイヤは、コンテンツ生成側で、完全な後方互換性を提供するために無くても可能である。３−Ｄモデルの情況では、標準のモノスコープ画像は、そして、平坦な３−Ｄモデルを表すと仮定される。このように、画像はさらに、画像向上情報を介して他の画像を効果的にレンダリングする基礎として使用され得る。

画像向上情報は、３−Ｄモデルからレンダリングされる画像（視点）の特定の組の品質を向上することを可能とする。画像向上情報レイヤ２０は、１つ又はそれ以上のサブレイヤ２２．．２８を有することができ、その各々は、単一の視点２２、２４又は、視点の個別の又は（半−）連続する範囲２６，２８に対応する。範囲サブレイヤ２６，２８は、動き視差を可能とし（即ち、動く観測者の経験する近くの又は遠くの物体の動きの見かけの異なる速度：近くの物体は遠くの物体よりも早く移動するように見える）、１−Ｄ範囲２６は、水平動き視差を可能とする。３−Ｄ発展のシナリオでは、２−Ｄ範囲サブレイヤ２８が含まれうる。そのような範囲は、シーン内の全ての視覚３−Ｄ情報を含むので、重要である（ホログラムは極端に高い解像度を有する２−Ｄ視点範囲と等価である）。いくつかのアプリケーションに可能なように、多次元範囲（例えば、ｘｙｚカメラ位置、αβγ向き及びｆズーム）が、使用され得、しかしながらそのような範囲は、定義による２−Ｄ視点範囲以上の情報を含むことができない。

自然なコンテンツについては、サブレイヤは、標準的に、記録のために使用される元のカメラに対応する。サブレイヤは、例えば合成コンテンツのためような、霧又は煙のような、特別な効果を加えるのにも使用される。

画像向上の実際の方法は、何でも可能である。良好な候補は、元の画像と適切に３−Ｄモデルからレンダリングされるものの間の差（誤差）を画像向上情報内に含めることである。受信機では、レンダリングされる画像と差画像が、３−Ｄモデルレイヤ内で作られる誤差に関わらず、元の画像となる。

画像向上情報は、例えば、ＤＣＴ変換及び損失のない又は損失のある係数符号化を使用して、符号化される。この方法は、それらが前に復号された画像からのコピー部分により構成された後に、画像の品質を改善するのにＭＰＥＧ−２及びＭＰＥＧ−４でも使用されている。互いに近い単一の視点については、それらの画像間の相互依存（相互相関）も、符号化処理で使用されうる。その範囲内で相関が非常に高い場合の、視点の範囲についてこれは重要である。

図２は、本発明に従った視覚通信システム４０の実施例のブロック図を示し、この視覚通信システム４０は、３−Ｄテレビジョンシステム、３−Ｄ遠隔地会議システム、遠隔手術システム又は、インターネットＴＶシステムである。視覚通信システム４０は、送信機３０と受信機３４を有する。視覚通信システム４０は、更に送信機３０と受信機３４を含んでも良い。視覚通信信号３２は、送信機３０により送信され、受信機３４により受信される。送信機３０は、ＣＡＴＶネットワーク又は衛星テレビジョンシステム又は地上テレビジョンネットワークのヘッドエンドでもよい。送信機３０は、予め定め記録された又は生の３−Ｄテレビジョン番組を３−Ｄテレビジョン受信機３４へ放送する。代わりに、受信機３４は、３−Ｄ画像を表示するディスプレイを有しそして、インターネットを介して視覚通信信号３２を受信するＰＣでもよい。３−Ｄ遠隔地会議システムの場合には、接続の両端は、結合された送信機３０／受信機３４を有しそして、視覚通信信号３２が両方向に伝送される。

図３は、本発明に従った実態的な媒体５０の可能な実施例として、ＤＶＤ−ＲＯＭ５０を示す。このＤＶＤ−ＲＯＭ５０は、本発明に従った視覚通信信号を記録するために配置される。本発明に従った視覚通信信号は、代わりに、ハードディスク又は、ＣＤ−ＲＯＭ等のような適する情報担体に記憶されても良い。

図４は、本発明に従った送信機の最も重要な構成要素の概略を示す。送信機３０は、入力５２を通して、外部ソースから、送信される信号に関連する画像データを得る。送信機は、送信される信号に、上述のような３−Ｄ画像についての画像モデル１０含める、包含ユニット５４を有する。更に、送信機は、上述のように、画像向上情報２０を含める、向上ユニット５６を有する。最後に、送信機は、例えば、放送送信機の場合にはアンテナへ又は、ケーブルヘッドエンドの場合にはネットワークケーブルへ、視覚通信信号を出力する出力ユニット５８を有する。

図５は、本発明に従った受信機のもっとも重要な構成要素の概略を示す。受信機３２は、視覚信号が受信機に入力する、入力５９を有する。信号は、異なる方法で捕捉される。例えば、信号が放送である場合にはアンテナを介して又は、信号がケーブルネットワークを通して伝送される場合にはケーブルを介してである。受信機は、信号を受信しそしてさらに処理するためにそれを準備する、受信入力ニット６０を有する。受信ユニットは、放送信号の場合には、適切な周波数を選択するチューナを含む。更に、受信機は、信号から必要とされる情報を抽出する、抽出ユニット６２を有する。上述のように、この抽出された情報は、３−Ｄ画像を発生するモデル情報、３−Ｄ画像を向上する向上情報、単一の視点についての３−Ｄ画像についての向上情報及び／又は複数の視点の範囲についての３−Ｄ画像についての向上情報である。典型的には、受信機は、抽出された情報を使用しながら、信号を、表示装置６４上へ表示される出力信号へ、処理する。表示装置は、３−Ｄ画像の表示に適し、そして、例えば、フィリップス３Ｄ−ＬＣＤのような、この目的に適する知られた技術に基づいていてもよい。

本発明の範囲は、明確に開示された実施例に限定されない。本発明は、各新たな特徴及び、各特徴の組み合わせで実現される。参照符号は、請求項の範囲を制限しない。用語”含む、有する”は、請求項に列挙されたもの以外の構成要素又はステップの存在を除外しない。構成要素の前の単語”ａ”又は”ａｎ”の使用は、複数のそのような要素の存在を除外しない。

本発明に従った視覚通信信号３２の幾つかの実施例の概略を示す図である。 本発明に従った視覚通信信号４０の実施例のブロック図を示す。 本発明に従った実態的な媒体５０の実施例を示す図である。 本発明に従った送信機の最も重要な構成要素の概略を示す図である。 本発明に従った受信機の最も重要な構成要素の概略を示す図である。

Claims (9)

1. 視覚通信信号を伝送する方法であって、
   − ３−Ｄ画像を発生させるために、画像モデル情報を、モノスコープ画像と、画素ごとの深さ、ディスパリティ及びディスパリティ微分係数のうちの１つを含む幾何学的情報を有する追加のサブレイヤとを有する前記視覚通信信号における３−Ｄモデルレイヤに包含手段を用いて含める段階と、
   − 前記視覚通信情報を出力手段を用いて送信する段階と、
   − 前記３−Ｄモデルレイヤからレンダリングされる視点の特定の組の品質向上を可能にするために、画像向上情報を、単一の視点に夫々対応する１又はそれ以上のサブレイヤに対応する画像情報を有する前記視覚通信信号における向上レイヤに向上手段を用いて含める段階とを有する方法。
2. 前記画像向上情報のサブレイヤは、前記３−Ｄモデルレイヤを発生させるために使用される画像に対応することを特徴とする、請求項１に記載の伝送方法。
3. 前記画像向上情報は、単一の視点に対応する画像情報を有することを特徴とする、請求項１に記載の伝送方法。
4. 視覚通信信号を送信する送信機において、
   − ３−Ｄ画像を発生させるために、画像モデル情報を、モノスコープ画像と、画素ごとの深さ、ディスパリティ及びディスパリティ微分係数のうちの１つを含む幾何学的情報を有する追加のサブレイヤとを有する前記視覚通信信号における３−Ｄモデルレイヤに含める包含手段と、
   − 前記視覚通信信号を出力する出力手段とを有する送信機であって、
   − 前記３−Ｄモデルレイヤからレンダリングされる視点の特定の組の品質向上を可能にするために、画像向上情報を、単一の視点に夫々対応する１又はそれ以上のサブレイヤに対応する画像情報を有する前記視覚通信信号における向上レイヤに含める向上手段を更に有する、ことを特徴とする送信機。
5. 前記向上手段は、前記３−Ｄモデルレイヤを発生させるために使用される画像に対応する画像向上情報のサブレイヤを視覚通信信号に含めるように配置される、ことを特徴とする請求項４に記載の送信機。
6. 前記向上手段は、前記向上情報を視覚通信信号に含めるように配置され、それにより、前記向上情報は、単一の視点に対応する画像情報を有する、ことを特徴とする請求項４に記載の送信機。
7. 視覚通信信号を受信する受信機において、
   − 前記視覚通信信号を受信する受信手段と、
   − 前記視覚通信信号から、モノスコープ画像と、画素ごとの深さ、ディスパリティ及びディスパリティ微分係数のうちの１つを含む幾何学的情報を有する追加のサブレイヤとを有する３−Ｄモデルレイヤに含まれる、３−Ｄ画像を発生する画像モデル情報を抽出する抽出手段とを有し、
   − 前記抽出手段は、前記視覚通信信号から、前記３−Ｄモデルレイヤからレンダリングされる視点の特定の組の品質向上を可能にするために単一の視点に夫々対応する１又はそれ以上のサブレイヤに対応する画像情報を有する向上レイヤに含まれる画像向上情報を抽出するように配置される、ことを特徴とする受信機。
8. 前記画像向上情報のサブレイヤは、前記３−Ｄモデルレイヤを発生させるために使用される画像に対応することを特徴とする、請求項７に記載の受信機。
9. 視覚通信信号を媒介する実態的な媒体であって、
   前記視覚通信信号は、
   − モノスコープ画像と、画素ごとの深さ、ディスパリティ及びディスパリティ微分係数のうちの１つを含む幾何学的情報を有する追加のサブレイヤとを有する３−Ｄモデルレイヤにある画像モデル情報と、
   − 前記３−Ｄモデルレイヤからレンダリングされる視点の特定の組の品質向上を可能にするために単一の視点に夫々対応する１又はそれ以上のサブレイヤに対応する画像情報 を有する向上レイヤにある画像向上情報とを有する媒体。

Images