JP4863790B2 - ３次元コンピュータグラフィックス合成方法及び装置 - Google Patents

Description

本発明は、シミュレータ装置において、実写動画像へ視点からの距離に対応した３次元ＣＧ（コンピュータグラフィックス）をリアルタイムに合成する方法及び装置に関するものである。

従来の動画像へのＣＧ合成には、映画など編集時に合成し再生時には特に処理を行わないものがある。またゲーム等では編集時に画面上（２次元）の位置のみを算出し、再生（画像生成）時に２次元で構成すると思われるものがあるが、この場合再生時の位置は固定になる。

本発明は、実写動画像の再生（描画）時にユーザーのシミュレータ装置の操作入力に応じて、３次元ＣＧモデルを合成表示可能とすることを目的とする。
また、本発明は、動画再生時に、サイズや位置等違和感なく３次元ＣＧをリアルタイムに合成可能とすることを目的とする。
また、本発明は、動画再生時に、動画上に３次元ＣＧを合成する合成位置情報を３次元データとして取得することを目的とする。

請求項１に係る３次元コンピュータグラフィックス合成方法は、特徴点特定手段が、予め撮像した動画像データから特徴点のフレーム間トラッキングにより画像上の位置を特定し、合成位置算出手段が、前記画像上の２次元データ位置（ｘ _ｐ とｙ _ｐ ）と既知である特徴点の３次元情報のうち距離情報でない位置情報の１つ（ｘ _ｍ 又はｙ _ｍ ）とから残りの２つの３次元データ（ｙ _ｍ 又はｘ _ｍ と、ｚ _ｍ ）である前記距離情報を算出し、画像合成手段が、前記算出された距離情報を視点からの距離として、合成する前記動画像データを３次元データに構成し、当該３次元データを変換した２次元データの画像を生成し、当該画像を前記予め撮像した動画像の再生映像と合成することを特徴とするものである。

請求項２に係る３次元コンピュータグラフィックス合成装置は、予め撮像した動画像データから特徴点のフレーム間トラッキングにより画像上の位置を特定する特徴点特定手段と、前記画像上の２次元データ位置（ｘ _ｐ とｙ _ｐ ）と既知である特徴点の３次元情報のうち距離情報でない位置情報の１つ（ｘ _ｍ 又はｙ _ｍ ）とから残りの２つの３次元データ（ｙ _ｍ 又はｘ _ｍ と、ｚ _ｍ ）である前記距離情報を算出する合成位置算出手段と、前記算出された距離情報を視点からの距離として、合成する前記動画像データを３次元データに構成し、当該３次元データを変換した２次元データの画像を生成し、当該画像を前記予め撮像した動画像の再生映像と合成する画像合成手段とを備えたことを特徴とするものである。

請求項１に係る３次元コンピュータグラフィックス合成方法によると、２次元データすなわち予め撮像した動画像データから特徴点のフレーム間トラッキングにより特定された画像上の位置から、３次元データすなわち前記画像上の位置と３次元情報のうち距離情報でない位置情報の１つとから前記距離情報を算出することにより、入力となる３次元情報の位置情報に誤差があっても、動画像上の特徴な点に追従した合成が可能となる。
また、再生（画像生成）時に３次元で合成するため、算出した３次元データの距離情報からオフセットをとることにより、再生時に位置の変更が可能になる。そのため、シミュレータ装置のユーザーによる操作機器の入力に応じたインタラクティブな合成が可能になる。
さらに、動画像と３次元ＣＧとのインタラクティブ性を融合させることにより、より現実感の高いシミュレーションを実現させることが可能となる。

請求項２に係る３次元コンピュータグラフィックス合成装置によると、２次元データすなわち特徴点特定手段によって予め撮像した動画像データから特徴点のフレーム間トラッキングにより特定された画像上の位置から、３次元データすなわち合成位置算出手段が前記画像上の位置と３次元情報のうち距離情報でない位置情報の１つとから前記距離情報を算出することにより、入力となる３次元情報の位置情報に誤差があっても、動画像上の特徴な点に追従した合成が可能となる。
また、再生（画像生成）時に３次元で合成するため、算出した３次元データの距離情報からオフセットをとることにより、再生時に位置の変更が可能になる。そのため、シミュレータ装置のユーザーによる操作機器の入力に応じたインタラクティブな合成が可能になる。
さらに、動画像と３次元ＣＧとのインタラクティブ性を融合させることにより、より現実感の高いシミュレーションを実現させることが可能となる。

図１は、３次元コンピュータグラフィックス合成方法を説明する基本的フロー図、図２は、ユーザーの入力を考慮したフロー図である。
図３は、本発明に係る３次元コンピュータグラフィックス合成装置の機能ブロック図である。図３において、１０１は編集システムを制御する編集制御計算機、１０２は動画撮像手段、１０３は動画像データ記憶手段、１０４は特徴点特定手段、１０５は合成位置算出手段、１０６は合成位置情報記憶手段、１０７はＣＧモデル生成手段、１０８はＣＧモデル記憶手段、１０９は再生時のシステムを制御する再生制御計算機、１１１はカメラ情報記録手段、１１２はシミュレータ操作機器、１１３は画像再生手段、１１４は３次元変換手段、１１５は２次元変換手段、１１６はリアルタイム合成手段、１１７は表示装置である。

動画撮像手段１０２は例えばビデオカメラで構成し、走行中の電車の運転席から見た実情景を撮像する（図１、図２のステップＰ１０１）。
動画像データ記憶手段１０３に動画撮像手段１０２で撮像した実写動画像データを記憶させておく（ステップＰ１０２）。
特徴点特定手段１０４はコンピュータにより構成され、動画像撮像手段１０２により撮像した実写動画像データにおける特徴点の位置を特定する。例えば、再生された実写動画像のある１フレームについて画像の中から特徴的な点を担当者が予め指定し、特徴点特定手段１０４は他のフレームについてその指定された点とその周囲との関係から同一の特徴点の位置をフレーム間でトラッキング（追尾）処理を行い、特徴点の画面上の位置を特定する。
合成位置算出手段１０５はコンピュータにより構成され、前記特徴点特定手段１０４が特定した特徴点の画像上の位置と特徴点の３次元情報（ｘ，ｙ，ｚ）のうち仮想した視点からの距離（ｚ）でないｘ（又はｙ）の情報（仮想的でよい）から距離情報（ｚ）と他のｙ（又はｘ）を算出し（ステップＰ１０３）、この３次元の位置情報（ｘ，ｙ，ｚ）を合成位置情報記憶手段１０６に記憶しておく（ステップＰ１０４）。
この合成位置の算出について説明する。通常３次元ＣＧモデルは、以下の式（１）〜（４）に示すように既知の３次元データを２次元データに変換して画面に表示する。
Ｐ´＝ＴＰ （１）
Ｖ ＝ＭＰ´ （２）

Ｐ ＝［ｘ_ｍ ｙ_ｍ ｚ_ｍ］^Ｔ Ｐ ：３次元データ（ワールド座標系）
Ｐ´＝［ｘ´_ｍ ｙ´_ｍ ｚ´_ｍ］^Ｔ Ｐ´：３次元データ（カメラ座標系）
Ｖ ＝［ｘ_ｐ ｙ_ｐ］^Ｔ Ｖ ：２次元データ（スクリーン座標系）
Ｔ：変換マトリクス（ワールド座標系→カメラ座標系）
Ｖ：変換マトリクス（カメラ座標系→スクリーン座標系）

ｘ_ｐ＝Ｆ（ｘ_ｍ，ｙ_ｍ，ｚ_ｍ） （３）
ｙ_ｐ＝Ｇ（ｘ_ｍ，ｙ_ｍ，ｚ_ｍ） （４）
Ｆ：線形１次方程式
Ｇ：線形１次方程式

合成位置算出手段１０５においては、上式とは逆に２次元データ（ｘ_ｐとｙ_ｐ）と既知（又は仮想）の距離（ｚ_ｍ）でない３次元データの１つ（ｘ_ｍ又はｙ_ｍ）を使用して、残りの２つの３次元データ（ｙ_ｍ又はｘ_ｍと、ｚ_ｍ）を算出するものである。２次元データ（ｘ_ｐとｙ_ｐ）は、前述の特徴点特定手段１０４が特定した特徴点の画像上の位置から合成位置算出手段１０５が特定した３次元ＣＧモデルを合成する画面上の位置である。式（５）〜式（１１）にｙ_ｍを既知としてｚ_ｍとｘ_ｍを求める式を示す。ここで式（５）、式（６）はそれぞれ式（３）、式（４）を要素で表したものである。

ｘ_ｐ＝ｆ_ｘｘ_ｍ＋ｆ_ｙｙ_ｍ＋ｆ_ｚｚ_ｍ （５）
ｙ_ｐ＝ｇ_ｘｘ_ｍ＋ｇ_ｙｙ_ｍ＋ｇ_ｚｚ_ｍ （６）
ｇ_ｘｘ_ｐ＝ｇ_ｘｆ_ｘｘ_ｍ＋ｇ_ｘｆ_ｙｙ_ｍ＋ｇ_ｘｆ_ｚｚ_ｍ （７）
ｆ_ｘｙ_ｐ＝ｆ_ｘｇ_ｘｘ_ｍ＋ｆ_ｘｇ_ｙｙ_ｍ＋ｆ_ｘｇ_ｚｚ_ｍ （８）
（ｇ_ｘｆ_ｚ−ｆ_ｘｇ_ｚ）ｚ_ｍ＝ｇ_ｘｘ_ｐ−ｆ_ｘｙ_ｐ−（ｇ_ｘｆ_ｙ−ｆ_ｘｇ_ｙ）ｙ_ｍ
（９）
ｚ_ｍ＝（ｇ_ｘｘ_ｐ−ｆ_ｘｙ_ｐ−（ｇ_ｘｆ_ｙ−ｆ_ｘｇ_ｙ）ｙ_ｍ）／（ｇ_ｘｆ_ｚ−ｆ_ｘｇ_ｚ）
（１０）
ｘ_ｍ＝（ｘ_ｐ−（ｆ_ｙｙ_ｍ＋ｆ_ｚｚ_ｍ））／ｆ_ｘ （１１）

一方、ＣＧモデル生成手段１０７は動画撮像手段１０２で撮像した動画上に合成すべきＣＧモデルを生成しておき（ステップＰ１０５）、このデータをＣＧモデル記憶手段１０８に記憶しておく（ステップＰ１０６）。また、ＣＧモデルを動画像データと合成する際に正しく座標変換及び投影効果を出すために撮像装置（カメラ）１０２の情報（位置、姿勢及び画角またはそれを得るための情報）をカメラ情報記録手段１１１に記憶しておく（ステップＰ１０７）。

以上の撮影、編集フェーズ（オフライン）の後、再生（描画）フェーズ（リアルタイム）に移行する。
画像再生手段１１３は、動画像データ手段１０３から実写動画像データを得て再生する（ステップＰ１０８）。画像再生手段１１３は、例えばビデオ再生装置、ＣＤ再生装置、ＤＶＤ再生装置あるいはコンピュータ装置を用いる。
３次元変換手段１１４は、ＣＧモデル記憶手段１０８からのＣＧモデルデータを合成位置情報記憶手段１０６の合成位置情報による距離情報（ｚ）を含む位置に操作者からの視点から見た姿勢になるように３次元データを構成する。このとき、カメラ情報記録手段１１１から位置情報を参照して補正する（ステップＰ１０９）。
２次元変換手段１１５は、３次元変換手段１１４からの３次元データを表示装置１１７のスクリーン座標系の２次元データに変換する（ステップＰ１１０）。
リアルタイム合成手段１１６は、画像再生手段１１３が実写動画像を再生する際に２次元変換手段１１５からのＣＧモデルと合成する。従って、ＣＧモデルは、合成位置算出手段１０５で算出された位置になるように合成される（ステップＰ１１１）。表示装置１１７は合成画像を表示することができる。

ユーザーがシミュレータ操作機器１１２を操作入力する（図２のステップＰ１１２）と、入力による合成位置の変更分情報を３次元変換手段１１４に与え、３次元変換手段１１４は、ステップＰ１０９における３次元データ構成において、ステップＰ１１２による操作入力の変更分により位置情報に変更を加える（図２のステップＰ１１３）。
上記のようにステップＰ１０３において合成位置算出手段１０５が、動画像データ記憶手段１０３からの動画像データすなわち２次元データ上の合成位置（特徴点など）から逆算して３次元の位置情報を得る逆算方式をとることにより、入力となる３次元情報に誤差があっても、動画上の特徴点などに追従した合成が可能となる。

本発明は、鉄道シミュレータ等の用途が考えられるが、鉄道車両の運転・走行の教育・訓練用や研究用に限定されるものではなく、一般の遊技場やイベント会場での、ゲーム・娯楽・アトラクションの目的にも使用できるものである。

３次元コンピュータグラフィックス合成方法を説明する基本的フロー図である。 ３次元コンピュータグラフィックス合成方法をユーザーの入力を考慮し説明するフロー図である。 ３次元コンピュータグラフィックス合成装置の機能ブロック図である。

符号の説明

１０１…計算機、１０２…動画撮像手段、１０３…動画像データ記憶手段、１０４…特徴点特定手段、１０５…合成位置算出手段、１０６…合成位置情報記憶手段、１０７…ＣＧモデル生成手段、１０８…ＣＧモデル記憶手段、１１１…カメラ情報記録手段、１１２…シミュレータ操作機器、１１３…画像再生手段、１１４…３次元変換手段、１１５…２次元変換手段、１１６…リアルタイム合成手段、１１７…表示装置。

Claims (2)

1. 特徴点特定手段が、予め撮像した動画像データから特徴点のフレーム間トラッキングにより画像上の位置を特定し、
   合成位置算出手段が、前記画像上の２次元データ位置（ｘ _ｐ とｙ _ｐ ）と既知である特徴点の３次元情報のうち距離情報でない位置情報の１つ（ｘ _ｍ 又はｙ _ｍ ）とから残りの２つの３次元データ（ｙ _ｍ 又はｘ _ｍ と、ｚ _ｍ ）である前記距離情報を算出し、
   画像合成手段が、前記算出された距離情報を視点からの距離として、合成する前記動画像データを３次元データに構成し、当該３次元データを変換した２次元データの画像を生成し、当該画像を前記予め撮像した動画像の再生映像と合成することを特徴とする３次元コンピュータグラフィックス合成方法。
2. 予め撮像した動画像データから特徴点のフレーム間トラッキングにより画像上の位置を特定する特徴点特定手段と、
   前記画像上の２次元データ位置（ｘ _ｐ とｙ _ｐ ）と既知である特徴点の３次元情報のうち距離情報でない位置情報の１つ（ｘ _ｍ 又はｙ _ｍ ）とから残りの２つの３次元データ（ｙ _ｍ 又はｘ _ｍ と、ｚ _ｍ ）である前記距離情報を算出する合成位置算出手段と、
   前記算出された距離情報を視点からの距離として、合成する前記動画像データを３次元データに構成し、当該３次元データを変換した２次元データの画像を生成し、当該画像を前記予め撮像した動画像の再生映像と合成する画像合成手段とを備えたことを特徴とする３次元コンピュータグラフィックス合成装置。

Images