JP6768416B2

JP6768416B2 - 画像処理装置、画像合成装置、画像処理システム、画像処理方法、及びプログラム

Info

Publication number: JP6768416B2
Application number: JP2016167289A
Authority: JP
Inventors: 小林　正明; 正明小林
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-09-08
Filing date: 2016-08-29
Publication date: 2020-10-14
Anticipated expiration: 2036-08-29
Also published as: JP2017055397A

Description

本発明は、画像処理装置、画像合成装置、画像処理システム、画像処理方法、及びプログラムに関する。

近年、ＶｉｓｕａｌＳＬＡＭ（ＳｉｍｕｌｔａｎｅｏｕｓＬｏｃａｌｉｚａｔｉｏｎａｎｄＭａｐｐｉｎｇ）とよばれる移動するカメラの映像から三次元的な位置姿勢を推定する技術が実用化されている。この応用として、カメラの位置姿勢に基づいて、仮想的に存在する三次元コンピュータグラフィックオブジェクトを、映像上に描画として表示するＭＲ（ＭｉｘｅｄＲｅａｌｉｔｙ）／ＡＲ（ＡｒｇｕｍｅｎｅｔｅｄＲｅａｌｉｔｙ）がある。映像からカメラの位置姿勢推定を行う技術にはマーカーを利用するものと利用しないものがある。双方ともマーカー、あるいは、自然の被写体をフレーム間で同定し、その動きを追跡する（以降、この追跡をトラッキングと呼ぶ）ことによって、三次元空間上のカメラの位置姿勢を推定するものである。マーカーを利用した位置姿勢推定方法の一つには、特許文献１がある。マーカーを利用しない位置姿勢推定方法の一つには、非特許文献２（通称：ＰＴＡＭ）がある。ＭＲでは、推定したカメラの位置姿勢から環境マップと呼ばれるマーカーや被写体の三次元的な位置を示すマップを生成し、この環境マップを使って、ＣＧオブジェクトの位置と向きを決定し、入力した映像に重畳する。これにより、実空間内にＣＧオブジェクトが存在するような映像を得ることができる。このとき、正しい位置にＣＧを重畳できるか否かはトラッキング精度に依存し、トラッキング精度は映像のフレーム画像一枚一枚の特性に大きく依存する。

フレーム画像の特性は、センサやセンサの駆動条件に依存する。例えば、ＣＭＯＳセンサでよく使われる方式であるローリングシャッターセンサを利用すると、シーンに動きのある被写体が存在する、あるいは、カメラがパンする場合などに、ローリングシャッター歪と呼ばれる歪が生じる。この歪はフレーム間でマーカーや被写体を同定精度を低下させ、結果としてトラキング精度、位置姿勢推定精度を低下させてしまう。一方ＣＣＤに代表されるグローバルシャッターセンサを用いるとローリングシャッター歪は生じない。しかし、一般にグローバルシャッターセンサは一般に高い駆動電圧を必要とし高解像度化や高フレームレート化は難しいとされる。また、同じローリングシャッターセンサでも、センサの駆動速度を向上させると、ローリングシャッター歪を大幅に減少させることができる。

ＨｉｒｏｋａｚｕＫａｔｏａｎｄＭａｒｋＢｉｌｌｉｎｇｈｕｒｓｔ、「ＭａｒｋｅｒＴｒａｃｋｉｎｇａｎｄＨＭＤＣａｌｉｂｒａｔｉｏｎｆｏｒａＶｉｄｅｏ−ｂａｓｅｄＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙＣｏｎｆｅｒｅｎｃｉｎｇＳｙｓｔｅｍ」、Ｐｒｏｃｅｅｄｉｎｇｓ．２ｎｄＩＥＥＥａｎｄＡＣＭＩｎｔｅｒｎａｔｉｏｎａｌＷｏｒｋｓｈｏｐｏｎＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ ’９９ＧｅｏｒｇＫｌｅｉｎａｎｄＤａｖｉｄＭｕｒｒａｙ、「ＰａｒａｌｌｅｌＴｒａｃｋｉｎｇａｎｄＭａｐｐｉｎｇｏｎａＣａｍｅｒａＰｈｏｎｅ」、ＩｎＰｒｏｃ．ＩｎｔｅｒｎａｔｉｏｎａｌＳｙｍｐｏｓｉｕｍｏｎＭｉｘｅｄａｎｄＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ（ＩＳＭＡＲ’０９，Ｏｒｌａｎｄｏ）

ＭＲ装置において、ローリングシャッターセンサの映像は、映像にローリングシャッター歪が発生し、位置姿勢推定精度が低下する。グローバルシャッターセンサを使う場合には、低コストで十分な解像度や高いフレームの画像を扱うことが難しい。

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。すなわち、
第１の映像を出力する、被写体が動くことによる画像劣化が相対的に少ないグローバルシャッターセンサを用いた第１の撮像手段と、
第２の映像を出力する、被写体が動くことによる画像劣化が相対的に多いローリングシャッターセンサを用いた第２の撮像手段と、
前記第１の映像を解析して前記画像処理装置の位置姿勢情報を生成する推定手段と、
前記位置姿勢情報に基づいて決定された位置に重畳されるように、前記第２の映像上にＣＧオブジェクトを描画する描画手段と、
を備えることを特徴とする。

高精度な位置姿勢推定と高精細な視聴映像の生成を両立する。

実施形態１におけるＭＲ装置構成を説明する図実施形態２におけるＭＲ装置構成を説明する図実施形態３におけるＭＲ装置構成を説明する図実施形態３における動き量を検出する方法を説明する図フレーム画像の幾何的な変換を説明する図実施形態３における動き量を検出する方法の変形例を説明する図実施形態４におけるＭＲ装置構成を説明する図実施形態５におけるＭＲシステム構成を説明する図実施形態６におけるＭＲ装置構成を説明する図実施形態６におけるＭＲ処理方法を説明する図実施形態６におけるＭＲ処理方法の変形例を説明する図実施形態７にＭＲシステム構成を説明する図である実施形態７におけるＭＲ処理方法を説明する図

［実施形態１］
本発明の実施形態１に係る画像処理装置であるＭＲ装置１００について説明する。本実施形態では、撮像部と表示部とを備えるＭＲ装置上で処理が実行されるものとする。以下、ＭＲ装置の構成と各モジュールの動作について、図１を参照して説明する。図１は、実施形態１に係るＭＲ装置（例えば、ヘッドマウントディスプレイ）の構成を説明する図である。

第１のセンサ１０１は、第１の映像を撮像する。本実施形態において、第１のセンサ１０１は、縦９６０画素、横５４０画素、６０ｆｐｓ撮像可能なグローバルシャッターセンサである。本実施形態において、センサにはレンズユニットが接続されており、連続する画像で構成される映像を撮像してセンサ信号を得ることができる。解像度やフレームレートはこの値には限定されない。

第１のＩＳＰ（イメージシグナルプロセッサ）１０２は、第１のセンサ１０１により得られたセンサ信号を映像に変換する。本実施形態において、第１のＩＳＰ１０２は、画像データ又は画像データを符号化して得られた符号化ストリームを出力する機能を有するモジュールである。具体的には、第１のＩＳＰ１０２は、センサ信号からＲＧＢ画像を生成したり、画像の拡大縮小を行ったり、映像を符号化したりするなど、複合的な画像処理機能を有している。これらの処理のために必要さとれるＲＡＭは、第１のＩＳＰ１０２に内蔵されているものとするが、第１のＩＳＰ１０２にはさらに外部ＲＡＭが接続されていてもよい。

位置姿勢推定部１０３は、第１のＩＳＰ１０２により得られた映像を用いてＭＲ装置１００の位置姿勢を推定する。位置姿勢推定部１０３は、例えば、ＭＲ装置１００に搭載された第２のセンサ１０４の位置姿勢を推定することができる。本実施形態において、位置姿勢推定部１０３はＲＯＭ（リードオンリーメモリ）及びＲＡＭ（ランダムアクセスメモリ）を内蔵するＣＰＵである。ＣＰＵは、ＲＯＭに記憶された位置姿勢推定プログラムに従って、ＲＡＭをワークエリアとして使いながら動作することにより、位置姿勢推定処理を行う。位置姿勢推定プログラムとしては、非特許文献１に記載された方式に従うプログラムを用いることができる。なお、位置姿勢推定部１０３は専用ＨＷ（ハードウェア）であってもよい。また、位置姿勢推定処理は非特許文献１の方式に従うものには限定されず、例えば非特許文献２に記載されているようなＶｉｓｕａｌＳＬＡＭ方式に従って行うこともできる。

第１のセンサ１０１は、第２の映像を撮像する。本実施形態において、第２のセンサ１０４は、縦１９２０画素、横１０８０画素、６０ｆｐｓ撮像可能なローリングシャッターセンサである。本実施形態において、センサにはレンズユニットが接続されており、連続する画像で構成される映像を撮像してセンサ信号を得ることができる。解像度やフレームレートはこの値には限定されない。

第２のＩＳＰ１０５は、第２のセンサ１０４により得られたセンサ信号を映像に変換する。第２のＩＳＰ１０５は第１のＩＳＰ１０２と同様の機能を有することができる。

ＣＧ描画部１０６は、第２のＩＳＰ１０５から出力された画像を用いて合成画像を生成する。本実施形態において、ＣＧ描画部１０６は、三次元（コンピュータグラフィック）オブジェクト情報を保持し、画像上に仮想ＣＧオブジェクトを重ねて描画することにより合成画像を生成する。例えば、ＣＧ描画部１０６は、ＣＧオブジェクト情報に従って仮想ＣＧオブジェクトをレンダリングし、得られた仮想ＣＧオブジェクトを画像に重畳することができる。この際に、重畳される仮想ＣＧオブジェクト及び仮想ＣＧオブジェクトが重畳される位置は、位置姿勢推定部１０３により推定されたＭＲ装置１００の位置姿勢に従って制御される。例えば、ＣＧ描画部１０６は、推定されたＭＲ装置１００の位置姿勢に従う位置に視点を配置して仮想ＣＧオブジェクトをレンダリングし、得られた仮想画像を第２のＩＳＰ１０５から出力された画像に重畳することにより合成画像を生成することができる。

表示部１０７は、ＣＧ描画部１０６により生成された合成画像を表示する。ＭＲ装置１００のユーザは、表示部１０７を介して映像を見ることができる。

本実施形態において、センサ１０１，１０２は、同一画角の画像を撮像できるように十分に近い位置に固定して配置されているものとする。また、センサ１０１，１０２が同一画角の画像を撮像できるように、光路にハーフミラーを挿入してもよい。なお、画角が同じであることは必須ではない。画角が異なる場合には、例えば位置姿勢推定部１０３が画角の違いを補正してもよいし、又は、ＩＳＰ１０２，１０５が、それぞれが出力する画像の画角が合うように幾何補正処理を行ってから画像を出力してもよい。

以下、ＭＲ装置１００全体の動作について説明する。図１において、矢印は主要データの流れを示すものとする。各部の間では制御信号等を双方向に通信することができるが、このような制御信号等の説明は省略する。

センサ１０１の信号はＩＳＰ１０２へ出力される。ＩＳＰ１０２はＲＧＢ画像を生成し、ＲＧＢ画像を信号として位置姿勢推定部１０３へ出力する。本明細書においては、センサとＩＳＰの組を撮像系と呼ぶ。また、センサ１０１とＩＳＰ１０２を備える撮像系を解析映像撮像系と呼ぶ。さらに、解析映像撮像系で生成された映像を解析映像と呼ぶ。

位置姿勢推定部１０３は、解析画像を解析して位置姿勢情報を生成する。本実施形態において、位置姿勢推定部１０３は、三次元空間におけるＭＲ装置１００の位置姿勢を示す位置姿勢情報を生成し、位置姿勢情報に基づいて環境マップを生成し、位置姿勢情報と環境マップとをＣＧ描画部１０６へ出力する。

センサ１０４の信号はＩＳＰ１０５へ出力される。ＩＳＰ１０５はＲＧＢ画像を生成し、ＲＧＢ画像を信号としてＣＧ描画部１０６へ出力する。本明細書においては、センサ１０４とＩＳＰ１０５とを備える撮像系を視聴映像撮像系と呼ぶ。また、視聴映像撮像系で生成された映像を視聴映像と呼ぶ。

ＣＧ描画部１０６は、位置姿勢情報に基づいて、仮想的に存在する三次元コンピュータグラフィックオブジェクトを、視聴映像の画面に射影した像として視聴映像上に描画する。本実施形態において、ＣＧ描画部１０６は、視聴映像上に、仮想ＣＧオブジェクトを描画し、生成された合成映像を信号として表示部１０７へ出力する。このとき、ＣＧ描画部１０６は、位置姿勢推定部１０３から位置姿勢情報及び環境マップ情報を得て、仮想的な三次元空間内の定位置にあたかもＣＧオブジェクトが存在するかのように、視聴映像上に仮想ＣＧオブジェクトを描画する。表示部１０７は、ＣＧ描画部１０６から得た映像を表示する。これらの動作は、画像を連続的に撮像及び処理しながら行われる。

本実施形態では、ＭＲ装置１００は解析映像撮像系（１０１，１０２）、視聴映像撮像系（１０４，１０５）、及び表示部１０７を有している。しかしながら、ＭＲ装置１００はこれらの処理部を二重に持っていてもよく、このようなＭＲ装置１００は左目及び右目の映像を撮像及び表示するＨＭＤ（ヘッドマウントディスプレイ）として用いることができる。また、図１では各部が直結されているように図示されているが、このような構成には限定されず、各部をバスを介して接続してもよく、この場合各部はバス経由で信号を送受信することができる。

従来のＭＲ装置は、撮像系を１つだけ有しており、撮像系により得られた映像に基づいてＭＲ装置の位置姿勢が推定されるとともに、同じ撮像系により得られた映像に仮想ＣＧオブジェクトが描画された。このため、撮像系のセンサにローリングシャッターを採用するとローリングシャッター歪が発生するため、ＭＲ装置の位置姿勢推定が困難になっていた。一方でＣＣＤ等のグローバルシャッターセンサを採用すると、高解像度化や高フレームレート化した際に著しく消費電力が増えてしまうという課題があった。

本実施形態に係るＭＲ装置１００は、解析映像撮像系と視聴映像撮像系の２系統の撮像系を持つ。ここで、センサ１０１を備える解析映像撮像系は、動体の画質劣化特性が相対的に低く、センサ１０４を備える視聴映像撮像系は、動体の画質劣化特性が相対的に高い。すなわち、解析映像撮像系は、視聴映像撮像系よりも、動体を撮像した際の画質劣化がより少ない。一方で、一実施形態において、視聴映像撮像系は、解析映像撮像系よりも良好な画質を有している。例えば、視聴映像撮像系は、解析映像撮像系よりも解像度が高い。例えば、より低い解像度を有するグローバルシャッターセンサが解析映像撮像系に用いられ、より高い解像度を有するローリングシャッターセンサが視聴映像撮像系に用いられる。このため、位置姿勢推定性能と視聴画質との両立を図ることができる。

もっとも、解析映像撮像系のセンサ１０１として、グローバルシャッターセンサの代わりに高速駆動可能なローリングシャッターセンサを使用してもよい。例えば、垂直走査時間が４ｍｓ（２４０ｆｐｓに相当）で駆動可能なセンサを用いてフレーム画像を取得すると、垂直走査時間が１６ｍｓ（６０ｆｐｓに相当）の場合に比べてローリングシャッター歪量が四分の一になる。このように、低速駆動するローリングシャッターセンサと比べて、ローリングシャッター歪量が少ない解析映像を得ることができるので、位置姿勢推定性能を向上させることができる。センサ１０１はセンサ１０４と比較して画素数が少なくてもよいため、高速駆動可能なセンサを採用することは容易である。

また、センサ１０１とセンサ１０４とが共にグローバルシャッターセンサであってもよい。一般に、高速なシャッタースピードで撮像するとモーションブラー（動きによるボケ）の少ない鮮鋭な画像を撮像することができる。モーションブラーは映像解析を難しくする要因であるため、モーションブラーが少ない映像は位置姿勢推定に用いるのに適している。しかし、高速なシャッタースピードで撮像した映像はジャーキネスとよばれる動きの不連続性が発生するため、視聴する際には違和感が感じられる。そこで、センサ１０１を高速なシャッタースピード（例えば開口時間４ｍｓ）で駆動し、センサ１０４を低速なシャッタースピード（例えば開口時間１６ｍｓ）で駆動することができる。このような構成であっても、位置姿勢推定性能と視聴画質との両立を図ることができる。センサ１０１はセンサ１０４と比較して画素数が少なくてもよいため、高速なシャッタースピードで駆動することは容易である。

解析映像と視聴映像とは異なるフレームレートであってもよい。一実施形態において、位置姿勢推定性能を高めるために、センサ１０１では高速駆動及び高速シャッターが採用される。この場合、解析映像のフレームレートは視聴映像のフレームレートよりも高くなる。

一実施形態において、センサ１０１は相対的にフレームレートが高いセンサであり、センサ１０４は相対的にフレームレートが低いセンサである。また、一実施形態において、センサ１０１は相対的にシャッター速度が高速なセンサであり、センサ１０４は相対的にシャッター速度が低速なセンサである。一実施形態において、解析映像の解像度は視聴映像の解像度よりも低い。一実施形態において、解析映像のフレームレートは視聴映像のフレームレートよりも高い。

以上のように、本実施形態に係る画像処理装置は、第１の映像を出力する、被写体が動くことによる画像劣化が相対的に少ない第１の撮像部と、第２の映像を出力する、被写体が動くことによる画像劣化が相対的に多い第２の撮像部と、を備える。そして、位置姿勢推定部１０３は第１の映像を解析して画像処理装置の位置姿勢情報を生成し、ＣＧ描画部１０６は位置姿勢情報に基づいて決定された位置に重畳されるように、第２の映像上にＣＧオブジェクトを描画する。このとき、画像処理装置の動きが所定の閾値より大きい場合は第１の映像を解析して位置姿勢情報が生成され、画像処理装置の動きが前記所定の閾値より小さい場合は第２の映像を解析して位置姿勢情報が生成される。

［実施形態２］
本発明の実施形態２に係る画像処理装置であるＭＲ装置２００について、図２を使って説明する。ＭＲ装置２００は、ＭＲ装置１００と比較して、慣性センサ２０１とセレクタ２０２とが追加されている。特別な説明がない限り、ＭＲ装置２００の動作は、実施形態１に係るＭＲ装置１００（例えば、ヘッドマウントディスプレイ）の動作と同様である。

慣性センサ２０１は、ＭＲ装置２００の速度情報を出力する。慣性センサ２０１としては、ジャイロセンサ又は加速度センサ等を用いることができる。これらは加速度を検出するセンサであり、計算により加速度から速度を算出することができる。本実施形態において慣性センサ２０１は、ジャイロセンサ、加速度センサ、及び計算処理部を備えており、ＭＲ装置２００の速度情報を出力することができる。本実施形態において、慣性センサ２０１は装置のセンサ面に対して水平方向及び垂直方向の速度、及び角速度を出力する。加速度情報から速度情報を算出する方法としては広く知られている方法を採用することができ、本明細書では詳細な説明を省略する。速度情報を算出する処理は、必ずしも慣性センサ２０１内で行う必要はなく、外部に設置された演算ユニットが行ってもよい。

セレクタ２０２は、２つの入力のうち一方を出力する機能を有する。セレクタ２０２は、例えば、プログラム可能な演算ユニットを持ち、演算結果に応じて１つの入力を選択して出力することができる。セレクタ２０２の動作については後述する。

実施形態２におけるＭＲ装置２００の動作について説明する。本実施形態では、ＩＳＰ１０２は内部で生成したＲＧＢ画像を縦横２倍に拡大してから出力する。慣性センサ２０１はＭＲ装置２００自体に固定され、ＭＲ装置２００の速度情報を検出してセレクタ２０２に出力する。セレクタ２０２は、速度情報からＭＲ装置２００の動き量を算出し、動き量が閾値以上であると判定された場合、ＩＳＰ１０２からの映像信号を位置姿勢推定部１０３へ出力する。一方で、動き量が閾値より小さいと判定された場合、セレクタ２０２はＩＳＰ１０５からの映像信号を位置姿勢推定部１０３へ出力する。

閾値は、視聴映像からのＭＲ装置２００の位置姿勢推定が困難なほどにＭＲ装置の動き量が大きい場合にＩＳＰ１０２からの映像信号が、そうではない場合にＩＳＰ１０５からの映像信号が、位置姿勢推定部１０３へ出力されるように設定することができる。動き量は、センササイズ、解像度、レンズ焦点距離又は被写体の距離等によって異なる。本実施形態では、ＭＲ装置２００の動き量を、画像中央部、カメラから３０ｃｍの位置にある被写体の１フレーム間（例えば１６ｍｓ）における動きで表現する。よって動き量の画素を単位として表現でき、この動き量が例えば４画素以上の場合にＩＳＰ１０２からの入力映像か採用される。なお、４画素という大きさに限定はない。これらの動作は画像を連続的に撮像、処理しながら行われるため、セレクタ２０２による切り替えも、フレーム画像単位で行われる。

本実施形態では、慣性センサ２０１とセレクタ２０２とを追加することにより、ＭＲ装置２００が静止している又は小さく動いている場合には、より解像度の高い視聴映像を使ってより精度の高い位置姿勢推定を行うことができる。また、ＭＲ装置２００が動いている場合には実施形態１で説明したようにローリングシャッター歪の少ない解析映像を使って正確性の高い位置姿勢推定が可能となる。一実施形態では、フレーム画像の撮像時点におけるＭＲ装置２００の動き量に従ってフレーム画像の出力先を切り替えることができる。しかしながら、フレーム画像の撮像時点以前又は以後におけるＭＲ装置２００の動き量に従ってフレーム画像の出力先を切り替えてもよく、この場合でも前述の効果を得ることができる。

このように、本実施形態に係る画像処理装置は、画像処理装置の動きを検出する慣性センサ２０１を備える。

［実施形態３］
本発明の実施形態３に係る画像処理装置であるＭＲ装置３００について、図３〜６を使って説明する。図３は実施形態３に係るＭＲ装置３００の構成を説明する図である。ＭＲ装置３００は、ＭＲ装置１００と比較して、動き検出部３０１及びセレクタ３０２が追加されている。特別な説明がない限り、ＭＲ装置３００の動作は、実施形態１に係るＭＲ装置１００の動作と同様である。

動き検出部３０１は、センサ１０１が撮像した画像間の動きを検出し、セレクタ３０２へと出力する。本実施形態において、動き検出部３０１はＲＯＭ、ＲＡＭ及びＣＰＵを備えており、ＣＰＵは、ＲＯＭに組み込まれた後述の動作を行うプログラムを、ＲＡＭをワークエリアとして使いながら実行する。動き検出部３０１がＣＰＵを備えることは必須ではなく、同等の機能を備える専用ＨＷを動き検出部３０１として用いることもできる。

セレクタ３０２は、実施形態２に係るセレクタ２０２と同様の機能を有し、その動作については後述する。

以下、ＭＲ装置３００（例えば、ヘッドマウントディスプレイ）の全体の動作について説明する。動き検出部３０１は、ＩＳＰ１０２から画像を取得し、画像間の動き量を検出してセレクタ３０２へと出力する。動き量の算出方法は後述する。セレクタ３０２は、動き量が閾値以上であると判定された場合、ＩＳＰ１０２からの映像信号を位置姿勢推定部１０３へ出力する。また、セレクタ３０２は、小さいと判定された場合、ＩＳＰ１０５からの入力映像信号を位置姿勢推定部１０３へ出力する。閾値は実施形態２と同様に設定することができ、ここでは、動き量が４画素以上の場合に、ＩＳＰ１０２からの入力映像が採用するものとする。

以下、動き検出部３０１によるフレーム間の動き量の検出方法について、図４を使って説明する。ステップＳ４０１０において動き検出部３０１は、複数のフレーム画像間での、画像上の物体の動きベクトルを検出する。例えば、ＩＳＰ１０２から出力された連続する２つのフレーム画像を用いて、複数の物体についての複数の動きベクトルを検出することができる。ステップＳ４０２０において動き検出部３０１は、検出された複数の動きベクトルのそれぞれについて長さを算出する。ステップＳ４０３０において動き検出部３０１は、検出された複数の動きベクトルの長さの平均を算出する。こうして得られた平均値が動き量として用いられる。

動き量を検出する方法は、図４に示す方法に限定されない。例えば、図５，６に示す方法を用いて動き量を検出することもできる。次に示す方法であってもよい。図５はフレーム画像の幾何的な変換を説明する図である。網掛けのない矩形が現フレームを表し、網掛けされた領域は時間的に直前のフレームを表す。図５からは、直前のフレームと原フレームとの間で、水平方向及び垂直方向の平行移動に加えて、ＭＲ装置３００のアオリの動きが発生していることがわかる。このような３次元空間上の平面の動きは、ホモグラフィ行列で表現できる。以下、ホモグラフィ行列を算出してから動き量を算出する方法について、図６を使って説明する。

ステップＳ６０１０で動き検出部３０１は、ステップＳ４０１０と同様に複数の動きベクトルを検出する。ステップＳ６０２０で動き検出部３０１は、検出された動きベクトルに従ってホモグラフィ行列を算出する。ホモグラフィ行列の算出には、ＲＡＮＳＡＣやＭ推定等のロバスト推定を用いることができるが、算出方式に限定はない。ステップＳ６０３０において動き検出部３０１は、画面４隅の点の動きベクトルの始点と終点とをホモグラフィ行列を用いて射影する。ステップＳ６０４０において動き検出部３０１は、射影により得られた４本の動きベクトルの始点と終点とから、射影により得られたそれぞれの動きベクトルの長さを算出する。ステップＳ６０５０において動き検出部３０１は、射影により得られた動きベクトルのうち、長さが最も長い動きベクトルを選択する。本実施形態では、こうして選択された動きベクトルの長さが動き量として用いられる。この説明においては画面の４隅の点の動きベクトルが射影されたが、別の点の動きベクトルを射影してもよいし、動きベクトルが射影される点の数がより多くまたはより少なくてもよい。

本実施形態では、実施形態２で用いられた慣性センサ２０１の代わりに、電子的に動きを検出する動き検出部３０１を用いることで、慣性センサ２０１を省略することができる。本実施形態では、動き検出部３０１は専用のＣＰＵを有しているが、１つのＣＰＵを用いて動き検出部３０１及びセレクタ３０２等の複数のユニットの処理を、例えば時分割処理等を用いて、実現することもできる。この場合には、複数のユニットの処理を実現するのに十分な演算能力を有するＣＰＵが用いられる。

このように、本実施形態に係る画像処理装置は、第１の映像を解析して画像処理装置の動きを検出する動き検出部３０１を備える。

［実施形態４］
本発明の実施形態４に係る画像処理装置であるＭＲ装置７００（例えば、ヘッドマウントディスプレイ）について、図７を使って説明する。本実施形態では、位置姿勢推定部１０３が動き情報を算出する機能を有している。特別な説明がない限り、ＭＲ装置７００の動作は、実施形態２に係るＭＲ装置２００の動作と同様である。

以下、ＭＲ装置７００全体の動作について説明する。位置姿勢推定部１０３が計算する位置姿勢情報を用いれば、ＭＲ装置７００の三次元空間上の相対位置を計算することができる。本実施形態において位置姿勢推定部１０３は、この相対位置のフレーム間の変化量、つまりＭＲ装置７００の動き量を算出する。動き量は、実施形態２と同様に表現することができる。

位置姿勢推定部１０３はこの動き量をセレクタ３０２へフィードバックする。セレクタ３０２は、この動き量が視聴映像からの映像解析が困難なほど大きいと判定された場合にはＩＳＰ１０２からの入力映像信号を、小さいと判定された場合にはＩＳＰ１０５からの入力映像信号を位置姿勢推定部１０３へ出力する。これは、実施形態３における３０２の動作と同様である。

これらの動作は画像を連続的に撮像、処理しながら行われるため、セレクタによる切り替えも、フレーム画像単位で行われる。ただし、セレクタによる切り替えが、動きが発生したフレームの次のフレームから実施されることになる。慣性センサのような追加モジュールなしに、実施形態２と同様の効果を得ることができる。

このように、位置姿勢推定部１０３は、第１の映像を解析して位置姿勢情報を生成するとともに画像処理装置の動きを検出し、検出された動きが所定の閾値より小さい場合、位置姿勢情報を生成する際に解析する映像を第２の映像に切り替える。

ＭＲシステムに関する第五の実施形態について図８を使って説明する。本実施形態では、ＨＭＤとホストコンピュータから構成され、ＨＭＤとホストコンピュータはネットーワークを介して接続されているものとして説明する。特別な説明がない限り、その動作は、図２を使って説明した実施形態２の動作と同様とする。

図８は、実施形態５におけるＭＲ装置構成を説明する図である。８０１は信号の出力の有無を制御するセレクタである。８０２はＮＷ（ネットーワークシステム）である。ＨＭＤ側とホストコンピュータ側にパケタイザー回路、ベースバンドエンジン、ＲＦ部、アンテナをそれぞれを持ち、各主データをＨＭＤ、ホストコンピュータ間で自由に伝送できるものとする。８０３と８０５と８１１は映像復号部である。８０４は信号を選択するセレクタである。８０７はＣＰＵである。８０８はＲＡＭである。８０９は不揮発ストレージである。８０７は不揮発ストレージ８０９にあるプログラムをＲＡＭ８０８に読み込みプログラムを実行する。８１０はバスであり、各モジュールはバスでつながれ、バスでつながれたモジュールは特別な記述がなければ、データのやり取りがなされるものとする。

本実施形態では実施形態１と異なりＩＳＰ１０２とＩＳＰ１０５が映像を符号化して出力するものとする。１０２、１０５、８０３、８０５、８０６、８１１が扱う符号化方式はＨ．２６４であるものとして説明するがこれに限定はない。１０２は符号化ストリームを８０１に出力する。８０１は入力された動き量が視聴映像からの映像解析が困難なほど大きいと判定された場合には入力映像信号をＮＷ８０２を介して８０３へ出力し、小さいと判定された場合には出力を停止する。なお映像信号の出力を停止している間、セレクタ８０１はＩＳＰ１０２へ停止信号を出力し続ける。Ｈ．２６４などのインターフレームを用いる符号化形式はでは、イントラフレームを復号して初めて後続のインタフレームを符号化できる。そこでＩＳＰ１０２は停止信号受信中、映像をイントラフレームのみで符号化し、停止信号を受信終了後からインターフレーム符号化を始める。これによりインターフレームを使った高圧縮な符号化を実現しつつ、符号化ストリームの伝送が再開されたときにはイントラフレームが伝送されるため、速やかに復号が再開できる。

８０３は符号化ストリームを復号して映像信号を生成し８０４へ出力する。ＩＳＰ１０５はＮＷ８０２を介して符号化ストリームを映像復号器８０５に出力する。映像復号器８０５は符号化ストリームを復号して映像信号を生成する。セレクタ８０４は、８０１がデータを送信した場合には８０３から入力された映像信号を８０７へ、送信しなかった場合には８０５から入力された映像信号を８０７へ出力する。出力とはＲＡＭを介しなされてもよい。ＣＰＵ８０７は位置姿勢推定を行い位置姿勢情報と環境マップをＣＧ描画部１０６へ出力する。ＣＧ描画部１０６は、実施形態１で説明した動作を行い生成した映像を映像符号化部８０６へ出力する。映像符号化部８０６は、映像を符号化して得られた符号化ストリームをＮＷ８０２を介して映像復号部８１１へ出力する。映像復号部８１１は符号化ストリームを復号して生成された映像信号を表示部１０７へ出力する。これらの動作は画像を連続的に撮像、処理しながら行われるため、セレクタによる切り替えも、フレーム画像単位で行われる。

このように、本実施形態によれば、解析映像と視聴映像との双方がＨＭＤからホストコンピュータに送られ、ホストコンピュータは解析映像と視聴映像との双方を用いて合成映像を生成するため、実施形態１と同様の効果が得られる。また、本実施形態においては、動き量に応じた解析映像の送信制御が行われる。すなわち、本実施形態によれば、実施形態２で示した効果に加えて、映像の動き量が小さい場合に解析映像のＮＷ伝送を抑制し、ＮＷ帯域を削減可能となる。また、削減した分の符号量を視聴映像の符号化の際の符号量に割りあてて、より高精細な映像の視聴映像を生成させる動作をさせてもよい。一方で、実施形態１と同様の効果を得るためには、動き量に応じた解析映像の送信制御を行うことは必須ではない。

本実施形態において、ＨＭＤは画像処理装置として働き、ホストコンピュータは画像合成装置として働く。そして、ＨＭＤ及びホストコンピュータは画像処理システムを構成する。

［実施形態６］
ＭＲシステムに関する第６の実施形態について図９、図１０を使って説明する。図９は実施形態６におけるＭＲ装置構成を説明する図である。図９では図２に対し９０１から９０４が追加されている。特別な説明がない場合、その動作は図２を使って説明した実施形態２と同様とする。

９０１はバスである。９０２はＣＰＵである。９０３はＲＡＭである。９０４は不揮発ストレージである。不揮発ストレージに格納されたプログラムはバスを介してＲＡＭに読み込まれＣＰＵが実行する構成となる。本実施形態では位置姿勢推定プログラムが実行され、位置姿勢情報と環境マップ情報が生成される。また、慣性センサ２０１が出力する動き量、ＩＳＰ１０２、１０５が出力する映像データはバスを介してＲＡＭ９０３に格納されプログラムの入力データとなる。ＣＧ描画部１０６はＲＡＭ９０３に格納された画像データをバスを介して取得し、コンピュータグラフィックオブジェクトを描画して、表示部１０７へ出力する。また、ＣＰＵ９０２は各モジュールを制御する。特別な記述がない限りバスにつながれたモジュールは、バス経由でデータを入出力するものとする。

以下ＣＰＵ９０２が実行する位置姿勢推定プログラムの動作について図１０を使って説明する。図１０は、実施形態６における位置姿勢推定方法を説明する図である。Ｓ１００００では、動き量を取得する。本実施形態では、慣性センサ２０１から出力される動き量を取得する。Ｓ１００１０では、視聴映像を取得する。Ｓ１００２０では、動き量の大きさを判定する。動き量が視聴映像からの映像解析が困難なほど大きいと判定された場合にはＳ１００３０が実行される。小さいと判定される場合にはＳ１００４０が実行される。Ｓ１００３０では、解析映像を取得する映像Ａとする。前述の通り、解析映像は視聴映像に比べ動きによる画質劣化の少ない映像である。Ｓ１００３５では、解析映像を映像Ａとする。Ｓ１００４０では、視聴映像を映像Ａとする。Ｓ１００５０では、映像Ａを利用して、位置姿勢情報と環境マップを生成する。

Ｓ１００６０では、位置姿勢情報と環境マップを利用して、視聴映像上にコンピュータグラフィックオブジェクトを描画する。これにより仮想的な三次元空間内の定位置のあたかもコンピュータグラフィックオブジェクトが存在するかのような映像を生成される。なお、本実施形態ではＣＰＵ９０２がＣＧ描画部１０６に指示を出す形で実行されるものとするが、これに限定されず、重畳処理をＣＰＵ９０２が担ってもよい。これらの動作は画像を連続的に撮像、処理しながら行われるため、条件判定もフレーム画像単位で行われる。

本実施形態の構成であっても実施形態２と同様の効果が得られる。なお、本実施形態では慣性センサから出力を動き量としたが、実施形態３、実施形態４で示したように、ソフトウェア処理により算出した値を取得する構成であってもよい。本実施形態では、動き量を取得する例を示したが、動き量を用いない構成をとることもできる。以下、この変形例を図１１を使って説明する。

図１１は、実施形態６の変形例を説明する図である。Ｓ１１０００では、解析映像を取得する。Ｓ１１０１０では、視聴映像を取得する。Ｓ１１０２０では、解析映像を利用して、位置姿勢情報と環境マップを生成する。Ｓ１００３０では、位置姿勢情報と環境マップを利用して、視聴映像上にコンピュータグラフィックオブジェクトを描画する。

これにより仮想的な三次元空間内の定位置のあたかもコンピュータグラフィックオブジェクトが存在するかのような映像を生成される。このような構成であっても、実施形態１と同様の効果を得ることができる。

［実施形態７］
ＭＲシステムに関する第７の実施形態について図１２、図１３を使って説明する。図１２は、実施形態７におけるＭＲ装置構成を説明する図である。特別な説明がない限り、その動作は図８を使って説明した実施形態５の動作と同様とする。

図１２は、実施形態７にＭＲシステム構成を説明する図である。実施形態５では、ホストコンピュータの構成を専用ＨＷが存在しモジュールが直結する構成で示した。本実施形態では、各モジュールがバスに接続され、映像復号機能、映像符号化機能もＣＰＵが行うものとする。図１１には、実施形態５で説明したセレクタ機能がないため、ＣＰＵ８０７がデータフローを制御して位置姿勢推定を行う。このときの制御フローを図１３を使って説明する。図１２は、実施形態７における位置姿勢推定方法を説明する図である。図１３は図１０に対して、Ｓ１００１０がＳ１３０００に、Ｓ１００２０がＳ１３０２０に置き換わっている。その他のステップの動作は、図１０の説明と同様とする。

Ｓ１３０００では、ホストコンピュータが解析映像を受信したか否かの状態を取得する。解析映像受信の動作はフレーム毎に行われる。Ｓ１３０２０では、解析映像を受信していたらＳ１００３０を、Ｓ１００４０を実行させる。これらの動作は画像を連続的に撮像、処理しながら行われるため、条件判定も、フレーム画像単位で行われる。本実施形態で示した構成であっても、実施形態５と同様の効果を得ることができる。

本実施形態によれば、画像処理装置は第１の映像の受信状態を判定する構成をさらに備える。第１の映像を受信している場合は第１の映像を解析して位置姿勢情報が生成され、第１の映像を受信していない場合は第２の映像を解析して位置姿勢情報が生成される。

上記ＭＲ装置の例であるヘッドマウントディスプレイは撮像画像にＣＧオブジェクトを重畳した合成画像を表示部に表示してユーザに観察させるビデオシースルータイプで説明した。しかしながら、本願明細書に係るヘッドマウントディスプレイは現実空間を透過して観察可能なディスプレイにＣＧオブジェクトを重畳して表示する光学シースルータイプを適用してもかまわない。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１センサ；１０２ＩＳＰ；１０３位置姿勢推定部；１０４センサ；１０５ＩＳＰ；１０６ＣＧ描画部；１０７表示部；２０１慣性センサ；２０９セレクタ；３０１動き検出部；３０２セレクタ；８０１セレクタ；８０２ＮＷ；８０３映像復号部；８０４セレクタ；８０５映像復号部；８０６映像符号化部；８０７ＣＰＵ；８０８ＲＡＭ；８０９不揮発ストレージ；８１０バス；８１１映像復号部；９０１バス；９０２ＣＰＵ；９０３ＲＡＭ；９０４不揮発ストレージ

Claims

画像処理装置であって、
第１の映像を出力する、被写体が動くことによる画像劣化が相対的に少ないグローバルシャッターセンサを用いた第１の撮像手段と、
第２の映像を出力する、被写体が動くことによる画像劣化が相対的に多いローリングシャッターセンサを用いた第２の撮像手段と、
前記第１の映像を解析して前記画像処理装置の位置姿勢情報を生成する推定手段と、
前記位置姿勢情報に基づいて決定された位置に重畳されるように、前記第２の映像上にＣＧオブジェクトを描画する描画手段と、
を備えることを特徴とする画像処理装置。
前記推定手段は、前記画像処理装置の動きが所定の閾値より大きい場合は前記第１の映像を解析して前記位置姿勢情報を生成し、前記画像処理装置の動きが前記所定の閾値より小さい場合は前記第２の映像を解析して前記位置姿勢情報を生成することを特徴とする、請求項１に記載の画像処理装置。
慣性センサを用いて前記画像処理装置の動きを検出する動き検出手段をさらに備えることを特徴とする、請求項２に記載の画像処理装置。
前記第１の映像を解析して前記画像処理装置の動きを検出する動き検出手段をさらに備えることを特徴とする、請求項２に記載の画像処理装置。
前記推定手段は、前記第１の映像を解析して前記位置姿勢情報を生成するとともに前記画像処理装置の動きを検出し、前記検出された動きが所定の閾値より小さい場合、前記位置姿勢情報を生成する際に解析する映像を前記第２の映像に切り替えることを特徴とする、請求項１乃至４の何れか１項に記載の画像処理装置。
前記第１の撮像手段は相対的にフレームレートが高いセンサであり、前記第２の撮像手段は相対的にフレームレートが低いセンサであることを特徴とする、請求項１乃至５の何れか１項に記載の画像処理装置。
前記第１の撮像手段は相対的にシャッター速度が高速なセンサであり、前記第２の撮像手段は相対的にシャッター速度が低速なセンサであることを特徴とする、請求項１乃至６の何れか１項に記載の画像処理装置。
前記第１の映像の解像度は前記第２の映像の解像度よりも低いことを特徴とする、請求項１乃至７の何れか１項に記載の画像処理装置。
前記第１の映像のフレームレートは前記第２の映像のフレームレートよりも高いことを特徴とする、請求項１乃至８の何れか１項に記載の画像処理装置。
被写体が動くことによる画像劣化が相対的に少ない第１の映像を画像処理装置から受信する第１の取得手段と、
被写体が動くことによる画像劣化が相対的に多い第２の映像を前記画像処理装置から受信する第２の取得手段と、
前記第１の映像の受信状態を判定する判定手段と、
前記第１の映像を受信している場合は前記第１の映像を解析して前記画像処理装置の位置姿勢情報を生成し、前記第１の映像を受信していない場合は前記第２の映像を解析して前記位置姿勢情報を生成する推定手段と、
前記位置姿勢情報に基づいて決定された位置に重畳されるように、前記第２の映像上にＣＧオブジェクトを描画する描画手段と、
を備えることを特徴とする画像合成装置。
画像処理装置と画像合成装置とを備える画像処理システムであって、
前記画像処理装置は、
第１の映像を出力する、被写体が動くことによる画像劣化が相対的に少ない第１の撮像手段と、
第２の映像を出力する、被写体が動くことによる画像劣化が相対的に多い第２の撮像手段と、
画像合成装置に、前記画像処理装置の動きが所定の閾値より大きい場合は前記第１の映像及び前記第２の映像の双方を送信し、前記画像処理装置の動きが前記所定の閾値より小さい場合は前記第１の映像を送信せずに前記第２の映像を送信する送信手段と、を備え、
前記画像合成装置は、
前記第１の映像を画像処理装置から受信する第１の取得手段と、
前記第２の映像を前記画像処理装置から受信する第２の取得手段と、
前記第１の映像を解析して前記画像処理装置の位置姿勢情報を生成する推定手段と、
前記位置姿勢情報に基づいて決定された位置に重畳されるように、前記第２の映像上にＣＧオブジェクトを描画する描画手段と、を備える
ことを特徴とする画像処理システム。
画像処理装置が行う画像処理方法であって、
グローバルシャッターセンサを用いて、被写体が動くことによる画像劣化が相対的に少ない第１の映像を取得する工程と、
ローリングシャッターセンサを用いて、被写体が動くことによる画像劣化が相対的に多い第２の映像を取得する工程と、
前記第１の映像を解析して前記画像処理装置の位置姿勢情報を生成する工程と、
前記位置姿勢情報に基づいて決定された位置に重畳されるように、前記第２の映像上にＣＧオブジェクトを描画する工程と、
を有することを特徴とする画像処理方法。
画像合成装置が行う画像処理方法であって、
被写体が動くことによる画像劣化が相対的に少ない第１の映像を画像処理装置から受信する工程と、
被写体が動くことによる画像劣化が相対的に多い第２の映像を前記画像処理装置から受信する工程と、
前記第１の映像の受信状態を判定する工程と、
前記第１の映像を受信している場合は前記第１の映像を解析して前記画像処理装置の位置姿勢情報を生成し、前記第１の映像を受信していない場合は前記第２の映像を解析して前記位置姿勢情報を生成する工程と、
前記位置姿勢情報に基づいて決定された位置に重畳されるように、前記第２の映像上にＣＧオブジェクトを描画する工程と、
を有することを特徴とする画像処理方法。
画像処理装置と画像合成装置とを備える画像処理システムが行う画像処理方法であって、
前記画像処理装置が、第１の撮像手段を用いて、被写体が動くことによる画像劣化が相対的に少ない第１の映像を取得する工程と、
前記画像処理装置が、第２の撮像手段を用いて、被写体が動くことによる画像劣化が相対的に多い第２の映像を取得する工程と、
前記画像処理装置が、前記画像合成装置に、前記画像処理装置の動きが所定の閾値より大きい場合は前記第１の映像及び前記第２の映像の双方を送信し、前記画像処理装置の動きが前記所定の閾値より小さい場合は前記第１の映像を送信せずに前記第２の映像を送信する工程と、
前記画像合成装置が、前記第１の映像を前記画像処理装置から受信する工程と、
前記画像合成装置が、前記第２の映像を前記画像処理装置から受信する工程と、
前記画像合成装置が、前記第１の映像を解析して前記画像処理装置の位置姿勢情報を生成する工程と、
前記画像合成装置が、前記位置姿勢情報に基づいて決定された位置に重畳されるように、前記第２の映像上にＣＧオブジェクトを描画する工程と、
を有することを特徴とする画像処理方法。
コンピュータに、
画像処理装置のグローバルシャッターセンサを用いて撮像された、被写体が動くことによる画像劣化が相対的に少ない第１の映像を取得する工程と、
前記画像処理装置のローリングシャッターセンサを用いて撮像された、被写体が動くことによる画像劣化が相対的に多い第２の映像を取得する工程と、
前記第１の映像を解析して前記画像処理装置の位置姿勢情報を生成する工程と、
前記位置姿勢情報に基づいて決定された位置に重畳されるように、前記第２の映像上にＣＧオブジェクトを描画する工程と、
を実行させるためのプログラム。
コンピュータに、
被写体が動くことによる画像劣化が相対的に少ない第１の映像を画像処理装置から受信する工程と、
被写体が動くことによる画像劣化が相対的に多い第２の映像を前記画像処理装置から受信する工程と、
前記第１の映像の受信状態を判定する工程と、
前記第１の映像を受信している場合は前記第１の映像を解析して前記画像処理装置の位置姿勢情報を生成し、前記第１の映像を受信していない場合は前記第２の映像を解析して前記位置姿勢情報を生成する工程と、
前記位置姿勢情報に基づいて決定された位置に重畳されるように、前記第２の映像上にＣＧオブジェクトを描画する工程と、
を実行させるためのプログラム。