JP2017181605A - 情報処理装置、画像表示装置、画像表示システム、および情報処理方法 - Google Patents

Abstract

【課題】 システム全体として映像データの処理または伝送に必要なデータ総量を抑えるようにすること。
【解決手段】 本発明は、撮像部により撮像された画像を、解像度変換画像と切り出し画像に分離することにより、分離後の画像データの総量が撮像された画像データのデータ量よりも抑制されるようにする。
【選択図】 図２

Description

本発明は、画像表示装置に備えられた撮像部により撮像された画像データを処理するための技術に関する。

近年、現実空間と仮想空間をリアルタイムでシームレスに融合させる技術として、複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術や拡張現実感（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術が知られている。これらの技術の１つとして、ビデオシースルーＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を利用したものがある。この画像表示システムでは、まず、ＨＭＤ装着者の瞳位置から観察される被写体と略一致する被写体をビデオカメラなどで撮像する。そして、その撮像画像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を重畳表示した画像を、ＨＭＤ装着者がＨＭＤ内部パネルを通して観察できるようになっている。

この画像システムでは、ＨＭＤに備えられた撮像部で撮像した映像に所定の画像処理をした後、それを情報処理装置（ＰＣ）へと伝送する。そして、撮像映像に対してＣＧを描画し重畳させる演算を行う。さらに、情報処理装置にて表示映像の画像処理を行ってから、ＨＭＤへ映像伝送を行った後に、ＨＭＤ内部の表示パネルに表示映像が表示されるという一連の流れが構築されている。ここで、高画質化を図るために撮像素子が高画素化することに伴い、処理伝送される総データ量が増加し、システムが肥大化することが近年の課題となっている。

この課題を解決するために、映像を圧縮してから伝送を行う技術も盛んに開発されているが、圧縮すること自体にシステムリソースを大きく消費することから、小型かつ軽量であることが求められるＨＭＤに対しては必ずしも有効な手法とは言えない。そこで、特許文献１には、高解像度（例えば４Ｋ）の撮像映像を分割した映像（例えばＦｕｌｌＨＤ４枚）と解像度を変換した低解像度（例えばＦｕｌｌＨＤ１枚）の映像とに分けて処理を行い、それを伝送した後に合成する技術を開示している。

特開２０１３−２５１７８１号公報

しかしながら、特許文献１の技術では、分割した映像データのデータ総量は元の撮像映像のデータ量よりも増加しており、システムによっては映像データの処理または伝送のデータ量をさらに抑えることが求められる。

上記課題を解決するために、本発明は、画像を撮像する撮像部と、ユーザに表示すべき表示画像を表示する表示部と、を備える画像表示装置に接続された情報処理装置であって、 前記撮像部により撮像された画像を取得し、当該画像から第１の画像と第２の画像とを生成する第１の生成部と、前記第１の生成手段により生成された第１の画像および第２の画像に基づいて、前記表示部によってユーザに表示すべき表示画像を生成する第２の生成部と、を有し、前記第１の生成部は、前記第１の画像と第２の画像との合計のデータ量が前記撮像部により撮像された画像のデータ量よりも小さくなるように、前記第１の画像と第２の画像とを生成することを特徴とする。

以上の構成によれば、本発明は、システム全体として映像データの処理または伝送に必要なデータ総量を抑えることができる。

第１の実施形態に係る画像表示システムを示すブロック図。 第１の実施形態に係るデータ分割処理の概略を示す概念図。 第１の実施形態に係る映像の伝送手順の処理を示すフローフローチャート。 第２の実施形態に係る画像表示システムを示すブロック図。 第２の実施形態に係る映像の伝送手順の処理を示すフローフローチャート。

［第１の実施形態］
以下、本発明の第１の実施形態について、図面を参照しながら説明する。図１は、本実施形態における画像表示システムの構成を示すブロック図である。図１に示すように、本実施形態の画像表示システムは大きく分けて４つの機能部より構成されており、撮像映像を生成する撮像部１０と、撮像映像を分離生成し撮像映像および表示映像に対して画像処理を行う処理伝送部１１とを有する。さらに、位置合わせ演算、仮想現実ＣＧを生成する各種演算ならびに表示映像に合成する処理を実行する演算合成部１２と、表示映像を表示し体験者に映像を視認させる表示部１３とを有している。

撮像部１０および表示部１３は本システムにおける画像表示装置に相当するヘッドマウントディスプレイ（以下、ＨＭＤ）に備えられている。一方、処理伝送部１１および演算合成部１２は本システムにおける情報処理装置に相当するＰＣに備えられている。ＨＭＤおよび情報処理装置（ＰＣ）は互いに有線方式または無線方式により接続され、それぞれＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェア構成を備える。そして、ＣＰＵがＲＯＭやＨＤ等に格納されたプログラムを実行することにより、例えば、後述する各機能構成やフローチャートの処理が実現される。ＲＡＭは、ＣＰＵがプログラムを展開して実行するワークエリアとして機能する記憶領域を有する。ＲＯＭは、ＣＰＵが実行するプログラム等を格納する記憶領域を有する。

撮像部１０と表示部１３を含むＨＭＤにおいては、ＨＭＤを頭部に装着した体験者が外界の映像にＣＧを重畳した映像を見ることができ、現実空間と仮想空間がリアルタイムに融合した複合現実感を体験することができる。特に、ビデオシースルーＨＭＤにおいては体験者の視線に略一致するよう、特定の位置姿勢から見た仮想現実物体をＣＧとして描画することが重要である。その際、この位置合わせのために加速度センサや角速度センサおよび地磁気センサならびにＧＰＳなどを用いる技術が存在する。ただし、本実施形態においては撮像部１０に撮像センサを搭載しているため、撮像映像内にマーカーや空間的な特徴点があれば、演算合成部１２によって位置姿勢ならびにＣＧの重畳が高精度で実現できる。

この位置合わせ演算用の撮像映像は高解像であることよりも広画角であることが要求される。一方、ビデオシースルーの背景画像としてＨＭＤの表示部１３に表示するための撮像映像は表示画角に合わせて出来る限り高解像であることが望ましい。このように、システム後段における用途の違いにより、同一の撮像映像といえども要求の異なる複数種類の映像が混在する。そこで、本実施形態では、この特徴を利用して処理伝送部１１において映像を分離し、システムの要求を満たしながらシステム全体の処理、伝送のデータ総量を抑える手法について説明する。

撮像部１０は、撮像光学系である撮像レンズ１００と撮像素子であるイメージセンサ１０１とを含み、撮像レンズ１００を介して結像された現実空間における被写体像をイメージセンサ１０１による光電変換によって撮像映像を取得する。前述のとおり、位置合わせ演算のために撮像レンズ１００は広画角であることが望ましい。イメージセンサ１０１は、例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサなどの半導体センサから構成され、高画素化ならびに高フレームレート化に伴い、取得される撮像映像となるデータ量は増大する。

表示部１３は、表示プリズム１３１とディスプレイ１３２を含み、演算合成部１２にて合成された表示映像をディスプレイ１３２に表示し、表示プリズム１３１を介して光束を観察対象者に結像させる。ＨＭＤの構成によっては、表示プリズム１３１はレンズでも構わないし、設けないようにすることも可能である。ディスプレイ１３２は、例えば液晶表示パネルや有機ＥＬパネル等の表示素子により構成される。観察者への距離や表示プリズム１３１拡大率とディスプレイ１３２の大きさによって表示画角が決定され、解像度が高いほど視認性も向上するが、こちらも高画素化ならびに高フレームレート化に伴い、表示映像となるデータ量は増大する。

続いて、情報処理装置側に設けられている処理伝送部１１および演算合成部１２の機能について説明する。処理伝送部１１（第１の生成部）は、同一の撮像映像から解像度変換ならびに領域の一部を切り出す切り出し処理によって、複数の映像を生成する画像分離部１１０と、解像度変換された撮像画像（第１の画像）を処理する画像処理部１１１とを有する。更に、切り出された撮像画像（第２の画像）を処理する画像処理部１１２と、表示画像を処理する画像処理部１１３とを有している。本実施形態では、画像分離部において撮像映像を２つに分離しているが、システム後段の要求によっては３つ以上に分離するようにしてもよい。

演算合成部１２（第２の生成部）は、撮像映像からマーカーや特徴点を検出し体験者が使用するＨＭＤの位置を割り出す位置合わせ演算部１２０と、その特定された位置から見た場合の仮想現実物体をＣＧとして描画する仮想現実ＣＧ生成部１２１とを有する。更に、表示部１３の要求に基づき画像分離部１１０にて切り出された背景用画像と前記仮想現実ＣＧを合成して表示画像とする表示画像合成部１２２を有している。これらの演算および合成処理は膨大な演算が必要となることが多く、高画素化に伴いより多くのシステムリソースを消費するため、ハイエンドＰＣやワークステーションなどが使用されることが多い。

＜データ分割処理の詳細＞
次に、本実施形態の画像表示システムにおいて、ＨＭＤにより撮像された映像データ（画像）の分割処理について説明する。図２は、本実施形態に係るデータ分割処理の概略を示す概念図である。同図において、画像２００はイメージセンサ１０１で撮影された撮像画像であり、ここでは例として３８４０×２１６０の４Ｋ映像とし、水平撮影画角も９０°あるものとする。画像２０１は画像分離部１１０で解像度を変換した解像度変換画像であり、例として１９２０×１０８０のＦｕｌｌＨＤ映像とし、水平画角は変わらず９０°あるものとする。この際、解像度を変換する方法は画素混合や間引きなど様々な手法が存在するが、本実施形態はその手法によって限定されるものではなく、画角を保持したまま解像度を落とものであれば種々の方法を採用することが可能である。

画像２０２は画像分離部１１０で切り出し処理を行った切り出し画像であり、例として２５６０×１４４０のＷＱＨＤ映像とし、水平画角が６４°とする。ここで、水平画角が６４°となる理由は、９０°ある元の画像から解像度すなわち画素密度をそのままに画像を切り出すためであって、切り出し比率によって計算される。また、この切り出される画角６４°の画像は元となる画角９０°の画像の一部に包含される。

処理２０３は、画像処理、映像伝送、位置合わせ演算や仮想現実ＣＧ演算、および表示画像合成といった一連の処理を総括的に示している。解像度やフレームレートが上がることによって処理２０３の負荷が増大することは前述したとおりであり、これを抑えるためには、事前に映像を分離することが有効となる。

画像２０４はディスプレイ１３２に表示される表示画像であり、例として２５６０×１４４０のＷＱＨＤ映像とし、水平画角は６４°となる。画像２０２は本画素数に合わせて切り出し処理が行われており、最終的な表示に必要な画角のうち最も高解像な状態となっている。

この一連の処理において、撮像された画像２００は約８．３Ｍｐｉｘｅｌとなるが、映像を分離した後の解像度変換画像２０１は約２．１Ｍｐｉｘｅｌとなり、切り出し画像２０２の約３．７Ｍｐｉｘｅｌとなる。すなわち、分離後の画像データのデータ量は、合計しても約５．８Ｍｐｉｘｅｌと元の８．３Ｍｐｉｘｅｌよりも小さくなる。したがって、元の撮像映像全てを処理伝送するよりもシステム全体の負荷を抑えることが可能となる。ここで、解像度変換画像２０１は位置合わせ演算部１２０の要求を、切り出し画像２０２はディスプレイ１３２の要求を満たしていることは言うまでも無い。また、必ずしもシステム後段の要求を満たさなくても、処理伝送の総量を下げることが優先事項であれば、元の撮像画像から解像度変換と切り出しを行う各々の比率によってデータ伝送量を抑えることも可能となる。いずれにせよ、本実施形態において解像度よりも画角が必要な位置合わせ演算用の映像と、表示に合わせた画角で高解像度な映像の２種類が必要であり、これをできるだけ事前に分離することで以降の処理、伝送の負荷を軽減することができる。

続いて、図３を用いて、本実施形態における映像の伝送手順の処理フローについて説明する。同図において、ステップＳ３００では、ＨＭＤの撮像部１０により現実空間の画像を撮像し、それを処理伝送部１１内の画像分離部１１０に送るここまでは、前述のとおり広画角かつ高解像な映像が伝送されている。なお、本実施形態では、以降の処理を、ステップＳ３０１〜Ｓ３０４と、ステップＳ３０５〜Ｓ３０６との並列処理としているが、本実施形態はこのような処理手順に限定されるものではない。

ステップＳ３０１では、位置合わせ演算部１２０で行われる演算で要求される解像度に基づき、画像分離部１１０において撮像映像の解像度変換を行う。さらにステップＳ３０２では、解像度変換された映像の色補正やノイズリダクションなど各種画像処理を画像処理部１１１において行う。

ステップＳ３０３では、演算合成部１２内の位置合わせ演算部１２０において、撮像映像内のマーカーや空間的な特徴点を検出してＨＭＤ体験者の位置及び姿勢を演算から推定する。続くステップＳ３０４では、ステップＳ３０３において推定された位置姿勢情報を元に、仮想現実ＣＧ生成部１２１においてＨＭＤ体験者の位置および姿勢から見た場合の仮想現実物体をＣＧとして描画生成する。

一方、ステップＳ３０５では、ステップＳ３０１との並列処理が開始され、イメージセンサ１０１で撮像された撮像映像から、表示画像合成部１２２もしくはディスプレイ１３２の仕様に基づいて要求される解像度の映像に画像分離部１１０で切り出しを行う。この際、切り出す画角は言うまでも無いが位置に関しても表示レンズの仕様に基づいて決定される。次に、ステップＳ３０６では、ステップＳ３０２と同様に、切り出された映像の各種画像処理を画像処理部１１２において行う。

ステップＳ３０７では、画像分離部１１０において切り出されたビデオシースルーＨＭＤの背景に使用する撮像映像と仮想現実ＣＧ生成部１２１において生成された仮想現実ＣＧとを表示画像合成部１２２において合成する。これが、ディスプレイ１３２に表示するための映像となる。ステップＳ３０８では、表示映像に対して輝度補正や色補正などの各種画像処理を画像処理部１１３において行う。ステップＳ３０９では、表示画像合成部１２２で合成され、画像処理部１１３で画像処理を行われた表示用映像を表示部１３内のディスプレイ１３２に表示する。

以上の一連の処理により、ＨＭＤ体験者は体験者の視線に略一致したビデオシースルー背景映像と、体験者の位置姿勢から見た仮想現実物体ＣＧを重畳した仮想現実空間とをＨＭＤを通して体験することが可能となる。本実施形態では、画像分離部１１０において解像度変換画像と切り出し画像に分離していることから、全ての撮像映像を処理伝送することに比べデータの総量が削減され、システム全体が肥大化することが抑制される。

なお、上述の説明では、演算合成部１２によって位置姿勢を推定しているが、位置姿勢の推定精度を更に高めるために、加速度センサや角速度センサおよび地磁気センサならびにＧＰＳなどを更に用いるようにしてもよい。また、上述の説明では、解像度変換画像２０１を位置合わせ演算に用いる構成を示したが、この解像度変換画像２０１が他の処理に用いられるような構成であってもよい。その一例としては、例えば顔検出処理や物体認識処理に解像度変換画像２０１が用いる構成が考えられる。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。第２の実施形態は、画像表示システムのシステム構成の変化やシステムにおける処理転送状況に応じて、画像分離部１１０による解像度変換および画像切り出しの少なくとも一方を制御するものである。以下、図面を参照しつつ、本発明の第２の実施形態について説明する。なお、第１の実施形態で既に説明をした構成については、その説明を省略し、同一の符号を付す。

図４は、本実施形態に係る画像表示システムを示すブロック図である。本実施形態が第１の実施形態と異なる点は、処理伝送部１１が更に分離設定制御部４００を有することである。本実施形態のような画像表示システムにおいては、システム構成やシステムの処理伝送の状況が変化することが考えられる。システム構成が変化する例としては、演算合成部１２に使用されるＰＣをユーザが交換した場合や、処理伝送部１１と演算合成部１２は変えずに撮像部１０と表示部１３を含むＨＭＤが交換された場合などが挙げられる。また、システムの処理転送状況が変化する例としては、撮像部１０によって撮像される映像データの内容により演算合成部１２の負荷が変化し処理が追いつかないような状況がある。その他の例としては、伝送経路のパケットロスなどによる通信が不安定な状況において、実行スループットが下がり伝送のベストパフォーマンスを得られないという状況もある。そこで、本実施形態に係る画像表示システムは、このような状況に対応するために分離設定制御部４００を備えている。

分離設定制御部４００は、本システムの各部と接続しており、処理と伝送の状況を監視するものとする。そして、画像処理部１１１や位置合わせ演算部１２０の状況によって、システム全体のパフォーマンスが低下している場合は、画像分離部１１０に対して解像度変換の比率をさらに下げる指示を出す。この解像度変換量を変化させることによって、システム全体の処理伝送に係わるパフォーマンスが最適化され、システムを円滑に動作させることが可能となる。また、画像処理部１１２や表示画像合成部１２２の状況によっては、撮像映像の切り出し量を変化させたり、解像度変換と切り出し量の両方を変更するようにしてもよい。また、システム構成の変更が為されたときに、そのことをユーザに画像表示システムに備えられた入力手段により入力させ、その情報を分離設定制御部４００が取得することにより、上述の解像度変換や切り出し量の変更の制御を行うようにしてもよい。

＜データ分割処理の詳細＞
次に、図５を用いて、本実施形態における映像の伝送手順の処理フローについて説明する。本実施形態の処理フローが、第１の実施形態と異なる点は、ステップＳ５１０〜Ｓ５１３が追加されていることである。ここでは、第１の実施形態との相違点についてのみ説明を行う。

まず、ステップＳ５１０では、分離設定制御部４００から画像分離部１１０に対して出す指示方法が自動設定モードか否かを判断する。ここで、自動設定モードとは、本システムが自動で処理伝送の状況に応じてアクティブに映像分離の設定を行うモードである。自動設定モードの場合はステップＳ５１１へ処理が移り、自動設定モードで無い場合はステップＳ５１３へ処理が移る。

ステップＳ５１１は、自動設定モードの場合に、システム各部と接続された分離設定制御部４００がシステム各部からのフィードバックに基づいて、変換する最適な解像度ならびに最適な切り出し量を自動で演算し、画像分離部１１０に対する設定値を取得する。次に、ステップＳ５１２は、分離設定制御部４００から画像分離部１１０に対して、ステップＳ５１１で演算された設定値に基づいた指示を出す。

ステップＳ５１３は、自動設定モードで無い場合に、ユーザからの分離設定値を取得する。この場合、システムに設定された初期値を用いることも可能であり、システム変更に応じてユーザから事前に入力された設定値を用いることも可能である。分離設定制御部４００は、いずれかの設定値を取得することで、ステップＳ５１２において画像分離部１１０に対して指示を出す。ステップＳ５１２以降の処理は、第１の実施形態で説明した構成と同様である。

以上、本実施形態によれば、映像データの分離設定を能動的に変化させることが可能となり、システム全体のパフォーマンスが最適となるよう映像データの処理伝送量を抑制することが可能となる。

［その他の実施形態］
上述の説明では、ＨＭＤ側が撮像部１０と表示部１３とを備え、情報処理装置（ＰＣ）側が処理伝送部１１と演算合成部１２とを備える構成を示した。しかしながら、本発明は、このような形態に限定されるものではなく、例えば、上記４つの機能部の全てをＨＭＤ側が有し、ＨＭＤ側だけで全ての処理が実行されるように構成してもよい。

また、本発明は、上記実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読出し実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。

１０ 撮像部
１１ 処理伝送部
１２ 演算合成部
１３ 表示部

Claims (11)

1. 画像を撮像する撮像部と、ユーザに表示すべき表示画像を表示する表示部と、を備える画像表示装置に接続された情報処理装置であって、
   前記撮像部により撮像された画像を取得し、当該画像から第１の画像と第２の画像とを生成する第１の生成部と、
   前記第１の生成手段により生成された第１の画像および第２の画像に基づいて、前記表示部によってユーザに表示すべき表示画像を生成する第２の生成部と、を有し、
   前記第１の生成部は、前記第１の画像と第２の画像との合計のデータ量が前記撮像部により撮像された画像のデータ量よりも小さくなるように、前記第１の画像と第２の画像とを生成することを特徴とする情報処理装置。
2. 前記第１の画像は、前記撮像部により撮像された画像を解像度変換することにより生成されることを特徴とする請求項１に記載の情報処理装置。
3. 前記第１の画像は、前記ユーザの位置姿勢の推定に用いられることを特徴とする請求項１または２に記載の情報処理装置。
4. 前記第２の画像は、前記撮像部により撮像された画像の一部を切り出すことにより生成されることを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記第１の画像は、前記表示画像の背景に用いられることを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
6. 前記第１の生成部が前記撮像部により撮像された画像から前記第１の画像を解像度変換により生成する際の当該解像度変換の比率、または前記撮像部により撮像された画像の一部を切り出して前記第２の画像を生成する際の切り出し量の少なくとも一方を変更する制御部を更に有することを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
7. 前記制御部は、前記画像表示装置および前記情報処理装置を含むシステムの構成の変化または当該システムにおける処理転送状況の少なくとも一方に基づいて、前記解像度変換の比率または前記切り出し量の少なくとも一方を変更することを特徴とする請求項６に記載の情報処理装置。
8. 前記画像表示装置は、ユーザの頭部に装着されて使用されることを特徴する請求項１から７のいずれか１項に記載の情報処理装置。
9. 画像を撮像する撮像部と、
   前記撮像部により撮像された画像から第１の画像と第２の画像とを生成する第１の生成部と、
   前記第１の生成手段により生成された第１の画像および第２の画像に基づいて、ユーザに表示すべき表示画像を生成する第２の生成部と、
   前記第２の生成手段により生成された表示画像を表示する表示部と、を有し、
   前記第１の生成部は、前記第１の画像と第２の画像との合計のデータ量が前記撮像部により撮像された画像のデータ量よりも小さくなるように、前記第１の画像と第２の画像とを生成することを特徴とする画像表示装置。
10. 画像を撮像する撮像部と、
    前記撮像部により撮像された画像から第１の画像と第２の画像とを生成する第１の生成部と、
    前記第１の生成手段により生成された第１の画像および第２の画像に基づいて、ユーザに表示すべき表示画像を生成する第２の生成部と、
    前記第２の生成手段により生成された表示画像を表示する表示部と、を有し、
    前記第１の生成部は、前記第１の画像と第２の画像との合計のデータ量が前記撮像部により撮像された画像のデータ量よりも小さくなるように、前記第１の画像と第２の画像とを生成することを特徴とする画像表示システム。
11. 画像を撮像する撮像部と、ユーザに表示すべき表示画像を表示する表示部と、を備える画像表示装置に接続された情報処理装置における情報処理方法であって、
    前記撮像部により撮像された画像を取得し、当該画像から第１の画像と第２の画像とを生成する第１の生成ステップと、
    前記第１の生成ステップにおいて生成された第１の画像および第２の画像に基づいて、前記表示部によってユーザに表示すべき表示画像を生成する第２の生成ステップと、を有し、
    前記第１の生成ステップは、前記第１の画像と第２の画像との合計のデータ量が前記撮像部により撮像された画像のデータ量よりも小さくなるように、前記第１の画像と第２の画像とを生成することを特徴とする情報処理方法。

Images