JP5197816B2 - 電子機器、電子機器の制御方法 - Google Patents

Description

本発明の実施形態は、立体映像処理装置、立体映像処理方法に関する。

近年、立体映像を視聴可能な映像処理装置（以下、立体映像処理装置と記載する）が開発され、発売されている。この立体映像処理装置には、視差を有する複数枚の画像（多視点画像）の各画素を１つの画像（以下、合成画像と記載する）に離散的に配置し、この合成画像を構成する各画素からの光線の軌道をレンチキュラーレンズなどにより制御して、観察者に立体映像を知覚させるインテグラルイメージング方式（インテグラルフォトグラフィ方式とも呼ばれる）を採用したものがある。

インテグラルイメージング方式の場合、立体画像を視聴するために専用メガネを必要としないというメリットがある一方、映像を立体として認識できる領域（以下、視域と記載する）が限定されてしまうという問題がある。ユーザが視域外にいる場合、いわゆる逆視やクロストーク等の発生によりユーザは映像を立体として認識できない。このため、カメラを搭載し、このカメラで撮像した映像からユーザを検出して、この検出したユーザの位置が上記視域内であるか否かを判別し、該判別結果に基づいて立体画像を制御する立体映像処理装置が提案されている（例えば、特許文献１参照）。

特開２００９−２９６１１８号公報

上述のように、インテグラルイメージング方式を採用した立体映像処理装置では、視域が限定されてしまう。このため、ユーザが視域外にいる場合、ユーザが映像を立体として認識することができない。また、カメラを搭載した立体映像処理装置についても、ユーザの顔を検出できない場合は、ユーザの位置を特定することができず、ユーザの位置に上記視域を形成することができない。
本実施形態は、ユーザが正しい視聴位置で立体映像を視聴することができる立体映像処理装置及び立体映像処理方法を提供することを目的とする。

本発明の実施形態に係る立体映像処理装置は、立体映像を表示するディスプレイの前方を含む領域を撮像する撮像モジュールと、撮像モジュールで撮像される映像からユーザの顔を検出する顔検出モジュールと、顔検出モジュールにてユーザの顔が検出できない場合、顔が検出できない旨を通知し、立体映像を立体として認識できる領域を示す第１の画像をディスプレイに表示するよう制御するコントローラと、を備える。

実施形態に係る立体映像処理装置の構成図。 表示画面に表示される画像の一例を示した図。 表示画面に表示される画像の一例を示した図。 実施形態に係る立体映像処理装置の動作を示すフローチャート。

以下、図面を参照して、本発明の実施形態を詳細に説明する。
（実施形態）
図１は、実施形態に係る立体映像処理装置１００の構成図である。立体映像処理装置１００は、例えば、デジタルテレビである。この立体映像処理装置１００は、視差を有する複数枚の画像（多視点画像）の各画素を１つの画像（以下、合成画像と記載する）に離散的に配置し、この合成画像を構成する各画素からの光線の軌道をレンチキュラーレンズなどにより制御して、観察者に立体映像を知覚させるインテグラルイメージング方式によりユーザに立体映像を提示する。

（立体映像処理装置１００の構成）
実施形態に係る立体映像処理装置１００は、チューナ１０１、チューナ１０２、チューナ１０３、ＰＳＫ（Phase Shift Keying）復調器１０４、ＯＦＤＭ（Orthogonal Frequency Division Multiplexing）復調器１０５、アナログ復調器１０６、信号処理部１０７、グラフィック処理部１０８、ＯＳＤ（On Screen Display）信号生成部１０９、音声処理部１１０、スピーカ１１１、映像処理部１１２、映像表示部１１３（ディスプレイ）、制御部１１４（コントローラ）、操作部１１５（操作受付モジュール）、受光部１１６（操作受付モジュール、）、端子１１７、通信Ｉ／Ｆ（Inter Face）１１８、カメラモジュール１１９（撮像モジュール、顔検出モジュール、位置算出モジュール）を備える。

チューナ１０１は、制御部１１４からの制御信号により、ＢＳ／ＣＳデジタル放送受信用のアンテナ１で受信した衛星デジタルテレビジョン放送から所望のチャンネルの放送信号を選局し、この選局した放送信号をＰＳＫ復調器１０４に出力する。ＰＳＫ復調器１０４は、制御部１１４からの制御信号により、チューナ１０１から入力される放送信号を復調して信号処理部１０７へ出力する。

チューナ１０２は、制御部１１４からの制御信号により、地上波放送受信用のアンテナ２で受信した地上デジタルテレビジョン放送信号から所望のチャンネルのデジタル放送信号を選局し、この選局したデジタル放送信号をＯＦＤＭ復調器１０５に出力する。ＯＦＤＭ復調器１０５は、制御部１１４からの制御信号により、チューナ１０２から入力されるデジタル放送信号を復調して信号処理部１０７へ出力する。

チューナ１０３は、制御部１１４からの制御信号により、地上波放送受信用のアンテナ２で受信した地上アナログテレビジョン放送信号から所望のチャンネルのアナログ放送信号を選局し、この選局したアナログ放送信号をアナログ復調器１０６に出力する。アナログ復調器１０６は、制御部１１４からの制御信号により、チューナ１０２から入力されるアナログ放送信号を復調して信号処理部１０７へ出力する。

信号処理部１０７は、ＰＳＫ復調器１０４、ＯＦＤＭ復調器１０５及びアナログ復調器１０６から入力される復調後の放送信号から、映像信号及び音声信号を生成する。信号処理部１０７は、映像信号をグラフィック処理部１０８に出力し、音声信号を音声処理部１１０に出力する。

ＯＳＤ信号生成部１０９は、制御部１１４からの制御信号に基づいてＯＳＤ信号を生成しグラフィック処理部１０８へ出力する。

グラフィック処理部１０８は、後述する制御部１１４からの指示に基づいて、信号処理部１０７から出力される映像信号から２視差又は９視差に対応する複数枚の画像データ（多視点画像データ）を生成する。グラフィック処理部１０８は、生成した多視点画像の各画素を１つの画像に離散的に配置して２視差又は９視差を有する合成画像に変換する。また、グラフィック処理部１０８は、ＯＳＤ信号生成部１０９で生成されるＯＳＤ信号を映像処理部１１２へ出力する。

映像処理部１１２は、グラフィック処理部１０８で変換された合成画像を映像表示部１１３で表示可能なフォーマットに変換した後、映像表示部１１３に出力して立体映像表示させる。映像処理部１１２は、入力されるＯＳＤ信号を映像表示部１１３で表示可能なフォーマットに変換した後、映像表示部１１３に出力してＯＤＳ信号に対応する映像を表示させる。

映像表示部１１３は、各画素からの光線の軌道を制御するためのレンチキュラーレンズを備えたインテグラルイメージング方式の立体映像表示用のディスプレイである。

音声処理部１１０は、入力される音声信号をスピーカ１１１で再生可能なフォーマットに変換した後、スピーカ１１１に出力して音声再生させる。

操作部１１５には、立体映像処理装置１００を操作するための複数の操作キー（例えば、カーソルキー、決定キー、ＢＡＣＫ（戻る）キー、カラーキー（赤、緑、黄、青）等）が配列されている。ユーザが、上記操作キーを押し下げすることで、押し下げられた操作キーに対応する操作信号が制御部１１４へ出力される。

受光部１１６は、リモートコントローラ３（以下、リモコン３と記載する）から送信される赤外線信号を受信する。リモコン３には、立体映像処理装置１００を操作するための複数の操作キー（例えば、カーソルキー、決定キー、ＢＡＣＫ（戻る）キー、カラーキー（赤、緑、黄、青）等）が配列されている。ユーザが、上記操作キーを押し下げすることで、押し下げられた操作キーに対応した赤外線信号が発光される。受光部１１６は、リモコン３が発光した赤外線信号を受信する。受光部１１６は、受信した赤外線信号に対応する操作信号を制御部１１４へ出力する。

ユーザは、上記操作部１１５もしくはリモコン３を操作して、立体映像処理装置１００の種々の動作を行わせたり、立体映像処理装置１００の設定を変更することができる。例えば、ユーザは、立体映像処理装置１００の視差、オートトラッキング、アラート画面表示等の設定を変更することができる。視差の設定では、ユーザは、２視差又は９視差のいずれで立体映像を視聴するかを選択することができる。ユーザにより選択された視差の設定は、後述する制御部１１４の不揮発性メモリ１１４ｃに記憶される。なお、上記視差数（２視差又は９視差）は、例示であり、他の視差数（例えば、４視差、６視差）であってもよい。

オートトラッキングの設定では、ユーザは、オートトラッキングをＯＮするかＯＦＦするかを選択することができる。オートトラッキングがＯＮの場合、後述するカメラモジュール１１９で撮像される映像に基づいて算出したユーザの位置に自動で視域が形成される。オートトラッキングがＯＮの場合、所定の時間（例えば、数十秒〜数分）ごとにユーザの位置が算出され、この算出したユーザの位置に視域が形成される。また、オートトラッキングがＯＦＦの場合、ユーザが指示したときにのみ、ユーザの位置に視域が形成される。

なお、視域の形成は、以下のようにして行う。例えば、視域を映像表示部１１３の前後方向に動かしたい場合は、表示画像とレンチキュラーレンズの開口部の隙間を広くしたり、狭くすることで、視域が映像表示部１１３の前後方向に移動する。レンチキュラーレンズの開口部の隙間を広くすると、視域が映像表示部１１３の後方に移動する。また、レンチキュラーレンズの開口部の隙間を狭くすると、視域が映像表示部１１３の前方に移動する。

視域を映像表示部１１３の左右方向に動かしたい場合は、表示画像を左右にシフトさせることで、視域が映像表示部１１３の左右方向に移動する。表示画像を左にシフトさせることで、視域が映像表示部１１３の左側に移動する。また、表示画像を右にシフトさせることで、視域が映像表示部１１３の右側に移動する。

アラート画面表示の設定は、後述するアラート画面（図２参照）を表示するか否かを設定することができる。アラート画面表示がＯＮの場合、後述するアラート画面（図２参照）が映像表示部１１３に表示される。また、アラート画面表示がＯＦＦの場合、後述するアラート画面（図２参照）が映像表示部１１３に表示されない。

端子１１７は、外部端末（例えば、ＵＳＢメモリ、ＤＶＤ記憶再生装置、インターネットサーバ、ＰＣ等）を接続するためのＵＳＢ端子、ＬＡＮ端子、ＨＤＭＩ端子、ｉＬＩＮＫ端子などである。

通信Ｉ／Ｆ１１８は、端子１１７に接続された上記外部端末との通信インターフェースであり、制御部１１４と上記外部端末との間で制御信号及びデータ等のフォーマットに変換を行う。

カメラモジュール１１９は、立体映像処理装置１００の正面下側もしくは正面上側に設けられる。カメラモジュール１１９は、カメラ１１９ａと、顔検出部１１９ｂ（顔検出モジュール）と、不揮発性メモリ１１９ｃと、位置算出部１１９ｄとを備える。カメラ１１９ａは、例えば、ＣＭＯＳイメージセンサやＣＣＤイメージセンサである。カメラ１１９ａは、立体映像処理装置１００前方を含む領域を撮像する。

顔検出部１１９ｂは、カメラ１１９ａで撮像される映像からユーザの顔を検出する。顔検出部１１９ｂは、検出したユーザの顔に固有の番号（ＩＤ）を付与する。この顔検出には既知の手法を用いることができる。例えば、顔認識のアルゴリズムは、見た目の特徴を直接幾何学的に比較する方法と、画像を統計的に数値化してその数値をテンプレートと比較する方法との大別できるが、この実施形態では、どちらのアルゴリズムを用いて顔を検出してもよい。

不揮発性メモリ１１９ｃは、顔検出部１１９ｂで顔を検出できなかった場合、該顔を検出できなかった際の画像を記憶する。顔を検出できない場合としては、例えば、リモコン３の操作のためにユーザが下を向いている場合や、横にいる他のユーザと話すためにユーザが横を向いている場合などが考えられる。この不揮発性メモリ１１９ｃに記憶された画像は、映像表示部１１３に表示されるため、ユーザは、なぜ顔検出に失敗したのかを容易に理解、推考することができる。

なお、顔検出の失敗は、例えば、数秒に１度、カメラ１１９ａで撮像される映像からユーザの顔の検出を行い、複数回（例えば、３回）連続して顔の検出に失敗した場合に、顔の検出に失敗したと判断すればよい。

位置算出部１１９ｄは、顔検出部１１９ｂで顔を検出したユーザの位置座標を算出する。このユーザの位置座標の算出には既知の手法を用いることができる。例えば、顔検出部１１９ｂで検出した顔の右目から左目の距離と、撮像した映像の中心から顔中心（右目と左目の中央）の座標とに基づいて顔を検出したユーザの位置座標を算出するようにしてもよい。

撮像した映像の中心から顔中心の座標からは、ユーザの上下及び左右方向（ｘ−ｙ平面）における位置がわかる。また、顔の右目から左目の距離からは、カメラ１１９ａからユーザまでの距離を算出できる。通常、人間の右目と左目との距離は６５ｍｍ程度であることから、右目と左目との距離がわかればカメラ１１９ａからユーザまでの距離を算出することができる。

また、位置算出部１１９ｄは、顔検出部１１９ｂで付与したＩＤと同じＩＤを算出した位置座標のデータに付与する。なお、位置座標は、３次元の座標データとして認識できればよく、一般的に知られている座標系（例えば、直交座標系、極座標系、球座標系）のいずれで表現してもよい。

カメラモジュール１１９は、カメラ１１９ａで撮像した映像にユーザの顔が検出できない場合、制御部１１４へアラート信号と、不揮発性メモリ１１９ｃに記憶されている顔を検出できなかった際の画像を出力する。また、ユーザの顔を検出できた場合、位置算出部１１９ｄで算出した位置座標を、顔認識部１１９ｂで付与したＩＤと共に出力する。なお、ユーザの顔の検出及び検出した顔（ユーザ）の位置座標の算出は、後述の制御部１１４で行うようにしてもよい。

制御部１１４は、ＲＯＭ（Read Only Memory）１１４ａ、ＲＡＭ（Random Access Memory）１１４ｂ、不揮発性メモリ１１４ｃ、ＣＰＵ１１４ｄを備える。ＲＯＭ１１４ａには、ＣＰＵ１１４ｄが実行する制御プログラムが格納されている。ＲＡＭ１１４ｂは、ＣＰＵ１１４ｄは作業エリアとして機能する。不揮発性メモリ１１４ｃには、各種の設定情報（例えば、上述の視差、トラッキング、アラート画面表示の設定情報）や視域情報等が格納されている。視域情報は、実空間における視域の分布を３次元の座標データとしたものである。視域情報は、２視差と９視差のそれぞれが不揮発性メモリ１１４ｃに記憶されている。

制御部１１４は、立体映像処理装置１００全体を制御する。具体的には、制御部１１４は、操作部１１５及び受光部１１６から入力される操作信号や不揮発性メモリ１１４ｃに記憶されている設定情報に基づいて立体映像処理装置１００全体の動作を制御する。以下、制御部１１４の代表的な動作について説明する。

（視差数の制御）
制御部１１４は、不揮発性メモリ１１４ｃに記憶されている視差が２視差であれば、信号処理部１０７から出力される映像信号から２視差用の画像データを生成するようグラフィック処理部１０８へ指示する。制御部１１４は、不揮発性メモリ１１４ｃに記憶されている視差が９視差であれば、信号処理部１０７から出力される映像信号から９視差用の画像データを生成するようグラフィック処理部１０８へ指示する。

（トラッキングの制御）
また、制御部１１４は、不揮発性メモリ１１４ｃに記憶されているオートトラッキングがＯＮの場合、所定の時間（例えば、数十秒〜数分）ごとに、カメラモジュール１１９で撮像される映像からユーザの位置を算出し、該算出した位置に視域が形成されるように映像表示部１１３の各画素からの光線の軌道を制御する。また、制御部１１４は、不揮発性メモリ１１４ｃに記憶されているオートトラッキングがＯＦＦの場合、ユーザが操作部１１５又はリモコン３を操作して、視域の形成を指示したときにのみカメラモジュール１１９で撮像される映像からユーザの位置を算出し、該算出した位置に視域が形成されるように映像表示部１１３の各画素からの光線の軌道を制御する。

（アラート画面の表示）
制御部１１４は、カメラモジュール１１９からアラート信号が送信されると、ＯＳＤ信号生成部１０９に、顔を検出できない旨を通知する画像信号を生成し、映像表示部１１３に表示するよう指示する。図２は、実際に映像表示部１１３に表示される画像図である。図２に示すように、映像表示部１１３の下側に配置される表示枠２０１内には、顔が検出できなかった旨のメッセージ「トラッキング（顔検出）に失敗しました。」及びその後の操作を促すメッセージ「［青］を押して３Ｄ視聴位置チェックを行ってください。」が表示される。

また、表示枠２０２内には、「［決定］を押す」が表示される。ユーザが操作部１１５もしくはリモコン３の青のカラーキーを押下げた場合、後述の図３の視聴位置確認画面が映像表示部１１３に表示される。また、ユーザが操作部１１５もしくはリモコン３の決定キーを押下げた場合、図２に示す枠２０１，２０２及び枠２０１，２０２内のメッセージが非表示となる。なお、ユーザが、アラート画面表示をＯＦＦに設定している場合、図２に示す画像は表示されない。

（視聴位置確認画面の表示）
図２に示すアラート画面が映像表示部１１３に表示された後、ユーザにより、操作部１１５又はリモコン３の青色のカラーキーが押下げされると、制御部１１４は、ＯＳＤ信号生成部１０９に、立体映像の視聴位置を確認するための画像信号を生成し、映像表示部１１３に表示するよう指示する。なお、この実施形態では、視聴位置確認画面への移行操作に青色のカラーキーを割り当てているが、他の操作キーを割り当てるようにしてもよい。

図３は、実際に映像表示部１１３に表示される画像図である。図３に示すように、映像表示部１１３には、表示枠３０１〜３０５が表示される。各表示枠３０１〜３０５内には、ユーザが視域内で立体画像を視聴するために必要な種々の情報が提示される。

表示枠３０１内には、ユーザが映像を立体として認識できる領域、すなわち視域内で立体画像を視聴するために必要な事項が表示される。

表示枠３０２内には、カメラモジュール１１９のカメラ１１９ａで撮像される映像が表示される。ユーザは、表示枠３０２内に表示される映像により、顔の向きや位置、実際に顔が認識されているかどうか等を確認することができる。ユーザの顔が認識されている場合、認識したユーザの顔が枠により囲まれる。枠の上部には、カメラモジュール１１９の顔検出部１１９ｂで付与されたＩＤ（この実施形態では、アルファベット）が表示される。

なお、この実施形態では、ユーザが視域内であるか視域外であるか応じて枠の表示態様が異なる。図３に示す例では、ユーザが視域内である場合、ユーザの顔を囲む枠は実線で描画され、ユーザが視域外である場合、ユーザの顔を囲む枠は破線で描画されている。図３に示す例では、ユーザＡ，Ｂが視域内であり、ユーザＣが視域外であることがわかる。

ユーザが視域外にいる場合、いわゆる逆視やクロストーク等の発生により、ユーザは映像を立体として認識できないが、この実施形態では、ユーザが視域内であるか否かに応じて枠の表示態様が異なるため、ユーザの位置が視域内か視域外かを簡単に確認することができる。なお、図３に示す例では、ユーザの顔を囲む枠の線の種類（実線、破線）をユーザの位置が視域内か否かに応じて異なるものとしているが他の表示形態、例えば、枠の形状（四角、三角、円等）、色等をユーザの位置が視域内か否かに応じて異なるものとしてもよい。このようにしても、ユーザの位置が視域内か視域外かを簡単に確認することができる。

ユーザの位置が視域内であるかどうかは、位置算出部１１９ｄで算出されたユーザの位置座標及び不揮発性メモリ１１４ｃに記憶されている視域情報に基づいて判定される。この際、制御部１１４は、視差数の設定が２視差か９視差かに応じて、参照する視域情報を変更する。すなわち、制御部１１４は、視差数の設定が２視差の場合、２視差用の視域情報を参照する。また、制御部１１４は、視差数の設定が９視差の場合、９視差用の視域情報を参照する。

表示枠３０３内には、不揮発性メモリ１１９ｃに記憶されている顔を検出できなかった際の画像が表示される。表示枠３０３内に表示される画像を確認することで、ユーザは、なぜ顔検出に失敗したのかを容易に理解することができる。例えば、図３に示す例では、ユーザが下を向いているために、顔を認識することができなかったことが理解できる。

表示枠３０４内には、現在の設定情報が表示される。具体的には、立体映像の視差数が２視差であるか９視差であるか、及び、オートトラッキングがＯＮであるかＯＦＦであるかが表示される。

表示枠３０５内には、立体映像を立体的に視聴可能な領域である視域３０５ａ（斜線部）と、カメラモジュール１１９の位置算出部１１９ｄで算出したユーザの位置情報（ユーザを示すアイコンと、該アイコンを囲む枠）及びＩＤ（アルファベット）が俯瞰図として表示される。表示枠３０５内に表示される俯瞰図は、不揮発性メモリ１１４ｃに記憶されている視域情報及び位置算出部１１９ｄで算出したユーザの位置座標に基づいて表示される。

ユーザは、表示枠３０５内に表示される俯瞰図を参照することで、自分の顔が認識されているか否か、認識されている場合、視域３０５ａ内に位置するかどうか、視域３０５ａ外にいる場合、どの方向に移動すれば視域３０５ａ内となるのかを容易に理解することができる。

また、この実施形態では、俯瞰図に示されるユーザの位置情報についても、視域内であるか視域外であるか応じて表示態様が異なる。図３に示す例では、ユーザが視域内である場合、ユーザを示すアイコンを囲む枠は実線で描画され、ユーザが視域外である場合、ユーザを示すアイコンを囲む枠は破線で描画されている。図３に示す例では、ユーザＡ，Ｂが視域内であり、ユーザＣが視域外であることがわかる。なお、図３に示す例では、ユーザを示すアイコンを囲む枠の線の種類（実線、破線）をユーザの位置が視域内か否かに応じて異なるものとしているが、他の表示形態、例えば、アイコンを囲む枠の形状（四角、三角、円等）、色等をユーザの位置が視域内か否かに応じて異なるものとしてもよい。

また、表示枠３０２内に表示される映像と表示枠３０５内に表示される俯瞰図では、同一のユーザには、同一のアルファベットが上部に表示されるため、ユーザ、すなわち視聴者が複数人いる場合でも、自身がどの位置にいるかを容易に理解することができる。なお、図３では、同一のユーザには、同一のアルファベットを表示するようにしているが、他の方法、例えば、枠の色や形状により同一のユーザを表すようにしてもよい。

なお、表示枠３０５内の破線３０５ｂは、カメラ１１９ａの撮像範囲の境界を表している。つまり、カメラ１１９ａで実際に撮像され、表示枠３０２内に表示される範囲は、破線３０５ｂよりも下側の範囲となる。このため、表示枠３０５内の破線３０５ｂよりも左上及び右上の範囲については、表示枠３０５内への表示を省略するようにしてもよい。

（テストパターンの表示）
図３に示す視聴位置確認画面が映像表示部１１３に表示された後、ユーザにより、操作部１１５又はリモコン３の青色のカラーキーが押下げされると、制御部１１４は、ＯＳＤ信号生成部１０９に、立体映像のテストパターンを表示するための画像信号を生成し、映像表示部１１３に表示するよう指示する。なお、この実施形態では、テストパターンへの移行操作に青色のカラーキーを割り当てているが、他の操作キーを割り当てるようにしてもよい。

ＯＳＤ信号生成部１０９は、テストパターンの画像信号を生成し、映像表示部１１３に出力する。映像表示部１１３には、立体画像のテストパターンが表示される。ユーザは、このテストパターンにより、現在の位置で、映像表示部１１３に表示される映像を立体として認識できるかどうか、すなわち視域内であるかどうかを確認することができる。

（視域情報の更新）
制御部１１４は、オートトラッキングやユーザの操作により視域が変更される度に新たな視域の分布を再計算し、不揮発性メモリ１１４ｃに記憶されている視域情報を更新する。

（立体映像処理装置１００の動作）
図４は、立体映像処理装置１００の動作を示すフローチャートである。以下、図４を参照して、立体映像処理装置１００の動作を説明する。

カメラモジュール１１９は、カメラ１１９ａにて立体映像処理装置１００前方を撮像する（ステップＳ１０１）。顔検出部１１９ｂは、カメラ１１９ａで撮像される映像に対して顔検出を行う（ステップＳ１０２）。顔が検出できる場合（ステップＳ１０２のＹｅｓ）、カメラモジュール１１９は、ステップＳ１０１の動作に戻る。

顔検出部１１９ｂにて顔が認識できない場合（ステップＳ１０２のＮｏ）、カメラモジュール１１９は、制御部１１４へアラート信号を送信する。制御部１１４は、アラート信号を受信すると、不揮発性メモリ１１４ｃに記憶されているアラート画面表示の設定を参照し、アラート画面表示の設定がＯＮであるかどうかを確認する（ステップＳ１０３）。

アラート画面表示の設定がＯＮの場合（ステップＳ１０３のＹｅｓ）、制御部１１４は、ＯＳＤ信号生成部１０９に、顔を検出できない旨を通知する画像信号を生成し、映像表示部１１３に表示するよう指示する。ＯＤＳ信号生成部１０９は、制御部１１４からの指示に基づいて画像信号を生成して映像表示部１１３へ出力する。映像表示部１１３では、図２に示したアラート画面が表示される（ステップＳ１０４）。なお、アラート画面表示の設定がＯＦＦの場合（ステップＳ１０３のＮｏ）、制御部１１４は、後述のステップＳ１０６の動作を実施する。

アラート画面が表示された後、制御部１１４は、ユーザにより操作部１１５又はリモコン３の青色のカラーキーが押下げされたかどうかを判定する（ステップＳ１０５）。この判定は、青色のカラーキーの押下げに対応する操作信号が制御部１１４で受信されたかどうかで判定することができる。

カラーキーが押下げされた場合（ステップＳ１０５のＹｅｓ）、制御部１１４は、立体映像の視聴位置を確認するための画像信号を生成し、映像表示部１１３に表示するよう指示する。ＯＤＳ信号生成部１０９は、制御部１１４からの指示に基づいて画像信号を生成して映像表示部１１３へ出力する。映像表示部１１３では、図３に示した視聴位置確認画面が表示される（ステップＳ１０６）。なお、カラーキーが押下げされない場合（ステップＳ１０５のＮｏ）、制御部１１４は、カラーキーが押下げられるまで待機する。

ユーザは、映像表示部１１３に表示される視聴位置確認画面を確認して、立体画像を立体的に視聴することができる領域（視域）内に位置するかを確認し、視域内に位置しない場合は、自身の位置が視域内となるように移動する。

視聴位置確認画面が表示された後、制御部１１４は、ユーザにより操作部１１５又はリモコン３の青色のカラーキーが押下げされたかどうかを判定する（ステップＳ１０７）。この判定は、青色のカラーキーの押下げに対応する操作信号が制御部１１４で受信されたかどうかで判定することができる。

カラーキーが押下げされた場合（ステップＳ１０７のＹｅｓ）、制御部１１４は、ＯＳＤ信号生成部１０９に、立体映像のテストパターンを表示するための画像信号を生成し、映像表示部１１３に表示するよう指示する。ＯＳＤ信号生成部１０９は、テストパターンの画像信号を生成し、映像表示部１１３に出力する。映像表示部１１３には、立体画像のテストパターンが表示される（ステップＳ１０８）。なお、カラーキーが押下げされない場合（ステップＳ１０７のＮｏ）、制御部１１４は、カラーキーが押下げられるまで待機する。

ユーザは、このテストパターンにより、実際に、映像表示部１１３に表示される映像が立体的に視聴できているかを確認する（ステップＳ１０９）。テストパターンが立体的に視聴できている場合（ステップＳ１０９のＹｅｓ）、ユーザは、操作部１１５又はリモコン３の決定キーを操作して動作を終了させる。また、テストパターンが立体的に視聴できない場合（ステップＳ１０９のＮｏ）、ユーザは、操作部１１５又はリモコン３のＢＡＣＫ（戻る）キーを操作して、ステップＳ１０６の動作に戻り、視聴位置の確認を再度実施する。

以上のように、実施形態に係る立体映像処理装置１００では、ユーザの顔の検出に失敗した場合、図２に示すアラート画面が映像表示部１１３に表示される。このため、ユーザは、顔が検出されていないことを直ちに認識することができる。また、設定により、このアラート画面の表示をＯＮ又はＯＦＦできるのでユーザの利便性が向上する。

また、実施形態に係る立体映像処理装置１００では、図３に示す視聴位置確認画面が映像表示部１１３に表示される。視聴位置確認画面の表示枠３０２内には、カメラモジュール１１９で撮像される映像が表示され、ユーザの顔が認識されている場合、認識したユーザの顔が枠により囲まれる。このため、ユーザは、自身の顔の向きや位置、実際に顔が認識されているかどうか等を簡易に確認することができる。また、ユーザが視域内であるか視域外であるか応じて枠の表示態様（例えば、枠の形状（四角、三角、円等）、色、線の種類（実線、破線等））が異なるため、ユーザの位置が視域外か視域内かを簡単に確認することができる。

また、視聴位置確認画面の表示枠３０３内には、顔を検出できなかった際の画像が表示される。このため、ユーザは、なぜ顔検出に失敗したのかを容易に理解することができる。また、視聴位置確認画面の表示枠３０４内には、現在の設定情報が表示される。このため、ユーザは、現在の設定状況を容易に知ることができる。

さらに、視聴位置確認画面の表示枠３０５内には、立体映像を立体的に視聴可能な領域である視域３０５ａ（斜線部）と、カメラモジュール１１９の位置算出部１１９ｄで算出したユーザの位置情報（ユーザを示すアイコンと、該アイコンを囲む枠）が俯瞰図として表示される。各ユーザの位置情報には、付与されたＩＤが上部に表示される。また、ユーザが視域内であるか視域外であるか応じて、ユーザを示すアイコンを囲む枠の表示態様（例えば、枠の形状（四角、三角、円等）、色、線の種類（実線、破線等））が異なるため、ユーザの位置が視域外か視域内かを簡単に確認することができる。その結果、ユーザは、表示枠３０５内に表示される俯瞰図を参照することで、自分の顔が認識されているか否か、認識されている場合、視域３０５ａ内に位置するかどうか、視域３０５ａ外にいる場合、どの方向に移動すれば視域３０５ａ内となるのかを容易に理解することができる。

さらに、表示枠３０２内に表示される映像と表示枠３０５内に表示される俯瞰図では、同一のユーザには、同一のＩＤが表示されるため、ユーザ、すなわち視聴者が複数人いる場合でも、自身がどの位置にいるかを容易に理解することができる。

また、図３が表示された後、所定の操作を行うことで、映像表示部１１３にテストパターンが表示される。ユーザは、このテストパターンにより、実際に、映像表示部１１３に表示される映像が立体的に視聴できているかを確認することができるためユーザの利便性が向上する。

（その他の実施形態）
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。例えば、上記実施形態では、立体映像処理装置１００としてデジタルテレビを例に説明したが、立体映像をユーザに提示する機器（例えば、ＰＣ（Personal computer）、携帯電話、タブレットＰＣ、ゲーム機器等）や立体映像を提示するディスプレイに映像信号を出力する信号処理装置（例えば、ＳＴＢ（Set Top Box））であれば本発明を適用することができる。また、上記実施形態では、視域とユーザの位置との関係を俯瞰図としてユーザに提示しているが（図３参照）、視域とユーザの位置との位置関係が把握できれば俯瞰図でなくともよい。さらに、上記実施形態では、ユーザの顔を検出して、ユーザの位置情報を算出しているが、他の手法によりユーザを検出するようにしてもよい。この際は、例えば、ユーザの顔以外の部分（例えば、ユーザの肩や上半身等）を検出するようにしてもよい。

１，２…アンテナ、３…リモートコントローラ（リモコン）、１００…立体映像処理装置、１０１〜１０３…チューナ、１０４…ＰＳＫ復調器、１０５…ＯＦＤＭ復調器、１０６…アナログ復調器、１０７…信号処理部、１０８…グラフィック処理部、１０９…ＯＳＤ信号生成部、１１０…音声処理部、１１１…スピーカ、１１２…映像処理部、１１３…映像表示部（ディスプレイ）、１１４…制御部（コントローラ）、１１５…操作部（操作受付モジュール）、１１６…受光部（操作受付モジュール）、１１７…端子、１１８…通信Ｉ／Ｆ、１１９…カメラモジュール（撮像モジュール、顔検出モジュール、位置算出モジュール）。

Claims (17)

1. 立体映像を表示するディスプレイの前方を含む領域を撮像する撮像モジュールと、
   前記撮像モジュールで撮像される映像からユーザの顔を検出する顔検出モジュールと、
   前記顔検出モジュールで顔を検出した前記ユーザの位置を算出する位置算出モジュールと、
   前記位置算出モジュールで算出した前記ユーザの位置が、前記立体映像を立体として認識できる領域外である場合、顔が検出できた旨及び前記立体映像を立体として認識できる領域外である旨を前記ディスプレイに表示するよう制御するコントローラと、
   を備え、
   前記コントローラは、
   前記顔検出モジュールにて前記ユーザの顔が検出できない場合、顔が検出できない旨を通知し、前記立体映像を立体として認識できる領域を示す第１の画像を前記ディスプレイに表示するよう制御し、
   前記撮像モジュールで撮像される映像を前記ディスプレイに表示するよう制御し、
   前記位置算出モジュールで算出した前記ユーザの位置が、前記立体映像を立体として認識できる領域内であるか否かに応じて、前記撮像モジュールで撮像される映像のユーザに対して異なる表示形態で前記ディスプレイに表示するよう制御する電子機器。
2. 前記第１の画像を表示する第１の指示操作を受け付ける操作受付モジュールをさらに備え、
   前記コントローラは、
   前記操作受付モジュールが前記第１の指示操作を受け付けると前記第１の画像を前記ディスプレイに表示するよう制御する請求項１に記載の電子機器。
3. 前記コントローラは、
   前記位置算出モジュールで算出したユーザの位置を前記第１の画像上に表示するよう制御する請求項１に記載の電子機器。
4. 前記コントローラは、
   前記位置算出モジュールで算出した前記ユーザの位置が、前記立体映像を立体として認識できる領域内であるか否かに応じて、前記第１の画像上のユーザの位置情報を異なる表示形態で前記ディスプレイに表示するよう制御する請求項３に記載の電子機器。
5. 前記操作受付モジュールは、
   前記立体映像を立体として認識できるかどうかを確認するためのテストパターンを表示する第２の指示操作を受け付け、
   前記コントローラは、
   前記操作受付モジュールが、前記第２の指示操作を受け付けると、前記テストパターンを前記ディスプレイに表示するよう制御する請求項２に記載の電子機器。
6. 前記コントローラは、
   前記ユーザの顔が検出できない場合、該顔を検出できなかった際の第２の画像を前記ディスプレイに表示するよう制御する請求項１乃至請求項５のいずれか１項に記載の電子機器。
7. 立体映像を表示するディスプレイの前方を含む領域を撮像する撮像モジュールと、
   前記撮像モジュールで撮像される映像からユーザの顔を検出する顔検出モジュールと、
   前記顔検出モジュールで顔を検出した前記ユーザの位置を算出する位置算出モジュールと、
   前記位置算出モジュールで算出した前記ユーザの位置が、前記立体映像を立体として認識できる領域外である場合、顔が検出できた旨及び前記立体映像を立体として認識できる領域外である旨を前記ディスプレイに表示するよう制御するコントローラと、
   を備え、
   前記コントローラは、
   前記顔検出モジュールにて前記ユーザの顔が検出できない場合、顔が検出できない旨を通知し、前記立体映像を立体として認識できる領域を示す第１の画像を前記ディスプレイに表示するよう制御し、
   前記撮像モジュールで撮像される映像を前記ディスプレイに表示するよう制御し、
   前記ディスプレイに表示される前記撮像モジュールで撮像される映像のユーザと、前記第１の画像上に表示される前記ユーザの位置とを対応付けて表示するよう制御する電子機器。
8. 立体映像を表示するディスプレイの前方を含む領域を撮像する撮像モジュールで撮像される映像からユーザを検出する検出モジュールと、
   前記撮像モジュールで撮像される映像を前記ディスプレイに表示し、前記ユーザの位置が、前記立体映像を立体として認識できる領域内であるか否かに応じて、前記撮像モジュールで撮像される映像のユーザに対して異なる表示形態で前記ディスプレイに表示するよう制御するコントローラと、
   を備える電子機器。
9. 前記コントローラは、
   前記検出モジュールにて前記ユーザが検出できない場合、ユーザが検出できない旨を通知し、前記立体映像を立体として認識できる領域を示す第１の画像を前記ディスプレイに表示するよう制御する請求項８に記載の電子機器。
10. 前記第１の画像を表示する第１の指示操作を受け付ける操作受付モジュールをさらに備え、
    前記コントローラは、
    前記操作受付モジュールが前記第１の指示操作を受け付けると前記第１の画像を前記ディスプレイに表示するよう制御する請求項９に記載の電子機器。
11. 前記コントローラは、
    前記検出モジュールで検出されたユーザの位置を前記第１の画像上に表示するよう制御する請求項９に記載の電子機器。
12. 前記コントローラは、
    前記ディスプレイに表示される前記撮像モジュールで撮像される映像のユーザと、前記第１の画像上に表示される前記ユーザの位置とを対応付けて表示するよう制御する請求項９に記載の電子機器。
13. 前記操作受付モジュールは、
    前記立体映像を立体として認識できるかどうかを確認するためのテストパターンを表示する第２の指示操作を受け付け、
    前記コントローラは、
    前記操作受付モジュールが、前記第２の指示操作を受け付けると、前記テストパターンを前記ディスプレイに表示するよう制御する請求項１０に記載の電子機器。
14. 前記コントローラは、
    前記ユーザの顔が検出できない場合、該顔を検出できなかった際の第２の画像を前記ディスプレイに表示するよう制御する請求項８乃至請求項１３のいずれか１項に記載の電子機器。
15. ディスプレイの前方を含む領域を撮像する撮像モジュールと、前記撮像モジュールで撮像される映像からユーザの顔を検出する顔検出モジュールと、前記ユーザの位置を算出する位置算出モジュールと、前記ディスプレイの表示を制御するコントローラと、を備える電子機器の制御方法であって、
    前記撮像モジュールが、立体映像を表示する前記ディスプレイの前方を含む領域を撮像し、
    前記顔検出モジュールが、前記撮像モジュールで撮像される映像から前記ユーザの顔を検出し、
    位置算出モジュールが、前記顔検出モジュールで顔を検出した前記ユーザの位置を算出し、
    前記コントローラが、前記位置算出モジュールで算出した前記ユーザの位置が、前記立体映像を立体として認識できる領域外である場合、顔が検出できた旨及び前記立体映像を立体として認識できる領域外である旨を前記ディスプレイに表示するよう制御し、
    前記顔検出モジュールにて前記ユーザの顔が検出できない場合、顔が検出できない旨を通知し、前記立体映像を立体として認識できる領域を示す第１の画像を前記ディスプレイに表示するよう制御し、
    前記撮像モジュールで撮像される映像を前記ディスプレイに表示するよう制御し、
    前記位置算出モジュールで算出した前記ユーザの位置が、前記立体映像を立体として認識できる領域内であるか否かに応じて、前記撮像モジュールで撮像される映像のユーザに対して異なる表示形態で前記ディスプレイに表示するよう制御する電子機器の制御方法。
16. ディスプレイの前方を含む領域を撮像する撮像モジュールと、前記撮像モジュールで撮像される映像からユーザの顔を検出する顔検出モジュールと、前記ユーザの位置を算出する位置算出モジュールと、前記ディスプレイの表示を制御するコントローラと、を備える電子機器の制御方法であって、
    前記撮像モジュールが、立体映像を表示する前記ディスプレイの前方を含む領域を撮像し、
    前記顔検出モジュールが、前記撮像モジュールで撮像される映像から前記ユーザの顔を検出し、
    位置算出モジュールが、前記顔検出モジュールで顔を検出した前記ユーザの位置を算出し、
    前記コントローラが、前記位置算出モジュールで算出した前記ユーザの位置が、前記立体映像を立体として認識できる領域外である場合、顔が検出できた旨及び前記立体映像を立体として認識できる領域外である旨を前記ディスプレイに表示するよう制御し、
    前記顔検出モジュールにて前記ユーザの顔が検出できない場合、顔が検出できない旨を通知し、前記立体映像を立体として認識できる領域を示す第１の画像を前記ディスプレイに表示するよう制御し、
    前記撮像モジュールで撮像される映像を前記ディスプレイに表示するよう制御し、
    前記ディスプレイに表示される前記撮像モジュールで撮像される映像のユーザと、前記第１の画像上に表示される前記ユーザの位置とを対応付けて表示するよう制御する電子機器の制御方法。
17. ディスプレイの前方を含む領域を撮像した映像からユーザを検出する検出モジュールと、前記ユーザの位置に応じて、前記ディスプレイの表示を制御するコントローラと、を備える電子機器の制御方法であって、
    前記検出モジュールが、立体映像を表示するディスプレイの前方を含む領域を撮像する撮像モジュールで撮像される映像からユーザを検出し、
    前記コントローラが、前記撮像モジュールで撮像される映像を前記ディスプレイに表示し、前記ユーザの位置が、前記立体映像を立体として認識できる領域内であるか否かに応じて、前記撮像モジュールで撮像される映像のユーザに対して異なる表示形態で前記ディスプレイに表示するよう制御する電子機器の制御方法。

Images