WO2020262261A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

携帯端末（８０）（情報処理装置）の被写体特徴検出部（５３）（検出部）が、撮像画像（Ｉ）に３Ｄモデル（９０Ｍ）と同時に表示された被写体（９２）の視線方向（Ｅ）（特徴）を検出する。そして、表示制御部（５４）（制御部）が、被写体特徴検出部（５３）が検出した被写体（９２）の視線方向（Ｅ）に応じて、３Ｄモデル（９０Ｍ）がカメラ（８４）を向くように、３Ｄモデル（９０Ｍ）の視線方向（Ｆ）（表示態様）を変更する。

Description

情報処理装置、情報処理方法及びプログラム

　本開示は、情報処理装置、情報処理方法及びプログラムに関し、特に、３Ｄオブジェクトに対して、観察者の動作に応じた、インタラクティブな動作や反応を行わせることができる情報処理装置、情報処理方法及びプログラムに関する。

　従来、現実の３Ｄ空間をセンシングした情報、例えば異なる視点から被写体を撮像した多視点映像を用いて、視聴空間内に３Ｄオブジェクトを生成し、そのオブジェクトが視聴空間内に存在しているかのように見える映像（Volumetric　Videoとも言う）を生成する方法が提案されている（例えば、特許文献１）。

国際公開第２０１７／０８２０７６号

　上述した方法により生成された映像は、被写体の実際の映像を用いて生成された３Ｄ形状映像であるため、当該３Ｄ形状映像を観察する観察者は、被写体がより身近にいるような没入感や臨場感を味わうことができる。

　しかしながら、生成された３Ｄオブジェクトに対して、観察者の動作や状態に応じた動作や反応を行わせることはできなかった。すなわち、３Ｄオブジェクトは、観察者に対してインタラクティブな動作や反応を行うことはできなかった。

　そこで、本開示では、観察者である被写体を含む撮像画像に表示した３Ｄオブジェクトに、被写体に対してインタラクティブな動作や反応を行わせることが可能な情報処理装置、情報処理方法及びプログラムを提案する。

　上記の課題を解決するために、本開示に係る一形態の情報処理装置は、撮像画像の中に表示された３Ｄモデルを制御する制御部と、前記撮像画像に前記３Ｄモデルと同時に表示された被写体の特徴を検出する検出部と、を備え、前記制御部は、前記検出部が検出した前記被写体の特徴に応じて、前記３Ｄモデルの表示態様を変更する情報処理装置である。

撮像から３Ｄモデルの生成までの流れの概要を示す図である。 ＡＲアプリケーションについて説明する図である。 第１の実施形態に係る携帯端末の動作状態の一例を示す第１の図である。 第１の実施形態に係る携帯端末の動作状態の一例を示す第２の図である。 第１の実施形態に係る携帯端末のハードウエア構成の一例を示すハードウエアブロック図である。 第１の実施形態に係る携帯端末の機能構成の一例を示す機能ブロック図である。 視線方向の計測方法について説明する図である。 ３Ｄモデルの描画方向の変更方法について説明する図である。 第１の実施形態に係る携帯端末が行う処理の流れの一例を示すフローチャートである。 第２の実施形態に係る携帯端末の動作状態の一例を示す図である。 第２の実施形態に係る携帯端末が行う処理の流れの一例を示すフローチャートである。 第３の実施形態に係る携帯端末の機能構成の一例を示す機能ブロック図である。 第３の実施形態に係る携帯端末が行う処理の流れの一例を示すフローチャートである。 第４の実施形態に係る携帯端末の機能構成の一例を示す機能ブロック図である。 第４の実施形態に係る携帯端末が行う処理の流れの一例を示すフローチャートである。 第５の実施形態に係る携帯端末の機能構成の一例を示す機能ブロック図である。 第５の実施形態に係る携帯端末が行う処理の流れの一例を示すフローチャートである。 第６の実施形態に係る携帯端末の機能構成の一例を示す機能ブロック図である。 第６の実施形態に係る携帯端末が行う処理の流れの一例を示すフローチャートである。 第７の実施形態に係る携帯端末の機能構成の一例を示す機能ブロック図である。 第７の実施形態に係る携帯端末が行う処理の流れの一例を示すフローチャートである。 第８の実施形態の情報処理装置の概要を説明する図である。 第８の実施形態に係る情報処理装置の機能構成の一例を示す機能ブロック図である。 第８の実施形態に係る情報処理装置が行う処理の流れの一例を示すフローチャートである。 第９の実施形態の情報処理装置の概要を説明する図である。 第９の実施形態に係る情報処理装置の機能構成の一例を示す機能ブロック図である。 第９の実施形態に係る情報処理装置が行う処理の流れの一例を示すフローチャートである。

　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

　また、以下に示す項目順序に従って本開示を説明する。
　　１．第１の実施形態
　　　１－１．前提事項の説明－３Ｄモデル
　　　１－２．前提事項の説明－ＡＲアプリケーション
　　　１－３．携帯端末の概要
　　　１－４．携帯端末のハードウエア構成
　　　１－５．携帯端末の機能構成
　　　１－６．視線方向の計測方法
　　　１－７．３Ｄモデルの描画方向の変更方法
　　　１－８．携帯端末が行う処理の流れ
　　　１－９．第１の実施形態の効果
　　２．第２の実施形態
　　　２－１．第２の実施形態の概要
　　　２－２．携帯端末が行う処理の流れ
　　　２－３．第２の実施形態の効果
　　３．第３の実施形態
　　　３－１．携帯端末の機能構成
　　　３－２．携帯端末が行う処理の流れ
　　　３－３．第３の実施形態の効果
　　４．第４の実施形態
　　　４－１．携帯端末の機能構成
　　　４－２．携帯端末が行う処理の流れ
　　　４－３．第４の実施形態の効果
　　５．第５の実施形態
　　　５－１．携帯端末の機能構成
　　　５－２．携帯端末が行う処理の流れ
　　　５－３．第５の実施形態の効果
　　６．第６の実施形態
　　　６－１．携帯端末の機能構成
　　　６－２．携帯端末が行う処理の流れ
　　　６－３．第６の実施形態の効果
　　７．第７の実施形態
　　　７－１．携帯端末の機能構成
　　　７－２．携帯端末が行う処理の流れ
　　　７－３．第７の実施形態の効果
　　８．第８の実施形態
　　　８－１．情報処理装置の概要
　　　８－２．情報処理装置の機能構成
　　　８－３．情報処理装置が行う処理の流れ
　　　８－４．第８の実施形態の効果
　　９．第９の実施形態
　　　９－１．情報処理装置の概要
　　　９－２．情報処理装置の機能構成
　　　９－３．情報処理装置が行う処理の流れ
　　　９－４．第９の実施形態の効果　

（１．第１の実施形態）
　本開示の実施形態を説明する前に、実施形態を実現するために必要な前提事項を説明する。

［１－１．前提事項の説明－３Ｄモデル］
　図１は、撮像から３Ｄモデルの生成までの流れの概要を示す図である。

　図１に示されるように、３Ｄモデルの生成には、複数の撮像装置１－１乃至１－３による被写体９０（オブジェクト）の撮像と、３Ｄモデリングにより被写体９０の３Ｄ情報を有する３Ｄモデル９０Ｍを生成する処理とが含まれる。

　具体的には、複数の撮像装置１－１乃至１－３は、図１に示すように、現実世界に存在する被写体９０を取り囲むように、被写体９０の外側に、内側向きに配置される。図１は、撮像装置の台数が３台の例を示しており、撮像装置１－１乃至１－３が被写体９０の周りに配置されている。図１の例においては、所定の動作を行う人物が被写体９０とされている。

　異なる視点から、同期して撮像された３台の撮像装置１－１乃至１－３によってＶｏｌｕｍｅｔｒｉｃ撮影された複数の視点画像を用いて３Ｄモデリングが行われ、３台の撮像装置１－１乃至１－３の映像フレーム単位で被写体９０の３Ｄモデルが生成される。

　３Ｄモデルは、被写体９０の３Ｄ情報を有するモデルである。３Ｄモデル９０Ｍは、被写体９０のジオメトリ情報を、ポリゴンメッシュと呼ばれる、頂点（Vertex）と頂点との繋がりで表現したメッシュデータと、各ポリゴンメッシュに対応した、テクスチャ情報とデプス情報（距離情報）とを有する。なお、３Ｄモデル９０Ｍが有する情報はこれらに限定されるものではなく、その他の情報を有してもよい。

　また、３Ｄモデル９０Ｍには、メッシュ位置に応じて、当該メッシュの色や模様や質感を表すテクスチャを貼り付ける、いわゆるテクスチャマッピングが施される。テクスチャマッピングは、３Ｄモデル９０Ｍのリアリティを向上させるために、視点位置に応じた（View　Dependent）テクスチャを貼り付けるのが望ましい。しかし、計算量が増大するため、視線位置に依存しない（View　Independent）テクスチャを貼り付けてもよい。

　生成された３Ｄモデル９０Ｍには、当該３Ｄモデル９０Ｍが有する属性（特徴）に応じた識別番号が付与される。例えば、３Ｄモデル９０Ｍが人物である場合には、当該人物の顔の向き、視線の向き、表情等の各属性項目について、当該属性の属性値を示す識別番号が付与される。付与された識別番号は、所定の属性テーブルで一括管理される。そして、外部から所定の属性項目の属性値を与えた場合に、属性テーブルが参照されて、与えられた属性項目の属性値に対応する３Ｄモデル９０Ｍが読み出される。なお、属性テーブルの具体的な書式は問わない。

　読み出された３Ｄモデルを含むコンテンツデータは、再生側の装置に伝送されて再生される。３Ｄモデルを含むコンテンツデータが再生されて、当該３Ｄモデルのレンダリングが行われることにより、視聴者の視聴デバイスに３Ｄ形状映像が表示される。

　図１の例では、スマートフォンやタブレット端末等の携帯端末８０が視聴デバイスとして用いられる。携帯端末８０の表示画面８２には、撮像画像Ｉが表示される。撮像画像Ｉには、携帯端末８０が備えるカメラ８４が撮像した被写体９２が表示される。さらに、撮像画像Ｉには、携帯端末８０で動作する、後述するＡＲアプリケーションの作用によって、３Ｄモデル９０Ｍが重畳表示される。詳しくは後述する。

［１－２．前提事項の説明－ＡＲアプリケーション］
　図２は、ＡＲアプリケーションについて説明する図である。

　ＡＲ（Augmented　Reality）アプリケーションは、携帯端末８０上で動作して、何らかのトリガが発生したタイミングで、携帯端末８０の表示画面８２に、３Ｄモデル９０Ｍを重畳表示するアプリケーションである。

　具体的には、図２に示すように、携帯端末８０がモニタしている撮像画像Ｉの中から、所定の表示であるＡＲマーカ８５が検出された場合に、当該ＡＲマーカ８５に応じた位置に、３Ｄモデル９０Ｍが表示される。すなわち、前記したトリガは、撮像画像Ｉの中から所定の表示を検出することである。なお、ＡＲマーカ８５は、文字列、記号列、図形、写真、バーコード、２次元コード等のいずれの形態であってもよい、また、これらの形態に限定されるものではない。さらに、ＡＲマーカ８５は、２Ｄ表示であっても３Ｄ表示であってもよい。

　また、携帯端末８０が表示画面８２でモニタしている撮像画像Ｉに対して空間解析等を行って、所定の物標（構造物や自然物）が検出されたことをトリガにしてもよい（マーカレス）。さらに、携帯端末８０がＧＰＳ受信機で取得した現在位置が、所定の位置であるかをトリガにしてもよい。

［１－３．携帯端末の概要］
　図３を用いて、本実施形態に係る携帯端末８０の概要を説明する。なお、携帯端末８０は、本開示における情報処理装置の一例である。図３は、第１の実施形態に係る携帯端末の動作状態の一例を示す第１の図である。携帯端末８０は、ユーザが操作する例えばスマートフォンである。携帯端末８０は、画像や映像を表示する表示画面８２と、表示画面８２の近傍に、当該表示画面８２と同じ方向を向いて設置されたカメラ８４とを備える。

　携帯端末８０には、前記したＡＲアプリケーションが実装されている。当該ＡＲアプリケーションが実行されると、携帯端末８０は、カメラ１８が撮像した撮像画像Ｉを、リアルタイムで表示画面８２に表示する（いわゆるライブビュー）ともに、撮像画像Ｉの中にＡＲマーカ８５が映っているかを判定する。そして、撮像画像Ｉの中にＡＲマーカ８５が映っている場合に、携帯端末８０は、ＡＲマーカ８５に応じた位置に、３Ｄモデル９０Ｍを重畳表示する。

　さらに、携帯端末８０は、撮像画像Ｉに映った被写体９２の特徴を検出して、検出された特徴に応じて、３Ｄモデル９０Ｍの表示態様を変更する。なお、携帯端末８０が使用される代表的な場面として、ユーザ自らが被写体９２となって、携帯端末８０のカメラ８４によって自撮り（セルフィ）する場面を想定している。

　本実施形態では、携帯端末８０は、撮像画像Ｉに映った被写体９２の視線方向Ｅを検出する。そして、携帯端末８０は、被写体９２の視線方向Ｅが、カメラ８４の方向を向いていると判定した場合に、３Ｄモデル９０Ｍの視線方向Ｆをカメラ８４の方向に向ける。

　そして、携帯端末８０は、被写体９２の視線方向Ｅと３Ｄモデル９０Ｍの視線方向Ｆとが、ともにカメラ８４の方向を向いた場合に、セルフィ撮像を行う。

　これによって、携帯端末８０は、３Ｄモデル９０Ｍに対して、被写体９２の動作や状態に応じた動作や反応を行わせることができる。このように、３Ｄモデル９０Ｍに何らかの反応や状態遷移を行わせることを、インタラクション付３ＤモデルＡＲと呼ぶ。

　図４は、第１の実施形態に係る携帯端末の動作状態の一例を示す第２の図である。携帯端末８０は、自身の表示画面８２に表示された撮像画像Ｉに映っている被写体９２の視線方向Ｅを検出する。そして、携帯端末８０は、検出された視線方向Ｅがカメラ８４の方向に向いている場合に、カメラ８４の方向に向かう視線方向Ｆを有する３Ｄモデル９０Ｎを選択して、撮像画像Ｉに重畳して表示する。

　そして、携帯端末８０は、被写体９２と３Ｄモデル９０Ｎがともにカメラ目線である状態でセルフィ撮影を行う。このように、被写体９２の特徴である視線方向Ｅがカメラ８４の方向を向いた場合に、３Ｄモデル９０Ｎの表示態様を、当該３Ｄモデル９０Ｎの視線方向Ｆがカメラ８４の方向を向くように変更することができる。

［１－４．携帯端末のハードウエア構成］
　図５は、第１の実施形態に係る携帯端末のハードウエア構成の一例を示すハードウエアブロック図である。特に、図４は、本実施形態の携帯端末８０が備えるハードウエア構成要素のうち、本実施形態に関連する要素のみを示したものである。すなわち、携帯端末８０は、ＣＰＵ（Central　Processing　Unit）３２と、ＲＯＭ（Read　Only　Memory）３４と、ＲＡＭ（Random　Access　Memory）３６と、記憶部３８と、通信インタフェース４０と、が内部バス３９で接続された構成を有する。

　ＣＰＵ３２は、記憶部３８やＲＯＭ３４に格納されている制御プログラムＰ１をＲＡＭ３６上に展開して実行することによって、携帯端末８０全体の動作を制御する。すなわち、携帯端末８０は、制御プログラムＰ１によって動作する一般的なコンピュータの構成を有する。なお、制御プログラムＰ１は、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供してもよい。また、携帯端末８０は、一連の処理をハードウエアによって実行してもよい。なお、ＣＰＵ３２が実行する制御プログラムＰ１は、本開示で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。

　記憶部３８は、例えばフラッシュメモリにより構成されて、ＣＰＵ３２が実行する制御プログラムＰ１と、３ＤモデルＭ等の情報を記憶する。なお、３ＤモデルＭは一般に大容量であるため、携帯端末８０とインターネット等で接続された非図示の外部サーバから、必要に応じてダウンロードして、記憶部３８に記憶するようにしてもよい。

　通信インタフェース４０は、タッチパネルインタフェース４２を介して、携帯端末８０の表示画面８２を構成する液晶ディスプレイ１６に積層されたタッチパネル１４の操作情報を取得する。また、通信インタフェース４０は、ディスプレイインタフェース４３を介して、液晶ディスプレイ１６に画像情報や映像情報を表示する。また、通信インタフェース４０は、カメラインタフェース４４を介して、カメラ８４の動作を制御する。

　さらに、通信インタフェース４０は、無線通信又は有線通信によって、非図示の外部サーバ等との間で通信を行う。これによって、携帯端末８０は、新たに作成された３ＤモデルＭ等の受信や、生成された撮像画像Ｉの外部への送信等を行う。

［１－５．携帯端末の機能構成］
　図６は、第１の実施形態に係る携帯端末の機能構成の一例を示す機能ブロック図である。携帯端末８０のＣＰＵ３２は、制御プログラムＰ１をＲＡＭ３６上に展開して動作させることによって、図６に示す撮像部５１と、ＡＲマーカ検出部５２と、被写体特徴検出部５３と、表示制御部５４とを機能部として実現する。

　撮像部５１は、携帯端末８０が備えるカメラ８４によって、映像のモニタや、画像の撮像、映像の録画を行う。撮像部５１は、さらに、映像モニタ部５１ａと、撮像・録画処理部５１ｂとを備える。なお、カメラ８４は、現実世界に存在する実際のカメラであって、本開示における第１の撮像部の一例である。

　映像モニタ部５１ａは、カメラ８４が観測した映像を携帯端末Ｄ１の表示画面８２にリアルタイムで表示する、いわゆるライブビューを行う。

　撮像・録画処理部５１ｂは、カメラ８４が撮像した撮像画像Ｉを記憶する。また、撮像・録画処理部５１ｂは、セルフィ撮影を行う。

　ＡＲマーカ検出部５２は、映像モニタ部５１ａの処理によってモニタされた撮像画像Ｉの中から、ＡＲマーカ８５を検出する。具体的には、ＡＲマーカ検出部５２は、テンプレートマッチング等を行うことによって、予め決められた所定のＡＲマーカ８５の検出を行う。

　被写体特徴検出部５３は、映像モニタ部５１ａの処理によってモニタされた撮像画像Ｉに３Ｄモデル９０Ｍと同時に表示された被写体を検出する。そして、被写体特徴検出部５３は、検出された被写体９２の特徴を検出する。被写体特徴検出部５３は、さらに、被写体検出部５３ａと、視線方向検出部５３ｂとを備える。なお、被写体特徴検出部５３は、本開示における検出部の一例である。

　被写体検出部５３ａは、撮像部５１がモニタした撮像画像Ｉに３Ｄモデル９０Ｍと同時に表示された被写体９２を検出する。

　そして、視線方向検出部５３ｂは、被写体検出部５３ａが検出した被写体９２の視線方向Ｅを検出する。なお、視線方向Ｅは、本開示における被写体９２の特徴の一例である。

　表示制御部５４は、撮像画像Ｉの中に表示された３Ｄモデル９０Ｍを制御する。より具体的には、表示制御部５４は、被写体特徴検出部５３が検出した被写体９２の視線方向Ｅに応じて、３Ｄモデル９０Ｍの表示態様を変更する。本実施形態では、表示制御部５４は、被写体９２の視線方向Ｅがカメラ８４を向いている場合、すなわち被写体９２がカメラ目線である場合に、３Ｄモデル９０Ｍの視線方向Ｆを、カメラ８４を向く向きに変更する。すなわち、視線方向Ｆは、本開示における表示態様の一例である。表示制御部５４は、さらに、３Ｄモデルフレーム選択部５４ａと、３Ｄモデル描画方向制御部５４ｂと、を備える。なお、表示制御部５４は、本開示における制御部の一例である。

　３Ｄモデルフレーム選択部５４ａは、記憶部３８に記憶された複数の３ＤモデルＭの中から、ＡＲマーカ８５に応じて予め決められたデフフォルトの３Ｄモデル９０Ｍを選択する。また、３Ｄモデルフレーム選択部５４ａは、記憶部３８に記憶された複数の３ＤモデルＭの中から、視線方向検出部５３ｂが検出した、被写体９２の視線方向Ｅに応じた視線方向Ｆを有する３Ｄモデル９０Ｍを選択する。より具体的には、３Ｄモデルフレーム選択部５４ａは、被写体９２がカメラ目線である場合に、３Ｄモデル９０Ｍの視線方向Ｆがカメラ８４を向く向きである３Ｄモデル９０Ｍを選択する。

　３Ｄモデル描画方向制御部５４ｂは、３Ｄモデルフレーム選択部５４ａが選択したデフフォルトの３Ｄモデル９０Ｍを、携帯端末８０の表示画面８２に表示された撮像画像Ｉに重畳して表示する。また、３Ｄモデル描画方向制御部５４ｂは、３Ｄモデル９０Ｍを回転させることによって、当該３Ｄモデル９０Ｍの向きを変更する。また、３Ｄモデル描画方向制御部５４ｂは、３Ｄモデル９０Ｍが置かれた座標系を回転させることによって、当該３Ｄモデル９０Ｍの向きを変更して、３Ｄモデル９０Ｎを生成する。さらに、３Ｄモデル描画方向制御部５４ｂは、向きが変更された３Ｄモデル９０Ｎを、携帯端末８０の表示画面８２に表示された撮像画像Ｉに重畳して表示する。

［１－６．視線方向の計測方法］
　図７は、視線方向の計測方法について説明する図である。被写体９２の顔画像から視線方向Ｅを検出する方法には、様々なものが提案されており、本実施形態では、そのいずれの方法を利用してもよい。

　図７は、視線方向を計測する代表的な３つの方法を説明するものである。図７Ａは、被写体９２の顔をカメラ８４で撮像して、撮像された顔画像の中から眼球の領域を検出して、検出された眼球の形状特徴に基づいて、視線方向Ｅを検出する方法である。

　図７Ａには、カメラ８４で撮像した撮像画像Ｉの中から検出した被写体９２の左眼の拡大図を示す。視線方向に応じて、瞳孔Ｐの中心と目頭Ｑとの距離ｄｐが変化する。具体的には、図７Ａに示すように、視線が左を向く（目尻Ｓ側を向く）と、距離ｄｐが大きくなる。一方、視線が右を向く（目頭Ｑ側を向く）と、距離ｄｐが小さくなる。したがって、距離ｄｐを計測すると、おおよその視線方向を算出することができる。

　図７Ｂは、赤外ＬＥＤ８６を照射した状態で、被写体９２の顔をカメラ８４で撮像する例である。なお、カメラ８４は、赤外ＬＥＤ８６が放射する波長の光に対して感度を有しているものとする。図７Ｂに示す視線計測方法は、撮像された顔画像の中から眼球の領域を検出して、検出された眼球の角膜における赤外ＬＥＤ８６の反射像（角膜反射像）の位置に基づいて、視線方向Ｅを検出するものである。なお、赤外ＬＥＤ８６が放射する光の波長は、目に見えない波長であるため、被写体９２の邪魔にならずに視線方向を検出することができる。

　図７Ｂには、カメラ８４で撮像した撮像画像Ｉの中から検出した被写体９２の左眼の拡大図を示す。視線方向に応じて、瞳孔Ｐの中心と角膜反射像Ｒとの位置関係が変化する。具体的には、図７Ｂに示すように、視線が左を向く（目尻Ｓ側を向く）と、瞳孔Ｐは角膜反射像Ｒよりも目尻Ｓ側に位置する。一方、視線が右を向く（目頭Ｑ側を向く）と、瞳孔Ｐは角膜反射像Ｒよりも目頭Ｑ側に位置する。したがって、瞳孔Ｐと角膜反射像Ｒとの位置関係を計測すると、おおよその視線方向を検出することができる。

　図７Ｃは、被写体９２の顔をカメラ８４で撮像して、撮像された顔の向きに基づいて、視線方向を検出するものである。人間は、一般に、視線方向を素早く動かす場合や大きく動かす場合には、眼球そのものを動かさずに頭部を動かすことによって視線方向を変更する。したがって、顔の向きと視線方向とはほぼ一致すると見做せる場合が多い。当該近似が成り立つ場合は、図７Ｃに示す方法によって視線方向を検出することができる。

　図７Ｃの左部に示すように、被写体９２が正面を向いている場合には、被写体９２の顔面を縦方向に貫く中心線Ｃ１と、右眼を通る、中心線Ｃ１と平行な直線Ｃ２との距離ａ１と、中心線Ｃ１と、左眼を通る、中心線Ｃ１と平行な直線Ｃ３との距離ａ２とが略等しくなる。

　また、図７Ｃの中央部に示すように、被写体９２が右方向を向いている場合には、前記した距離ａ１が、距離ａ２よりも大きくなる。さらに、図７Ｃの右部に示すように、被写体９２が左方向を向いている場合には、前記した距離ａ１が、距離ａ２よりも小さくなる。

　このように、距離ａ１と距離ａ２との大小関係を比較することによって、おおよその視線方向を検出することができる。

　なお、眼球の形状や動きには個人差がある。そのため、最近では、被写体９２の眼球を安定して検出するために、機械学習等の手法を用いて作成した、ロバスト性の高い眼球モデルを利用する方法が用いられている。

［１－７．３Ｄモデルの描画方向の変更方法］
　図８は、３Ｄモデルの描画方向の変更方法について説明する図である。３Ｄモデル９０Ｍは方向性を有するため、３Ｄモデル９０Ｍを表示画面８２に描画する際に、３Ｄモデル９０Ｍをデフォルトの方向、例えばＺ軸の正方向に向けて描画する。そして、本実施形態では、被写体９２の特徴である視線方向Ｅに応じて、３Ｄモデル９０Ｍの向きを変更して、３Ｄモデル９０Ｎとして描画する。そのため、本実施形態では、以下に説明する２種類の描画方向の制御方法を併用する。

　第１の方法は、図８Ａに示すように、３Ｄモデル９０Ｍ自身を、目的とする方向に回転して３Ｄモデル９０Ｎとする方法である。

　第２の方法は、図８Ｂに示すように、３Ｄモデル９０Ｍが置かれた座標系ＸＹＺを、目的とする方向に回転して、回転した座標系に３Ｄモデル９０Ｎを描画する方法である。

　なお、本実施形態においては、いずれの方法を用いてもよいが、３Ｄモデル９０Ｍが置かれた座標系ＸＹＺを回転する方法は、計算量が少なくて済むが、３Ｄモデル９０Ｍが視点位置に依存しないテクスチャを有している場合には、３Ｄモデル９０Ｍのリアリティが低下する可能性がある。一方、３Ｄモデル９０Ｍ自身を回転する方法によると、計算量は多くなるが、３Ｄモデル９０Ｍが視線位置に応じたテクスチャを有している場合には、３Ｄモデル９０Ｍのリアリティは維持される。そのため、いずれの方法を適用するかを、充分に考慮した上で、描画方向を変更するのが望ましい。

　例えば、３Ｄモデル９０Ｍの回転量が小さい場合は、回転に伴う３Ｄモデル９０Ｍのリアリティの低下が小さいと考えられる、座標系を回転させる方法を適用するのが望ましい。一方、３Ｄモデル９０Ｍの回転量が大きい場合は、３Ｄモデル９０Ｍのリアリティを維持するために、３Ｄモデル９０Ｍ自身を回転させる方法を適用するのが望ましい。

［１－８．携帯端末が行う処理の流れ］
　図９は、第１の実施形態に係る携帯端末が行う処理の流れの一例を示すフローチャートである。以下、処理の流れを、順を追って説明する。

　映像モニタ部５１ａは、カメラ８４を起動する（ステップＳ１０）。以降、カメラ８４は、撮像画像Ｉをリアルタイムでモニタするライブビュー状態となる。

　ＡＲマーカ検出部５２は、撮像画像Ｉの中から、ＡＲマーカ８５を検出する（ステップＳ１１）。

　続いて、ＡＲマーカ検出部５２は、ＡＲマーカ８５が検出されたかを判定する（ステップＳ１２）。ＡＲマーカ８５が検出されたと判定される（ステップＳ１２：Ｙｅｓ）と、ステップＳ１３に進む。一方、ＡＲマーカ８５が検出されたと判定されない（ステップＳ１２：Ｎｏ）と、ステップＳ１１に戻る。

　ステップＳ１２においてＹｅｓと判定されると、３Ｄモデルフレーム選択部５４ａは、記憶部３８に記憶された３ＤモデルＭの中から、ＡＲマーカ８５に応じて予め決められたデフフォルトの３Ｄモデル９０Ｍを選択する。そして、３Ｄモデル描画方向制御部５４ｂは、選択された３Ｄモデル９０Ｍを、撮像画像ＩのＡＲマーカ８５に応じた位置に重畳して表示する（ステップＳ１３）。

　次に、被写体検出部５３ａは、撮像画像Ｉの中から、被写体９２を検出する（ステップＳ１４）。

　被写体検出部５３ａは、被写体９２が検出されたかを判定する（ステップＳ１５）。被写体９２が検出されたと判定される（ステップＳ１５：Ｙｅｓ）と、ステップＳ１６に進む。一方、被写体９２が検出されたと判定されない（ステップＳ１５：Ｎｏ）と、ステップＳ１４に戻る。

　ステップＳ１５においてＹｅｓと判定されると、視線方向検出部５３ｂは、被写体９２の視線方向を検出する（ステップＳ１６）。

　続いて、視線方向検出部５３ｂは、被写体９２がカメラ目線であるか、すなわち、被写体９２の視線方向Ｅが、カメラ８４の方向を向いているかを判定する（ステップＳ１７）。被写体９２の視線方向Ｅが、カメラ８４の方向を向いていると判定される（ステップＳ１７：Ｙｅｓ）と、ステップＳ１９に進む。一方、被写体９２の視線方向Ｅが、カメラ８４の方向を向いていると判定されない（ステップＳ１７：Ｎｏ）と、ステップＳ１８に進む。

　ステップＳ１７においてＮｏと判定されると、３Ｄモデルフレーム選択部５４ａは、記憶部３８に記憶された３ＤモデルＭの中から、３Ｄモデル９０Ｍの動画フレームを選択する。そして、３Ｄモデル描画方向制御部５４ｂは、３Ｄモデルフレーム選択部５４ａが選択した動画フレームをループ再生する（ステップＳ１８）。その後、ステップＳ１６に戻る。

　一方、ステップＳ１７においてＹｅｓと判定されると、３Ｄモデル描画方向制御部５４ｂは、３Ｄモデル９０Ｍの向きをカメラ８４の方向に向ける（ステップＳ１９）。なお、３Ｄモデル描画方向制御部５４ｂは、３Ｄモデル９０Ｍを描画する座標系の方向を回転させることによって３Ｄモデル９０Ｍの向きを設定してもよいし、３Ｄモデル９０Ｍ自身を回転させることによって向きを設定してもよい。

　次に、３Ｄモデル描画方向制御部５４ｂは、３Ｄモデルフレーム選択部５４ａが選択した、目が開いて、視線方向Ｆがカメラ８４の方向を向いている３Ｄモデル９０Ｎを、ステップＳ１９で設定した描画位置に描画する（ステップＳ２０）。

　そして、撮像・録画処理部５１ｂは、被写体９２と３Ｄモデル９０Ｎとがともにカメラ目線の状態でセルフィ撮影を行う（ステップＳ２１）。

［１－９．第１の実施形態の効果］
　以上説明したように、第１の実施形態の携帯端末８０によると、被写体特徴検出部５３（検出部）が、撮像画像Ｉに３Ｄモデル９０Ｍと同時に表示された被写体９２の視線方向Ｅ（特徴）を検出する。そして、表示制御部５４（制御部）が、被写体特徴検出部５３が検出した被写体９２の視線方向Ｅに応じて、３Ｄモデル９０Ｍがカメラ８４を向くように、３Ｄモデル９０Ｍの視線方向Ｆ（表示態様）を変更する。

　これにより、被写体９２を含む撮像画像Ｉに表示した３Ｄモデル９０Ｍに対して、被写体９２と一緒にカメラ目線になるという、インタラクティブな動作や反応を行わせることができる。

　また、第１の実施形態の携帯端末８０によると、被写体特徴検出部５３（検出部）が、被写体９２の特徴である視線方向Ｅを検出して、表示制御部５４（制御部）が、検出された被写体９２の視線方向Ｅに応じて、３Ｄモデル９０Ｍの視線方向Ｆ（顔の向き）を変更する。

　これにより、被写体９２の視線方向Ｅに応じて、３Ｄモデル９０Ｍに対してインタラクティブな動作や反応を行わせることができる。

　また、第１の実施形態の携帯端末８０によると、表示制御部５４（制御部）は、被写体９２の視線方向Ｅに応じて、３Ｄモデル９０Ｍを回転させることによって、当該３Ｄモデル９０Ｍの向きを変更する。

　これにより、３Ｄモデル９０Ｍを回転させた場合であっても、視点位置に応じたテクスチャを有する３Ｄモデル９０Ｍのリアリティを維持することができる。

　また、第１の実施形態の携帯端末８０によると、表示制御部５４（制御部）は、被写体９２の視線方向Ｅに応じて、３Ｄモデル９０Ｍが置かれた座標系を回転させることによって、当該３Ｄモデル９０Ｍの向きを変更する。

　これにより、３Ｄモデル９０Ｍを回転させる処理を少ない計算量で高速に実行することができる。

　また、第１の実施形態の携帯端末８０によると、被写体特徴検出部５３（検出部）が、被写体９２の視線方向Ｅが、撮像画像Ｉが撮像された方向を向いていると検出した場合に、表示制御部５４（制御部）は、３Ｄモデル９０Ｍの向きを、撮像画像Ｉが撮像された方向に変更する。

　これにより、３Ｄモデル９０Ｍに対して、被写体９２に応じたインタラクティブな動作や反応を行わせることができる。

　また、第１の実施形態の携帯端末８０において、撮像部５１は、表示制御部５４（制御部）が表示態様を変更した後の３Ｄモデル９０Ｍと被写体９２とを撮像する。

　これにより、例えば、カメラ８４によって、被写体９２と３Ｄモデル９０Ｍとでセルフィ撮影を行うことができる。

　また、第１の実施形態の携帯端末８０において、撮像部５１は、現実世界に存在するカメラ８４、または仮想世界に存在する仮想カメラ８４Ｖ（第８の実施形態参照）である。

　これにより、カメラ８４によって、被写体９２と３Ｄモデル９０Ｍとでセルフィ撮影を行うことができる。また、詳しくは第８の実施形態で説明するが、仮想カメラ８４Ｖによって、被写体９２の分身であるアバター９２ａと３Ｄモデル９０Ｍとでセルフィ撮影を行うことができる。

　また、第１の実施形態の携帯端末８０によると、３Ｄモデル９０Ｍは、現実世界に存在する被写体９０（オブジェクト）を、異なる視点から撮像した複数の視点画像を用いて生成された、被写体９０の３Ｄ情報を有するモデルである。

　これにより、複数の異なる方向から、同じ品質で観測可能な３Ｄモデル９０Ｍを生成することができる。したがって、撮像画像Ｉに重畳して表示した３Ｄモデル９０Ｍを、表示品質を維持して、自由に向きを変更することができる。

　また、第１の実施形態の携帯端末８０によると、表示制御部５４（制御部）は、撮像画像Ｉの中にＡＲマーカ８５（所定の表示）が表示された際に、撮像画像Ｉに重畳して３Ｄモデル９０Ｍを表示する。

　これにより、３Ｄモデル９０Ｍの表示を、複雑な操作や手続きを行うことなく、容易かつ速やかに行うことができる。

（２．第２の実施形態）
　本開示の第２の実施形態は、被写体９２と３Ｄモデル９０Ｍとが視線を合わせて見つめ合うことができる機能を備えた携帯端末８０（情報処理装置）の例である。

　本実施形態の携帯端末８０のハードウエア構成及び機能構成は、第１の実施形態で説明した携帯端末８０と同じであるため、説明は省略する。ただし、本実施形態独自の機能を発揮させるために、記憶部３８が備える制御プログラムは、制御プログラムＰ１（図５参照）とは異なるプログラムが使用される。

［２－１．第２の実施形態の概要］
　図１０は、第２の実施形態に係る携帯端末の動作状態の一例を示す図である。携帯端末８０は、自身の表示画面８２に表示された撮像画像Ｉに映っている被写体９２の視線方向Ｅを検出する。そして、携帯端末８０は、検出された視線方向ＥがＡＲマーカ８５の近傍に向いている場合に、被写体９２の方向に向かう視線方向Ｆを有する３Ｄモデル９０Ｎを選択して、撮像画像Ｉに重畳して表示する。

　そして、携帯端末８０は、被写体９２と３Ｄモデル９０Ｎが視線を合わせた状態でセルフィ撮影を行う。このように、被写体９２の特徴である視線方向ＥがＡＲマーカ８５の近傍を向いた場合に、３Ｄモデル９０Ｎの表示態様を、当該３Ｄモデル９０Ｎの視線方向Ｆが被写体９２の方向を向くように変更することができる。

［２－２．携帯端末が行う処理の流れ］
　図１１は、第１の実施形態に係る携帯端末が行う処理の流れの一例を示すフローチャートである。以下、処理の流れを、順を追って説明する。

　図１１のステップＳ３０からステップＳ３６までの処理の流れは、第１の実施形態で説明した、図９のステップＳ１０からステップＳ１６までの処理の流れと同じであるため、説明を省略する。

　ステップＳ３６において、視線方向検出部５３ｂが、被写体９２の視線方向を検出した後で、視線方向検出部５３ｂは、被写体９２がＡＲマーカ８５の方向を向いているかを判定する（ステップＳ３７）。被写体９２の視線方向が、ＡＲマーカ８５の方向を向いていると判定される（ステップＳ３７：Ｙｅｓ）と、ステップＳ３９に進む。一方、被写体９２の視線方向が、ＡＲマーカ８５の方向を向いていると判定されない（ステップＳ３７：Ｎｏ）と、ステップＳ３８に進む。

　ステップＳ３７においてＮｏと判定されると、３Ｄモデルフレーム選択部５４ａは、記憶部３８に記憶された３ＤモデルＭの中から、３Ｄモデル９０Ｍの動画フレームを選択する。そして、３Ｄモデル描画方向制御部５４ｂは、３Ｄモデルフレーム選択部５４ａが選択した動画フレームをループ再生する（ステップＳ３８）。その後、ステップＳ３６に戻る。

　一方、ステップＳ３７においてＹｅｓと判定されると、３Ｄモデル描画方向制御部５４ｂは、３Ｄモデル９０Ｍの描画位置を被写体９２の顔方向に向ける（ステップＳ３９）。

　次に、３Ｄモデル描画方向制御部５４ｂは、３Ｄモデルフレーム選択部５４ａが選択した、目が開いて視線方向が被写体９２の顔方向を向いている３Ｄモデル９０Ｎを、ステップＳ３９で設定した描画位置に描画する（ステップＳ４０）。

　そして、撮像・録画処理部５１ｂは、被写体９２と３Ｄモデル９０Ｎとが視線を合わせた状態でセルフィ撮影を行う（ステップＳ４１）。

［２－３．第２の実施形態の効果］
　以上説明したように、第２の実施形態の携帯端末８０によると、被写体特徴検出部５３（検出部）が、被写体９２の視線方向Ｅが、３Ｄモデル９０Ｍの方向を向いていると検出した場合に、表示制御部５４（制御部）は、被写体９２を向く向きに変更された３Ｄモデル９０Ｎを描画する。

　これにより、被写体９２と３Ｄモデル９０Ｎとが視線を合わせた状態でセルフィ撮影を行うことができる。

（３．第３の実施形態）
　本開示の第３の実施形態は、被写体９２が笑顔でカメラ８４を見ている場合に、３Ｄモデル９０Ｍを、笑顔の状態でカメラ８４の方向に向けてセルフィ撮影を行う機能を備えた携帯端末８０（情報処理装置）の例である。すなわち、本実施形態の携帯端末８０は、被写体９２の特徴である、視線方向と表情とに応じて、３Ｄモデル９０Ｍの表示態様（視線方向と表情）を変更するものである。

　本実施形態の携帯端末８０のハードウエア構成は、第１の実施形態で説明した携帯端末８０と同じであるため、説明は省略する。なお、本実施形態独自の機能を発揮させるために、記憶部３８が備える制御プログラムは、制御プログラムＰ１（図５参照）とは異なるプログラムが使用される。

［３－１．携帯端末の機能構成］
　図１２は、第３の実施形態に係る携帯端末の機能構成の一例を示す機能ブロック図である。第３の実施形態の携帯端末８０は、第１の実施形態の携帯端末８０（図６参照）に、一部の機能を付加した機能構成を有する。以下、第１の実施形態の携帯端末８０との機能構成の違いのみを説明する。

　すなわち、被写体特徴検出部５３は、被写体検出部５３ａと視線方向検出部５３ｂに加えて、笑顔検出部５３ｃを備える。

　笑顔検出部５３ｃは、撮像画像Ｉに映った被写体９２が笑顔であるかを検出する。笑顔検出部５３ｃは、被写体検出部５３ａが検出した被写体９２の顔面領域を抽出する。そして、笑顔検出部５３ｃは、抽出された顔面領域を、図１２に非図示の表情データベースに格納された、多数の表情サンプルのうち、笑顔を示すサンプルと照合する。笑顔検出部５３ｃは、抽出された顔面領域が、笑顔を示すサンプルと高い照合度合いを示す場合に、被写体９２が笑顔であると判定する。

　なお、笑顔検出部５３ｃは、その他の画像処理アルゴリズムを利用して笑顔であるかを判定してもよい。

［３－２．携帯端末が行う処理の流れ］
　図１３は、第３の実施形態に係る携帯端末が行う処理の流れの一例を示すフローチャートである。以下、処理の流れを、順を追って説明する。

　図１３のステップＳ５０からステップＳ５５までの処理の流れは、第１の実施形態で説明した、図９のステップＳ１０からステップＳ１５までの処理の流れと同じであるため、説明を省略する。

　ステップＳ５５において、被写体９２が検出されたと判定される（ステップＳ５５：Ｙｅｓ）と、視線方向検出部５３ｂは、被写体９２の視線方向Ｅを検出する。そして、笑顔検出部５３ｃは、被写体９２が笑顔であるかを判定する（ステップＳ５６）。

　続いて、ステップＳ５６において被写体９２が笑顔であると判定された場合に、視線方向検出部５３ｂは、被写体９２の視線方向Ｅがカメラ８４の方向を向いているかを判定する（ステップＳ５７）。被写体９２が笑顔であって、視線方向Ｅがカメラ８４の方向を向いていると判定される（ステップＳ５７：Ｙｅｓ）と、ステップＳ５９に進む。一方、被写体９２が笑顔であって、視線方向Ｅがカメラ８４の方向を向いていると判定されない（ステップＳ５７：Ｎｏ）と、ステップＳ５８に進む。

　ステップＳ５７においてＮｏと判定されると、３Ｄモデルフレーム選択部５４ａは、記憶部３８に記憶された３ＤモデルＭの中から、３Ｄモデル９０Ｍの動画フレームを選択する。そして、３Ｄモデル描画方向制御部５４ｂは、３Ｄモデルフレーム選択部５４ａが選択した動画フレームをループ再生する（ステップＳ５８）。その後、ステップＳ５６に戻る。

　一方、ステップＳ５７においてＹｅｓと判定されると、３Ｄモデル描画方向制御部５４ｂは、３Ｄモデル９０Ｍの描画位置をカメラ８４の方向に向ける（ステップＳ５９）。

　次に、３Ｄモデル描画方向制御部５４ｂは、３Ｄモデルフレーム選択部５４ａが選択した、目が開いて視線方向がカメラ８４の方向を向いており、尚且つ笑顔の３Ｄモデル９０Ｎを、ステップＳ５９で設定した描画位置に描画する（ステップＳ６０）。

　そして、撮像・録画処理部５１ｂは、被写体９２と３Ｄモデル９０Ｎとがともにカメラ目線の状態でセルフィ撮影を行う（ステップＳ６１）。

［３－３．第３の実施形態の効果］
　以上説明したように、第３の実施形態の携帯端末８０によると、被写体特徴検出部５３（検出部）は、被写体９２の特徴である笑顔（表情）を検出する。そして、表示制御部５４（制御部）は、被写体９２の表情が笑顔であると判定された場合に、３Ｄモデル９０Ｍの向きを、カメラ８４の方向、すなわち撮像画像Ｉが撮像された方向に変更する。

　これにより、被写体９２と３Ｄモデル９０Ｎとがともに笑顔で、尚且つカメラ目線の状態でセルフィ撮影を行うことができる。

（４．第４の実施形態）
　本開示の第４の実施形態は、被写体９２の撮影環境に応じて、３Ｄモデル９０Ｍの明るさや肌の色を自動補正してセルフィ撮影を行う機能を備えた携帯端末８０（情報処理装置）の例である。すなわち、本実施形態の携帯端末８０は、被写体９２の特徴である、明るさ（例えば肌の明るさ）に応じて、３Ｄモデル９０Ｍの表示態様（明るさ）を変更するものである。

　本実施形態の携帯端末８０のハードウエア構成は、第１の実施形態で説明した携帯端末８０と同じであるため、説明は省略する。なお、本実施形態独自の機能を発揮させるために、記憶部３８が備える制御プログラムは、制御プログラムＰ１（図５参照）とは異なるプログラムが使用される。

［４－１．携帯端末の機能構成］
　図１４は、第４の実施形態に係る携帯端末の機能構成の一例を示す機能ブロック図である。第４の実施形態の携帯端末８０は、第１の実施形態の携帯端末８０（図６参照）と一部の機能を入れ替えた機能構成を有する。以下、第１の実施形態の携帯端末８０との機能構成の違いのみを説明する。

　被写体特徴検出部５３は、視線方向検出部５３ｂの代わりに、撮影環境評価部５３ｄを備える。

　撮影環境評価部５３ｄは、撮像画像Ｉの撮影環境の明るさと、撮像画像Ｉに映った被写体９２の明るさとを測定する。撮影環境評価部５３ｄは、例えば、撮像画像Ｉを被写体９２の領域と、被写体９２以外の領域とに領域分割して、各領域の平均的な明るさを求める。また、撮影環境評価部５３ｄは、被写体９２の肌の色合いを測定してもよい。

　また、表示制御部５４は、３Ｄモデル描画方向制御部５４ｂの代わりに、３Ｄモデル明るさ制御部５４ｃを備える。

　３Ｄモデル明るさ制御部５４ｃは、３Ｄモデル９０Ｍのテクスチャの明るさを補正する。３Ｄモデル明るさ制御部５４ｃは、例えば、撮影環境評価部５３ｄが測定した撮影環境の明るさと、３Ｄモデル９０Ｍを生成した際の環境の明るさとを比較する。そして、３Ｄモデル９０Ｍを生成した際の環境の明るさが、撮影環境評価部５３ｄが測定した撮影環境の明るさよりも明るい場合は、３Ｄモデル９０Ｍのテクスチャを暗く補正する。一方、３Ｄモデル９０Ｍを生成した際の環境の明るさが、撮影環境評価部５３ｄが測定した撮影環境の明るさよりも暗い場合は、３Ｄモデル９０Ｍのテクスチャを明るく補正する。

　また、３Ｄモデル明るさ制御部５４ｃは、撮像画像Ｉに映った被写体９２の肌の明るさや肌の色合いに基づいて、３Ｄモデル９０Ｍの肌の明るさや肌の色合いが、被写体９２の肌の明るさや肌の色合いと同程度になるように、３Ｄモデル９０Ｍのテクスチャを補正してもよい。

［４－２．携帯端末が行う処理の流れ］
　図１５は、第４の実施形態に係る携帯端末が行う処理の流れの一例を示すフローチャートである。以下、処理の流れを、順を追って説明する。

　図１５のステップＳ７０からステップＳ７３までの処理の流れは、第１の実施形態で説明した、図９のステップＳ１０からステップＳ１３までの処理の流れと同じであるため、説明を省略する。

　ステップＳ７３に続いて、被写体検出部５３ａは、撮像画像Ｉの中から、被写体９２を検出する。そして、撮影環境評価部５３ｄは、撮像画像Ｉの撮影環境の明るさと、撮像画像Ｉに映った被写体９２の明るさとを検出する（ステップＳ７４）。

　次に、撮影環境評価部５３ｄは、撮像画像Ｉの中に被写体９２が映っていて、尚且つ、撮影環境の明るさが、３Ｄモデル９０Ｍの撮影環境よりも明るいかを判定する（ステップＳ７５）。条件を満足すると判定される（ステップＳ７５：Ｙｅｓ）と、ステップＳ７６に進む。一方、条件を満足すると判定されない（ステップＳ７５：Ｎｏ）と、ステップＳ７７に進む。

　ステップＳ７５においてＹｅｓと判定されると、３Ｄモデル明るさ制御部５４ｃは、３Ｄモデル９０Ｍのテクスチャを明るく補正する（ステップＳ７６）。その後、ステップＳ７８に進む。

　一方、ステップＳ７５においてＮｏと判定されると、３Ｄモデル明るさ制御部５４ｃは、３Ｄモデル９０Ｍのテクスチャを暗く補正する（ステップＳ７７）。

　ステップＳ７６又はステップＳ７７に引き続き、３Ｄモデル描画方向制御部５４ｂは、３Ｄモデルフレーム選択部５４ａが選択した３Ｄモデル９０Ｍに対して、ステップＳ７６又はステップＳ７７に対応するテクスチャの明るさ補正がなされた３Ｄモデル９０Ｎを、撮像画像Ｉに描画する（ステップＳ７８）。

　そして、撮像・録画処理部５１ｂは、被写体９２と３Ｄモデル９０Ｎとがともに映った状態でセルフィ撮影を行う（ステップＳ７９）。

［４－３．第４の実施形態の効果］
　以上説明したように、第４の実施形態の携帯端末８０によると、被写体特徴検出部５３（検出部）は、被写体９２の特徴である明るさを検出する。そして、表示制御部５４（制御部）は、被写体９２の明るさに応じて、３Ｄモデル９０Ｍの明るさを変更する。

　これにより、被写体９２の顔のトーンに合わせて、テクスチャの明るさが補正された３Ｄモデル９０Ｎとセルフィ撮影を行うことができる。

（５．第５の実施形態）
　本開示の第５の実施形態は、被写体９２の位置（カメラ８４からの距離）に応じて、３Ｄモデル９０Ｍの描画位置（カメラ８４からの距離）を補正して、被写体９２と３Ｄモデル９０Ｍの両方にピントが合った状態でセルフィ撮影を行う機能を備えた携帯端末８０（情報処理装置）の例である。すなわち、本実施形態の携帯端末８０は、被写体９２の特徴である、位置（カメラ８４からの距離）に応じて、３Ｄモデル９０Ｍの表示態様（描画位置）を変更するものである。

　本実施形態の携帯端末８０のハードウエア構成は、第１の実施形態で説明した携帯端末８０と同じであるため、説明は省略する。なお、本実施形態独自の機能を発揮させるために、記憶部３８が備える制御プログラムは、制御プログラムＰ１（図５参照）とは異なるプログラムが使用される。

［５－１．携帯端末の機能構成］
　図１６は、第５の実施形態に係る携帯端末の機能構成の一例を示す機能ブロック図である。第５の実施形態の携帯端末８０は、第１の実施形態の携帯端末８０（図６参照）と一部の機能を入れ替えた機能構成を有する。以下、第１の実施形態の携帯端末８０との機能構成の違いのみを説明する。

　被写体特徴検出部５３は、視線方向検出部５３ｂの代わりに、被写界深度算出部５３ｅを備える。

　被写界深度算出部５３ｅは、カメラ８４から、撮像画像Ｉに映った被写体９２及びＡＲマーカ８５までの距離を算出する。また、被写界深度算出部５３ｅは、撮像画像Ｉの被写界深度を算出する。被写界深度算出部５３ｅは、カメラ８４の絞り（Ｆ値）と、レンズの焦点距離と、被写体９２までの距離と、から被写界深度を算出する。

　また、表示制御部５４は、３Ｄモデル描画方向制御部５４ｂの代わりに、３Ｄモデル描画距離制御部５４ｄを備える。

　３Ｄモデル描画距離制御部５４ｄは、３Ｄモデル９０Ｍの描画位置（カメラ８４から３Ｄモデル９０Ｍを描画する位置までの距離）を制御する。より具体的には、３Ｄモデル描画距離制御部５４ｄは、３Ｄモデル９０Ｍが、被写体９２と同じ被写界深度内に収まるように、３Ｄモデル９０Ｍの描画位置を制御する。

［５－２．携帯端末が行う処理の流れ］
　図１７は、第５の実施形態に係る携帯端末が行う処理の流れの一例を示すフローチャートである。以下、処理の流れを、順を追って説明する。

　図１７のステップＳ８０からステップＳ８３までの処理の流れは、第１の実施形態で説明した、図９のステップＳ１０からステップＳ１３までの処理の流れと同じであるため、説明を省略する。

　ステップＳ８３に続いて、被写界深度算出部５３ｅは、カメラ８４と撮像画像Ｉに映ったＡＲマーカ８５との距離を算出する（ステップＳ８４）。

　次に、被写体検出部５３ａは、撮像画像Ｉの中から、被写体９２を検出する（ステップＳ８５）。このとき、被写界深度算出部５３ｅは、カメラ８４と被写体９２との距離を算出する。

　被写界深度算出部５３ｅは、撮像画像Ｉの中に被写体９２が映っており、尚且つ、ＡＲマーカ８５と被写体９２とが同じ被写界深度内にあるかを判定する（ステップＳ８６）。条件を満足すると判定される（ステップＳ８６：Ｙｅｓ）と、ステップＳ８８に進む。一方、条件を満足すると判定されない（ステップＳ８６：Ｎｏ）と、ステップＳ８７に進む。なお、ＡＲマーカ８５と被写体９２とが同じ被写界深度内にあるかは、ステップＳ８４とステップＳ８５の結果に基づいて算出される、ＡＲマーカ８５と被写体９２との距離が、被写体９２の撮像条件から算出される被写界深度内に収まっているかによって判定すればよい。

　ステップＳ８６でＮｏと判定される、すなわち、ＡＲマーカ８５と被写体９２とが同じ被写界深度内に収まっていない場合は、３Ｄモデル描画距離制御部５４ｄは、撮像画像Ｉにおける３Ｄモデル９０Ｍの描画位置を、被写体９２と同じ被写界深度に収まる距離の位置に描画する（ステップＳ８７）。

　次に、３Ｄモデル描画方向制御部５４ｂは、３Ｄモデルフレーム選択部５４ａが選択した３Ｄモデル９０Ｍを、ステップＳ８７で設定した描画位置に描画する（ステップＳ８８）。

　そして、撮像・録画処理部５１ｂは、被写体９２と３Ｄモデル９０Ｍとが同じ被写界深度に収まった状態でセルフィ撮影を行う（ステップＳ８９）。

［５－３．第５の実施形態の効果］
　以上説明したように、第５の実施形態の携帯端末８０によると、被写体特徴検出部５３（検出部）は、被写体９２の特徴である、カメラ８４から被写体９２までの距離を検出する。そして、表示制御部５４（制御部）は、３Ｄモデル９０Ｍまでの距離を、当該３Ｄモデル９０Ｍと被写体９２とが撮像画像Ｉの被写界深度に入るように変更する。

　これにより、被写体９２と３Ｄモデル９０Ｍとの両方にピントが合った状態でセルフィ撮影を行うことができる。

（６．第６の実施形態）
　本開示の第６の実施形態は、撮像画像Ｉにおける被写体９２の位置に応じて、３Ｄモデル９０Ｍの描画位置を補正して、被写体９２と３Ｄモデル９０Ｍとが重複しない状態でセルフィ撮影を行う機能を備えた携帯端末８０（情報処理装置）の例である。すなわち、本実施形態の携帯端末８０は、被写体９２の特徴である位置に応じて、３Ｄモデル９０Ｍの表示態様（描画位置）を変更するものである。

　本実施形態の携帯端末８０のハードウエア構成は、第１の実施形態で説明した携帯端末８０と同じであるため、説明は省略する。なお、本実施形態独自の機能を発揮させるために、記憶部３８が備える制御プログラムは、制御プログラムＰ１（図５参照）とは異なるプログラムが使用される。

［６－１．携帯端末の機能構成］
　図１８は、第６の実施形態に係る携帯端末の機能構成の一例を示す機能ブロック図である。第６の実施形態の携帯端末８０は、第１の実施形態の携帯端末８０（図６参照）と一部の機能を入れ替えた機能構成を有する。以下、第１の実施形態の携帯端末８０との機能構成の違いのみを説明する。

　被写体特徴検出部５３は、視線方向検出部５３ｂの代わりに、重複判定部５３ｆを備える。

　重複判定部５３ｆは、撮像画像Ｉにおいて、被写体９２とＡＲマーカ８５とが重複していないかを判定する。重複判定部５３ｆは、具体的には、撮像画像Ｉにおける被写体９２の位置を検出する。そして、重複判定部５３ｆは、検出された被写体９２の位置と、ＡＲマーカ検出部５２が検出したＡＲマーカ８５の位置とを比較する。重複判定部５３ｆは、被写体９２とＡＲマーカ８５とが重複している場合には、撮像画像ＩのＡＲマーカ８５に応じた位置に３Ｄモデル９０Ｍを描画すると、被写体９２と３Ｄモデル９０Ｍとが重複すると予測する。

　また、表示制御部５４は、３Ｄモデル描画方向制御部５４ｂの代わりに、３Ｄモデル描画位置制御部５４ｅを備える。

　３Ｄモデル描画位置制御部５４ｅは、重複判定部５３ｆが、被写体９２と３Ｄモデル９０Ｍとが重複すると予測した場合には、３Ｄモデル９０Ｍを、被写体９２と重複しない位置に描画する。

［６－２．携帯端末が行う処理の流れ］
　図１９は、第６の実施形態に係る携帯端末が行う処理の流れの一例を示すフローチャートである。以下、処理の流れを、順を追って説明する。

　図１９のステップＳ９０からステップＳ９２までの処理の流れは、第１の実施形態で説明した、図９のステップＳ１０からステップＳ１２までの処理の流れと同じであるため、説明を省略する。

　ステップＳ９２において、ＡＲマーカ８５が検出されたと判定される（ステップＳ９２：Ｙｅｓ）と、被写体検出部５３ａは、撮像画像Ｉの中から、被写体９２を検出する（ステップＳ９３）。

　次に、重複判定部５３ｆは、ＡＲマーカ８５と被写体９２との位置関係を検出する（ステップＳ９４）。

　さらに、重複判定部５３ｆは、撮像画像Ｉの中に被写体９２が映っており、ＡＲマーカ８５と被写体９２とが重複していないかを判定する（ステップＳ９５）。条件を満足すると判定される（ステップＳ９５：Ｙｅｓ）と、ステップＳ９７に進む。一方、条件を満足すると判定されない（ステップＳ９５：Ｎｏ）と、重複判定部５３ｆは、ＡＲマーカ８５に応じた位置に３Ｄモデル９０Ｍを描画すると、被写体９２と３Ｄモデル９０Ｍとが重複すると予測して、ステップＳ９６の処理を行う。

　ステップＳ９５においてＮｏと判定されると、３Ｄモデル描画位置制御部５４ｅは、本来ＡＲマーカ８５に応じた位置に描画する３Ｄモデル９０Ｍの描画位置を、被写体９２と重複しない位置（例えば、被写体９２から遠ざかる位置）に変更する（ステップＳ９６）。

　そして、３Ｄモデル描画位置制御部５４ｅは、ステップＳ９６で変更した位置に、選択された３Ｄモデル９０Ｍを描画する。また、３Ｄモデル描画位置制御部５４ｅは、ステップＳ９５でＹｅｓと判定された場合には、ＡＲマーカ８５に応じた位置に、選択された３Ｄモデル９０Ｍを描画する（ステップＳ９７）。

　そして、撮像・録画処理部５１ｂは、被写体９２と３Ｄモデル９０Ｍとが重複しない状態でセルフィ撮影を行う（ステップＳ９８）。

［６－３．第６の実施形態の効果］
　以上説明したように、第６の実施形態の携帯端末８０によると、被写体特徴検出部５３（検出部）は、被写体９２の特徴である、撮像画像Ｉにおける被写体９２の位置を検出する。そして、表示制御部５４（制御部）は、被写体９２の位置と３Ｄモデル９０Ｍの位置とが重複すると予測される場合に、３Ｄモデル９０Ｍの表示位置を、被写体９２と重複しない位置に変更する。

　これにより、被写体９２と３Ｄモデル９０Ｍとが重複しない状態でセルフィ撮影を行うことができる。

（７．第７の実施形態）
　本開示の第７の実施形態は、撮像画像Ｉにおける被写体９２のサイズに応じて、３Ｄモデル９０Ｍのサイズやスケールを補正して、被写体９２と３Ｄモデル９０Ｍとが同じ背丈に見える状態、或いは被写体９２が３Ｄモデル９０Ｍよりも小顔に見える状態でセルフィ撮影を行う機能を備えた携帯端末８０（情報処理装置）の例である。すなわち、本実施形態の携帯端末８０は、被写体９２の特徴であるサイズに応じて、３Ｄモデル９０Ｍの表示態様（サイズやスケール）を変更するものである。

　本実施形態の携帯端末８０のハードウエア構成は、第１の実施形態で説明した携帯端末８０と同じであるため、説明は省略する。なお、本実施形態独自の機能を発揮させるために、記憶部３８が備える制御プログラムは、制御プログラムＰ１（図５参照）とは異なるプログラムが使用される。

［７－１．携帯端末の機能構成］
　図２０は、第６の実施形態に係る携帯端末の機能構成の一例を示す機能ブロック図である。第７の実施形態の携帯端末８０は、第１の実施形態の携帯端末８０（図６参照）と一部の機能を入れ替えた機能構成を有する。以下、第１の実施形態の携帯端末８０との機能構成の違いのみを説明する。

　被写体特徴検出部５３は、視線方向検出部５３ｂの代わりに、位置関係検出部５３ｇを備える。

　位置関係検出部５３ｇは、ＡＲマーカ検出部５２が検出したＡＲマーカ８５の位置と、被写体検出部５３ａが検出した被写体９２の位置との位置関係を検出する。また、位置関係検出部５３ｇは、カメラ８４の画角に占める被写体９２の顔サイズを検出する。

　また、表示制御部５４は、３Ｄモデル描画方向制御部５４ｂの代わりに、３Ｄモデル描画位置制御部５４ｅを備える。

　３Ｄモデル描画位置制御部５４ｅは、撮像画像Ｉの中に３Ｄモデル９０Ｍを描画する際の、３Ｄモデル９０Ｍのスケール及び描画位置を設定する。具体的には、３Ｄモデル９０Ｍの描画位置を、被写体９２の背丈に合うように設定する。また、３Ｄモデル９０Ｍの描画位置を、被写体９２の顔の位置と３Ｄモデル９０Ｍの顔の位置とが同じ高さになるように設定する。もちろん、これら以外の条件に基づいて描画位置を設定してもよい。

［７－２．携帯端末が行う処理の流れ］
　図２１は、第７の実施形態に係る携帯端末が行う処理の流れの一例を示すフローチャートである。以下、処理の流れを、順を追って説明する。

　図２１のステップＳ１００からステップＳ１０２までの処理の流れは、第１の実施形態で説明した、図９のステップＳ１０からステップＳ１２までの処理の流れと同じであるため、説明を省略する。

　ステップＳ１０２において、ＡＲマーカ８５が検出されたと判定される（ステップＳ１０２：Ｙｅｓ）と、被写体検出部５３ａは、撮像画像Ｉの中から、被写体９２を検出する（ステップＳ１０３）。

　次に、位置関係検出部５３ｇは、ＡＲマーカ８５と被写体９２との位置関係を検出する（ステップＳ１０４）。

　さらに、位置関係検出部５３ｇは、カメラ８４の画角に占める被写体９２の顔サイズを検出する（ステップＳ１０５）。

　そして、位置関係検出部５３ｇは、撮像画像Ｉは、被写体９２の胸から上が映ったバストアップ写真であるかを判定する（ステップＳ１０６）。バストアップ写真であると判定される（ステップＳ１０６：Ｙｅｓ）と、ステップＳ１０７に進む。一方、バストアップ写真であると判定されない（ステップＳ１０６：Ｎｏ）と、ステップＳ１０８に進む。

　ステップＳ１０６においてＹｅｓと判定されると、３Ｄモデル描画位置制御部５４ｅは、３Ｄモデル動画の顔の位置が、被写体９２の顔と同じ高さにくるように、３Ｄモデル９０Ｍを描画する際のスケールと描画位置を設定する（ステップＳ１０７）。その後、ステップＳ１０９に進む。

　一方、ステップＳ１０６においてＮｏと判定されると、３Ｄモデル描画位置制御部５４ｅは、被写体９２の背丈に合うように、３Ｄモデル動画のスケールと描画位置を設定する（ステップＳ１０８）。

　そして、３Ｄモデル描画位置制御部５４ｅは、ステップＳ１０７又はステップＳ１０８で設定した条件で、撮像画像Ｉの中に、選択された３Ｄモデル９０Ｍを描画する（ステップＳ１０９）。

　そして、撮像・録画処理部５１ｂは、被写体９２と３Ｄモデル９０Ｍとがバランスよく並んだ状態でセルフィ撮影を行う（ステップＳ１１０）。

［７－３．第７の実施形態の効果］
　以上説明したように、第７の実施形態の携帯端末８０によると、被写体特徴検出部５３（検出部）は、被写体９２の特徴である、撮像画像Ｉにおける被写体９２の位置及びサイズを検出する。そして、表示制御部５４（制御部）は、被写体９２の位置及びサイズに応じて、３Ｄモデル９０Ｍの表示位置及びサイズを調整する。

　これにより、被写体９２と３Ｄモデル９０Ｍとが、バランスよく並んだ状態でセルフィ撮影を行うことができる。

　なお、以上説明した各実施形態は、異なる複数の実施形態の機能を併せ持つものであってもよい。そして、その場合、携帯端末８０は、複数の実施形態の機能構成を全て備えるものとなる。

（８．第８の実施形態）
　本開示の第８の実施形態は、カメラ８４で撮像した撮像画像の中に仮想空間を形成して、当該仮想空間の中に、被写体９２のアバターと３Ｄモデル９０Ｍとを表示する機能を備える情報処理装置８１ａの例である。なお、撮像画像の中に表示された被写体９２のアバターは、被写体９２の操作に基づいて、仮想空間で動作可能とされる。

［８－１．情報処理装置の概要］
　図２２は、第８の実施形態の情報処理装置の概要を説明する図である。

　情報処理装置８１ａと接続されたカメラ８４は、被写体９２であるユーザを撮像して撮像画像Ｉａ（仮想画像）を生成する。生成された撮像画像Ｉａは、無線送信されて、被写体９２が装着したヘッドマウントディスプレイ８９（ＨＭＤ）に表示される。ヘッドマウントディスプレイ８９に表示される撮像画像Ｉａには、被写体９２の分身であるアバター９２ａ（第１のアバター）が表示されるとともに、本開示の各実施形態で説明した３Ｄモデル９０Ｍが重畳して表示される。なお、アバター９２ａはフルＣＧの動画である。また、ヘッドマウントディスプレイ８９は、被写体９２の頭部の動きや視線方向を検出する機能を備えるとともに、情報処理装置８１ａが出力する音声情報を、被写体９２に伝達する音声出力機能も備える。

　被写体９２は、さらに、自身の位置や姿勢や動き等を検出する加速度センサや、情報処理装置に対して操作指示を出す操作スイッチの機能を備えたコントローラ８８を身に付けている。ヘッドマウントディスプレイ８９が検出した被写体９２の視線方向や頭部の動き、及びコントローラ８８が検出した被写体９２の動きや操作情報は、情報処理装置８１ａに無線送信されて、アバター９２ａの動作や情報処理装置８１ａの動作に反映される。すなわち、被写体９２であるユーザは、撮像画像Ｉａを見ながら、撮像画像Ｉａ内に形成された仮想空間を自由に動き回ることができる。すなわち、被写体９２の動きは、アバター９２ａの動きに反映される。

　特に、本実施形態の情報処理装置８１ａにおいて、アバター９２ａは、仮想空間で仮想カメラ８４Ｖを用いて画像を撮像する機能を備える。すなわち、被写体９２が、コントローラ８８を介して仮想カメラ８４Ｖを操作する指示を出すと、アバター９２ａが仮想カメラ８４Ｖを取り出して、仮想空間の被写体９２が指示した方向の画像を撮像する。

　仮想カメラ８４Ｖが撮像した撮像画像Ｉａに映ったアバター９２ａの視線方向Ｅが仮想カメラ８４Ｖを向くと、３Ｄモデル９０Ｍは、視線方向Ｆが仮想カメラ８４Ｖを向いた３Ｄモデル９０Ｎに変更される。そして、情報処理装置８１ａは、アバター９２ａと３Ｄモデル９０Ｎとがともに仮想カメラ８４Ｖを見ている状態をセルフィ撮影する。

　なお、情報処理装置８１ａのハードウエア構成は、第１の実施形態で説明した携帯端末８０のハードウエア構成（図５）に対して、液晶ディスプレイ１６をヘッドマウントディスプレイ８９に置き換えて、タッチパネル１４をコントローラ８８に置き換えたものとなる（図示省略）。なお、情報処理装置８１ａのＣＰＵ３２は、ヘッドマウントディスプレイ８９及びコントローラ８８と、無線通信又は有線通信によって接続される。

［８－２．情報処理装置の機能構成］
　図２３は、第８の実施形態に係る情報処理装置の機能構成の一例を示す機能ブロック図である。第８の実施形態の情報処理装置８１ａは、撮像部５１と、被写体特徴検出部５３と、表示制御部５４とを備える。なお、情報処理装置８１ａは、さらに、被写体９２のアバター９２ａを、フルＣＧによって生成する処理を行うが、アバター９２ａの生成処理は公知の方法に従って行えばよいため、説明は省略する。

　撮像部５１は、被写体９２の操作指示に従って、被写体９２のアバター９２ａが操作する仮想カメラ８４Ｖによって、映像のモニタや、画像の撮像、映像の録画を行う。撮像部５１は、さらに、仮想映像生成部５１ｃと、仮想映像モニタ部５１ｄと、仮想カメラ映像生成部５１ｅと、撮像・録画処理部５１ｂとを備える。

　仮想映像生成部５１ｃは、仮想カメラ８４Ｖが撮像した撮像画像Ｉａ（仮想画像）を生成する。

　仮想映像モニタ部５１ｄは、撮像画像Ｉａをヘッドマウントディスプレイ８９にリアルタイムで表示する、いわゆるライブビューを行う。

　撮像・録画処理部５１ｂは、仮想カメラ８４Ｖが撮像した撮像画像Ｉａを記憶する。また、撮像・録画処理部５１ｂは、セルフィ撮影を行う。

　被写体特徴検出部５３は、仮想カメラ８４Ｖが撮像した撮像画像Ｉａの中から、被写体９２のアバター９２ａを検出する。被写体特徴検出部５３は、さらに、アバター検出部５３ｈと、視線方向検出部５３ｂとを備える。

　アバター検出部５３ｈは、仮想カメラ８４Ｖが撮像した撮像画像Ｉａの中から、アバター９２ａを検出する。

　視線方向検出部５３ｂは、アバター検出部５３ｈが検出したアバター９２ａの視線方向Ｅを検出する。

　表示制御部５４は、被写体特徴検出部５３が検出したアバター９２ａの視線方向Ｅに応じて、３Ｄモデル９０Ｍの表示態様を変更する。具体的には、表示制御部５４は、アバター９２ａの視線方向Ｅが仮想カメラ８４Ｖを向いている場合、すなわちアバター９２ａが仮想カメラ目線である場合に、３Ｄモデル９０Ｍの視線方向Ｆを、仮想カメラ８４Ｖを向く向きに変更する。表示制御部５４は、さらに、３Ｄモデルフレーム選択部５４ａと、３Ｄモデル描画方向制御部５４ｂとを備える。なお、表示制御部５４は、本開示における制御部の一例である。

　３Ｄモデルフレーム選択部５４ａは、記憶部３８に記憶された複数の３ＤモデルＭの中から、予め決められた３Ｄモデル９０Ｍを選択する。また、３Ｄモデルフレーム選択部５４ａは、視線方向検出部５３ｂが検出した、アバター９２ａの視線方向Ｅに応じた視線方向Ｆを有する３Ｄモデル９０Ｍを選択する。より具体的には、３Ｄモデルフレーム選択部５４ａは、アバター９２ａが仮想カメラ目線である場合に、３Ｄモデル９０Ｍの視線方向Ｆが仮想カメラ８４Ｖを向く向きである３Ｄモデル９０Ｍを選択する。

　３Ｄモデル描画方向制御部５４ｂは、３Ｄモデルフレーム選択部５４ａが選択した３Ｄモデル９０Ｍを、撮像画像Ｉａに重畳して表示する。また、３Ｄモデル描画方向制御部５４ｂは、３Ｄモデル９０Ｍを回転させることによって、当該３Ｄモデル９０Ｍの向きを変更して、３Ｄモデル９０Ｎを生成する。さらに、３Ｄモデル描画方向制御部５４ｂは、向きが変更された３Ｄモデル９０Ｎを、撮像画像Ｉａに重畳して表示する。

[８－３．情報処理装置が行う処理の流れ]
　図２４は、第８の実施形態に係る情報処理装置が行う処理の流れの一例を示すフローチャートである。以下、処理の流れを、順を追って説明する。

　仮想映像モニタ部５１ｄは、被写体９２によるコントローラ８８の操作指示を受けて、仮想カメラ８４Ｖを起動する（ステップＳ１２０）。

　仮想映像生成部５１ｃは、仮想カメラ８４Ｖから見た撮像画像Ｉａ（仮想画像）を生成する（ステップＳ１２１）。

　アバター検出部５３ｈは、撮像画像Ｉａの中からアバター９２ａを検出する。そして、視線方向検出部５３ｂは、検出されたアバター９２ａの視線方向Ｅを検出する（ステップＳ１２２）。

　続いて、視線方向検出部５３ｂは、アバター９２ａが仮想カメラ８４Ｖを見ている、すなわち仮想カメラ目線かを判定する（ステップＳ１２３）。アバター９２ａが仮想カメラ目線であると判定される（ステップＳ１２３：Ｙｅｓ）と、ステップＳ１２５に進む。一方、アバター９２ａが仮想カメラ目線であると判定されない（ステップＳ１２３：Ｎｏ）と、ステップＳ１２４に進む。

　ステップＳ１２３においてＮｏと判定されると、３Ｄモデルフレーム選択部５４ａは、記憶部３８に記憶された３ＤモデルＭの中から、３Ｄモデル９０Ｍの動画フレームを選択する。そして、３Ｄモデル描画方向制御部５４ｂは、３Ｄモデルフレーム選択部５４ａが選択した３Ｄモデル９０Ｍを、撮像画像Ｉａの予め決められた所定の位置に描画するとともに、動画フレームをループ再生する（ステップＳ１２４）。その後、ステップＳ１２２に戻る。

　一方、ステップＳ１２３においてＹｅｓと判定されると、３Ｄモデル描画方向制御部５４ｂは、撮像画像Ｉａの予め決められた所定の位置に３Ｄモデル９０Ｍを描画するとともに、当該３Ｄモデル９０Ｍの向きを仮想カメラ８４Ｖの方向に向ける（ステップＳ１２５）。

　次に、３Ｄモデル描画方向制御部５４ｂは、３Ｄモデルフレーム選択部５４ａが選択した、目が開いて、視線方向が仮想カメラ８４Ｖの方向を向いている３Ｄモデル９０Ｎを、ステップＳ１２５で設定した描画位置の描画する（ステップＳ１２６）。すなわち、図２２に示す撮像画像Ｉｂ（仮想画像）が生成される。

　そして、撮像・録画処理部５１ｂは、アバター９２ａと３Ｄモデル９０Ｎとがともに仮想カメラ目線の状態でセルフィ撮影を行う（ステップＳ１２７）。

[８－４．第８の実施形態の効果]
　以上説明したように、第８の実施形態の情報処理装置８１ａによると、被写体特徴検出部５３（検出部）は、仮想空間に存在する仮想カメラ８４Ｖ（第２の撮像部）が撮像する撮像画像Ｉａに表示された、３Ｄモデル９０Ｍと同一の仮想空間に存在して、被写体９２（ユーザ）の操作に基づいて仮想空間で動作するアバター９２ａ（第１のアバター）の視線方向Ｅ（特徴）を検出する。そして、表示制御部５４（制御部）は、検出されたアバター９２ａの視線方向Ｅに応じて、３Ｄモデル９０Ｍの表示態様を変更する。

　これにより、被写体９２の分身であるアバター９２ａ（第１のアバター）を含む撮像画像Ｉａに表示した３Ｄモデル９０Ｍに対して、インタラクティブな動作や反応を行わせることができる。

（９．第９の実施形態）
　本開示の第９の実施形態は、第８の実施形態において、撮像画像Ｉａ（仮想画像）に、３Ｄモデル９０Ｍを重畳して表示する代わりに、被写体９２とは異なる被写体のアバター（第２のアバター）を重畳して表示する機能を備える情報処理装置の例である。

[９－１．情報処理装置の概要]
　図２５は、第９の実施形態の情報処理装置の概要を説明する図である。

　情報処理装置８１ｂは、第８の実施形態で説明した機能を有するカメラ８４ａに加えて、カメラ８４ａと同じ機能を有するカメラ８４ｂを備える。カメラ８４ｂは、被写体９２とは異なる被写体９３を撮像する。なお、図２５は、被写体９２と被写体９３とが並んで立っているが、被写体９２と被写体９３とは離れた位置に存在してもよい。すなわち、カメラ８４ａとカメラ８４ｂとは、互いに離れた位置に存在して、撮像した画像を情報処理装置８１ｂに無線送信する機能を備えていてもよい。

　被写体９３は、被写体９２と同様に、ヘッドマウントディスプレイ８９を装着している。ヘッドマウントディスプレイ８９には、情報処理装置８１ｂが生成した撮像画像Ｉａがリアルタイムで表示される。なお、被写体９２，９３が装着している、ヘッドマウントディスプレイ８９は、撮像画像Ｉａのみならず、情報処理装置８１ｂが出力した音声情報を出力する機能も備えている。また、被写体９３は、被写体９２と同じコントローラ８８を身に付けている。

　情報処理装置８１ｂは、第８の実施形態で説明した通り、被写体９２のアバター９２ａ（第１のアバター）が表示された撮像画像Ｉａ（仮想画像）を生成する。さらに、情報処理装置８１ｂは、撮像画像Ｉａの中に、被写体９３のアバター９３ａ（第２のアバター）を表示する。すなわち、被写体９２と被写体９３とは、それぞれがアバター９２ａ，９３ａとなって、撮像画像Ｉａという同じ仮想空間に存在することになる。

　被写体９２の動きは、コントローラ８８及びヘッドマウントディスプレイ８９で検出されて、情報処理装置８１ｂに送信される。そして、被写体９２の動きは、アバター９２ａの動きとして、撮像画像Ｉａに反映される。同様に、被写体９３の動きは、コントローラ８８及びヘッドマウントディスプレイ８９で検出されて、情報処理装置８１ｂに送信される。そして、被写体９３の動きは、アバター９３ａの動きとして、撮像画像Ｉａに反映される。このように、被写体９２と被写体９３とは、それぞれ、アバター９２ａ，９３ａとして、撮像画像Ｉａの中を自由に動き回る。

　情報処理装置８１ｂは、アバター９２ａが、仮想空間で仮想カメラ８４Ｖを用いて画像を撮像する機能を備える。すなわち、被写体９２が、コントローラ８８を介して仮想カメラ８４Ｖを操作する指示を出すと、アバター９２ａが仮想カメラ８４Ｖを取り出して、仮想空間の被写体９２が指示した方向の画像を撮像する。撮像された撮像画像Ｉａは、情報処理装置８１ｂによって、被写体９２，９３が装着したヘッドマウントディスプレイ８９に送信される。そして、被写体９２，９３は、ともに、撮像画像Ｉａをリアルタイムで観測する。

　情報処理装置８１ｂは、仮想カメラ８４Ｖが撮像した撮像画像Ｉａに映った、アバター９２ａの視線方向と、アバター９３ａの視線方向とを検出する。そして、アバター９２ａ，９３ａがともに仮想カメラ８４Ｖを見ているとき、情報処理装置８１ｂは、被写体９２の操作指示に従って、アバター９２ａ，９３ａがともに仮想カメラ８４Ｖを見ている状態の撮像画像Ｉｂをセルフィ撮影する。

　なお、情報処理装置８１ｂのハードウエア構成は、第８の実施形態で説明した情報処理装置８１ａのハードウエア構成に、カメラ８４ｂと、被写体９３用のコントローラ８８と、ヘッドマウントディスプレイ８９とを追加したものとなる。

[９－２．情報処理装置の機能構成]
　図２６は、第９の実施形態に係る情報処理装置の機能構成の一例を示す機能ブロック図である。第９の実施形態の情報処理装置８１ｂは、撮像部５１と、被写体特徴検出部５３と、表示制御部５４とを備える。

　撮像部５１は、第８の実施形態と同じ機能を備えるため、説明は省略する。被写体特徴検出部５３は、アバター検出部５３ｈと視線方向検出部５３ｂとを有する、第８の実施形態で説明した被写体特徴検出部５３と同じ構成を備える。しかしながら、本実施形態においては、アバター検出部５３ｈは、仮想カメラ８４Ｖが撮像した撮像画像Ｉａの中から、アバター９２ａとアバター９３ａとを検出する点が異なる。また、視線方向検出部５３ｂは、アバター検出部５３ｈが検出したアバター９２ａの視線方向Ｅと、アバター９３ａの視線方向Ｆと、を検出する。

　表示制御部５４は、アバター９２ａとアバター９３ａとを、撮像画像Ｉａに重畳して表示する。

[９－３．情報処理装置が行う処理の流れ]
　図２７は、第９の実施形態に係る情報処理装置が行う処理の流れの一例を示すフローチャートである。以下、処理の流れを、順を追って説明する。

　ステップＳ１３０及びステップＳ１３１の処理は、第８の実施形態で説明したステップＳ１２０及びステップＳ１２１の処理と同じであるため、説明は省略する。

　続いて、アバター検出部５３ｈは、撮像画像Ｉａの中からアバター９２ａ（第１のアバター）を検出する。そして、視線方向検出部５３ｂは、検出されたアバター９２ａの視線方向Ｅを検出する（ステップＳ１３２）。

　続いて、視線方向検出部５３ｂは、アバター９２ａが仮想カメラ８４Ｖを見ている、すなわち仮想カメラ目線かを判定する（ステップＳ１３３）。アバター９２ａが仮想カメラ目線であると判定される（ステップＳ１３３：Ｙｅｓ）と、ステップＳ１３５に進む。一方、アバター９２ａが仮想カメラ目線であると判定されない（ステップＳ１３３：Ｎｏ）と、ステップＳ１３４に進む。

　ステップＳ１３３においてＮｏと判定されると、表示制御部５４は、撮像画像Ｉａの中にアバター９３ａをループ再生（ライブビュー表示）する（ステップＳ１３４）。その後、ステップＳ１３２に戻る。

　一方、ステップＳ１３３においてＹｅｓと判定されると、アバター検出部５３ｈは、撮像画像Ｉａの中からアバター９３ａ（第２のアバター）を検出する。そして、視線方向検出部５３ｂは、検出されたアバター９３ａの視線方向Ｆを検出する（ステップＳ１３５）。なお、アバター９２ａが仮想カメラ目線であると判定された際に、情報処理装置８１ｂは、ヘッドマウントディスプレイ８９を介して、被写体９３に対して、「一緒に写真を撮ろうよ」という指示を与えてもよい。

　続いて、視線方向検出部５３ｂは、アバター９３ａが仮想カメラ８４Ｖを見ている、すなわち仮想カメラ目線かを判定する（ステップＳ１３６）。アバター９３ａが仮想カメラ目線であると判定される（ステップＳ１３６：Ｙｅｓ）と、ステップＳ１３７に進む。一方、アバター９３ａが仮想カメラ目線であると判定されない（ステップＳ１３６：Ｎｏ）と、ステップＳ１３５に戻る。

　ステップＳ１３６においてＹｅｓと判定されると、撮像・録画処理部５１ｂは、アバター９２ａとアバター９３ａとがともに仮想カメラ目線の状態でセルフィ撮影を行う（ステップＳ１３７）。

[９－４．第９の実施形態の効果]
　以上説明したように、第９の実施形態の情報処理装置８１ｂによると、表示制御部５４（制御部）は、撮像画像Ｉａの中に、被写体９２とは異なる被写体９３のアバター９３ａ（第２のアバター）を表示する。

　これによって、被写体９２（ユーザ）は、仮想空間で、別の被写体９３に対して、インタラクティブな動作や反応を行わせることができる。

　なお、本明細書に記載された効果は、あくまで例示であって限定されるものではなく、他の効果があってもよい。また、本開示の実施形態は、上述した実施形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

　例えば、本開示は、以下のような構成もとることができる。

　（１）
　撮像画像の中に表示された３Ｄモデルを制御する制御部と、
　前記撮像画像に前記３Ｄモデルと同時に表示された被写体の特徴を検出する検出部と、を備え、
　前記制御部は、前記検出部が検出した前記被写体の特徴に応じて、前記３Ｄモデルの表示態様を変更する情報処理装置。
　（２）
　前記検出部は、前記被写体の特徴である視線方向を検出するものであり、
　前記制御部は、検出された前記被写体の視線方向に応じて、前記３Ｄモデルの向きを変更する、
　前記（１）に記載の情報処理装置。
　（３）
　前記制御部は、前記被写体の視線方向に応じて、前記３Ｄモデルを回転させることによって、当該３Ｄモデルの向きを変更する、
　前記（２）に記載の情報処理装置。
　（４）
　前記制御部は、前記被写体の視線方向に応じて、前記３Ｄモデルが置かれた座標系を回転させることによって、当該３Ｄモデルの向きを変更する、
　前記（２）に記載の情報処理装置。
　（５）
　前記検出部が、前記被写体の視線方向が、前記撮像画像が撮像された方向を向いていると検出した場合に、
　前記制御部は、前記３Ｄモデルの向きを、前記撮像画像が撮像された方向に変更する、
　前記（１）乃至（４）のいずれか１項に記載の情報処理装置。
　（６）
　前記検出部が、前記被写体の視線方向が、前記３Ｄモデルを向いていると検出した場合に、
　前記制御部は、前記３Ｄモデルの向きを、前記被写体を向く向きに変更する、
　前記（１）乃至（４）のいずれか１項に記載の情報処理装置。
　（７）
　前記検出部は、前記被写体の特徴である表情を検出するものであって、
　前記制御部は、前記被写体の表情が笑顔であると検出された場合に、前記３Ｄモデルの向きを、前記撮像画像が撮像された方向に変更する、
　前記（１）乃至（６）のいずれか１項に記載の情報処理装置。
　（８）
　前記検出部は、前記被写体の特徴である明るさを検出するものであり、
　前記制御部は、前記被写体の明るさに応じて、前記３Ｄモデルの明るさを変更する、
　前記（１）乃至（７）のいずれか１項に記載の情報処理装置。
　（９）
　前記検出部は、前記被写体の特徴である被写体までの距離を検出するものであって、
　前記制御部は、前記３Ｄモデルまでの距離を、当該３Ｄモデルと前記被写体とが前記撮像画像の被写界深度に入るように変更する、
　前記（１）乃至（８）のいずれか１項に記載の情報処理装置。
　（１０）
　前記検出部は、前記被写体の特徴である、前記撮像画像における前記被写体の位置を検出するものであって、
　前記制御部は、前記被写体の位置と前記３Ｄモデルの位置とが重複すると予測される場合に、前記３Ｄモデルの表示位置を、前記被写体と重複しない位置に変更する、
　前記（１）乃至（９）のいずれか１項に記載の情報処理装置。
　（１１）
　前記検出部は、前記被写体の特徴である、前記撮像画像における前記被写体の位置及びサイズを検出するものであって、
　前記制御部は、前記被写体の位置及びサイズに応じて、前記３Ｄモデルの表示位置及びサイズを調整する、
　前記（１）乃至（１０）のいずれか１項に記載の情報処理装置。
　（１２）
　前記制御部が前記３Ｄモデルの表示態様を変更した後の前記３Ｄモデルと前記被写体とを撮像する、撮像部を更に備える、
　前記（１）乃至（１１）のいずれか１項に記載の情報処理装置。
　（１３）
　前記撮像部は、現実世界に存在するカメラ、または仮想世界に存在する仮想カメラである、
　前記（１２）に記載の情報処理装置。
　（１４）
　前記被写体は、前記３Ｄモデルと同一の仮想空間に存在して、ユーザの操作に基づいて当該仮想空間で動作する第１のアバターであって、
　前記検出部は、前記仮想空間に存在する第２の撮像部が撮像する撮像画像に表示された前記第１のアバターの特徴を検出する、
　前記（１）乃至（１３）のいずれか１項に記載の情報処理装置。
　（１５）
　前記３Ｄモデルは、前記被写体とは異なる被写体の操作に基づいて、前記仮想空間で動作する第２のアバターである、
　前記（１４）に記載の情報処理装置。
　（１６）
　前記３Ｄモデルは、現実世界に存在するオブジェクトを、異なる視点から撮像した複数の視点画像を用いて生成された、前記オブジェクトの３Ｄ情報を有するモデルである、
　前記（１）乃至（１４）のいずれか１項に記載の情報処理装置。
　（１７）
　前記制御部は、
　前記撮像画像の中に所定の表示が表示された際に、前記撮像画像に重畳して、前記３Ｄモデルを表示する、
　前記（１）乃至（１３）のいずれか１項に記載の情報処理装置。
　（１８）
　撮像画像の中に表示された３Ｄモデルを制御する制御プロセスと、
　前記撮像画像に前記３Ｄモデルと同時に表示された被写体の特徴を検出する検出プロセスと、を備え、
　前記制御プロセスは、前記検出プロセスが検出した前記被写体の特徴に応じて、前記３Ｄモデルの表示態様を変更する情報処理方法。
　（１９）
　コンピュータを、
　撮像画像の中に表示された３Ｄモデルを制御する制御部と、
　前記撮像画像に前記３Ｄモデルと同時に表示された被写体の特徴を検出する検出部と、して機能させるとともに、
　前記制御部に、前記検出部が検出した前記被写体の特徴に応じて、前記３Ｄモデルの表示態様を変更させるプログラム。　

　５１…撮像部、５２…ＡＲマーカ検出部、５３…被写体特徴検出部（検出部）、５４…表示制御部（制御部）、８０…携帯端末（情報処理装置）、８１ａ，８１ｂ…情報処理装置、８２…表示画面、８４，８４ａ，８４ｂ…カメラ（第１の撮像部）、８４Ｖ…仮想カメラ（第２の撮像部）、８５…ＡＲマーカ（所定の表示），９０…被写体（オブジェクト），９０Ｍ，９０Ｎ，Ｍ…３Ｄモデル、９２…被写体（ユーザ）、９２ａ…アバター（第１のアバター）、９３…被写体、９３ａ…アバター（第２のアバター）、Ｉａ，Ｉｂ…撮像画像（仮想画像）、Ｅ，Ｆ…視線方向、Ｉ…撮像画像

Claims (19)

1. 　撮像画像の中に表示された３Ｄモデルを制御する制御部と、
   　前記撮像画像に前記３Ｄモデルと同時に表示された被写体の特徴を検出する検出部と、を備え、
   　前記制御部は、前記検出部が検出した前記被写体の特徴に応じて、前記３Ｄモデルの表示態様を変更する情報処理装置。
2. 　前記検出部は、前記被写体の特徴である視線方向を検出するものであり、
   　前記制御部は、検出された前記被写体の視線方向に応じて、前記３Ｄモデルの向きを変更する、
   　請求項１に記載の情報処理装置。
3. 　前記制御部は、前記被写体の視線方向に応じて、前記３Ｄモデルを回転させることによって、当該３Ｄモデルの向きを変更する、
   　請求項２に記載の情報処理装置。
4. 　前記制御部は、前記被写体の視線方向に応じて、前記３Ｄモデルが置かれた座標系を回転させることによって、当該３Ｄモデルの向きを変更する、
   　請求項２に記載の情報処理装置。
5. 　前記検出部が、前記被写体の視線方向が、前記撮像画像が撮像された方向を向いていると検出した場合に、
   　前記制御部は、前記３Ｄモデルの向きを、前記撮像画像が撮像された方向に変更する、
   　請求項２に記載の情報処理装置。
6. 　前記検出部が、前記被写体の視線方向が、前記３Ｄモデルを向いていると検出した場合に、
   　前記制御部は、前記３Ｄモデルの向きを、前記被写体を向く向きに変更する、
   　請求項２に記載の情報処理装置。
7. 　前記検出部は、前記被写体の特徴である表情を検出するものであって、
   　前記制御部は、前記被写体の表情が笑顔であると判定された場合に、前記３Ｄモデルの向きを、前記撮像画像が撮像された方向に変更する、
   　請求項１に記載の情報処理装置。
8. 　前記検出部は、前記被写体の特徴である明るさを検出するものであり、
   　前記制御部は、前記被写体の明るさに応じて、前記３Ｄモデルの明るさを変更する、
   　請求項１に記載の情報処理装置。
9. 　前記検出部は、前記被写体の特徴である被写体までの距離を検出するものであって、
   　前記制御部は、前記３Ｄモデルまでの距離を、当該３Ｄモデルと前記被写体とが前記撮像画像の被写界深度に入るように変更する、
   　請求項１に記載の情報処理装置。
10. 　前記検出部は、前記被写体の特徴である、前記撮像画像における前記被写体の位置を検出するものであって、
    　前記制御部は、前記被写体の位置と前記３Ｄモデルの位置とが重複すると予測される場合に、前記３Ｄモデルの表示位置を、前記被写体と重複しない位置に変更する、
    　請求項１に記載の情報処理装置。
11. 　前記検出部は、前記被写体の特徴である、前記撮像画像における前記被写体の位置及びサイズを検出するものであって、
    　前記制御部は、前記被写体の位置及びサイズに応じて、前記３Ｄモデルの表示位置及びサイズを調整する、
    　請求項１に記載の情報処理装置。
12. 　前記制御部が前記３Ｄモデルの表示態様を変更した後の前記３Ｄモデルと前記被写体とを撮像する、撮像部を更に備える、
    　請求項１に記載の情報処理装置。
13. 　前記撮像部は、現実世界に存在するカメラ、または仮想世界に存在する仮想カメラである、
    　請求項１２に記載の情報処理装置。
14. 　前記被写体は、前記３Ｄモデルと同一の仮想空間に存在して、ユーザの操作に基づいて当該仮想空間で動作する第１のアバターであって、
    　前記検出部は、前記仮想空間に存在する第２の撮像部が撮像する撮像画像に表示された前記第１のアバターの特徴を検出する、
    　請求項１に記載の情報処理装置。
15. 　前記３Ｄモデルは、前記被写体とは異なる被写体の操作に基づいて、前記仮想空間で動作する第２のアバターである、
    　請求項１４に記載の情報処理装置。
16. 　前記３Ｄモデルは、現実世界に存在するオブジェクトを、異なる視点から撮像した複数の視点画像を用いて生成された、前記オブジェクトの３Ｄ情報を有するモデルである、
    　請求項１に記載の情報処理装置。
17. 　前記制御部は、
    　前記撮像画像の中に所定の表示が検出された際に、当該撮像画像に重畳して、前記３Ｄモデルを表示する、
    　請求項１６に記載の情報処理装置。
18. 　撮像画像の中に表示された３Ｄモデルを制御する制御プロセスと、
    　前記撮像画像に前記３Ｄモデルと同時に表示された被写体の特徴を検出する検出プロセスと、を備え、
    　前記制御プロセスは、前記検出プロセスが検出した前記被写体の特徴に応じて、前記３Ｄモデルの表示態様を変更する情報処理方法。
19. 　コンピュータを、
    　撮像画像の中に表示された３Ｄモデルを制御する制御部と、
    　前記撮像画像に前記３Ｄモデルと同時に表示された被写体の特徴を検出する検出部と、して機能させるとともに、
    　前記制御部に、前記検出部が検出した前記被写体の特徴に応じて、前記３Ｄモデルの表示態様を変更させるプログラム。

Images