JP6496172B2 - 映像表示システム及び映像表示方法 - Google Patents

Description

本発明は、映像表示システム及び映像表示方法に係り、特に、遠隔地に居る対話相手の映像を対話者側のディスプレイに表示させる映像表示システム及び映像表示方法に関する。

互いに離れた空間に居るユーザ同士が通信技術を利用してお互いの映像を見ながら対話すること、及び、それを実現するための映像表示システムは、既に知られている。同システムでは、一方のユーザの映像を撮像したときの映像データが送信され、他方のユーザ側で当該映像データを受信して展開する。これにより、一方のユーザの映像が他方のユーザ側の表示画面に表示されるようになる。この結果、表示画面を見ているユーザは、あたかも対話相手と対面しているかのように感じるようになる。

また、近年では、表示画面を見ているユーザの視点の位置が変化した際に、その位置の変化に連動して、表示画面に表示されている映像が変化する技術が開発されている（例えば、特許文献１及び特許文献２参照）。具体的に説明すると、特許文献１及び２に記載の映像表示システム（特許文献１及び２では映像コミュニケーションシステムと表記）によれば、表示画面を見ているユーザが左右に移動すると、図１４に示すように、表示映像が鉛直軸を中心に回転するように切り替わる。これにより、同図に示すように、表示画面に表示される映像が、左部と右部との間で奥行距離が異なった映像となる。図１４は、従来の映像表示システム（具体的には特許文献１及び２に記載の映像表示システム）において、表示画面を見ているユーザの移動に連動して映像が変化する状況を図示している。

以上のように特許文献１及び２に記載の映像表示システムでは、表示画面を見ているユーザの視点位置の移動（左右方向への移動）に応じて表示映像各部の奥行を変えることにより、移動後の視点位置から見える対話相手の空間の映像を再現している。

特開２０１２−８５１５９号公報 特開２０１４−７１８７１号公報

ところで、表示画面を見ている者の視点位置の移動に応じて表示画面の映像を変える際には、視点位置が移動する前の映像を加工する等の処理が必要となる。この加工処理については当然ながらより簡易な手順にて行われるのが好ましい。一方で、特許文献１及び特許文献２の映像表示システムでは、映像の中から人物映像を抽出し、この人物映像に所定の処理を施した上で、処理後の人物映像と背景映像とを合わせて表示映像としている。すなわち、特許文献１及び２の映像表示システムでは、表示画面を見ている者の視点位置の移動に応じて表示画面の映像を変えるにあたり、人物映像の抽出が必須となり、その分、処理に手間を要することになる。

また、特許文献１及び２に記載の映像表示システムでは、上述したように、表示画面を見ているユーザが左右に移動したときに、表示映像が鉛直軸を中心に回転するように切り替わる。しかしながら、実際に対面して対話を行っている者のうち、一方の対話者が左右に移動したとき、当該一方の対話者が見ている他方の対話者の姿は、上記のように回転することはなく、水平移動するに過ぎない。

さらに、表示画面を見ているユーザの視点位置の移動に応じて表示映像を変える際には、人物の映像と背景の映像との間で奥行方向における位置が異なる点を考慮する必要がある。これに対して、特許文献１及び２に記載の映像表示システムでは、表示画面を見ているユーザが左右に移動したときに、人物の映像及び背景の映像の双方を同じ回転量（回転角度）だけ回転させている。それ故に、特許文献１及び２に記載の映像表示システムでは、表示画面を見ているユーザが左右に移動した際の対話相手の映像が、対話相手と実際に対面して当該対話相手を見たときの見え方（すなわち、ユーザが自分の視覚を通じて認識する対話相手の像）とは異なってしまう。

さらにまた、特許文献１及び２に記載の映像表示システムでは、図１５に示すように、対話相手の距離（奥行距離）に応じて当該対話相手の映像の表示サイズが変化することになっている。具体的に説明すると、表示サイズは、対話相手を撮像する撮像装置の特性（具体的にはレンズの特性）に応じて光学的に決定される。このため、図１５に示すように、対話相手の奥行距離が大きくなるほど（換言すると、対話相手が撮像装置から離れるほど）、映像中の対話相手がより小さなサイズにて表示されるようになる。図１５は、従来の映像表示システム（具体的には特許文献１及び２に記載の映像表示システム）において、対話相手の奥行距離に応じた表示サイズにて当該対話相手の映像が表示される状況を図示している。

しかしながら、実際に対面して対話を行っている者のうち、一方の対話者が奥行方向に移動したとき、他方の対話者が見ている当該一方の対話者の姿の見え方（大きさ）は、人間の見た目では変化しないように見える。それ故に、特許文献１及び２に記載の映像表示システムでは、対話相手の奥行距離が変化したときにおける当該対話相手の映像の表示サイズが、対話相手と実際に対面して当該対話相手を見たときに感じる大きさ（すなわち、ユーザが自分の視覚を通じて認識する対話相手の大きさ）とは異なってしまう。

そこで、本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、ディスプレイに表示された対話相手の映像を見ているユーザが移動した際の表示映像を、移動後のユーザの位置を反映した映像により容易に切り替えることが可能な映像表示システム及び映像表示方法を提供することである。
また、本発明の他の目的は、ディスプレイに表示された対話相手の映像を見ているユーザが移動した際に、対話相手と実際に対面したときの見え方を反映した映像を表示することが可能な映像表示システム及び映像表示方法を提供することである。
また、本発明の他の目的は、対話相手の奥行距離が変化した際に、対話相手と実際に対面したときの見え方を反映した表示サイズにて対話相手の映像を表示することが可能な映像表示システムを提供することである。

前記課題は、本発明の映像表示システムによれば、第一ユーザの映像を第二ユーザ側のディスプレイに表示するための映像表示システムであって、（Ａ）撮像装置が撮像した前記第一ユーザの映像、及び、前記撮像装置が撮像した背景の映像を取得する映像取得部と、（Ｂ）該映像取得部が取得した前記第一ユーザの映像及び前記背景の映像を合成し、前記背景の手前に前記第一ユーザが位置した合成映像を前記ディスプレイに表示させる合成映像表示部と、（Ｃ）前記第二ユーザの顔が前記ディスプレイに対して移動したことを検知する検知部と、を備え、（Ｄ）前記顔が移動したことを前記検知部が検知したとき、前記合成映像表示部は、前記ディスプレイに表示されている前記合成映像を、前記顔が移動したことを前記検知部が検知する前の状態から遷移させる遷移処理を実行し、前記合成映像表示部は、前記遷移処理において、前記合成映像における前記第一ユーザの映像の表示位置、及び、前記映像取得部が取得した前記背景の映像の中で前記合成映像中に含まれる範囲のうちの一方を、他方のずれ量よりも大きいずれ量だけ前記顔の移動方向に沿ってずらした状態へ前記合成映像を遷移させることにより解決される。

上記の映像表示システムによれば、第一ユーザの映像及び背景の映像を取得し、双方を合成して背景の手前に第一ユーザが位置した合成映像を第二ユーザ側のディスプレイに表示させる。かかる合成映像では、第一ユーザの映像及び背景の映像のそれぞれについて、表示位置や表示サイズ等を個別に調整することが可能である。これにより、第二ユーザの顔が移動したとき、第一ユーザと背景映像との合成映像を移動後の第二ユーザの顔の位置に応じて切り替えることがより容易になる。

また、上記の構成では、第二ユーザの顔が移動した際に実行される遷移処理において、第一ユーザの映像の表示位置、及び、背景の映像の中で合成映像中に含まれる範囲のうちの一方を、他方のずれ量よりも大きいずれ量だけ移動方向に沿ってずらした合成映像を表示する。これにより、合成映像が、第二ユーザが移動後の顔の位置から実際に第一ユーザを見たときの見え方を再現した映像となり、以て、映像表示システムを用いた対話の臨場感（リアル感）を向上させることが可能となる。

また、上記の映像表示システムにおいて、前記ディスプレイの幅方向において互いに反対の向きである２つの向きを第一向き及び第二向きとしたとき、前記顔が前記第一向きに移動したことを前記検知部が検知した際に、前記合成映像表示部は、前記遷移処理において前記範囲を、前記表示位置のずれ量よりも大きいずれ量だけ前記第二向きにずらした状態へ前記合成映像を遷移させるとよい。
上記の構成によれば、第二ユーザの顔が第一向きに移動したとき、背景の映像の表示範囲を、第一ユーザの映像の表示位置のずれ量よりも大きいずれ量だけ第二向きにずらした合成映像を表示する。これにより、第二ユーザの視線が第一ユーザに向いている場合において、第二ユーザの顔が移動したときの表示映像（合成映像）を、移動後の顔の位置から実際に第一ユーザを見たときの見え方を再現した映像とすることが可能となる。なお、かかる効果は、背景映像中、当初の合成映像に含まれていなかった範囲を表示させるとき等において、特に有効である。

また、上記の映像表示システムにおいて、前記ディスプレイの幅方向において互いに反対の向きである２つの向きを第一向き及び第二向きとしたとき、前記顔が前記第一向きに移動したことを前記検知部が検知した際に、前記合成映像表示部は、前記遷移処理において前記表示位置を、前記範囲のずれ量よりも大きいずれ量だけ前記第二向きにずらした状態へ前記合成映像を遷移させてもよい。
上記の構成によれば、第二ユーザの顔が第一向きに移動したとき、第一ユーザの映像の表示位置を、背景の映像の表示範囲のずれ量よりも大きいずれ量だけ第二向きにずらした合成映像を生成する。これにより、第二ユーザの視線が背景に向いている場合において、第二ユーザの顔が移動したときの表示映像（合成映像）を、移動後の顔の位置から実際に第一ユーザを見たときの見え方を再現した映像とすることが可能となる。

また、上記の映像表示システムにおいて、前記ディスプレイを貫く方向を法線方向とする基準面からの距離を特定する距離特定部を備え、前記顔が前記第一向きに移動したことを前記検知部が検知した際に、前記合成映像表示部は、前記遷移処理において、前記距離特定部が特定した前記基準面と前記第一ユーザとの間の距離に応じたずれ量だけ前記表示位置を前記第二向きにずらし、かつ、前記距離特定部が特定した前記基準面と前記背景との間の距離に応じたずれ量だけ前記範囲を前記第二向きにずらした状態へ前記合成映像を遷移させるとより一層よい。
上記の構成によれば、第二ユーザの顔が第一向きに移動したとき、第一ユーザの映像の表示位置及び背景の映像の表示範囲の各々を、当該各々と基準面との間の距離に応じたずれ量だけずらすこととした。これにより、第一ユーザの映像の表示位置及び背景の映像の表示範囲の各々について、そのずれ量を、第一ユーザと背景との位置関係に基づいて適切に設定することが可能となる。

また、上記の映像表示システムにおいて、前記ディスプレイを貫く方向を法線方向とする基準面からの距離を特定する距離特定部を備え、前記撮像装置が前記第一ユーザの映像を撮像している間に前記法線方向において前記第一ユーザの位置が変化したとき、前記合成映像表示部は、前記合成映像における前記第一ユーザの映像の表示サイズを、前記距離特定部が特定した前記基準面と前記第一ユーザとの間の距離に基づき、前記第一ユーザの位置が変化する前の前記表示サイズとなるように調整する調整処理を実行すると尚よい。
上記の構成によれば、基準面と第一ユーザとの距離（奥行距離）が変化したとしても、合成映像では、変化前の表示サイズのままで第一ユーザの映像が表示されることになる。すなわち、上記の奥行距離が変化した際、変化後の合成映像は、移動後の第二ユーザの顔の位置から実際に第一ユーザを見たときの大きさを反映した表示サイズにて第一ユーザの映像を表示したものとなる。この結果、映像表示システムを用いた対話の臨場感（リアル感）がより一層向上することとなる。

また、上記の映像表示システムにおいて、前記ディスプレイは、前記第二ユーザが居る部屋に設けられており、前記合成映像が表示されない間には、前記部屋内に設置された鏡面部分を有する家具若しくは建築材料としての外観を現し、前記合成映像表示部は、前記合成映像を表示させる際、前記ディスプレイをなす前記家具若しくは建築材料の前記鏡面部分にて前記合成映像を表示させると尚一層よい。
上記の構成では、部屋に設置された家具や建築材料がディスプレイをなし、その鏡面部分に合成映像が表示される。これにより、映像表示システムを用いた対話において、ユーザが居る空間同士がガラス越しに繋がっているような演出効果が奏されるようになり、対話の臨場感を更に向上させることが可能となる。

また、上記の映像表示システムにおいて、前記合成映像表示部は、所定の図柄及び像のうちの少なくとも一つが前記第一ユーザの手前に現れている前記合成映像を前記ディスプレイに表示させると益々よい。
上記の構成では、所定の図柄や像が第一ユーザの手前に現れている合成映像を、ディスプレイの鏡面部分に表示することになる。これにより、鏡面部分の存在が強調されるようになるため、ユーザが居る空間同士がガラス越しに繋がっているような演出効果を、より有効に発揮させることが可能となる。

また、上記の映像表示システムにおいて、前記映像取得部は、前記背景の映像として、前記背景に相当する空間内に前記第一ユーザが居ないときに前記撮像装置が撮像した前記空間の映像を取得すると一段とよい。
上記の構成では、背景の映像を、第一ユーザの映像の取得タイミングとは異なるタイミングにて取得する。これにより、背景の映像をより容易に取得することが可能となる。

また、前述の課題は、本発明の映像表示方法によれば、コンピュータを用いて、第一ユーザの映像を第二ユーザ側のディスプレイに表示する映像表示方法であって、（Ａ）コンピュータが、撮像装置が撮像した前記第一ユーザの映像、及び、前記撮像装置が撮像した背景の映像を取得することと、（Ｂ）コンピュータが、取得した前記第一ユーザの映像及び前記背景の映像を合成し、前記背景の手前に前記第一ユーザが位置した合成映像を前記ディスプレイに表示させることと、（Ｃ）コンピュータが、前記第二ユーザの顔が前記ディスプレイに対して移動したことを検知することと、を備え、（Ｄ）前記顔が移動したことを検知したとき、コンピュータが、前記ディスプレイに表示されている前記合成映像を、前記顔が移動したことを検知する前の状態から遷移させる遷移処理を実行し、前記遷移処理では、前記合成映像における前記第一ユーザの映像の表示位置、及び、取得した前記背景の映像の中で前記合成映像中に含まれる範囲のうちの一方を、他方のずれ量よりも大きいずれ量だけ前記顔の移動方向に沿ってずらした状態へ前記合成映像を遷移させることにより解決される。
上記の方法によれば、第二ユーザの顔が移動したとき、第一ユーザと背景映像との合成映像を移動後の第二ユーザの顔の位置に応じて切り替えることがより容易になる。

また、上記の方法によれば、第二ユーザの顔が移動したときに、移動後の顔の位置から実際に第一ユーザを見たときの見え方を再現した映像（合成映像）を表示することが可能となり、以て上記の映像表示方法を用いた対話の臨場感（リアル感）を向上させることが可能となる。

本発明の映像表示システム及び映像表示方法によれば、第二ユーザの顔が移動したとき、第一ユーザと背景映像との合成映像を移動後の第二ユーザの顔の位置に応じて切り替えることがより容易になる。
また、本発明の映像表示システム及び映像表示方法によれば、第二ユーザの顔が移動したときに、移動後の顔の位置から第一ユーザを実際に見たときの見え方を再現した映像（合成映像）を表示することが可能となる。
さらに、本発明の映像表示システムでは、基準面と第一ユーザとの距離（奥行距離）が変化したときに、合成映像中の第一ユーザの映像が当該奥行距離の変化前の表示サイズのままで表示される。
以上の作用により、第二ユーザの顔の位置や第一ユーザの立ち位置が変化した際には、変化後の合成映像を、ユーザ同士が実際に対面したときの見え方を反映した映像とすることが可能となる。この結果、対話の臨場感（リアル感）を向上させることが可能となる。

本発明の一実施形態に係る映像表示システムの構成を示した図である。 各ユーザの部屋内に設置されたシステム構成機器の配置位置を示した図である。 図３の（Ａ）及び（Ｂ）は、本発明のディスプレイの一例を示した図である。 映像合成の手順についての説明図である。 実映像から人物映像を抽出する手順についての説明図である。 各ユーザが保有するホームサーバの構成を機能面から示した図である。 第二ユーザの顔が移動した様子を模式的に示した図である。 第一ユーザ及び背景の各々の奥行距離についての説明図である。 遷移処理を実行したときの合成映像の変化を示した説明図であり、（Ａ）が遷移処理前の合成映像を、（Ｂ）が遷移処理後の合成映像を、それぞれ示している。 調整処理の実行結果についての説明図であり、（Ａ）が調整処理前の合成映像を、（Ｂ）が調整処理後の合成映像を、それぞれ示している。 映像表示フローの流れを示した図である（その１）。 映像表示フローの流れを示した図である（その２）。 第一変形例に係る遷移処理の説明図であり、（Ａ）が遷移処理前の合成映像を、（Ｂ）が遷移処理後の合成映像を、それぞれ示している。 第二変形例においてディスプレイに表示される合成映像を図示しており、（Ａ）乃至（Ｄ）は、ギミック画像のバリエーションを示している。 従来の映像表示システムにおいて、表示画面を見ているユーザの移動に連動して映像が変化する状況を図示している。 従来の映像表示システムにおいて、対話相手の奥行距離に応じた表示サイズにて当該対話相手の映像が表示される状況を図示している。

以下、本発明の一実施形態（以下、本実施形態）について図面を参照しながら説明する。本実施形態に係る映像表示システム（以下、本システムＳ）は、互いに離れた部屋に居るユーザ同士が互いの姿（映像）を見ながら対話するために用いられる。より具体的に説明すると、本システムＳがもたらす視覚効果により、各ユーザは、あたかも対話相手と会って話をしているような感覚を受けるようになる。

なお、本システムＳは、各ユーザが各自の自宅に居るときに利用されることになっている。つまり、本システムＳは、各ユーザが自宅に居ながらにして対話相手と対話（擬似的な対面対話であって、以下、単に「対面対話」という）を行うために利用される。ただし、これに限定されるものではなく、本システムＳは、ユーザが自宅以外の場所、例えば、集会所や商業施設、あるいは学校の教室や学習塾、病院等の公共施設、会社や事務所等に居るときに用いられてもよい。また、同じ建物内で互いに離れた部屋に居る者同士が対面対話するために本システムＳを用いてもよい。

以降、本システムＳについて分かり易く説明するために、二人のユーザが本システムＳを利用して対面対話するケースを例に挙げて説明することとし、一方のユーザをＡさん、他方のユーザをＢさんとする。また、以下では、Ｂさん側の視点、すなわち、Ａさんの映像を見る立場から本システムＳの構成等を説明することとする。つまり、Ａさんが「第一ユーザ」に相当し、Ｂさんが「第二ユーザ」に相当する。ただし、「第一ユーザ」及び「第二ユーザ」は、映像を見る者及び見られる者の関係に応じて切り替わる相対的な概念である。したがって、Ａさんの視点を基準としたときには、Ｂさんが「第一ユーザ」に相当し、Ａさんが「第二ユーザ」に相当することとなる。

＜＜本システムの基本構成＞＞
先ず、本システムＳの基本構成について説明する。本システムＳは、二人のユーザ（すなわち、Ａさん及びＢさん）がお互いの映像を見ながら対面対話をするために用いられ、より具体的には、各ユーザに対して対話相手の等身大の映像を表示し、対話相手の音声を再生するものである。このような視聴覚的効果を得るために、各ユーザは、通信ユニット１００を保有している。つまり、本システムＳは、各ユーザが保有する通信ユニット１００によって構成されている。

次に、図１を参照しながら通信ユニット１００の構成について説明する。図１は、本システムＳの構成、より具体的には各通信ユニット１００の構成を示した図である。各通信ユニット１００は、ホームサーバ１、撮像装置としてのカメラ２、集音装置としてのマイク３、赤外線センサ４、映像表示器としてのディスプレイ５、及び、スピーカ６を主要構成機器として有する。これらの機器のうち、カメラ２、マイク３、赤外線センサ４、ディスプレイ５及びスピーカ６は、各ユーザの自宅における所定の部屋（例えば、対面対話を行う際に利用される部屋）内に配置されている。

ホームサーバ１は、本システムＳの中枢をなす装置であり、コンピュータ、具体的にはホームゲートウェイを構成するサーバコンピュータからなる。このホームサーバ１の構成については公知であり、ＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、通信用インタフェース及びハードディスクドライブ等によって構成されている。

また、ホームサーバ１には、対面対話を実現するために必要なデータ処理を実行するためのプログラム（以下、対話用プログラム）がインストールされている。この対話用プログラムには、映像生成・表示用のプログラムが組み込まれている。かかる映像生成・表示用のプログラムは、対話相手側のホームサーバ１から取得した映像を編集して新たな映像として再構築するためのプログラムである。より詳しく説明すると、上述した映像生成・表示用のプログラムは、レンダリング用のプログラムであり、複数の映像の各々が奥行方向（表示画面の法線方向）において異なる位置に表示されるように上記複数の映像を合成するためのものである。なお、映像生成・表示用のプログラムとしては、仮想３次元空間において映像を任意の位置に埋め込んで表示させることが可能な既知のプログラムが利用可能である。

また、ホームサーバ１は、インターネット等の外部通信ネットワークＧＮを介して通信機器と通信可能な状態で接続されている。つまり、Ａさんが保有する通信ユニット１００に属するホームサーバ１は、外部通信ネットワークＧＮを介して、Ｂさんが保有する通信ユニット１００に属するホームサーバ１と通信し、両サーバ間で各種データの送受信を行う。なお、ホームサーバ１が送受信するデータは、対面対話に必要なデータであり、例えば、各ユーザの映像を示す映像データや音声を示す音声データである。

カメラ２は、公知のネットワークカメラであり、撮像範囲（画角）内にある被写体の映像を撮像する。ここで、「映像」とは、連続している複数のフレーム画像の集合体によって構成されるものであるが、以下の説明では、フレーム画像の集合体を含む他、個々のフレーム画像をも含むものとする。また、本実施形態では、カメラ２の撮像範囲が固定されている。このため、カメラ２は、その起動中、常に当該カメラ２が設置された空間の所定領域の映像を撮像することになる。

カメラ２は、撮像映像を示す信号（映像信号）を、当該カメラ２が所属する通信ユニット１００と同一のユニットに属するホームサーバ１に対して出力する。なお、カメラ２の設置台数については、特に制限されるものではないが、本実施形態ではコスト面を考慮し、各通信ユニット１００においてカメラ２を１台のみ備えることとした。

また、本実施形態において、カメラ２のレンズは、ディスプレイ５における表示画面の形成面に面している。ここで、形成面を構成するディスプレイ５のパネル（厳密には、タッチパネル５ａであり、鏡面部分に相当）は、透明なガラスによって構成されている。したがって、カメラ２は、図２に示すように、パネル越しで当該パネルの前に位置する被写体の映像を撮像することになる。図２は、本システムＳの構成機器としてＡさん及びＢさんのそれぞれの部屋内に配置されている各種機器の配置位置を示した図である。なお、カメラ２の配置位置については、ディスプレイ５から離れた位置であってもよい。

マイク３は、マイク３が設置された部屋内の音声を集音し、その音声信号をホームサーバ１（厳密には、マイク３が所属する通信ユニット１００と同一のユニットに属するホームサーバ１）に対して出力する。なお、本実施形態において、マイク３は、図２に示すようにディスプレイ５の直上位置に設置されている。

赤外線センサ４は、所謂デプスセンサであり、赤外線方式にて計測対象物の深度を計測するためのセンサである。具体的に説明すると、赤外線センサ４は、計測対象物に向けて発光部４ａから赤外線を照射し、その反射光を受光部４ｂにて受光することにより深度を計測する。ここで、深度とは、基準面から計測対象物までの距離（すなわち、奥行距離）のことである。ちなみに、本システムＳにおいて、ディスプレイ５における表示画面の形成面が基準面に該当する。より具体的に説明すると、赤外線センサ４の発光部４ａ及び受光部４ｂは、ディスプレイ５における表示画面の形成面に面している。その一方で、形成面を構成するディスプレイ５のタッチパネル５ａのうち、赤外線センサ４の直前位置にある部分には、赤外線が透過することが可能なフィルムが貼られている。発光部４ａから照射された後に計測対象物にて反射された赤外光は、上記のフィルムを通過した上で受光部４ｂにて受光される。つまり、赤外線センサ４は、深度として、タッチパネル５ａの表面と計測対象物の間の距離、より厳密にはタッチパネル５ａの表面の法線方向（換言すると、ディスプレイ５を貫く方向）における距離を計測することになる。

なお、本システムＳでは、深度の計測結果を、カメラ２が撮像した映像を所定数の映像片（画素）に分割した際の当該画素毎に得る。そして、画素毎に得た深度の計測結果を映像単位でまとめると、その映像についての深度データが得られるようになる。この深度データは、カメラ２の撮像映像（厳密には、各フレーム画像）について画素別に赤外線センサ４の計測結果、すなわち深度を規定したものである。なお、深度データについて付言しておくと、後述する図５に示すように、背景の映像に属する画素（図中、黒抜きの画素）と、その前方の映像に属する画素（図中、白抜きの画素や斜線ハッチングが施された画素）とでは、明らかに深度値が異なる。

以上のような深度データを利用することで、映像の中から人物の映像を抽出することが可能である。なお、深度データを利用した人物映像の抽出方法については、後述する。また、本システムＳでは、深度データ、すなわち、赤外線センサ４の計測結果から人物（カメラ２の被写体）の位置を特定することが可能である。ただし、これに限定されるものではなく、例えば、位置検知用のセンサが赤外線センサ４とは別に設置されており、かかる位置検知用のセンサの検知結果から人物の位置を特定してもよい。

スピーカ６は、ホームサーバ１が音声データを展開することで再生される音声（再生音）を発するものであり、公知のスピーカによって構成されている。なお、本実施形態において、スピーカ６は、図２に示すように、ディスプレイ５の横幅方向においてディスプレイ５を挟む位置に複数（図２では４個）設置されている。

ディスプレイ５は、映像の表示画面を形成するものである。具体的に説明すると、ディスプレイ５は、透明なガラスによって構成されたパネルを有し、当該パネルの前面に表示画面を形成する。なお、本システムＳにおいて、上記のパネルは、タッチパネル５ａであり、ユーザが行う操作（タッチ操作）を受け付ける。

さらに、上記のパネルは、人の全身映像を表示するのに十分なサイズを有している。そして、本システムＳによる対面対話では、上記のパネルの前面に形成された表示画面に、対話相手の全身映像が等身大のサイズで表示されることになっている。つまり、Ｂさん側のディスプレイ５には、Ａさんの全身映像を等身大サイズにて表示することが可能である。これにより、表示画面を見ているＢさんは、あたかもＡさんと会っている感覚、特に、ガラス越しで対面している感覚を感じるようになる。

さらにまた、本システムＳのディスプレイ５は、通常時には部屋内に配置された家具、具体的には姿見として機能し、対面対話時にのみ表示画面を形成するものとなっている。以下、図３の（Ａ）及び（Ｂ）を参照しながらディスプレイ５の構成について詳しく説明する。図３の（Ａ）及び（Ｂ）は、本システムＳで用いられているディスプレイ５の構成例を示した図であり、（Ａ）が非対話時の状態を、（Ｂ）が対面対話時の状態をそれぞれ示している。

ディスプレイ５が有するタッチパネル５ａは、対面対話が行われる部屋内に配置された姿見の一部分、具体的には鏡面部分を構成する。そして、上記のタッチパネル５ａは、図３の（Ａ）に示すように、対話が行われていない非対話時、すなわち映像が表示されていない間には表示画面を形成しない。すなわち、本システムＳのディスプレイ５は、非対話時には姿見としての外観を現すことになる。一方、対面対話が開始されると、上記のタッチパネル５ａは、その前面に表示画面を形成する。これにより、ディスプレイ５は、図３の（Ｂ）に示すように、タッチパネル５ａの前面にて対話相手及びその背景の映像を表示するようになる。

ちなみに、表示画面のオンオフは、ホームサーバ１が赤外線センサ４の計測結果に応じて切り替える。より詳しく説明すると、対面対話を開始するにあたってユーザがディスプレイ５の正面位置に立つと、カメラ２が上記ユーザを含んだ映像を撮像すると共に、赤外線センサ４が深度を計測する。これにより、前述した映像の深度データが取得され、ホームサーバ１は、深度データに基づいて、ユーザとタッチパネル５ａとの距離（奥行距離）を特定する。そして、上記の奥行距離が所定の距離よりも小さくなると、ホームサーバ１は、ディスプレイ５を制御してタッチパネル５ａの前面に表示画面を形成させる。この結果、それまで姿見として機能していたディスプレイ５のタッチパネル５ａが映像表示用のスクリーンとして機能するようになる。

反対に、上記の奥行距離が所定の距離以上となると、ホームサーバ１がディスプレイ５を制御し、それまで形成されていた表示画面をオフするようになる。これにより、ディスプレイ５は、再び姿見として機能するようになる。

以上のように、本システムＳでは、ディスプレイ５が非対話時には姿見として利用される。これにより、非対話時には表示画面の存在が気付かれ難くなる。その一方で、対面対話時には、表示画面が形成されて対話相手の映像が表示されるようになり、ユーザは、あたかも対話相手とガラス越しに対話しているような視覚的演出効果を得るようになる。

なお、映像表示スクリーンと姿見とを兼用する構成については、例えば国際公開第２００９／１２２７１６号に記載された構成のように公知の構成が利用可能である。また、ディスプレイ５については、姿見として兼用される構成に限定されるものではない。ディスプレイ５として用いられる機器については、対話相手の全身映像を表示するのに十分なサイズを有しているものであればよい。そして、非対話時に表示画面の存在を気付き難くする観点からは、対面対話用の部屋内に設置された家具や建築材料であって鏡面部分を有するものが好適であり、例えば扉（ガラス戸）や窓（ガラス窓）をディスプレイ５として利用してもよい。なお、ディスプレイ５については、扉や窓等の建築材料若しくは姿見等の家具として兼用されるものに限定されず、起動中、表示画面を常時形成する通常の表示器であってもよい。

＜＜映像合成について＞＞
本システムＳを用いた対面対話では、Ｂさん側のディスプレイ５にＡさんの映像及びその背景の映像が表示され、Ａさん側のディスプレイ５にＢさんの映像及びその背景の映像が表示される。ここで、各ディスプレイ５に表示される人物映像及び背景映像は、カメラ２が同時に撮像したものではなく、異なるタイミングで撮像されたものとなっている。すなわち、各ディスプレイ５には、異なるタイミングで撮像された人物映像及び背景映像を合成した合成映像が表示されることになる。以下、映像合成の手順について図４を参照しながら概説する。図４は、映像合成の手順についての説明図である。なお、以下の説明では、Ａさんの映像及び背景映像を合成するケースを具体例に挙げて説明することとする。

合成される映像のうち、背景映像（図４中、記号Ｐｂにて表記）は、Ａさんが対面対話を行う際に利用する部屋のうち、カメラ２の撮像範囲内にある領域の映像である。そして、本実施形態では、Ａさんが上記部屋に居ないときにカメラ２が背景映像を撮像することになっている。

一方、人物映像（具体的にはＡさんの映像であって、図４中、記号Ｐｕにて表記）は、Ａさんが上記部屋内、厳密にはカメラ２の撮像範囲内に居るときに撮像される。ここで、カメラ２が撮像する映像（以下、実映像）には、人物映像の他に背景の映像が含まれる。このため、本実施形態では、実映像から人物映像を抽出することとしている。実映像の中から人物映像を抽出する方法については特に限定されるものではないが、一例としては、上述した深度データに用いて人物映像を抽出する方法が挙げられる。以下、図５を参照しながら、深度データを用いた人物映像の抽出方法について説明する。図５は、撮像映像から人物映像を抽出する手順についての説明図である。なお、図５では、図示の都合上、深度データを構成する画素が実際の画素よりも粗くなっている。

カメラ２が映像を撮像している期間中、赤外線センサ４が、カメラ２の画角内にある計測対象物の深度を計測する。この結果、実映像の深度データが得られる。実映像の深度データとは、実映像を構成するフレーム画像を所定数の画素に分画したときの当該画素毎に赤外線センサ４の計測結果、すなわち深度を規定したものである。なお、実映像の深度データでは、図５に示すように、人物映像に属する画素（図５中、白抜きの画素）とそれ以外の映像に属する画素（図５中、黒抜きの画素や斜線ハッチングの画素）とでは明らかに深度が異なる。

そして、深度データ及びカメラ２の撮像映像（厳密には、撮像映像におけるＡさんの顔の映像の位置を特定するための情報）に基づいてＡさんの骨格モデルを特定する。骨格モデルとは、図５に示すようにＡさんの骨格（具体的には身体中、頭部、肩、肘、手首、上半身中心、腰、膝、足首）に関する位置情報を簡易的にモデル化したものである。なお、骨格モデルを取得する方法については、公知の方法が利用可能であり、例えば、特開２０１４−１５５６９３号公報や特開２０１３−１１６３１１号公報に記載された発明において採用されている方法と同様の方法を利用するとよい。

そして、骨格モデルを特定した後、当該骨格モデルに基づいて実映像の中から人物映像を抽出する。本明細書では、骨格モデルに基づいて実映像の中から人物映像を抽出する技法に関する詳細については説明を省略するが、大まかな手順を説明すると、特定した骨格モデルに基づいて深度データ中、Ａさんの人物映像に属する画素群を特定する。その後、特定した画素群と対応する領域を実映像の中から抽出する。このような手順によって抽出された映像が実映像中のＡさんの人物映像に該当する。

以上までに説明してきた手順により実映像から人物映像を抽出した後、背景映像及び人物映像を合成する。具体的に説明すると、カメラ２が撮像した背景映像中、実際にディスプレイ５に表示される部分の映像（図４中、破線にて囲まれた範囲であって、以下、表示範囲）を設定する。ここで、表示範囲は、カメラ２が撮像した背景映像のうち、合成映像中に含まれる部分に相当する。なお、表示範囲の大きさについては、ディスプレイ５の大きさに応じて決定される。また、本実施形態において、初期（デフォルト）の表示範囲は、背景映像の中央部分に設定されている。ただし、初期の表示範囲については特に限定されるものではなく、背景映像の中央部分以外の部分でもよい。

そして、背景映像における上記の表示範囲と抽出した人物映像とを合成して合成映像を取得する。この結果、Ｂさん側のディスプレイ５には、図４に示すように、背景の手前にＡさんが位置した映像（図４中、記号Ｐｍにて表記）が表示されるようになる。

なお、映像合成に係る一連の工程（厳密には、Ａさんの映像及び背景映像を合成するための工程）は、Ｂさん側のホームサーバ１によって実施され、具体的には上述したレンダリング用のプログラムが実行されることで実現される。ただし、これに限定されるものではなく、映像合成に係る上記一連の工程が、Ａさん側のホームサーバ１によって実施されてもよい。

以上のように本実施形態ではディスプレイ５の表示映像として合成映像を表示する。そして、合成映像を表示する構成では、人物映像及び背景映像の各々について、表示位置や表示サイズ等を個別に調整することが可能となる。具体的に説明すると、例えば、人物映像であるＡさんの映像の表示サイズについては、背景映像の表示サイズを変えずに調整することが可能である。なお、本実施形態では、Ａさんの映像の表示サイズをＡさんの実際のサイズ（等身大サイズ）と一致するように調整する。この結果、Ｂさん側のディスプレイ５にはＡさんの映像が等身大サイズにて表示されるようになり、本システムＳを用いた対面対話の臨場感（リアル感）が一層向上するようになる。

なお、人物映像の表示サイズについては、等身大サイズに限定されるものではない。ちなみに、等身大サイズとは、カメラ２の前方位置でカメラ２から所定距離（具体的には、後述する図７Ｂ中の距離ｄ１であり、以下、基準距離）だけ離れた位置にいるときに撮像された人物映像をそのままのサイズにて表示したときのサイズを意味する。また、上記の基準距離ｄ１については、予め設定されており、ホームサーバ１のメモリに記憶されている。

＜＜ホームサーバの機能について＞＞
次に、ホームサーバ１の機能、特に、映像表示処理に関する機能について説明する。なお、Ａさん側のホームサーバ１及びＢさん側のホームサーバ１の双方は、同様の機能を有しており、対面対話の実施にあたり双方向通信して同様のデータ処理を実行する。このため、以下では、一方のホームサーバ１（例えば、Ｂさん側のホームサーバ１）の機能のみを説明することとする。

ホームサーバ１は、同装置のＣＰＵが対話用プログラムを実行することでホームサーバ１としての機能を発揮し、具体的には、対面対話に関する一連のデータ処理を実行する。ここで、図６を参照しながら、ホームサーバ１の構成をその機能面、特に映像表示機能の観点から説明する。図６は、ホームサーバ１の構成を機能面から示した図である。

ホームサーバ１は、図６に示すように、データ送信部１１、データ受信部１２、背景映像記憶部１３、人物映像抽出部１４、骨格モデル記憶部１５、合成映像表示部１６、検知部１７及び距離特定部１８を備える。これらのデータ処理部は、それぞれ、ホームサーバ１のハードウェア機器（具体的には、ＣＰＵ、メモリ、通信用インタフェース及びハードディスクドライブ等）がソフトウェアとしての対話用プログラムと協働することによって実現される。以下、各データ処理部について個別に説明する。

データ送信部１１は、Ｂさん側のカメラ２が撮像した映像の信号をデジタル化し、映像データとしてＡさん側のホームサーバ１へ送信する。ここで、データ送信部１１が送信する映像データの種類は、２種類に分類される。一つは、背景映像の映像データであり、具体的には、背景に相当する部屋内にＢさんが居ないときに撮像された同室の映像（厳密には、カメラ２の撮像範囲内にある領域の映像）を示すデータである。もう一つは、実映像の映像データであり、Ｂさんが上記部屋に在室している間に撮像された映像、より具体的にはＢさん及びその背景の映像を示すデータである。

また、データ送信部１１は、実映像の映像データを送信するにあたり、赤外線センサ４の計測結果に基づいて実映像の深度データを生成し、当該深度データを実映像の映像データとともに送信する。この深度データは、上述したように、実映像から人物映像（具体的にはＢさんの映像）を抽出する際に用いられる。また、深度データは、Ｂさんとディスプレイ５の表示画面（厳密にはタッチパネル５ａの前面）との距離、すなわち、奥行距離を特定する際にも用いられる。

データ受信部１２は、Ａさん側のホームサーバ１から送信されてくる各種データを受信するものである。データ受信部１２が受信するデータの中には、背景映像の映像データ、実映像の映像データ及び実映像の深度データが含まれている。ここで、データ受信部１２が受信する背景映像の映像データは、背景に相当する部屋内にＡさんが居ないときに撮像された同室の映像を示すデータである。このようにデータ受信部１２は、背景映像の映像データを受信することで、Ａさん側のカメラ２が撮像した背景の映像を取得する。かかる意味で、データ受信部１２は、映像取得部に該当すると言える。

また、データ受信部１２が受信する実映像の映像データは、Ａさんが上記部屋に在室している間に撮像されたＡさん及び背景の映像を示すデータである。また、データ受信部１２が受信する実映像の深度データは、Ａさんの映像を含む実映像を構成する各画素別の深度を規定したものである。かかる深度データは、実映像からＡさんの映像を抽出する際に用いられ、また、Ａさんとディスプレイ５の表示画面との距離（奥行距離）を特定する際に用いられる。

背景映像記憶部１３は、データ受信部１２が受信した背景映像の映像データを記憶するものである。人物映像抽出部１４は、データ受信部１２が受信した実映像の映像データを展開し、当該実映像から人物映像（すなわち、Ａさんの映像）を抽出するものである。骨格モデル記憶部１５は、人物映像抽出部１４が人物映像を抽出する際に参照する骨格モデル（具体的には、Ａさんの骨格モデル）を記憶するものである。

なお、人物映像抽出部１４は、実映像からＡさんの映像を抽出するにあたり、データ受信部１２が受信した実映像の深度データを展開し、深度データ及びカメラ２の撮像映像からＡさんの骨格モデルを特定する。そして、人物映像抽出部１４は、特定した骨格モデルに基づいて、実映像からＡさんの映像を抽出する。以上のように人物映像抽出部１４は、実映像から人物映像を抽出することで、Ａさん側のカメラ２が撮像したＡさんの映像を取得する。かかる意味で、人物映像抽出部１４は、映像取得部に該当すると言える。

合成映像表示部１６は、背景映像記憶部１３に記憶された背景映像と、人物映像抽出部１４によって抽出された人物映像（Ａさんの映像）とを合成し、その合成映像をＢさん側のディスプレイ５に表示させる。なお、背景映像記憶部１３に記憶された背景映像のうち、合成映像表示部１６による映像合成の対象となる背景映像は、直近で取得された背景映像である。また、合成映像表示部１６は、背景映像記憶部１３から読み出した直近の背景映像の中から合成映像中に含む映像、すなわち、表示範囲を選定する。そして、合成映像表示部１６は、選定した表示範囲の手前にＡさんが位置した合成映像を、Ｂさん側のディスプレイ５に表示させる。

検知部１７は、赤外線センサ４の計測結果に基づいて生成された実映像の深度データ（Ｂさん側のカメラ２が撮像した実映像の深度データ）から、Ｂさんの顔の横移動の有無を検知する。具体的に説明すると、合成映像表示部１６が合成映像をディスプレイ５に表示している期間中、検知部１７は、上記の深度データからＢさんの映像に相当する画素群を特定し、当該画素群の位置の変化を監視する。そして、検知部１７は、画素群の位置の変化を認識したとき、Ｂさんの顔が横移動したことを検知する。なお、横移動とは、Ｂさんの顔がＢさん側のディスプレイ５に対して左右方向（ディスプレイ５の幅方向）に移動することである。

距離特定部１８は、データ受信部１２が受信した実映像の深度データから、Ａさんとディスプレイ５の表示画面との距離（奥行距離）を特定する。そして、合成映像表示部１６が合成映像をディスプレイ５に表示している期間中（換言すると、Ａさん側のカメラ２がＡさんの映像を撮像している期間中）、距離特定部１８は、奥行距離を監視しており、奥行距離が変化した際には当該変化を認識する。

ところで、本システムＳでは、合成映像がディスプレイ５に表示されている期間中に検知部１７がＢさんの顔の横移動を検知したとき、または距離特定部１８がＡさんの奥行距離の変化を認識したとき、表示映像の再構築（換言すると、人物映像と背景映像の再合成）が行われる。以下、Ｂさんの顔の横移動を検知したケース、Ａさんの奥行距離の変化を認識したときのケースのそれぞれについて説明する。

＜Ｂさんの顔の横移動を検知したケースについて＞
本ケースでは、図７Ａに示したように、当初ディスプレイ５の略中央位置に立っていたＢさんが横移動したケースを想定する。図７Ａは、Ｂさんの顔が横移動した様子を模式的に示した図である。なお、以下では、ディスプレイ５の幅方向（すなわち、左右方向）において互いに反対向きである２つの向きの一方を「第一向き」と呼び、他方を「第二向き」と呼ぶ。ここで、第一向きと第二向きの関係は、相対的なものであり、左右方向における一方の向きを第一向きとしたときに、他方の向きが第二向きとなる。したがって、ディスプレイ５を正面視したときに左向きを第一向きとしたときには、右向きが第二向きとなり、反対に、右向きを第一向きとしたときには、左向きが第二向きとなる。

検知部１７は、Ｂさんの顔の横移動を検知した際には、その向き及び移動量を同時に検知する。そして、Ｂさんの顔が第一向きに距離ｘだけ移動したことを検知部１７が検知すると、合成映像表示部１６は、検知部１７の検知結果に応じて遷移処理を実行する。遷移処理とは、Ｂさん側のディスプレイ５に表示されている合成映像を、検知部１７がＢさんの顔の横移動を検知する前の状態から遷移させる処理である。具体的には、合成映像におけるＡさんの映像の表示位置、及び、背景映像記憶部１３に記憶された直近の背景映像の中で合成映像中に含まれる範囲（すなわち、表示範囲）の双方を左右方向にずらした状態へ合成映像を遷移させる。

遷移処理について詳しく説明すると、本処理では、先ず、合成映像におけるＡさんの映像の表示位置及び背景映像の表示範囲の各々について、合成映像表示部１６がずれ量を設定する。各々のずれ量は、Ｂさんの顔の移動量ｘ、及び、基準面であるＡさん側のディスプレイ５の表示画面からの距離（奥行距離）に応じて設定される。以下、既出の図７Ａと、図７Ｂとを参照しながら、ずれ量の設定について具体的に説明する。図７Ｂは、Ａさん及びその背景の各々の奥行距離についての説明図である。

ずれ量を設定するためには、Ｂさんの顔の移動量ｘを移動角度に換算することになる。ここで、移動角度とは、Ｂさんの視線ラインの変化量を角度にて示したものである。具体的に説明すると、視線ラインとは、Ｂさんの両眼の中央位置からディスプレイ５の中心に向かう仮想直線である。図７Ａを参照しながら説明すると、一点鎖線にて図示したラインが、Ｂさんの顔が移動する前の視線ラインに相当し、二点鎖線にて図示したラインが、移動後の視線ラインに相当する。そして、両視線ラインがなす鋭角、すなわち、図７Ａ中の角度θが移動角度に相当する。なお、本ケースでは、図７Ａに示すように、Ｂさんの顔が移動する前の視線ラインが、ディスプレイ５の表示画面の法線方向に沿ったラインとなっている。

また、ずれ量を設定するためには、Ａさん及び背景（例えば、壁）の各々の奥行距離を特定する必要がある。本ケースでは、対面対話中、Ａさんの立ち位置が所定位置に維持されており、具体的には、図７Ｂに示すように、Ａさん側のディスプレイ５の表示画面から前述の基準距離ｄ１だけ離れた位置に維持される。一方、背景である部屋の壁の奥行距離は、図７Ｂに示すように、Ａさん側のディスプレイ５の表示画面から距離ｄｗだけ離れている。この距離ｄｗは、当然ながら、Ａさんの奥行距離である基準距離ｄ１よりも長い距離となっている。

そして、移動角度θ、並びにＡさん及び背景の各々の奥行距離ｄ１、ｄｗが特定されると、合成映像におけるＡさんの映像の表示位置及び背景映像の表示範囲のそれぞれについて、合成映像表示部１６がずれ量を設定する。具体的に説明すると、Ａさんの映像の表示位置のずれ量をｔ１とすると、当該ずれ量ｔ１は、下記の式（１）によって算出される。
ｔ１＝ｄ１×ｓｉｎθ （１）

同様に、背景映像の表示範囲のずれ量をｔ２とすると、当該ずれ量ｔ２は、下記の式（２）によって算出される。
ｔ２＝ｄｗ×ｓｉｎθ （２）

それぞれのずれ量ｔ１、ｔ２が設定された後、合成映像表示部１６は、Ａさんの映像の表示位置をずれ量ｔ１だけ、背景映像の表示範囲をずれ量ｔ２だけ、それぞれ第二向きにずらした状態へ合成映像を遷移させる。これにより、Ｂさん側のディスプレイ５には、当初、図８の（Ａ）に図示した合成映像が表示されていたところ、Ｂさんの顔の横移動に連動して、合成映像が図８の（Ｂ）に図示した状態へ徐々に遷移するようになる。図８は、遷移処理を実行したときの合成映像の変化を示した説明図であり、（Ａ）が遷移処理前の合成映像を、（Ｂ）が遷移処理後の合成映像を、それぞれ示している。

以上までに説明したように、本システムＳでは、Ｂさん側のディスプレイ５に合成映像が表示されている期間中にＢさんの顔が第一向きへ移動すると、合成映像におけるＡさんの映像の表示位置及び背景映像の表示範囲が、ともに第二向きにずれるようになる。また、Ａさんの映像の表示位置のずれ量ｔ１よりも、背景映像の表示範囲のずれ量ｔ２の方が大きくなっている。このようにＡさんの映像の表示位置及び背景映像の表示範囲の双方を互いに異なるずれ量だけずらした状態に合成映像を遷移させることにより、Ｂさん側のディスプレイ５には、Ｂさんが移動後の顔の位置から実際にＡさんを見たときの見え方を反映した映像が表示されるようになる。

分かり易く説明すると、仮にＢさんが実際にＡさんと対面して対話している場合、Ｂさんの顔が左右移動すると、移動後のＢさんの位置から見えるものは、当初の位置からずれた位置にあるように見える。ここで、Ｂさんに対してより近くにあるものほど小さなずれ量だけ当初の位置からずれた位置に見えるようになり、より遠くにあるものほど大きなずれ量だけ当初の位置からずれた位置に見えるようになる。本システムＳでは、以上のような見え方を再現すべく、Ｂさんの顔が横移動したことを検知したとき、Ａさんの映像の表示位置及び背景映像の表示範囲の各々を互いに異なるずれ量だけずらすように合成映像を遷移させる。また、本システムＳでは、前述したように、Ａさんの映像の表示位置のずれ量ｔ１よりも、背景映像の表示範囲のずれ量ｔ２の方が大きくなっている。これにより、遷移処理後の合成映像では、背景映像中、当初の合成映像（Ｂさんの顔が移動する前の合成映像）では表示されていなかった範囲の映像を見ること、いわゆる覗き込みが可能となる。

＜Ａさんの奥行距離の変化を認識したときのケースについて＞
本ケースでは、図７Ｂに示したように、Ａさんが当初の位置から後方に移動したケース、具体的には、Ａさんの奥行距離が基準距離ｄ１から、基準距離ｄ１よりも大きい距離ｄ２に変化したケースを想定する。

距離特定部１８は、Ｂさん側のディスプレイ５に合成映像が表示されている期間中（換言すると、Ａさん側のカメラ２がＡさんの映像を撮像している期間中）、Ａさんの奥行距離を監視している。また、距離特定部１８は、Ａさんの奥行距離が変化したときには、かかる変化を認識するとともに、変化後の奥行距離（すなわち、距離ｄ２）を特定する。

一方、距離特定部１８がＡさんの奥行距離の変化を認識したとき、合成映像表示部１６は、合成映像におけるＡさんの映像の表示サイズを調整する調整処理を実行する。調整処理では、距離特定部１８が特定した変化後の奥行距離ｄ２に基づき、奥行方向においてＡさんの位置が変化する前の表示サイズ、すなわち、等身大サイズとなるようにＡさんの映像の表示サイズを調整する。

調整処理について説明するにあたり、調整処理を実行する理由を説明する。Ａさんが当初の位置にいるとき、すなわち、Ａさんの奥行距離が基準距離ｄ１であるとき、カメラ２が撮像したＡさんの映像をディスプレイ５にて表示すると、当該映像は図９の（Ａ）に示すように等身大サイズで表示される。一方、Ａさんが当初の位置よりも後方に移動したとき、カメラ２の撮像映像をそのままＢさん側のディスプレイ５にて表示すると、当該映像は、図９の（Ｂ）に示すように等身大サイズよりも幾分小さいサイズ（図中、破線にて示すサイズ）で表示されるようになる。このような表示サイズの変化は、カメラ２の特性（具体的には、レンズの光学的特性）に起因するものである。

以上のようにＡさんの奥行距離が変化したときには、カメラ２の撮像映像の表示サイズがカメラ２の特性に起因して不可避的に変化するようになる。これに対して、仮にＢさんがＡさんと実際に対面して対話する場合、ＡさんがＢさんに対して多少近接又は離間したとしても、Ｂさんから見たＡさんの姿（大きさ）は、人間の見た目では変化しないように見える。そこで、本システムＳでは、以上のような見え方を再現すべく、Ａさんの奥行距離が変化した際にもＡさんの映像の表示サイズを等身大サイズのままで維持するように調整することとしている。

具体的に説明すると、Ａさんの奥行距離がｄ１からｄ２へ変化したとき、調整処理では、Ａさんの映像の表示サイズ（厳密には、映像の縦サイズ及び横サイズの各々）に奥行距離の比（ｄ１／ｄ２）に乗じて上記表示サイズを補正する。その後、合成映像表示部１６は、補正されたＡさんの映像と背景映像とを合成し、その合成映像をディスプレイ５に表示させる。これにより、図９（Ａ）及び（Ｂ）に示すように、Ａさんの奥行距離が変化したとしても、当該奥行距離が変化する前の表示サイズにてＡさんの映像が表示されるようになる。このようにＡさんの奥行距離が変化したときに、ＢさんがＡさんと実際に対面しているときに感じるＡさんの大きさを反映してＡさんの映像の表示サイズを調整する結果、本システムＳを用いた対話の臨場感（リアル感）がより一層向上することとなる。なお、図９は、調整処理の実行結果についての説明図であり、同図の（Ａ）が調整処理前の合成映像を、同図の（Ｂ）が調整処理後の合成映像を、それぞれ示している。

＜＜映像表示フローについて＞＞
次に、本システムＳを用いた対面対話のうち、映像表示に係る一連のデータ処理、すなわち映像表示フローについて、その流れを説明する。ここで、以下に説明する映像表示フォローにおいては本発明の映像表示方法が適用されている。すなわち、以下では、本発明の映像表示方法に関する説明として、当該映像表示方法を適用した映像表示フローの流れを説明することとする。換言すると、以下に述べる映像表示フロー中の各ステップは、本発明の映像表示方法の構成要素に相当する。

なお、以下では、Ａさんの映像及び背景映像（厳密には両映像を合成した映像）をＢさん側のディスプレイ５にて表示するケースを例に挙げて説明する。ちなみに、Ｂさんの映像及び背景映像をＡさん側のディスプレイ５に表示する際の手順についても、下記の手順と略同様となる。

映像表示フローは、コンピュータであるＢさん側のホームサーバ１が、図１０及び１１に示す各ステップを実施することにより進行する。図１０及び１１は、映像表示フローの流れを示す図である。具体的に説明すると、先ず、Ｂさん側のホームサーバ１が、Ａさん側のホームサーバ１と通信することで背景映像の映像データを受信する（Ｓ００１）。これにより、Ｂさん側のホームサーバ１は、背景映像として、Ａさんが対面対話を行う際に利用する部屋の映像を取得する。なお、本ステップＳ００１は、Ａさん側のカメラ２が背景映像のみを撮像している間、すなわち、対面対話が行われる部屋にＡさんが居ない期間中に行われる。また、受信した背景映像の映像データについては、Ｂさん側のホームサーバ１のハードディスクドライブ等に記憶される。

次に、Ａさんが対面対話用の部屋に入室して対面対話を開始すると、同室内に設置されたカメラ２が、Ａさん及びその背景の映像、すなわち、実映像を撮像する。そして、Ａさん側のホームサーバ１が、カメラ２が撮像した実映像の映像データを送信し、Ｂさん側のホームサーバ１が当該映像データを受信する（Ｓ００２）。これにより、Ｂさん側のホームサーバ１は、上記の実映像を取得する。また、Ａさん側のホームサーバ１は、実映像の映像データとともに、実映像の深度データを送信する。したがって、Ｂさん側のホームサーバ１は、実映像の映像データ及び深度データの双方を受信し、実映像とその深度データとをセットにした状態で取得することになる（Ｓ００２）。

その後、Ｂさん側のホームサーバ１は、取得した実映像から人物映像、具体的にはＡさんの映像を抽出する（Ｓ００３）。具体的に説明すると、Ｂさん側のホームサーバ１は、前ステップＳ００２で取得した実映像の深度データからＡさんの骨格モデルを特定した上で、当該骨格モデルに基づいて実映像の中からＡさんの映像を抽出する。

Ａさんの映像を抽出した後、Ｂさん側のホームサーバ１は、Ａさんの映像と、直近で取得した背景映像中の所定範囲内にある映像（表示範囲）と、を合成する（Ｓ００４）。そして、Ｂさん側のホームサーバ１は、Ｂさん側のディスプレイ５に合成映像を表示させる（Ｓ００５）。これにより、Ｂさん側のディスプレイ５には、背景映像の手前位置においてＡさんの映像が等身大サイズにて表示されるようになる。

一方、Ｂさん側のホームサーバ１は、Ｂさん側のディスプレイ５に合成映像が表示されている期間中、Ｂさん側のカメラ２が撮像した実映像（Ｂさん及びその背景の映像）を取得すると共に、赤外線センサ４からの計測結果に基づいて上記実映像の深度データを取得する。また、Ｂさん側のホームサーバ１は、Ｂさん側のディスプレイ５に合成映像が表示されている期間中、Ｂさんの顔が横移動したか否かを、取得した深度データに基づいて判定する（Ｓ００６）。そして、Ｂさん側のホームサーバ１は、Ｂさんの顔が横移動したと判定した場合、当該顔の移動の向き及び移動量を、移動前の深度データ及び移動後の深度データに基づいて特定する（Ｓ００７）。

さらに、Ｂさん側のホームサーバ１は、ステップＳ００２で取得した深度データに基づいて、Ａさん及び背景（例えば、Ａさんの後方に位置する壁）の各々の奥行距離を特定する（Ｓ００８）。その後、Ｂさん側のホームサーバ１は、ステップＳ００７及びＳ００８において特定した各値に基づいて、次のステップＳ０１０で実行する遷移処理において用いるずれ量を算出する（Ｓ００９）。より具体的に説明すると、本ステップＳ００９では、Ａさんの映像及び背景映像の各々のずれ量を、既述の式（１）及び式（２）に従って算出する。

そして、Ｂさん側のホームサーバ１は、ずれ量を算出した後に遷移処理を実行する（Ｓ０１０）。この遷移処理の実行により、ディスプレイ５に表示されている合成映像が、Ｂさんの顔の横移動を検知する前の状態から遷移する。具体的に説明すると、Ｂさんの顔が第一向きに横移動したことを検知したとき、Ｂさん側のホームサーバ１は、遷移処理において、合成映像におけるＡさんの映像の表示位置、及び、直近で取得した背景映像の表示範囲の双方をそれぞれ前ステップＳ００９で算出したずれ量だけ第二向きにずらした状態へ合成映像を遷移させる。この際、Ａさんの映像の表示位置のずれ量よりも、背景映像の表示範囲のずれ量の方がより大きくなっている。

遷移処理が完了すると、Ｂさん側のホームサーバ１は、遷移処理後の合成映像、すなわち、Ａさんの映像の表示位置及び背景映像の表示範囲を当初の状態からずらした状態の合成映像をディスプレイ５に表示させる（Ｓ０１１）。これにより、ディスプレイ５には、横移動後のＢさんの顔の位置からＡさんを実際に見たときの見え方を再現した映像が表示されるようになる。なお、前述したように、遷移処理後の合成映像では、Ａさんの映像の表示位置のずれ量よりも、背景映像の表示範囲のずれ量の方がより大きくなっている。このため、Ｂさんは、背景映像中、当初ディスプレイ５に表示されていなかった映像を左右に顔を動かして覗き見ることが可能となる。

ところで、Ｂさん側のホームサーバ１は、Ｂさん側のディスプレイ５に合成映像が表示されている期間中、Ａさんの奥行距離が変化したか否かを、ステップＳ００２で取得した深度データに基づいて判定する（Ｓ０１２）。そして、Ｂさん側のホームサーバ１は、Ａさんの奥行距離が変化したと判定した場合、変化後の奥行距離を、変化後の深度データに基づいて特定する（Ｓ０１３）。

その後、Ｂさん側のホームサーバ１は、調整処理を実行し、前ステップで特定した変化後の奥行距離に応じてＡさんの映像の表示サイズを調整する（Ｓ０１４）。調整処理では、奥行距離変化後のＡさんの映像が奥行距離変化前の表示サイズ、すなわち等身大サイズにて表示されるように表示サイズを調整する。調整処理が完了すると、Ｂさん側のホームサーバ１は、調整処理後の合成映像、すなわち、表示サイズが調整されたＡさんの映像と背景映像とを合成してなる合成映像をディスプレイ５に表示させる（Ｓ０１５）。これにより、Ａさんの奥行距離が変化した後にも、引き続き、ディスプレイ５に表示されるＡさんの映像が等身大サイズで表示されることになる。

＜＜映像表示システムの変形例＞＞
以上までに説明してきた本システムＳの構成によれば、ディスプレイ５に表示される第一ユーザの映像（例えばＡさん）を、当該第一ユーザとディスプレイ５を見ている第二ユーザ（例えばＢさん）とが実際に対面している場合の第二ユーザの見え方を反映することが可能となる。これにより、本システムＳを用いた対話の臨場感（リアル感）を向上させることが可能となる。

一方、映像表示システムについて、上記の効果を奏する構成については、先に説明した構成に限られず、他の構成（変形例）も考えられる。以下では、本発明の映像表示システムの第一変形例及び第二変形例について説明することとする。なお、以下の説明では、先に説明した構成と同様の構成についての説明を省略し、異なる構成のみについて説明することとする。また、以下では、Ａさんの映像及び背景映像を合成した合成映像をＢさん側のディスプレイ５にて表示するケースを例に挙げて説明する。

＜第一変形例＞
上述した映像表示システム（すなわち、本システムＳ）では、遷移処理において、合成映像におけるＡさんの映像の表示位置、及び、直近で取得した背景映像の表示範囲の双方をずらした状態へ合成映像を遷移させることとした。また、上述の構成では、Ａさんの映像の表示位置のずれ量よりも、背景映像の表示範囲のずれ量の方がより大きいこととした。ただし、ずれ量の大小関係については、上記の大小関係と異なっていてもよい。

すなわち、背景映像の表示範囲のずれ量よりも、Ａさんの映像の表示位置のずれ量の方がより大きくなっていてもよい。かかる構成が、第一変形例に相当する。より具体的に説明すると、Ｂさん側のディスプレイ５に合成映像が表示されている間にＢさんの顔が横移動すると、Ｂさん側のホームサーバ１（厳密には、検知部１７）が当該顔の横移動を検知し、これをトリガーとして遷移処理を実行する。そして、第一変形例に係る遷移処理では、Ａさんの映像の表示位置を、背景映像の表示範囲のずれ量よりも大きなずれ量だけずらした状態へ合成映像を遷移させる。なお、Ｂさんの顔が第一向きに移動した場合、第一変形例に係る遷移処理では、Ａさんの映像の表示位置及び背景映像の表示範囲の双方を、第一向きと反対の向き（すなわち、第二向き）にずらす。

そして、第一変形例では、以上の遷移処理が実行されることにより、Ｂさん側のディスプレイ５には、当初、図１２の（Ａ）に図示した合成映像が表示されていたところ、Ｂさんの顔の横移動に連動して、合成映像が図１２の（Ｂ）に図示した状態へ徐々に遷移するようになる。図１２は、第一変形例に係る遷移処理を実行したときの合成映像の変化を示した説明図であり、（Ａ）が遷移処理前の合成映像を、（Ｂ）が遷移処理後の合成映像を、それぞれ示している。

以上のように第一変形例ではＢさんの顔が横移動した際に、ディスプレイ５に表示されている合成映像の状態が、Ａさんの映像の表示位置を背景映像の表示範囲のずれ量よりも大きなずれ量にてずらした状態に遷移する。これは、Ｂさんの視線が向いている対象を考慮したためである。

分かり易く説明すると、仮にＢさんがＡさんと実際に対面している場合を想定したとき、Ｂさんの視線は、通常、Ａさんに向いている。この場合、Ｂさんの顔が左右移動すると、前述したように、Ｂさんに対してより遠くにあるものほど大きなずれ量だけ当初の位置からずれた位置に見えるようになる。このため、先に説明した構成（すなわち、図８に図示した遷移処理を実行する構成）では、上記の見え方を再現するべく、背景映像の表示範囲を、Ａさんの映像の表示位置のずれ量よりも大きなずれ量だけずらすこととした。

これに対して、Ｂさんの視線がＡさんの背景（例えば、Ａさんの後方にある壁）に向いている場合にＢさんの顔が左右移動すると、Ｂさんに対してより近くにあるものほど大きくずれ量だけ当初の位置からずれた位置に見えるようになる。第一変形例では、このような見え方、すなわち、Ｂさんの視線がＡさんの背景に向いている場合の見え方を再現するべく、Ａさんの映像の表示位置を、背景映像の表示範囲のずれ量よりも大きなずれ量だけずらすこととした。これにより、Ｂさんの視線がＡさんの背景に向いている場合においてＢさんの顔が横移動したとき、ディスプレイ５に表示される合成映像を、Ｂさんが移動後の顔の位置から実際に見たときの見え方を反映した映像とすることが可能となる。

なお、遷移処理の実行モードについて、背景映像の表示範囲のずれ量をより大きくするモード（先に説明した構成に相当）と、Ａさんの映像の表示位置のずれ量をより大きくするモード（第一変形例に係る構成に相当）と、の間で切り替え自在としてもよい。かかる場合には、遷移処理が、そのときのＢさんの視線の向きに応じて適切に実行されるようになる。

＜第二変形例＞
上述した映像表示システム（すなわち、本システムＳ）では、映像を表示するディスプレイ５として、鏡面部分を有する家具や建築材料、具体的には、Ａさんが対面対話を行う際に居る部屋内に設置された姿見を用いることとした。これにより、Ｂさんが居る空間とＡさんが居る空間とがガラス越しに繋がっているような演出効果が奏されるようになり、対話の臨場感を向上させることが可能となる。

上記の演出効果をより有効に発揮させるために、第二変形例では、ディスプレイ５にギミック画像を表示することとしている。ギミック画像とは、例えば、ディスプレイ５の表示画面を構成する鏡面部分の質若しくは表面状態を錯覚させるための図柄及び像、若しくは、予め用意された装飾用の図柄や像を意味する。ギミック画像の具体例としては、図１３の（Ａ）に図示した星形のマークＧｍ１、図１３の（Ｂ）に図示したひび割れ画像Ｇｍ２、図１３の（Ｃ）に図示した水滴模様Ｇｍ３、図１３の（Ｄ）に図示したガラス表面の凹凸を模した模様Ｇｍ４が挙げられる。図１３は、第二変形例においてディスプレイ５に表示される合成映像を図示しており、（Ａ）乃至（Ｄ）は、ギミック画像のバリエーションを示している。

そして、第二変形例では、Ｂさん側のホームサーバ１（厳密には、合成映像表示部１６）が、上述したギミック画像がＡさんの手前に現れている合成映像をディスプレイ５に表示させる。このように上述したギミックがＡさんの手前に現れていることで、ディスプレイ５の鏡面部分の存在がより強調されるようになる（奥行感が増す）。これにより、Ｂさんが居る空間とＡさんが居る空間とがガラス越しに繋がっているような演出効果が、より有効に発揮されるようになる。なお、ギミック画像については、図１３の（Ａ）乃至（Ｄ）に示すような図柄や像のうち、少なくとも一つを用いればよいが、複数用いることとしてもよい。また、ギミック画像は、静止画像であってもよく、あるいは動画であってもよい。

＜＜その他の実施形態＞＞
上記の実施形態では、本発明の映像表示システム及び映像表示方法について具体例を挙げて説明した。ただし、上記の実施形態は、本発明の理解を容易にするための一例に過ぎず、本発明を限定するものではない。すなわち、本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは勿論である。

また、上記の実施形態では、本システムＳを通じて二人のユーザ（ＡさんとＢさん）が対面対話をするケースを例に挙げて説明したが、これに限定されるものではなく、同時に対面対話をすることが可能な人数については三人以上であってもよい。

また、上記の実施形態では、第二ユーザの顔の移動を検知した場合に実行される遷移処理において、合成映像における第一ユーザの映像の表示位置、及び、背景映像のうち合成映像中に含まれる範囲（表示範囲）の双方をずらすこととした。ただし、これに限定されるものではなく、第一ユーザの映像の表示位置及び背景映像の表示範囲のうちの一方のみをずらし、他方については固定する（ずらさない）こととしてもよい。

また、上記の実施形態では、ディスプレイ５の表示画面（厳密には、タッチパネル５ａの前面）を基準面とし、当該表示画面からの距離を奥行距離とすることとした。ただし、基準面の位置については特に限定されず、ディスプレイ５の表示画面とは異なる面を基準面としてもよい。

また、上記の実施形態では、映像合成の対象となる背景映像（合成対象映像）として、背景に相当する空間内に第一ユーザが居ないときに撮像した当該空間の映像を用いることとした。ただし、これに限定されるものではなく、例えば、カメラ２が第一ユーザとその背景を同時に撮像したときの映像、すなわち、実映像から人物映像及び背景映像をそれぞれ分離し、分離した背景映像を合成対象映像として用いてもよい。かかる場合には、背景映像のうち、人物映像と重なっている部分の映像が欠落しているので、補完を行う必要がある。これに対して、第一ユーザが居ないときにカメラ２が撮像した背景映像を合成対象映像として用いれば、上記のような映像の欠落がないため、映像補完を行う必要がない分、より容易に背景映像を取得することが可能となる。

また、上記の実施形態では、第二ユーザの顔が移動したとき、移動後の顔の位置から第一ユーザを実際に見たときの見え方を再現した映像（合成映像）を表示するように遷移処理を実行することとした。ただし、これに限定されるものではなく、第一ユーザを実際に見たときの見え方とは異なる映像（合成映像）が意図的に表示されるように遷移処理を実行することとしてもよい。

１ ホームサーバ
２ カメラ（撮像装置）
３ マイク
４ 赤外線センサ
４ａ 発光部
４ｂ 受光部
５ ディスプレイ
５ａ タッチパネル
６ スピーカ
１１ データ送信部
１２ データ受信部
１３ 背景映像記憶部
１４ 人物映像抽出部
１５ 骨格モデル記憶部
１６ 合成映像表示部
１７ 検知部
１８ 距離特定部
１００ 通信ユニット
ＧＮ 外部通信ネットワーク
Ｓ 本システム

Claims (9)

1. 第一ユーザの映像を第二ユーザ側のディスプレイに表示するための映像表示システムであって、
   撮像装置が撮像した前記第一ユーザの映像、及び、前記撮像装置が撮像した背景の映像を取得する映像取得部と、
   該映像取得部が取得した前記第一ユーザの映像及び前記背景の映像を合成し、前記背景の手前に前記第一ユーザが位置した合成映像を前記ディスプレイに表示させる合成映像表示部と、
   前記第二ユーザの顔が前記ディスプレイに対して移動したことを検知する検知部と、を備え、
   前記顔が移動したことを前記検知部が検知したとき、前記合成映像表示部は、前記ディスプレイに表示されている前記合成映像を、前記顔が移動したことを前記検知部が検知する前の状態から遷移させる遷移処理を実行し、
   前記合成映像表示部は、前記遷移処理において、前記合成映像における前記第一ユーザの映像の表示位置、及び、前記映像取得部が取得した前記背景の映像の中で前記合成映像中に含まれる範囲のうちの一方を、他方のずれ量よりも大きいずれ量だけ前記顔の移動方向に沿ってずらした状態へ前記合成映像を遷移させることを特徴とする映像表示システム。
2. 前記ディスプレイの幅方向において互いに反対の向きである２つの向きを第一向き及び第二向きとしたとき、
   前記顔が前記第一向きに移動したことを前記検知部が検知した際に、前記合成映像表示部は、前記遷移処理において前記範囲を、前記表示位置のずれ量よりも大きいずれ量だけ前記第二向きにずらした状態へ前記合成映像を遷移させることを特徴とする請求項１に記載の映像表示システム。
3. 前記ディスプレイの幅方向において互いに反対の向きである２つの向きを第一向き及び第二向きとしたとき、
   前記顔が前記第一向きに移動したことを前記検知部が検知した際に、前記合成映像表示部は、前記遷移処理において前記表示位置を、前記範囲のずれ量よりも大きいずれ量だけ前記第二向きにずらした状態へ前記合成映像を遷移させることを特徴とする請求項１に記載の映像表示システム。
4. 前記ディスプレイを貫く方向を法線方向とする基準面からの距離を特定する距離特定部を備え、
   前記顔が前記第一向きに移動したことを前記検知部が検知した際に、前記合成映像表示部は、前記遷移処理において、前記距離特定部が特定した前記基準面と前記第一ユーザとの間の距離に応じたずれ量だけ前記表示位置を前記第二向きにずらし、かつ、前記距離特定部が特定した前記基準面と前記背景との間の距離に応じたずれ量だけ前記範囲を前記第二向きにずらした状態へ前記合成映像を遷移させることを特徴とする請求項２に記載の映像表示システム。
5. 前記ディスプレイを貫く方向を法線方向とする基準面からの距離を特定する距離特定部を備え、
   前記撮像装置が前記第一ユーザの映像を撮像している間に前記法線方向において前記第一ユーザの位置が変化したとき、前記合成映像表示部は、前記合成映像における前記第一ユーザの映像の表示サイズを、前記距離特定部が特定した前記基準面と前記第一ユーザとの間の距離に基づき、前記第一ユーザの位置が変化する前の前記表示サイズとなるように調整する調整処理を実行することを特徴とする請求項１乃至４のいずれか一項に記載の映像表示システム。
6. 前記ディスプレイは、前記第二ユーザが居る部屋に設けられており、前記合成映像が表示されない間には、前記部屋内に設置された鏡面部分を有する家具若しくは建築材料としての外観を現し、
   前記合成映像表示部は、前記合成映像を表示させる際、前記ディスプレイをなす前記家具若しくは建築材料の前記鏡面部分にて前記合成映像を表示させることを特徴とする請求項１乃至５のいずれか一項に記載の映像表示システム。
7. 前記合成映像表示部は、所定の図柄及び像のうちの少なくとも一つが前記第一ユーザの手前に現れている前記合成映像を前記ディスプレイに表示させることを特徴とする請求項６に記載の映像表示システム。
8. 前記映像取得部は、前記背景の映像として、前記背景に相当する空間内に前記第一ユーザが居ないときに前記撮像装置が撮像した前記空間の映像を取得することを特徴とする請求項１乃至７のいずれか一項に記載の映像表示システム。
9. コンピュータを用いて、第一ユーザの映像を第二ユーザ側のディスプレイに表示する映像表示方法であって、
   コンピュータが、撮像装置が撮像した前記第一ユーザの映像、及び、前記撮像装置が撮像した背景の映像を取得することと、
   コンピュータが、取得した前記第一ユーザの映像及び前記背景の映像を合成し、前記背景の手前に前記第一ユーザが位置した合成映像を前記ディスプレイに表示させることと、
   コンピュータが、前記第二ユーザの顔が前記ディスプレイに対して移動したことを検知することと、を備え、
   前記顔が移動したことを検知したとき、コンピュータが、前記ディスプレイに表示されている前記合成映像を、前記顔が移動したことを検知する前の状態から遷移させる遷移処理を実行し、
   前記遷移処理では、前記合成映像における前記第一ユーザの映像の表示位置、及び、取得した前記背景の映像の中で前記合成映像中に含まれる範囲のうちの一方を、他方のずれ量よりも大きいずれ量だけ前記顔の移動方向に沿ってずらした状態へ前記合成映像を遷移させることを特徴とする映像表示方法。

Images