JP7659632B2 - 情報処理装置、撮影画像転送表示システム、及び撮影画像転送表示方法 - Google Patents

Description

本発明は、情報処理装置、撮影画像転送表示システム、及び撮影画像転送表示方法に関し、特に画像を表示させる端末を切り替える情報処理装置、情報処理システム、及び情報処理方法に関する。

特許文献１には、「デジタルカメラは、イメージセンサが内蔵されたカメラ本体と、撮影者の頭部に装着されるヘッドマウントファインダとから構成される。使用時には、ヘッドマウントファインダの表示部が撮影者の目前位置に位置するようにヘッドマウントファインダを撮影者の頭部に装着する。そして、撮影者の片手で把持したカメラ本体を被写体に向けて撮影すると、その画像がヘッドマウントファインダの表示部に表示される。（要約抜粋）」ことが記載されている。

特開２００６－６０５８３号公報

カメラ機能や表示機能などを有する情報処理装置は、特に携帯型のものはスマートフォン（以下、スマホと称す）と呼ばれ、おおむね手のひらサイズでカメラ撮影した画像や各種情報を表示画面に表示でき、使い勝手がよく広く普及している。

スマートフォンを用いてカメラ撮影をする場合、例えば、人が前方に大勢いる場合には目の前でスマートフォンを持ってカメラ撮影することが難しく、手を伸ばしカメラ撮影するような状況になる。また、カメラ撮影対象物の位置によってはスマホの表示画面が見えにくい状態で撮影せざるを得ない状況になることがある。

そこで、スマートフォンに特許文献１の技術を適用し、撮影画像を他の表示装置に転送することも考えられるが、スマートフォンに搭載された表示画面で撮影画像を視認しようとしたにも関わらず、他の表示装置に転送されてしまうと、ユーザの意図とは反してしまうという課題が残る。

本発明は上記課題に鑑みてなされたものであり、スマートフォン等の情報処理装置の表示画面が見辛い状況下でのカメラ撮影動作を支援することを目的とする。

前記課題を解決するための手段として、特許請求の範囲に記載の技術を用いる。一例を挙げるならば、本発明は、情報処理装置であって、カメラと、前記カメラが撮影した撮影画像を表示する表示画面と、ユーザの視線を検出して、前記ユーザの視線方向を示す視線情報を出力する視線センサと、他の画像表示装置との間で通信を行う通信器と、前記撮影画像を記録するストレージと、前記カメラ、前記表示画面、前記視線センサ、前記通信器、及び前記ストレージのそれぞれに接続されたプロセッサと、を備え、前記表示画面は、前記ストレージに画像記録の指示を入力するシャッターボタンを含み、前記プロセッサは、前記カメラが撮影中に、前記視線情報に基づいて前記ユーザの視線先が前記表示画面にあるか否かを判断し、前記ユーザの視線先が前記表示画面にないと判断すると、前記表示画面に表示された前記撮影画像を前記通信器から前記他の画像表示装置に転送し、前記他の画像表示装置に対して前記転送された撮影画像の表示を行わせる表示開始信号を送信し、前記撮影画像を前記他の画像表示装置に転送している間は、前記撮影画像及び前記シャッターボタンの前記表示画面への表示を停止する、ことを特徴とする。

本発明によれば、スマートフォン等の情報処理装置の表示画面が見辛い状況下でのカメラ撮影動作を支援することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

第１実施形態に係る撮影画像転送システムの外観模式的に説明する図。 第１実施形態に係る撮影画像転送システムの外観模式的に説明する図。 第１実施形態に係る撮影画像転送システムの外観模式的に説明する図。 第１実施形態に係る撮影画像転送システムの外観模式的に説明する図。 第１実施形態に係る撮影画像転送システムの外観模式的に説明する図。 第１実施形態に係る撮影画像転送システムの外観模式的に説明する図。 スマホ及びＨＭＤのハードウェア構成図。 第１実施形態に係る撮影画像転送システムの基本動作を説明するフローチャート。 第２実施形態に係る撮影画像転送表示システムを外観模式的に説明する図。 第２実施形態に係る撮影画像転送表示システムの処理の流れを示すフローチャート。 第３実施形態に係る撮影画像転送表示システムを外観模式的に説明する図。 第３実施形態に係る撮影画像転送表示システムの処理の流れを示すフローチャート。 第４実施形態に係る撮影画像転送表示システムを外観模式的に説明する図。 第４実施形態に係る撮影画像転送表示システムを外観模式的に説明する図。 第４実施形態に係る撮影画像転送表示システムの処理の流れを示すフローチャート。 第５実施形態に係る撮影画像転送表示システムを外観模式的に説明する図。 第５実施形態に係る撮影画像転送表示システムの処理の流れを示すフローチャート。 第６実施形態に係る撮影画像転送表示システムを外観模式的に説明する図。 第６実施形態に係る撮影画像転送表示システムの処理の流れを示すフローチャート。

以下、本発明の実施形態の例を、図面を用いて説明する。全図を通じて同一の構成には同一の符号を付し、重複説明を省略する。

＜第１実施形態＞
第１実施形態は、カメラ機能を備える情報処理装置と、当該情報処理装置とは別体に構成された画像表示装置とを連携し、撮影画像を必要に応じて画像表示装置に転送する撮影画像転送システム１である。

図１Ａから図１Ｆは、第１実施形態に係る撮影画像転送システム１の外観模式的に説明する図である。以下の説明では、情報処理装置の具体例としてスマホ１００を、画像表示装置の具体例としてヘッドマウントディスプレイ（Head Mounted Display；ＨＭＤ、以下、ＨＭＤと称す）２００を例にとり説明する。

図１Ａにおいて、ＨＭＤ２００は、他の画像やＣＧ（Computer Graphics）などで作った画像からなる仮想空間上の仮想物体（仮想オブジェクト）を現実空間に反映し拡張していく拡張現実（Augmented Reality：ＡＲ）技術を用いて、３次元で現実空間の実体物を認識しつつ仮想オブジェクトの表示を行う画像表示装置である。

ＨＭＤ２００には、仮想オブジェクトを表示部で表示しつつ目の前の実体物を視認するタイプ（光学シースルー型）や、現実空間の実体物や仮想オブジェクトを頭部前面に設けられた表示部で表示するタイプ（ビデオシースルー型）があり、ユーザ１０は注視する実体物や仮想オブジェクトを間近に見ることができる。

ユーザ１０はスマホ１００を手に持って、頭部にＨＭＤ２００を装着している。スマホ１００は、表示画面１０１側とその裏面側にそれぞれ周囲の視界を撮影するインカメラ１０２、アウトカメラ１０３を備える。

更にスマホ１００の表示画面１０１側には、深度センサ１０４や左目視線センサ１０５及び右目視線センサ１０６を備える。

表示画面１０１上には、タッチされるとカメラが起動し撮影表示モードに移行するカメラ撮影モードボタン１０７を有する。

インカメラ１０２は、方向１１０から方向１１１までの撮影範囲内（画角内）で周囲の人物や景色を撮影する。

アウトカメラ１０３は、方向１１２から方向１１３までの撮影範囲内で撮影するものである。

深度センサ１０４は、スマホ１００から対象物までの距離や角度を測定して深度センサ１０４からみてどの角度のどの距離に対象物があるかを示す距離情報を出力する。更に深度センサ１０４は、方向１１４から方向１１５までの観測範囲内で人や物などの対象物の形状を立体として捉えることができるセンサである。深度センサ１０４は、スマホ１００を見ているユーザ１０を検知識別できる。

左目視線センサ１０５及び右目視線センサ１０６は、深度センサ１０４で検知識別したユーザ１０の顔の左目、右目の動きや向きをそれぞれ検出するものであり、左目と右目の両方の視線１４１、１４２を検出して、立体的に視線先１１６を捉えることができる。左目視線センサ１０５及び右目視線センサ１０６が出力する視線方向は視線情報に相当し、視線方向上の各点が視線先に相当する。

ＨＭＤ２００は、ユーザ１０の頭部に装着され、ユーザ１０の目の前にディスプレイ２６５が配置される。ディスプレイ２６５の表示画面１３２（図１Ｃ参照）上に画像を仮想オブジェクトとして表示する。ディスプレイ２６５が透過型である場合は、目の前の実体物に仮想オブジェクトが重畳して表示される。ＨＭＤ２００が没入型であれば、ＨＭＤ２００のアウトカメラ２０３（図３参照）が撮影した画像に仮想オブジェクトを重畳して表示することで、拡張現実を体験できる。

スマホ１００の電源が投入されると、図１Ａに示す通常のメニュー表示モードの表示画面が表示される。メニュー表示モードでは、表示画面１０１はカメラ撮影モードボタン１０７や各種のアプリアイコン等が表示される。この状態で、ユーザ１０がカメラ撮影モードボタン１０７にタッチすると、表示画面１０１は通常のメニュー表示モードから撮影表示モードに変わる。

図１Ｂに示す撮影表示モードでは、アウトカメラ１０３で撮影した撮影画像が表示画面１０１上に表示される。また、表示画面１０１上には、撮影画像をスマホ１００のメモリ１７０（ストレージの一態様である。）に画像記録をさせるための指示を入力するシャッターボタン１２０が表示される。通常、撮影画像をできるだけ広い領域で表示するために、シャッターボタン１２０は指先でタッチ可能な程度の小領域で表示される。

ユーザ１０が表示画面１０１を見ている場合には、表示された撮影画像を十分視認しながら、記録したいシーンで小領域表示のシャッターボタン１２０をタッチすることができる。

一方、表示画面１０１が見辛い場合や全く見えない場合などには、表示画面１０１に表示された撮影画像を十分視認することができない。このため、記録したいシーンの瞬間にうまく小領域表示のシャッターボタン１２０へのタッチ操作を行うことが困難になる。

本実施形態は、こうした困難な状況に対応するためのものであり、ユーザ１０の目視状態を検出し、ユーザ１０が表示画面１０１を見ていないことを検出したときには、図１Ｃに示すように、アウトカメラ１０３の撮影画像をスマホ１００からＨＭＤ２００に転送する。図１Ｃにおいて、矢印１３０は撮影画像の転送方向を示す。

ＨＭＤ２００では転送された撮影画像１３１をＨＭＤ２００の表示画面１３２上に仮想オブジェクトとして表示する。ユーザ１０は、ＨＭＤ２００を用いて、目の前の実体物と共に転送された撮影画像１３１を仮想オブジェクトとして視認することができる。

スマホ１００のプロセッサ１６７（図３参照）は、深度センサ１０４が出力した深度センサ情報に基づいてユーザ１０の顔の中の左目、右目を識別し、左目視線センサ１０５、右目視線センサ１０６のそれぞれの左視線情報及び右視線情報を基に視線先１１６の方向を検出し、視線先１１６の延長上に表示画面１０１があるかを判断する。視線先１１６上に表示画面１０１があれば、ユーザ１０が表示画面１０１を見ていると判断する。なお、視線センサは一つでもよい。

一方、深度センサ１０４でユーザ１０の顔の中の左目、右目を識別できず、また識別しても視線先が表示画面１０１でないときには、プロセッサ１６７はユーザ１０が表示画面１０１を見ていないと判断する。また、顔認識の画像処理アルゴリズムを用いてインカメラ１０２の撮影画像から顔の中の左目、右目の視線先を検出してもよい。

スマホ１００とＨＭＤ２００との通信はあらかじめ接続状態としておき、転送モードになったら瞬時に撮影画像がＨＭＤ２００に表示できるようにする。なお、接続していてもＨＭＤ２００が常時スマホ１００からの撮影画像を表示している必要はない。また、スマホ１００の表示画面１０１には撮影画像のほかシャッターボタン１２０や各種操作ボタン等も表示されているが、スマホ１００からＨＭＤ２００に転送する転送画像としては、シャッターボタン１２０や各種操作ボタン等の表示の必要性は通常の使用状態ではかなり低いため、必ずしも画面ミラーリングである必要はなく、撮影画像だけでもよい。撮影画像の転送判断は、スマホ１００に搭載されたプロセッサ１６７が行う。プロセッサ１６７は、深度センサ１０４、左目視線センサ１０５、右目視線センサ１０６の各センサ情報を基に視線先１４３が表示画面１０１を向いていないと判断した場合は、撮影画像をＨＭＤ２００に転送する。別例として、ＨＭＤ２００のプロセッサ２６７が、ＨＭＤ２００に搭載された深度センサ２０４、左目視線センサ２０５、右目視線センサ２０６の各センサ情報を基に視線先１４３が表示画面１０１を向いていないと判断し、撮影画像の転送要求信号をスマホ１００に対して送信し、スマホ１００がそれに応答して撮影画像の転送を行ってもよい。更に、ＨＭＤ２００に搭載された深度センサ２０４、左目視線センサ２０５、右目視線センサ２０６の各センサ情報をスマホ１００に送信し、スマホ１００のプロセッサ１６７が受信した各センサ情報を基に転送判断を行ってもよい。以下の各実施形態における転送判断も同様である。

而して、スマホ１００の表示画面１０１が見辛い場合や全く表示画面１０１が見えない撮影状態にある場合などで、表示画面１０１に表示された撮影画像を十分視認することができないときにも、ユーザ１０は、ＨＭＤ２００に表示された撮影画像１３１を見て、スマホ１００のアウトカメラ１０３で撮影されている撮影画像を明確に視認ことができる。

更に、スマホ１００のプロセッサ１６７は、ユーザ１０が表示画面１０１を見ていないと判断し、アウトカメラ１０３で撮影された撮影画像をＨＭＤ２００に転送している間は、表示画面１０１を非表示状態にし、表示画面１０１の撮影画像の表示領域に、タッチ操作を検出してシャッターボタン操作が行える、拡張シャッターボタン１３４を設ける。

よって、ユーザ１０が表示画面１０１を見辛い或いは見えない状態でも、シャッターボタン１２０へのタッチ操作を表示画面１０１の広い操作領域で行うことができ、確実かつ使い勝手よく記録したいシーンを捕捉することが可能になる。即ち、撮影画像がＨＭＤ２００に転送されるとき、スマホ１００の表示画面１０１のうち、シャッターボタン１２０ではない画像表示領域をタッチしてもシャッターを切ることができ、スマホ１００の表示画面１０１を見ていなくてもシャッターボタン操作を行えるという効果が得られる。

更には、ユーザ１０が目視できない状態での不必要で無駄な撮影画像表示を無くすことができ、引いては消費電力の低減が図れる。なお、シャッターボタン１２０としてタッチできる領域は、表示画面全体でなくてもよく、例えば、スマホ１００の持ち手位置を避けるよう、表示画面１０１の縁から予め定めたマージン領域よりも内側の領域に拡張シャッターボタン１３４を設けてもよい。図１Ｃでは、拡張シャッターボタン１３４を表示画面１０１全体ではなく内側の限られた領域にのみ設けている。この場合、スマホ１００の持ち手にはシャッターボタン１２０が反応しないようにすることが可能になる。

一方、ユーザ１０が表示画面１０１を見ていることを検出したときには、図１Ｄに示すように、スマホ１００からＨＭＤ２００への撮影画像転送を停止し行わない。ＨＭＤ２００の表示画面１３２に転送されていた画像が非表示となり、ユーザ１０は目の前の表示画面１０１を直接目視可能となる。

また、深度センサ２０４、左目視線センサ２０５、右目視線センサ２０６を具備するＨＭＤ２００では、図１Ｅに示すように、深度センサ２０４で前方のスマホ１００の表示画面を識別し、左目視線センサ２０５、右目視線センサ２０６で左目の視線１４１、右目の視線１４２を検出して視線先１４３がスマホ１００の表示画面１０１を向いているか否かを検出することもできる。視線先１４３が表示画面１０１にあることを検出したときには、スマホ１００からＨＭＤ２００への撮影画像の転送及びＨＭＤ２００での転送画像の表示は行わない。即ち、図１Ｄに示した場合と同様の動作を行う。

一方、視線先１４３が表示画面１０１を向いていないことを検出したときには、図１Ｆに示すように、ＨＭＤ２００はこの検出結果情報をスマホ１００に伝送する（矢印１５１で転送図示）。スマホ１００では、伝送された検出結果を受けて、図１Ｃに示した場合と同様、アウトカメラ１０３で撮影された撮影画像をスマホ１００からＨＭＤ２００に転送し（矢印１３０で転送図示）、ＨＭＤ２００では転送された撮影画像１３１を表示画面１３２に表示する。

すなわち、ＨＭＤ２００に搭載されたプロセッサ２６７が深度センサ２０４、左目視線センサ２０５、右目視線センサ２０６の各センサ情報を基に視線先１４３が表示画面１０１を向いていないことを判断し、向いていないと判断した場合は、撮影画像の転送要求信号をスマホ１００に対して送信し、スマホ１００がそれに応答して撮影画像の転送を行う。

又は、ＨＭＤ２００に搭載された深度センサ２０４、左目視線センサ２０５、右目視線センサ２０６の各センサ情報をスマホ１００に送信し、スマホ１００のプロセッサ１６７はこれらのセンサ情報を基に、撮影画像の転送の要否を判断してもよい。

撮影画像をＨＭＤ２００に対して行っている場合は、図１Ａから図１Ｄと同様に、スマホ１００では、表示画面１０１を非表示状態にし、表示画面１０１のどの領域をタッチしてもシャッターボタン操作が行えるようにする。

よって、ＨＭＤ２００側でユーザ１０がスマホ１００の表示画面１０１を見ているか否かを検出する場合も、スマホ１００側でユーザ１０がスマホ１００の表示画面１０１を見ているか否かを検出する場合と同様の作用、効果を得ることができる。

なお、視線センサは一つでもよく、ＨＭＤ２００に視線センサを搭載すると、スマホ１００からユーザ１０が比較的離れている場合でも両目の視線検出と近い性能が得られる。

以上の動作に際して、スマホ１００で例示した情報処理装置がＨＭＤ２００で例示した画像表示装置の動作を指示制御する形態でもよいし、情報処理装置と画像表示装置からなる情報処理システムを構成してもよい。而して、ユーザ１０にとってスマホ１００などの情報処理装置の表示画面１０１が見辛いような状況でも、ユーザ１０が情報処理装置の撮影画像を明確に確認でき、更にシャッターボタン操作が容易となり、使い勝手が向上する。

次に図２を参照してスマホ１００及びＨＭＤ２００のハードウェア構成について説明する。図２は、スマホ１００及びＨＭＤ２００のハードウェア構成図である。

スマホ１００は、インカメラ１０２、アウトカメラ１０３、深度センサ１０４、左目視線センサ１０５、右目視線センサ１０６、加速度センサ１６１、ジャイロセンサ１６２、地磁気センサ１６３、タッチパネル１６４、ディスプレイ１６５、電話網通信器１６６、プロセッサ１６７（第１プロセッサ）、プログラム１６８及び情報データ１６９が格納されるメモリ１７０、バイブレータ１７１、マイク１７２、スピーカ１７３、機器間通信器１７４（第１通信器）を備え、各構成部はバス１８０を介して相互に接続されている。

ＨＭＤ２００は、アウトカメラ２０３、深度センサ２０４、左目視線センサ２０５、右目視線センサ２０６、加速度センサ２６１、ジャイロセンサ２６２、地磁気センサ２６３、操作入力インタフェース２６４、ディスプレイ２６５、プロセッサ２６７（第２プロセッサ）、プログラム２６８及び情報データ２６９が格納されるメモリ２７０、バイブレータ２７１、マイク２７２、スピーカ２７３、機器間通信器２７４（第２通信器）を備え、各構成部はバス２８０を介して相互に接続されている。

インカメラ１０２は、レンズから入射した光を撮影素子で電気信号に変換して、ディスプレイ１６５を見ているユーザ１０などを撮影する。

アウトカメラ１０３、２０３は、前方周囲の視界視野状態を撮影するもので、レンズから入射した光を撮影素子で電気信号に変換して撮影画像を受信する。

スマホ１００に搭載されるアウトカメラ１０３はスマホ１００のディスプレイ１６５の裏面側を撮影し、ユーザ１０がスマホ１００を外周に向けて掲げ周囲の視界を撮影できる。

ＨＭＤ２００に搭載されるアウトカメラ２０３はユーザ１０が装着するＨＭＤ２００から見える視界を撮影する。

深度センサ１０４、２０４は、対象物までの距離や角度を測定し、人や物などの対象物の形状を立体として捉える。深度センサ１０４、２０４としては、赤外線などのレーザー光を対象物に照射し、はね返ってくる散乱光を測定し遠距離にある対象物までの距離を検出するＬｉＤＡＲ（Light Detection and Ranging）や、被写体に照射したパルス光の反射時間を画素ごとに計測して測距を行うＴＯＦ（Time Of Flight）センサ、ミリ波の電波を発射しその反射波を捉まえて反射物までの距離を検出するミリ波レーダーなどが用いられる。

スマホ１００の深度センサ１０４は、ユーザ１０が表示画面１０１を見ているとき、ユーザ１０を検出し、検出したユーザ１０の顔の中から両目を識別することができる。例えば、深度センサ１０４の深度情報を基にユーザの顔の全体形状を把握し、その全体形状から両目の位置を推定してもよい。

また、ＨＭＤ２００の深度センサ２０４は、ユーザ１０の前方にスマホ１００の表示画面１０１があるときには、表示画面１０１までの距離を識別することができる。

左目視線センサ１０５、２０５、右目視線センサ１０６、２０６は、それぞれ右目、左目の動きや向きを捉えて視線１４１、１４２を検出する。なお、視線１４１、１４２を検出する処理は、アイトラッキング処理として一般的に用いられている周知技術を利用すればよい。例えば、角膜反射を利用した方法として、赤外線ＬＥＤ（Light Emitting Diode）を顔に照射し赤外線カメラで撮影し、赤外線ＬＥＤ照射でできた反射光の角膜上の位置（角膜反射）を基準点とし、角膜反射の位置に対する瞳孔の位置に基づいて視線１４１、１４２を検出する技術が知られている。また、可視光カメラ（スマホ１００ではインカメラ１０２を兼用してもよい）で目を撮影し、基準点を目頭とし動点を虹彩にして目頭に対する虹彩の位置に基づいて視線１４１、１４２を検出する方法も知られている。左目視線センサ１０５、２０５、右目視線センサ１０６、２０６で検出された両目の視線１４１、１４２からユーザ１０の視線先を特定できる。

加速度センサ１６１、２６１は、単位時間当たりの速度変化である加速度を検出するセンサであり、動き・振動・衝撃などを捉えることができる。

ジャイロセンサ１６２、２６２は、回転方向の角速度を検出するセンサであり、縦・横・斜めの姿勢の状態を捉えることができる。

スマホ１００の加速度センサ１６１及びジャイロセンサ１６２を用いて、スマホ１００の傾きや方向などの姿勢を検出することができる。

同様に、ＨＭＤ２００の加速度センサ２６１及びジャイロセンサ２６２を用いて、ユーザ１０が装着しているＨＭＤ２００の傾きや方向などの姿勢を検出することができる。

地磁気センサ１６３、２６３は、地球の磁力を検出するセンサであり、スマホ１００、ＨＭＤ２００の向いている方向を検出する。前後方向と左右方向に加え上下方向の地磁気も検出する３軸タイプを用い、スマホ１００、ＨＭＤ２００の動きに対する地磁気変化を捉まえることにより、スマホ１００、ＨＭＤ２００の動きを検出することも可能である。

これらのセンサ群（加速度センサ、ジャイロセンサ、地磁気センサの総称）により、スマホ１００の傾き（姿勢）やＨＭＤ２００を装着しているユーザ１０の頭部の動きが検出できる。よって、スマホ１００に搭載されたセンサ群は、スマホ１００の傾きを示す姿勢情報を出力する姿勢センサに相当する。また、ＨＭＤ２００に搭載されたセンサ群は、ユーザ１０の頭部の動きを検出して動作量情報を出力する動作検出センサに相当する。

スマホ１００のディスプレイ１６５の表示画面が見え辛いときなどにスマホ１００は傾いた状態になりやすく、検出判別した姿勢状態を用いて、傾いて撮影された撮影画像を水平に戻し撮影対象物が正立状態なるように補正することができる。

プロセッサ１６７、２６７は、ＣＰＵ等で構成され、メモリ１７０、２７０に記憶格納されているオペレーティングシステム（Operating System：ＯＳ）や動作制御用アプリケーションなどのプログラム１６８、２６８を実行することによって、各構成部を制御し、スマホ１００、ＨＭＤ２００の全体の動作制御処理を行っている。

また、スマホ１００のプロセッサ１６７は、機器間通信（無線通信）を経由してＨＭＤ２００の動作を制御してもよい。

例えば、ユーザ１０がスマホ１００の表示画面１９１を見ていないことをスマホ１００で検出した場合、プロセッサ１６７は、撮影画像をＨＭＤ２００に転送し、更にＨＭＤ２００で転送された撮影画像の表示が行われるように制御してもよい。

また、ユーザ１０がスマホ１００の表示画面１０１を見ていることをスマホ１００で検出した場合、プロセッサ１６７は、撮影画像の転送を停止し、更にＨＭＤ２００に転送済みの撮影画像の表示を停止させる表示停止信号を送信する。

メモリ１７０、２７０は、ストレージの一態様であり、例えばフラッシュメモリなどで構成され、オペレーティングシステムやプロセッサ１６７、２６７が使用する動作制御用アプリケーションなどのプログラム１６８、２６８を記憶している。

また、スマホ１００、ＨＭＤ２００で取り扱われる画像、音声、信号などの情報データ１６９、２６９を記憶している。情報データ１６９、２６９としては、例えば、インカメラ１０２、アウトカメラ１０３、２０３で撮影された画像データがあり、シャッターボタン１２０、又は拡張シャッターボタン１３４のタッチ操作を検出すると、撮影画像を格納する。

スマホ１００のディスプレイ１６５は、液晶などで構成され、透明性の高いタッチパネル１６４が積層される。ディスプレイ１６５は、タッチパネル１６４を介して表示内容を表示する。

ディスプレイ１６５は、アウトカメラ１０３、インカメラ１０２で撮影された撮影画像、カメラ撮影モードボタン１０７、シャッターボタン１２０などの各種操作ボタン、起動アプリや各種状態表示のアイコン、ユーザ１０への通知情報などを表示する。

タッチパネル１６４は、例えば、接触の圧力を検出する感圧センサを有し、表示画面１０１へのタッチ操作や、表示画面１０１を保持するときの持ち手が触れた位置や面積を検出する。タッチパネル１６４は、感圧センサに限定されず、表示画面１０１に触れると発生する微弱な電流、つまり静電容量の変化を感知する静電容量センサや、指などで触れた画面の位置を超音波表面弾性波の減衰によって検知する超音波表面弾性波センサを有するタイプもあり、どのタイプでも同様な動作が得られる。

タッチパネル１６４は、ユーザ１０がスマホ１００に情報を入力する操作入力デバイスに相当する。操作入力デバイスの他例として、キーボードやキーボタンなどの入力装置や、マイク１７２から入力された音声による音声入力装置でもよい。

ＨＭＤ２００のディスプレイ２６５は、光学シースルー型のＨＭＤ２００の場合には、例えば、スマホ１００から伝送された撮影画像などの仮想オブジェクトやユーザ１０への通知情報などを投影する投影部と投影された仮想オブジェクト等を目の前で結像表示させる透明なハーフミラーを備えてもよい。

これにより、ユーザ１０は、目の前の視界範囲の実体物と共に、結像された仮想オブジェクトを浮かんでいるような形で視認することができる。

また、ＨＭＤ２００がビデオシースルー型のＨＭＤ２００である場合には、ディスプレイ２６５は、例えばアウトカメラ２０３で撮影された目の前の実体物と仮想オブジェクト等を合わせて表示する液晶パネルを用いて構成される。これにより、ユーザ１０は、目の前の視界画像内の実体物と仮想オブジェクト等を重ねて視認することができる。

ＨＭＤ２００の操作入力インタフェース２６４は、例えばキーボードやキーボタン、タッチキー等による入力装置が用いられる。

操作入力インタフェース２６４は、ＨＭＤ２００内でユーザ１０が入力操作を行いやすい位置や形態に設ければよいし、或いはＨＭＤ２００の本体から分離し有線や無線で接続された形態でもよい。

また、ディスプレイ２６５の表示画面内に入力操作画面を表示させ、左目視線センサ２０５、右目視線センサ２０６により検出した視線１４１、１４２が向いている入力操作画面上の位置により入力操作情報を取り込んでもよい。

更に、ポインタを入力操作画面上に表示させ操作入力インタフェース２６４によりポインタを操作して入力操作情報を取り込んでもよい。

また、ユーザ１０が入力操作を示す音声を発声し、マイク２７２で集音して入力操作情報を取り込んでもよい。

マイク１７２、２７２は、外部からの音声やユーザ１０自身の発声を集音し、スマホ１００、ＨＭＤ２００内に取り込むものである。

音声入力を行う場合は、ユーザ１０が、スマホ１００の表示画面１０１を見ていない状態でＨＭＤ２００に表示された撮影画像を見ながら発したシャッターボタン操作実行の旨の音声情報をマイク１７２、２７２で集音し、スマホ１００にてシャッターボタン操作を行ってもよい。

スピーカ１７３、２７３は、スマホ１００、ＨＭＤ２００内の各種の出力情報を音声で外部に発するものであり、ユーザ１０に音声で通知や指示情報を知らしめることができる。例えば、ユーザ１０がスマホ１００の表示画面１０１を見ていないと検出したことや、拡張シャッターボタン１３４を表示画面１０１に設定したことを知らせてもよい。更に拡張シャッターボタン１３４の設定位置、例えば表示画面１０１の全体なのか、表示画面１０１の中央周辺に設定されたのかを知らせてもよい。

スピーカ１７３、２７３は、音声出力デバイスの一態様であり、イヤフォンやヘッドフォンでもスピーカ１７３，２７３と同様に用いられる。

バイブレータ１７１、２７１は、プロセッサ１６７、２６７からの制御によって振動を発生させるもので、スマホ１００、ＨＭＤ２００で発信されたユーザ１０への通知指示情報を振動に変換する。

バイブレータ１７１によりスマホ１００を持っている持ち手に、バイブレータ２７１によりＨＭＤ２００を装着しているユーザ１０の頭部に振動を伝えて、通知指示情報をユーザ１０に知らしめることができる。

機器間通信器１７４、２７４は、近距離無線通信、又は無線ＬＡＮにより、スマホ１００とＨＭＤ２００との間で無線通信を行う通信インタフェースである。

機器間通信器１７４、２７４のそれぞれは、各種の通信インタフェースに対応する通信処理回路やアンテナ等を含み、撮影画像データや制御信号などの送受信を行う。

近距離無線通信の例として、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Infrared Data Association、登録商標）、Ｚｉｇｂｅｅ（登録商標）、ＨｏｍｅＲＦ（Home Radio Frequency、登録商標）があり、無線ＬＡＮとしてＷｉ－Ｆｉ（登録商標）がある。

電話網通信器１６６は、基地局通信や遠距離の無線通信を用いてデータの送受信を行うための通信器である。例えば、基地局通信の方式として、Ｗ－ＣＤＭＡ（Wideband Code Division Multiple Access、登録商標）やＧＳＭ（Global System for Mobile Communications）などの遠距離の無線通信を用いればよい。

また、高精細映像等を扱う場合などでは使うデータ量は飛躍的に多く、この場合、無線通信に５Ｇ（5th Generation：第５世代移動通信システム）、ローカル５Ｇなどの高速大容量通信網を使用すれば、飛躍的に使い勝手を向上できる。

図３は、第１実施形態に係る撮影画像転送システム１の基本動作を説明するフローチャートである。

図３において、ユーザ１０がカメラ撮影モードボタン１０７にタッチし撮影表示モードになると（Ｓ１０１）、スマホ１００はインカメラ１０２で撮影された撮影画像を表示画面１０１に表示する（Ｓ１０２）。撮影表示モードとは、アウトカメラ１０３で撮影した撮影画像がスマホ１００の表示画面１０１に表示されるモードである。

このとき、ユーザ１０がスマホ１００の表示画面１０１を見ているか否かを検出する（Ｓ１０３）。

スマホ１００のプロセッサ１６７は、ユーザ１０が表示画面１０１を見ていないと判断すると（Ｓ１０３：Ｎｏ）、スマホ１００のプロセッサ１６７は、撮影画像の表示を停止し、表示画面１０１に拡張シャッターボタン１３４（図では「拡張シャッターボタン」を「拡張ＳＢ」で表示する）を表示すると共に（Ｓ１０４）、撮影画像をＨＭＤ２００に転送する（Ｓ１０５）。撮影画像をＨＭＤ２００へ転送する動作モードを撮影転送モードという。

ＨＭＤ２００は、転送された撮影画像を受信し、プロセッサ２６７がＨＭＤ２００の表示画面１３２に受信した撮影画像を表示する（Ｓ１２１）。

この状態で、拡張シャッターボタン１３４がタッチされると（Ｓ１０６：Ｙｅｓ）、スマホ１００のプロセッサ１６７はメモリ１７０に撮影画像を記録する（Ｓ１０７）。

撮影画像の記録後（Ｓ１０７）、又は拡張シャッターボタン１３４がタッチされず（Ｓ１０６：Ｎｏ）、スマホ１００の撮影転送モードが終了しなければ（Ｓ１０８：Ｎｏ）、ユーザ１０が表示画面１０１を見ているかを再度判断する。

ユーザ１０が表示画面１０１を見ていないと判断すると（Ｓ１０９：Ｎｏ）、引き続き撮影画像がＨＭＤ２００に転送される（Ｓ１０５）。

一方、ＨＭＤ２００に撮影画像が表示されている状態で、スマホ１００のプロセッサ１６７がユーザ１０の視点が表示画面１０１上にあると判断すると（Ｓ１０９：Ｙｅｓ）、スマホ１００のプロセッサ１６７は、ＨＭＤ２００への撮影画像の転送を停止し、表示停止信号を送信する（Ｓ１１０）。その後、ステップＳ１０２へ戻る。

ＨＭＤ２００では転送画像の受信を停止し、表示停止信号を受信して表示されている撮影画像を消去する（Ｓ１２２）。スマホ１００は撮影表示モードであるステップＳ１０２に戻る。

ユーザ１０がスマホ１００の表示画面１０１を見ている場合には（Ｓ１０３：Ｙｅｓ）、スマホ１００の表示画面１０１に表示された撮影画像を見ながら、シャッターボタン１２０（図では「ＳＢ」で表示する）をタッチして撮影画像を記録することができる（Ｓ１１１：Ｙｅｓ、Ｓ１１２）。

スマホ１００の撮影表示モードを終了する指示がなければ（Ｓ１１３：Ｎｏ）、ステップＳ１０２へ戻る。

スマホ１００の撮影表示モードを終了する指示がある場合（Ｓ１１３：Ｙｅｓ）、又はスマホ１００の撮影転送モードを終了する指示がある場合（Ｓ１０８：Ｙｅｓ）、スマホ１００からＨＭＤ２００への撮影画像転送表示処理を終了する。

第１実施形態によれば、ユーザ１０は、スマホ１００の撮影画像が表示されている表示画面１０１が見辛いような状況でも、頭部に装着しているＨＭＤ２００で撮影画像を確実に視認できる。

更に、スマホ１００の撮影画像が表示されている表示画面１０１が見辛いような状況では、スマホ１００に表示されたシャッターボタン１２０のタッチ操作も難しいことがある。その場合には、表示画面１０１に拡張シャッターボタン１３４が表示されるので、表示画面１０１においてシャッターボタン１２０よりも広い領域でシャッターボタン操作を行うことができ、使い勝手よく容易にカメラ撮影のシャッターボタン操作が可能になる。

また、ユーザ１０からスマホ１００の表示画面１０１が十分見える場合には、ＨＭＤ２００への撮影画像の転送及び表示を行うことなく、スマホ１００の表示画面１０１に表示された撮影画像を直接目視しながら、表示画面１０１上のシャッターボタン１２０を操作できる。

＜第２実施形態＞
第２実施形態は、撮影画像が正立状態になるよう、撮影画像の傾きを補正し、補正後撮影画像４０２をＨＭＤ２００に転送する実施形態である。ここでいう正立状態とは、スマホ１００の傾きを相殺する方向に撮影画像に撮影された被写体の傾きを補正した状態をいう。

図４は、第２実施形態に係る撮影画像転送表示システム１ａを外観模式的に説明する図である。

スマホ１００の表示画面１０１が見えない或いは見辛い状態でカメラ撮影をしようとすると、スマホ１００が傾く状態になりやすく、この状態でカメラ撮影された被写体は撮影画像としてスマホ１００が傾いた分だけ逆方向に傾いた状態で表示される。

図４に示すように、ユーザ１０にとってスマホ１００の表示画面１０１が見えない状態になり、例えばスマホ１００が右方向に傾いている場合、右方向に傾いたスマホ１００でカメラ撮影された被写体の画像は、被写体が左方向に傾いた状態で表示された撮影画像４０１となる。この撮影画像４０１がスマホ１００からＨＭＤ２００に転送され、ＨＭＤ２００で表示されても、ユーザ１０にとって被写体が傾いており非常に見辛い表示画面となる。本実施形態では、スマホ１００の傾きに起因する撮影画像の視認性の低下を防止する。

図５は、第２実施形態に係る撮影画像転送表示システム１ａの処理の流れを示すフローチャートである。図５では、説明の便宜のため、第１実施形態の処理と異なる部分を中心に記載し、共通する処理は一部省略している。

スマホ１００のプロセッサ１６７が撮影表示モードを開始する制御を行うと（Ｓ１０１）、撮影画像を表示画面１０１に表示する（Ｓ１０２）と共に、姿勢センサ群による姿勢情報の取得を開始する（Ｓ２０１）。姿勢センサ群とは、加速度センサ１６１、ジャイロセンサ１６２、地磁気センサ１６３の総称であり、姿勢情報とは、加速度情報、角速度情報、地磁気情報の総称である。

スマホ１００のプロセッサ１６７が、ユーザ１０の視点は表示画面１０１上にないと判断し（Ｓ１０３：Ｎｏ）、撮影画像の表示画面１０１への表示を停止、拡張シャッターボタン１３４を表示すると（Ｓ１０４）、プロセッサ１６７は撮影画像の傾き補正を行う（Ｓ２０２）。

プロセッサ１６７は、姿勢情報に基づいてスマホ１００の傾きを検出し、検出したスマホ１００の傾き量に応じて、撮影画像に撮影された被写体の傾きを逆方向に戻して被写体が表示画面１０１上で傾きのない正立状態になるように画像補正を行い、補正後撮影画像４０２を生成する。

プロセッサ１６７は、補正後撮影画像４０２をＨＭＤ２００に転送し（Ｓ２０３）、ＨＭＤ２００のプロセッサ２６７は、受信した補正後撮影画像４０２をディスプレイ２６５に表示する（Ｓ２０４）。その他の処理は第１実施形態と同様である。

本実施形態によれば、ＨＭＤ２００の表示画面１３２上で傾きのない被写体が撮影された補正後撮影画像４０２が表示されるので、違和感なく素直に視認することができる。

ステップＳ１１１、ステップＳ１０６において、シャッターボタン１２０のタッチ操作が検出されると、補正前の被写体が傾いた撮影画像又は補正後撮影画像４０２のどちらを保存するかを選択できるように構成してもよい。

上記の説明では、姿勢情報を基にスマホ１００の傾きを検出したが、スマホ１００の傾きの検出手法は、姿勢情報を用いることなく、撮影画像から周知の画像認識処理アルゴリズムを用いて検出してもよい。

＜第３実施形態＞
第３実施形態は、スマホ１００を持っている持ち手がスマホ１００の表示画面１０１を覆い隠している場合の視認性を改善する実施形態である。

図６は、第３実施形態に係る撮影画像転送表示システム１ｂを外観模式的に説明する図である。

図６に示すように、ユーザ１０がスマホ１００の表示画面１０１を目視できる状態でも、スマホ１００を持っている持ち手がスマホ１００の表示画面１０１を覆い隠していると、ユーザ１０は表示画面１０１に表示された撮影画像の全てを視認することができない。本実施形態では、スマホ１００の表示画面１０１上にある障害物によって引き起こされる撮影画像の視認性の低下を向上させる。

図７は、第３実施形態に係る撮影画像転送表示システム１ｂの処理の流れを示すフローチャートである。図７では、説明の便宜のため、第１実施形態の処理と異なる部分を中心に記載し、共通する処理は一部省略している。

ディスプレイ１６５の表示面上に構成されるタッチパネル１６４は、タッチパネル１６４へのタッチ操作を検出してタッチされた位置や面積を示す接触情報をプロセッサ１６７に出力する。

そこでプロセッサ１６７は、ユーザ１０の視点が表示画面１０１上にあると判断すると（Ｓ１０３：Ｙｅｓ）、タッチパネル１６４が、ユーザ１０の持ち手がスマホ１００の表示画面１０１を覆っているか否かを判断するための特定動作を行っているかを判断する。

特定動作とは、タッチパネル１６４がタッチ操作を検出した際に、例えばシャッターボタン１２０のタッチ操作であるにも関わらず、撮影画像がＨＭＤ２００に転送されることを防ぐために、持ち手が覆っていると判断するタッチ操作に限定された動作である。

例えば表示画面１０１の特定領域へのタッチ操作を特定動作として定義してもよい。特定領域とは、タッチした位置が撮影画像の視認性を阻害する位置、例えば表示画面１０１の周縁部ではなく、画面中央付近である場合を特定動作として定義してもよい。

つまり、持ち手が覆い隠している箇所が特定領域の中の場合にはＨＭＤ２００での撮影画像表示を行うが、覆い隠している箇所が特定領域の外の場合には、ユーザ１０による表示画面１０１の全容視認にさほど障害を生じない状況と判断し、ＨＭＤ２００での撮影画像表示を行わなくてもよい。

更に、特定領域に偶発的にタッチした結果、ＨＭＤ２００に転送されることを防ぐため、特定領域へのタッチ操作が予め定めた時間閾値以上、継続する場合を特定動作としてもよい。

特定領域は、拡張シャッターボタン１３４として設定する領域と一致してもよい。

プロセッサ１６７は、特定動作を検出すると（Ｓ３０１：Ｙｅｓ）、撮影画像をＨＭＤ２００に転送する（Ｓ１０５）と共に、転送された撮影画像の表示を行う表示開始信号も送信する。

プロセッサ１６７が特定動作を検出しなければ（Ｓ３０１：Ｎｏ）、シャッターボタン１２０のタッチ操作の検出を行う（Ｓ１１１）。

本実施形態によれば、スマホ１００を持っている持ち手がスマホ１００の表示画面１０１を覆っていることを検出したときには、撮影画像をスマホ１００からＨＭＤ２００に転送し、ＨＭＤ２００の表示画面１３２で撮影画像１３１を表示することができる。

また、変形例として、スマホ１００の深度センサ１０４を用いてスマホ１００とＨＭＤ２００の間隔を検出し、或いはＨＭＤ２００の深度センサ２０４を用いてスマホ１００とＨＭＤ２００の間隔を検出してＨＭＤ２００からスマホ１００に検出間隔情報を通知し、スマホ１００では、検出された間隔がユーザ１０の視認性を基に定められた距離閾値以上離れたとき、撮影画像をスマホ１００からＨＭＤ２００に転送する開始トリガとしてもよい。

これにより、ユーザ１０はスマホ１００の表示画面１０１を一応目視できるが、ユーザ１０にとってスマホ１００の表示画面１０１が離れすぎて目視しにくい状態でも、スマホ１００からＨＭＤ２００に転送された撮影画像をＨＭＤ２００の表示画面１３２で表示し、たやすく撮影画像を視認でき利便性を高めることが可能となる。

＜第４実施形態＞
第４実施形態は、既にカメラ撮影されてシャッター操作により記録された画像（「撮影済画像」という）とカメラ撮影中の画像（撮影画像）の両方を併せてＨＭＤ２００で表示する実施形態である。両方を表示するとは、一画面に撮影済画像６０１と撮影画像とを並列して表示する態様の他、撮影済画像６０１と撮影画像とを切替表示する場合も含む。以下では並列表示を例に挙げて説明する。

図８Ａ、図８Ｂは、第４実施形態に係る撮影画像転送表示システム１ｃを外観模式的に説明する図である。

撮影済画像６０１は、撮影済画像６０１及び撮影画像１３１をＨＭＤ２００で並列表示する前、又は並列表示をする際に、スマホ１００からＨＭＤ２００に転送され、ＨＭＤ２００で記憶され、ＨＭＤ２００のプロセッサ２６７が表示範囲７０３や解像度を切り替えてディスプレイ２６５に表示する。

図８Ａは、ユーザ１０がスマホ１００の表示画面１０１を見ていないとき、スマホ１００からＨＭＤ２００に転送されたカメラ撮影中の撮影画像１３１と撮影済画像６０１とを両方ともＨＭＤ２００の表示画面１３３で表示する場合である。

これにより、ユーザ１０は、撮影中の撮影画像１３１と撮影済画像６０１を両方とも同時に視認できる。即ち、現在カメラ撮影中の撮影画像１３１を見ている状態で撮影済画像６０１を確認しようとした際に、わざわざ表示画像を撮影済画像６０１に切り換える必要がなく、使い勝手を大幅に向上できる。

図８Ｂは、ユーザ１０がスマホ１００の表示画面１０１を見ているときの場合で、この場合、カメラ撮影中の撮影画像１３１はスマホ１００からＨＭＤ２００に転送されないので、ユーザ１０は、カメラ撮影中の撮影画像１３１をスマホ１００の表示画面１０１上で直接目視しつつ、ＨＭＤ２００の表示画面１３２に表示された撮影済画像６０１を併せて視認することとなる。

なお、複数の撮影済画像６０１を表示する場合には、首を振ることで撮影済画像６０１が切り替わっていくようにしてもよい。

また、ＨＭＤ２００側で、ＨＭＤ２００のアウトカメラ２０３によりスマホ１００の表示画面１０１の位置を検出することによって、スマホ表示画面と重ならないように撮影済画像６０１の表示場所を制御してもよい。

図９は、第４実施形態に係る撮影画像転送表示システム１ｃの処理の流れを示すフローチャートである。図９では、説明の便宜のため、第１実施形態の処理と異なる部分を中心に記載し、共通する処理は一部省略している。

スマホ１００のプロセッサ１６７は、拡張シャッターボタン１３４のタッチ操作に応じて撮影画像を記録すると（Ｓ１０７、）、記録した撮影済画像６０１をＨＭＤ２００に転送する（Ｓ４０１）。

ＨＭＤ２００のプロセッサ２６７は、撮影済画像６０１を取得する（Ｓ４０２）。撮影画像と撮影済画像６０１と並列表示をする場合は（Ｓ４０３：Ｙｅｓ）、撮影画像１３１と撮影済画像６０１とを表示画面１３２に並列させて表示する（Ｓ４０４）。並列表示の終了操作が行われるまでは並列表示を継続し（Ｓ４０５：Ｎｏ）、並列表示を終了すると（Ｓ４０５：Ｙｅｓ）ステップＳ１２１に進む。

スマホ１００のプロセッサ１６７は、ユーザ１０の視点が表示画面１０１上にある場合に、シャッターボタン１２０のタッチ操作に応じて画像を記録した場合も（Ｓ１１２）、撮影済画像６０１を転送する（Ｓ４０６）。

ＨＭＤ２００のプロセッサ２６７は、撮影済画像を取得すると（Ｓ４０７）、アウトカメラ２０３の撮影画像の物体検出を行い（Ｓ４０８）、スマホ１００の表示画面１０１の実像がディスプレイ２６５を通して見える位置を特定する。そして、ディスプレイ２６５において表示画面１０１が見えない領域（表示画面非視認領域）を特定し、表示画面非視認領域に撮影済画像６０１を表示する（Ｓ４０９）。その後、又は撮影済画像６０１の表示を終了する場合は（Ｓ４１０：Ｙｅｓ）はステップＳ１２１へ進み、表示を継続する場合は（Ｓ４１０：Ｎｏ）、ステップＳ４０７へ戻る。

本実施形態によれば、現在カメラ撮影中の撮影画像１３１がＨＭＤ２００に転送されている場合（図８Ａ）も、スマホ１００の表示画面１０１上で視認する場合（図８Ｂ）も、撮影済画像６０１と同時に視認できる。

＜第５実施形態＞
第５実施形態は、スマホ１００で撮影されたパノラマ画像７０２をＨＭＤ２００で表示する実施形態である。本実施形態は、第４実施形態の撮影済画像６０１がパノラマ撮影をされたパノラマ画像７０２である場合に相当する。

図１０は、第５実施形態に係る撮影画像転送表示システム１ｄを外観模式的に説明する図である。

図１０に示すように、ユーザ１０が首を振ると、ＨＭＤ２００に搭載されている加速度センサ２６１、ジャイロセンサ２６２、地磁気センサ２６３を用いて、ＨＭＤ２００を装着しているユーザ１０の首振り方向及びパノラマ角度７０１を検出する。そして、検出したユーザ１０の首振り方向及びパノラマ角度７０１に応じて、パノラマ画像７０２の表示範囲７０３を移動させる。

図１１は、第５実施形態に係る撮影画像転送表示システム１ｄの処理の流れを示すフローチャートである。図１１では、説明の便宜のため、第４実施形態の処理と異なる部分を中心に記載し、共通する処理は一部省略している。

ＨＭＤ２００のプロセッサ２６７は、撮影済画像６０１を受信すると（Ｓ４０２、Ｓ４０７）、撮影済画像６０１がパノラマ画像７０２であるかを確認し、パノラマ画像７０２ではない通常の画像であれば（Ｓ５０１：Ｎｏ）、ステップＳ４０３、Ｓ４０８へと進み、第４実施形態と同様の処理を実行する。

プロセッサ２６７が、撮影済画像６０１はパノラマ画像７０２であると判断すると（Ｓ５０１：Ｙｅｓ）、パノラマ画像７０２の中央付近をディスプレイ２６５の中央付近に合わせて表示する（Ｓ５０２）。

プロセッサ２６７は、ＨＭＤ２００の姿勢センサからの姿勢情報を取得し（Ｓ５０３）、姿勢情報に合わせてパノラマ画像７０２の表示範囲７０３を変更する（Ｓ５０４）。パノラマ画像の表示を継続する場合は（Ｓ５０５：Ｎｏ）、ステップＳ５０３へ戻り、終了する場合は（Ｓ５０５：Ｙｅｓ）、ステップＳ１２１へ進む。

本実施形態によれば、既に撮影されたパノラマ画像７０２の表示範囲７０３をたやすく変更することができ、見たいパノラマ画像７０２の表示範囲７０３を使い勝手良く選択することが可能になる。

＜第６実施形態＞
第６実施形態は、スマホ１００でユーザ１０自身を撮影する自撮りなどの場合に好適な実施形態である。

図１２は、第６実施形態に係る撮影画像転送表示システム１ｅを外観模式的に説明する図である。

ユーザ１０がスマホ１００の表示画面１０１を見ながら自分自身をカメラ撮影する自撮りのとき、図１２に示すように、ユーザ１０の視線先８０１はスマホ１００の表示画面１０１であり、ユーザ１０の視線先８０１とユーザ１０を撮影するインカメラ１０２の位置がずれて異なる場合がある。

この場合、インカメラ１０２で撮影された画像では、ユーザ１０の視線がインカメラ１０２を向いていないため、“カメラ視線”でないユーザ１０の撮影画像となってしまう。

そこで本実施形態では、ＨＭＤ２００では、スマホ１００のインカメラ１０２の位置を検出し、撮影画像からユーザ１０自身とその目の位置を認識し、２つの位置が一致するようにスマホ１００から転送された撮影画像の表示を変更する。

即ち、ユーザ１０がスマホ１００の表示画面１０１を目視できる状態でも、インカメラ１０２で撮影した撮影画像をＨＭＤ２００に転送すると共に、ＨＭＤ２００の表示画面１３２では、ユーザ１０が目視している画像上のカメラ位置８０２に、転送された撮影画像上のユーザ１０の位置８０３を合わせるように転送された撮影画像８０４を表示する。

この状態で、ユーザ１０が転送された撮影画像上の自分自身に視線を向けて自撮りされると、自撮りで撮影された撮影画像では、カメラを向いた視線先８０５になり、まさに“カメラ視線”で撮影されたユーザ１０の撮影画像を得ることができる。

図１３は、第６実施形態に係る撮影画像転送表示システム１ｅの処理の流れを示すフローチャートである。図５では、説明の便宜のため、第１実施形態の処理と異なる部分を中心に記載し、共通する処理は一部省略している。

スマホ１００のプロセッサ１６７は、撮影表示モードになっていることを検出すると（Ｓ１０１：Ｙｅｓ）、インカメラ１０２が起動しているか否かを確認する（Ｓ６０１）。インカメラ１０２が起動していることを確認すると（Ｓ６０１：Ｙｅｓ）、ユーザ１０の視線先が表示画面１０１上にあるか否かを問わず、撮影画像をＨＭＤ２００に転送すると共に、インカメラ撮影通知信号を送信し、インカメラ１０２で撮影していることを示すインカメラ撮影通知信号を送信する（Ｓ６０２）。

アウトカメラ２０３が起動している場合は（Ｓ６０１：Ｎｏ）、撮影画像を表示画面１０１に表示する（Ｓ１０２）。

ＨＭＤ２００は、撮影画像を受信すると（Ｓ６０３）、ＨＭＤ２００のアウトカメラ２０３の撮影画像を基にプロセッサ２６７が物体検出処理を行い、スマホ１００のインカメラ１０２の位置を検出する（Ｓ６０４）。

更にプロセッサ２６７は、受信した撮影画像に対して顔認識処理及び目検出処理を実行し、撮影画像の映ったユーザ１０の目の領域を検出する（Ｓ６０５）。

プロセッサ２６７は、ディスプレイ２６５を透過してインカメラ１０２を視認した際にユーザ１０の視線上にあるディスプレイ２６５上の位置に、撮影画像から検出した目の領域を重ねて、撮影画像をディスプレイ２６５に表示する（Ｓ６０６）。その後ステップＳ１２２へ進む。

本実施形態によれば、インカメラ１０２を用いたユーザ１０の顔写真を撮影する場合に、視線がインカメラ１０２にあった写真撮影のアシストが行える。

本実施形態の変形例として、自撮り写真にはＨＭＤ２００が撮影されてしまうので、スマホ１００のプロセッサ１６７が自撮り写真に対して肌色検出補正処理や、目検出処理を行い、ＨＭＤ２００のフレームやディスプレイ２６５を消す画像処理を行ってもよい。

本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

例えば、各実施形態において、スマホ１００で各種の撮影操作を行う場合を説明したが、別の手法を用いてもよい。すなわち、ＨＭＤ２００で各種の撮影操作を行い、ＨＭＤ２００で行われた各種の撮影操作の指示動作をＨＭＤ２００で検知し、検知した各種の撮影操作の指示動作をスマホ１００に転送するようにして、ＨＭＤ２００でスマホ１００の操作指示を行うようにしてもよい。そのための操作ＵＩ（User Interface）をＨＭＤ２００で表示してもよい。

また、以上の説明では、スマホ１００を情報処理装置の具体例として、ＨＭＤ２００を画像表示装置の具体例として説明したが、情報処理装置としてはスマホ１００に限らずカメラ撮影機能、カメラ撮影画面の表示機能が付いた全てのデバイスが対象であり、画像表示装置としてはＨＭＤ２００に限らず画像表示機能を有する全てのデバイスが対象である。また、周囲の視界を撮影する場合だけでなく、自撮りも対象として含まれることは言うまでもない。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウエアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納されてもよいし、通信網上の装置に格納されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１、１ａ、１ｂ、１ｃ、１ｄ、１ｅ：撮影画像転送システム
１０ ：ユーザ
１００ ：スマホ
１０１ ：表示画面
１０２ ：インカメラ
１０３、２０３：アウトカメラ
１０４、２０４：深度センサ
１０５、２０５：左目視線センサ
１０６、２０６：右目視線センサ
１０７ ：カメラ撮影モードボタン
１１０、１１１、１１２、１１３、１１４、１１５：方向
１１６、１４３、８０１、８０５：視線先
１２０、１５１：シャッターボタン
１３０ ：矢印
１３１、４０１、８０４：撮影画像
１３２、１３３、１９１：表示画面
１３４ ：拡張シャッターボタン
１４１、１４２：視線
１６１、２６１：加速度センサ
１６２、２６２：ジャイロセンサ
１６３、２６３：地磁気センサ
１６４ ：タッチパネル
１６５、２６５：ディスプレイ
１６６ ：電話網通信器
１６７、２６７：プロセッサ
１６８、２６８：プログラム
１６９、２６９：情報データ
１７０、２７０：メモリ
１７１、２７１：バイブレータ
１７２、２７２：マイク
１７３、２７３：スピーカ
１７４、２７４：機器間通信器
１８０、２８０：バス
２００ ：ＨＭＤ
２０２、４０２：補正後撮影画像
２６４ ：操作入力インタフェース
６０１ ：撮影済画像
７０１ ：パノラマ角度
７０２ ：パノラマ画像
７０３ ：表示範囲
８０２ ：カメラ位置

Claims (10)

1. 情報処理装置であって、
   カメラと、
   前記カメラが撮影した撮影画像を表示する表示画面と、
   ユーザの視線を検出して、前記ユーザの視線方向を示す視線情報を出力する視線センサと、
   他の画像表示装置との間で通信を行う通信器と、
   前記撮影画像を記録するストレージと、
   前記カメラ、前記表示画面、前記視線センサ、前記通信器、及び前記ストレージのそれぞれに接続されたプロセッサと、を備え、
   前記表示画面は、前記ストレージに画像記録の指示を入力するシャッターボタンを含み、
   前記プロセッサは、
   前記カメラが撮影中に、前記視線情報に基づいて前記ユーザの視線先が前記表示画面にあるか否かを判断し、
   前記ユーザの視線先が前記表示画面にないと判断すると、前記表示画面に表示された前記撮影画像を前記通信器から前記他の画像表示装置に転送し、前記他の画像表示装置に対して前記転送された撮影画像の表示を行わせる表示開始信号を送信し、
   前記撮影画像を前記他の画像表示装置に転送している間は、前記撮影画像及び前記シャッターボタンの前記表示画面への表示を停止する、
   ことを特徴とする情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記表示画面は、前記撮影画像を表示する画像表示領域を更に含み、
   前記プロセッサは、前記撮影画像を前記他の画像表示装置に転送している間は、前記画像表示領域内の前記シャッターボタンよりも面積が大きい領域に、前記ストレージに画像記録の指示を入力する拡張シャッターボタンを表示させる制御を行う、
   ことを特徴とする情報処理装置。
3. 請求項１に記載の情報処理装置であって、
   前記プロセッサは、
   前記他の画像表示装置に前記撮影画像を転送している状態で、前記ユーザの視線先が前記表示画面にあると判断すると、前記他の画像表示装置への前記撮影画像の転送を停止し、前記他の画像表示装置に対し、転送済みの前記撮影画像の表示を停止させる表示停止信号を送信する、
   ことを特徴とする情報処理装置。
4. 請求項２に記載の情報処理装置であって、
   前記プロセッサは、
   前記画像表示領域の縁から予め定めたマージン領域よりも内側の領域に前記拡張シャッターボタンを表示させる制御を行う、
   ことを特徴とする情報処理装置。
5. 請求項１に記載の情報処理装置であって、
   前記表示画面に積層されたタッチパネルを更に備え、
   前記タッチパネルは、前記タッチパネルへのタッチ操作を検出して接触情報を出力し、
   前記プロセッサは、前記タッチパネルに接続され、
   前記カメラが撮影中、かつ前記表示画面に前記撮影画像を表示している間に、前記接触情報を取得すると、前記他の画像表示装置に前記撮影画像及び前記表示開始信号を送信する、
   ことを特徴とする情報処理装置。
6. 請求項１に記載の情報処理装置であって、
   前記情報処理装置から対象物までの距離を検出して距離情報を出力する深度センサを更に備え、
   前記プロセッサは、前記深度センサに更に接続され、
   前記カメラが撮影中、かつ前記表示画面に前記撮影画像を表示している間に、前記距離情報に基づいて前記情報処理装置と前記他の画像表示装置との間隔を検出し、
   前記検出した間隔が予め定めた距離閾値以上であると判断すると、前記他の画像表示装置に前記撮影画像及び前記表示開始信号を送信する、
   ことを特徴とする情報処理装置。
7. カメラを搭載した情報処理装置と、前記情報処理装置から受信した前記カメラが撮影した撮影画像を表示する画像表示装置と、を通信接続して構成される撮影画像転送表示システムであって、
   前記情報処理装置は、
   前記カメラが撮影した撮影画像を表示する表示画面と、
   ユーザの視線方向を示す視線情報を出力する視線センサと、
   他の画像表示装置との間で通信を行う第１通信器と、
   前記カメラ、前記表示画面、前記視線センサ、及び前記第１通信器のそれぞれに接続された第１プロセッサと、
   前記撮影画像を撮影済画像として記録するストレージと、を備え、
   前記画像表示装置は、
   前記情報処理装置との間で通信を行う第２通信器と、
   前記情報処理装置から転送された前記撮影画像を表示するディスプレイと、
   前記ディスプレイ、及び前記第２通信器のそれぞれに接続された第２プロセッサと、を備え、
   前記表示画面は、
   前記ストレージに画像記録の指示を入力するシャッターボタンと、前記撮影画像を表示する画像表示領域と、を含み、
   前記第１プロセッサは、前記ストレージに更に接続され、
   前記情報処理装置が撮影中に、前記視線情報に基づいて前記ユーザの視線先が前記表示画面にあるか否かを判断し、
   前記ユーザの視線先が前記表示画面にないと判断すると、前記表示画面に表示された前記撮影画像を前記第１通信器から前記他の画像表示装置に転送し、前記他の画像表示装置に対して前記転送された撮影画像の表示を行わせる表示開始信号を送信し、
   前記第２プロセッサは、
   前記第２通信器を介して前記撮影画像及び前記表示開始信号を受信すると、前記表示開始信号に応じて前記撮影画像を前記ディスプレイに表示し、
   前記第１プロセッサは前記撮影済画像を前記他の画像表示装置に転送し、
   前記第２プロセッサは、前記撮影済画像及び前記撮影画像の両方を表示する、
   ことを特徴とする撮影画像転送表示システム。
8. 請求項７に記載の撮影画像転送表示システムであって、
   前記撮影済画像は、前記情報処理装置でパノラマ撮影したパノラマ画像であり、
   前記画像表示装置は、前記ユーザの頭に装着した状態で前記ディスプレイが前記ユーザの目の前に位置するヘッドマウントディスプレイであり、
   前記ヘッドマウントディスプレイは、前記頭の動きを検出して動きの向き及び量を示す動作量情報を出力する動作検出センサを備え、
   前記第２プロセッサは、前記動作検出センサに更に接続され、
   前記パノラマ画像を受信すると、前記パノラマ画像の中心を前記ディスプレイの中心に合わせて表示し、
   前記動作量情報に応じて前記パノラマ画像の表示範囲を移動して前記ディスプレイに表示する、
   ことを特徴とする撮影画像転送表示システム。
9. 請求項７に記載の撮影画像転送表示システムであって、
   前記情報処理装置は、前記表示画面と同じ面に備えられたインカメラを更に備え、
   前記第１プロセッサは、前記インカメラに更に接続され、
   前記画像表示装置は、前記ユーザの頭に装着した状態で前記ディスプレイが前記ユーザの目の前に位置するヘッドマウントディスプレイであり、
   前記ヘッドマウントディスプレイは、外界を撮影するアウトカメラを更に備え、
   前記第２プロセッサは、前記アウトカメラに接続され、
   前記第１プロセッサは、
   前記インカメラが起動し、当該インカメラが撮影画像を生成し始めると、前記ユーザの視線先が前記表示画面にあるか否かを問わず、前記撮影画像を前記ヘッドマウントディスプレイに転送し、
   前記第２プロセッサは、
   前記アウトカメラの撮影画像に対して物体検出処理を実行し、前記インカメラの位置を検出し、
   前記情報処理装置から転送された撮影画像に対して顔認識処理及び目検出処理を実行し、前記撮影画像に映った前記ユーザの目の領域を検出し、
   前記ユーザが前記ディスプレイを透過して前記インカメラを視認する位置に、前記撮影画像の前記目の領域を重ねて前記情報処理装置から転送された前記撮影画像を前記ディスプレイに表示する、
   ことを特徴とする撮影画像転送表示システム。
10. カメラを搭載した情報処理装置と、前記情報処理装置から受信した前記カメラが撮影した撮影画像を表示する画像表示装置と、を通信接続して実行される撮影画像転送表示方法であって、
    前記カメラが撮影中において、撮影画像および画像記録の指示を入力するシャッターボタンを前記情報処理装置に備えられた表示画面に表示するステップと、
    前記カメラが撮影中において、前記情報処理装置のユーザの視線先が前記情報処理装置に備えられた表示画面にあるか否かを前記情報処理装置が判断するステップと、
    前記情報処理装置が前記ユーザの視線先が前記表示画面にないと判断すると、前記表示画面に表示された前記撮影画像を他の画像表示装置に転送すると共に、前記他の画像表示装置に対して前記転送された撮影画像の表示を行わせる表示開始信号を送信するステップと、
    前記画像表示装置が前記撮影画像及び前記表示開始信号を受信するステップと、
    前記画像表示装置が前記表示開始信号に応じて前記撮影画像を前記画像表示装置に備えられたディスプレイに表示するステップと、
    前記情報処理装置が前記撮影画像を前記画像表示装置に転送している間は、前記情報処理装置において前記撮影画像および前記シャッターボタンの表示を停止するステップと、
    を含むことを特徴とする撮影画像転送表示方法。

Images