JP2014106924A - 端末装置、制御方法及びコンピュータプログラム - Google Patents

Abstract

【課題】表示面に対する角度に応じて複数の異なる表示が可能な装置において、ポインティングデバイスを用いた操作が行われた際に、どの表示に対する操作であるのか判断すること。
【解決手段】表示面に対する角度に応じて複数の異なる表示を行う表示部と、ポインティングデバイスによる操作を受け付ける入力部と、を備える端末装置が、入力部において、操作領域において操作位置に応じた処理が必要となる何らかの操作がなされた場合に、複数の異なる表示の中から操作が行われた対象の表示である操作対象表示を判定し、操作対象表示において、操作結果を反映させる。
【選択図】図２

Description

本発明は、表示面に対する角度に応じて複数の異なる表示が可能な装置におけるポインティングデバイスの制御技術に関する。

近年、裸眼立体ディスプレイが急速に普及している。裸眼立体ディスプレイの実装方式として、例えばパララックスバリア方式、レンチキュラレンズ方式などが提案されている。これらの方式の基本原理は、左右両眼に異なる画像を見せることで両眼視差を作り出し、立体として知覚させるものである。この左右両眼に異なる画像を提示する機能を利用して、視点によって異なる映像を提示する多指向ディスプレイも提案されている（非特許文献１参照）。

多指向ディスプレイは、主にパブリックビュー、カーナビゲーションシステムなどにおいて、視点位置に応じた映像を提示する用途で用いられてきた。近年では、多指向ディスプレイをスマートフォン、タブレットＰＣ（Personal Computer）、据え置き型ＰＣなどの端末装置に適用することも検討されている。このような端末装置は、仮想的に複数のディスプレイを持つ端末装置（仮想マルチディスプレイ端末装置）として利用可能である。そのため、例えば一台の端末装置で複数のユーザそれぞれに対し異なる表示を提示することが可能となる。

Shiro Ozawa, Satoshi Mieda, Yasuhiro Yao, Tohru Kawakami, Senshi Nasu, Takahiro Ishinabe, Mitsuru Kano, Mutsumi Sasai, Yoshito Suzuki, Tatsuo Uchida, "Late-News Paper: Human Representation System: A Multi-View Display Using a QDA Screen with Multiple Cameras," SID(the Society for Information Display) Symposium Digest of Technical Papers, Volume 43, Issue 1, 75.1L, pages 1009-1012, June 2012.

しかしながら、仮想マルチディスプレイ端末装置では、ポインティングデバイス（マウス、タッチスクリーン等）を用いて操作がなされた際に、複数存在する表示のうち、どの表示において行われた操作であるのか判断することが困難となる。

上記事情に鑑み、本発明は、表示面に対する角度に応じて複数の異なる表示が可能な装置において、ポインティングデバイスを用いた操作が行われた際に、どの表示に対する操作であるのか判断可能な技術の提供を目的としている。

本発明の一態様は、表示面に対する角度に応じて複数の異なる表示を行う表示部と、ポインティングデバイスによる操作を受け付ける入力部と、前記入力部において、操作領域において操作位置に応じた処理が必要となる何らかの操作がなされた場合に、前記複数の異なる表示の中から前記操作が行われた対象の表示である操作対象表示を判定し、前記操作対象表示において、前記操作の結果を反映させる制御部と、を備える端末装置である。

本発明の一態様は、上記の端末装置であって、前記操作領域を、前記複数の異なる表示間で重複した位置に表示されないように制御する操作領域制御部をさらに備え、前記制御部は、前記操作領域のうち前記操作がなされた位置を含む操作領域に対応する表示を前記操作対象表示として判定する。

本発明の一態様は、上記の端末装置であって、前記操作対象表示を指示するための操作がなされる領域である初期操作領域を、前記複数の異なる表示間で重複した位置に表示されないように制御する操作領域制御部をさらに備え、前記制御部は、前記初期操作領域のうち前記操作がなされた位置を含む初期操作領域に対応する表示を前記操作対象表示として判定する。

本発明の一態様は、上記の端末装置であって、前記入力部に対して操作を行うユーザを撮影した画像を入力する画像入力部と、前記画像入力部によって入力された画像において前記ユーザの顔を検出し、前記表示部の画面とユーザの顔との相対的な位置関係を算出する顔検出部と、をさらに備え、前記制御部は、前記顔検出部によって算出された位置関係に基づいて、前記操作対象表示を判定する。

本発明の一態様は、表示面に対する角度に応じて複数の異なる表示を行う表示部と、ポインティングデバイスによる操作を受け付ける入力部と、を備える端末装置が行う制御方法であって、前記入力部において、操作領域において操作位置に応じた処理が必要となる何らかの操作がなされた場合に、前記複数の異なる表示の中から前記操作が行われた対象の表示である操作対象表示を判定するステップと、前記操作対象表示において、前記操作の結果を反映させるステップと、を有する制御方法である。

本発明の一態様は、上記の端末装置としてコンピュータを機能させるためのコンピュータプログラムである。

本発明により、表示面に対する角度に応じて複数の異なる表示が可能な装置において、ポインティングデバイスを用いた操作が行われた際に、どの表示に対する操作であるのか判断することが可能となる。

本発明の一実施形態である端末装置１００の特徴を示す概略図である。 端末装置１００の第一実施形態（端末装置１００ａ）の機能構成を表す概略ブロック図である。 操作領域テーブルの具体例を示す概略図である。 第一実施形態の端末装置１００ａにおける表示の具体例を示す概略図である。 端末装置１００の第二実施形態（端末装置１００ｂ）の機能構成を表す概略ブロック図である。 初期操作領域テーブルの具体例を示す概略図である。 第二実施形態の端末装置１００ｂにおける表示の具体例を示す概略図である。 端末装置１００の第三実施形態（端末装置１００ｃ）の機能構成を表す概略ブロック図である。 第三実施形態の端末装置１００ｃにおける表示の具体例を示す概略図である。

図１は、本発明の一実施形態である端末装置１００の特徴を示す概略図である。端末装置１００は、ポインティングデバイスを用いた操作を受け付ける。端末装置１００の画面は、表示面に対する角度に応じて複数の異なる表示を行う事が可能である。例えば、表示面に対して異なる角度から複数のユーザが画面を見ている場合には、端末装置１００は複数のユーザに対して異なる表示を提示することが可能である。図１に示される例では、それぞれ異なる角度から画面を見ている４人のユーザ２０（２０−１〜２０−４）に対し、端末装置１００の画面は異なる表示を提示している。即ち、ユーザ２０−１が見ている画面の表示と、ユーザ２０−２が見ている画面の表示と、ユーザ２０−３が見ている画面の表示と、ユーザ２０−４が見ている画面の表示とはそれぞれ異なる。以下、端末装置１００が図１のような状態で複数のユーザによって目視されており、各ユーザが一つの表示に対して操作を行っている場合を例に説明する。ただし、このような状態は、端末装置１００の使用状態の一例にすぎない。例えば、端末装置１００は一人のユーザによって複数の表示に対する操作が行われても良いし、複数のユーザそれぞれに複数の表示（例えば２人のユーザそれぞれに２つずつの表示）がなされても良い。

このような端末装置１００の画面は、例えば裸眼立体ディスプレイ装置を用いることによって実現できる。裸眼立体ディスプレイをの実装方式として、例えばパララックスバリア方式、レンチキュラレンズ方式などが提案されている。これらの方式の基本原理は、左右両眼に異なる画像を見せることで両眼視差を作り出し、立体として知覚させるものである。

端末装置１００は、上述した裸眼立体ディスプレイ装置を備えた情報処理装置であり、例えばスマートフォン、パーソナルコンピュータ、タブレットＰＣ、ゲーム装置、テレビ受像機、家電製品、メインフレーム、ワークステーションなどの情報処理装置を用いて構成される。端末装置１００は、なんらかの装置の操作画面として構成されても良い。

端末装置１００は、いずれかのユーザ２０によってポインティングデバイスを用いた操作が行われた際に、いずれのユーザ２０によって行われた操作であるか判定する。以下、操作を行ったユーザ２０を「操作ユーザ」という。そして、端末装置１００は、操作ユーザに対して提示されている表示内容と操作がなされた位置（以下、「操作位置」という。）とに基づいて、操作内容を判断する。
端末装置１００には、その処理内容に応じて複数の実施形態がある。以下、３つの実施形態について説明する。

［第一実施形態］
図２は、端末装置１００の第一実施形態（端末装置１００ａ）の機能構成を表す概略ブロック図である。端末装置１００ａは、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備える。端末装置１００ａは、プログラムを実行することによって、入力部１１、表示部１２、操作領域制御部１３ａ、操作領域記憶部１４ａ及び制御部１５ａを備える装置として機能する。なお、端末装置１００ａの各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。端末装置１００ａが実行するプログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。

入力部１１は、ポインティングデバイス（マウス、トラックボール、タブレット、タッチパネル等）を用いて構成される。入力部１１に用いられるポインティングデバイスは、操作位置が判断可能な装置であれば適用可能であり、物理的な操作面を有する装置に限定される必要は無い。例えば、カメラ等によってユーザの指の位置を判定し、指の動きに応じて操作位置を判断する装置がポインティングデバイスとして用いられても良い。入力部１１は、ユーザの指示を端末装置１００ａに入力する際にユーザによって操作される。入力部１１は、入力装置を端末装置１００ａに接続するためのインタフェースであっても良い。この場合、入力部１１は、入力装置においてユーザの入力に応じ生成された入力信号を端末装置１００ａに入力する。

表示部１２は、複数のユーザに対して異なる表示を提示することが可能な画面を有した画像表示装置である。表示部１２は、例えば裸眼立体ディスプレイ装置を用いて構成される。表示部１２は、複数のユーザに対して異なる表示を提示可能であれば、その実現方法としてＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等が適用されても良い。表示部１２は、文字や画像を表示する。表示部１２は、画像表示装置を端末装置１００ａに接続するためのインタフェースであっても良い。この場合、表示部１２は、文字や画像を表示するための映像信号を生成し、自身に接続されている画像表示装置に映像信号を出力する。

操作領域制御部１３ａは、表示部１２に表示される操作領域の位置を決定し、操作領域テーブルを更新する。操作領域とは、表示部１２に表示される表示のうち、入力部１１のポインティングデバイスにおいて、操作位置に応じた処理が必要となる何らかの操作（以下、「位置依存操作」という。：例えば、クリック、タップ、フリック）がなされる領域である。例えば、操作領域上で位置依存操作がなされることによって、文字や数字の入力、ボタンの押下、などの命令がなされる。

操作領域記憶部１４ａは、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。操作領域記憶部１４ａは、操作領域テーブルを記憶する。
図３は、操作領域テーブルの具体例を示す概略図である。操作領域テーブルは、領域識別子、操作識別子及び領域情報の各値を有するレコード４１を複数有する。各レコード４１は、１つの操作領域を表す。領域識別子は、操作領域を一意に識別するための識別情報である。操作識別子は、その操作領域がどのユーザに対して提示されている操作領域であるかを表す。領域情報は、操作領域が表示される画面上の位置を表す。例えば、最も上に図示されているレコード４１は、ユーザ“Ｕ１”によって操作される操作領域であり、イメージ座標系において４点（ｘ１１，ｙ１１），（ｘ１２，ｙ１２），（ｘ１３，ｙ１３），（ｘ１４，ｙ１４）によって囲まれる矩形の領域を表す。

図２に戻って端末装置１００ａの説明を続ける。制御部１５ａは、端末装置１００ａ全体の制御を行う。制御部１５ａは、領域識別子毎に、その操作領域において位置依存操作がなされていた場合に入力される操作内容を記憶している。制御部１５ａは、操作領域記憶部１４ａによって記憶されている操作領域テーブルに基づいて、表示部１２に表示される画面を制御する。また、制御部１５ａは、入力部１１を介して位置依存操作がなされると、操作を行ったユーザ（操作ユーザ）を判定する。そして、制御部１５ａは、操作ユーザに提示されている画面の操作領域と、操作がなされた位置（操作位置）と、に応じた処理を行う。例えば、操作ユーザに提示されている画面において操作位置に存在する操作領域が電子メールの送信を命令するための操作領域である場合、制御部１５ａは、現時点で操作ユーザによって入力されていた内容で電子メールを送信する。

図４は、第一実施形態の端末装置１００ａにおける表示の具体例を示す概略図である。図４（Ａ）は、ユーザ“Ｕ１”に対して提示されている画面の具体例を示す。図４（Ｂ）は、ユーザ“Ｕ２”に対して提示されている画面の具体例を示す。

ユーザ“Ｕ１”に対して提示されている画面には、以下に示す３つの操作領域が示されている。新規の電子メールを作成する画面を表示させるためのボタンを表す操作領域５０−１。チャットを開始するための画面を表示させるためのボタンを表す操作領域５０−２。ホーム画面に戻るためのボタンを表す操作領域５０−３。

ユーザ“Ｕ２”に対して提示されている画面には、動画像を表示するための領域である動画表示領域６１が示されている。さらに、ユーザ“Ｕ２”に対して提示されている画面には、以下に示す２つの操作領域が示されている。動画像の再生を停止させるためのボタンを表す操作領域５０−４。動画像の再生を開始させるためのボタンを表す操作領域５０−５。

表示部１２は、制御部１５ａの制御に応じて、ユーザ“Ｕ１”の位置からは図４（Ａ）に示される画面が見えるように表示を行い、ユーザ“Ｕ２”の位置からは図４（Ｂ）に示される画面が見えるように表示を行う。５つの操作領域５０（５０−１〜５０−５）に関するレコード４１は、いずれも操作領域テーブルに登録されている。操作領域制御部１３ａは、各操作領域の位置が重複しないように操作領域を制御する。
以下、操作領域制御部１３ａの動作に関して複数の具体例を説明する。

［最適化アルゴリズム法］
操作領域制御部１３ａは、各操作領域の位置を、組み合わせ最適化問題のアルゴリズムを利用することによって決定しても良い。このようなアルゴリズムの具体例として、遺伝的アルゴリズムがある。遺伝的アルゴリズムは、進化のメカニズムに着想を得た最適化方法の一つである。遺伝的アルゴリズムでは、最適化対象の状態が遺伝子と呼ばれる数値列により表される。また、遺伝的アルゴリズムでは、遺伝子の適合度合いを評価するための評価関数が定義される。

例えば、画面に表示されるウィンドウの領域と、ウィンドウに内包される操作領域とについて、物理的な画面上でのそれぞれの座標を並べたものが遺伝子となる。そして、適合関数は、操作領域の離れ度合いとする。離れ度合いとは、各操作領域が離れている度合いを示す値であり、離れているほど高い値を有する。

まず、遺伝子１〜Ｎをランダムに初期化する。Ｎは予め定められた定数とする。次に、遺伝子１〜Ｎを予め定められた評価関数により評価する。評価結果を適合度と呼ぶ。例えば、操作領域間の距離の和を適合度とする。次に、適合度に応じて２つの遺伝子を選択し、交差を行う。交差には１点交差を用いるものとする。１点交差とは、遺伝子中のある１点の前後を交換する方法である。この処理を、遺伝子数がＮになるまで繰り返す。評価及び交差の処理を一定回数繰り返すことによって、操作領域の位置を決定することが可能となる。

［随時選択法］
操作領域制御部１３ａは以下のように動作しても良い。制御部１５ａは、画面に操作領域を新たに表示する必要が生じた場合には、操作領域制御部１３ａに対し操作領域生成要求を通知する。操作領域制御部１３ａは、制御部１５ａから操作領域生成指示を受けると、操作領域テーブルを参照し、全てのレコード４１の領域情報を取得する。操作領域制御部１３ａは、画面上の領域のうち、未だに操作領域が形成されていない領域を判定する。そして、操作領域制御部１３ａは、判定された領域において新たな操作領域を形成し、新たに形成された操作領域を表すレコード４１を操作領域テーブルに登録する。

［領域割り当て法］
操作領域制御部１３ａは以下のように動作しても良い。操作領域制御部１３ａは、各ユーザに対して割り当てられる領域を予め決定する。この領域の決定は、予め端末装置１００ａに対して設計者や操作者によって設定されていても良い。図４の例では、画面の上半分がユーザ“Ｕ１”に対して割り当てられた領域であり、画面の下半分がユーザ“Ｕ２”に対して割り当てられた領域である。制御部１５ａは、画面に操作領域を新たに表示する必要が生じた場合には、操作領域制御部１３ａに対し操作領域生成要求を通知する。操作領域制御部１３ａは、制御部１５ａから操作領域生成指示を受けると、操作領域テーブルを参照し、操作ユーザに関するレコード４１の領域情報を取得する。すなわち、操作領域制御部１３ａは、レコード４１のうち、操作識別子が操作ユーザに該当するレコード４１を取得する。操作領域制御部１３ａは、操作ユーザに対して予め割り当てられている画面上の領域のうち、未だに操作領域が形成されていない領域を判定する。そして、操作領域制御部１３ａは、判定された領域において新たな操作領域を形成し、新たに形成された操作領域を表すレコード４１を操作領域テーブルに登録する。
以上で操作領域制御部１３ａの処理の説明を終える。次に、制御部１５ａの処理について説明する。

入力部１１を介して位置依存操作がなされると、制御部１５ａは、操作位置の座標を取得する。制御部１５ａは、操作領域テーブルの各レコード４１の領域情報を参照し、操作位置の座標を包含する領域情報を判定する。制御部１５ａは、判定された領域情報を有するレコード４１を取得する。制御部１５ａは、取得したレコード４１の操作識別子を参照し、どのユーザによってなされたどのような操作であるか判定する。すなわち、制御部１５ａは、取得したレコード４１の操作識別子の値によって表されるユーザが操作ユーザであると判定し、取得したレコード４１の領域識別子の値によって表される操作内容が入力されたと判定する。そして、制御部１５ａは、操作ユーザに対して提示している画面において、操作内容を反映させた表示を行う。

例えば、図４（Ａ）の操作領域５０−１内において位置依存操作がなされた場合、制御部１５ａは、その操作位置に応じて、位置依存操作がユーザ“Ｕ１”による操作であると判定する。そして、制御部１５ａは、ユーザ“Ｕ１”に対して提示している画面において、新規の電子メールを作成するための画面を表示する。

例えば、図４（Ｂ）の操作領域５０−５内において位置依存操作がなされた場合、制御部１５ａは、その操作位置に応じて、位置依存操作がユーザ“Ｕ２”による操作であると判定する。そして、制御部１５ａは、ユーザ“Ｕ２”に対して提示している画面において、再生の準備がなされている動画像の再生を開始する。

このように構成された第一実施形態の端末装置１００ａによれば、制御部１５ａは、位置依存操作がなされた位置（操作位置）に応じて、操作ユーザを判定することができる。そのため、複数のユーザに対して異なる表示が可能な装置において、ポインティングデバイスを用いた操作が行われた際に、どのユーザによる操作であるのか判断することが可能となる。

＜変形例＞
上述したように、端末装置１００は一人のユーザによって複数の表示に対する操作が行われても良い。端末装置１００を操作するユーザの人数にかかわらず、上述した操作ユーザを判定する処理は、複数の異なる表示の中から操作が行われた対象の表示（以下、「操作対象表示」という。）を判定する処理と同義である。そのため、制御部１５ａは、操作領域を、複数の異なる表示間で重複した位置に表示されないように制御する。

［第二実施形態］
図５は、端末装置１００の第二実施形態（端末装置１００ｂ）の機能構成を表す概略ブロック図である。端末装置１００ｂは、バスで接続されたＣＰＵやメモリや補助記憶装置などを備える。端末装置１００ｂは、プログラムを実行することによって、入力部１１、表示部１２、操作領域制御部１３ｂ、操作領域記憶部１４ｂ及び制御部１５ｂを備える装置として機能する。なお、端末装置１００ｂの各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されても良い。端末装置１００ｂが実行するプログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。

端末装置１００ｂが備える入力部１１及び表示部１２は、第一実施形態の端末装置１００ａが備える入力部１１及び表示部１２と同じ構成である。そのため説明を省略する。
操作領域制御部１３ｂは、表示部１２に表示される初期操作領域及び操作領域の位置を決定し、初期操作領域テーブル及び操作領域テーブルを更新する。初期操作領域とは、表示部１２に表示される表示のうち、操作ユーザを指示するための位置依存操作がなされる領域である。

操作領域記憶部１４ｂは、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。操作領域記憶部１４ｂは、初期操作領域テーブル及び操作領域テーブルを記憶する。

図６は、初期操作領域テーブルの具体例を示す概略図である。初期操作領域テーブルは、初期領域識別子、操作識別子及び領域情報の各値を有するレコード４２を複数有する。各レコード４２は、１つの初期操作領域を表す。初期領域識別子は、初期操作領域を一意に識別するための識別情報である。操作識別子は、その初期操作領域がどのユーザに対して提示されている初期操作領域であるかを表す。領域情報は、初期操作領域が表示される画面上の位置を表す。例えば、最も上に図示されているレコード４２は、ユーザ“Ｕ１”に対して提示される初期操作領域であり、イメージ座標系において４点（ｘ１０１，ｙ１０１），（ｘ１０２，ｙ１０２），（ｘ１０３，ｙ１０３），（ｘ１０４，ｙ１０４）によって囲まれる矩形の領域を表す。

図５に戻って端末装置１００ｂの説明を続ける。制御部１５ｂは、端末装置１００ｂ全体の制御を行う。制御部１５ｂは、領域識別子毎に、その操作領域において位置依存操作がなされていた場合に入力される操作内容を記憶している。制御部１５ｂは、例えば操作領域記憶部１４ｂによって記憶されている初期操作領域テーブル及び操作領域テーブルに基づいて、表示部１２に表示される画面を制御する。また、制御部１５ｂは、入力部１１を介して位置依存操作がなされると、初期操作領域テーブルに基づいて、操作を行ったユーザ（操作ユーザ）を判定する。そして、制御部１５ｂは、操作ユーザに提示されている画面の操作領域と、初期操作領域に続いて位置依存操作がなされた位置（操作位置）と、に応じた処理を行う。例えば、操作ユーザに提示されている画面において操作位置に存在する操作領域が電子メールの送信を命令するための操作領域である場合、制御部１５ｂは、現時点で操作ユーザによって入力されていた内容で電子メールを送信する。

図７は、第二実施形態の端末装置１００ｂにおける表示の具体例を示す概略図である。図７（Ａ）は、ユーザ“Ｕ１”に対して提示されている画面の具体例を示す。図７（Ｂ）は、ユーザ“Ｕ２”に対して提示されている画面の具体例を示す。

ユーザ“Ｕ１”に対して提示されている画面には、動画像を表示するための領域である動画表示領域６１が示されている。さらに、ユーザ“Ｕ１”に対して提示されている画面には、以下に示す１つの初期操作領域と２つの操作領域とが示されている。操作ユーザがユーザ“Ｕ１”であることを指示するためのボタンを表す初期操作領域５１−１。動画像の再生を停止させるためのボタンを表す操作領域５０−１１。動画像の再生を開始させるためのボタンを表す操作領域５０−１２。

ユーザ“Ｕ２”に対して提示されている画面には、動画像を表示するための領域である動画表示領域６１が示されている。さらに、ユーザ“Ｕ２”に対して提示されている画面には、以下に示す１つの初期操作領域と２つの操作領域とが示されている。操作ユーザがユーザ“Ｕ２”であることを指示するためのボタンを表す初期操作領域５１−２。動画像の再生を停止させるためのボタンを表す操作領域５０−１３。動画像の再生を開始させるためのボタンを表す操作領域５０−１４。

表示部１２は、制御部１５ｂの制御に応じて、ユーザ“Ｕ１”の位置からは図７（Ａ）に示される画面が見えるように表示を行い、ユーザ“Ｕ２”の位置からは図７（Ｂ）に示される画面が見えるように表示を行う。２つの初期操作領域５１（５１−１及び５１−２）に関するレコード４２は、いずれも初期操作領域テーブルに登録されている。４つの操作領域５０（５０−１１〜５０−１４）に関するレコード４１は、いずれも操作領域テーブルに登録されている。操作領域制御部１３ｂは、各初期操作領域の位置が重複しないように初期操作領域を制御する。ただし、操作領域制御部１３ｂは、第一実施形態の操作領域制御部１３ａと異なり、操作領域に関しては重複するか否かに関わらず操作領域を制御する。

操作領域制御部１３ｂが初期操作領域を決定する処理に関しては、第一実施形態の操作領域制御部１３ａが操作領域を決定する際の処理と同様の処理が適用されても良い。また、操作領域制御部１３ｂは、予めユーザ毎に設定されている初期操作領域に応じて動作しても良い。この場合、必ずしも操作領域制御部１３ｂが初期操作領域を制御する必要は無く、単に予め設定された初期操作領域に関する情報が操作領域記憶部１４ｂに記憶されていても良い。
以上で操作領域制御部１３ｂの処理の説明を終える。次に、制御部１５ｂの処理について説明する。

入力部１１を介して位置依存操作がなされると、制御部１５ｂは、過去所定の期間の間に初期操作領域において位置依存操作がなされたか否か判定する。
過去所定の期間の間に初期操作領域において位置依存操作がなされていない場合、制御部１５ｂは以下のように動作する。

まず、制御部１５ｂは、操作位置の座標を取得する。制御部１５ｂは、初期操作領域テーブルの各レコード４２の領域情報を参照し、操作位置の座標を包含する初期領域情報を判定する。制御部１５ｂは、判定された領域情報を有するレコード４２を取得する。制御部１５ｂは、取得したレコード４２の操作識別子を参照し、どのユーザによってなされた操作であるか判定する。すなわち、制御部１５ｂは、取得したレコード４２の操作識別子の値によって表されるユーザが操作ユーザであると判定する。そして、制御部１５ｂは、その後所定の期間の間になされた操作については、直前に判定された操作ユーザによって行われた操作であると判定する。

一方、過去所定の期間の間に初期操作領域において位置依存操作がなされていた場合、制御部１５ｂは以下のように動作する。
まず、制御部１５ｂは、操作位置の座標を取得する。制御部１５ｂは、操作領域テーブルの各レコード４１のうち、直前に判定された操作ユーザに該当する操作識別子の値を有するレコード４１を判定する。制御部１５ｂは、判定したレコード４１の領域情報を参照し、操作位置の座標を包含する領域情報を判定する。制御部１５ｂは、判定された領域情報を有するレコード４１を取得する。制御部１５ｂは、領域識別子に応じて、その操作領域に対応付けられている操作内容を判定する。そして、制御部１５ｂは、操作ユーザに対して提示している画面において、操作内容を反映させた表示を行う。

例えば、図７（Ａ）の初期操作領域５１−１内において位置依存操作がなされた場合、制御部１５ｂは、その後の所定期間はユーザ“Ｕ１”によって操作がなされていると判定する。この期間中に操作領域５０−１２内において位置依存操作がなされた場合、制御部１５ｂは、ユーザ“Ｕ１”に対して提示している画面において、再生の準備がなされている動画像の再生を開始する。

例えば、図７（Ｂ）の初期操作領域５１−２内において位置依存操作がなされた場合、制御部１５ｂは、その後の所定期間はユーザ“Ｕ２”によって操作がなされていると判定する。この期間中に操作領域５０−１４内において位置依存操作がなされた場合、制御部１５ｂは、ユーザ“Ｕ２”に対して提示している画面において、再生の準備がなされている動画像の再生を開始する。

このように構成された第二実施形態の端末装置１００ｂによれば、制御部１５ｂは、位置依存操作がなされた位置（操作位置）が初期操作領域内である場合、その後の所定期間の操作に関する操作ユーザを判定することができる。そのため、複数のユーザに対して異なる表示が可能な装置において、ポインティングデバイスを用いた操作が行われた際に、どのユーザによる操作であるのか判断することが可能となる。

また、第二実施形態の端末装置１００ｂによれば、操作領域５０が重複して配置されても良い。例えば、図７（Ａ）と図７（Ｂ）とでは、操作領域５０−１１及び５０−１３が重複して配置されている。また、操作領域５０−１２及び５０−１４も重複して配置されている。そのため、操作領域５０の配置の自由度を高める事が可能となる。

＜変形例＞
端末装置１００ｂは、ジャイロセンサをさらに備えるように構成されても良い。この場合、制御部１５ｂは、初期操作領域５１において位置依存操作がなされていた際に、判定結果（操作ユーザ）とジャイロセンサの出力値とを対応付けて記憶する。その後、制御部１５ｂは、初期操作領域５１において位置依存操作がなされた後に所定期間が経過したか否かに関わらず、操作領域５０において位置依存操作がなされた場合には、ジャイロセンサの出力値に基づいて操作ユーザを判定する。

このように構成された第二実施形態の端末装置１００ｂによれば、一度初期操作領域５１において位置依存操作がなされた後は、初期操作領域５１に対して位置依存操作を行うことなくスムーズに操作を行う事が可能となる。

上述したように、端末装置１００は一人のユーザによって複数の表示に対する操作が行われても良い。端末装置１００を操作するユーザの人数にかかわらず、上述した操作ユーザを判定する処理は、複数の異なる表示の中から操作対象表示を判定する処理と同義である。そのため、制御部１５ｂは、操作対象表示を指示するための操作がなされる領域である初期操作領域を、複数の異なる表示間で重複した位置に表示されないように制御する。

［第三実施形態］
図８は、端末装置１００の第三実施形態（端末装置１００ｃ）の機能構成を表す概略ブロック図である。端末装置１００ｃは、バスで接続されたＣＰＵやメモリや補助記憶装置などを備える。端末装置１００ｃは、プログラムを実行することによって、入力部１１、表示部１２、操作領域制御部１３ｃ、操作領域記憶部１４ｃ、制御部１５ｃ、画像入力部１６及び顔検出部１７を備える装置として機能する。なお、端末装置１００ｃの各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されても良い。端末装置１００ｃが実行するプログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。

端末装置１００ｃが備える入力部１１及び表示部１２は、第一実施形態の端末装置１００ａが備える入力部１１及び表示部１２と同じ構成である。そのため説明を省略する。
操作領域制御部１３ｃは、表示部１２に表示される操作領域の位置を決定し、操作領域テーブルを更新する。操作領域制御部１３ｃは、重複するか否かを判定することなく操作領域の位置を決定可能である。この点で、操作領域制御部１３ｃと操作領域制御部１３ａとは異なる。

操作領域記憶部１４ｃは、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。操作領域記憶部１４ｃは、操作領域テーブルを記憶する。操作領域記憶部１４ｃが記憶する操作領域テーブルでは、異なるレコード４１の領域情報において、その領域の一部又は全部が重複しても良い。

制御部１５ｃは、端末装置１００ｃ全体の制御を行う。制御部１５ｃは、領域識別子毎に、その操作領域において位置依存操作がなされていた場合に入力される操作内容を記憶している。制御部１５ｃは、操作領域記憶部１４ｃによって記憶されている操作領域テーブルに基づいて、表示部１２に表示される画面を制御する。また、制御部１５ｃは、入力部１１を介して位置依存操作がなされると、顔検出部１７の検出結果に基づいて、操作を行ったユーザ（操作ユーザ）を判定する。そして、制御部１５ｃは、操作ユーザに提示されている画面の操作領域と、操作がなされた位置（操作位置）と、に応じた処理を行う。例えば、操作ユーザに提示されている画面において操作位置に存在する操作領域が電子メールの送信を命令するための操作領域である場合、制御部１５ｃは、現時点で操作ユーザによって入力されていた内容で電子メールを送信する。

画像入力部１６は、端末装置１００ｃに対して入力される画像のデータを受け付ける。画像入力部１６は、外部に設置されたスチルカメラやビデオカメラによって撮像された画像を、カメラから受信しても良い。また、端末装置１００ｃがスチルカメラやビデオカメラを備えている場合は、画像入力部１６は撮像された画像又は撮像前の画像をバスから受信しても良い。画像入力部１６は、端末装置１００のユーザの画像データの入力を受けることが可能な構成であれば、さらに異なる態様で構成されても良い。画像入力部１６によって入力が受け付けられた画像を「入力画像」という。

顔検出部１７は、入力画像において顔の検出を行う。顔検出部１７には、例えばＯｐｅｎＣＶライブラリで提供されている顔検出アルゴリズムが適用されても良い。顔検出部１７は、顔検出処理によって、入力画像上の顔の位置及びサイズを取得する。次に、顔検出部１７は、検出されたサイズに基づいて、撮影装置から顔までの距離を推定する。この推定処理は、例えば平均顔として予め設定されているサイズとの比較に基づいて行われても良い。また、予め定められた距離（例えば撮影装置から１ｍ）でユーザの顔を撮像しておくことによって推定処理が行われても良い。次に、顔検出部１７は、顔の位置及び距離に基づいて、画面とユーザの顔との相対的な位置関係（例えば角度）を算出する。顔検出部１７は、算出結果を制御部１５ｃに出力する。
なお、制御部１５ｃは、顔検出部１７によって算出された相対的な位置関係に応じて、操作ユーザを判定する。

図９は、第三実施形態の端末装置１００ｃにおける表示の具体例を示す概略図である。図９（Ａ）は、ユーザ“Ｕ１”に対して提示されている画面の具体例を示す。図９（Ｂ）は、ユーザ“Ｕ２”に対して提示されている画面の具体例を示す。

ユーザ“Ｕ１”に対して提示されている画面には、動画像を表示するための領域である動画表示領域６１が示されている。さらに、ユーザ“Ｕ１”に対して提示されている画面には、以下に示す２つの操作領域が示されている。動画像の再生を停止させるためのボタンを表す操作領域５０−１１。動画像の再生を開始させるためのボタンを表す操作領域５０−１２。

ユーザ“Ｕ２”に対して提示されている画面には、動画像を表示するための領域である動画表示領域６１が示されている。さらに、ユーザ“Ｕ２”に対して提示されている画面には、以下に示す２つの操作領域が示されている。動画像の再生を停止させるためのボタンを表す操作領域５０−１３。動画像の再生を開始させるためのボタンを表す操作領域５０−１４。

表示部１２は、制御部１５ｃの制御に応じて、ユーザ“Ｕ１”の位置からは図９（Ａ）に示される画面が見えるように表示を行い、ユーザ“Ｕ２”の位置からは図９（Ｂ）に示される画面が見えるように表示を行う。４つの操作領域５０（５０−１１〜５０−１４）に関するレコード４１は、いずれも操作領域テーブルに登録されている。

入力部１１を介して位置依存操作がなされると、顔検出部１７は、画面とユーザの顔との相対的な位置関係を算出する。顔検出部１７は、算出結果を制御部１５ｃに出力する。制御部１５ｃは、画面とユーザの顔との相対的な位置関係に基づいて、操作ユーザを判定する。例えば、制御部１５ｃは、顔検出部１７によって算出された角度の方向から見えている表示に対応するユーザを、操作ユーザとして判定する。次に、制御部１５ｃは、操作位置の座標を取得する。制御部１５ｃは、操作領域テーブルの各レコード４１のうち、操作ユーザに該当する操作識別子の値を有するレコード４１を判定する。制御部１５ｃは、判定したレコード４１の領域情報を参照し、操作位置の座標を包含する領域情報を判定する。制御部１５ｃは、判定された領域情報を有するレコード４１を取得する。制御部１５ｃは、領域識別子に応じて、その操作領域に対応付けられている操作内容を判定する。そして、制御部１５ｃは、操作ユーザに対して提示している画面において、操作内容を反映させた表示を行う。

例えば、図９（Ａ）の画面が提示されている方向に位置するユーザ（ユーザ“Ｕ１”）が操作ユーザであると判定された場合、制御部１５ｃは、ユーザ“Ｕ１”に対して提示している画面において、再生や停止の処理を行う。

例えば、図９（Ｂ）の画面が提示されている方向に位置するのユーザ（ユーザ“Ｕ２”）が操作ユーザであると判定された場合、制御部１５ｃは、ユーザ“Ｕ２”に対して提示している画面において、再生や停止の処理を行う。

このように構成された第三実施形態の端末装置１００ｃによれば、制御部１５ｃは、顔検出部１７の算出結果に基づいて操作ユーザを判定することができる。そのため、複数のユーザに対して異なる表示が可能な装置において、ポインティングデバイスを用いた操作が行われた際に、どのユーザによる操作であるのか判断することが可能となる。

また、第三実施形態の端末装置１００ｃによれば、操作領域５０が重複して配置されても良い。そのため、操作領域５０の配置の自由度を高める事が可能となる。
また、第三実施形態の端末装置１００ｃによれば、第二実施形態の端末装置１００ｂとは異なり、初期操作領域を配置する必要が無い。そのため、例えば、図９からも明らかなように、画面をより広く使用することが可能となる。例えば図７と図９とを比較すると、初期操作領域５１を表示する必要が無い分、動画表示領域６１をより広く表示することが可能となっている。

＜変形例＞
端末装置１００ｃは、ジャイロセンサをさらに備えるように構成されても良い。この場合、制御部１５ｃは、顔検出部１７によって算出結果が出力された際に、判定結果（操作ユーザ）とジャイロセンサの出力値とを対応付けて記憶する。その後、制御部１５ｃは、顔検出部１７による算出結果に関わらず、操作領域５０において位置依存操作がなされた場合には、ジャイロセンサの出力値に基づいて操作ユーザを判定する。

このように構成された第三実施形態の端末装置１００ｃによれば、一度顔検出部１７において顔検出処理がなされた後は、顔検出処理を行うことなくスムーズに操作を行う事が可能となる。

上述したように、端末装置１００は一人のユーザによって複数の表示に対する操作が行われても良い。端末装置１００を操作するユーザの人数にかかわらず、上述した操作ユーザを判定する処理は、複数の異なる表示の中から操作対象表示を判定する処理と同義である。そのため、制御部１５ｃは、顔検出部によって算出された位置関係に基づいて、操作対象表示を判定する。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１００（１００ａ，１００ｂ，１００ｃ）…端末装置， １１…入力部， １２…表示部， １３ａ，１３ｂ，１３ｃ…操作領域制御部， １４ａ，１４ｂ，１４ｃ…操作領域記憶部， １５ａ，１５ｂ，１５ｃ…制御部， １６…画像入力部， １７…顔検出部， ５０−１〜５０−５，５０−１１〜５０−１４…操作領域， ５１−１，５１−２…初期操作領域， ６１…動画表示領域

Claims (6)

1. 表示面に対する角度に応じて複数の異なる表示を行う表示部と、
   ポインティングデバイスによる操作を受け付ける入力部と、
   前記入力部において、操作領域において操作位置に応じた処理が必要となる何らかの操作がなされた場合に、前記複数の異なる表示の中から前記操作が行われた対象の表示である操作対象表示を判定し、前記操作対象表示において、前記操作の結果を反映させる制御部と、
   を備える端末装置。
2. 前記操作領域を、前記複数の異なる表示間で重複した位置に表示されないように制御する操作領域制御部をさらに備え、
   前記制御部は、前記操作領域のうち前記操作がなされた位置を含む操作領域に対応する表示を前記操作対象表示として判定する、請求項１に記載の端末装置。
3. 前記操作対象表示を指示するための操作がなされる領域である初期操作領域を、前記複数の異なる表示間で重複した位置に表示されないように制御する操作領域制御部をさらに備え、
   前記制御部は、前記初期操作領域のうち前記操作がなされた位置を含む初期操作領域に対応する表示を前記操作対象表示として判定する、請求項１に記載の端末装置。
4. 前記入力部に対して操作を行うユーザを撮影した画像を入力する画像入力部と、
   前記画像入力部によって入力された画像において前記ユーザの顔を検出し、前記表示部の画面とユーザの顔との相対的な位置関係を算出する顔検出部と、をさらに備え、
   前記制御部は、前記顔検出部によって算出された位置関係に基づいて、前記操作対象表示を判定する、請求項１に記載の端末装置。
5. 表示面に対する角度に応じて複数の異なる表示を行う表示部と、ポインティングデバイスによる操作を受け付ける入力部と、を備える端末装置が行う制御方法であって、
   前記入力部において、操作領域において操作位置に応じた処理が必要となる何らかの操作がなされた場合に、前記複数の異なる表示の中から前記操作が行われた対象の表示である操作対象表示を判定するステップと、
   前記操作対象表示において、前記操作の結果を反映させるステップと、
   を有する制御方法。
6. 請求項１から４のいずれか１項に記載の端末装置としてコンピュータを機能させるためのコンピュータプログラム。

Images