JP2012098705A - 画像表示装置 - Google Patents

画像表示装置 Download PDF

Info

Publication number
JP2012098705A
JP2012098705A JP2011200830A JP2011200830A JP2012098705A JP 2012098705 A JP2012098705 A JP 2012098705A JP 2011200830 A JP2011200830 A JP 2011200830A JP 2011200830 A JP2011200830 A JP 2011200830A JP 2012098705 A JP2012098705 A JP 2012098705A
Authority
JP
Japan
Prior art keywords
image
unit
image display
window
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011200830A
Other languages
English (en)
Other versions
JP5434997B2 (ja
Inventor
Hidenori Kuribayashi
英範 栗林
静二 ▲高▼野
Seiji Takano
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2011200830A priority Critical patent/JP5434997B2/ja
Priority to US13/251,760 priority patent/US20120098852A1/en
Priority to CN201110306348XA priority patent/CN102447865A/zh
Publication of JP2012098705A publication Critical patent/JP2012098705A/ja
Application granted granted Critical
Publication of JP5434997B2 publication Critical patent/JP5434997B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】ポイントした箇所の画像を明確にすることができる画像表示装置を提供する。
【解決手段】画像データに基づく画像を表示する画像表示部34と、前記画像表示部により表示された前記画像の一部を指示する指示部材の先端に対応する位置を検出する検出部38と、前記画像データから前記先端に対応する位置を含む所定の領域についての画像データを抽出する抽出部20と、前記抽出部により抽出された抽出画像データに基づく画像を表示するウィンドウを、前記画像表示部に表示させる制御部52とを備える。
【選択図】図2

Description

本発明は、画像表示装置に関するものである。
投影面上に操作アイコンを投影する投影装置が知られている(例えば、特許文献1参照)。この投影装置によれば、投影面に投影された操作アイコンを指で触れることにより操作を行うことができる。
特開2009−064109号公報
しかし、上述の投影装置においては、投影面上に手をかざした時に操作アイコンが手の影になり、指先でどこをポイントしたかが判らなくなる場合があった。
本発明の目的は、ポイントした箇所の画像を明確にすることができる画像表示装置を提供することである。
本発明の画像表示装置は、画像データに基づく画像を表示する画像表示部と、前記画像表示部により表示された前記画像の一部を指示する指示部材の先端に対応する位置を検出する検出部と、前記画像データから前記先端に対応する位置を含む所定の領域についての画像データを抽出する抽出部と、前記抽出部により抽出された抽出画像データに基づく画像を表示するウィンドウを、前記画像表示部に表示させる制御部とを備えることを特徴とする。
本発明の画像表示装置によれば、ポイントした箇所の画像を明確にすることができる。
第1の実施の形態に係るプロジェクタの投影状態及び撮影状態を示す斜視図である。 第1の実施の形態に係るプロジェクタの構成を示すブロック図である。 第1の実施の形態に係るプロジェクタにおける処理を示すフローチャートである。 第1の実施の形態に係るプロジェクタにより投影された投影画像上の抽出領域を示す図である。 第1の実施の形態に係るプロジェクタにより投影された投影画像上の抽出領域を示す図である。 第1の実施の形態に係るプロジェクタにより投影画像上に重畳して投影されたウィンドウを示す図である。 第1の実施の形態に係るプロジェクタにより投影画像上に重畳して投影されたウィンドウを示す図である。 第1の実施の形態に係るプロジェクタによりウィンドウ内に重畳して投影されたポインタを示す図である。 第1の実施の形態に係るプロジェクタにより投影される透過性を有するウィンドウを示す図である。 第1の実施の形態に係るプロジェクタにより投影される透過性を有するウィンドウを示す図である。 第1の実施の形態に係るプロジェクタにより投影画像上に重畳して投影されたウィンドウを示す図である。 第1の実施の形態に係るプロジェクタにより投影された投影画像の領域に対する指先の進入方向を示す図である。 第1の実施の形態に係るプロジェクタにより投影画像上に重畳して投影されたウィンドウを示す図である。 第1の実施の形態に係るプロジェクタにより投影画像と異なる領域に投影されたウィンドウを示す図である。 第2の実施の形態に係るタブレット端末の操作状態を示す図である。 第2の実施の形態に係るタブレット端末の構成を示すブロック図である。 第2の実施の形態に係るタブレット端末における処理を示すフローチャートである。 第2の実施の形態に係るタブレット端末において推定した遮蔽領域を示す図である。 第2の実施の形態に係るタブレット端末において推定した遮蔽領域を示す図である。 第2の実施の形態に係るタブレット端末の表示部に表示されたウィンドウを示す図である。 第2の実施の形態に係るタブレット端末の表示部に表示されたウィンドウを示す図である。 第2の実施の形態に係るタブレット端末の表示部に表示されたウィンドウを示す図である。 第2の実施の形態に係るタブレット端末の表示部に表示されたウィンドウを示す図である。 第2の実施の形態に係るタブレット端末の表示部に表示されたウィンドウを示す図である。 第3の実施の形態に係るタブレット端末の操作状態を示す図である。 第3の実施の形態に係るタブレット端末における処理を示すフローチャートである。 第3の実施の形態に係るタブレット端末において推定した遮蔽領域を示す図である。 第4の実施の形態に係るタブレット端末の操作状態を示す図である。 第4の実施の形態に係るタブレット端末の構成を示すブロック図である。 第4の実施の形態に係るタブレット端末における処理を示すフローチャートである。 第4の実施の形態に係るタブレット端末の表示部に表示された画像を示す図である。 第5の実施の形態に係る小型端末を示す図である。 第5の実施の形態に係る小型端末の構成を示すブロック図である。 第5の実施の形態に係る小型端末における処理を示すフローチャートである。 第5の実施の形態に係る小型端末が縦向きに保持された状態を示す図である。 第5の実施の形態に係る小型端末が横向きに保持された状態を示す図である。 実施の形態に係るタブレット端末において持ち手が表示部に接触した状態を示す図である。 実施の形態に係るタブレット端末において持ち手が外枠部分に接触した状態を示す図である。 実施の形態に係るタブレット端末が右手を持ち手として保持され、左下がりに傾斜した状態を示す図である。 実施の形態に係るタブレット端末における撮影範囲を示す図である。 実施の形態に係るタブレット端末の操作状態を示す図である。 実施の形態に係るタブレット端末の操作状態を示す図である。
以下、図面を参照して第1の実施の形態に係る画像表示装置についてプロジェクタを例に説明する。図1は、第1の実施の形態に係るプロジェクタ2の投影状態及び撮影状態を示す斜視図である。プロジェクタ2は金属やプラスチックからなる筐体4を備え、筐体4は机6等の上面である載置面Gに載置される。また、筐体4の前面には、載置面Gに対して投影画像8の投影を行うための投影窓10、投影画像8の一部を指示する手12等の指示部材を撮影するための撮影窓14が設けられている。
図2は、第1の実施の形態に係るプロジェクタ2のシステム構成を示すブロック図である。プロジェクタ2は、CPU20を備え、CPU20には、図示しない電源スイッチ等を備える操作部22、被写体を撮影するためのCCD等により構成される撮像素子を有するカメラ24、カメラ24により撮影された画像の画像データを記憶する画像記憶部26、撮影、投影等に関する設定、制御を行うためのプログラムを格納するプログラム記憶部30、投影する画像の画像データを記憶するメモリカード32、画像記憶部26やメモリカード32に記憶された画像データに基づく画像を投影する投影部34、撮影された画像に手12の形状が含まれているか否かの判定を行う手認識部36、指先の直下の投影画像8上の位置及び手12の影になる投影画像8上の領域を検出する位置検出部38、手認識部36において判定した手12の形状から手12の指示する方向を検出する方向検出部40が接続されている。ここで、投影部34は、LED光源46の点灯及び消灯を行う電源制御部48、投影する画像を表示するLCOS50の表示制御を行う投影制御部52を備えている。
次に図3に示すフローチャートを参照して第1の実施の形態に係るプロジェクタ2における処理について説明する。まず、筐体4が載置面Gに載置され、電源スイッチがオンされると、CPU20は、投影部34に投影開始の指示を行い、メモリカード32から画像データを読み出して、投影制御部52により画像データに基づく画像をLCOS50に表示する。また、電源制御部48は、投影開始の指示によりLED光源46を点灯し、図1に示すように投影窓10から斜下方向に投影光を射出し、載置面G上に投影画像8を投影する(ステップS1)。
また、CPU20は、カメラ24により投影画像8を含む領域の撮影を開始する(ステップS2)。ここで、カメラ24による撮影は、動画撮影または、一定時間間隔での静止画撮影により行われ、カメラ24により撮影された画像の画像データは、画像記憶部26に記憶される。
次に、CPU20は、画像記憶部26から画像データを読み出し、手認識部36により、画像データに手12の形状が含まれているか否かの判定を行う(ステップS3)。ここで、手12の形状が含まれているか否かの判定は、画像データから手12の領域及び指先の位置をパターンマッチング等により検出することにより行う。
画像データに手12の形状が含まれていなかった場合(ステップS3:No)、CPU20は、ステップS3の操作を繰り返す。一方、画像データに手12の形状が含まれていた場合(ステップS3:Yes)、CPU20は、位置検出部38により、指先の直下の投影画像8上の位置、及び、手12の影の投影画像8上の領域を検出する(ステップS4)。
次に、CPU20は、投影画像8の画像データから、図4に示すように、指先の直下の位置を基準とする所定の領域60についての画像データを抽出し、抽出した画像データを画像記憶部26に記憶する(ステップS5)。ここで、所定の領域60の範囲は、手12の影の面積に対応して決定される。このため、CPU20は、手12の影の面積が小さい場合は、狭い範囲の領域60についての画像データを抽出し(図4参照)、手12の影の面積が大きい場合は、広い範囲の領域60についての画像データを抽出する(図5参照)。
次に、CPU20は、画像記憶部26から抽出した画像データを読み出し、投影部34に指示して、抽出した画像データに基づく画像を表示するウィンドウを手12が存在する側と反対側の手12の影にならない領域に投影する(ステップS6)。例えば、図4に示す位置に手12が存在する場合、図6に示すようにウィンドウ62を指先の直下の位置の左側の手12の影にならない領域に投影する。
ここで、ウィンドウ62のサイズは、画像データを抽出する領域60のサイズに対応して決定される。このため、投影部34は、画像データを抽出する領域60が狭い場合は、小さなサイズのウィンドウ62を投影し(図6参照)、画像データを抽出する領域60が広い場合は、大きなサイズのウィンドウ62を投影する(図7参照)。
なお、カメラ24による撮影は動画撮影等により行われるため、逐次指先の直下の位置が検出される。そして、指先の直下の位置を基準とする所定の領域60の画像を表示するウィンドウ62が投影部34により逐次投影される。このため、投影画像8上において手12の位置が移動すると、ウィンドウ62の投影領域も手12の位置に付随して移動する。
次に、CPU20は、画像データから指先が載置面Gに接しているか否かの判定を行う(ステップS7)。そして、指先が載置面Gに接していない場合(ステップS7:No)、CPU20は、ステップS4〜6の操作を繰り返す。一方、指先が載置面Gに接している場合(ステップS7:Yes)、CPU20は、方向検出部40により、手認識部36において判定した手12の形状から手12の指示方向を検出する(ステップS8)。
手12の指示方向を検出した場合、CPU20は、投影部34に指示して、図8に示すように、手12の指示方向に対応したポインタ64をウィンドウ62内に重畳して投影する(ステップS9)。
この第1の実施の形態に係るプロジェクタ2によれば、指先の直下の位置を基準とする所定の領域60に含まれる画像を表示するウィンドウ62を投影画像8上に重畳して投影することにより、手12でポイントした箇所の画像を明確にすることができる。また、ウィンドウ62内に手12の指示方向を示すポインタ64を重畳して投影することにより、手12でポイントした投影画像8上の位置を更に明確にすることができる。
なお、上述の第1の実施の形態に係るプロジェクタ2においては、ウィンドウ62内に、抽出した画像データに基づく画像のみを表示しているが、ウィンドウ62が透過性を有するようにしてもよい。この場合、ウィンドウ62のサイズに連動させて透過率を変更してもよい。これにより、ウィンドウ62を投影画像8に重畳して投影した場合であっても、操作者は、ウィンドウ62の下に隠れる部分の画像を認識することができる。また、図9に示すように、小さなサイズのウィンドウ62を表示する場合にはウィンドウ62の透過率を小さく設定し、図10に示すように、大きなサイズのウィンドウ62を表示する場合にはウィンドウ62の透過率を大きく設定するようにしてもよい。これにより、広い領域がウィンドウ62の下に隠れる場合であっても、操作者は投影画像8の全体を認識することができる。
また、上述の第1の実施の形態に係るプロジェクタ2においては、投影画像8において手12が存在する側と反対側の領域にウィンドウ62を投影しているが、例えば、図11に示すように、指先の直下の位置が投影画像8の縁部の近傍に位置し、手12と反対側にウィンドウ62を投影できるスペースがない場合は、手12が存在する側にウィンドウ62を投影してもよい。これにより、手12が投影画像8上のどこを指示していても適確にウィンドウ62を投影することができる。
また、上述の第1の実施の形態に係るプロジェクタ2において、図12に示すように、手11が進入した方向が投影方向に沿った方向Aと投影方向と交差する方向Bとの何れに属するかを判定する方向判定部を備え、進入した方向に対応してウィンドウ62を投影する位置を変更するようにしてもよい。例えば、手12が投影方向に沿った方向Aから進入した場合において、手12の領域が指先の直下の位置の右側に存在する場合は、左側の領域にウィンドウ62を投影する(図6参照)。また、手12が投影方向と交差する方向Bから進入した場合において、手12の領域が指先の直下の位置の上側に存在する場合は、下側の領域にウィンドウ62を表示するようにしてもよい(図13参照)。
また、上述の第1の実施の形態に係るプロジェクタ2においては、手認識部36において、画像データから手12の領域及び指先の位置を検出することにより画像データに手12の形状が含まれているか否かの判定を行っているが、指示棒等の領域及び先端位置を検出することにより画像データに指示棒等の形状が含まれているか否かの判定を行うようにしてもよい。これにより、手12以外の指示部材により投影画像8の一部が指示された場合であっても、指示部材の先端の直下の位置、及び、指示部材の影の領域を検出することができ、指示位置を含む所定の領域を表示するウィンドウ62を投影画像8上に投影することができる。
また、上述の第1の実施の形態に係るプロジェクタ2においては、ウィンドウ62を投影画像8上に重畳して投影する場合を例に説明しているが、ウィンドウ62を投影画像8と異なる領域に投影するようにしてもよい。例えば、プロジェクタ2が投影部34の他にウィンドウ62を投影する補助投影部を備え、図14に示すように、投影窓10に隣接する補助投影窓70を介して投影画像8と隣接する領域72にウィンドウ62を投影するようにしてもよい。これにより、手12でポイントした箇所の画像を更に明確にすることができる。また、ウィンドウ62内に手12の指示方向を示すポインタ64を重畳して投影することにより、手12でポイントした投影画像8上の位置を更に明確にすることができる。また、この場合において、ウィンドウ62のサイズを画像データを抽出する領域60のサイズに対応させてもよい。
また、図14では、ウィンドウ62を投影画像8と隣接する領域72に投影しているが、投影画像8とウィンドウ62を一つの領域内に並べて投影するようにしてもよい。例えば、一つの領域を2分割し、一方の側に投影画像8を投影し他方の側にウィンドウ62を投影するようにしてもよい。
また、上述の第1の実施の形態に係るプロジェクタ2においては、机6の載置面Gに投影画像8の投影を行っているが、投影画像は、壁や床など、他の平面に投影してもよい。また、球のような曲面体や移動物体などに投影してもよい。
また、上述の第1の実施の形態に係るプロジェクタ2においては、カメラ24により投影画像8を含む領域の撮影を行っているが、カメラ24に代えて距離画像センサによりレーザーを走査させてプロジェクタ2と投影画像8上を含む領域に位置する指示部材との間の測距を行い、距離画像データを取得してもよい。これにより、指先の直下の位置、及び、手12の影の領域を容易に検出することができ、指示位置を含む所定の領域を表示するウィンドウ62を投影画像8上に投影することができる。
次に、第2の実施の形態に係る画像表示装置について手持ち型のタブレット端末を例に説明する。図15は、第2の実施の形態に係るタブレット端末3の操作状態を示す図である。操作者は、持ち手76でタブレット端末3を支え、持ち手76でない方の手12で表示部78の表面をタッチすることによりタブレット端末3の操作を行う。
図16は、第2の実施の形態に係るタブレット端末3のシステム構成を示すブロック図である。タブレット端末3は、CPU80を備え、CPU80には、図示しない電源スイッチ等を備える操作部82、画像データに基づく画像を表示する表示部78の表示制御を行う表示制御部84、表示部78に接触した指の位置を検出するタッチパネル86、タッチされた位置を基準とする所定領域の画像データを一時的に記憶する画像記憶部87、表示部78の表示等に関する設定や制御を行うためのプログラムを格納するプログラム記憶部88、表示部78において表示する画像の画像データを記憶するメモリカード90、及び重力加速度を検出することによりタブレット端末3の傾斜角度を計測する加速度センサ91が接続されている。
次に図17に示すフローチャートを参照して第2の実施の形態に係るタブレット端末3における処理について説明する。まず、タブレット端末3が操作者の持ち手76により支えられ(図15参照)、電源スイッチがオンされると、CPU80は、加速度センサ91によりタブレット端末3の傾斜角度を計測し、傾斜角度に基づいてタブレット端末3が縦向きか横向きかを認識する。このため、図15に示すように、操作者が縦長に表示部78を見ることができるようにタブレット端末3を支えた場合、CPU80は、タブレット端末3が縦向きであると認識する。
次に、CPU80は、メモリカード90から表示部78に表示する初期画面の画像データを読み出して、画像データに基づく画像を表示部78に表示する(ステップS11)。次に、操作者が表示部78に手12を接触させると、CPU80は、タッチパネル86により、表示部78において手12の指が接触した位置(以下、接触位置という。)を検出する(ステップS12)。
次に、CPU80は、接触位置に基づいて遮蔽領域を推定する(ステップS13)。ここで、CPU80は、接触位置が表示部78の下側になるほど遮蔽領域の面積を小さく推定し、接触位置が表示部78の上側になるほど遮蔽領域の面積を大きく推定する。例えば、図18に示すように、表示部78の下側の縁部に近い位置がタッチされた場合、接触位置の周辺の狭い領域94を遮蔽領域と推定する。また、図19に示すように、表示部78の中央に近い位置がタッチされた場合、接触位置よりも下側の広い領域96を遮蔽領域と推定する。
ここで、接触位置が同じ場合でも、左手によって遮蔽される表示部78の領域と右手によって遮蔽される表示部78の領域とは異なるため、CPU80は、表示部78をタッチしていない側の手によって遮蔽される領域を含めて遮蔽領域を推定する。例えば、図19に示すように、操作者が右手で表示部78をタッチした場合には、左手で同じ位置をタッチした場合において遮蔽される領域を含めて遮蔽領域と推定する。同様に、操作者が左手で表示部78をタッチした場合には、右手で同じ位置をタッチした場合において遮蔽される領域を含めて遮蔽領域と推定する。
次に、CPU80は、表示部78に表示された画像の画像データから、接触位置を基準とする所定領域についての画像データを抽出し、抽出した画像データを画像記憶部87に記憶する(ステップS14)。ここで、所定領域の面積は、遮蔽領域の面積に対応して決定される。このため、CPU80は、図18に示すように、遮蔽領域の面積が小さい場合は、狭い範囲の領域98についての画像データを抽出し、図19に示すように、遮蔽領域の面積が大きい場合は、広い範囲の領域99についての画像データを抽出する。
次に、CPU80は、画像記憶部87から抽出した画像データを読み出し、抽出した画像データに基づく画像を表示するウィンドウを表示部78の手12によって遮蔽されない領域(以下、非遮蔽領域という。)に表示する(ステップS15)。例えば、図20に示すように、表示部78の左下側の縁部に近い位置がタッチされた場合、接触位置の右上側の非遮蔽領域にウィンドウ100を表示する。また、図21に示すように、表示部78の中央下側の縁部に近い位置がタッチされた場合、接触位置の上側の非遮蔽領域にウィンドウ100を表示する。また、図22に示すように、表示部78の右下側の縁部に近い位置がタッチされた場合、接触位置の左上側の非遮蔽領域にウィンドウ100を表示する。
ここで、ウィンドウ100のサイズは、画像データを抽出する領域のサイズに対応して決定される。このため、画像データを抽出する領域が狭い場合は、小さなサイズのウィンドウ100が表示され、画像データを抽出する領域が広い場合は、大きなサイズのウィンドウ100が表示される。なお、操作者は通常、指を上側に向けて表示部78をタッチするため、CPU80は、図20〜22に示すように、上側を指示方向として接触位置を指示するポインタ102をウィンドウ100内に重ねて表示する。
なお、表示部78の上側の縁部に近い位置がタッチされ、接触位置の上側にウィンドウ100を表示するスペースがない場合、CPU80は、手12の右側または左側の非遮蔽領域にウィンドウ100を表示する。例えば、図23に示すように、表示部78の左上側の縁部に近い位置がタッチされた場合、接触位置の右側の非遮蔽領域にウィンドウ100を表示する。また、図24に示すように、表示部78の右上側の縁部に近い位置がタッチされた場合、接触位置の左側の非遮蔽領域にウィンドウ100を表示する。なお、操作者は通常指を上側に向けて表示部78をタッチするため、CPU80は、図23、24に示すように、上側を指示方向として接触位置を指示するポインタ102をウィンドウ100内に重ねて表示する。
この第2の実施の形態に係るタブレット端末3によれば、接触位置を基準とする所定領域に含まれる画像を表示するウィンドウ100を表示部78に表示された画像上に重ねて表示することにより、指先でタッチした箇所の画像を明確にすることができる。また、ウィンドウ100内に手12の指示方向を示すポインタ102を重ねて表示することにより、手12でポイントした画像上の位置を更に明確にすることができる。
次に、第3の実施の形態に係る画像表示装置について手持ち型のタブレット端末を例に説明する。この第3の実施の形態に係るタブレット端末は、第2の実施の形態に係るタブレット端末3のタッチパネル86に感度の高い静電容量式のタッチパネルを用いたものである。従って、第2の実施の形態と同様の構成についての詳細な説明は省略し、異なる部分のみについて説明する。また、第2の実施の形態と同一の構成には同一の符号を付して説明する。
図25は、第3の実施の形態に係るタブレット端末13の操作状態を示す図である。図25に示すように、操作者が持ち手76でタブレット端末13を支え、持ち手76でない方の手12を検出領域108に差入れると、タッチパネル86により手12が検出され、遮蔽領域が推定されて表示部78にウィンドウが表示される。操作者は、ウィンドウが表示部78に表示された状態において手12で表示部78をタッチしてタブレット端末3の操作を行う。
次に図26に示すフローチャートを参照して第3の実施の形態に係るタブレット端末13における処理について説明する。まず、タブレット端末13が操作者の持ち手76により支えられ(図25参照)、電源スイッチがオンされると、CPU80は、加速度センサ91によりタブレット端末13の傾斜角度を計測し、傾斜角度に基づいてタブレット端末13が縦向きか横向きかを認識する。このため、図25に示すように、操作者が縦長に表示部78を見ることができるようにタブレット端末13を支えた場合、CPU80は、タブレット端末3が縦向きであると認識する。
次に、メモリカード90から表示部78に表示する初期画面の画像データを読み出して、画像データに基づく画像を表示部78に表示する(ステップS21)。次に、操作者が表示部78に手12を近づけ、検出領域108に手12を差入れると(図25参照)、CPU80は、タッチパネル86により手12の位置及び形状を検出し、手12の位置及び形状に基づいて、表示部78をタッチする手12が右手か左手かを識別する(ステップS22)。
次に、CPU80は、右手または左手の位置及び形状に基づいて遮蔽領域を推定する(ステップS23)。例えば、図27に示すように、操作者が右手を検出領域108に差入れた場合、右手によって遮蔽される表示部78の領域110を遮蔽領域と推定する。同様にして、左手が検出領域108に差入れられた場合、左手によって遮蔽される表示部78の領域を遮蔽領域と推定する。また、CPU80は、右手または左手の位置及び形状に基づいて指先の直下の表示部78の位置を推定する。
次に、CPU80は、表示部78に表示された画像の画像データから、指先の直下の位置を基準とする所定領域についての画像データを抽出し、抽出した画像データを画像記憶部87に記憶する(ステップS24)。ここで、所定領域の面積は、遮蔽領域の面積に対応して決定される。次に、CPU80は、画像記憶部87から抽出した画像データを読み出し、図20〜24に示すように、抽出した画像データに基づく画像を表示するウィンドウを表示部78の非遮蔽領域に表示する(ステップS25)。ここで、ウィンドウのサイズは、画像データを抽出する領域のサイズに対応して決定される。なお、タッチパネル86による手12の位置及び形状の検出は逐次行われるため、検出領域108において手12の位置が移動すると、ウィンドウの表示領域も手12の位置に付随して移動する。
次に、CPU80は、タッチパネル86により、手12の指が表示部78に接触したか否かの判定を行う(ステップS26)。そして、手12の指が表示部78に接触していない場合(ステップS26:No)、CPU80は、ステップS22〜26の処理を繰り返す。一方、手12の指が表示部78に接触した場合(ステップS26:Yes)、CPU80は、図20〜24に示すように、上側を指示方向として接触位置を指示するポインタをウィンドウ内に重ねて表示する(ステップS27)。
この第3の実施の形態に係るタブレット端末13によれば、感度の高い静電容量式のタッチパネル86を用いることにより、操作者が表示部78をタッチする前に遮蔽領域を推定し、指先の直下の位置を基準とする所定領域に含まれる画像を表示するウィンドウを表示部78に表示された画像上に重ねて表示することができる。
次に、第4の実施の形態に係る画像表示装置について手持ち型のタブレット端末を例に説明する。図28に示すように、第4の実施の形態に係るタブレット端末23は、第2の実施の形態に係るタブレット端末13の上側の外枠部分にカメラ112を付加し、カメラ112により表示部78をタッチしようとする操作者の手12を撮影するようにしたものである。従って、第2の実施の形態と同様の構成についての詳細な説明は省略し、異なる部分のみについて説明する。また、第2の実施の形態と同一の構成には同一の符号を付して説明する。
図29は、第4の実施の形態に係るタブレット端末23のシステム構成を示すブロック図である。タブレット端末は、CPU80を備え、CPU80には、操作部82、被写体を撮影するためのCCD等により構成される撮像素子を有するカメラ112、表示部78の表示制御を行う表示制御部84、タッチパネル86、画像記憶部87、プログラム記憶部88、メモリカード90、加速度センサ91、及び撮影された画像に手12の形状が含まれているか否かの判定を行う手認識部114が接続されている。
次に図30に示すフローチャートを参照して第4の実施の形態に係るタブレット端末23における処理について説明する。まず、タブレット端末23が操作者の持ち手76により支えられ(図28参照)、電源スイッチがオンされると、CPU80は、加速度センサ91によりタブレット端末23の傾斜角度を計測し、傾斜角度に基づいてタブレット端末23が縦向きか横向きかを認識する。このため、図28に示すように、操作者が縦長に表示部78を見ることができるようにタブレット端末23を支えた場合、CPU80は、タブレット端末3が縦向きであると認識する。
次に、CPU80は、メモリカード90から表示部78に表示する初期画面の画像データを読み出して、画像データに基づく画像を表示部78に表示する(ステップS31)。次に、CPU80は、図28に示すように、カメラ112により表示部78をタッチしようとする操作者の手12の撮影を開始する(ステップS32)。ここで、カメラ112による撮影は、図28に示すXの範囲に関して行われる。また、撮影は、動画撮影または一定時間間隔での静止画撮影により行われ、カメラ112により撮影された画像の画像データは、画像記憶部87に記憶される。
次に、CPU80は、画像記憶部87から画像データを読み出し、手認識部114により、画像データに手12の形状が含まれているか否かの判定を行う(ステップS33)。ここで、手12の形状が含まれているか否かの判定は、画像データから手12及び手12の指先の位置をパターンマッチング等により検出することにより行う。
画像データに手12の形状が含まれていなかった場合(ステップS33:No)、CPU80は、ステップS33の操作を繰り返す。一方、画像データに手12の形状が含まれていた場合(ステップS33:Yes)、CPU80は、画像データに含まれる手12の位置から遮蔽領域を推定する(ステップS34)。また、指先の直下の表示部78の位置を推定する。
次に、CPU80は、表示部78に表示された画像の画像データから、指先の直下の位置を基準とする所定領域についての画像データを抽出し、抽出した画像データを画像記憶部87に記憶する(ステップS35)。ここで、所定領域の面積は、遮蔽領域の面積に対応して決定される。次に、CPU80は、画像記憶部87から抽出した画像データを読み出し、図20〜24に示すように、抽出した画像データに基づく画像を表示するウィンドウを表示部78の非遮蔽領域に表示する(ステップS36)。ここで、ウィンドウのサイズは、画像データを抽出する領域のサイズに対応して決定される。
なお、カメラ112による撮影は動画撮影等により行われるため、逐次指先の直下の位置が検出される。そして、指先の直下の位置を基準とする所定領域の画像を表示するウィンドウが表示部78において逐次表示される。このため、表示部78において手12の位置が移動すると、ウィンドウの表示領域も手12の位置に付随して移動する。
次に、CPU80は、タッチパネル86により、手12の指が表示部78に接触したか否かの判定を行う(ステップS37)。そして、手12の指が表示部78に接触していない場合(ステップS37:No)、CPU80は、ステップS34〜37の操作を繰り返す。一方、手12の指が表示部78に接触している場合(ステップS37:Yes)、CPU80は、図20〜24に示すように、上側を指示方向として接触位置を指示するポインタをウィンドウ内に重ねて表示する(ステップS38)。
この第4の実施の形態に係るタブレット端末23によれば、カメラ112により表示部78をタッチしようとする操作者の手12を撮影することにより、撮影した画像の画像データに含まれる手12の位置から正確に遮蔽領域を推定することができる。
また、カメラ112により操作者の手12を撮影するため(図28参照)、操作者の手12が表示部78から離れていても、画像データに手12の形状が含まれていれば操作者の手12を認識することができる。このため、タブレット端末23が操作者の手12を認識した時に所定の操作を実行する機能を付加することもできる。例えば、図31の左側に示す画像が表示部78に表示されているときにカメラ112の撮影領域に手12が進入し、CPU80がカメラ112により撮影した画像データから操作者の手12を認識したとする。この場合、CPU80は、図31の右側の図に示すように、表示部78に表示されている画像に重ねて操作ボタンを表示するようにしてもよい。
次に、第5の実施の形態に係る画像表示装置について小型の手持ち型端末(例えば、携帯電話やスマートフォン等。以下、小型端末という。)を例に説明する。図32は、第5の実施の形態に係る小型端末43を示す図である。図32に示すように、小型端末43は、平板状の筐体の一方の表面にタッチパネルによる操作が可能な表示部120を備え、筐体の側面の全周に操作者の持ち手を検出するタッチセンサ122を備えている。
図33は、第5の実施の形態に係る小型端末43のシステム構成を示すブロック図である。小型端末43は、CPU130を備え、CPU130には、図示しない電源スイッチ等を備える操作部132、画像データに基づく画像を表示する表示部120の表示制御を行う表示制御部134、表示部120に接触した指の位置を検出するタッチパネル136、タッチされた位置を基準とする所定領域の画像データを一時的に記憶する画像記憶部137、表示部120の表示等に関する設定や制御を行うためのプログラムを格納するプログラム記憶部138、表示部120において表示する画像の画像データを記憶するメモリカード140、重力加速度を検出することにより小型端末43の傾斜角度を計測する加速度センサ141、及びタッチセンサ122が接続されている。
次に図34に示すフローチャートを参照して第5の実施の形態に係る小型端末43における処理について説明する。まず、小型端末43が操作者の持ち手76により支えられ、電源スイッチがオンされると、CPU130は、加速度センサ141により小型端末43の傾斜角度を計測し、傾斜角度に基づいて小型端末43が縦向きか横向きかを認識する。例えば、図35に示すように、操作者が縦長に表示部120を見ることができるように小型端末43を支えた場合、CPU130は、小型端末43が縦向きであると認識し、図36に示すように、操作者が横長に表示部120を見ることができるように小型端末43を支えた場合、CPU130は、小型端末43が横向きであると認識する。
次に、CPU130は、メモリカード140から表示部120に表示する初期画面の画像データを読み出して、画像データに基づく画像を表示部120に表示する(ステップS41)。
次に、CPU130は、タッチセンサ122に接触した指の位置と個数を検出し、検出した指の位置と個数とに基づいて、持ち手76及び表示部120をタッチする手12を識別する(ステップS42)。例えば、図35に示すように、操作者が左手で小型端末43を縦向きに支えたとする。そして、タッチセンサ122により、小型端末43の左側面に1本の指が接触し、右側面に4本の指が接触したことが検出されたとする。この場合、CPU130は、左手を持ち手76として認識し、持ち手でない右手を表示部120をタッチする手12として認識する。また、図36に示すように、操作者が左手で小型端末43を横向きに支えたとする。そして、タッチセンサ122により、小型端末43の上下側面の左側にそれぞれ1本ずつの指が接触していることが検出されたとする。この場合、CPU130は、左手を持ち手76として認識し、右手を表示部120をタッチする手12として認識する。
次に、操作者が表示部120に指12を接触させると、CPU130は、タッチパネル136により、表示部120における指の接触位置を検出する(ステップS43)。次に、CPU130は、接触位置及びタッチセンサ122により認識したタッチする手12の情報に基づいて遮蔽領域を推定する(ステップS44)。例えば、右手をタッチする手12と認識した場合、右手の指先で表示部120をタッチした場合に遮蔽される表示部120の領域を遮蔽領域と推定する。同様に、左手をタッチする手12と認識した場合、左手の指先で表示部120をタッチした場合に遮蔽される表示部120の領域を遮蔽領域と推定する。ここで、CPU130は、接触位置が表示部120の下側になるほど遮蔽領域の面積を小さく推定し、接触位置が表示部120の上側になるほど遮蔽領域の面積を大きく推定する。
次に、CPU130は、表示部120に表示された画像の画像データから、接触位置を基準とする所定領域についての画像データを抽出し、抽出した画像データを画像記憶部137に記憶する(ステップS45)。ここで、所定領域の面積は、遮蔽領域の面積に対応して決定される。このため、CPU130は、遮蔽領域の面積が小さい場合は、狭い範囲の領域についての画像データを抽出し(図18参照)、遮蔽領域の面積が大きい場合は、広い範囲の領域についての画像データを抽出する(図19参照)。
次に、CPU130は、画像記憶部137から抽出した画像データを読み出し、図20〜22に示すように、抽出した画像データに基づく画像を表示するウィンドウを表示部120の非遮蔽領域に表示する(ステップS46)。ここで、ウィンドウのサイズは、画像データを抽出する領域のサイズに対応して決定される。なお、操作者は通常指を上側に向けて表示部120をタッチするため、CPU130は、図20〜22に示すように、上側を指示方向として接触位置を指示するポインタをウィンドウ内に重ねて表示する。
この第5の実施の形態に係る小型端末43によれば、接触位置を基準とする所定領域に含まれる画像を表示するウィンドウを表示部120に表示された画像上に重ねて表示することにより、指先でタッチした箇所の画像を明確にすることができる。また、ウィンドウ内に手12の指示方向を示すポインタを重ねて表示することにより、手12でポイントした画像上の位置を更に明確にすることができる。また、表示部120をタッチする手12が右手か左手かを識別することができるため、高い精度で遮蔽領域を推定することができる。
なお、上述の第5の実施の形態に係る小型端末43において、持ち手76及び表示部120をタッチする手12を識別する際の指の位置と個数は、第5の実施の形態で説明した例に限定されない。例えば、図35には、小型端末43の右側面に4本の指が接触した場合が例示されているが、接触する指の本数は2本または3本でもよい。また、図36には、小型端末43の上下側面の左側にそれぞれ1本ずつ指が接触した場合が例示されているが、小型端末43の側面の左上角と左下角にそれぞれ1本ずつ指が接触していてもよく、また、小型端末43の左側面と下側面の左側にそれぞれ1本ずつ指が接触していてもよい。
また、上述の第2の実施の形態に係るタブレット端末3において、表示部78をタッチする手12が右手か左手かを識別できるようにしてもよい。例えば、所定の時間を超えて表示部78に指が接触した場合、CPU80は、指が接触した位置(以下、継続接触位置という。)が表示部78の右側の端部か左側の端部かを判定する。そして、図37に示すように、継続接触位置が表示部78の左側の端部である場合、CPU80は、左手を持ち手76として認識し、持ち手76でない右手を表示部78をタッチする手12として認識する。同様に、継続接触位置が表示部78の右側の端部である場合(不図示)、CPU80は、右手を持ち手76として認識し、持ち手76でない左手を表示部78をタッチする手12として認識する。これにより、CPU80は、タッチする手12が右手か左手かを考慮して高い精度で遮蔽領域を推定することができる。
また、図38に示すように、タッチセンサを表示部78の外枠部分79にも配置し、所定の時間を超えて外枠部分79に接触した指の位置が表示部78の右側の端部か左側の端部かを判定するようにしてもよい。これにより、指が表示部78に接触していない場合でも、CPU80は、持ち手76及び表示部78をタッチする手12が右手か左手かを識別することができる。
また、タッチセンサを更にタブレット端末3の裏面に配置してもよい。この場合、タブレット端末3の裏面に操作者の指が所定の時間を超えて接触すると、CPU80は、指が接触した位置が表示部78の右側端部の裏側か左側端部の裏側かを判定する。次に、CPU80は、判定結果に基づいて、持ち手76及び表示部78をタッチする手12が右手か左手かを識別する。
また、上述の第2の実施の形態に係るタブレット端末3において、タブレット端末3の傾斜角度に基づいて持ち手76及び表示部78をタッチする手12を認識するようにしてもよい。例えば、図39に示すように、操作者が右手でタブレット端末3を支え、加速度センサ91によりタブレット端末3が左下がりに傾斜したことが検出されたとする。この場合、CPU80は、右手を持ち手76として認識し、左手を表示部78をタッチする手12と認識する。同様に、操作者が左手でタブレット端末3を支え、加速度センサ91によりタブレット端末3が右下がりに傾斜したことが検出されたとする(不図示)。この場合、CPU80は、左手を持ち手76として認識し、右手を表示部78をタッチする手12と認識するようにしてもよい。
また、上述の第2の実施の形態に係るタブレット端末3において、タッチパネル86により複数の接触位置を検出できるようにしてもよい。そして、複数の指が表示部78に接触した場合において、複数の接触位置を含む遮蔽領域を推定するようにしてもよい。これにより、複数の指でタッチパネル86の操作を行った場合にも指先でタッチした箇所の画像を明確にすることができる。
また、上述の第4の実施の形態に係るタブレット端末23において、図40に示すように、カメラ112による撮影範囲Yにタブレット端末23の表面が含まれるようにしてもよい。そして、カメラ112により撮影した画像の画像データから指先がタブレット端末23の表面に接触しているか否かの判定を行うようにしてもよい。これにより、タブレット端末23がタッチパネルを備えない場合にも接触位置を検出することができる。
また、上述の第4の実施の形態に係るタブレット端末23において、カメラ112により撮影された画像の画像データから操作者の眼の位置を検出し、操作者の視点を考慮して遮蔽領域を推定するようにしてもよい。例えば、図41に示すように、操作者がタブレット端末23を真上から見て操作を行った場合、CPU80は、手12の直下に位置する表示部78の領域を遮蔽領域と推定する。また、図42に示すように、操作者が顔を左側に傾けて斜めの方向からタブレット端末23を見て操作を行った場合、CPU80は、手12の直下よりも右側に位置する表示部78の領域を遮蔽領域と推定するようにしてもよい。この場合、表示部78において表示するウィンドウの位置も、タブレット端末23を真上から見て操作した場合(図41参照)におけるウィンドウの位置よりも右側に表示する。これにより、操作者の視点に合わせて精度よく遮蔽領域を推定し、操作者が見やすいようにウィンドウを表示することができる。
また、上述の第2〜5の実施の形態に係る端末において、表示部78をタッチした手12が右手であったか左手であったかを履歴情報として記憶する履歴記憶部を備え、履歴情報に基づいて表示部78をタッチする手12が右手か左手かを設定するようにしてもよい。例えば、表示部78をタッチした手12が右手である旨の履歴情報が所定の個数連続している場合、CPU80は、右手を表示部78をタッチする手12として設定する。これにより、CPU80は、設定された情報に基づいて速く正確に遮蔽領域を推定することができる。なお、操作者の操作により表示部78をタッチする手12が右手か左手かを設定できるようにしてもよい。また、電源スイッチがオフにされた場合、履歴情報を削除するようにしてもよい。
また、上述の第2〜5の実施の形態に係る端末において、ウィンドウが透過性を有するようにしてもよい。この場合、ウィンドウのサイズに連動させて透過率を変更してもよい。これにより、表示部において表示された画像に重ねてウィンドウを表示した場合であっても、操作者は、ウィンドウの下に隠れる部分の画像を認識することができる。また、小さなサイズのウィンドウを表示する場合にはウィンドウの透過率を小さく設定し、大きなサイズのウィンドウを表示する場合にはウィンドウの透過率を大きく設定するようにしてもよい。これにより、広い領域がウィンドウの下に隠れる場合であっても、操作者は表示部において表示された画像の全体を認識することができる。
また、上述の第2〜5の実施の形態に係る端末においては、手12でタッチパネルによる操作を行う場合を例に説明しているが、指示棒等を用いてタッチパネルによる操作を行うようにしてもよい。そして、指示棒等により遮蔽される表示部上の領域を遮蔽領域と推定するようにしてもよい。
また、上述の第2〜5の実施の形態に係る端末においては、ウィンドウを表示部において表示された画像に重ねて表示する場合を例に説明しているが、表示部における表示領域を2分割し、一方の表示領域に画像を表示し、他方の表示領域にウィンドウを表示するようにしてもよい。これにより、手12でポイントした箇所の画像を更に明確にすることができる。また、ウィンドウ内に手12の指示方向を示すポインタを重ねて表示することにより、手12でポイントした表示部上の位置を更に明確にすることができる。また、この場合において、ウィンドウのサイズを画像データを抽出する領域のサイズに対応させてもよい。
2…プロジェクタ、4…筐体、6…机、8…投影画像、10…投影窓、12…手、14…撮影窓、20…CPU、22…操作部、24…カメラ、26…画像記憶部、30…プログラム記憶部、32…メモリカード、34…投影部、36…手認識部、38…位置検出部、40…方向検出部、76…持ち手、78…表示部、80…CPU、82…操作部、84…表示制御部、86…タッチパネル、87…画像記憶部、88…プログラム記憶部、90…メモリカード、91…加速度センサ、112…カメラ、114…手認識部、122…タッチセンサ、130…CPU、132…操作部、134…表示制御部、136…タッチパネル、137…画像記憶部、138…プログラム記憶部、140…メモリカード、141…加速度センサ

Claims (24)

  1. 画像データに基づく画像を表示する画像表示部と、
    前記画像表示部により表示された前記画像の一部を指示する指示部材の先端に対応する位置を検出する検出部と、
    前記画像データから前記先端に対応する位置を含む所定の領域についての画像データを抽出する抽出部と、
    前記抽出部により抽出された抽出画像データに基づく画像を表示するウィンドウを、前記画像表示部に表示させる制御部と
    を備えることを特徴とする画像表示装置。
  2. 前記画像表示部は、画像データに基づく画像を投影面に対して投影する投影部を備え、
    前記制御部は、前記抽出画像データに基づく画像を表示するウィンドウを、前記投影部に投影させることを特徴とする請求項1記載の画像表示装置。
  3. 前記制御部は、前記ウィンドウを、前記投影部により投影された前記画像と異なる領域に投影させることを特徴とする請求項2に記載の画像表示装置。
  4. 前記制御部は、前記ウィンドウを、前記投影部により投影された前記画像上に重畳して投影させることを特徴とする請求項2に記載の画像表示装置。
  5. 前記制御部は、前記投影部により投影された前記画像上において前記指示部材の影の面積に基づいて前記ウィンドウの表示面積を決定することを特徴とする請求項3または4に記載の画像表示装置。
  6. 前記制御部は、前記投影部により投影された前記画像上において前記指示部材の影にならない領域に前記ウィンドウを重畳して投影させることを特徴とする請求項4または5に記載の画像表示装置。
  7. 前記制御部は、前記先端に対応する位置を基準として前記指示部材が存在する領域と反対側の領域に前記ウィンドウを重畳して投影させることを特徴とする請求項6に記載の画像表示装置。
  8. 前記ウィンドウは、透過性を有し、
    前記制御部は、前記ウィンドウの面積に基づいて前記ウィンドウの透過率を変更することを特徴とする請求項4〜7のいずれか一項に記載の画像表示装置。
  9. 指示方向を示すポインタ画像の画像データを記憶するポインタ画像記憶部と、
    前記指示部材の指示方向を検出する方向検出部とを備え、
    前記制御部は、前記指示部材により前記投影面上の前記画像が指示された場合に前記指示方向に基づいて前記ウィンドウ上の前記指示された位置に対応する位置に前記ポインタ画像を重畳して投影させることを特徴とする請求項3〜8のいずれか一項に記載の画像表示装置。
  10. 前記投影面は、該画像表示装置の載置面であることを特徴とする請求項2〜9のいずれか一項に記載の画像表示装置。
  11. 前記画像表示部は、画像データに基づく画像を表示する表示面を備え、
    前記制御部は、前記抽出画像データに基づく画像を表示するウィンドウを、前記表示面に表示させることを特徴とする請求項1記載の画像表示装置。
  12. 前記検出部により検出された位置に基づいて、前記画像表示部により表示された前記画像が前記指示部材により遮蔽される遮蔽領域を推定する推定部を備え、
    前記制御部は、前記推定部により推定された前記遮蔽領域以外の領域に、前記ウィンドウを表示させることを特徴とする請求項11記載の画像表示装置。
  13. 前記制御部は、前記推定部により推定された前記遮蔽領域の面積に基づいて定めた大きさの前記ウィンドウを表示させることを特徴とする請求項11または12記載の画像表示装置。
  14. 前記検出部は、前記表示面に接触した前記指示部材の先端の位置を検出するタッチパネルを備え、
    前記推定部は、前記タッチパネルにより検出した前記指示部材の先端の位置に基づいて前記遮蔽領域を推定することを特徴とする請求項12または13記載の画像表示装置。
  15. 該画像表示装置は、携帯型情報端末であることを特徴とする請求項1〜14記載の画像表示装置。
  16. 該画像表示装置を保持する持ち手を検出する持ち手検出部を備え、
    前記推定部は、前記持ち手検出部により検出された持ち手を考慮して前記遮蔽領域を推定することを特徴とする請求項15記載の画像表示装置。
  17. 操作者の手が継続して前記表示面に接触した位置及び時間を判定する判定部を備え、
    前記持ち手検出部は、前記判定部による判定結果に基づいて前記持ち手を検出することを特徴とする請求項16記載の画像表示装置。
  18. 該画像表示装置の傾斜角度を計測する計測部を備え、
    前記持ち手検出部は、前記計測部により計測した前記傾斜角度に基づいて前記持ち手を検出することを特徴とする請求項16記載の画像表示装置。
  19. 該画像表示装置の側面に接触した操作者の指の位置及び個数を検出する接触検出部を備え、
    前記持ち手検出部は、該画像表示装置の側面に接触した前記操作者の指の位置及び個数に基づいて前記持ち手を検出することを特徴とする請求項16記載の画像表示装置。
  20. 前記タッチパネルは、前記指示部材の先端が前記画像表示部に接触する前に前記指示部材を認識することが可能な静電容量式タッチパネルであることを特徴とする請求項14記載の画像表示装置。
  21. 前記指示部材を撮影する撮影部を備え、
    前記推定部は、前記撮影部により撮影された画像データに含まれる前記指示部材の位置に基づいて前記遮蔽領域を推定することを特徴とする請求項12または13記載の画像表示装置。
  22. 前記撮影部は、操作者の眼を撮影し、
    前記推定部は、前記撮影部により撮影された画像データに含まれる前記操作者の眼の位置を考慮して前記遮蔽領域を推定することを特徴とする請求項21記載の画像表示装置。
  23. 前記ウィンドウは、透過性を有し、
    前記制御部は、前記ウィンドウの面積に基づいて前記ウィンドウの透過率を変更することを特徴とする請求項11〜22のいずれか一項に記載の画像表示装置。
  24. 前記検出部は、操作者の手の先端に対応する位置を検出することを特徴とする請求項1〜23のいずれか一項に記載の画像表示装置。
JP2011200830A 2010-10-07 2011-09-14 画像表示装置 Expired - Fee Related JP5434997B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011200830A JP5434997B2 (ja) 2010-10-07 2011-09-14 画像表示装置
US13/251,760 US20120098852A1 (en) 2010-10-07 2011-10-03 Image display device
CN201110306348XA CN102447865A (zh) 2010-10-07 2011-10-08 图像显示装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010227151 2010-10-07
JP2010227151 2010-10-07
JP2011200830A JP5434997B2 (ja) 2010-10-07 2011-09-14 画像表示装置

Publications (2)

Publication Number Publication Date
JP2012098705A true JP2012098705A (ja) 2012-05-24
JP5434997B2 JP5434997B2 (ja) 2014-03-05

Family

ID=45972644

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011200830A Expired - Fee Related JP5434997B2 (ja) 2010-10-07 2011-09-14 画像表示装置

Country Status (3)

Country Link
US (1) US20120098852A1 (ja)
JP (1) JP5434997B2 (ja)
CN (1) CN102447865A (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013022000A1 (ja) * 2011-08-10 2013-02-14 株式会社ニコン 電子機器
JP2013250849A (ja) * 2012-06-01 2013-12-12 Konica Minolta Inc ガイダンス表示システム、ガイダンス表示装置、ガイダンス表示方法、およびガイダンス表示プログラム
WO2013187370A1 (ja) * 2012-06-15 2013-12-19 京セラ株式会社 端末装置
JP2014010781A (ja) * 2012-07-02 2014-01-20 Sharp Corp 表示装置、表示方法、制御プログラム、および、記録媒体
JP2015159529A (ja) * 2014-01-21 2015-09-03 セイコーエプソン株式会社 位置検出装置、及び位置検出方法
JP2015167012A (ja) * 2014-02-12 2015-09-24 ソフトバンク株式会社 文字入力装置、文字入力プログラム、表示制御装置、表示制御方法、及び表示制御プログラム
JP2016024657A (ja) * 2014-07-22 2016-02-08 日本電信電話株式会社 マルチタッチスクリーン付き携帯端末およびその動作方法
WO2016063392A1 (ja) * 2014-10-23 2016-04-28 富士通株式会社 投影装置及び画像処理プログラム
JP2016122179A (ja) * 2014-12-25 2016-07-07 パナソニックIpマネジメント株式会社 投影装置及び投影方法
JPWO2017047131A1 (ja) * 2015-09-17 2018-03-01 富士フイルム株式会社 投写型表示装置及び投写制御方法
JP6456551B1 (ja) * 2017-08-31 2019-01-23 三菱電機株式会社 光学機器制御装置、光学機器制御方法、及び光学機器制御プログラム
KR20200026543A (ko) * 2018-09-03 2020-03-11 한양대학교 산학협력단 영상 프로젝션을 이용하는 인터랙션 장치
WO2021095761A1 (ja) * 2019-11-15 2021-05-20 株式会社Nttドコモ 情報処理装置、及び投射システム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6135239B2 (ja) 2012-05-18 2017-05-31 株式会社リコー 画像処理装置、画像処理プログラム、画像処理方法
JP6037901B2 (ja) * 2013-03-11 2016-12-07 日立マクセル株式会社 操作検出装置、操作検出方法及び表示制御データ生成方法
CN104076988B (zh) * 2013-03-27 2017-12-01 联想(北京)有限公司 一种显示方法、显示控制方法及电子设备
CN104967912A (zh) * 2015-07-01 2015-10-07 四川效率源信息安全技术有限责任公司 监控视频无需转码直接播放的方法
US20250165114A1 (en) * 2023-11-20 2025-05-22 Dell Products L.P. Dynamic focusing/defocusing of picture-in-picture window

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004152217A (ja) * 2002-11-01 2004-05-27 Canon Electronics Inc タッチパネル付き表示装置
JP2006085410A (ja) * 2004-09-16 2006-03-30 Hitachi Software Eng Co Ltd 電子ボードシステム
JP2009288881A (ja) * 2008-05-27 2009-12-10 Ntt Docomo Inc 文字入力装置及び文字入力方法
JP2010181940A (ja) * 2009-02-03 2010-08-19 Zenrin Datacom Co Ltd 画像処理装置および画像処理方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070036075A (ko) * 2004-06-29 2007-04-02 코닌클리케 필립스 일렉트로닉스 엔.브이. 3-d 터치 상호작용에서의 터치-다운 피드-포워드
EP1865404A4 (en) * 2005-03-28 2012-09-05 Panasonic Corp USER INTERFACE SYSTEM
KR100881952B1 (ko) * 2007-01-20 2009-02-06 엘지전자 주식회사 터치스크린을 구비하는 이동통신 단말기 및 그 동작제어방법
JP4605170B2 (ja) * 2007-03-23 2011-01-05 株式会社デンソー 操作入力装置
JP4991458B2 (ja) * 2007-09-04 2012-08-01 キヤノン株式会社 画像表示装置及びその制御方法
JP5045559B2 (ja) * 2008-06-02 2012-10-10 富士通モバイルコミュニケーションズ株式会社 携帯端末
US20100214243A1 (en) * 2008-07-15 2010-08-26 Immersion Corporation Systems and Methods For Interpreting Physical Interactions With A Graphical User Interface
US20100079413A1 (en) * 2008-09-29 2010-04-01 Denso Corporation Control device
JP2011180712A (ja) * 2010-02-26 2011-09-15 Sanyo Electric Co Ltd 投写型映像表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004152217A (ja) * 2002-11-01 2004-05-27 Canon Electronics Inc タッチパネル付き表示装置
JP2006085410A (ja) * 2004-09-16 2006-03-30 Hitachi Software Eng Co Ltd 電子ボードシステム
JP2009288881A (ja) * 2008-05-27 2009-12-10 Ntt Docomo Inc 文字入力装置及び文字入力方法
JP2010181940A (ja) * 2009-02-03 2010-08-19 Zenrin Datacom Co Ltd 画像処理装置および画像処理方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013022000A1 (ja) * 2011-08-10 2013-02-14 株式会社ニコン 電子機器
JP2013250849A (ja) * 2012-06-01 2013-12-12 Konica Minolta Inc ガイダンス表示システム、ガイダンス表示装置、ガイダンス表示方法、およびガイダンス表示プログラム
WO2013187370A1 (ja) * 2012-06-15 2013-12-19 京セラ株式会社 端末装置
JPWO2013187370A1 (ja) * 2012-06-15 2016-02-04 京セラ株式会社 端末装置
JP2014010781A (ja) * 2012-07-02 2014-01-20 Sharp Corp 表示装置、表示方法、制御プログラム、および、記録媒体
JP2015159529A (ja) * 2014-01-21 2015-09-03 セイコーエプソン株式会社 位置検出装置、及び位置検出方法
JP2015167012A (ja) * 2014-02-12 2015-09-24 ソフトバンク株式会社 文字入力装置、文字入力プログラム、表示制御装置、表示制御方法、及び表示制御プログラム
JP2016024657A (ja) * 2014-07-22 2016-02-08 日本電信電話株式会社 マルチタッチスクリーン付き携帯端末およびその動作方法
JPWO2016063392A1 (ja) * 2014-10-23 2017-09-21 富士通株式会社 投影装置及び画像処理プログラム
WO2016063392A1 (ja) * 2014-10-23 2016-04-28 富士通株式会社 投影装置及び画像処理プログラム
JP2016122179A (ja) * 2014-12-25 2016-07-07 パナソニックIpマネジメント株式会社 投影装置及び投影方法
JPWO2017047131A1 (ja) * 2015-09-17 2018-03-01 富士フイルム株式会社 投写型表示装置及び投写制御方法
JP6456551B1 (ja) * 2017-08-31 2019-01-23 三菱電機株式会社 光学機器制御装置、光学機器制御方法、及び光学機器制御プログラム
WO2019043854A1 (ja) * 2017-08-31 2019-03-07 三菱電機株式会社 光学機器制御装置、光学機器制御方法、及び光学機器制御プログラム
KR20200026543A (ko) * 2018-09-03 2020-03-11 한양대학교 산학협력단 영상 프로젝션을 이용하는 인터랙션 장치
KR102155936B1 (ko) * 2018-09-03 2020-09-14 한양대학교 산학협력단 영상 프로젝션을 이용하는 인터랙션 장치
WO2021095761A1 (ja) * 2019-11-15 2021-05-20 株式会社Nttドコモ 情報処理装置、及び投射システム
JPWO2021095761A1 (ja) * 2019-11-15 2021-05-20
JP7354276B2 (ja) 2019-11-15 2023-10-02 株式会社Nttドコモ 情報処理装置、及び投射システム
US12200411B2 (en) 2019-11-15 2025-01-14 Ntt Docomo, Inc. Information processing apparatus and projection system

Also Published As

Publication number Publication date
CN102447865A (zh) 2012-05-09
US20120098852A1 (en) 2012-04-26
JP5434997B2 (ja) 2014-03-05

Similar Documents

Publication Publication Date Title
JP5434997B2 (ja) 画像表示装置
JP5304848B2 (ja) プロジェクタ
US8350896B2 (en) Terminal apparatus, display control method, and display control program
KR101198727B1 (ko) 화상투영장치 및 그 제어 방법
JP5638896B2 (ja) 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法
EP2950180B1 (en) Method for determining screen display mode and terminal device
EP2391138B1 (en) Hand-held electronic device
JP5732218B2 (ja) 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法
JP6242039B2 (ja) 自動センタリング機能付きのジャイロ制御されるゲーム視点のための装置および方法
JP5655644B2 (ja) 視線検出装置及び視線検出方法
KR20160117207A (ko) 화상 해석 장치 및 화상 해석 방법
WO2011148544A1 (ja) 携帯型電子機器
JP6148714B2 (ja) 携帯型電子機器
JP7495459B2 (ja) 頭部装着型ディスプレイ装置、頭部装着型ディスプレイ装置の制御方法
JP5764390B2 (ja) 画像生成プログラム、画像生成方法、画像生成装置及び画像生成システム
JP2012124612A5 (ja)
JP6529332B2 (ja) 電子機器およびその制御方法
US11513637B2 (en) Image projection device
CN102419686A (zh) 用于处理图像数据的设备、方法和计算机可读存储介质
JP6686319B2 (ja) 画像投影装置及び画像表示システム
JP6201282B2 (ja) 携帯電子機器、その制御方法及びプログラム
CN105721771A (zh) 一种智能设备相机拍照方法及系统、智能设备
JP2013061680A (ja) 表示装置
JP5620748B2 (ja) 携帯型電子機器
JP2019061539A (ja) 入力補助装置および携帯端末

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120925

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131125

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5434997

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees