JP4670860B2 - 記録再生装置 - Google Patents

記録再生装置 Download PDF

Info

Publication number
JP4670860B2
JP4670860B2 JP2007302555A JP2007302555A JP4670860B2 JP 4670860 B2 JP4670860 B2 JP 4670860B2 JP 2007302555 A JP2007302555 A JP 2007302555A JP 2007302555 A JP2007302555 A JP 2007302555A JP 4670860 B2 JP4670860 B2 JP 4670860B2
Authority
JP
Japan
Prior art keywords
shape
display
images
displayed
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007302555A
Other languages
English (en)
Other versions
JP2009129142A (ja
Inventor
武彦 鶴見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007302555A priority Critical patent/JP4670860B2/ja
Priority to US12/272,017 priority patent/US8872760B2/en
Publication of JP2009129142A publication Critical patent/JP2009129142A/ja
Application granted granted Critical
Publication of JP4670860B2 publication Critical patent/JP4670860B2/ja
Priority to US14/497,456 priority patent/US9529444B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、例えば大量の画像の中から目的の画像を検索する際の操作性を向上させた記録再生装置に関する。
近年、半導体メモリの大容量化および低価格化が進んでおり、PDA(Personal Digital Assistant)やデジタルカメラなどの携帯機器でも大容量の半導体メモリが使用されるようになってきている。これに伴い、1つの記録媒体に記録可能な画像数は増加の一途を辿っており、記録媒体に記録された大量の画像の中から目的の画像を簡単な操作で短時間に見つけ出すためのインタフェースが求められている。
この種のインタフェースの中で最も一般的であるのが、複数のサムネイル画像を一括して表示させ、この画像を十字キーやジョグダイヤル等で順次送っていく手法である。しかし、携帯機器に設置されている表示領域は筐体のサイズに比例するため狭くなり、結果的にサムネイル表示を行った際に、一度に表示されるサムネイル画の総数が少なくなるため、ファイルの検索がしにくいという欠点があった。また、操作のために十字キーやジョグダイヤルを携帯機器に取り付ける必要があるため、その分だけ筐体が大きくなったり、表示領域が狭くなったりするというのも問題であった。
前者の問題を解決するための手段として、近年、下記特許文献1のように、サムネイル画像を三次元的に配置することで、小型の携帯機器の狭い表示領域にあっても、ユーザが多数のサムネイルを容易に確認できるようにし、ファイルの検索を容易にする手法が提案されている。
また、後者の問題を解決するため、下記特許文献2のように、タッチパネルを搭載することで十字キーやジョグダイヤル等の入力装置の搭載を不要にし、大量の画像の中から目的の画像を検索する際の使い勝手を向上させる手法が提案されている。
特開2000−105772号公報 特開2006−40050号公報
しかしながら、特許文献1の手法では、サムネイル画像の三次元的配置により視認性は向上するものの、インタフェースの操作性自体は、十字キー・ジョグダイヤル・タッチパネル等の搭載を想定しているため、従来の携帯機器と違いが見られない。
また、特許文献2の手法においても、タッチパネルを搭載したため、十字キーやジョグダイヤル等の入力装置の排除による、表示領域の拡大に伴う視認性の向上効果は見られるものの、同発明のタッチパネルで入力可能なのは「押す」「離す」と単純な「回転」動作のみであり、結果的に十字キーとジョグダイヤルの機能をタッチパネルで再現したに過ぎず、操作性の面では、それらと比べて操作性に大きな向上が見られない。
従来から携帯機器には、その筐体の小ささ故に小型のボタンや十字キー、タッチパネルが搭載されているため、操作性は必ずしも良いとは言えず、それらに替わる操作性の良好なユーザインタフェースが望まれている。また、従来のインタフェースは使用できるようになるまでに、説明書を読んだ上で練習が必要なものが多く、不慣れな人間には直感的に解り難いという問題があった。
本発明は、このような事情を考慮してなされたものであり、携帯機器等の小型の機器においても、大量の画像の中から目的の画像を検索する際の操作性を向上させる、直感的なインタフェース機能を備えた記録再生装置を提供することを目的とする。
上記課題を解決するための請求項1の発明は、複数の画像をグループ分けして蓄積する記録手段と、前記記録手段に蓄積された画像を表示する表示手段と、所定形状の人体部分又は物体を検出する検出手段と、前記検出手段により検出された人体部分又は物体の形状に応じて、前記表示手段に表示させる画像を切り替える表示切替手段とを具備することを特徴としている。
また請求項2の発明は、請求項1において、前記表示切替手段は、前記検出手段により検出された人体部分又は物体の形状が第1の形状であるとき、前記表示された画像を切り替えるための第1のオブジェクトを、前記第1の形状の人体部分又は物体の動きに連動して表示することを特徴としている。
また請求項3の発明は、請求項1において、前記表示切替手段は、前記検出手段により検出された人体部分又は物体の形状が第2の形状であるとき、前記表示された画像を切り替えるための第2のオブジェクトを、前記第2の形状の人体部分又は物体の動きに連動して表示し、且つ該人体部分又は物体の動きに連動して前記表示された画像を移動させて切り替えることを特徴としている。
また請求項4の発明は、請求項1において、前記表示切替手段は、前記検出手段により検出された人体部分又は物体の形状が第3の形状であるとき、前記表示された画像を切り替えるための第3のオブジェクトを、前記第3の形状の人体部分又は物体の動きに連動して表示し、且つ該人体部分又は物体の動きに連動して前記表示された画像を移動させて切り替えることを特徴としている。
また請求項5の発明は、請求項3において、前記表示切替手段は、前記検出手段により検出された前記第2の形状の人体部分又は物体の移動速度が所定速度以上のときは、前記移動速度が所定速度以下のときの画像移動速度よりも速く該画像を移動させることを特徴としている。
また請求項6の発明は、請求項4において、前記表示切替手段は、前記検出手段により検出された前記第3の形状の人体部分又は物体の移動速度が所定速度以上のときは、前記移動速度が所定速度以下のときの画像移動速度よりも速く該画像を移動させることを特徴としている。
また請求項7〜12の発明は、請求項1〜6において、前記表示手段は、メイングループの画像を中央水平方向に表示し、該メイングループに隣接するグループの画像を、前記表示されたメイングループの画像の上下に表示することを特徴としている。
また請求項13の発明は、請求項9において、前記表示切替手段は、前記表示された画像を水平方向に移動させることを特徴としている。
また請求項14の発明は、請求項10において、前記表示切替手段は、前記表示された画像を上下方向に移動させることを特徴としている。
また請求項15の発明は、請求項1において、前記検出手段は、CCD又はCMOSイメージャを備え、前記表示手段は液晶パネルを備えていることを特徴としている。
また請求項16の発明は、請求項1において、前記検出手段および表示手段は、光センサ内蔵の液晶パネルを備えていることを特徴としている。
また請求項17の発明は、請求項1において、前記表示手段は、前記メイングループの画像のグループ名を同時に表示することを特徴としている。
(1)請求項1〜17に記載の発明によれば、ユーザが、記録再生装置の記録媒体に記録された大量の画像の中から目的の画像を見つける際に、所定の形状の人体部分又は物体、例えば手先のジェスチャにより、製品に触れることなく直感的な操作が可能となるため、製品のサイズに影響されることなく、良好な操作性で目的の画像を迅速に見つけることができる。特に、操作性の良い十分な大きさのボタンやタッチパネルを搭載するのが困難な、デジタルカメラやPDA等の小型製品において本発明は有効である。
また、本発明では、人体部分又は物体の形状に応じて、すなわち例えば手先のジェスチャの使い分けにより、複数の異なる操作を指示することができるため、従来のように異なる操作ごとに対応した釦等を用意する必要がなく、製品に余分な釦をつけたり、画面上に操作用のアイコンを表示する必要がなくなり、空いたスペース分、表示画面を拡大したり、製品を小型化することが可能となる。また、前記指先のジェスチャは、ユーザが日常生活で行っている動作を連想させる動きを採用しているため、特に訓練の必要も無く、ユーザは機器を直感的に操作することができる。
(2)また、請求項5,6に記載の発明によれば、表示画像を高速度で移動させることができ、目的の画像をより迅速に見つけることができる。
(3)また、請求項7〜12に記載の発明によれば、メイングループの画像のみならずそれに隣接するグループの画像も視認することができ、画像の検索がしやすい。
(4)また、請求項16に記載の発明によれば、装置構成が簡単化される。
(5)また、請求項17に記載の発明によれば、メイングループの画像のグループ名を容易に認識することができる。
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。
図1は本発明の第1の実施形態例に係る記録再生装置10の外観図である。この記録再生装置10は、携帯電話やPDA等のカメラ付の携帯情報表示端末、あるいはデジタルスチルカメラであり、筐体正面には図1(a)に示すように被写体からの被写体光を取り込むための撮影窓11と、被写体に向けて補助光を照射するための照明窓12が配設されている。また、この記録再生装置10の筐体背面には、図1(b)に示すように、LCDパネル等の画像表示装置13が配設されている。
図2は、記録再生装置10の内部構成例を示したブロック図である。図2において、レンズ、絞り、フィルタ等を備えた光学部20(検出手段)から入力された撮像光は、イメージャ21(検出手段)等の撮像素子により光電変換されて、アナログデータをデジタルデータに変換するA/D変換部22に供給される。デジタルデータに変換された画像データは、静止画像データを圧縮処理する信号処理回路23により処理されて記録部28(記録手段)に記録される。
記録部28は、取り外し可能な記録メディアであっても、内蔵のハードディスクやフラッシュメモリであっても良い。撮影者は、電源スイッチ、シャッタ等を備える操作部26より、電源のON/OFFや撮像操作を行うことが可能である。
記録再生装置10は撮影モードと閲覧(再生)モードを持ち、画像再生時には、画像表示装置13を備えた表示部27(表示手段)により、記録部28に保存してある画像データを随時読み出して表示可能である。
24は、後述する、光学部20およびイメージャ21により検出された人体部分又は物体、例えば手の、画像認識用の輪郭範囲の設定値、比較用のテンプレート画像や所定のパラメータ、プログラム等が記録された、書き換え可能なフラッシュメモリである。
25は、記録再生装置10内の処理を制御するCPU(表示切替手段)であり、前記フラッシュメモリ24より、随時必要なデータを読み出し、演算し、記録部28への書き込み処理等を行う。尚、図2において補助光を照射する光源等は図示省略している。
前記記録部28内のデータ構造は例えば図3のようになっており、画像データは撮影日時や撮影場所(GPS)ごとにグループ分けされた後、グループごとに記録される。たとえば、GPS搭載であれば、全ての画像データは撮影時のGPS情報をもとに、撮影場所ごとにグループ分けされているものとする。
次に、記録再生装置10の閲覧モード時の表示画面及び操作方法を図4〜図16とともに説明する。尚図6はCPU25が実行する処理のフローチャートを示している。
図4は記録再生装置10の閲覧モードにおける画像表示装置13の表示画面40を示している。表示画面40には、現在閲覧しているグループ41の画像データがサムネイル形式で画面中央に2列になって表示されている。グループ41のうち、点線で示されている部分は画面40の表示範囲外の部分であり、ユーザは、後述する、例えば仮想の手による直感的操作によって、グループ41を水平方向にスクロールさせることによって見ることができる。
また、グループ41のグループ名48は、その作成日時・枚数と共に表示画面40上に表示されている。また、グループ41の一つ前のグループであるグループ42と、一つ後のグループであるグループ43が、グループ41の上下に放射状に表示されており、さらに、それらに続くグループ44〜グループ47も表示画面40の表示領域の外に放射状に配置されている。ユーザは後述する操作により、前記グループ全体を風車の羽根ように回転させることで、現在閲覧しているグループを順次変えることができる。
ここで、図6のステップS1において、図5(b)のように、記録再生装置10に対して表示装置13の反対面(撮影窓11、照明窓12側の面)に、ユーザが手50をかざすと、記録再生装置10に設けられた撮影窓11内の光学部20がその様子を画像として取り込む。
この際、光学部20内のレンズはワイド端に固定されている。また、周囲が暗くユーザの手を撮影できない場合は、照明窓12から補助光を照射し、その光に照らされたユーザの手を撮影する。CPU25は、撮影窓11から撮像した画像信号を入力し、現在撮像中の範囲についての画像認識を利用した手位置検出を行う。適用可能な画像認識の手法としては、例えば、画像信号の色情報を基に肌色分布を検出して手の輪郭を含む範囲を特定し、あらかじめフラッシュメモリ24に記憶していた複数の手形態のテンプレートと比較して、手の存在の有無を判定する手法などが挙げられる。
ここで、図5(b)のように、ユーザがジェスチャとしてパー状態(第1の形状)で手50をかざすと、記録再生装置10に設けられた撮影窓11がその様子を画像として取り込み(ステップS1)、CPU25によってパー状態か否かが判定される(ステップS2)。そして、パー状態であると判定されると、チャートAを示す図7のステップS2−1において、図5(a)のように表示画面40にパー形状のアイコン51(第1のオブジェクト)を影がついた状態で表示する。この影は、アイコン51が表示画面40上のサムネイル画像に接触しておらず、この状態ではサムネイル画像を操作できないことを、ユーザに直感的に伝える効果を持つ。
この状態で、図7のステップS2−2において、手50が動いたか否かが判定される。そして図8(b)のように、矢印60の方向にユーザが手50を動かしたことが判定されると、図7のステップS2−3において、図8(a)の表示画面40上のアイコン51も、同様に矢印61の方向に動かす。矢印60の方向以外でも、ユーザが撮像範囲内で手50を動かせば、それに対応してアイコン51も表示画面40上で動く。また、手50が撮像範囲外に移動し、手が検出されなくなると、表示画面40上のアイコン51の表示を消し(図6のステップS5)、再度撮像範囲内に手50が入り、手が検出されると、表示画面40上にアイコン51を表示する(図7のステップS2−1)。
また、図9(b)のように、ユーザが人差し指のみ垂直に立てた状態(第2の形状)で手70をかざすと、記録再生装置10に設けられた撮影窓11がその様子を画像として取り込み(ステップS1)、CPU25によって指差し状態(縦)か否かが判定される(ステップS3)。縦の指差し状態であると判定されると、チャートBを示す図10のステップS3−1において、図9(a)のように表示画面40に指差し形状(縦)のアイコン71(第2のオブジェクト)を影無しで表示する。ここで影がないことにより、アイコン71は表示画面40上のサムネイル画像に接触しており、サムネイル画像を操作可能であることをユーザに直感的に伝える効果を持つ。
この状態で、図10のステップS3−2において手70が動いたか否かが判定される。そして図11(b)のように、矢印80の方向にユーザが手70を動かしたことが判定されると、図10のステップS3−3において、図11(a)の表示画面40上のアイコン71も、同様に矢印81の方向に動かす。
さらに図10のステップS3−4において、手70が水平方向に動いたか否かが判定され、水平方向に動いた場合はステップS3−5において、表示画面40上のグループ41も水平にスクロールし、ユーザはグループ41の内容を容易に閲覧することができる。例えば、図9(a)において、表示画面40の表示範囲外にある画像72を見たい場合、ユーザは図11(b)のように水平方向80に手70を動かすことで、図11(a)のように表示画面40上のアイコン71が水平方向81に動き、画像72を表示画面40の表示範囲内へスクロールさせることができる。
また、図11(b)において、ユーザが矢印80と逆の方向に手70を動かした場合は、グループ41も水平方向81とは逆の向きにスクロールし、前記と逆向きに同様のスクロール操作が可能である。また、手70が撮像範囲外に移動し、手が検出されなくなると、表示画面40上のアイコン71の表示を消し(図6のステップS5)、再度撮像範囲内に手70が入り、手が検出されると、表示画面40上にアイコン71を表示する(図10のステップS3−1)。
また前記スクロールの際の特徴として、ユーザの手70を動かす速度がある閾値以上の場合、グループ41は慣性を持ってスクロールし続け、手70をスクロールと逆方向に動かすと、スクロールを止めることが出来る。ユーザの手70を動かす速度がある閾値以下の場合は、グループ41は手70の移動量に応じて一定量スクロールする。この閾値は予め設定されているが、ユーザが自身で設定できるようにしても良い。
このようにユーザの手70の移動速度に応じてスクロール速度を変更する処理は、例えば図6のチャートB´を示す図12のフローチャートに沿って実行される。
図12において、ステップS3−1〜S3−4は図10のステップS3−1〜S3−4と同一の処理を行う。次にステップS30−1において、ユーザの手70の移動速度が所定の閾値以上か否かを判定し、閾値以上である場合はステップS30−2において手70の移動方向を判定する。
手70の移動方向が右である場合は、ステップ30−3において表示画面40上のグループ41(サムネイル画像)を慣性をもって右方向へスクロールし続け、その後手70が左に動いたことがステップS30−4において判定されると前記スクロールを停止させる(ステップS30−5)。
また手の移動方向が左である場合は、ステップ30−6において表示画面40上のグループ41(サムネイル画像)を慣性をもって左方向へスクロールし続け、その後手70が右に動いたことがステップS30−7において判定されると前記スクロールを停止させる(ステップS30−5)。
また前記ステップS30−1において、ユーザの手70の移動速度が閾値以上ではない場合は、ステップS30−8において手の移動方向が右であるか否かが判定される。
そして、手70の移動方向が右である場合は、ステップS30−9において表示画面40上のグループ41のサムネイル画像を手70の移動速度に比例した枚数分、右方向へスクロールし、手70の移動方向が左である場合は、ステップS30−10において表示画面40上のグループ41のサムネイル画像を手70の移動速度に比例した枚数分、左方向へスクロールする。
また、図13(b)のように、ユーザが人差し指のみを水平に伸ばした状態(第3の形状)で手90をかざすと、記録再生装置10に設けられた撮影窓11がその様子を画像として取り込み(図6のステップS1)、CPU25によって指差し状態(横)か否かが判定される(ステップS4)。
そして横の指差し状態であると判定されると、図6のチャートCを示す図14のステップS4−1において、図13(a)のように表示画面40に指差し形状のアイコン91(第3のオブジェクト)を影無しで表示する。ここで影がないことにより、アイコン91は表示画面40上のサムネイル画像に接触しており、サムネイル画像を操作可能であることをユーザに直感的に伝える効果を持つ。
この状態で図14のステップS4−2において手90が動いたか否かが判定される。そして図15(b)のように、矢印100の方向にユーザが手90を動かしたことが判定されると、図14のステップS4−3において、図15(a)の表示画面40上のアイコン91も、同様に矢印101方向に動かす。
さらに図14のステップS4−4において手90が垂直方向に動いたか否かが判定され、垂直方向に動いた場合はステップS4−5において、表示画面40上のグループ41を図15の回転方向103に沿って回転させ、図13のグループ43のあった場所に移動させる。また同時に、図13のグループ42は図15の回転方向102に沿って回転し、図13のグループ41のあった場所に移動し、図13のグループ42のあった場所には、その次のグループであるグループ44が表示画面40外から回転してきて表示される。そして最後に、グループ42のグループ名104が表示画面40上に表示される。
上記の操作により、ユーザは閲覧中のグループを図13に示すグループ41から図15に示すグループ42に変更することができる。例えば、図13(a)において、グループ42にある画像92を見たい場合、ユーザが図15(b)のように垂直方向100に手90を動かすことで、図15(a)のように表示画面40上のアイコン91が垂直方向101に動き、それに伴いグループ42が矢印102の方向に回転し、中央の閲覧中のグループとなることで、画像92を見ることができる。
また、図15(b)において、手90を垂直方向100の向きと逆に動かした場合、表示画面40上のアイコン91も垂直方向101と逆に動き、それに伴いグループ41は回転方向102と逆向きに回転した後、グループ42のあった場所に移動する。即ち、前記と逆向きに同様の操作で、グループを切り替えることが可能である。また、手90が撮像範囲外に移動し、手が検出されなくなると、表示画面40上のアイコン91の表示を消し(図6のステップS5)、再度撮像範囲内に手90が入り、手が検出されると、表示画面40上にアイコン91を表示する(図14のステップS4−1)。
また前記グループを切り替える際の操作の特徴として、図15(b)において、ユーザの手90を動かす速度がある閾値以上の場合、各グループは慣性を持って回転し続け、手90を回転と逆方向に動かすと、回転を止めることが出来る。ユーザの手90を動かす速度がある閾値以下の場合は、各グループは手90の移動量に応じて一定回数(回転角度)回転する。上記の閾値は予め設定されているが、ユーザが自身で設定できるようにしても良い。
このようにユーザの手90の移動速度に応じて各グループの回転速度を変更する処理は、例えば図6のチャートC´を示す図16のフローチャートに沿って実行される。
図16において、ステップS4−1〜S4−4は図14のステップS4−1〜S4−4と同一の処理を行う。次にステップS40−1において、ユーザの手90の移動速度が所定の閾値以上か否かを判定し、閾値以上である場合はステップS40−2において手90の移動方向を判定する。
手90の移動方向が下向きである場合は、ステップ40−3において表示画面40上のグループ全体を慣性をもって下方向へ回転させ、その後手90が上に動いたことがステップS40−4において判定されると前記回転を停止させる(ステップS40−5)。
また手の移動方向が上である場合は、ステップ40−6において表示画面40上のグループ全体を慣性をもって上方向へ回転させ続け、その後手90が下に動いたことがステップS40−7において判定されると前記回転を停止させる(ステップS40−5)。
また前記ステップS40−1において、ユーザの手90の移動速度が閾値以上ではない場合は、ステップS40−8において手の移動方向が下向きであるか否かが判定される。
そして、手90の移動方向が下向きである場合は、ステップS40−9において表示画面40上のグループ全体を手90の移動速度に比例した分、下方向へ回転し、手90の移動方向が上方向である場合は、ステップS40−10において表示画面40上のグループ全体を手90の移動速度に比例した分、上方向へ回転させる。
また、ユーザが上記のパー状態、指差し状態(縦)及び指差し状態(横)以外の形で、手をかざした場合、記録再生装置10に設けられた撮影窓11がその様子を画像として取り込み(図6のステップS1)、CPU25によって上記の3状態以外であると認識され(図6のステップS2〜S4)、表示画面40上の手のアイコンを消去する(図6のステップS5)。この状態では、ユーザは表示画面40上のグループ及び画像に対してスクロール及び回転操作ができず、画面40上の画像をゆっくり閲覧することができる。
また、上記の実施例では、GPSによる位置情報を用いたグループ分けをおこなったが、グループ分けの手法はこれに限らず、例えば、日時やWi-Fi(無線LAN)による位置情報、画像の顔認識による特徴分析等を基にグループ分けを行っても良い。
次に、図17乃至図19を参照して、本発明の第2の実施形態例を説明する。
図17(b)のように、記録再生装置110は画像表示装置111を具備する携帯電話やPDA等のカメラ付の携帯情報表示端末、あるいはデジタルスチルカメラである。画像表示装置111はバックライト付の液晶表示兼撮像装置であり、同装置は液晶のTFTトランジスタ内に微少な光センサを形成しており、画像表示装置111上に物体がかざされると、液晶部の光センサが物体の形状を画像として取り込むことが可能である。また、暗所においてもバックライトの照射光によって物体を照らし、その反射光により画像を得ることが可能である。
本実施形態例の記録再生装置110の内部構成は図2と略同様に構成されるが、A/D変換部22の入力側には図2の光学部20およびイメージャ21の出力の代わりに、前記液晶部の光センサの検出信号を取り込む構成となっている。
図17(a)に、記録再生装置110の閲覧モードにおける画像表示装置111の表示画面40を示す。この表示画面40は、第1の実施形態例とまったく同一である。
ここで、図17(b)のように、記録再生装置110に対して画像表示装置111上に、ユーザがパーの状態で手50をかざすと、画像表示装置111がその様子を画像として取り込む。CPU25は、画像表示装置111が取り込んだ画像信号を入力し、現在撮像中の範囲についての画像認識を利用した手位置検出を行う。適用可能な画像認識の手法としては、前記同様に例えば、画像信号の色情報を基に肌色分布を検出して手の輪郭を含む範囲を特定し、あらかじめ記憶していた複数の手形態のテンプレートと比較して、手の存在の有無を判定する手法などが挙げられる。こうしてユーザのパー状態の手50が検出された場合、図17(a)のように表示画面40にパー形状のアイコン51を影がついた状態で表示する。パー状態での表示画面40上の操作方法に関しては前記図6〜図8の動作と同じであるので、ここでは説明を省く。
また、図18(b)のように、ユーザが人差し指のみを垂直に立てた状態で手70をかざすと、記録再生装置110に設けられた画像表示装置111がその様子を画像として取り込み、CPU25によって指差し状態(縦)として検出される。そして、図18(a)のように表示画面40に指差し状態(縦)のアイコン71を影無しで表示する。指差し状態(縦)での表示画面40上の操作方法に関しては前記図9〜図12の動作と同じであるので、ここでは説明を省く。
また図19(b)のように、ユーザが人差し指のみを水平に伸ばした状態で手90をかざすと、記録再生装置110に設けられた画像表示装置111がその様子を画像として取り込み、CPU25によって指差し状態(横)として検出される。そして、図19(a)のように表示画面40に指差し状態(横)のアイコン91を影無しで表示する。指差し状態(横)の操作に関しては前記図13〜図16の動作と同じであるので、ここでは説明を省く。
また、ユーザが上記のパー状態、指差し状態(縦)及び指差し状態(横)以外の形で、手をかざした場合、記録再生装置110に設けられた画像表示装置111がその様子を画像として取り込み、CPU25によって上記の3状態以外であると認識され、表示画面40上の手のアイコンを消去する(図6のフローチャート)。この状態では、前記第1の実施形態例の場合と同様に、ユーザは表示画面40上のグループ及び画像に対してスクロール及び回転操作ができず、表示画面40上の画像をゆっくり閲覧することができる。
尚、表示画面40上での画像の切り替え(グループのスクロール、グループ全体の回転)はユーザの手50,70,90の3つの形状によるものに限らず、他の形状、例えば、グー、チョキ状態を用いてもよく、また形状の異なる複数の物体を用いてもよい。
本発明の第1の実施形態例の記録再生装置を示し、(a)は正面図、(b)は背面図。 本発明の第1の実施形態例の記録再生装置のブロック図。 本発明の記録手段に記録されるデータ構造の一例を示す説明図。 本発明の実施形態例の記録再生装置における閲覧モード時の画像データの配置を表す説明図。 本発明の実施形態例の記録再生装置における閲覧モード時の操作方法を表し、(a)は表示画面の説明図、(b)は外観の説明図。 本発明の実施形態例の記録再生装置の動作を示す全体のフローチャート。 本発明の実施形態例の記録再生装置の動作を示す一部のフローチャート。 本発明の実施形態例の記録再生装置における閲覧モード時の操作方法を表し、(a)は表示画面の説明図、(b)は外観の説明図。 本発明の実施形態例の記録再生装置における閲覧モード時の操作方法を表し、(a)は表示画面の説明図、(b)は外観の説明図。 本発明の実施形態例の記録再生装置の動作を示す一部のフローチャート。 本発明の実施形態例の記録再生装置における閲覧モード時の操作方法を表し、(a)は表示画面の説明図、(b)は外観の説明図。 本発明の実施形態例の記録再生装置の動作を示す一部のフローチャート。 本発明の実施形態例の記録再生装置における閲覧モード時の操作方法を表し、(a)は表示画面の説明図、(b)は外観の説明図。 本発明の実施形態例の記録再生装置の動作を示す一部のフローチャート。 本発明の実施形態例の記録再生装置における閲覧モード時の操作方法を表し、(a)は表示画面の説明図、(b)は外観の説明図。 本発明の実施形態例の記録再生装置の動作を示す一部のフローチャート。 本発明の第2の実施形態例の記録再生装置における閲覧モード時の操作方法を表し、(a)は表示画面の説明図、(b)は外観の説明図。 本発明の第2の実施形態例の記録再生装置における閲覧モード時の操作方法を表し、(a)は表示画面の説明図、(b)は外観の説明図。 本発明の第2の実施形態例の記録再生装置における閲覧モード時の操作方法を表し、(a)は表示画面の説明図、(b)は外観の説明図。
符号の説明
10,110…記録再生装置、11…撮影窓、12…照明窓、13,111…画像表示装置、20…光学部、21…イメージャ、22…A/D変換部、23…信号処理回路、24…フラッシュメモリ、25…CPU、26…操作部、27…表示部、28…記録部、40…表示画面、41〜47…グループ、48…グループ名、50,70,90…手、51…影つきのアイコン、71,91…影無しのアイコン。

Claims (11)

  1. 複数の画像を記録する記録手段と、
    自装置の筐体の一面に設けられた表示領域に前記複数の画像を表示する表示手段と、
    前記筐体の一面とは反対の面に設けられた検出領域に近接して位置する第1形状の操作体を検出する検出手段と、
    前記第1形状の操作体が検出されると、前記第1形状の操作体に対応するオブジェクトを前記表示領域に表示し、さらに前記第1形状の操作体の移動が検出されると、前記操作体の形状毎に定められた移動パターンに従って、前記第1形状の操作体の移動に連動して、前記表示領域上で前記複数の画像を基準点に対して回転させて表示する表示制御手段と
    を備える携帯型表示装置。
  2. 前記検出域に近接して移動する前記第形状の操作体の移動速度を算出する算出手段をさらに備え、
    前記表示制御手段は、前記第形状の操作体の移動速度が閾値以上である場合に、前記表示領域上で前記複数の画像を前記基準点に対して慣性を伴って回転させて表示する、請求項に記載の携帯型表示装置。
  3. 前記表示制御手段は、前記複数の画像を前記基準点に対して慣性を伴って一方向に回転させている途中で、前記第形状の操作体による前記方向とは反対の方向への移動が検出されると、前記表示領域上で前記複数の画像の回転を中止させて表示する、請求項に記載の携帯型表示装置。
  4. 記検出手段は、前記検出領域に近接して位置する前記第1形状とは異なる第2形状の操作体を検出し、
    前記表示制御手段は、前記第形状の操作体が検出されると、前記第2形状の操作体に対応するオブジェクトを前記表示領域に表示し、さらに前記第2形状の操作体の移動が検出されると、前記第形状の操作体の移動に連動して、前記表示領域上で前記複数の画像をスクロールさせて表示する、請求項1に記載の携帯型表示装置。
  5. 前記検出域に近接して移動する前記第形状の操作体の移動速度を算出する算出手段をさらに備え、
    前記表示制御手段は、前記第2形状の操作体の移動速度が閾値以上である場合に、前記表示領域上で前記複数の画像を慣性を伴ってスクロールさせて表示する、請求項に記載の携帯型表示装置。
  6. 前記表示制御手段は、前記複数の画像を方向に慣性を伴ってスクロールさせている途中で、前記第形状の操作体による前記方向とは反対の方向への移動が検出されると、前記表示領域上で前記複数の画像のスクロールを中止させて表示する、請求項5に記載の携帯型表示装置。
  7. 前記表示手段は、前記複数の画像をグループ毎に相異なる方向に並べて、前記基準点に対して放射状に前記表示領域に表示する、請求項1から6のいずれか1項に記載の携帯型表示装置。
  8. 前記表示手段が液晶パネルを備え、前記検出手段がCCDまたはCMOSイメージャを備えている、請求項1から7のいずれか1項に記載の携帯型表示装置。
  9. 前記表示手段は、前記複数の画像とともに、前記複数の画像のグループ名を表示する、請求項1から8のいずれか1項に記載の携帯型表示装置。
  10. 携帯型表示装置において、
    自装置の筐体の一面に設けられた表示領域に複数の画像を表し、
    前記筐体の一面とは反対の面に設けられた検出領域に近接して位置する第1形状の操作体を検出し、
    前記第1形状の操作体が検出されると、前記第1形状の操作体に対応するオブジェクトを前記表示領域に表示し、さらに前記第1形状の操作体の移動が検出されると、前記操作体の形状毎に定められた移動パターンに従って、前記第1形状の操作体の移動に連動して、前記表示領域上で前記複数の画像を基準点に対して回転させて表示すること
    を含む表示方法。
  11. 携帯型表示装置において、
    自装置の筐体の一面に設けられた表示領域に複数の画像を表し、
    前記筐体の一面とは反対の面に設けられた検出領域に近接して位置する第1形状の操作体を検出し、
    前記第1形状の操作体が検出されると、前記第1形状の操作体に対応するオブジェクトを前記表示領域に表示し、さらに前記第1形状の操作体の移動が検出されると、前記操作体の形状毎に定められた移動パターンに従って、前記第1形状の操作体の移動に連動して、前記表示領域上で前記複数の画像を基準点に対して回転させて表示すること
    を含む表示方法をコンピュータに実行させるためのプログラム。

JP2007302555A 2007-11-22 2007-11-22 記録再生装置 Expired - Fee Related JP4670860B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007302555A JP4670860B2 (ja) 2007-11-22 2007-11-22 記録再生装置
US12/272,017 US8872760B2 (en) 2007-11-22 2008-11-17 Recording and reproducing apparatus
US14/497,456 US9529444B2 (en) 2007-11-22 2014-09-26 Recording and reproducing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007302555A JP4670860B2 (ja) 2007-11-22 2007-11-22 記録再生装置

Publications (2)

Publication Number Publication Date
JP2009129142A JP2009129142A (ja) 2009-06-11
JP4670860B2 true JP4670860B2 (ja) 2011-04-13

Family

ID=40669285

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007302555A Expired - Fee Related JP4670860B2 (ja) 2007-11-22 2007-11-22 記録再生装置

Country Status (2)

Country Link
US (2) US8872760B2 (ja)
JP (1) JP4670860B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013175847A1 (ja) 2012-05-22 2013-11-28 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7459624B2 (en) 2006-03-29 2008-12-02 Harmonix Music Systems, Inc. Game controller simulating a musical instrument
US20090075711A1 (en) 2007-06-14 2009-03-19 Eric Brosius Systems and methods for providing a vocal experience for a player of a rhythm action game
US8678896B2 (en) 2007-06-14 2014-03-25 Harmonix Music Systems, Inc. Systems and methods for asynchronous band interaction in a rhythm action game
WO2010006054A1 (en) 2008-07-08 2010-01-14 Harmonix Music Systems, Inc. Systems and methods for simulating a rock and band experience
US8465366B2 (en) 2009-05-29 2013-06-18 Harmonix Music Systems, Inc. Biasing a musical performance input to a part
US9981193B2 (en) 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
US10357714B2 (en) 2009-10-27 2019-07-23 Harmonix Music Systems, Inc. Gesture-based user interface for navigating a menu
KR101224035B1 (ko) * 2009-12-14 2013-01-18 주식회사 케이티 배경 화면을 디스플레이하는 장치 및 방법
US8550908B2 (en) 2010-03-16 2013-10-08 Harmonix Music Systems, Inc. Simulating musical instruments
JP4943527B2 (ja) * 2010-03-25 2012-05-30 シャープ株式会社 画像表示操作装置及びそれを備えた画像形成装置
KR101743948B1 (ko) 2010-04-07 2017-06-21 삼성전자주식회사 인터렉티브 디스플레이에서 근접 센싱을 위한 방법 및 근접 센싱 이미지를 처리하는 방법
US8562403B2 (en) 2010-06-11 2013-10-22 Harmonix Music Systems, Inc. Prompting a player of a dance game
WO2011155958A1 (en) 2010-06-11 2011-12-15 Harmonix Music Systems, Inc. Dance game and tutorial
US9358456B1 (en) 2010-06-11 2016-06-07 Harmonix Music Systems, Inc. Dance competition game
WO2012011263A1 (ja) * 2010-07-20 2012-01-26 パナソニック株式会社 ジェスチャ入力装置およびジェスチャ入力方法
US9024166B2 (en) 2010-09-09 2015-05-05 Harmonix Music Systems, Inc. Preventing subtractive track separation
JP2012089112A (ja) * 2010-09-22 2012-05-10 Nikon Corp 画像表示装置
US8854802B2 (en) 2010-10-22 2014-10-07 Hewlett-Packard Development Company, L.P. Display with rotatable display screen
US20120102439A1 (en) * 2010-10-22 2012-04-26 April Slayden Mitchell System and method of modifying the display content based on sensor input
US9164581B2 (en) 2010-10-22 2015-10-20 Hewlett-Packard Development Company, L.P. Augmented reality display system and method of display
US9489102B2 (en) * 2010-10-22 2016-11-08 Hewlett-Packard Development Company, L.P. System and method of modifying lighting in a display system
JP5479414B2 (ja) * 2010-11-24 2014-04-23 キヤノン株式会社 情報処理装置およびその制御方法
US20120194692A1 (en) * 2011-01-31 2012-08-02 Hand Held Products, Inc. Terminal operative for display of electronic record
US20120194415A1 (en) * 2011-01-31 2012-08-02 Honeywell International Inc. Displaying an image
US8717318B2 (en) * 2011-03-29 2014-05-06 Intel Corporation Continued virtual links between gestures and user interface elements
BR112013026624A2 (pt) 2011-04-20 2016-12-27 Koninkl Philips Nv aparelho para o controle de um elemento ou um item, dispositivo, método para o controle de um elemento ou um item, produto de programa de computador e meio de armazenamento
JP5994434B2 (ja) * 2011-10-07 2016-09-21 カシオ計算機株式会社 電子機器、及びプログラム
USD748136S1 (en) * 2013-02-23 2016-01-26 Samsung Electronics Co., Ltd. Display screen or portion thereof with icon
US10220303B1 (en) 2013-03-15 2019-03-05 Harmonix Music Systems, Inc. Gesture-based music game
KR20150110032A (ko) * 2014-03-24 2015-10-02 삼성전자주식회사 영상데이터 처리 전자장치 및 방법
US10782787B2 (en) * 2014-06-06 2020-09-22 Adobe Inc. Mirroring touch gestures
JP6447179B2 (ja) * 2015-01-28 2019-01-09 富士ゼロックス株式会社 情報入力システムおよび入力装置
CN104714642A (zh) * 2015-03-02 2015-06-17 惠州Tcl移动通信有限公司 一种移动终端及其手势识别处理方法和系统
JP6354653B2 (ja) * 2015-04-25 2018-07-11 京セラドキュメントソリューションズ株式会社 拡張現実操作システムおよび拡張現実操作プログラム
US10558278B2 (en) 2017-07-11 2020-02-11 Apple Inc. Interacting with an electronic device through physical movement
US10937240B2 (en) 2018-01-04 2021-03-02 Intel Corporation Augmented reality bindings of physical objects and virtual objects
JP7155613B2 (ja) * 2018-05-29 2022-10-19 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
US12449907B2 (en) 2021-05-19 2025-10-21 Apple Inc. Navigating user interfaces using a cursor
US12579758B2 (en) 2022-02-08 2026-03-17 Apple Inc. Devices, methods, and graphical user interfaces for interacting with virtual objects using hand gestures
JP2023134129A (ja) * 2022-03-14 2023-09-27 富士フイルムビジネスイノベーション株式会社 画像形成装置及び画像形成プログラム
US12386428B2 (en) 2022-05-17 2025-08-12 Apple Inc. User interfaces for device controls

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03122736A (ja) 1989-10-05 1991-05-24 Toshiba Corp データ処理装置
JPH03122736U (ja) * 1990-03-29 1991-12-13
JP3355708B2 (ja) * 1993-06-29 2002-12-09 カシオ計算機株式会社 コマンド処理装置
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
JP3777650B2 (ja) * 1995-04-28 2006-05-24 松下電器産業株式会社 インターフェイス装置
EP0823683B1 (en) * 1995-04-28 2005-07-06 Matsushita Electric Industrial Co., Ltd. Interface device
JPH09237151A (ja) 1996-03-01 1997-09-09 Gijutsu Kenkyu Kumiai Shinjoho Shiyori Kaihatsu Kiko グラフィカルユーザインタフェース
JP2000105772A (ja) * 1998-07-28 2000-04-11 Sharp Corp 情報管理装置
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
JP2000187554A (ja) * 1998-12-24 2000-07-04 Casio Comput Co Ltd 入力装置
JP3122736B2 (ja) 1999-03-24 2001-01-09 財団法人地球環境産業技術研究機構 水電解槽用複極板およびその製造方法
JP3852368B2 (ja) * 2002-05-16 2006-11-29 ソニー株式会社 入力方法及びデータ処理装置
JP2004104594A (ja) * 2002-09-11 2004-04-02 Toshiba Corp デジタルスチルカメラ及びユーザ指示入力方法
JP2006040050A (ja) * 2004-07-28 2006-02-09 Olympus Corp 再生装置、カメラおよび再生装置の表示切換方法
US7386806B2 (en) * 2005-01-05 2008-06-10 Hillcrest Laboratories, Inc. Scaling and layout methods and systems for handling one-to-many objects
JP4613689B2 (ja) * 2005-05-20 2011-01-19 三菱電機株式会社 光センサ内蔵表示装置
JP2007128497A (ja) * 2005-10-05 2007-05-24 Sony Corp 表示装置および表示方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013175847A1 (ja) 2012-05-22 2013-11-28 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
US10360706B2 (en) 2012-05-22 2019-07-23 Sony Corporation Device method and program for adjusting a display state of a superimposed image

Also Published As

Publication number Publication date
JP2009129142A (ja) 2009-06-11
US8872760B2 (en) 2014-10-28
US9529444B2 (en) 2016-12-27
US20150012894A1 (en) 2015-01-08
US20090135135A1 (en) 2009-05-28

Similar Documents

Publication Publication Date Title
JP4670860B2 (ja) 記録再生装置
US10152222B2 (en) Digital image processing device and associated methodology of performing touch-based image scaling
JP3977684B2 (ja) デジタルスチルカメラ
US8760418B2 (en) Display control apparatus, display control method and display control program
US8629847B2 (en) Information processing device, display method and program
JP5259315B2 (ja) 画像検索装置、デジタルカメラ、画像検索方法および画像検索用プログラム
RU2541852C2 (ru) Устройство и способ для управления пользовательским интерфейсом на основе движений
CN103164155B (zh) 显示处理装置
US20120154305A1 (en) Image display control apparatus and image display control method
JP2005234993A (ja) 画像表示装置、及び画像表示方法
JP2009187426A (ja) 記録再生装置
US20100103136A1 (en) Image display device, image display method, and program product
JP2008204402A (ja) ユーザインターフェース装置
EP1014708A2 (en) Image-capturing device
WO2006036069A1 (en) Information processing system and method
US20100097337A1 (en) Method for operating page and electronic device
WO2016196988A1 (en) Quick review of captured image data
KR20110074663A (ko) 정보처리장치 및 그 제어 방법
JP4190935B2 (ja) 携帯端末装置
JP2000253286A (ja) 無線通信機能付電子計算機
CN112492205B (zh) 图像预览方法、装置和电子设备
JP2005025268A (ja) 電子機器および表示制御方法
CN117527952A (zh) 控制方法、电子设备及可读存储介质
KR101126867B1 (ko) 터치 패턴을 이용하여 촬영모드를 분류?촬영할 수 있는 휴대용 단말기의 촬영방법
CN112333395A (zh) 对焦控制方法、装置及电子设备

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101221

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110103

R151 Written notification of patent or utility model registration

Ref document number: 4670860

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140128

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees