WO2015033609A1 - 情報処理装置、入力方法およびプログラム - Google Patents

情報処理装置、入力方法およびプログラム Download PDF

Info

Publication number
WO2015033609A1
WO2015033609A1 PCT/JP2014/060371 JP2014060371W WO2015033609A1 WO 2015033609 A1 WO2015033609 A1 WO 2015033609A1 JP 2014060371 W JP2014060371 W JP 2014060371W WO 2015033609 A1 WO2015033609 A1 WO 2015033609A1
Authority
WO
WIPO (PCT)
Prior art keywords
contact
sound
input
waveform
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2014/060371
Other languages
English (en)
French (fr)
Inventor
康輔 丸井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Casio Mobile Communications Ltd
Original Assignee
NEC Casio Mobile Communications Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Casio Mobile Communications Ltd filed Critical NEC Casio Mobile Communications Ltd
Priority to CN201480049590.5A priority Critical patent/CN105683881A/zh
Priority to US14/911,073 priority patent/US20160179239A1/en
Priority to JP2015535336A priority patent/JPWO2015033609A1/ja
Priority to EP14841796.7A priority patent/EP3046009A4/en
Publication of WO2015033609A1 publication Critical patent/WO2015033609A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1636—Sensing arrangement for detection of a tap gesture on the housing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection

Definitions

  • the present invention relates to an information processing apparatus including a touch input device.
  • touch-type input devices have detected a contact position where an input means such as a finger or a stylus is in contact, but there has been a problem that input operations by the input means are limited only by detecting the contact position. .
  • Patent Document 1 describes an information processing apparatus that detects vibration information related to a contact sound that is generated when an operating body that is an input means contacts an operation surface, instead of detecting a contact area.
  • the information processing apparatus classifies the operating body into one of two predetermined types by comparing the volume of the contact sound with a threshold value based on the detected vibration information, and operates according to the type. is doing.
  • the operation body is simply classified into one of two predetermined types by comparing the volume of the contact sound and the threshold value. There is a problem that it cannot be realized.
  • An object of the present invention is to provide an information processing apparatus, an input method, and a program that can solve the above-described problem that a fine input operation cannot be realized.
  • the information processing apparatus includes: a contact detection unit that detects contact by an input unit; a sound detection unit that detects sound generated according to the contact; and the input based on the sound waveform and the contact. And an input determination unit that determines an input operation by means.
  • the input method detects a contact by the input means, detects a sound generated in response to the contact, and determines an input operation by the input means based on the waveform of the sound and the contact.
  • the program according to the present invention is a program for detecting a contact by an input unit, a procedure for detecting a sound generated in response to the contact, a waveform of the sound, and the input by the input unit. And a procedure for determining an operation.
  • FIG. 1 is a block diagram showing the configuration of the information processing apparatus according to the first embodiment of the present invention.
  • An information processing apparatus 10 illustrated in FIG. 1 includes a contact detection unit 1, a sound detection unit 2, a storage unit 3, a display unit 4, and an input determination unit 5.
  • the information processing apparatus 10 is, for example, a mobile phone, a smartphone, a game machine, a PC (Personal Computer), a PDA (Personal Digital Assistant: portable information terminal), or the like.
  • the PC includes a tablet PC and a notebook PC.
  • the contact detection unit 1 detects contact by the input means and outputs a detection signal indicating the detection result.
  • the detection signal indicates, for example, a contact position or a contact area where the input unit is in contact as a detection result.
  • the contact detection unit 1 is, for example, a touch panel or a touch sensor. Further, the detection method for detecting contact is not particularly limited, but for example, a capacitance method or the like.
  • the input means is, for example, a finger or a stylus.
  • the sound detection unit 2 detects a generated sound that is a sound generated in response to contact with the contact detection unit 1 of the input means, and outputs a generated sound signal indicating the generated sound.
  • the information processing apparatus 10 is a mobile phone or the like
  • the information processing apparatus 10 may be provided with a microphone for performing transmission or the like.
  • the sound detection unit 2 may be shared with the microphone or may be provided separately from the microphone.
  • the storage unit 3 stores various information.
  • the storage unit 3 stores a plurality of registered sound information indicating each of the plurality of registered sounds.
  • the registered sound is a sound corresponding to a contact type in which the input unit contacts the contact detection unit 1, and the storage unit 3 stores registered sound information for each contact type.
  • the contact type is, for example, a type in which the contact detection unit 1 is contacted with the belly of the finger, a type in which the contact detection unit 1 is contacted with the fingernail. Further, the contact type is a type in which the contact detection unit 1 is pressed with the finger pad, a type in which the contact detection unit 1 is rubbed with the finger pad, a type in which the contact detection unit 1 is hit with the fingernail, and the contact detection unit 1 with the fingernail. For example, the contact detection unit 1 may be struck with a stylus, or the contact detection unit 1 may be rubbed with a stylus.
  • the registered sound information may be stored in advance in the storage unit 3 or may be registered by a user who uses the information processing apparatus 10.
  • the display unit 4 displays various information.
  • the display unit 4 is, for example, an LCD (Liquid Crystal Display).
  • the contact detection unit 1 may be integrally formed with the display unit 4, may be attached so as to overlap with the display unit 4, or is provided at a location different from the display unit 4. Also good.
  • examples of the method for integrally molding the contact detection unit 1 and the display unit 4 include an on-cell type and an in-cell type.
  • the input determination unit 5 determines an input operation by the input unit based on the waveform of the generated sound detected by the sound detection unit 2 and the contact detected by the sound detection unit 2.
  • the input determination unit 5 determines an input operation as follows.
  • the input determination unit 5 determines the waveform of the generated sound indicated by the generated sound signal output from the sound detection unit 2. At this time, the input determination unit 5 may determine the waveform of the generated sound detected within a predetermined time from the detection time when the contact is detected by the contact detection unit 1, or the generated sound signal is detected from the detection time. You may discriminate
  • the input determination unit 5 compares the waveform of the generated sound with the waveform of each registered sound of the registered sound information stored in the storage unit 3, and based on the comparison result and the contact. The input operation is determined.
  • the input determination unit 5 first compares the waveform of the generated sound with the waveform of each registered sound, and calculates the similarity between the waveform of the generated sound and the waveform of the registered sound.
  • the method for calculating the similarity is not particularly limited, and examples thereof include a method for calculating a correlation function between the waveform of the generated sound and the waveform of the registered sound as the similarity.
  • the input determination unit 5 determines that the contact is made in the contact type corresponding to the registered sound having the waveform having the highest similarity with the waveform of the generated sound, and the input operation is performed based on the contact type and the contact. Determine. For example, the input determination unit 5 determines, as an input operation, the contact position and the contact type that the input unit has contacted based on the contact type and the contact.
  • the input determination unit 5 may determine that contact has been made in a contact format corresponding to a registered sound having a waveform with the highest similarity when the highest similarity is equal to or greater than a predetermined threshold. At this time, when the highest similarity is less than the threshold, the input determination unit 5 may determine that contact has been performed in a predetermined contact format, or may determine that an input operation has not been performed. Good. If it is determined that an input operation has not been performed, the input determination unit 5 may display error information indicating an error on the display unit 4.
  • FIG. 2 is a diagram for explaining an example of the operation of the information processing apparatus 10. In the following operation, an operation when the user scratches the contact detection unit 1 with a nail as shown in FIG. 3 will be described.
  • the contact detection unit 1 detects the contact with the nail and outputs a detection signal indicating the detection result to the input determination unit 5 (step S201).
  • the sound detection unit 2 detects a generated sound generated when the contact detection unit 1 is scratched with a nail, and outputs a generated sound signal indicating the generated sound to the input determination unit 5 (step S202).
  • the input determining unit 5 determines the waveform of the generated sound indicated by the generated sound signal (step S203).
  • the input determination unit 5 compares the waveform of the generated sound with the waveform of each registered sound indicated by each registered sound information stored in the storage unit 3, and determines the waveform of the generated sound and the waveform of each registered sound. Is calculated (step S204).
  • the input determination unit 5 determines whether or not the highest similarity among the calculated similarities is greater than or equal to a threshold value (step S205).
  • the input determination unit 5 displays error information on the display unit 4 (step S206), and ends the process.
  • the input determination unit 5 determines that the contact has been made in the contact format corresponding to the registered sound having the waveform having the highest similarity with the waveform of the generated sound. Then, the input determination unit 5 determines an input operation based on the determined contact type and the detection result indicated by the detection signal (step S207), and ends the process.
  • the input determination unit 5 does not compare the waveform of the generated sound with the waveform of the registered sound, but extracts a change in a specific frequency component from the waveform of the generated sound, and based on the change in the frequency component, the contact format May be judged.
  • the storage unit 3 stores, as registered sound information, information indicating a change in frequency corresponding to the contact type for each contact type.
  • the storage unit 3 may store information indicating the characteristics of the frequency component change according to the contact type as registered sound information. .
  • the input operation is determined based on the contact by the input means and the waveform of the sound generated in response to the contact, there are various types in which the waveform changes. Since different input operations can be realized depending on the contact type, it is possible to realize fine input operations.
  • the input operation is determined based on the comparison result obtained by comparing the waveform of the generated sound and the waveform of each registered sound and the contact, it is possible to determine the input operation more accurately. Become.
  • the waveform of the generated sound is compared with the waveform of each registered sound, and the similarity between the waveform of the generated sound and each registered sound is calculated, so that the input operation can be determined more accurately. Is possible.
  • the input operation is determined based on the contact type and the contact corresponding to the registered sound having the waveform having the highest similarity, the input operation can be determined more accurately. .
  • the input operation is determined based on the waveform of the generated sound and the contact detected within a predetermined time from when the contact is detected, it is possible to quickly determine the input operation. It becomes possible.
  • the input operation is determined based on the waveform of the generated sound and the contact from when the contact is detected until the volume of the generated sound becomes a predetermined value or less. Can be determined.
  • FIG. 4 is a block diagram showing the configuration of the information processing apparatus according to the second embodiment of the present invention.
  • the information processing apparatus 20 illustrated in FIG. 4 includes a contact detection unit 21, a sound detection unit 22, and an input determination unit 23.
  • Contact detection unit 21 detects contact by an input means.
  • the sound detection unit 22 detects sound generated in response to contact with the contact detection unit 21 by the input means.
  • the input determination unit 23 determines an input operation by the input unit based on the sound waveform detected by the sound detection unit 22 and the contact detected by the contact detection unit 21.
  • FIG. 5 is a flowchart for explaining the operation of the information processing apparatus 20.
  • the contact detection unit 1 detects contact by the input means, it outputs a detection signal indicating the detection result to the input determination unit 23 (step S501).
  • the sound detection unit 2 detects a sound generated in response to the contact with the contact detection unit 1 by the input means, and outputs a generated sound signal indicating the sound to the input determination unit 23 (step S502).
  • the input determining unit 23 determines an input operation by the input means based on the sound waveform indicated by the generated sound signal and the contact indicated by the detection signal (step S503), and processing Exit.
  • the input operation is determined based on the contact by the input means and the waveform of the sound generated in response to the contact.
  • An input operation can be realized.
  • the functions of the information information devices 10 and 20 record a program for realizing the functions on a computer-readable recording medium, and cause the computer to read and execute the program recorded on the recording medium. That may be realized.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　細やかな入力操作を実現することができないという問題を解決することが可能な情報処理装置を提供することである。　接触検出部２１は、入力手段による接触を検出する。音検出部２２は、その接触に応じて発生する音を検出する。入力判定部２３は、音の波形と接触とに基づいて、入力手段による入力操作を判定する。

Description

情報処理装置、入力方法およびプログラム
　本発明は、タッチ式入力装置を備えた情報処理装置に関する。
　スマートフォンのような情報処理装置として、入力装置としてタッチ式入力装置を備えたものが普及している。タッチ式入力装置は、従来、指やスタイラスのような入力手段が接触した接触位置を検出していたが、接触位置の検出のみでは、入力手段による入力操作が限られてしまうという問題があった。
　このため、近年では、タッチ式入力装置として、接触位置に加えて、接触面積や、接触位置の変化、接触面積の変化などを検出するものが開発されている。
　また、特許文献１には、接触面積を検出する代わりに、入力手段である操作体が操作面に接触した際に生じる接触音に関する振動情報を検出する情報処理装置が記載されている。この情報処理装置は、検出した振動情報に基づいて、接触音の音量と閾値とを比較することで、操作体を予め定められた２つの種別のいずれかに分類し、その種別に応じて動作している。
特開２０１１－０２８５５５号公報
　特許文献１に記載の情報処理装置では、接触音の音量と閾値とを比較することで、操作体を予め定められた２つの種別のいずれかに分類しているだけなので、細やかな入力操作を実現することができないという問題がある。
　本発明の目的は、上記の課題である、細やかな入力操作を実現することができないという問題を解決することが可能な情報処理装置、入力方法およびプログラムを提供することである。
　本発明による情報処理装置は、入力手段による接触を検出する接触検出部と、前記接触に応じて発生する音を検出する音検出部と、前記音の波形と前記接触とに基づいて、前記入力手段による入力操作を判定する入力判定部と、を有する。
　本発明による入力方法は、入力手段による接触を検出し、前記接触に応じて発生する音を検出し、前記音の波形と前記接触とに基づいて、前記入力手段による入力操作を判定する。
　本発明によるプログラムは、コンピュータに、入力手段による接触を検出する手順と、前記接触に応じて発生する音を検出する手順と、前記音の波形と前記接触とに基づいて、前記入力手段による入力操作を判定する手順とを実行させる。
　本発明によれば、細やかな入力操作を実現することが可能になる。
本発明の第１の実施形態の情報処理装置の構成を示すブロック図である。 本発明の第１の実施形態の情報処理装置の動作の一例を説明するためのフローチャートである。 接触形式の一例を示す図である。 本発明の第２の実施形態の情報処理装置の構成を示すブロック図である。 本発明の第２の実施形態の情報処理装置の動作の一例を説明するためのフローチャートである。
　以下、本発明の実施形態について図面を参照して説明する。なお、以下の説明では、同じ機能を有するものには同じ符号を付け、その説明を省略する場合がある。
　図１は、本発明における第１の実施形態の情報処理装置の構成を示すブロック図である。図１に示す情報処理装置１０は、接触検出部１と、音検出部２と、記憶部３と、表示部４と、入力判定部５とを有する。情報処理装置１０は、例えば、携帯電話機、スマートフォン、ゲーム機、ＰＣ（Personal　Computer）またはＰＤＡ（Personal　Digital　Assistant：携帯情報端末）などである。なお、ＰＣは、タブレット型ＰＣおよびノート型ＰＣなどを含む。
　接触検出部１は、入力手段による接触を検出し、その検出結果を示す検出信号を出力する。検出信号は、検出結果として、例えば、入力手段が接触した接触位置や接触面積などを示す。
　なお、接触検出部１は、例えば、タッチパネルやタッチセンサなどである。また、接触を検出する検出方式は特に限定されないが、例えば、静電容量方式などである。また、入力手段は、例えば、指やスタイラスなどである。
　音検出部２は、入力手段の接触検出部１への接触に応じて発生する音である発生音を検出し、その発生音を示す発生音信号を出力する。なお、情報処理装置１０が携帯電話機などの場合、送話などを行うためのマイクが情報処理装置１０に備わっていることがある。この場合、音検出部２は、そのマイクと兼用されていてもよいし、マイクとは別に設けられていても。
　記憶部３は、種々の情報を記憶する。例えば、記憶部３は、複数の登録音のそれぞれを示す複数の登録音情報を記憶する。登録音は、具体的には、入力手段が接触検出部１に接触する接触形式に応じた音であり、記憶部３は、接触形式ごとに登録音情報を記憶する。
　接触形式は、例えば、指の腹で接触検出部１に接触する形式、指の爪で接触検出部１に接触にする形式などである。また、接触形式は、指の腹で接触検出部１を押す形式、指の腹で接触検出部１を擦る形式、指の爪で接触検出部１を叩く形式、指の爪で接触検出部１を引っ掻く形式、スタイラスで接触検出部１を叩く形式、スタイラスで接触検出部１を擦る形式などでもよい。
　なお、登録音情報は、記憶部３に予め記憶していてもよいし、情報処理装置１０を使用するユーザにて登録されてもよい。
　表示部４は、種々の情報を表示する。なお、表示部４は、例えばＬＣＤ（Liquid　Crystal　Display：液晶ディスプレイ）である。また、接触検出部１は、表示部４と一体成型されていてもよいし、表示部４と重畳するように取り付けられていてもよいし、表示部４とは別の箇所に設けられていてもよい。また、接触検出部１と表示部４とを一体成型する方式としては、オンセル型やインセル型などが挙げられる。
　入力判定部５は、音検出部２にて検出された発生音の波形と、音検出部２にて検出された接触とに基づいて、入力手段による入力操作を判定する。
　入力判定部５は、具体的には、以下のように入力操作を判定する。
　先ず、入力判定部５は、音検出部２から出力された発生音信号が示す発生音の波形を判別する。このとき、入力判定部５は、接触検出部１にて接触が検出された検出時点から所定の時間内に検出された発生音の波形を判別してもよいし、検出時点から発生音信号が示す発生音の音量が所定値以下になるまでの波形を判別してもよい。
　発生音の波形を判別すると、入力判定部５は、発生音の波形と、記憶部３に記憶された登録音情報のそれぞれの登録音の波形とを比較し、その比較結果と接触とに基づいて、入力操作を判定する。
　具体的には、入力判定部５は、先ず、発生音の波形と各登録音の波形とを比較して、発生音の波形と登録音の波形との類似度を算出する。類似度を算出する方法は、特に限定されないが、例えば、発生音の波形と登録音の波形との相関関数を類似度として算出する方法などが挙げられる。
　そして、入力判定部５は、発生音の波形との類似度が最も高い波形を有する登録音に応じた接触形式で接触が行われたと判断し、その接触形式と接触とに基づいて、入力操作を判定する。例えば、入力判定部５は、接触形式と接触に基づいて、入力手段が接触した接触位置および接触形式を入力操作として判定する。
　なお、入力判定部５は、最も高い類似度が予め定められた閾値以上の場合に、類似度が最も高い波形を有する登録音に応じた接触形式で接触が行われたと判断してもよい。このとき、最も高い類似度が閾値未満の場合には、入力判定部５は、所定の接触形式で接触が行われたと判断してもよいし、入力操作が行われていないと判断してもよい。また、入力操作が行われていないと判断した場合、入力判定部５は、エラーを示すエラー情報を表示部４に表示してもよい。
　次に動作を説明する。
　図２は、情報処理装置１０の動作の一例を説明するための図である。なお、以下の動作では、図３に示すようにユーザが接触検出部１を爪で引っ掻いたときの動作を説明する。
　ユーザが接触検出部１を爪で引っ掻くと、接触検出部１は、爪による接触を検出し、その検出結果を示す検出信号を入力判定部５に出力する（ステップＳ２０１）。
　また、音検出部２は、爪で接触検出部１を引っ掻いた際に発生した発生音を検出し、その発生音を示す発生音信号を入力判定部５に出力する（ステップＳ２０２）。
　入力判定部５は、検出信号および発生音信号を受け付けると、発生音信号が示す発生音の波形を判別する（ステップＳ２０３）。
　その後、入力判定部５は、発生音の波形と、記憶部３に記憶されている各登録音情報が示す各登録音の波形とを比較して、発生音の波形と各登録音の波形との類似度を算出する（ステップＳ２０４）。
　そして、入力判定部５は、算出した類似度のうち最も高い類似度が閾値以上か否かを判断する（ステップＳ２０５）。
　最も高い類似度が閾値未満の場合、入力判定部５は、エラー情報を表示部４に表示して（ステップＳ２０６）、処理を終了する。
　一方、最も高い類似度が閾値以上の場合、入力判定部５は、発生音の波形との類似度が最も高い波形を有する登録音に応じた接触形式で接触が行われたと判断する。そして、入力判定部５は、その判断した接触形式と検出信号が示す検出結果とに基づいて、入力操作を判定して（ステップＳ２０７）、処理を終了する。
　なお、以上説明した構成および動作は単なる一例であって、これに限定されるものではない。
　例えば、入力判定部５は、発生音の波形と登録音の波形とを比較するのではなく、発生音の波形から特定の周波数成分の変化を抽出し、その周波数成分の変化に基づいて接触形式を判断してもよい。
　この例では、記憶部３は、登録音情報として、その接触形式に応じた周波数の変化を示す情報を接触形式ごとに記憶する。また、接触形式ごとに周波数成分の変化の特徴が把握できている場合には、記憶部３は、登録音情報として接触形式に応じた周波数成分の変化の特徴を示す情報を記憶してもよい。
　以上説明したように本実施形態によれば、入力手段による接触と、その接触に応じて発生した発生音の波形とに基づいて、入力操作が判定されるので、波形が変化するような様々な接触形式に応じて異なる入力操作を実現することが可能になるので、細やかな入力操作を実現することが可能になる。
　また、本実施形態では、発生音の波形と各登録音の波形とを比較した比較結果と接触とに基づいて、入力操作が判定されるので、入力操作をより正確に判定することが可能になる。
　また、本実施形態では、発生音の波形と各登録音の波形とを比較して、発生音の波形と各登録音との類似度が算出されるので、入力操作をより正確に判定することが可能になる。
　また、本実施形態では、類似度が最も高い波形を有する登録音に応じた接触形式と接触とに基づいて、入力操作が判定されるので、入力操作をより正確に判定することが可能になる。
　また、本実施形態では、接触が検出された時点から所定の時間内に検出された発生音の波形と接触とに基づいて、入力操作が判定されるので、入力操作を速やかに判定することが可能になる。
　また、本実施形態では、接触が検出された時点から発生音の音量が所定値以下になるまでの発生音の波形と接触とに基づいて、入力操作が判定されるので、入力操作をより正確に判定することが可能になる。
　次に第２の実施形態について説明する。
　図４は、本発明の第２の実施形態の情報処理装置の構成を示すブロック図である。図４に示す情報処理装置２０は、接触検出部２１と、音検出部２２と、入力判定部２３とを有する。
　接触検出部２１は、入力手段による接触を検出する。
　音検出部２２は、入力手段による接触検出部２１への接触に応じて発生する音を検出する。
　入力判定部２３は、音検出部２２が検出した音の波形と、接触検出部２１が検出した接触とに基づいて、入力手段による入力操作を判定する。
　図５は、情報処理装置２０の動作を説明するためのフローチャートである。
　先ず、接触検出部１は、入力手段による接触を検出すると、その検出結果を示す検出信号を入力判定部２３に出力する（ステップＳ５０１）。
　また、音検出部２は、入力手段による接触検出部１への接触に応じて発生した音を検出し、その音を示す発生音信号を入力判定部２３に出力する（ステップＳ５０２）。
　入力判定部２３は、検出信号および発生音信号を受け付けると、発生音信号が示す音の波形と、検出信号が示す接触とに基づいて、入力手段による入力操作を判定し（ステップＳ５０３）、処理を終了する。
　以上説明したように本実施形態でも、第１の実施形態の同様に、入力手段による接触と、その接触に応じて発生する音の波形とに基づいて、入力操作が判定されるので、細やかな入力操作を実現することが可能になる。
　以上説明した各実施形態において、図示した構成は単なる一例であって、本発明はその構成に限定されるものではない。
　例えば、情報情報装置１０および２０の機能は、その機能を実現するためのプログラムを、コンピュータにて読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませ実行させることで、実現されてもよい。
　この出願は、２０１３年９月９日に出願された日本出願特願２０１３－１８５９１９号公報を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１、２１　　接触検出部
　２、２２　　音検出部
　３　　　　　記憶部
　４　　　　　表示部
　５、２３　　入力判定部
　１０、２０　情報処理装置

Claims (9)

  1. 　入力手段による接触を検出する接触検出部と、
    　前記接触に応じて発生する音を検出する音検出部と、
    　前記音の波形と前記接触とに基づいて、前記入力手段による入力操作を判定する入力判定部と、を有する情報処理装置。
  2. 　複数の登録音のそれぞれを示す複数の登録音情報を記憶する記憶部をさらに有し、
    　前記入力判定部は、前記音の波形と各登録音の波形とを比較し、当該比較結果と前記接触とに基づいて、前記入力操作を判定する、請求項１に記載の情報処理装置。
  3. 　前記入力判定部は、前記音の波形と各登録音の波形とを比較して、前記音の波形と各登録音の波形との類似度を算出する、請求項２に記載の情報処理装置。
  4. 　前記記憶部は、入力手段が前記接触検出部に接触する接触形式ごとに、当該接触形式に応じた音を前記登録音として示す登録音情報を記憶し、
    　前記入力判定部は、前記類似度が最も高い波形を有する登録音に応じた接触形式と前記接触とに基づいて、前記入力操作を判定する、請求項３に記載の情報処理装置。
  5. 　前記入力判定部は、前記類似度のうち最も高い類似度が閾値以上の場合、当該類似度の波形を有する登録音に応じた接触形式と前記接触とに基づいて、前記入力操作を判定する、請求項４に記載の情報処理装置。
  6. 　前記入力判定部は、前記接触が検出された時点から所定の時間内に検出された音の波形と前記接触とに基づいて、前記入力操作を判定する、請求項１ないし５のいずれか１項に記載の情報処理装置。
  7. 　前記入力判定部は、前記接触が検出された時点から前記音の音量が所定値以下になるまでの前記音の波形と前記接触とに基づいて、前記入力操作を判定する、請求項１ないし５のいずれか１項に記載の情報処理装置。
  8. 　入力手段による接触を検出し、
    　前記接触に応じて発生する音を検出し、
    　前記音の波形と前記接触とに基づいて、前記入力手段による入力操作を判定する、入力方法。
  9. 　コンピュータに、
    　入力手段による接触を検出する手順と、
    　前記接触に応じて発生する音を検出する手順と、
    　前記音の波形と前記接触とに基づいて、前記入力手段による入力操作を判定する手順とを実行させるためのプログラム。
PCT/JP2014/060371 2013-09-09 2014-04-10 情報処理装置、入力方法およびプログラム Ceased WO2015033609A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201480049590.5A CN105683881A (zh) 2013-09-09 2014-04-10 信息处理装置、输入方法和程序
US14/911,073 US20160179239A1 (en) 2013-09-09 2014-04-10 Information processing apparatus, input method and program
JP2015535336A JPWO2015033609A1 (ja) 2013-09-09 2014-04-10 情報処理装置、入力方法およびプログラム
EP14841796.7A EP3046009A4 (en) 2013-09-09 2014-04-10 Information processing device, input method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013185919 2013-09-09
JP2013-185919 2013-09-09

Publications (1)

Publication Number Publication Date
WO2015033609A1 true WO2015033609A1 (ja) 2015-03-12

Family

ID=52628101

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/060371 Ceased WO2015033609A1 (ja) 2013-09-09 2014-04-10 情報処理装置、入力方法およびプログラム

Country Status (5)

Country Link
US (1) US20160179239A1 (ja)
EP (1) EP3046009A4 (ja)
JP (1) JPWO2015033609A1 (ja)
CN (1) CN105683881A (ja)
WO (1) WO2015033609A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016148120A1 (ja) * 2015-03-17 2016-09-22 株式会社メガチップス 情報受付システム、記録媒体および情報入力方法
JP2016173688A (ja) * 2015-03-17 2016-09-29 株式会社メガチップス 情報受付システム、プログラムおよび情報入力方法
JP2016173687A (ja) * 2015-03-17 2016-09-29 株式会社メガチップス 情報受付システム、プログラムおよび情報入力方法
CN106339113A (zh) * 2015-07-06 2017-01-18 宝德科技股份有限公司 具有使用习性调适的输入装置及其调适方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5197521B2 (ja) * 2009-07-29 2013-05-15 京セラ株式会社 入力装置
KR20160120560A (ko) * 2015-04-08 2016-10-18 현대자동차주식회사 사용자 입력 인식장치 및 방법
CN106095203B (zh) * 2016-07-21 2019-07-09 范思慧 感测触摸声音作为用户手势输入的计算设备及方法
KR102561781B1 (ko) 2018-10-24 2023-08-02 삼성전자주식회사 송수신 경로의 이상을 결정할 수 있는 통신 모듈을 포함하는 안테나 모듈
CN113253884A (zh) * 2021-05-24 2021-08-13 维沃移动通信（杭州）有限公司 触控方法、触控装置和电子设备
CN114371796B (zh) * 2022-01-10 2024-06-04 深聪半导体(江苏)有限公司 一种识别触摸位置的方法、设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01321499A (ja) * 1988-06-23 1989-12-27 Matsushita Electric Ind Co Ltd 音声認識装置
JP2011028555A (ja) 2009-07-27 2011-02-10 Sony Corp 情報処理装置および情報処理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011123581A (ja) * 2009-12-09 2011-06-23 Panasonic Corp 入力装置および入力方法
KR101997034B1 (ko) * 2010-04-19 2019-10-18 삼성전자주식회사 인터페이스 방법 및 장치
CN109582180A (zh) * 2011-10-18 2019-04-05 卡内基梅隆大学 用于分类触敏表面上的触摸事件的方法和设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01321499A (ja) * 1988-06-23 1989-12-27 Matsushita Electric Ind Co Ltd 音声認識装置
JP2011028555A (ja) 2009-07-27 2011-02-10 Sony Corp 情報処理装置および情報処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3046009A4 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016148120A1 (ja) * 2015-03-17 2016-09-22 株式会社メガチップス 情報受付システム、記録媒体および情報入力方法
JP2016173688A (ja) * 2015-03-17 2016-09-29 株式会社メガチップス 情報受付システム、プログラムおよび情報入力方法
JP2016173687A (ja) * 2015-03-17 2016-09-29 株式会社メガチップス 情報受付システム、プログラムおよび情報入力方法
US10474292B2 (en) 2015-03-17 2019-11-12 Megachips Corporation Information reception system, recording medium, and information input method
CN106339113A (zh) * 2015-07-06 2017-01-18 宝德科技股份有限公司 具有使用习性调适的输入装置及其调适方法
CN106339113B (zh) * 2015-07-06 2019-04-19 宝德科技股份有限公司 具有使用习性调适的输入装置及其调适方法

Also Published As

Publication number Publication date
CN105683881A (zh) 2016-06-15
US20160179239A1 (en) 2016-06-23
EP3046009A1 (en) 2016-07-20
JPWO2015033609A1 (ja) 2017-03-02
EP3046009A4 (en) 2017-04-12

Similar Documents

Publication Publication Date Title
WO2015033609A1 (ja) 情報処理装置、入力方法およびプログラム
JP6429981B2 (ja) ユーザ入力の意図の分類
KR101442936B1 (ko) 힘 감응 입력을 제공하는 사용자 인터페이스 방법 및 시스템
KR101220633B1 (ko) 소리를 이용한 터치세기 검출방법, 이를 위한 입력장치 및 사용자 단말
KR102056316B1 (ko) 터치 스크린 동작 방법 및 그 전자 장치
JP5481581B2 (ja) タッチ検出方法およびタッチ制御装置
KR101770309B1 (ko) 촉각 입력 디바이스를 통해 받아들인 입력 판정
US8638297B2 (en) Portable electronic device and method therefor
US20100309158A1 (en) Input apparatus, input determining method, and storage medium storing input program
US9423883B2 (en) Electronic apparatus and method for determining validity of touch key input used for the electronic apparatus
JP2017535831A (ja) タッチ入力の非意図的または意図的なものとしての分類
KR20100129124A (ko) 전자 디바이스 터치스크린을 위한 사용자 인터페이스 장치 및 방법
CN101488069A (zh) 功能切换方法及系统
WO2017161817A1 (zh) 一种终端的控制方法及装置
CN106468780A (zh) 可携带装置与相关的震动侦测方法
US20160342275A1 (en) Method and device for processing touch signal
US20130050094A1 (en) Method and apparatus for preventing malfunction of touchpad in electronic device
JP2013004001A5 (ja)
JPWO2013121649A1 (ja) 情報処理装置
Ikematsu et al. Leveraging Screen-Integrated Speakers for Hand-Pose Recognition in Mobile Interfaces
JP6281745B2 (ja) 摺動操作検出装置、電子機器及びプログラム
JP2021026673A (ja) 携帯端末装置、情報処理方法および情報処理プログラム
JP2016173687A (ja) 情報受付システム、プログラムおよび情報入力方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14841796

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14911073

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2014841796

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014841796

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2015535336

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE