WO2010113487A1 - 情報入力装置および情報入力方法 - Google Patents

情報入力装置および情報入力方法 Download PDF

Info

Publication number
WO2010113487A1
WO2010113487A1 PCT/JP2010/002333 JP2010002333W WO2010113487A1 WO 2010113487 A1 WO2010113487 A1 WO 2010113487A1 JP 2010002333 W JP2010002333 W JP 2010002333W WO 2010113487 A1 WO2010113487 A1 WO 2010113487A1
Authority
WO
WIPO (PCT)
Prior art keywords
input
content
user
information
user interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2010/002333
Other languages
English (en)
French (fr)
Inventor
若林和哉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Priority to CN201080014514.2A priority Critical patent/CN102378958B/zh
Priority to KR1020117026115A priority patent/KR101372369B1/ko
Priority to EP10758267.8A priority patent/EP2418569A4/en
Priority to US13/262,053 priority patent/US9703392B2/en
Publication of WO2010113487A1 publication Critical patent/WO2010113487A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0237—Character input methods using prediction or retrieval techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows

Definitions

  • the present invention relates to data processing technology, and more particularly to technology for causing a user to input data in an information processing apparatus such as a game machine.
  • mobile information terminals such as portable game devices have become widespread due to realization of downsizing and weight reduction of information terminals.
  • contents such as web pages and e-mail software are displayed on the display.
  • Some of the contents displayed on the mobile information terminal include an input field for the user to enter information, such as a web page of a search site. Since the screen of the mobile information terminal is generally small, the user's convenience may be reduced when inputting information into the input field.
  • the present invention has been made in view of these problems, and its main object is to provide a technique for improving the convenience of the user in inputting information to the content displayed in the information processing apparatus.
  • an information input device when a user inputs information to a content including an input field displayed on a screen, input information from the user by an operation on the screen And a transcribing unit for setting input information accepted in the user interface in an input field of the content.
  • Another aspect of the present invention is an information input method.
  • a user interface that receives the input information from the user by operation on the screen is transparently superimposed on the front of the content. And displaying the input information accepted in the user interface in an input field of the content.
  • any combination of the above-described constituent elements, one obtained by converting the expression of the present invention between an apparatus, a method, a system, a program, a recording medium storing a program, etc. is also effective as an embodiment of the present invention.
  • FIG. 16 are diagrams showing pixel images of contents serving as a background.
  • FIG. 17 are diagrams showing pixel images of content serving as a background.
  • the first method is to allow the user to directly input a character string into an input field of content.
  • the second method allows the user to input a character string to be set in the input field of the content in a dedicated input area for temporarily accepting the user's input character string. Then, the character string accepted in the dedicated input area is reflected in the input field of the content.
  • the screen of the mobile information terminal is small, the user's convenience may be reduced when inputting a character string into the input field.
  • the content is displayed small according to the restriction of the screen size, and the character string input to the input field is also displayed small. Therefore, not only is it difficult to enter a string, but it is also difficult to check and correct the entered string.
  • the dedicated input area occupies a part of the screen, the display area of the content becomes smaller accordingly, and the amount of information of the content visible to the user becomes smaller.
  • the present embodiment proposes a mobile information terminal capable of improving the convenience of the user in character input to the content input field.
  • a user interface hereinafter referred to as an "alternative input screen" as appropriate
  • Overlap and display As a result, even if the mobile information terminal has a restriction on the screen size, its display area is used to the fullest extent, and the above problem is solved. Specifically, it is possible to maintain the amount of information of content while maintaining the visibility of the user for the input character string.
  • FIG. 1 shows the configuration of a communication system 100 according to an embodiment of the present invention.
  • the communication system 100 includes a web server 10 providing a web page of a search site, an access point 30 connected to the web server 10 via the communication network 20, and a movement connected to the access point 30 via a wireless LAN (Local Area Network) And an information terminal 40.
  • the web server 10 is a web server that provides a search service, and provides a search request page including an input field into which a search string is to be input by a user as a web page of a search site.
  • the mobile information terminal 40 is an information processing apparatus configured to have a wireless communication function, and in the present embodiment, has a communication function by a wireless LAN method.
  • the mobile information terminal 40 may have a communication function by another wireless communication method, and may have a communication function of connecting to an external device such as a router by a wired cable such as a LAN cable.
  • the mobile information terminal 40 may be a portable game machine, a mobile phone, or a PDA (Personal Digital Assistant).
  • the access point 30 functions as a relay device for connecting the mobile information terminal 40 to a communication network 20 such as the Internet or a wired LAN, that is, a so-called wireless LAN router.
  • the access point 30 may be a stationary game machine provided with a wireless LAN router function.
  • FIG. 2 shows an appearance configuration of the mobile information terminal 40 of FIG.
  • the mobile information terminal 40 includes a display 46 for displaying a game image, a graphical user interface, and the like, a speaker 42 for outputting audio data, and a controller 44 for receiving an operation input from a user.
  • the display 46 in the present embodiment displays content such as a web page and an alternative input screen for data input to the content.
  • the display 46 doubles as a touch panel, and notifies the instruction acquiring unit 52 described later of positional information on a touch portion on the display 46 based on a touch by a user's finger or a stylus pen (not shown).
  • the controller 44 includes a direction key and four types of buttons ( ⁇ button, ⁇ button, ⁇ button, ⁇ button) provided on the surface of the case, a START button, a SELECT button, a HOME button, an input switching button, etc. It also includes a button on the side of the body. This input switching button is pressed when the user selects character input via the alternative input screen, instead of direct character input to the content input field.
  • FIG. 3 is a block diagram showing a functional configuration of the mobile information terminal 40 of FIG.
  • Each block shown in the block diagram of the present specification can be realized by hardware as an element such as a CPU of a computer or a mechanical device, and as software as a computer program or the like. It depicts the functional blocks realized by the coordination of them. Therefore, it is understood by those skilled in the art that these functional blocks can be realized in various forms by a combination of hardware and software.
  • the mobile information terminal 40 includes a communication unit 50, an instruction acquisition unit 52, a content acquisition unit 54, a content display unit 56, a corresponding color holding unit 58, a conversion unit 60, an alternative input screen setting unit 62, and an alternative.
  • An input screen display unit 64 and a transfer unit 66 are provided.
  • the communication unit 50 transmits and receives various communication data to and from the access point 30 by the wireless LAN method.
  • the instruction acquisition unit 52 receives the user's instruction to the mobile information terminal 40 by detecting the operation content of the user on the controller 44 and the display 46. Then, data indicating an instruction of the user is notified to a predetermined functional block to which the process according to the instruction should be performed.
  • the instruction acquiring unit 52 when receiving an instruction to acquire a web page, notifies the content acquiring unit 54 of an instruction to acquire the web page. Also, when pressing of the input switching button is detected, the alternative input screen setting unit 62 is notified of an instruction to set an alternative input screen. In addition, when the position information indicating the touch portion of the user on the alternative input screen is received, an instruction to draw the image data of the character on the touch portion (hereinafter referred to as “character drawing instruction” as appropriate) is substituted. The input screen setting unit 62 is notified.
  • the content acquisition unit 54 When the content acquisition unit 54 receives a web page acquisition instruction from the instruction acquisition unit 52, the content acquisition unit 54 accesses the web server 10 via the communication unit 50, and acquires data of the web page.
  • the content display unit 56 causes the display 46 to display the web page acquired by the content acquisition unit 54.
  • the corresponding color holding unit 58 stores the correspondence between each of the plurality of colors that can be used in content display on the content display unit 56 and the complementary color of each color.
  • the complementary color is a color that is located on the opposite side of the original color in color correlation, in other words, a color that is assumed to be the strongest in contrast to the original color.
  • the conversion unit 60 maps the input character set in the alternative input screen setting unit 62 described later to a specific character, for example, a specific alphabet or hiragana (hereinafter, appropriately referred to as a “specific character”).
  • the converter 60 may be mapped using known character recognition techniques.
  • the input character may be mapped to the specific character by referring to a storage unit (not shown) storing the writing order and the shape of the specific character, and comparing the actual writing order and the shape of the input character.
  • the conversion unit 60 converts the character string specified by the character conversion request from the alternative input screen setting unit 62.
  • the conversion unit 60 may use a known character conversion technique employed in general word processing software. For example, a conversion request in which a romanized character input is specified is received and converted to a Japanese character string, and a conversion request in which a hiragana character string is specified is converted to a kanji character string and converted The result is notified to the alternative input screen setting unit 62. When a conversion request is received, a plurality of conversion candidates may be notified to the alternative input screen setting unit 62.
  • the alternative input screen setting unit 62 sets image data of the alternative input screen, sends the image data to an alternative input screen display unit 64 described later, and causes the display 46 to display the image data.
  • FIG. 4 shows the configuration of the alternative input screen.
  • the user input area 202 is an area where the user inputs characters with his / her finger or a stylus pen.
  • a conversion instruction unit 204 is an area for instructing conversion of an input character, and the user touches the conversion instruction unit 204 to convert the input character.
  • the confirmation field 206 is an area for displaying input characters to the user input area 202.
  • the display size of the input character in the user input area 202 and the confirmation field 206 is typically larger than the display size of the input character in the content input field.
  • the left movement instruction unit 208 and the right movement instruction unit 210 are instruction areas for moving a cursor indicating a character input position in the confirmation field 206.
  • the reverse instruction unit 212 is an instruction area for deleting the character set in the confirmation field 206 while moving the cursor of the confirmation field 206 backward.
  • the deletion instruction unit 214 is an instruction area for deleting characters after the cursor position in the confirmation field 206.
  • the alternative input screen setting unit 62 receives the character drawing instruction notified from the instruction acquiring unit 52, sets the image data of the character to be displayed on the touch portion of the user in the user input area 202, and the image data It is sent to the alternative input screen display unit 64.
  • the alternative input screen setting unit 62 sends the image data of the mapped specific character to the alternative input screen display unit 64, whereby the cursor position of the confirmation field 206 is obtained. Display the specific character on. Further, it instructs the alternative input screen display unit 64 to delete the input character mapped to the specific character from the user input area 202. At the same time, by transmitting image data of a specific character to the transfer unit 66, the specific field is displayed in the input field 302.
  • alternative input screen setting unit 62 notifies conversion unit 60 of a conversion request for the character string set in confirmation field 206 and converts it. Get a candidate. Then, the conversion candidate is displayed on the alternative input screen 200 by transmitting the image data of the conversion candidate to the alternative input screen display unit 64.
  • the instruction acquisition unit 52 detects a touch of the user specifying a specific conversion destination character string from among conversion candidates, the image data of the conversion destination character string is sent to the alternative input screen display unit 64, thereby confirming The input string in the field 206 is changed to the conversion destination string.
  • the transfer unit 66 transmitting the image data of the conversion destination character string to the transfer unit 66, the input character string set in the input field 302 is changed to the conversion destination character string.
  • the alternative input screen setting unit 62 displays the moving destination of the cursor in the confirmation field 206 on the alternative input screen. It notifies the unit 64 and moves the cursor of the confirmation field 206 to the left and right as appropriate. Typically, it is used when referring to a forward character string that is hidden when a long character string is set in the confirmation field 206, or when changing a character string in the middle of the confirmation field 206.
  • the alternative input screen displays an instruction to appropriately delete the character string set in the confirmation field 206 and the input field 302. It notifies the unit 64 and the transfer unit 66 respectively. In this way, the synchronization between the confirmation field 206 and the input field 302 is maintained.
  • the alternative input screen display unit 64 transparently displays the alternative input screen 200 on the front surface of the content such as the web page displayed on the display 46.
  • the alternative input screen 200 is typically displayed over the entire display 46, the alternative input screen 200 may be superimposed on the entire surface of the content displayed on the display 46.
  • the alternative input screen display unit 64 is a pixel (hereinafter, appropriately referred to as a "corresponding pixel") displaying a background content at the position of each pixel on which the alternative input screen 200 is to be displayed. Identify the color. Then, with reference to the corresponding color holding unit 58, for each pixel on which the alternative input screen 200 is to be displayed, a pixel value is determined so as to be drawn in a complementary color to the color set in the corresponding pixel on the content side.
  • the alternative input screen display unit 64 adjusts each pixel value of the alternative input screen 200 using a known transmission setting technology such as ⁇ (alpha) blending, and causes the alternative input screen 200 to be superimposed and displayed on the content. .
  • the pixel values of the input characters in the user input area 202 and the specific characters in the confirmation field 206 are also determined as described above and are set to be transparent.
  • the degree of transparency the degree of transparency assumed to be appropriate may be determined based on the knowledge of a company, an experiment using the communication system 100, and the like on the basis of the content and the visibility of the alternative input screen 200.
  • the transfer unit 66 acquires various data based on the user's input to the alternative input screen 200 from the alternative input screen setting unit 62, and reflects the input content on the alternative input screen 200 in the input field 302. For example, the specific character determined based on the user's input character and the data of the conversion destination character string determined by the user are acquired, and the specific character and the conversion destination character string are set in the input field 302. Further, data on the change contents of the confirmation field 206 is acquired, and the setting character string of the input field 302 is changed in accordance with the change.
  • the alternative input screen setting unit 62 sends various data based on the user's input to the transfer unit 66 without waiting for the user's instruction to set in the input field 302.
  • the transfer unit 66 also reflects various data received from the alternative input screen setting unit 62 in the input field 302 without waiting for the user's instruction. That is, the confirmation field 206 and the input field 302 are synchronized without being aware of the user.
  • FIGS. 8 to 15 showing screen images displayed on the display 46 will also be referred to as appropriate.
  • FIG. 5 is a flowchart showing the operation of the mobile information terminal 40.
  • the instruction acquisition unit 52 detects an acquisition instruction of a search request page from the user via the controller 44 (S10).
  • the content acquisition unit 54 acquires a search request page from the web server 10 via the communication unit 50, and the content display unit 56 causes the display 46 to display the search request page (S12).
  • FIG. 8 shows the search request page 300 displayed on the entire display 46 in S12.
  • the search request page 300 includes an input field 302 for setting a search character string, a search button 304 as a trigger for search execution, and various information such as “latest news” and “topic item”.
  • an input cursor indicating the input position of the search string is displayed.
  • FIG. 9 shows a state in which the alternative input screen 200 is transparently displayed on the entire display 46 on the front surface of the search request page 300 at S18.
  • search character string input to the search request page 300 via the alternative input screen 200 is executed (S20). Details of S20 will be described later.
  • the instruction acquisition unit 52 detects the operation.
  • the alternative input screen setting unit 62 notifies the alternative input screen display unit 64 of the end of display of the alternative input screen 200, and the alternative input screen display unit 64 ends the display of the alternative input screen 200 on the display 46 (S22).
  • FIG. 10 shows the screen on which the display of the alternative input screen 200 has ended in S22.
  • the input character "hand" of the user via the alternative input screen 200 is set. Thereafter, the user presses the search button 304 to execute the search (S24).
  • FIG. 6 is a flowchart showing the details of S20 of FIG.
  • the instruction acquisition unit 52 detects character input by the user on the user input area 202 (S30).
  • the alternative input screen setting unit 62 sets an image of the input character, and the alternative input screen display unit 64 causes the user input area 202 to display the input character image (S32). If the input character does not match the specific character (N in S34), that is, since the character input is in the middle, the process returns to S30.
  • the alternative input screen setting unit 62 sets the image of the specific character to be set in the confirmation field 206, and the alternative input screen display unit 64 sets the specific character in the confirmation field 206 Is displayed (S36).
  • the transcription unit 66 displays the specific character in the input field 302 (S38).
  • the alternative input screen display unit 64 deletes the character mapped to the specific character, that is, the character set in the confirmation field 206 from the user input area 202 (S40).
  • FIG. 11 shows a state in which the user inputs “T” in the user input area 202, and the input character is reflected in the confirmation field 206 and the input field 302.
  • FIG. 12 shows a state in which the user further inputs “E” from the state of FIG. 11 and is converted into “te” in the conversion unit 60 and the input character is reflected in the confirmation field 206 and the input field 302. .
  • the alternative input screen display unit 64 sets the specific character and the character "T" which has already been mapped, so that the degree of transparency gradually increases, and is eventually erased Do. By deleting the input character mapped to the specific character from the user input area 202 as needed, the user can input a long character string into the user input area 202 without being limited to the size of the user input area 202.
  • an input character editing process described later is executed (S44).
  • the instruction acquisition unit 52 detects it as an end trigger (Y in S46), and the process in S20 of FIG. finish. If the end trigger is not detected (N in S46), the process returns to S30.
  • FIG. 7 is a flowchart showing the details of S44 of FIG.
  • the alternative input screen setting unit 62 notifies the conversion unit 60 of a conversion request for a specific character to acquire conversion candidates (S52), and the alternative input screen display unit Reference numeral 64 displays conversion candidates on the alternative input screen 200.
  • the alternative input screen setting unit 62 acquires the selected conversion candidate as a conversion destination character, and the alternative input screen display unit 64 changes the input character of the confirmation field 206 to the conversion destination character
  • the conversion result is reflected in the confirmation field 206 (S54).
  • the alternative input screen display unit 64 reflects the conversion result in the input field 302 by changing the input character of the input field 302 to the conversion destination character (S56).
  • FIG. 13 shows a state in which the change candidate area 216 is displayed on the alternative input screen 200.
  • the change candidate area 216 may be displayed transparently as in the alternative input screen 200.
  • “hand” is selected as a conversion destination character from conversion candidates in the change candidate area 216, and the conversion destination character is reflected in the confirmation field 206 and the input field 302.
  • the alternative input screen setting unit 62 confirms field 206 according to the operation content. Change the state of as appropriate.
  • the alternative input screen display unit 64 displays the state of the changed confirmation field 206 (S58).
  • the transfer section 66 reflects the contents of the change in the confirmation field 206 in the input field 302 (S60).
  • FIG. 14 shows a state in which the check field 206 and the input field 302 have been set with the typographical error "Suppression”.
  • FIG. 15 shows a state in which the user touches the left movement instruction unit 208 and the deletion instruction unit 214 from the state of FIG. 14 to change the input character string.
  • the editing content of the confirmation field 206 by the user is also reflected in the input field 302 by the transfer unit 66 as needed.
  • a character string of part or all of the confirmation field 206 may be selected by the user's touch and slide on the confirmation field 206.
  • the selected character string may be reconverted by touching the conversion instruction unit 204 after selecting the character string in the confirmation field 206.
  • the mobile information terminal 40 of the present embodiment even in the mobile information terminal with screen size restrictions, information with high convenience for the user while maintaining the content display that effectively utilizes the screen area to the maximum extent. It can provide an input interface. Specifically, while providing an information input interface capable of inputting and editing characters in a display size easy for the user to visually recognize, the user can visually recognize the information input interface by transparently superimposing on the front of the content. The amount of information of sensitive content is also maintained.
  • the user's input information on the alternative input screen 200 and the edited content of the input information are reflected in the input field 302 without requiring the user's instruction, and the synchronization is maintained. .
  • the user does not need to be particularly aware of information reflection from the alternative input screen 200 to the input field 302, and information input to the alternative input screen 200 can be performed as if it were directly input to the input field 302.
  • the alternative input screen 200 includes a confirmation field 206 in which input information similar to the input information set in the input field 302 is set, and the information in the confirmation field 206 and the information in the input field 302 are kept in synchronization. Be done.
  • the user edits the input information set in the input field 302
  • the user only has to edit the input information of the confirmation field 206 having high visibility of the input character, and the convenience of the user is improved.
  • the complementary color to the color of the content serving as the background is determined as the color of the alternative input screen 200, and the transparency setting is further made.
  • the foreground alternative input screen 200 is made to be transparent, it may be difficult for the user to distinguish the content from the background.
  • the complementary color of the background as the drawing color of the alternative input screen 200 as in the present embodiment, it is possible to maintain a strong contrast between the foreground and the background even though the alternative input screen 200 is transmitted. In other words, it becomes easy for the user to distinguish between the foreground alternative input screen 200 and the background content, and the convenience of the user can be improved.
  • the movement information terminal 40 has an input switching button, and the user can display the alternative input screen 200 by pressing the input switching button as needed when inputting information to the content. If the content is displayed large and the user can easily input characters into the content input field, the user can directly input characters into the input field. That is, according to the difficulty of the information input for each user and each content, the user can select the direct input to the input field or the input via the alternative input screen 200.
  • the alternative input screen 200 has been described as a user interface that accepts character input, but an input other than characters may be accepted.
  • the mobile information terminal 40 may receive the content drawn by the user on the alternative input screen 200, for example, a picture or the like as an image as it is, and set it in the image setting area of the content. The same effects as those of the embodiment can be obtained also in this modification.
  • Both the alternative input screen 200 for receiving character input described in the embodiment and another alternative input screen for receiving input data other than characters such as an image may be simultaneously superimposed and displayed on the front of the content. Further, each of the plurality of alternative input screens may be displayed in a superimposed manner. This is a particularly preferable mode when the content receives various types of input data.
  • the alternative input screen display unit 64 determines the complementary color to the color set to the corresponding pixel on the content side serving as the background as the color of each pixel displaying the alternative input screen 200.
  • peripheral pixels existing around the corresponding pixel in the content are also specified, and a complementary color to a color obtained by smoothing the colors of the corresponding pixel and the peripheral pixel (hereinafter referred to as "average color" as appropriate) It may be determined as the color of each pixel displaying the screen 200.
  • a color having a strong contrast on average for the corresponding pixels and the surrounding pixels can be displayed on the alternative input screen 200. It can be set to each pixel.
  • FIG. 16 shows a pixel image of content serving as a background.
  • the drawing position pixel 400 in the figure indicates the corresponding pixel on the content side which is present at the display position of the pixel of the alternative input screen 200 for which the color is to be determined (hereinafter appropriately referred to as “drawing target pixel”).
  • the calculation range 402 indicates the range of peripheral pixels in which the color on the content is specified in order to specify the average color.
  • six pixels out of nine pixels in the calculation range 402 are drawn with the first color 404, and the other three pixels are drawn with the second color 406.
  • the moving average of the first color 404 for six pixels and the second color 406 for three pixels is specified as the average color.
  • R ((255 ⁇ 6) + (51 ⁇ 3))
  • ⁇ 9 187
  • ⁇ 9 34
  • ⁇ 9 85
  • the color having the RGB component of is identified as the average color.
  • a complementary color to the average color is determined as the color of the pixel to be drawn. Thereafter, as described in the embodiment, the transparency setting may be made as appropriate.
  • peripheral pixels existing above, below, to the left, and to the right of the drawing position pixel 400 are set as the calculation range 402.
  • the calculation range 402 may be specified not by a block but by a line.
  • a fourth modification will be described.
  • peripheral pixels existing above, below, to the left, or to the right of the drawing position pixel 400 are set as the calculation range 402.
  • a range of peripheral pixels which has already been scanned in other words, a color is specified, may be set as the calculation range 402.
  • the color of a specific pixel in an image is often a color that approximates the colors of peripheral pixels, so even if only some of the peripheral pixels are considered, it is appropriate to set as the rendering target pixel It is easy to decide the color. According to this modification, it is possible to reduce system resources and computational complexity required for color determination.
  • FIG. 17 shows a pixel image of content as a background.
  • the calculation range 402 in the same figure is composed of four peripheral pixels present above and to the left. Note that, as shown in FIG. 17B, in addition to the drawing position pixel 400, one surrounding pixel present on the left of the drawing position pixel 400 may be set as the calculation range 402.
  • a fifth modification will be described.
  • the pixel value of each pixel is drawn so as to be drawn in a complementary color to the color of the corresponding pixel serving as the background (hereinafter appropriately referred to as "background color"). It has been determined.
  • the pixel value of each pixel is drawn so that the luminance of the background color is changed by a predetermined amount so that the contrast with the background is clear. May be determined. Since the human eye is more sensitive to the change in brightness than the change in color, it is possible for the user to set a complementary color by setting a color obtained by changing the brightness of the background color in the alternative input screen 200. This makes it easy to identify background content.
  • the luminance of the background color is a value within the range of “0 to 255”, the reference value is “128” which is the middle value of the luminance range, and the specific values are “0” and “255”.
  • the luminance of the background color is “5”, the luminance of the color of the alternative input screen 200 rendered on the background color is “255”.
  • the luminance of the background color is "200”
  • the luminance of the color of the alternative input screen 200 rendered on the background color is "0". Since the adjustment by the offset value is unnecessary, the amount of calculation for specifying the luminance is reduced.
  • a hue obtained by appropriately adjusting the hue of the background color may be set or the same hue as the background color may be set as the hue of the drawing position pixel 400 which is not particularly referred to in the present modification.
  • the consideration of the peripheral pixels described in the third and fourth modifications may be adopted in the determination of the luminance in this modification.
  • the average luminance in peripheral pixels may be specified, and the color obtained by changing the average luminance by a predetermined amount as described above may be used as the color of the pixel to be drawn.
  • the transmission setting is performed on the entire alternative input screen 200
  • the transmission setting may not be performed on at least a part of the transmission.
  • a frame of the alternative input screen 200, an arrow, a character, an input character set in the user input area 202, a specific character set in the confirmation field 206, and the like may be opaque.
  • the visibility of the part where the transmission setting is not set is improved.
  • the area to be transparently set is based on the knowledge of a company or an experiment using the mobile information terminal 40 based on the visibility of the alternative input screen 200, the visibility of the content serving as the background, the amount of calculation for setting the transparency, and the like. May be determined.
  • the alternative input screen 200 is displayed in accordance with the input switching operation by the user.
  • the alternative input screen 200 may be displayed according to the size of the input field of the content.
  • the size of the content input field is equal to or less than a predetermined value, for example, a predetermined ratio with respect to the size of the user input area 202
  • the alternative input screen 200 is selected when the user selects the input field. Should be displayed automatically. It is possible to save the trouble of the user pressing the input switching button and to improve the convenience of information input.
  • the display of the automatically displayed alternative input screen 200 may be ended by pressing the input switching button.
  • the present invention can be used for an information processing apparatus that allows a user to input data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Document Processing Apparatus (AREA)
  • Telephone Function (AREA)

Abstract

　移動情報端末４０は、ディスプレイ４６に表示させた入力フィールドを含むコンテンツに対してユーザが情報を入力する際、ディスプレイ４６に対する操作によってユーザからの入力情報を受け付けるユーザインタフェースを、コンテンツの前面に透過的に重ねて表示させる表示部と、そのユーザインタフェースにおいて受け付けられた入力情報をコンテンツの入力フィールドに設定する転記部とを備える。

Description

情報入力装置および情報入力方法
　この発明は、データ処理技術に関し、特に、ゲーム機器等の情報処理装置においてユーザにデータを入力させるための技術に関する。
　近年、情報端末の小型化および軽量化が実現されたことにより、持ち運び可能なゲーム機器等の移動情報端末が普及している。移動情報端末においては、一般的に、ウェブページや電子メールソフト等のコンテンツがそのディスプレイに表示される。
　移動情報端末において表示されるコンテンツの中には、検索サイトのウェブページのように、ユーザが情報を入力すべき入力フィールドを含むものがある。移動情報端末の画面は一般的に小さいため、入力フィールドへの情報入力に際し、ユーザの利便性を低下させることがあった。
　本発明は、こうした課題に鑑みてなされたものであり、その主たる目的は、情報処理装置において表示されたコンテンツへの情報入力においてユーザの利便性を向上する技術を提供することである。
　上記課題を解決するために、本発明のある態様の情報入力装置は、画面に表示させた入力フィールドを含むコンテンツに対してユーザが情報を入力する際、その画面に対する操作によってユーザからの入力情報を受け付けるユーザインタフェースを、コンテンツの前面に透過的に重ねて表示させる表示部と、ユーザインタフェースにおいて受け付けられた入力情報をコンテンツの入力フィールドに設定する転記部と、を備える。
　本発明の別の態様は、情報入力方法である。この方法は、画面に表示させた入力フィールドを含むコンテンツに対してユーザが情報を入力する際、その画面に対する操作によってユーザからの入力情報を受け付けるユーザインタフェースを、コンテンツの前面に透過的に重ねて表示させるステップと、ユーザインタフェースにおいて受け付けられた入力情報をコンテンツの入力フィールドに設定するステップと、を備える。
　なお、以上の構成要素の任意の組合せ、本発明の表現を装置、方法、システム、プログラム、プログラムを格納した記録媒体などの間で変換したものもまた、本発明の態様として有効である。
　本発明によれば、情報処理装置において表示されたコンテンツへの情報入力においてユーザの利便性を向上できる。
本発明の実施の形態である通信システムの構成を示す図である。 図１の移動情報端末の外観構成を示す図である。 図１の移動情報端末の機能構成を示すブロック図である。 代替入力画面の構成を示す図である。 移動情報端末の動作を示すフローチャートである。 図５のＳ２０の詳細を示すフローチャートである。 図６のＳ４４の詳細を示すフローチャートである。 ディスプレイに表示された画面イメージを示す図である。 ディスプレイに表示された画面イメージを示す図である。 ディスプレイに表示された画面イメージを示す図である。 ディスプレイに表示された画面イメージを示す図である。 ディスプレイに表示された画面イメージを示す図である。 ディスプレイに表示された画面イメージを示す図である。 ディスプレイに表示された画面イメージを示す図である。 ディスプレイに表示された画面イメージを示す図である。 図１６の（ａ）（ｂ）は、背景となるコンテンツの画素イメージを示す図である。 図１７の（ａ）（ｂ）は、背景となるコンテンツの画素イメージを示す図である。
　本発明の実施の形態について、その構成を説明する前に、概要を説明する。
　移動情報端末の画面に表示させたコンテンツの入力フィールドに対して、ユーザに文字列を設定させる典型的な方法として、以下の２つが考えられる。
　第１の方法は、コンテンツの入力フィールドに対してユーザに文字列を直接入力させる方法である。第２の方法は、ユーザの入力文字列を一旦受け付ける専用の入力領域に対して、コンテンツの入力フィールドに設定すべき文字列をユーザに入力させる。そして、専用の入力領域において受け付けられた文字列をコンテンツの入力フィールドへ反映させる方法である。
　しかし、移動情報端末の画面は小さいため、入力フィールドへの文字列入力に際し、ユーザの利便性を低下させることがある。例えば、第１の方法の場合、画面の大きさの制約に伴ってコンテンツが小さく表示され、入力フィールドに入力された文字列も小さく表示される。したがって、文字列の入力が困難であるのみならず、入力した文字列の確認や修正も困難である。第２の方法の場合、専用の入力領域が画面の一部を占有するため、コンテンツの表示領域がその分小さくなり、ユーザが視認できるコンテンツの情報量が小さくなってしまう。
　本実施の形態では、コンテンツの入力フィールドへの文字入力におけるユーザの利便性を向上できる移動情報端末を提案する。この移動情報端末においては、ユーザがコンテンツの入力フィールドに情報を入力すべき際、ユーザからの入力情報を一旦受け付けるユーザインタフェース（以下、適宜「代替入力画面」と呼ぶ。）をコンテンツの前面に透過的に重ねて表示させる。これにより、画面の大きさに制約がある移動情報端末であっても、その表示領域が最大限有効に活用され、上記の問題は解決される。具体的には、入力文字列に対するユーザの視認性を維持しつつ、コンテンツの情報量も維持可能になる。
　図１は、本発明の実施の形態である通信システム１００の構成を示す。通信システム１００は、検索サイトのウェブページを提供するウェブサーバ１０と、ウェブサーバ１０と通信網２０を介して接続するアクセスポイント３０と、アクセスポイント３０と無線ＬＡＮ（Local Area Network）で接続する移動情報端末４０とを備える。ウェブサーバ１０は、検索サービスを提供するウェブサーバであり、検索サイトのウェブページとして、ユーザによって検索文字列が入力されるべき入力フィールドを含む検索要求ページを提供する。
　移動情報端末４０は、無線通信機能を有して構成される情報処理装置であって、本実施の形態では無線ＬＡＮ方式による通信機能を有する。移動情報端末４０は、他の無線通信方式による通信機能を有してもよく、また、ＬＡＮケーブル等の有線ケーブルでルータ等の外部装置と接続する通信機能を有してもよい。なお、移動情報端末４０は、携帯型のゲーム機、携帯電話機、またはＰＤＡ（Personal Digital Assistant）であってもよい。
　アクセスポイント３０は、移動情報端末４０をインターネットや有線ＬＡＮなどの通信網２０に接続する中継装置、いわゆる無線ＬＡＮルータとして機能する。アクセスポイント３０は、無線ＬＡＮルータの機能を備える据置型のゲーム機であってもよい。
　図２は、図１の移動情報端末４０の外観構成を示す。移動情報端末４０は、ゲーム画像やグラフィカルユーザインタフェースなどを表示するためのディスプレイ４６と、音声データを出力するスピーカ４２と、ユーザからの操作入力を受け付けるコントローラ４４とを備える。
　本実施の形態におけるディスプレイ４６には、ウェブページ等のコンテンツと、そのコンテンツへのデータ入力のための代替入力画面が表示される。また、ディスプレイ４６は、タッチパネルも兼ねており、ユーザの指や図示しないスタイラスペンによるタッチに基づいて、ディスプレイ４６上のタッチ箇所に関する位置情報を、後述する指示取得部５２に通知する。
　コントローラ４４は、筐体表面に設けられた方向キーや４種のボタン（○ボタン、×ボタン、□ボタン、△ボタン）、ＳＴＡＲＴボタン、ＳＥＬＥＣＴボタン、ＨＯＭＥボタン、入力切替ボタンなどを含み、また筐体側面に設けられたボタンも含む。この入力切替ボタンは、コンテンツの入力フィールドに対する直接の文字入力に代えて、代替入力画面を介した文字入力をユーザが選択したときに押下される。
　図３は、図１の移動情報端末４０の機能構成を示すブロック図である。本明細書のブロック図において示される各ブロックは、ハードウェア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。
　移動情報端末４０は、通信部５０と、指示取得部５２と、コンテンツ取得部５４と、コンテンツ表示部５６と、対応色保持部５８と、変換部６０と、代替入力画面設定部６２と、代替入力画面表示部６４と、転記部６６とを有する。通信部５０は、無線ＬＡＮ方式によってアクセスポイント３０と各種通信データを送受信する。
　指示取得部５２は、コントローラ４４やディスプレイ４６に対するユーザの操作内容を検出することで、移動情報端末４０に対するユーザの指示を受け付ける。そして、その指示に応じた処理を実施すべき所定の機能ブロックに対して、ユーザの指示を示すデータを通知する。
　例えば、指示取得部５２は、ウェブページの取得指示を受け付けた際には、コンテンツ取得部５４にそのウェブページの取得指示を通知する。また、入力切替ボタンの押下を検出した際には、代替入力画面設定部６２に代替入力画面の設定指示を通知する。また、代替入力画面におけるユーザのタッチ箇所を示す位置情報を受け付けた際には、そのタッチ箇所に文字の画像データを描画する旨の指示（以下、適宜「文字描画指示」と呼ぶ。）を代替入力画面設定部６２に通知する。
　コンテンツ取得部５４は、指示取得部５２からウェブページの取得指示を受け付けると、通信部５０を介してウェブサーバ１０にアクセスし、ウェブページのデータを取得する。コンテンツ表示部５６は、コンテンツ取得部５４において取得されたウェブページをディスプレイ４６に表示させる。
　対応色保持部５８は、コンテンツ表示部５６におけるコンテンツ表示の際に使用されうる複数の色彩それぞれと、各色彩の補色との対応関係を記憶する。補色とは、元の色彩に対して色相関で正反対に位置する色彩であり、言い換えれば、元の色彩に対して最もコントラストが強いと想定される色彩である。
　変換部６０は、後述する代替入力画面設定部６２において設定された入力文字を特定の文字、例えば特定のアルファベットや平仮名（以下、適宜「特定文字」と呼ぶ。）にマッピングする。変換部６０は、公知の文字認識技術を使用してマッピングしてもよい。例えば、特定文字の書き順や形状を記憶した図示しない記憶部を参照して、入力文字の実際の書き順や形状と比較することにより、入力文字を特定文字にマッピングしてもよい。
　また、変換部６０は、代替入力画面設定部６２からの文字変換要求で指定された文字列の変換を行う。変換部６０は、一般的なワープロソフトで採用される公知の文字変換技術を使用してよい。例えば、ローマ字入力された文字列が指定された変換要求を受け付けて日本語文字列に変換し、また、平仮名の文字列が指定された変換要求を受け付けて漢字の文字列に変換し、その変換結果を代替入力画面設定部６２に通知する。また、変換要求を受け付けた際に、複数の変換候補を代替入力画面設定部６２に通知してもよい。
　代替入力画面設定部６２は、代替入力画面の画像データを設定し、その画像データを後述する代替入力画面表示部６４に送出してディスプレイ４６に表示させる。
　図４は、代替入力画面の構成を示す。ユーザ入力エリア２０２は、ユーザが自身の指やスタイラスペンによって文字を入力する領域である。変換指示部２０４は入力文字の変換を指示する領域であり、ユーザは変換指示部２０４にタッチすることで入力文字を変換させる。確認フィールド２０６は、ユーザ入力エリア２０２への入力文字を表示する領域である。なお、ユーザ入力エリア２０２および確認フィールド２０６における入力文字の表示サイズは、典型的には、コンテンツの入力フィールドにおける入力文字の表示サイズよりも大きい。
　左移動指示部２０８および右移動指示部２１０は、確認フィールド２０６において文字入力位置を示すカーソルを移動させる指示領域である。後退指示部２１２は、確認フィールド２０６のカーソルを後退させつつ、確認フィールド２０６に設定された文字を削除させる指示領域である。削除指示部２１４は、確認フィールド２０６のカーソル位置以降の文字を削除させる指示領域である。図３に戻る。
　また、代替入力画面設定部６２は、指示取得部５２から通知された文字描画指示を受け付けて、ユーザ入力エリア２０２におけるユーザのタッチ箇所に表示させるべき文字の画像データを設定し、その画像データを代替入力画面表示部６４に送出する。
　変換部６０において入力文字が特定文字にマッピングされた際、代替入力画面設定部６２は、マッピングされた特定文字の画像データを代替入力画面表示部６４に送出することで、確認フィールド２０６のカーソル位置にその特定文字を表示させる。さらに代替入力画面表示部６４に対して、特定文字にマッピングされた入力文字をユーザ入力エリア２０２から消去するよう指示する。またこれとともに、特定文字の画像データを転記部６６に対しても送出することで、入力フィールド３０２にこの特定文字を表示させる。
　また、代替入力画面設定部６２は、変換指示部２０４へのユーザのタッチが指示取得部５２において検出されると、確認フィールド２０６に設定した文字列の変換要求を変換部６０に通知して変換候補を取得する。そして、変換候補の画像データを代替入力画面表示部６４に送出することで、代替入力画面２００内に変換候補を表示させる。
　変換候補の中から特定の変換先文字列を指定するユーザのタッチが指示取得部５２において検出されると、その変換先文字列の画像データを代替入力画面表示部６４に送出することで、確認フィールド２０６における入力文字列を変換先文字列に変更させる。またこれとともに、変換先文字列の画像データを転記部６６に送出することで、入力フィールド３０２に設定された入力文字列を変換先文字列に変更させる。
　また、代替入力画面設定部６２は、左移動指示部２０８、右移動指示部２１０へのユーザのタッチが指示取得部５２において検出されると、確認フィールド２０６のカーソルの移動先を代替入力画面表示部６４に通知して、確認フィールド２０６のカーソルを適宜左右に移動させる。典型的には、確認フィールド２０６に長い文字列が設定された際に非表示となった前方の文字列を参照する場合や、確認フィールド２０６の途中の文字列を変更する場合に使用される。
　また、後退指示部２１２、削除指示部２１４へのユーザのタッチが指示取得部５２において検出されると、確認フィールド２０６および入力フィールド３０２に設定された文字列を適宜削除させる指示を代替入力画面表示部６４および転記部６６にそれぞれ通知する。このように、確認フィールド２０６と入力フィールド３０２との同期が維持される。
　代替入力画面表示部６４は、ディスプレイ４６に表示されたウェブページ等コンテンツの前面に代替入力画面２００を透過的に重ねて表示させる。典型的にはディスプレイ４６の全体に亘って代替入力画面２００を表示させるが、ディスプレイ４６に表示されたコンテンツ上においてその全面に代替入力画面２００を重畳表示させてもよい。具体的には、代替入力画面表示部６４は、代替入力画面２００を表示させるべき各画素の位置において、背景となるコンテンツを表示している画素（以下、適宜「対応画素」と呼ぶ。）の色彩を特定する。そして、対応色保持部５８を参照して、代替入力画面２００を表示させるべき各画素について、コンテンツ側の対応画素に設定された色彩に対する補色で描画されるように画素値を決定する。
　続いて、代替入力画面表示部６４は、α（アルファ）ブレンド等の公知の透過設定技術を用いて、代替入力画面２００の各画素値を調整し、コンテンツ上に代替入力画面２００を重畳表示させる。ユーザ入力エリア２０２における入力文字、確認フィールド２０６における特定文字についても、上述したように画素値が決定され、透過設定される。なお、透過度合いについては、コンテンツおよび代替入力画面２００の視認性を基準として、企業の知見や、通信システム１００を使用した実験等に基づいて適切と想定される透過度合いが決定されればよい。
　転記部６６は、代替入力画面２００に対するユーザの入力に基づく各種データを代替入力画面設定部６２から取得して、代替入力画面２００への入力内容を入力フィールド３０２に反映させる。例えば、ユーザの入力文字に基づいて決定された特定文字や、ユーザによって決定された変換先文字列のデータを取得して、入力フィールド３０２に特定文字や変換先文字列を設定する。また、確認フィールド２０６の変更内容に関するデータを取得して、その変更にあわせて入力フィールド３０２の設定文字列を変更する。
　既述したように、代替入力画面設定部６２は、入力フィールド３０２に設定する旨のユーザの指示を待つことなく、ユーザの入力に基づく各種データを転記部６６に送出する。転記部６６も、ユーザの指示を待つことなく、代替入力画面設定部６２から受け付けた各種データを入力フィールド３０２に反映させる。すなわち、確認フィールド２０６と入力フィールド３０２とは、ユーザが意識することなく同期される。
　以上の構成による動作を、以下、図５から図７に記載したフローチャートを参照して説明する。また、フローチャートの説明にあわせて、ディスプレイ４６に表示された画面イメージを示す図８から図１５も適宜参照する。
　図５は、移動情報端末４０の動作を示すフローチャートである。指示取得部５２は、コントローラ４４を介して、ユーザからの検索要求ページの取得指示を検出する（Ｓ１０）。コンテンツ取得部５４は通信部５０を介してウェブサーバ１０から検索要求ページを取得し、コンテンツ表示部５６はその検索要求ページをディスプレイ４６に表示させる（Ｓ１２）。
　図８は、Ｓ１２において、ディスプレイ４６の全体に表示された検索要求ページ３００を示している。検索要求ページ３００には、検索文字列を設定するための入力フィールド３０２と、検索実行の契機となる検索ボタン３０４と、「最新ニュース」、「話題の商品」等の各種情報が含まれる。ユーザが入力フィールド３０２にタッチすると、検索文字列の入力位置を示す入力カーソルが表示される。図５に戻る。
　コントローラ４４の入力切替ボタンをユーザが押下しないとき（Ｓ１４のＮ）、ユーザは入力フィールド３０２に検索文字列を直接入力する（Ｓ１６）。ユーザが入力フィールド３０２にタッチ後、入力切替ボタンを押下すると（Ｓ１４のＹ）、指示取得部５２はその操作を検出する。代替入力画面設定部６２は入力フィールド３０２のための代替入力画面２００を設定して、代替入力画面表示部６４はその代替入力画面２００を検索要求ページ３００の前面に透過的に重畳表示させる（Ｓ１８）。図９は、Ｓ１８において、検索要求ページ３００の前面であって、ディスプレイ４６の全体に代替入力画面２００が透過的に表示された状態を示している。図５に戻る。
　次に、代替入力画面２００を介した検索要求ページ３００への検索文字列入力が実行される（Ｓ２０）。Ｓ２０の詳細は後述する。ユーザが入力切替ボタンの押下を終了すると、指示取得部５２はその操作を検出する。代替入力画面設定部６２は代替入力画面２００の表示終了を代替入力画面表示部６４に通知し、代替入力画面表示部６４はディスプレイ４６における代替入力画面２００の表示を終了させる（Ｓ２２）。図１０は、Ｓ２２において、代替入力画面２００の表示が終了した画面を示している。入力フィールド３０２には、後述するように、代替入力画面２００を介したユーザの入力文字「手」が設定されている。以降ユーザは、検索ボタン３０４を押下して検索を実行する（Ｓ２４）。
　図６は、図５のＳ２０の詳細を示すフローチャートである。指示取得部５２は、ユーザ入力エリア２０２に対するユーザによる文字入力を検出する（Ｓ３０）。代替入力画面設定部６２は入力された文字の画像を設定し、代替入力画面表示部６４は入力された文字の画像をユーザ入力エリア２０２に表示させる（Ｓ３２）。入力文字が特定文字と一致しなければ（Ｓ３４のＮ）、すなわち文字の入力が途中であるためＳ３０に戻る。
　入力文字が特定文字と一致すると（Ｓ３４のＹ）、代替入力画面設定部６２は確認フィールド２０６に設定すべき特定文字の画像を設定し、代替入力画面表示部６４は確認フィールド２０６にその特定文字を表示させる（Ｓ３６）。それとともに、転記部６６は、その特定文字を入力フィールド３０２に表示させる（Ｓ３８）。代替入力画面表示部６４は、特定文字にマッピング済の文字、すなわち確認フィールド２０６に設定済の文字をユーザ入力エリア２０２から消去する（Ｓ４０）。
　図１１は、ユーザがユーザ入力エリア２０２に「Ｔ」を入力し、確認フィールド２０６および入力フィールド３０２にその入力文字が反映された状態を示している。図１２は、図１１の状態からユーザが「Ｅ」をさらに入力し、変換部６０において「て」に変換され、確認フィールド２０６および入力フィールド３０２にその入力文字が反映された状態を示している。なお、ユーザが「Ｅ」を入力するに際し、特定文字と既にマッピング済の文字「Ｔ」は、その透過度が徐々に大きくなるように代替入力画面表示部６４が設定し、最終的には消去する。特定文字にマッピング済の入力文字をユーザ入力エリア２０２から随時消去することで、ユーザ入力エリア２０２の大きさに制限されることなく、ユーザは長い文字列をユーザ入力エリア２０２に入力可能になる。図６に戻る。
　代替入力画面２００の各種指示部にユーザがタッチして、確認フィールド２０６に設定された入力文字の編集を行うとき（Ｓ４２のＹ）、後述する入力文字の編集処理が実行される（Ｓ４４）。入力文字の編集処理が行われないとき（Ｓ４２のＮ）、ユーザが入力切替ボタンの押下を終了すると、指示取得部５２において終了トリガとして検出され（Ｓ４６のＹ）、図５のＳ２０の処理は終了する。終了トリガが検出されなければ（Ｓ４６のＮ）、Ｓ３０に戻る。
　図７は、図６のＳ４４の詳細を示すフローチャートである。ユーザが変換指示部２０４にタッチしたとき（Ｓ５０のＹ）、代替入力画面設定部６２は変換部６０に特定文字の変換要求を通知して変換候補を取得し（Ｓ５２）、代替入力画面表示部６４は代替入力画面２００上に変換候補を表示させる。ユーザが一の変換候補を選択すると、代替入力画面設定部６２は選択された変換候補を変換先文字として取得し、代替入力画面表示部６４は確認フィールド２０６の入力文字を変換先文字に変更することで、変換結果を確認フィールド２０６に反映する（Ｓ５４）。それとともに、代替入力画面表示部６４は、入力フィールド３０２の入力文字をその変換先文字に変更することで、変換結果を入力フィールド３０２に反映する（Ｓ５６）。
　図１３は、代替入力画面２００上に変化候補エリア２１６が表示された状態を示している。変化候補エリア２１６は代替入力画面２００と同様に透過的に表示されてもよい。ここでは、変化候補エリア２１６の変換候補から変換先文字として「手」が選択され、その変換先文字が確認フィールド２０６および入力フィールド３０２に反映されている。図７に戻る。
　ユーザが左移動指示部２０８、右移動指示部２１０、後退指示部２１２、削除指示部２１４等にタッチしたとき（Ｓ５０のＮ）、代替入力画面設定部６２はその操作内容に応じて確認フィールド２０６の状態を適宜変更する。代替入力画面表示部６４は変更された確認フィールド２０６の状態を表示させる（Ｓ５８）。それとともに、転記部６６は確認フィールド２０６の変更内容を入力フィールド３０２に反映させる（Ｓ６０）。
　図１４は、確認フィールド２０６および入力フィールド３０２に誤字「しゅみれーしょん」が設定された状態を示している。図１５は、図１４の状態から、ユーザが左移動指示部２０８や削除指示部２１４にタッチして、入力文字列を変更した状態を示している。ユーザによる確認フィールド２０６の編集内容は、転記部６６によって入力フィールド３０２にも随時反映される。なお、確認フィールド２０６へのユーザのタッチおよびスライドにより、確認フィールド２０６の一部もしくは全部の文字列が選択されてもよい。また、確認フィールド２０６の文字列選択後に変換指示部２０４がタッチされることで、選択された文字列が再変換されてもよい。
　本実施の形態の移動情報端末４０よれば、画面サイズの制約がある移動情報端末においても、その画面領域を最大限に有効活用したコンテンツ表示を維持しつつ、ユーザに対して利便性の高い情報入力インタフェースを提供できる。具体的には、ユーザが視認しやすい表示サイズで文字を入力および編集可能な情報入力インタフェースを提供するとともに、その情報入力インタフェースをコンテンツの前面に透過的に重畳表示させることで、ユーザが視認可能なコンテンツの情報量も維持される。
　また、移動情報端末４０によれば、代替入力画面２００に対するユーザの入力情報や、その入力情報の編集内容が、ユーザの指示を必要とせずに入力フィールド３０２に反映されて、同期が維持される。これにより、代替入力画面２００から入力フィールド３０２への情報反映についてユーザは特段の意識をする必要がなく、あたかも入力フィールド３０２に直接入力するかのごとく、代替入力画面２００に対する情報入力ができる。
　さらに、代替入力画面２００には、入力フィールド３０２に設定された入力情報と同様の入力情報が設定される確認フィールド２０６が含まれ、確認フィールド２０６の情報と入力フィールド３０２の情報とは同期が維持される。これにより、ユーザは、入力フィールド３０２に設定された入力情報を編集する際には、入力文字の視認性が高い確認フィールド２０６の入力情報を編集すればよく、ユーザの利便性が向上する。
　さらにまた、移動情報端末４０によれば、代替入力画面２００を描画する際に、その背景となるコンテンツの色彩に対する補色を、代替入力画面２００の色彩として決定して、さらに透過設定がなされる。前景の代替入力画面２００を透過させた場合、ユーザにとって、背景のコンテンツとの区別が難しくなることがある。本実施の形態のように、代替入力画面２００の描画色として背景の補色を設定することで、代替入力画面２００を透過させても、前景と背景とのコントラストが強い状態を維持できる。言い換えれば、ユーザにとって、前景の代替入力画面２００と、背景のコンテンツとの識別が容易になり、ユーザの利便性を向上できる。
　さらにまた、移動情報端末４０は入力切替ボタンを備え、ユーザはコンテンツに対して情報入力する際に、必要に応じて入力切替ボタンを押下して代替入力画面２００を表示させることができる。コンテンツが大きく表示され、コンテンツの入力フィールドへの文字入力がユーザにとって容易であれば、ユーザは入力フィールドに直接文字入力できる。すなわち、ユーザごと、コンテンツごとの情報入力の困難性に応じて、入力フィールドへの直接入力か、代替入力画面２００を介した入力かをユーザが選択できる。
　以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、変形例を示す。
　第１の変形例を説明する。実施の形態においては、代替入力画面２００は文字入力を受け付けるユーザインタフェースとして説明したが、文字以外の入力を受け付けてもよい。例えば、移動情報端末４０は、ユーザが代替入力画面２００に描画した内容、例えば絵等をそのままのイメージで受け付けて、コンテンツのイメージ設定領域に設定してもよい。この変形例についても、実施の形態と同様の効果を奏する。
　第２の変形例を説明する。実施の形態において説明した文字入力を受け付ける代替入力画面２００と、画像イメージ等、文字以外の入力データを受け付ける別の代替入力画面との両方がコンテンツの前面に同時に重畳表示されてもよい。また、複数の代替入力画面それぞれが重畳表示されてもよい。コンテンツが様々な形式の入力データを受け付ける際、特に好適な態様である。
　第３の変形例を説明する。実施の形態においては、代替入力画面表示部６４は、代替入力画面２００を表示する各画素の色彩として、背景となるコンテンツ側の対応画素に設定された色彩に対する補色を決定した。変形例においては、コンテンツにおいて対応画素の周辺に存在する周辺画素も特定し、対応画素および周辺画素の色彩を平滑化した色彩（以下、適宜「平均色彩」と呼ぶ。）に対する補色を、代替入力画面２００を表示する各画素の色彩として決定してもよい。代替入力画面２００を表示する各画素の色彩の決定にあたり、対応画素に加えて周辺画素が加味されることで、対応画素および周辺画素に対して平均的にコントラストが強い色彩を代替入力画面２００の各画素に設定できる。
　図１６の（ａ）は、背景となるコンテンツの画素イメージを示す。同図の描画位置画素４００は、色彩を決定すべき代替入力画面２００の画素（以下、適宜「描画対象画素」と呼ぶ。）の表示位置に存在するコンテンツ側の対応画素を示している。計算範囲４０２は、平均色彩を特定するために、コンテンツ上の色彩が特定される周辺画素の範囲を示している。同図では、計算範囲４０２の９画素のうち６画素は第１色彩４０４で描画されており、他の３画素は第２色彩４０６で描画されている。ここで、第１色彩４０４のＲＧＢ成分は「Ｒ＝２５５、Ｇ＝０、Ｂ＝０」とし、第２色彩４０６のＲＧＢ成分は「Ｒ＝５１、Ｇ＝１０２、Ｂ＝２５５」とする。
　この場合、まず、６画素分の第１色彩４０４と、３画素分の第２色彩４０６との移動平均が平均色彩として特定される。ここでは、
　Ｒ：（（２５５×６）＋（５１×３））÷９＝１８７
　Ｇ：（（０×６）＋（１０２×３））÷９＝３４
　Ｂ：（（０×６）＋（２５５×３））÷９＝８５
のＲＧＢ成分を有する色彩が平均色彩として特定される。次に、平均色彩に対する補色が描画対象画素の色彩として決定される。以降、実施の形態に既述したように、適宜透過設定がなされてよい。
　なお、図１６の（ａ）では描画位置画素４００の上下左右に存在する周辺画素を計算範囲４０２としたが、図１６の（ｂ）で示すように、描画位置画素４００の左右に存在する周辺画素のみを計算範囲４０２としてもよい。すなわち、計算範囲４０２をブロックではなく、ラインで特定してもよい。
　第４の変形例を説明する。上述した第３の変形例においては、描画位置画素４００に加えて、描画位置画素４００の上下左右、または左右に存在する周辺画素を計算範囲４０２とした。変形例においては、描画位置画素４００に加えて、走査済の、言い換えれば色彩を特定済の周辺画素の範囲を計算範囲４０２としてもよい。一般的に、画像内の特定画素の色彩は周辺画素の色彩に近似する色彩であることが多いため、一部の周辺画素のみを考慮した場合であっても描画対象画素に設定すべき適切な色彩を決定しやすい。本変形例によれば、色彩決定のために必要となるシステムリソースおよび計算量を削減できる。
　図１７の（ａ）は、背景となるコンテンツの画素イメージを示す。同図では、画素の走査がディスプレイ上の左から右へ、上から下へ実行されることを前提としている。同図の計算範囲４０２は、描画位置画素４００に加えて、その上および左に存在する４つの周辺画素で構成される。なお、図１７（ｂ）で示すように、描画位置画素４００に加えて、描画位置画素４００の左に存在する１つの周辺画素を計算範囲４０２としてもよい。
　第５の変形例を説明する。実施の形態においては、代替入力画面２００の各画素について、背景となる対応画素の色彩（以下、適宜「背景色彩」と呼ぶ。）に対する補色にて描画されるように、各画素の画素値が決定された。変形例においては、代替入力画面２００の各画素について、背景とのコントラストが明りょうになるように、背景色彩の輝度を所定量変化させた色彩にて描画されるように、各画素の画素値が決定されてもよい。人間の目は色の変化よりも明るさの変化に敏感であるため、背景色彩の輝度を変化させた色彩を代替入力画面２００に設定することにより、補色を設定した場合と同様に、ユーザにとって背景のコンテンツとの識別が容易となる。
　具体的には、背景色彩の輝度が所定の基準値未満であるときには所定のオフセット値を加算し、一方で、背景色彩の輝度が所定の基準値以上であるときには所定のオフセット値を減算してもよい。例えば、輝度が「０～２５５」の範囲内の値であり、基準値が輝度範囲の中間値である「１２８」、オフセット値が「１２７」であるとする。この場合、背景色彩の輝度が「５」であるとき、その背景色彩上に描画される、代替入力画面２００の色彩の輝度は「５＋１２７＝１３２」となる。また、背景色彩の輝度が「２００」であるとき、その背景色彩上に描画される、代替入力画面２００の色彩の輝度は「２００－１２７＝７３」となる。
　別の方法として、背景色彩の輝度が所定の基準値未満であるときにはその基準値以上の特定値、背景色彩の輝度が所定の基準値以上であるときにはその基準値未満の特定値にマッピングされてもよい。例えば、輝度が「０～２５５」の範囲内の値であり、基準値が輝度範囲の中間値である「１２８」、特定値が「０」および「２５５」であるとする。この場合、背景色彩の輝度が「５」であるとき、その背景色彩上に描画される、代替入力画面２００の色彩の輝度は「２５５」となる。また、背景色彩の輝度が「２００」であるとき、その背景色彩上に描画される、代替入力画面２００の色彩の輝度は「０」となる。オフセット値による調整が不要であるため、輝度を特定するための計算量が削減される。
　なお、本変形例において特に言及しない描画位置画素４００の色相については、背景色彩の色相を適宜調整した色相が設定されてもよく、背景色彩と同一の色相が設定されてもよい。また、第３および第４の変形例において説明した周辺画素の考慮が、本変形例における輝度の決定においても採用されてよい。例えば、周辺画素における平均輝度を特定し、その平均輝度を上記のように所定量変化させた色彩を描画対象画素の色彩としてもよい。
　第６の変形例を説明する。実施の形態においては、代替入力画面２００の全体に透過設定がなされることとしたが、少なくともその一部について透過設定がなされなくてもよい。例えば、代替入力画面２００の枠、矢印、文字、ユーザ入力エリア２０２に設定される入力文字、確認フィールド２０６に設定される特定文字等が、不透過の状態であってもよい。透過設定されない部分については、その視認性が向上する。透過設定すべき領域は、代替入力画面２００の視認性、背景となるコンテンツの視認性、透過設定のための計算量等を基準として、企業の知見や移動情報端末４０を用いた実験等に基づいて決定されてよい。
　第７の変形例を説明する。実施の形態においては、ユーザによる入力切替の操作にしたがって代替入力画面２００を表示した。変形例においては、ユーザによる入力切替の操作が未実施のときでも、コンテンツの入力フィールドの大きさに応じて代替入力画面２００が表示されてよい。典型的には、コンテンツの入力フィールドの大きさが所定値以下、例えばユーザ入力エリア２０２の大きさに対して所定割合以下であるとき、ユーザがその入力フィールドを選択した際に、代替入力画面２００が自動表示されることが望ましい。入力切替ボタンを押すユーザの手間を省き、情報入力の利便性を向上できる。なお、自動表示された代替入力画面２００を介した入力をユーザが希望しない場合には、入力切替ボタンを押されることで、自動表示された代替入力画面２００の表示が終了されてもよい。
　上述した実施の形態および変形例の任意の組み合わせもまた本発明の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施の形態および変形例それぞれの効果をあわせもつ。
　請求項に記載の各構成要件が果たすべき機能は、実施の形態および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。
　１０　ウェブサーバ、　２０　通信網、　３０　アクセスポイント、　４０　移動情報端末、　４２　スピーカ、　４４　コントローラ、　４６　ディスプレイ、　５０　通信部、　５２　指示取得部、　５４　コンテンツ取得部、　５６　コンテンツ表示部、　５８　対応色保持部、　６０　変換部、　６２　代替入力画面設定部、　６４　代替入力画面表示部、　６６　転記部、　１００　通信システム。
　この発明は、ユーザにデータを入力させる情報処理装置に利用可能である。

Claims (12)

  1. 　画面に表示させた入力フィールドを含むコンテンツに対してユーザが情報を入力する際、その画面に対する操作によってユーザからの入力情報を受け付けるユーザインタフェースを、前記コンテンツの前面に透過的に重ねて表示させる表示部と、
    　前記ユーザインタフェースにおいて受け付けられた入力情報を前記コンテンツの入力フィールドに設定する転記部と、
    　を備えることを特徴とする情報入力装置。
  2. 　前記表示部は、前記画面に対する操作によってユーザからの入力情報を受け付けて、前記コンテンツの入力フィールドにおける表示サイズよりも大きく当該入力情報を表示するユーザインタフェースを表示させることを特徴とする請求項１に記載の情報入力装置。
  3. 　前記表示部は、前記ユーザインタフェースを、前記コンテンツの前面であって前記画面の全体に透過的に重ねて表示させることを特徴とする請求項１または２に記載の情報入力装置。
  4. 　前記転記部は、前記ユーザインタフェースにおいて入力情報が受け付けられた際、その入力情報を入力フィールドへ設定する旨のユーザによる指示を待つことなく、受け付けられた入力情報を前記コンテンツの入力フィールドに随時設定することを特徴とする請求項１から３のいずれかに記載の情報入力装置。
  5. 　前記ユーザインタフェースには、前記コンテンツの入力フィールドに設定された入力情報をユーザに確認させるための確認フィールドが含まれ、
    　前記表示部は、前記ユーザインタフェースにおいて受け付けられた入力情報を前記確認フィールドに設定し、
    　前記転記部は、前記確認フィールドに設定された情報がユーザによって変更されたとき、その変更を前記コンテンツの入力フィールドに反映させることを特徴とする請求項１から４のいずれかに記載の情報入力装置。
  6. 　前記表示部は、前記ユーザインタフェースとその背景となる前記コンテンツとをユーザが容易に区別できるように、前記コンテンツに設定された色彩に対する補色を用いて前記ユーザインタフェースを描画することを特徴とする請求項１から５のいずれかに記載の情報入力装置。
  7. 　前記表示部は、前記ユーザインタフェースの少なくとも一部を表示させる特定画素の色彩を決定すべきとき、前記コンテンツにおいて前記特定画素に対応する対応画素を特定し、その対応画素に設定された色彩に対する補色を前記特定画素の色彩として決定することを特徴とする請求項６に記載の情報入力装置。
  8. 　前記表示部は、前記コンテンツにおける対応画素を特定する際にその周辺に存在する周辺画素も特定し、前記対応画素および周辺画素の色彩を平滑化した色彩に対する補色を前記特定画素の色彩として決定することを特徴とする請求項７に記載の情報入力装置。
  9. 　前記表示部は、前記ユーザインタフェースとその背景となる前記コンテンツとをユーザが容易に区別できるように、前記コンテンツに設定された色彩の輝度を特定し、その輝度を所定量変化させた色彩を用いて前記ユーザインタフェースを描画することを特徴とする請求項１から５のいずれかに記載の情報入力装置。
  10. 　前記コンテンツの入力フィールドへの直接の情報入力に代えて、前記ユーザインタフェースを介した情報入力を、ユーザが選択するための指示部をさらに備えることを特徴とする請求項１から９のいずれかに記載の情報入力装置。
  11. 　画面に表示させた入力フィールドを含むコンテンツに対してユーザが情報を入力する際、その画面に対する操作によってユーザからの入力情報を受け付けるユーザインタフェースを、前記コンテンツの前面に透過的に重ねて表示させるステップと、
    　前記ユーザインタフェースにおいて受け付けられた入力情報を前記コンテンツの入力フィールドに設定するステップと、
    　を備えることを特徴とする情報入力方法。
  12. 　画面に表示させた入力フィールドを含むコンテンツに対してユーザが情報を入力する際、その画面に対する操作によってユーザからの入力情報を受け付けるユーザインタフェースを、前記コンテンツの前面に透過的に重ねて表示させるモジュールと、
    　前記ユーザインタフェースにおいて受け付けられた入力情報を前記コンテンツの入力フィールドに設定するモジュールと、
    　を備えることを特徴とするプログラム製品。
PCT/JP2010/002333 2009-04-03 2010-03-30 情報入力装置および情報入力方法 Ceased WO2010113487A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201080014514.2A CN102378958B (zh) 2009-04-03 2010-03-30 信息输入装置及信息输入方法
KR1020117026115A KR101372369B1 (ko) 2009-04-03 2010-03-30 정보입력장치 및 정보입력방법
EP10758267.8A EP2418569A4 (en) 2009-04-03 2010-03-30 INPUT INFORMATION DEVICE AND INPUT INFORMATION METHOD
US13/262,053 US9703392B2 (en) 2009-04-03 2010-03-30 Methods and apparatus for receiving, converting into text, and verifying user gesture input from an information input device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009090696A JP5350862B2 (ja) 2009-04-03 2009-04-03 携帯型情報端末および情報入力方法
JP2009-090696 2009-04-03

Publications (1)

Publication Number Publication Date
WO2010113487A1 true WO2010113487A1 (ja) 2010-10-07

Family

ID=42827797

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/002333 Ceased WO2010113487A1 (ja) 2009-04-03 2010-03-30 情報入力装置および情報入力方法

Country Status (6)

Country Link
US (1) US9703392B2 (ja)
EP (1) EP2418569A4 (ja)
JP (1) JP5350862B2 (ja)
KR (1) KR101372369B1 (ja)
CN (1) CN102378958B (ja)
WO (1) WO2010113487A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10175871B2 (en) 2013-03-15 2019-01-08 Apple Inc. Device, method, and graphical user interface for adjusting the appearance of a control
WO2019100895A1 (zh) * 2017-11-24 2019-05-31 南昌黑鲨科技有限公司 一种用于智能终端的输入设备

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5198548B2 (ja) * 2010-12-14 2013-05-15 株式会社東芝 電子機器、表示制御方法及びプログラム
JP2013048318A (ja) * 2011-08-29 2013-03-07 Nintendo Co Ltd 情報処理装置、情報処理プログラム、情報処理方法および情報処理システム
CN103345465A (zh) * 2013-06-28 2013-10-09 宇龙计算机通信科技(深圳)有限公司 一种多媒体文件标注、显示方法及装置
EP3167445B1 (en) 2014-07-10 2021-05-26 Intelligent Platforms, LLC Apparatus and method for electronic labeling of electronic equipment
US10152804B2 (en) * 2015-02-13 2018-12-11 Smugmug, Inc. System and method for dynamic color scheme application
US10845987B2 (en) * 2016-05-03 2020-11-24 Intelligent Platforms, Llc System and method of using touch interaction based on location of touch on a touch screen
US11079915B2 (en) 2016-05-03 2021-08-03 Intelligent Platforms, Llc System and method of using multiple touch inputs for controller interaction in industrial control systems
US11294530B2 (en) * 2017-08-07 2022-04-05 Microsoft Technology Licensing, Llc Displaying a translucent version of a user interface element
US10964288B2 (en) * 2019-06-26 2021-03-30 Western Digital Technologies, Inc. Automatically adapt user interface color scheme for digital images and video
CN110263301B (zh) * 2019-06-27 2023-12-05 北京百度网讯科技有限公司 用于确定文字的颜色的方法和装置
JP7420535B2 (ja) * 2019-11-22 2024-01-23 フクダ電子株式会社 生体情報処理装置およびその制御方法
CN112558785B (zh) * 2020-12-24 2024-06-18 上海二三四五网络科技有限公司 一种调整文字显示颜色的控制方法及装置
JP7351948B2 (ja) * 2022-02-07 2023-09-27 三菱電機Ｉｔソリューションズ株式会社 画面制御装置、画面制御方法及び画面制御プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11202997A (ja) * 1998-01-20 1999-07-30 Hitachi Ltd ペン入力機能付き情報処理装置
JP2002208994A (ja) * 2001-01-04 2002-07-26 Matsushita Electric Ind Co Ltd 携帯情報端末、携帯情報端末における画面表示方法および記録媒体
JP2005258882A (ja) * 2004-03-12 2005-09-22 Sanyo Electric Co Ltd 文字入力支援方法及び文字入力支援プログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0296887A (ja) * 1988-10-03 1990-04-09 Sharp Corp 文字認識装置
JP2550300B2 (ja) * 1994-09-19 1996-11-06 株式会社日立製作所 実時間手書き文字認識の文字入力方法及び装置
US5768607A (en) * 1994-09-30 1998-06-16 Intel Corporation Method and apparatus for freehand annotation and drawings incorporating sound and for compressing and synchronizing sound
JP2944439B2 (ja) * 1994-12-27 1999-09-06 シャープ株式会社 手書き文字入力装置および方法
JPH1116139A (ja) * 1997-06-20 1999-01-22 Toshiba Corp キャリッジアッセンブリの組立方法、および組立方法に用いるヘッドユニット
GB2341952B (en) * 1998-09-24 2003-05-14 Ibm Multi-layer entry fields
US20030001899A1 (en) * 2001-06-29 2003-01-02 Nokia Corporation Semi-transparent handwriting recognition UI
US20030071850A1 (en) * 2001-10-12 2003-04-17 Microsoft Corporation In-place adaptive handwriting input method and system
US7343566B1 (en) * 2002-07-10 2008-03-11 Apple Inc. Method and apparatus for displaying a window for a user interface
DE60302875T2 (de) * 2003-05-08 2006-07-06 Orange S.A. Datenverarbeitungsgerät und -verfahren
WO2005003944A1 (en) * 2003-07-01 2005-01-13 Nokia Corporation Method and device for operating a user-input area on an electronic display device
CN101292217B (zh) * 2005-10-15 2012-02-22 诺基亚公司 到电子设备的改进的文本录入的方法和设备
JP2008090625A (ja) * 2006-10-02 2008-04-17 Sharp Corp 文字入力装置、文字入力方法、制御プログラム、および、記録媒体
KR20080078291A (ko) 2007-02-23 2008-08-27 엘지전자 주식회사 브라우저 디스플레이 방법 및 이를 구현할 수 있는 단말기
KR100881952B1 (ko) * 2007-01-20 2009-02-06 엘지전자 주식회사 터치스크린을 구비하는 이동통신 단말기 및 그 동작제어방법
KR100874044B1 (ko) * 2007-02-28 2008-12-12 이화여자대학교 산학협력단 펜입력 디스플레이용 필기체 사용자 인터페이스 시스템 및방법
JP2009053919A (ja) * 2007-08-27 2009-03-12 Avantec Co Ltd 拡大表示装置、拡大表示方法、および拡大表示プログラム
US8116569B2 (en) * 2007-12-21 2012-02-14 Microsoft Corporation Inline handwriting recognition and correction
US9690474B2 (en) * 2007-12-21 2017-06-27 Nokia Technologies Oy User interface, device and method for providing an improved text input
US8908973B2 (en) * 2008-03-04 2014-12-09 Apple Inc. Handwritten character recognition interface

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11202997A (ja) * 1998-01-20 1999-07-30 Hitachi Ltd ペン入力機能付き情報処理装置
JP2002208994A (ja) * 2001-01-04 2002-07-26 Matsushita Electric Ind Co Ltd 携帯情報端末、携帯情報端末における画面表示方法および記録媒体
JP2005258882A (ja) * 2004-03-12 2005-09-22 Sanyo Electric Co Ltd 文字入力支援方法及び文字入力支援プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10175871B2 (en) 2013-03-15 2019-01-08 Apple Inc. Device, method, and graphical user interface for adjusting the appearance of a control
US10599316B2 (en) 2013-03-15 2020-03-24 Apple Inc. Systems and methods for adjusting appearance of a control based on detected changes in underlying content
WO2019100895A1 (zh) * 2017-11-24 2019-05-31 南昌黑鲨科技有限公司 一种用于智能终端的输入设备
US11148044B2 (en) 2017-11-24 2021-10-19 Shanghai Zhonglian Technologies Ltd., Co Input device for intelligent terminal

Also Published As

Publication number Publication date
CN102378958B (zh) 2015-09-16
JP5350862B2 (ja) 2013-11-27
EP2418569A4 (en) 2015-07-29
JP2010244223A (ja) 2010-10-28
CN102378958A (zh) 2012-03-14
KR20110135416A (ko) 2011-12-16
KR101372369B1 (ko) 2014-03-11
EP2418569A1 (en) 2012-02-15
US9703392B2 (en) 2017-07-11
US20120174008A1 (en) 2012-07-05

Similar Documents

Publication Publication Date Title
WO2010113487A1 (ja) 情報入力装置および情報入力方法
US9754559B2 (en) Image processing apparatus
JP7255728B2 (ja) 通信端末、通信システム、送信方法、及びプログラム
US5309555A (en) Realtime communication of hand drawn images in a multiprogramming window environment
KR20100028344A (ko) 휴대단말의 영상 편집 방법 및 장치
US20180082663A1 (en) Information processing apparatus, image displaying method, and non-transitory computer readable medium
US20120042265A1 (en) Information Processing Device, Information Processing Method, Computer Program, and Content Display System
JP2013229672A (ja) 通信端末、通信方法、通信プログラム及び通信システム
JP2010055207A (ja) 文字入力装置、文字入力方法、プログラム、記憶媒体
US10297058B2 (en) Apparatus, system, and method of controlling display of image, and recording medium for changing an order or image layers based on detected user activity
JP2019096367A (ja) 電子黒板、電子黒板の画像処理方法、及び電子黒板のプログラムを記録した記録媒体
CA2929906A1 (en) System and method of digital ink input
JP2016200860A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
US10735607B2 (en) Device for generating display data, information device, and display system for displaying scroll region and operation region
JP7732283B2 (ja) 表示装置、表示システム、表示制御方法、及びプログラム
JP2003316490A (ja) 遠隔操作システム及び遠隔操作方法
US20100257488A1 (en) Method for moving a cursor and display apparatus using the same
CN102970453B (zh) 能够显示实际尺寸预览的图像形成设备及其控制方法
JP2011192008A (ja) 画像処理システムおよび画像処理方法
JP7148172B2 (ja) 字幕表示処理プログラム、字幕表示処理装置、サーバ。
JP7151490B2 (ja) 情報処理端末、情報処理システム、操作画面表示方法及びプログラム
JP2016095620A (ja) 表示装置、サーバ装置、表示システム及びその制御方法、並びに制御プログラム、記憶媒体
JP2015176523A (ja) 表示処理装置、画面表示方法およびコンピュータープログラム
US20260075279A1 (en) Method, display system, and information processing apparatus
JP2025107015A (ja) 情報処理装置、制御方法、およびプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080014514.2

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10758267

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2010758267

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2010758267

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 7547/CHENP/2011

Country of ref document: IN

ENP Entry into the national phase

Ref document number: 20117026115

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13262053

Country of ref document: US