WO2017010469A1 - 手書き装置および音声・手書き通信システム - Google Patents

手書き装置および音声・手書き通信システム Download PDF

Info

Publication number
WO2017010469A1
WO2017010469A1 PCT/JP2016/070484 JP2016070484W WO2017010469A1 WO 2017010469 A1 WO2017010469 A1 WO 2017010469A1 JP 2016070484 W JP2016070484 W JP 2016070484W WO 2017010469 A1 WO2017010469 A1 WO 2017010469A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
communication device
voice
handwriting
trajectory information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/070484
Other languages
English (en)
French (fr)
Inventor
吉田　健治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IP SOLUTIONS Ltd
Original Assignee
IP SOLUTIONS Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IP SOLUTIONS Ltd filed Critical IP SOLUTIONS Ltd
Priority to JP2017528681A priority Critical patent/JP6973791B2/ja
Publication of WO2017010469A1 publication Critical patent/WO2017010469A1/ja
Anticipated expiration legal-status Critical
Priority to JP2021175186A priority patent/JP2022020703A/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Definitions

  • the present invention relates to a pen-type device having a telephone function and a dot pattern reading function.
  • the present invention also relates to a pen-type device used in conjunction with a wearable device.
  • the present inventor has made many innovative inventions using dot patterns.
  • This invention is made in view of such a point, and makes it a technical subject to provide the pen-type device which has a telephone function and a dot pattern reading function.
  • a handwriting device is a handwriting device for drawing a locus on a medium on which a dot pattern is formed, and images the dot pattern in which coordinate values and code values or code values are defined.
  • Voice acquisition means for acquiring; and transmission means for transmitting at least one of the voice information and the trajectory information or code value to a communication device, and the writing area of the medium on which the dot pattern is formed includes A coordinate value and a code value are defined, and the code value has an area specifying code for specifying the writing area, and the solution
  • the analyzing means outputs the locus information including the region specifying code.
  • a handwriting device is a handwriting device for drawing a locus on a medium on which a dot pattern is formed, and images the dot pattern in which coordinate values and code values or code values are defined.
  • Imaging means for outputting trajectory information and / or code values comprising at least a coordinate information history obtained from the coordinate values by code analysis of the dot pattern imaged by the imaging means; and the audio information Transmitting means for transmitting at least one of the locus information or the code value to a communication device, and the coordinate value and the code value are defined in a writing area of the medium on which the dot pattern is formed,
  • the code value has an area specifying code for specifying the writing area, and the analysis means specifies the area in the trajectory information.
  • the communication device includes a code and outputs the voice information.
  • the handwriting device or the communication device may further include synchronization means for adding information defining time passage to the trajectory information to synchronize with the voice information.
  • the communication device may be a counterpart communication device used by a third party.
  • the communication device is a communication device used by itself, and the transmission means sends the voice information and the locus to the counterpart communication device used by a third party via the communication device.
  • Information and / or code values may be transmitted.
  • the counterpart communication device may be specified by the trajectory information.
  • a storage unit that stores at least one of the trajectory information and the voice information is further provided in either the handwriting device or the communication device, and the transmission unit or the transmission provided in the communication device
  • the means may transmit at least one of the voice information and the trajectory information stored in the storage means as a file.
  • At least one of the handwriting device and the communication device further includes display means for displaying at least the trajectory information that is either built-in or connected to the outside. Also good.
  • the display means may output the audio information in synchronization with the trajectory information.
  • voice output means for outputting the received voice information may be further provided in at least one of the handwriting device and the communication device.
  • At least one of the handwriting device and the communication device may further include a voice reception device that receives voice information from the counterpart communication device.
  • a trajectory receiving device for receiving trajectory information from the counterpart communication device according to any one of claims 4 to 6 may be further provided in at least one of the handwriting device and the communication device. Good.
  • trajectory information further drawn by the handwriting device may be transmitted to the counterpart communication device or the communication device according to any one of claims 4 to 6 with respect to the trajectory information.
  • the communication device may be a smartphone or a PC.
  • the counterpart communication device may be a smartphone or a PC.
  • a voice / handwriting communication system is a handwriting device for drawing a locus on a medium on which a dot pattern is formed, wherein the coordinate value and code value or the dot pattern in which the code value is defined
  • Imaging means for picking up images, and analyzing means for outputting trajectory information and / or code values consisting of at least a history of coordinate information obtained from the coordinate values by code analysis of the dot pattern imaged by the imaging means;
  • Transmitting means for transmitting at least one of the trajectory information and the code value to a communication device, and the coordinate value and the code value are defined in a writing area of the medium on which the dot pattern is formed.
  • the value has an area specifying code for specifying the writing area, and the analysis means adds the area specifying code to the trajectory information.
  • a communication device for acquiring voice information.
  • synchronization means for synchronizing information with the audio information by adding information defining time passage to the trajectory information to at least one of the handwriting device or the communication device, the handwriting device or the communication You may further provide in at least any of apparatuses.
  • the communication device is a communication device used by itself, and the transmission means sends the voice information and the locus to the other party communication device used by a third party via the communication device.
  • Information and / or code values may be transmitted.
  • the counterpart communication device may be specified by the trajectory information.
  • At least one of the handwriting device and the communication device further includes display means for displaying at least the trajectory information that is either built-in or connected to the outside. May be.
  • the display means may output the audio information in synchronization with the trajectory information.
  • an audio output means for outputting the received audio information is provided to the communication device. Further, it may be provided.
  • the communication device may further include voice receiving means for receiving voice information from the counterpart communication device.
  • the communication device may further include trajectory receiving means for receiving trajectory information from the counterpart communication device.
  • the trajectory information further drawn by the handwriting device may be transmitted to the counterpart communication device via the communication device with respect to the trajectory information.
  • the communication device may be a smartphone or a PC.
  • the counterpart communication device may be a smartphone or a PC.
  • trajectory information When temporarily storing and transmitting voice information and trajectory information to the other party in a file format.
  • the trajectory information when the trajectory information is reproduced in real time and synchronized with the sound, the time elapses with either a pen-type device or your own smartphone (smartphone), personal computer (PC), wearable computer, etc. Must be added to the trajectory information.
  • the pen-type device has a transmission function to a partner smartphone or PC (including a wearable computer, etc.).
  • ⁇ Voice acquisition means, storage means, synchronization means (later trace information is synchronized with the voice in real time, useless if it is not necessary to reproduce, etc.) is mounted on the pen-type device, The trajectory information is recorded on the pen-type device, and later the voice information and trajectory information are sent as files to the other party's smartphone or PC.
  • Pen-type devices do not have voice acquisition means and storage means; they record voice with their own smartphone, PC voice acquisition means, and storage means, and send trajectory information from the pen-type device to their own smartphone or PC in real time. Record.
  • the pen-type device is equipped with only the trajectory information storage means, and the voice is recorded by the smartphone, PC voice acquisition means, and storage means.
  • information indicating the passage of time may be added to the trajectory information on either the pen-type device or the own smartphone / PC.
  • the trace information can be transmitted almost in real time, there is almost no delay.
  • smartphones and PCs are overwhelmingly faster than pen-type devices, it is desirable to have smartphones and PCs perform complex processing. From the pen-type device, track information is sent as a file to a smartphone or PC for recording.
  • the pen-type device is equipped with voice acquisition means and storage means, which records voice information and trajectory information on the pen, and later sends the voice information and trajectory information as a file to its own smartphone or PC. Record. At this time, in order to synchronize the voice information and the trajectory information with the pen-type device, it is desirable to add information indicating the passage of time to the trajectory information.
  • -A display can be mounted on a pen-type device, or a display can be provided as an external device of a pen-type device, and voice information can be transmitted while browsing trajectory information.
  • a watch-type or glasses-type wearable computer or the like is used as the display, a writing medium can be used with one hand and a pen-type device can be used with one hand, so that it can be used while moving and convenience is improved.
  • Share trajectory information with the other party's smartphone and PC, and both sides can add handwriting to the trajectory information being browsed and send and receive each other. You can talk at the same time.
  • FIG. 1 is a perspective view of a pen-type device according to a first embodiment of the present invention. It is a block diagram which shows the internal structure of the pen-type device which concerns on 1st embodiment of this invention. It is explanatory drawing which shows the use condition of the pen-type device which concerns on 1st embodiment of this invention. It is a perspective view which shows the modification of the pen-type device which concerns on 1st embodiment of this invention. It is explanatory drawing which shows the paper controller used with a pen-type device. It is explanatory drawing which shows the use condition of the pen-type device which concerns on 2nd embodiment of this invention. It is explanatory drawing which shows the state which performs mail transmission using the pen type device and wristwatch type wearable device which concern on 2nd embodiment of this invention.
  • First Embodiment> 1 and 2 are diagrams illustrating a pen-type device according to the present invention.
  • the pen-type device in the first embodiment has a dot pattern reading function and a telephone function.
  • the pen-type device includes a pen body.
  • the pen body includes a CPU, a memory, and the like.
  • the CPU reads a program or data stored in the memory of the pen body, the acquisition unit, the control unit, and the recognition unit function.
  • the obtaining means obtains specific information (telephone number or the like) for identifying the other party on the basis of information inputted by hand when making a call to the other party.
  • the control means controls the start of the call when receiving a call from the other party.
  • the recognizing unit recognizes contents input by handwriting by the user and contents input by voice through a microphone.
  • an image pickup unit that captures a dot pattern
  • a voice acquisition unit such as a microphone
  • an instruction unit such as a pen tip
  • a reception unit that receives an incoming call from a call partner
  • the imaging means images the dot pattern when the user performs handwriting input. That is, the handwriting input is performed on the paper on which the dot pattern is printed.
  • the “dot pattern” is information or a numerical value encoded by a plurality of dot arrangement algorithms.
  • Japanese Patent No. 3706385 Japanese Patent No. 3805551, Japanese Patent No. 3771252, Japanese Patent No. 4834872, Japanese Patent
  • the dot pattern disclosed in detail in No. 4899199, etc. can be used.
  • Typical dot pattern standards include Grid Onput (registered trademark), Anoto pattern, and the like.
  • the dot pattern is an invisible pattern that is invisible (or difficult to see) and can be superimposed on a normal design.
  • a normally visible pattern such as a QR code (registered trademark) may be used.
  • the standard of the dot pattern is a standard that can pattern the coordinate value and the code value by one format.
  • the Grid Onput (registered trademark) described above can pattern coordinate values and code values in one format.
  • infrared irradiation means such as an IR-LED
  • sound output means such as a speaker
  • transmission means for transmitting to the other party are connected to the pen main body.
  • FIG. 3 is a diagram illustrating the usage state of the pen-type device.
  • the user uses the pen-type device to hand-write the telephone number of the other party (calling party) that he / she wants to call on the paper on which the dot pattern is printed. Then, the imaging unit captures a dot pattern, and the recognition unit recognizes the locus. Then, the acquisition unit acquires the recognition result.
  • the transmission means makes a call to the other party on the basis of the recognition result. For example, when the user inputs handwritten as “080-XXXXXX-XXXXX”, transmission is performed to “080-XXXXXX-XXXXX”.
  • the pen type device can receive incoming calls from the other party.
  • the receiving means receives an incoming call from the call partner, and the control means controls the start of the call.
  • this pen-type device can be used as a normal handwriting pen, it is particularly convenient for those who use the handwriting pen on a daily basis.
  • FIG. 4 is a diagram showing a state where a display is provided on a pen-type device.
  • Character input by optical character recognition In the above-described embodiment, character input is performed using a dot pattern. However, the present invention is not limited to this, and character input may be performed using optical character recognition.
  • an optical character recognition sensor is built in the pen-type device.
  • the recognition means recognizes the scanned image.
  • the acquisition unit acquires the recognition result.
  • the transmission means makes a call to the other party based on the recognition result.
  • a paper controller is a print medium that simulates a controller that performs various operation instructions.
  • On the print medium an icon on which characters, graphics, and the like are drawn, and a dot pattern in which information corresponding to the icon is encoded are superimposed and printed.
  • processing corresponding to the content of the icon is performed.
  • FIG. 5 is a diagram for explaining the paper controller used in this embodiment.
  • This paper controller can be provided in a notebook, for example.
  • icons such as “call”, “end call”, and “send mail” are printed.
  • the user touches a telephone number in the address book (see FIG. 8) and then touches “call”. Then, the telephone number is recognized by the optical recognition sensor, and a call is made to the touched telephone number.
  • an alphanumeric icon may be provided on the paper controller, and the telephone number may be input by touching the icon.
  • voice recognition it is also possible to input a telephone number using voice recognition.
  • the pen-type device is provided with voice recognition means as the recognition means.
  • voice recognition means as the recognition means.
  • the voice is analyzed by the voice recognition means, and a call is made to the telephone number.
  • a wearable device and a pen-type device are used.
  • the pen-type device used in the present embodiment has the same basic structure as that of the first embodiment, but is for specifying the input information for the wearable device and for transmitting the input information to the wearable device.
  • the difference is that the transmission means is provided.
  • the call function transmitting means, receiving means
  • FIG. 6 is a diagram showing a state in which content handwritten with a pen-type device is displayed on a wristwatch type wearable device (hereinafter referred to as “listwatch”).
  • the user performs handwriting input using a pen-type device. Then, the imaging unit captures a dot pattern, and the recognition unit recognizes the locus. The specifying unit specifies input information based on the recognition result. Then, the transmission means transmits the input information to the wearable device.
  • the transmission means transmits information of “apple” to the wristwatch. Then, the handwritten character “apple” is displayed on the dial (display) of the wristwatch.
  • displayed characters are not handwritten characters but may be text data converted by OCR.
  • FIG. 7 is a diagram showing a state where mail transmission is performed from the wristwatch.
  • the user writes a message (for example, “Konichiwa”) in the notebook and designates the destination address. Then touch “Mail Send” on the paper controller. Then, mail transmission is performed from the wristwatch.
  • a message for example, “Konichiwa”
  • “Mail Send” on the paper controller. Then, mail transmission is performed from the wristwatch.
  • the destination e-mail address can be designated from a smartphone or tablet (hereinafter referred to as “smartphone”).
  • a smartphone or tablet hereinafter referred to as “smartphone”.
  • an address book such as a smartphone is opened, and the “up” and “down” icons of the paper controller are touched to specify the mail address.
  • the mail address of the transmission destination is touched, the mail address is recognized by the optical recognition sensor, and transmission to the touched mail address is performed.
  • FIG. 8 is a diagram showing a state in which a telephone call is made from the wristwatch.
  • the user touches the telephone number in the address book, and then touches “Call” on the paper controller. Then, the telephone number is recognized by the optical recognition sensor, and a call is made from the wristwatch to the touched telephone number.
  • FIG. 9 is a diagram for explaining a state in which the wristwatch does not have a call function and only a pen-type device has a call function.
  • the user designates the destination telephone number in the same manner as in FIG. 8, and touches “Call” on the paper controller. Then, the telephone number is recognized by the optical recognition sensor, and a call is made from the pen-type device to the touched telephone number.
  • the wristwatch display displays a call destination telephone number and a picture indicating that a call is being made from a pen-type device.
  • FIG. 10 is a diagram for explaining a case of making a call from a smartphone.
  • the call function of the pen-type device or wristwatch is not used, and the call is made from the smartphone.
  • the telephone number input method is the same as the method described in FIGS.
  • “call” on the paper controller is touched, a call is made from the smartphone.
  • the destination watch phone number and a picture indicating that the call is being sent from the smartphone are displayed on the wristwatch display.
  • 11 and 12 are diagrams for explaining other forms of the wearable device.
  • FIG. 11 shows a case where a glasses-type wearable device is used.
  • FIG. 12 shows a case where an earphone-type wearable device is used.
  • the pen-type device and the paper controller are used in the same manner as the wristwatch described above.
  • glasses-type wearable devices when a call is made, the phone number of the callee can be seen through the glasses.
  • the earphone-type wearable device it is possible to make a call through the earphone by being wirelessly connected to the pen-type device.
  • an earphone-type wearable device may be connected to a glasses-type wearable device.
  • a bone conduction microphone or speaker may be used.
  • handwritten input is performed on a paper on which a dot pattern is printed.
  • the present invention is not limited to this, and other media such as an input board in which a dot pattern is formed on a magnetic board. May be used.
  • the pen other than a normal ballpoint pen, a disappearing ballpoint pen may be used.
  • FIG. 13 is a flowchart showing an operation of making a call.
  • the user uses the pen-type device to handwrite the telephone number of the other party on the paper on which the dot pattern is printed. Then, the imaging unit captures a dot pattern, and the recognition unit recognizes the locus (step S131). For example, as shown in FIG. 3, when the user handwrites “080-XXXX-XXXX”, the recognition means recognizes the locus. Next, the acquisition unit specifies a telephone number from the recognized locus (step S132). In the example of FIG. 3, it is specified that the destination telephone number is “080-XXXX-XXX”. Next, the calling means makes a call to the specified telephone number (step S133). In the example of FIG. 3, transmission to “080-XXXX-XXX” is performed.
  • control means recognizes that the other party answered the call, that is, connected to the other party's telephone number (step S134), and starts a call (step S135).
  • the pen-type device is used to transmit locus information such as pictures and characters handwritten on the dot pattern printing paper simultaneously with a call.
  • 15 and 17 are diagrams illustrating a pen-type device used in the third embodiment.
  • FIG. 15 shows a pen-type device having only a function as a handwriting pen, and includes a dot pattern imaging unit, a control unit, an analysis unit, a storage unit, a synchronization unit, and a transmission unit. Note that the storage means and the synchronization means may not be provided.
  • FIG. 17 shows a pen-type device that can be directly transmitted to and received from the other party's smartphone, etc., and includes dot pattern imaging means, voice acquisition means, voice information receiving means, locus receiving means, analysis means, control means, synchronization means, voice output means.
  • the transmission means is provided.
  • the display device is connected wirelessly or by wire.
  • An example of a display device is a thin display. By connecting a display, you can view handwritten pictures and characters sent from the other party without using a smartphone or PC. As shown in FIG. 4, the display device may be provided in the pen-type device body.
  • Example 1 In the first embodiment, voice information and trajectory information are recorded on either a pen-type device, or one's own smartphone (smartphone) or personal computer (PC), and then the voice information and trajectory information are recorded on the destination smartphone or PC. Will be described.
  • Example 1-1 In this embodiment, voice information and trajectory information are recorded on the own smartphone and PC. Voice information is recorded using the smartphone's voice recording device, and the trajectory information is sent from the pen-type device to the user's own smartphone or PC in real time for recording.
  • Example 1-2 voice information and trajectory information are recorded on the pen-type device. In this case, it is necessary to connect the pen type device to its own smartphone or PC later and transmit the information.
  • trajectory information is recorded on a pen-type device, only voice information is recorded on its own smartphone and PC, and the trajectory information is later transmitted to its own smartphone and PC.
  • the voice information is not recorded at the same time as the trajectory information, the same effect as the embodiment 1-2 is obtained.
  • the audio information may be recorded later while the trajectory information is reproduced on its own smartphone or PC.
  • Examples 1-1 to 1-3 in order to reproduce the trajectory information in synchronization with the audio information, information indicating the passage of time may be included in the trajectory information. (Dot pattern printing sticky note) Next, the dot pattern printing paper used for realizing the above embodiments 1-1 to 1-3 will be described with reference to FIG.
  • the dot pattern printing paper in the figure is configured as a sticky note, and is hereinafter referred to as “dot pattern printing sticky note”.
  • the dot pattern printed sticky note is composed of a writing area and an icon area.
  • the writing area is an area for the user to draw a document or a drawing.
  • the trajectory information handwritten in the writing area is recorded on a pen, own smartphone, or PC.
  • insertion can be performed from that position.
  • the icon area is an area where icons for the user to perform various operations are printed. In this embodiment, seven icons are printed. From left to right, the icon functions are erase, record, play, pause, color, send, and page number. When the user touches the icon with the pen-type device, the operation assigned to the icon is executed.
  • the “Recording” icon is an icon for starting recording on the own smartphone, PC or handwriting pen. Touch again during recording to end recording. If another icon is touched during recording, the recording is terminated and operation processing of the touched icon is executed. If an audio file already exists, an additional audio file is generated. When another icon is touched, operation processing of the touched icon is executed, but the operation status is transmitted in real time.
  • the “play” icon is an icon for playing back sound and trajectory information. During pause, playback is performed in real time from the paused state. At the end (when all trajectory data is displayed), playback is performed in real time from the beginning. However, if it is touched again within one second after the play button is pressed, it is set to double speed, and if touched again within one second, it is set to quadruple speed.
  • the “pause” icon is an icon for performing a pause. If touched while paused, playback starts at the previous speed from the pause position. When touching or writing of another icon is started during the pause, the paused state is canceled and the touched icon is processed or written.
  • the “color” icon is an icon for determining the color of the locus drawn with the pen-type device. The left is black and the right is red. In addition, although not shown, there may be a function of setting the thickness of the locus.
  • the “Send” icon is an icon for sending the trace information and voice information handwritten on the page to the destination smartphone or PC. Set the destination address on your smartphone.
  • the “page number” icon is an icon indicating each page number (1 to 100) when a dot pattern printing sticky note is provided in a bundle of a plurality of pages. When this icon is touched, the entire trajectory data of the page is displayed. Since the locus information includes an area specifying code for specifying the page, various processes can be performed in conjunction with the page number.
  • time lapse information must be added to the trajectory information.
  • General sticky notes can be used as your own memos by drawing simple documents and diagrams, and can convey information to the other party. However, since many sticky notes have a small area, detailed information cannot be conveyed. In the dot pattern printing sticky note, since voice information can be added, the explanation of the memo can be conveyed in detail. In addition, general sticky notes are disposable, and it is difficult to organize and store information. However, with dot pattern printing sticky notes, the trajectory information is digitized and recorded on smartphones and PCs in the past. Information can be easily recorded, organized and utilized. Note that this embodiment does not need to be a sticky note, and it is needless to say that a similar function may be installed in a notebook or the like.
  • FIG. 19 is a flowchart for explaining the operation in the embodiment 1-1.
  • the user performs handwriting input on a dot pattern printing tag using a pen.
  • the voice is uttered. For example, draw a map on a dot pattern printing sticky note, and by voice, go out the XX line XX station south exit ticket gate and go straight. Turn left at the second intersection and go straight two blocks, then the second intersection Turn right and turn left at the first intersection and you will see your home on your right. "
  • the image pickup means picks up the dot pattern, and the recognition means recognizes the locus and acquires the locus information.
  • the pen transmits the acquired trajectory information to its own smartphone wirelessly or by wire (step S1601). Then, the own smartphone receives the trajectory information (step S1602) and records it in the recording device (step S1604).
  • step S1605 the user's voice is recorded in the recording device of his / her smartphone.
  • the own smartphone transmits the recorded voice information and trajectory information to the destination smartphone (step S1607).
  • the other party's smartphone receives the voice information and the trajectory information (step S1608). Then, audio information is output from the speaker, and the trajectory information is displayed on the display (step S1609). In order to reproduce the audio information and the trajectory information without any contradiction later, synchronization (step S1603) is required. The synchronization will be described in detail later.
  • FIG. 20 is a flowchart for explaining the operation in the embodiment 1-2.
  • the user performs handwriting input on a dot pattern printing tag using a pen.
  • the voice is uttered. For example, draw a map on a dot pattern printing sticky note, and by voice, go out the XX line XX station south exit ticket gate and go straight. Turn left at the second intersection and go straight two blocks, then the second intersection Turn right and turn left at the first intersection and you will see your home on your right. "
  • the imaging means images the dot pattern
  • the recognition means recognizes the locus
  • the trajectory information is recorded in a recording device built in the pen (step S1701).
  • the voice information uttered by the user is acquired and recorded in the recording device (step S1702).
  • the recorded voice information and trajectory information are transmitted to the own smartphone (step S1707).
  • step S1706 When the own smartphone receives the voice information and the trajectory information (step S1706), it transmits it to the partner smartphone (step S1708).
  • the other party's smartphone receives voice information and trajectory information (step S1708). Then, audio information is output from the speaker, and the trajectory information is displayed on the display (step S1709). In order to reproduce the audio information and the trajectory information without any contradiction later, synchronization (step S1701) is required. The synchronization will be described in detail later.
  • FIG. 21 is a flowchart for explaining the operation in the embodiment 1-3.
  • the user performs handwriting input on a dot pattern printing tag using a pen.
  • the pen and its own smartphone are not connected, and only the trajectory information needs to be recorded.
  • the trajectory information is reproduced in real time later, it is necessary to record the information indicating the handwritten time passage in the trajectory information together with the coordinate information as shown in FIG.
  • the voice is uttered. For example, draw a map on a dot pattern printing sticky note, and by voice, go out the XX line XX station south exit ticket gate and go straight. Turn left at the second intersection and go straight two blocks, then the second intersection Turn right and turn left at the first intersection and you will see your home on your right. "
  • the imaging means images the dot pattern
  • the recognition means recognizes the locus
  • the trajectory information is recorded in a recording device built in the pen (step S1801).
  • the recorded trajectory information is transmitted to its own smartphone (step S1802).
  • the own smartphone receives the trajectory information (step S1803) and records it in the recording device (step S1805). Further, the voice information uttered by the user is acquired and recorded in the recording device (step S1807). Then, the recorded voice information and trajectory information are transmitted to the destination smartphone (step S1808).
  • the partner's smartphone receives the voice information and the trajectory information (step S1809). Then, audio information is output from the speaker, and the trajectory information is displayed on the display (step S1810).
  • Example 2 operations of the pen-type device (pen), the own smartphone / PC, and the other party's smartphone / PC in the second embodiment will be described with reference to FIGS.
  • FIG. 19 is a flowchart for explaining the operation in the embodiment 2-1.
  • trajectory information is transmitted from the pen type device to the other party's smartphone or PC in real time via the own smartphone or PC.
  • the trajectory information is received by the own smartphone or PC, it is desirable to record information indicating the elapsed time for synchronization in the trajectory information as shown in FIG.
  • FIG. 20 is a flowchart for explaining the operation in the embodiment 2-2.
  • voice information and trajectory information are transmitted directly from the pen-type device to the other party's smartphone or PC.
  • a voice acquisition means and a voice output means are provided inside the pen-type device, and voice information from the other party's smartphone or PC can be received in real time for conversation.
  • Examples 2-1 and 2-2 in order to reproduce the trajectory information in synchronization with the audio information (step S187), information indicating the passage of time may be included in the trajectory information.
  • information indicating the passage of time may be included in the trajectory information.
  • voice information and trajectory information are transmitted to the other party's smartphone using different communication means, a delay occurs depending on the communication speed. Therefore, in order to output the audio information and the trajectory information in synchronization with each other, the other party's smartphone records time lapse information for synchronization in the trajectory information as shown in FIG.
  • the other party's smartphone can output without delay between the voice information and the trajectory information. There is no need to synchronize if the speeds of the communication means for different voice information and trajectory information are sufficiently high. However, it is indispensable to synchronize when recording voice information and trajectory information on the self and the other party's smartphone and reproducing them without delay later. (Dot pattern printing sticky note) Next, the dot pattern printing paper used for realizing the above Examples 2-1 and 2-2 will be described.
  • the dot pattern printing paper shown in the figure is configured as a dot pattern printing sticky note as in Examples 1-1 to 1-3.
  • the dot pattern printing sticky note in this embodiment has the same appearance as that used in Embodiments 1-1 to 1-3, that is, the same as that shown in FIG. 15, but has some functions specific to this embodiment. Yes.
  • the trace information and voice information handwritten on the page are sent to the destination smartphone and PC.
  • the destination address and phone number are set using a pen-type device or your own smartphone.
  • settings are made by touching a paper keyboard or address book on which dedicated dots are superimposed and printed.
  • the paper keyboard and the address book are those shown in FIG. 5, FIG. 8 to FIG. 10 and the description of the corresponding specification, for example.
  • the handwritten trajectory information is sent directly to the other party's smartphone or PC from the pen-type device or via their own smartphone or PC.
  • a dot pattern printing tag is used to transmit information to the other party's smartphone or PC.
  • Past information can be easily recorded, organized and utilized. It should be noted that this embodiment does not have to be a dot pattern printing sticky note, and it is needless to say that a similar function may be installed in a notebook or the like.
  • FIG. 22 is a flowchart for explaining the operation in the embodiment 2-1.
  • the user performs handwriting input on a dot pattern printing tag using a pen.
  • the voice is uttered. For example, draw a map on a dot pattern printing sticky note, and by voice, go out the XX line XX station south exit ticket gate and go straight. Turn left at the second intersection and go straight two blocks, then the second intersection Turn right and turn left at the first intersection and you will see your home on your right. "
  • the image pickup means picks up the dot pattern, and the recognition means recognizes the locus and acquires the locus information.
  • the pen transmits the acquired trajectory information to its own smartphone wirelessly or by wire (step S1901). Then, the own smartphone receives the trajectory information (step S1904) and transmits it to the other party's smartphone (step S1906).
  • the partner's smartphone receives the trajectory information (step S196).
  • the voice information is transmitted to the destination smartphone (step S1903).
  • the partner's smartphone receives the voice information (step S1907).
  • the other party's smartphone outputs the received voice information from the speaker, and displays the received trajectory information on the display (step S1909).
  • FIG. 23 is a flowchart for explaining the operation in the embodiment 2-2.
  • the user performs handwriting input on a dot pattern printing tag using a pen.
  • the voice is uttered. For example, draw a map on a dot pattern printing sticky note, and by voice, go out the XX line XX station south exit ticket gate and go straight. Turn left at the second intersection and go straight two blocks, then the second intersection Turn right and turn left at the first intersection and you will see your home on your right. "
  • the image pickup means picks up the dot pattern, and the recognition means recognizes the locus and acquires the locus information.
  • the pen transmits the acquired trajectory information to the destination smartphone wirelessly or by wire (step S2002). Then, the other party's smartphone receives the trajectory information (step S2005). Also, the voice information uttered by the user is acquired and transmitted to the destination smartphone (step S2004). Then, the other party's smartphone receives the trajectory information (step S2006).
  • the partner's smartphone outputs the received voice information from the speaker, and displays the received trajectory information on the display.
  • Example 3 Smart Note
  • the dot pattern printing paper in the figure is configured as a notebook and is hereinafter referred to as “smart notebook”.
  • a lecture / practice notebook related to education and a notebook / notebook used by ordinary people it has a function to record trajectory information and voice information, and a function to play back and browse information sent to the user's own or other party's smartphone or PC.
  • the method for transmitting and receiving the locus information and the sound information is the same as that of the above-described dot pattern printing tag, and a similar transmission icon may be provided.
  • the icons arranged on the smart notebook may be operated with a touch panel or a mouse by arranging similar icons on the operation screen of a smartphone or PC.
  • Smart note is composed of writing area and icon area.
  • the writing area is an area for the user to draw a document or a drawing.
  • the icon area is an area where icons for the user to perform various operations are printed.
  • icon areas are formed at the upper and lower parts of the smart notebook.
  • the function of the icon is from the left, erase, start, end, play, double speed, pause, return, send, control bar, link, bottom from left, size, color, eraser, erase display, display, MP4, JPEG, link, link deletion.
  • the “erase” icon is an icon for erasing all the trajectory information of the page.
  • a confirmation screen appears on the display. Touch it with your finger or press the ⁇ button on the pen to erase it.
  • the deletion operation with the pen is also enabled.
  • erasing with the ⁇ button on the pen is valid only when confirmation is displayed on the tablet.
  • the deleted track information can be restored on a smartphone or PC.
  • Start icon is an icon for starting voice recording. Touch the recording icon or the end icon again to stop recording. When another icon is touched, recording is terminated and the icon operation is performed. You can create any number of audio files / trajectory files.
  • End icon is an icon for ending the operation. Touching during voice recording ends recording. Touching the end icon while not recording will display the last track information of the display range.
  • the “play” icon is an icon for playing the operation. When this icon is touched, playback is performed in real time from the current state (including the pause state). All gap times in which no trajectory is drawn are skipped (a mode that does not skip in the setting screen can also be set). However, the gap time is not skipped in real-time playback during recording and playback.
  • playback is performed in real time from the beginning. During pause (including after moving the stroke) or during high-speed playback, playback is performed in real time from that position. When touched further, playback is performed at a speed of 2 times, 4 times, 8 times, or 16 times.
  • the “double speed” icon is an icon for playing at double speed. When this icon is touched, it is played back at high speed at 4x speed from the beginning. All gap times where no trajectory is drawn are skipped. Furthermore, when touched, it is played back at a speed of 8 or 16 times.
  • the “pause” icon is an icon for pausing. During pause (including after moving the stroke), playback starts at the speed before pause from the pause position. Even if you pause and touch another page, the paused state is saved. Note that writing is possible even during pause, and the trajectory information is inserted from that position and reflected during playback. If you move to another page and return during a pause, the pause screen is displayed. If pause is touched during writing and playback is performed in real time, playback is started from the position where writing was completed.
  • the “return” icon is an icon for returning one stroke while the trajectory information is displayed.
  • the “Send” icon is an icon for sending one stroke while the trajectory information is displayed.
  • the “control bar” icon is an icon for controlling the display range. Further, from the left, an icon in which a leftward triangle is drawn (hereinafter, “leftmost icon”), a time lapse bar, and a rightward triangle are drawn. Icon (hereinafter “rightmost icon”). Touching the leftmost icon displays the top state of the display range. When the display range is in the initial state, if the problem, lecture content, manual, etc. are in the background, the background is displayed. When the time lapse bar is touched, images up to the touched position are displayed. When the pen type device is moved on the time lapse bar while the pen type device is in contact with the touch, the trajectory information up to the moving position is displayed one after another. Note that when moving to another page during playback and returning, the last image in the display range is displayed. If you move to another page and return during a pause, the pause screen is displayed.
  • the “Link” icon is an icon in which an image or a movie is linked. Touching this icon displays the linked image / movie. You can also overwrite and record the image / video.
  • the link icon may be composed of a sticker or the like, and may be added and pasted on a note.
  • the “size” icon is an icon for determining and changing the size of the pen and eraser. Pen and eraser sizes are not recorded on a page-by-page basis. The last used information is saved. However, in the case of the eraser, when moving to another page, the pen is automatically set and the pen information used last time is adopted.
  • the “color” icon is an icon for determining and changing the color of the pen and eraser. Pen and eraser colors are not recorded on a page-by-page basis. The last used information is saved. However, in the case of the eraser, when moving to another page, the pen is automatically set and the pen information used last time is adopted.
  • Eraser icon is an icon for erasing the locus and area during handwriting. The size is selected by the thickness of the pen. If you do not select a size, it will be the size used for the previous eraser. While erasing, a yellow circle is displayed, but no trace information is displayed.
  • the “erase display” icon is an icon for displaying an erased locus or area.
  • the erased trace is displayed as it is, and the traced eraser trace is displayed in yellow and translucent.
  • the color and size of the pen selected previously are selected.
  • the “display” icon is an icon for canceling the hide and displaying all the trajectory information.
  • the “Hide” icon is an icon for a reverse display function in which the currently displayed trajectory information is hidden and the range other than that is the display range. Playback, insertion, and addition operations can be performed only within the display range.
  • playback from the beginning pause at a predetermined position, turn OFF and play. If you want to display the first half, you can hide the first half, display only the second half, and then turn it off. The display range is saved for each page.
  • the “MPEG4” icon is an icon for generating a moving image file. When this icon is touched, a setting screen appears. Select which holder of the smartphone or PC to record, and select one of the following (1) to (3). Select execution / stop with the touch panel or mouse, or start recording with the pen ⁇ button. When recording starts, the screen returns to the smart note screen and a moving image is recorded. Note that the MP4 icon is touched again when recording is ended during moving image recording. In that case, a moving image file until the end is generated.
  • the video may use a format other than MP4.
  • All the trajectory and audio information of the page are animated. (3) Only the trajectory of the display range and audio information are animated.
  • Audio information that spans the display range is played back from the beginning of recording, and when it enters the display range, a moving image is recorded.
  • a general video such as MP4
  • MP4 even if this smart notebook application is not installed, it can be viewed on any smartphone or PC, increasing convenience.
  • the “JPEG” icon is an icon for recording the trajectory information being displayed. When this icon is touched, the recording destination holder is displayed and the recording location is set. Select execution / stop by finger touch or record with pen ⁇ button.
  • the “link” icon is an icon for performing link setting.
  • the link setting is a process of associating the dot pattern printed on the above-described link icon with an image / moving image. All processing is performed on smartphones and PCs.
  • the “link deletion” icon is an icon for deleting the display of the link image.
  • Example 4 explains the transmission data format of a handwritten pen.
  • Bluetooth registered trademark
  • BLE BLE
  • WIFI wireless fidelity
  • RF radio frequency
  • trajectory information including coordinate values of 100 times or more per second for characters and 150 times or more for 1 second for figures and pictures is required.
  • BLE which is part of the Bluetooth (registered trademark) 4.0 standard, which is standard on smartphones, is widely used.
  • BLE has extremely high power savings, but since it can only perform data communication at 1 Mbps at the maximum, it is necessary to minimize the transmission of trajectory information.
  • the dot pattern analysis of the captured dot pattern is performed, the code value and XY coordinates defined in one format are read, and the writing area shown below is specified.
  • the XY coordinate value can define 2 mm in 1 bit, at present, the XY coordinate is 8 bits each, and a 512 ⁇ 512 mm square area is one writing area.
  • the area specifying code can be increased by reducing the range of the XY coordinate values.
  • the XY coordinates can be defined with 5 bits each for a total of 10 bits. As a result, 6 bits can be added to the area identification code, and about 4.2 million write areas / pages can be specified with 22 bits.
  • the pen-type device according to the present invention can be easily used by a disabled person or an elderly person who is not good at telephone operation, industrial applicability to the welfare field is conceivable.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

さらに、音声情報と軌跡情報を同時に相手方に送信することのできる、利便性に優れたペン型デバイスを提供する。　ドットパターンが形成された媒体上で軌跡を描くための手書き装置であって、ドットパターンを撮像する撮像手段と、撮像手段により撮像されたドットパターンをコード解析することにより、少なくとも前記座標値から求まる座標情報の履歴からなる軌跡情報および/またはコード値を出力する解析手段と、音声情報を取得する音声取得手段と、音声情報および、軌跡情報またはコード値の少なくともいずれかを通信装置に送信する送信手段と、を備え、ドットパターンが形成された媒体の書き込み領域には、座標値およびコード値が定義され、コード値には書き込み領域を特定する領域特定コードを有し、解析手段は、軌跡情報に領域特定コードを含めて出力する、手書き装置とした。

Description

手書き装置および音声・手書き通信システム
　本発明は、電話機能とドットパターン読み取り機能を有するペン型デバイスに関する。
　また本発明は、ウェアラブルデバイスと連動して用いるペン型デバイスに関する。
　本発明者は、ドットパターンを用いた画期的な発明を数多く行っている。
　これらの発明には、ドットパターンを読み取るスキャナと携帯電話とを接続して、スキャナでドットパターンを読み取り、携帯電話から、ドットパターンに対応した情報を出力する技術も存在している。また、スキャナが内蔵された携帯電話も存在している（特許文献１）。
国際公開WO2004/029871号公報
　しかし、電話機能を有するスキャナについては開示されていいない。
　また近年は、アップルウォッチやGOOGLE　GLASS（登録商標）等、ウェアラブルデバイスも普及しつつある。
　本発明はこのような点に鑑みてなされたものであり、電話機能とドットパターン読み取り機能を有するペン型デバイスを提供することを技術的課題とする。
　また、ウェアラブルデバイスと連動することにより、種々の操作をウェアラブルデバイスに実行させるペン型デバイスを提供することを技術的課題とする。
　さらに、教育分野でE-ラーニングが世界的に普及しているが、現状では教員の講義をビデオに収録して配信するのが主流である。ビデオ収録は、収録場所、カメラマンの手配から編集まで相当なコストを要する。また、教員と生徒のコミュニケーションは、殆どが共通の教材（デジタルコンテンツを含む）で会話を中心に行われている。一部は、添削なども実施されているが、インタラクティブに直ちに対応できるものではない。理想的には、教員が手書きで容易に授業を配信し、生徒の問題回答や質問に、直ちに音声と手書きによる指導ができることが望ましい。また、ビジネス分野においても、電話会議やTV会議が普及しているが、図や写真、イラスト等を共有して、会議を進めていくには、カメラで撮影した画像を基に、参加者が会話だけではなく、手書きで理解を深めるには、タッチパネルやペンタブなどの精度、利便性、コストに大きな課題がある。さらに、ソーシャルネットワークによるチェットは、凄まじい勢いで普及しており、手書きによるチャットへの期待は大きいが、現状では、廉価で使いやすいシステムが存在していない。
　（１）本発明にかかる手書き装置は、ドットパターンが形成された媒体上で軌跡を描くための手書き装置であって、座標値およびコード値、またはコード値が定義された前記ドットパターンを撮像する撮像手段と、前記撮像手段により撮像された前記ドットパターンをコード解析することにより、少なくとも前記座標値から求まる座標情報の履歴からなる軌跡情報および/またはコード値を出力する解析手段と、音声情報を取得する音声取得手段と、前記音声情報および、前記軌跡情報またはコード値の少なくともいずれかを通信装置に送信する送信手段と、を備え、前記ドットパターンが形成された媒体の書き込み領域には、前記座標値およびコード値が定義され、該コード値には該書き込み領域を特定する領域特定コードを有し、前記解析手段は、前記軌跡情報に該領域特定コードを含めて出力する、ことを特徴とする。
　（２）本発明にかかる手書き装置は、ドットパターンが形成された媒体上で軌跡を描くための手書き装置であって、座標値およびコード値、またはコード値が定義された前記ドットパターンを撮像する撮像手段と、前記撮像手段により撮像された前記ドットパターンをコード解析することにより、少なくとも前記座標値から求まる座標情報の履歴からなる軌跡情報および/またはコード値を出力する解析手段と、前記音声情報および、前記軌跡情報またはコード値の少なくともいずれかを通信装置に送信する送信手段と、を備え、前記ドットパターンが形成された媒体の書き込み領域には、前記座標値およびコード値が定義され、該コード値には該書き込み領域を特定する領域特定コードを有し、前記解析手段は、前記軌跡情報に該領域特定コードを含めて出力し、前記通信装置は、音声情報を取得する、ことを特徴とする。
　（３）さらに、前記軌跡情報に時間経過を定義する情報を付加して前記音声情報と同期を取る同期手段を、前記手書き装置または前記通信装置に、さらに備えてもよい。
　（４）さらに、前記通信装置は、第三者が使用する相手方通信装置であってもよい。
　（５）さらに、前記通信装置は、自己が使用する通信装置であって、前記送信手段は、前記通信装置を経由して、第三者が使用する相手方通信装置に前記音声情報および、前記軌跡情報またはコード値の少なくともいずれかを送信してもよい。
　（６）さらに、前記軌跡情報で、前記相手方通信装置を特定してもよい。
　（７）さらに、前記軌跡情報および前記音声情報の少なくともいずれかを記憶する記憶手段を、前記手書き装置または前記通信装置のいずれかに、さらに備え、前記通信装置に備えられた送信手段または前記送信手段は、前記記憶手段に記憶された前記音声情報および前記軌跡情報の少なくともいずれかをファイルにして送信してもよい。
　（８）さらに、内蔵されるか、または外部に接続されるかのいずれかである、少なくとも前記軌跡情報を表示する表示手段を、前記手書き装置または前記通信装置の少なくともいずれかに、さらに備えてもよい。
　（９）さらに、前記表示手段は、前記軌跡情報に前記音声情報を同期させて出力してもよい。
　（１０）さらに、受信した音声情報を出力する音声出力手段を、前記手書き装置または前記通信装置の少なくともいずれかに、さらに備えてもよい。
　（１１）さらに、前記相手方通信装置からの音声情報を受信する音声受信装置を、前記手書き装置または前記通信装置の少なくともいずれかに、さらに備えてもよい。
　（１２）さらに、請求項４～６のいずれかに記載の前記相手先通信装置からの軌跡情報を受信する軌跡受信装置を、前記手書き装置または前記通信装置の少なくともいずれかに、さらに備えてもよい。
　（１３）さらに、前記軌跡情報に対して、前記手書き装置でさらに描いた軌跡情報を、請求項４～６のいずれかに記載の前記相手方通信装置または前記通信装置に送信してもよい。
　（１４）さらに、前記通信装置は、スマホまたはPCであってもよい。
　（１５）さらに、前記相手方通信装置は、スマホまたはPCであってもよい。
　（１６）本発明にかかる音声・手書き通信システムは、ドットパターンが形成された媒体上で軌跡を描くための手書き装置であって、座標値およびコード値、またはコード値が定義された前記ドットパターンを撮像する撮像手段と、前記撮像手段により撮像された前記ドットパターンをコード解析することにより、少なくとも前記座標値から求まる座標情報の履歴からなる軌跡情報および/またはコード値を出力する解析手段と、前記軌跡情報またはコード値の少なくともいずれかを、通信装置に送信する送信手段と、を備え、前記ドットパターンが形成された媒体の書き込み領域には、前記座標値およびコード値が定義され、該コード値には該書き込み領域を特定する領域特定コードを有し、前記解析手段は、前記軌跡情報に該領域特定コードを含めて出力する、手書き装置と、音声情報を取得する前記通信装置と、からなることを特徴とする。
　（１７）さらに、前記前記手書き装置または前記通信装置の少なくともいずれかに、前記軌跡情報に時間経過を定義する情報を付加して前記音声情報と同期を取る同期手段を、前記手書き装置または前記通信装置の少なくともいずれかに、さらに備えてもよい。
　（１８）さらに、前記通信装置は、自己が使用する通信装置であって、前記送信手段は、前記通信装置を経由して、第三者が使用する相手方通信装置に前記音声情報および、前記軌跡情報またはコード値の少なくともいずれかを送信してもよい。
　（１９）さらに、前記軌跡情報で前記相手方通信装置を特定してもよい。
　（２０）さらに、前記前記手書き装置または前記通信装置の少なくともいずれかに、前記軌跡情報および前記音声情報の少なくともいずれかを記憶する記憶手段を、前記手書き装置または前記通信装置の少なくともいずれかに、さらに備え、前記通信装置に備えられた送信手段または前記送信手段は、前記記憶手段に記憶された前記音声情報および前記軌跡情報の少なくともいずれかをファイルにして送信してもよい。
　（２１）さらに、前記内蔵されるか、または外部に接続されるかのいずれかである、少なくとも前記軌跡情報を表示する表示手段を、前記手書き装置または前記通信装置の少なくともいずれかに、さらに備えてもよい。
　（２２）さらに、前記表示手段は、前記軌跡情報に前記音声情報を同期させて出力してもよい。
　（２３）さらに、前記受信した音声情報を出力する音声出力手段を、前記通信装置に、
さらに備えてもよい。
　（２４）さらに、前記相手方通信装置からの音声情報を受信する音声受信手段を、前記通信装置に、さらに備えてもよい。
　（２５）さらに、前記相手方通信装置からの軌跡情報を受信する軌跡受信手段を、前記通信装置に、さらに備えてもよい。
　（２６）さらに、前記軌跡情報に対して、前記手書き装置でさらに描いた軌跡情報を、前記通信装置を経由して相手方通信装置に送信してもよい。
　（２７）さらに、前記通信装置は、スマホまたはPCであってもよい。
　（２８）さらに、前記相手方通信装置は、スマホまたはPCであってもよい。
　本発明によれば、ボタンを押下する等の煩雑な操作無しに電話をかけることが可能となる、という効果を有する。
　また、ウェアラブルデバイスとペン型デバイスを連動することにより、ハンズフリーで電話等の操作を行うことが可能となる、という効果を有する。
さらに、音声情報と軌跡情報を同時に相手方に送信することのできる、利便性に優れたペン型デバイスを提供することにより、大きな発明の効果がある。
　（１）一時記憶してファイル形式で相手方に音声情報と軌跡情報を送信する場合。
下記のいずれも、軌跡情報を実時間で、音声と共に同期を取って再生する場合、ペン型デバイスまたは、自己のスマートフォン（スマホ）、パーソナルコンピュータ（PC）、ウェラブルコンピュータ等のいずれかで時間経過を示す情報を軌跡情報に付加する必要がある。
　　（１－１）ペン型デバイス内部に、相手方スマホ、PC（ウェラブルコンピュータ含む、他も同様）への送信機能がある場合。
●音声取得手段、記憶手段、同期手段（後に、軌跡情報を実時間で、音声と共に同期を取って、再生する必要がなければ無用、他も同様）をペン型デバイスに搭載し、音声情報と軌跡情報をペン型デバイスに記録し、後に、音声情報と軌跡情報をファイルとして、相手方スマホ、PCに送信する。
　　（１－２）ペン型デバイス内部に、相手方スマホ、PCへの送信機能がなく、自己のスマホ、PCに軌跡情報、取得した音声情報（スマホの音声取得・記録手段を使用する場合無用）を送信して記録し、その後、軌跡情報、音声情報をファイルとして、自己のスマホ、PCから相手方スマホ、PCに送信する場合。
●ペン型デバイスには、音声取得手段、記憶手段がなく、自己のスマホ、PCの音声取得手段、記憶手段で音声記録し、ペン型デバイスから軌跡情報をリアルタイムで自己のスマホ、PCに送信して記録する。
●ペン型デバイスには、軌跡情報記憶手段のみ搭載されており、スマホ、PCの音声取得手段、記憶手段で音声記録する。この際、自己のスマホ、PCで音声情報と軌跡情報の同期を取るために、ペン型デバイスまたは自己のスマホ、PCのいずれかで時間経過を示す情報を軌跡情報に付加すればよいが、音声情報と軌跡情報の同期の精度を確保するには、自己のスマホ、PCで同期を取ったほうがよい。軌跡情報の送信は、殆どリアルタイムで実施できるため、ディレーは殆ど生じない。また、ペン型デバイスよりスマホ、PCの方が、圧倒的に処理速度が速いことから、スマホ、PC側に複雑な処理を実施させるのが望ましい。
ペン型デバイスから、軌跡情報をファイルとして、スマホ、PCに送信して記録する。軌跡を描いている最中に、同期させて音声情報を記録しなくていい場合は、後に、軌跡情報をファイルとして送信して記録し、スマホ、PCで、軌跡情報を閲覧して重ねて音声を記録してもよい。
●ペン型デバイスには、音声取得手段、記憶手段が搭載されており、音声情報と軌跡情報をペンに記録し、後に、音声情報と軌跡情報をファイルとして、自己のスマホ、PCに送信して記録する。この際、ペン型デバイスで音声情報と軌跡情報の同期を取るために、時間経過を示す情報を軌跡情報に付加するのが望ましい。
　（２）リアルタイムで、相手方に音声情報と軌跡情報を送信する場合。
下記のいずれも、軌跡情報を実時間で、音声と共に同期を取って再生する場合、ペン型デバイスまたは、相手方スマホ、PCで時間経過を示す情報を軌跡情報に付加する必要がある。
　　（２－１）ペン型デバイス内部に、相手方スマホ、PCへの送信機能がある場合。
●リアルタイムで音声情報と軌跡情報をペン型デバイスから相手方スマホ、PCに送信し、記録する。速度の異なる通信手段を用いて音声情報と軌跡情報を送信する場合、相手方スマホ、PCで、両者にディレーが生じるため、ペン型デバイスで音声情報と軌跡情報の同期を取るために、時間経過を示す情報を軌跡情報に付加するのが望ましい。両者の通信手段の速度が十分速い場合は、問題ない。
●ペン型デバイス内部に音声出力手段を設け、相手方スマホ、PCからの音声情報をリアルタイムで受信し、会話ができる。
●ディスプレイをペン型デバイスに搭載するか、または、ペン型デバイスの外部装置としてディスプレイを設け、軌跡情報を閲覧しながら音声情報を送信できる。特に、ディスプレイとして、ウオッチ型やメガネ型ウェラブルコンピュータ等を使用すると、片手が書き込み媒体、片手がペン型デバイスを使用できるため、移動中にも使用ができ利便性が向上する。
●相手方スマホ、PCと軌跡情報を共有して、閲覧している軌跡情報に双方が手書きを加え、互いに送受信できる。同時に会話もできる。作業中に図面・写真や文書による指示をディスプレイに表示し、その上から描くことにより、言葉だけは伝わらない高度なコミュニケーションが可能となる。
　　（２－２）（１）で示した様々なペン型デバイスで軌跡情報や音声情報（スマホ、PCの音声取得機能を使用する場合は無用）を自己のスマホ、PCを経由して、相手方スマホ、PCに送信する場合
●自己のスマホ、PCから相手方スマホ、PCに、音声情報と軌跡情報をリアルタイムで送信する。
●自己のスマホ、PCと相手方スマホ、PCとで軌跡情報を共有して、閲覧している軌跡情報に双方が手書きを加え、互いに送受信できる。同時に会話もできる。現状のスマホ、PCでも同様なことがタッチパネルを使用して可能であるが、手書きの精度や、画面サイズを気にすることなく、書き込みができ、紙媒体の一覧性の方が明らかに優位であり、しかも、手書きした紙媒体と、音声も含めたデジタルデータが記録できるため、紙媒体を保存する分野では極めて有効である。
本発明の第一の実施形態に係るペン型デバイスの斜視図である。 本発明の第一の実施形態に係るペン型デバイスの内部構造を示すブロック図である。 本発明の第一の実施形態に係るペン型デバイスの使用状態を示す説明図である。 本発明の第一の実施形態に係るペン型デバイスの変形例を示す斜視図である。 ペン型デバイスとともに用いるペーパーコントローラを示す説明図である。 本発明の第二の実施形態に係るペン型デバイスの使用状態を示す説明図である。 本発明の第二の実施形態に係るペン型デバイスとリストウォッチ型ウェアラブルデバイスを用いてメール送信を行う状態を示す説明図である。 本発明の第二の実施形態に係るペン型デバイスとリストウォッチ型ウェアラブルデバイスを用いて電話発信を行う状態を示す説明図である。 本発明の第二の実施形態に係るペン型デバイスとリストウォッチ型ウェアラブルデバイスを用いて電話発信を行う、他の状態を示す説明図である。 本発明の第二の実施形態に係るペン型デバイスとリストウォッチ型ウェアラブルデバイスを用いてスマートフォンから発信を行う状態を示す説明図である。 本発明の第二の実施形態の変形例であり、メガネ型のウェアラブルデバイスを使用した状態を示す説明図である。 本発明の第二の実施形態の変形例であり、イヤホン型のウェアラブルデバイスを使用した状態を示す説明図である。 ペン型デバイスを用いた電話発信の動作を示すフローチャートである。 本発明の第三の実施形態に係る手書き装置の使用状態について説明する図である。 本発明の第三の実施形態に係る手書き装置の内部構造を示すブロック図である。 本発明の第三の実施形態に係る手書き装置の使用状態について説明する図である。 本発明の第三の実施形態に係る手書き装置の内部構造を示すブロック図である。 本発明の第三の実施形態において用いるドットパターン印刷用付箋について説明する図である。 本発明の第三の実施形態の実施例１－１における動作を説明するフローチャートである。 本発明の第三の実施形態の実施例１－２における動作を説明するフローチャートである。 本発明の第三の実施形態の実施例１－３における動作を説明するフローチャートである。 本発明の第三の実施形態の実施例２－１における動作を説明するフローチャートである。 本発明の第三の実施形態の実施例２－２における動作を説明するフローチャートである。 本発明の第三の実施形態において用いるスマートノートについて説明する図である。 軌跡情報の同期について説明する図である。
　以下、図面を参照しながら、本発明の実施形態について説明する。
＜第１の実施形態＞
　図１および図２は、本発明にかかるペン型デバイスについて説明する図である。
　第１の実施形態におけるペン型デバイスは、ドットパターン読み取り機能および電話機能を備えている。
　図２に示すように、ペン型デバイスは、ペン本体を備える。ペン本体は、図示はしないが、ＣＰＵやメモリ等から構成される。
　ペン本体のメモリに記憶されたプログラムやデータをＣＰＵが読み込むことで、取得手段と、制御手段と、認識手段とが機能する。
　取得手段は、相手先に電話発信を行う際に、手書きで入力された情報に基づいて、通話相手を特定する特定情報（電話番号等）を取得する。制御手段は、相手からの電話を受信した際に、通話の開始を制御する。認識手段は、ユーザによって手書き入力された内容や、マイクを通して音声入力された内容を認識する。
　ペン本体の入力部として、ドットパターンを撮影する撮像手段、マイク等の音声取得手段、ペン先等の指示手段、および、通話相手からの着信を受け付ける受信手段のそれぞれが、ペン本体に接続されている。
　撮像手段は、ユーザが手書き入力を行った際のドットパターンを撮像する。すなわち、手書き入力は、ドットパターンが印刷された用紙に対して行われる。
　ここで、本発明に特有の構成であるドット技術について説明する。
　本発明において「ドットパターン」とは、複数のドットの配置アルゴリズムにより情報ないしは数値を符号化したものである。
　情報ないしは数値をどのようにドットパターンにより符号化するかのアルゴリズムについては、日本国特許第3706385号、日本国特許第3858051号、日本国特許第3771252号、日本国特許第4834872号、日本国特許第4899199号、等に詳細に開示されたドットパターンを用いることができる。代表的なドットパターンの規格を挙げると、Grid Onput（登録商標）、アノトパターン、等が考えられる。
　また、本発明の時点においてドットパターンの規格は市場にいくつか存在するが、本発明においては現時点で存在するドットパターンの他に、将来開発されるドットパターンを含めた、あらゆるドットパターンを用いることが可能である。
　また、ドットパターンは通常のデザインと重畳可能な、目に見えない（または見えにくい）、不可視パターンであることが好ましい。ただし、いわゆるステルスインクを用いて印刷する場合はQRコード（登録商標）等の通常は目に見えるパターンを用いてもよい。
　また、ドットパターンの規格は座標値とコード値を１つのフォーマットによりパターン化することができる規格であることが好ましい。前述のGrid Onput（登録商標）は座標値とコード値を１つのフォーマットによりパターン化することが可能である。
　ペン本体の出力部には、ＩＲ－ＬＥＤ等の赤外線照射手段と、スピーカ等の音声出力手段と、通話相手に発信する発信手段とのそれぞれが、ペン本体に接続されている。
　図３は、ペン型デバイスの使用状態を説明する図である。
　ユーザが、ペン型デバイスを用いて、ドットパターンが印刷された用紙に、通話したい相手（通話相手）の電話番号を手書きする。すると、撮像手段がドットパターンを撮影し、認識手段が、その軌跡を認識する。そして、取得手段は、その認識結果を取得する。発信手段は、その認識結果に基づいて、通話相手への発信を行う。例えば、ユーザが「０８０－××××－××××」と手書き入力すると、「０８０－××××－××××」に発信が行われる。
　また、ペン型デバイスは、通話相手からの着信を受信することも可能である。この場合、受信手段が通話相手からの着信を受信し、制御手段が通話の開始を制御する。
　このように、ドットパターン読み取り用のペンに電話機能を設けることにより、ボタンを押して電話番号を入力するという煩雑な操作を行うことなく、電話をかけることが可能となる。本ペン型デバイスは、通常の手書き用ペンとしてももちろん使用可能であるため、手書きペンを日常的に使用する者には、特に利便性が高まる。
　なお、ペン型デバイスは、上述の実施例に限られない。例えば、以下のように変形することも可能である。
（１）ペン型デバイスにディスプレイを設ける
　図４は、ペン型デバイスにディスプレイを設けた状態を示す図である。
　これによりユーザは、手書きした電話番号をディスプレイで確認することが可能になる。また、通話相手からの着信を受信する際に、通話相手の電話番号が表示されるため、誰からの着信であるかがすぐに分かる。
（２）光学文字認識（OCR）による文字入力
　上述の実施例では、ドットパターンを用いて文字入力を行ったが、これに限らず、光学文字認識を用いて文字入力を行ってもよい。
　この場合、ペン型デバイスには、光学文字認識センサが内蔵されている。ユーザが電話番号を手書きした後に、あるいは手書きしながら、光学文字認識センサで、手書きの電話番号をスキャンすると、認識手段が、そのスキャン画像を認識する。そして、取得手段は、その認識結果を取得する。発信手段は、認識結果に基づいて、通話相手への発信を行う。
　これによれば、ドットパターンが印刷された用紙のような専用の用紙を用いる必要がなく、通常の用紙を用いて手書き入力を行うことが可能になる。
（３）ペーパーコントローラを用いる
　本発明では、電話番号の入力の際に、ペーパーコントローラを用いることも可能である。
　ペーパーコントローラとは、種々の操作指示を行うコントローラを模した印刷媒体である。印刷媒体には、文字や図形等が描かれたアイコンと、アイコンに対応した情報がコード化されたドットパターンとが重畳印刷されている。ユーザがペン型デバイスでアイコンをタッチすると、アイコンの内容に対応した処理が行われる。
　図５は、本実施例で用いられるペーパーコントローラについて説明する図である。このペーパーコントローラは、例えば手帳に設けることができる。ペーパーコントローラには、「通話」「終話」「メール送信」等のアイコンが印刷されている。ユーザは、発信を行うときには、アドレス帳（図８参照）の中の電話番号をタッチしてから、「通話」をタッチする。すると、光学認識センサにより電話番号が認識され、タッチした電話番号への発信が行われる。
　なお、ペーパーコントローラに英数字のアイコンを設け、アイコンをタッチして電話番号を入力するようにしてもよい。
（４）音声認識を用いる
　本発明では、音声認識を用いて電話番号を入力することも可能である。
　ペン型デバイスには、上記認識手段として、音声認識手段が設けられている。ユーザがマイクに向かって電話番号を発声すると、音声認識手段により音声が解析されて、その電話番号に発信が行われる。
　なお、上述の実施例では、電話番号の発信について説明したが、本発明はこれに限らず、電子メールの送信、その他各種ＳＮＳやアプリを用いたメッセージの送信に用いてもよいことは勿論である。このことは、以下に説明する第二の実施形態においても同様である。
＜第二の実施形態＞
　次に、本発明の第二の実施形態について説明する。
　第二の実施形態は、ウェアラブルデバイスとペン型デバイスを用いるものである。
　本実施形態で用いるペン型デバイスは、基本的な構造は第一の実施形態と同様であるが、ウェアラブルデバイス用の入力情報を特定する特定手段と、入力された情報をウェアラブルデバイスに送信するための送信手段を備えている点が異なる。また、通話機能（発信手段、受信手段）は有していなくても構わない。
　図６は、ペン型デバイスで手書きした内容がリストウォッチ型ウェアラブルデバイス（以下「リストウォッチ」と記載する）に表示される状態を示す図である。
　ユーザがペン型デバイスを用いて、手書き入力を行う。すると、撮像手段がドットパターンを撮影し、認識手段が、その軌跡を認識する。特定手段は、その認識結果によって、入力情報を特定する。そして送信手段は、入力情報をウェアラブルデバイスに送信する。
　図６では、ユーザは「ａｐｐｌｅ」という文字を手書きしている。この文字が認識され、入力情報として特定されると、送信手段は、リストウォッチに、「ａｐｐｌｅ」の情報を送信する。すると、リストウォッチの文字盤（ディスプレイ）に、「ａｐｐｌｅ」の手書き文字が表示される。
　なお、表示される文字は手書き文字ではなく、ＯＣＲにより変換されたテキストデータであってもよい。
　図７は、リストウォッチからメール送信が行われる状態について示す図である。
　ユーザは、手帳にメッセージ（例えば「こんにちわ」）を書き込み、送信先のアドレスを指定する。それからペーパーコントローラの「メール送信」をタッチする。すると、リストウォッチからメール送信が行われる。
　ここで、送信先のメールアドレスは、スマートフォンやタブレット（以下「スマートフォン等」）から指定することができる。この場合、スマートフォン等のアドレス帳を開き、ペーパーコントローラの「上へ」「下へ」のアイコンをタッチして、メールアドレスを指定する。
　また、手帳からメールアドレスを指定することもできる。この場合、送信先のメールアドレスをタッチすると、光学認識センサによりメールアドレスが認識され、タッチしたメールアドレスへの送信が行われる。
　図８は、リストウォッチから電話発信が行われる状態について示す図である。
　ユーザは、アドレス帳の中の電話番号をタッチしてから、ペーパーコントローラの「通話」をタッチする。すると、光学認識センサにより電話番号が認識され、リストウォッチから、タッチした電話番号への発信が行われる。
　なお、電話番号を指定する場合には、図７の場合と同様に、スマートフォン等から指定してもよい。スマートフォン等のアドレス帳を開き、ペーパーコントローラの「上へ」「下へ」のアイコンをタッチして、電話番号を指定する。
　図９は、リストウォッチは通話機能を有しておらず、ペン型デバイスのみが通話機能を有している状態について説明する図である。
　ユーザは、図８と同様の方法で送信先の電話番号を指定して、ペーパーコントローラの「通話」をタッチする。すると、光学認識センサにより電話番号が認識され、ペン型デバイスから、タッチした電話番号への発信が行われる。
　このとき、リストウォッチのディスプレイには、発信先の電話番号や、ペン型デバイスから発信が行われていることを示す絵が表示される。
　これにより、ユーザは、発信が行われていることを正確に認識することができる。
　図１０は、スマートフォンから発信を行う場合について説明する図である。
　本実施例においては、ペン型デバイスやリストウォッチの通話機能は使用せず、スマートフォンから発信を行う。
　この場合も、電話番号の入力方法は、図８および９で説明した方法と同様である。ペーパーコントローラの「発信」がタッチされると、スマートフォンから発信が行われる。それと同時に、リストウォッチのディスプレイに、発信先の電話番号や、スマートフォンから発信が行われていることを示す絵が表示される。
　図１１、１２は、ウェアラブルデバイスの他の形態について説明する図である。
　図１１は、メガネ型のウェアラブルデバイスを使用した場合である。図１２は、イヤホン型のウェアラブルデバイスを使用した場合である。
　どちらのウェアラブルデバイスにおいても、ペン型デバイスおよびペーパーコントローラの使い方は、上述したリストウォッチと同様である。
　メガネ型のウェアラブルデバイスでは、電話発信が行われると、発信先の電話番号等を、メガネを通して視認することができる。イヤホン型のウェアラブルデバイスでは、ペン型デバイスと無線で接続されることにより、イヤホンを通して通話することが可能となる。
　なお、メガネ型のウェアラブルデバイスにイヤホン型のウェアラブルデバイスが接続されている構造としてもよい。この場合、骨伝導のマイクやスピーカを用いてもよい。
　このように、ペン型デバイスとウェアラブルデバイスを連動して使用することにより、ハンズフリーで通話を行うことが可能となり、利便性が非常に高まる。
　なお、本実施形態では、電話発信およびメール送信について説明したが、本発明はこれに限らず、他のあらゆる操作にも適用可能であることはもちろんである。
　また、第一および第二の実施形態では、ドットパターンが印刷された用紙に手書き入力を行ったが、本発明はこれに限らず、磁気ボードにドットパターンを形成した入力ボード等、他の媒体を用いてもよい。また、ペンとしては、通常のボールペンの他、消えるボールペンを用いてもよい。
　図１３は、電話発信の動作を示すフローチャートである。
　ユーザが、ペン型デバイスを用いて、ドットパターンが印刷された用紙に、相手先の電話番号を手書きする。すると、撮像手段がドットパターンを撮影し、認識手段が、その軌跡を認識する（ステップＳ１３１）。例えば、図３に示すように、ユーザが「０８０－ＸＸＸＸ－ＸＸＸＸ」と手書きすると、認識手段は、その軌跡を認識する。次に、取得手段は、認識した軌跡から、電話番号を特定する（ステップＳ１３２）。図３の例では、相手先の電話番号が「０８０－ＸＸＸＸ－ＸＸＸＸ」であることを特定する。次に、発信手段により、特定された電話番号への発信が行われる（ステップＳ１３３）。図３の例では、「０８０－ＸＸＸＸ－ＸＸＸＸ」への発信が行われる。次に、制御手段は、相手先が電話に出たこと、つまり、相手先の電話番号に接続がされたことを認識し（ステップＳ１３４）、通話が開始される（ステップＳ１３５）。

＜第三の実施形態＞
　次に、本発明の第三の実施形態について説明する。
　図１４および１６は、第三の実施形態について説明する図である。第三の実施形態は、ペン型デバイスを用いて、通話と同時にドットパターン印刷用紙に手書きした絵、文字等の軌跡情報の送信も行うものである。
　図１５および図１７は、第三の実施形態に用いられるペン型デバイスについて説明する図である。
　図１５は、手書きペンとしての機能のみを有しているペン型デバイスであり、ドットパターン撮像手段、制御手段、解析手段、記憶手段、同期手段、送信手段を備えている。なお、記憶手段、同期手段は有していなくても構わない。
　図１７は、相手方のスマホ等と直接送受信が可能なペン型デバイスであり、ドットパターン撮像手段、音声取得手段、音声情報受信手段、軌跡受信手段、解析手段、制御手段、同期手段、音声出力手段、送信手段を備えている。さらに、表示装置が、無線または有線で接続されている。表示装置の一例としては、薄型のディスプレイがある。ディスプレイを接続することにより、スマホやPCを用いなくても、相手方から送信された手書きの絵や文字を見ることが可能となる。なお、図４で示したように、表示装置は、ペン型デバイス本体に備えられていてもよい。
　第三の実施形態には、さらに複数の実施例が考えられる。以下、説明する。
＜実施例１＞
　実施例１では、ペン型デバイス、または、自己のスマートフォン（スマホ）、パーソナルコンピュータ（PC）のいずれかに音声情報と軌跡情報を記録し、その後、相手先のスマホ、PCに音声情報と軌跡情報を送信する場合を説明する。
（実施例１－１）
　本実施例では、自己のスマホ、PCに音声情報と軌跡情報を記録する。スマホの音声記録装置を使用して音声情報を記録し、ペン型デバイスからリアルタイムで自己のスマホ、PCに軌跡情報を送信して記録する。
　これによれば、ペン型デバイスに音声取得装置および記録装置を設ける必要がなく、コストを低減し、ペン型デバイスのサイズをコンパクトにできる効果がある。
（実施例１－２）
　本実施例では、ペン型デバイスに音声情報と軌跡情報を記録する。この場合、後に、自己のスマホ、ＰＣにペン型デバイスを接続し、当該情報を送信する必要がある。
　これによれば、スマホやPCに接続することなく、手書きしながら、音声情報をペン型デバイスに記録することができる。そのため、スマホ、ペン型デバイスを携帯・接続しなくても、子供の学習利用や、作業現場での利用が可能であり、利便性が極めて高い。
（実施例１－３）
　本実施例では、ペン型デバイスに軌跡情報を記録し、音声情報のみを自己のスマホ、PCに記録して、後に軌跡情報を自己のスマホ、PCに送信する。
　これによれば、音声情報を同時に記録する必要がないため、音声取得装置が必要なく、コストを低減し、ペンのサイズをコンパクトにできる効果がある。
　また、軌跡情報と同時に音声情報を記録しない場合、実施例１－２と同様な効果がある。この場合、後に、自己のスマホやPCで、軌跡情報を再生しながら、音声情報を記録してもよい。
　実施例１－１～１－３において、軌跡情報を音声情報と同期を取って再生するために、時間経過を示す情報を軌跡情報に含めてもよい。

（ドットパターン印刷用付箋）
　次に、上記実施例１－１～１－３を実現するために用いるドットパターン印刷用紙について、図１８を用いて説明する。
　同図のドットパターン印刷用紙は、付箋として構成されており、以下「ドットパターン印刷付箋」と呼ぶ。
　ドットパターン印刷付箋は、書き込み領域とアイコン領域から構成されている。
　書き込み領域は、ユーザが文書や図を描くための領域である。書き込み領域に手書きされた軌跡情報は、ペンまたは自己のスマホ、PCに記録される。一時停止状態で手書き入力を行った場合には、その位置から挿入ができる。
　アイコン領域は、ユーザが種々の操作を行うためのアイコンが印刷された領域である。本実施例では、７個のアイコンが印刷されている。アイコンの機能は、左から、消去、録音、再生、一時停止、色、送信、ページ番号である。ユーザがペン型デバイスでアイコンをタッチすると、アイコンに割り当てられた操作が実行される。
　「消去」アイコンは、音声情報の消去を行うためのアイコンである。録音中、再生中または、再生終了後２秒以内にタッチすると、スマホに「消去する場合は、再度ゴミ箱をタッチすると音声全部が消去されます。」というメッセージが表示される。または、ペン型デバイスに音声情報が記録された場合は、同様のメッセージが音声再生される。３秒以内に再度タッチすると、音声情報が消去される。3秒以上タッチしないと、待機状態になる。本機能は、スマホ、PCに音声情報が記録される場合、同様なアイコンを設けてタッチパネルやマウスで操作してもよい。なお、他の軌跡情報関連の機能も、スマホ、PCに記録される場合、スマホ、PCに同様なアイコンを設けて、タッチパネルやマウス操作でスマホやPCで操作してもよい。
　「録音」アイコンは、自己のスマホ、PCまたは、手書きペンに録音を開始するためのアイコンである。録音中に再度タッチすると、録音は終了する。録音中に、他のアイコンをタッチすると、録音は終了され、タッチしたアイコンの操作処理が実行される。既に音声ファイルが存在する場合は、追加して音声ファイルが生成される。他のアイコンをタッチすると、タッチしたアイコンの操作処理が実行されるが、その操作状況がリアルタイムで送信される。
　「再生」アイコンは、音声および軌跡情報の再生を行うためのアイコンである。一時停止中は、一時停止状態から実時間再生する。終了時（全軌跡データが表示されている状態）は先頭から実時間再生する。ただし、再生ボタンを押してから１秒以内に再度タッチすると、２倍速、さらに、１秒以内に再度タッチすると、４倍速とする。
　「一時停止」アイコンは、一時停止を行うためのアイコンである。一時停止中にタッチすると、一時停止位置から、その前のスピードで再生される。一時停止中に、他のアイコンのタッチや書き込みを開始すると、一時停止状態は解除され、タッチしたアイコンの処理または書き込みが実行される。
　「色」アイコンは、ペン型デバイスで描かれた軌跡の色を決定するためのアイコンである。左が黒、右が赤である。その他、図示しないが、軌跡の太さを設定する機能があってもよい。
　「送信」アイコンは、相手先のスマホ、PCに、当該ページに手書きされた軌跡情報と音声情報を送信するためのアイコンである。送信先のアドレスは、自己のスマホで設定する。
　「ページ番号」アイコンは、ドットパターン印刷付箋が、複数のページが束になって提供される場合に、各ページ番号（１～１００）を示すアイコンである。本アイコンをタッチすると、当該ページの全軌跡データを表示する。軌跡情報には、当該ページを特定する領域特定コードが含まれていることにより、ページ番号と連動して様々な処理が可能となる。
　なお、本実施例の再生・一時停止・挿入機能を実行するためには、時間経過情報が軌跡情報に付加されていなければならない。
　一般の付箋は、簡単な文書や図を描いて、自分のメモとして使用したり、相手に情報を伝えたりすることができる。しかし、付箋の多くは面積が小さいため、詳細な情報を伝えることができない。ドットパターン印刷付箋では、音声情報を加えることができるため、メモの説明を詳しく伝えることができる。さらに、一般の付箋は使い捨てであり、情報を整理して保存することが困難であったが、ドットパターン印刷付箋では、軌跡情報をデジタル化してスマホやPCに記録することにより、過去に記載した情報を容易に記録・整理・活用できる。なお、本実施例は、付箋である必要もなく、手帳などに同様な機能を搭載してもよいことは勿論である。
　次に、図１９～図２１を用いて、実施例１における、ペン型デバイス（ペン）、自己のスマホ・PC、相手方のスマホ・PCの動作について説明する。
　なお、同図では、「自己のスマホ」「相手先のスマホ」と記載したが、自己のＰＣ、ウェラブルコンピュータ、相手先のＰＣ、ウェラブルコンピュータ、にも適用されることは勿論である。
　図１９は、実施例１－１における動作を説明するフローチャートである。
　ユーザは、ペンを用いて、ドットパターン印刷用付箋等に手書き入力を行う。また、それと同時に、あるいはその直前または直後に、音声を発声する。例えば、ドットパターン印刷用付箋に地図を描き、音声で、「○○線○○駅南口改札を出て、直進します。２つめの交差点を左折し、２ブロック直進して、２つめの交差点を右折して、１つめの交差点を左折すると、右手に自宅が見えます。」と説明する。
　ペンにおいて、撮像手段がドットパターンを撮像し、認識手段が、その軌跡を認識して、軌跡情報を取得する。ペンは、取得した軌跡情報を無線または有線で自己のスマホに送信する（ステップＳ１６０１）。すると、自己のスマホは、軌跡情報を受信して（ステップＳ１６０２）、記録装置に記録する（ステップＳ１６０４）。
　一方、ユーザの音声は、自己のスマホの記録装置に記録される（ステップＳ１６０５）。
　自己のスマホは、記録した音声情報と軌跡情報を相手先のスマホに送信する（ステップＳ１６０７）。
　相手先のスマホは、音声情報と軌跡情報を受信する（ステップＳ１６０８）。そして、スピーカから音声情報を出力し、ディスプレイに軌跡情報を表示する（ステップＳ１６０９）。後に音声情報と軌跡情報を矛盾なく再生するには、同期（ステップＳ１６０３）が必要となる。同期に関しては、後に詳しく説明する。
　図２０は、実施例１－２における動作を説明するフローチャートである。
　ユーザは、ペンを用いて、ドットパターン印刷用付箋等に手書き入力を行う。また、それと同時に、あるいはその直前または直後に、音声を発声する。例えば、ドットパターン印刷用付箋に地図を描き、音声で、「○○線○○駅南口改札を出て、直進します。２つめの交差点を左折し、２ブロック直進して、２つめの交差点を右折して、１つめの交差点を左折すると、右手に自宅が見えます。」と説明する。
　ペンにおいて、撮像手段がドットパターンを撮像し、認識手段がその軌跡を認識して、軌跡情報を取得する。そして、ペンに内蔵された記録装置に軌跡情報を記録する（ステップＳ１７０１）。また、ユーザが発声した音声情報を取得して、記録装置に記録する（ステップＳ１７０２）。そして、記録した音声情報と軌跡情報を自己のスマホに送信する（ステップＳ１７０７）。
　自己のスマホは、音声情報と軌跡情報を受信する（ステップＳ１７０６）と、相手先のスマホに送信する（ステップＳ１７０８）。
　相手先のスマホは、音声情報と軌跡情報を受信する（ステップＳ１７０８）。そして、スピーカから音声情報を出力し、ディスプレイに軌跡情報を表示する（ステップＳ１７０９）。後に音声情報と軌跡情報を矛盾なく再生するには、同期（ステップＳ１７０１）が必要となる。同期に関しては、後に詳しく説明する。
　図２１は、実施例１－３における動作を説明するフローチャートである。
　ユーザは、ペンを用いて、ドットパターン印刷用付箋等に手書き入力を行う。ここでは、ペンと自己のスマホが接続していない状態であり、軌跡情報のみを記録すればよい。後に軌跡情報を実時間で再生する場合は、手書きの時間経過を示す情報を図２５に示すように座標情報と共に軌跡情報に記録する必要がある。また、それと同時に、あるいはその直前または直後に、音声を発声する。例えば、ドットパターン印刷用付箋に地図を描き、音声で、「○○線○○駅南口改札を出て、直進します。２つめの交差点を左折し、２ブロック直進して、２つめの交差点を右折して、１つめの交差点を左折すると、右手に自宅が見えます。」と説明する。
　ペンにおいて、撮像手段がドットパターンを撮像し、認識手段がその軌跡を認識して、軌跡情報を取得する。そして、ペンに内蔵された記録装置に軌跡情報を記録する（ステップＳ１８０１）。そして、記録した軌跡情報を自己のスマホに送信する（ステップＳ１８０２）。
　自己のスマホは、軌跡情報を受信して（ステップＳ１８０３）、記録装置に記録する（ステップＳ１８０５）。さらに、ユーザが発声した音声情報を取得して、記録装置に記録する（ステップＳ１８０７）。そして、記録した音声情報と軌跡情報を相手先のスマホに送信する（ステップＳ１８０８）。
　相手先のスマホは、音声情報と軌跡情報を受信する（ステップＳ１８０９）。そして、スピーカから音声情報を出力し、ディスプレイに軌跡情報を表示する（ステップＳ１８１０）。
＜実施例２＞
次に、図２２～図２３を用いて、実施例２における、ペン型デバイス（ペン）、自己のスマホ・PC、相手方のスマホ・PCの動作について説明する。
　実施例２では、ペン型デバイスから直接、または、自己のスマホ、PCを経由して、相手方のスマホ、PCに音声情報と軌跡情報をリアルタイムで送受信する場合を説明する。
（実施例２－１）
図１９は、実施例２－１における動作を説明するフローチャートである。
　本実施例では、ペン型デバイスから軌跡情報のみを自己のスマホ、PCを経由して、相手方スマホ、PCにリアルタイムで送信する。自己のスマホ、PCで軌跡情報を受信した際には、図22のように、同期用の経過時間を示す情報を軌跡情報に記録するのが望ましい。
　これによれば、自己のスマホ、PCの音声取得手段、音声出力手段を使用するため、ペンには、音声関連の装置や記憶装置を設ける必要がなく、コストを低減し、ペンのサイズをコンパクトにできる効果がある。
（実施例２－２）
図２０は、実施例２－２における動作を説明するフローチャートである。
　本実施例では、ペン型デバイスから、直接、相手方のスマホ、PCに音声情報と軌跡情報を送信する。この場合、ペン型デバイス内部には、音声取得手段と音声出力手段を設け、相手方のスマホ、PCからの音声情報をリアルタイムで受信し、会話ができる。
　これによれば、自己のスマホ、PCが必要なく、子供の学習利用や、作業現場での利用が可能であり、利便性が極めて高い。さらに、ディスプレイをペン型デバイスに搭載するか、または、ペン型デバイスの外部装置としてディスプレイを設ければ、軌跡情報を共有して閲覧しながら音声情報を送受信できる。
　実施例２－１、２－２において、軌跡情報を音声情報と同期（ステップＳ１８７）を取って再生するために、時間経過を示す情報を軌跡情報に含めてもよい。ここで、軌跡を描きながら、その軌跡の履歴に合わせて音声を発声する場合、音声と軌跡上のポイントが一致しなければ、説明に矛盾が生じる。特に、相手方スマホに音声情報と軌跡情報を異なる通信手段で送信する場合、その通信速度によりディレーが生じる。そこで、相手方スマホでは、音声情報と軌跡情報が同期するように出力させるために、図２２に示すように、同期用の時間経過情報を軌跡情報に記録する。元々、音声情報は実時間で再生されるため、所定の方法で開始点の時間情報を一致させれば、相手方スマホで音声情報と軌跡情報間でディレーのない出力が可能となる。音声情報と軌跡情報を異なる通信手段の速度が両者とも十分速ければ、同期を取る必要はない。ただし、自己および相手方のスマホで、音声情報と軌跡情報を記録して、後に、ディレー無く再生する際には、同期を取ることが必須である。
（ドットパターン印刷用付箋）
　次に、上記実施例２－１～２－２を実現するために用いるドットパターン印刷用紙について説明する。
　同図のドットパターン印刷用紙は、上記実施例１－１～１－３と同様、ドットパターン印刷用付箋として構成されている。
　本実施例におけるドットパターン印刷用付箋は、外観は上記実施例１－１～１－３で用いるもの、すなわち図１５と同様であるが、一部、本実施例に特有の機能を有している。
　以下、実施例１－１～１－３と異なる機能についてのみ説明する。
　本実施例の「消去」アイコンを音声情報の再生中または、再生終了後２秒以内にタッチすると、スマホに「消去する場合は、再度ゴミ箱をタッチすると音声全部が消去されます。」とメッセージを表示する。または、ペン型デバイスに音声情報が記録された場合は、同様のメッセージが音声再生される。3秒以内に、再度、タッチすると音声情報が消去される。3秒以上、タッチしないと、待機状態になる。自己のスマホ、PCに同様なアイコンを設けてタッチパネルやマウスで操作してもよい。他の軌跡情報関連の機能も、自己のスマホ、PCに記録される場合、同様なアイコンを設けて、タッチパネルやマウス操作でスマホやPCで操作してもよい。もちろん、相手方スマホ、PCでも同様な操作ができるようにしてもよい。
　「録音」アイコンをタッチすると、相手方のスマホ、PCに音声情報を送信する際に、経由する自己のスマホ、PCか、録音機能付きペンで録音を開始する。録音中に再度タッチすると、録音は終了する。録音中に、他のアイコンをタッチすると、録音は終了され、タッチしたアイコンの操作処理が実行される。既に音声ファイルが存在する場合は、追加して音声ファイルが生成される。他のアイコンをタッチすると、タッチしたアイコンの操作処理が実行されるが、その操作状況がリアルタイムで送信される。なお、録音しなくても、相手方のスマホ、PCに音声情報が自動的に送信される。
　「送信」アイコンをタッチすると、相手先スマホ、PCに、当該ページに手書きされた軌跡情報と音声情報が送信される。送信先のアドレス、電話番号は、ペン型デバイスか自己のスマホで設定する。ペン型デバイスで直接送信する場合は、専用のドットが重畳印刷されたペーパーキーボードやアドレス帳をタッチすることにより設定する。ペーパーキーボードやアドレス帳は、例えば、図５、図８～図１０、および対応する明細書の説明中で示したものである。
　また、ユーザが書き込み領域に図や文字等の書き込みを行うと、手書きされた軌跡情報が、ペン型デバイスから直接か、または自己のスマホ、PCを経由して、相手方スマホ、PCに送信され双方に記録される。 
　なお、本実施例では、相手方のスマホ、PCに情報を送信するためにドットパターン印刷付箋を使用している。しかし、これに限らず、簡単な文書や図を描いて、自分のメモとして、または、相手方が、受信したドットパターン印刷付箋の音声情報や軌跡情報をデジタル化してスマホやPCに記録することにより、過去の情報を容易に記録・整理・活用できる。なお、本実施例は、ドットパターン印刷付箋である必要もなく、手帳などに同様な機能を搭載してもよいことは勿論である。
　次に、図２２～図２３を用いて、実施例２における、ペン型デバイス、自己のスマホ・PC、相手方のスマホ・PCの動作について説明する。
　図２２は、実施例２－１における動作を説明するフローチャートである。
　ユーザは、ペンを用いて、ドットパターン印刷用付箋等に手書き入力を行う。また、それと同時に、あるいはその直前または直後に、音声を発声する。例えば、ドットパターン印刷用付箋に地図を描き、音声で、「○○線○○駅南口改札を出て、直進します。２つめの交差点を左折し、２ブロック直進して、２つめの交差点を右折して、１つめの交差点を左折すると、右手に自宅が見えます。」と説明する。
　ペンにおいて、撮像手段がドットパターンを撮像し、認識手段が、その軌跡を認識して、軌跡情報を取得する。ペンは、取得した軌跡情報を無線または有線で自己のスマホに送信する（ステップＳ１９０１）。すると、自己のスマホは、軌跡情報を受信して（ステップＳ１９０４）、相手先のスマホに送信する（ステップＳ１９０６）。相手先のスマホは、軌跡情報を受信する（ステップＳ１９６）。
　一方、自己のスマホは、ユーザの音声情報を取得する。そして、音声情報を相手先のスマホに送信する（ステップＳ１９０３）。相手先のスマホは、音声情報を受信する（ステップＳ１９０７）。
　相手先のスマホは、受信した音声情報をスピーカから出力し、受信した軌跡情報をディスプレイに表示する（ステップＳ１９０９）。
　図２３は、実施例２－２における動作を説明するフローチャートである。
　ユーザは、ペンを用いて、ドットパターン印刷用付箋等に手書き入力を行う。また、それと同時に、あるいはその直前または直後に、音声を発声する。例えば、ドットパターン印刷用付箋に地図を描き、音声で、「○○線○○駅南口改札を出て、直進します。２つめの交差点を左折し、２ブロック直進して、２つめの交差点を右折して、１つめの交差点を左折すると、右手に自宅が見えます。」と説明する。
　ペンにおいて、撮像手段がドットパターンを撮像し、認識手段が、その軌跡を認識して、軌跡情報を取得する。ペンは、取得した軌跡情報を無線または有線で相手先のスマホに送信する（ステップＳ２００２）。すると、相手先のスマホは、軌跡情報を受信する（ステップＳ２００５）。また、ユーザが発声した音声情報を取得して、相手先のスマホに送信する（ステップＳ２００４）。すると、相手先のスマホは、軌跡情報を受信する（ステップＳ２００６）。
　相手先のスマホは、受信した音声情報をスピーカから出力し、受信した軌跡情報をディスプレイに表示する。
＜実施例３＞（スマートノート）
　次に、上記実施例１－１～１－３、２－１～２－２を実現するために用いるドットパターン印刷用紙の他の例について、図２４を用いて説明する。
　同図のドットパターン印刷用紙は、ノートとして構成されており、以下「スマートノート」と呼ぶ。本実施例は、教育関連の講義・練習ノートや一般人が使用する手帳・ノートとして、軌跡情報、音声情報の記録機能および、自己または相手方スマホ、PCに送信された情報を再生・閲覧する機能を説明している。軌跡情報、音声情報の送受信方法には、前述したドットパターン印刷用付箋の実施例と同様であり、同様な送信アイコンを設けてもよい。なお、スマートノートに配置されたアイコンは、スマホ、PCの操作画面に同様なアイコンを配置して、タッチパネルやマウスで操作してもよい。
　スマートノートは、書き込み領域とアイコン領域から構成されている。
　書き込み領域は、ユーザが文書や図を描くための領域である。
　アイコン領域は、ユーザが種々の操作を行うためのアイコンが印刷された領域である。本実施例では、スマートノートの上部と下部にアイコン領域が形成されている。アイコンの機能は、上部は左から、消去、開始、終了、再生、倍速、一時停止、戻る、送る、制御バー、リンク用、下部は左から、大きさ、色、消しゴム、消去表示、表示、ＭＰ４、ＪＰＥＧ、リンク、リンク消去である。
　「消去」アイコンは、当該ページの軌跡情報を全消去するためのアイコンである。ディスプレイに確認画面が出て、指でタッチするか、ペンの○ボタンを押して消去する。本来は、安全のため、指タッチのみにしたいが、教室でタブレットから離れているところで、データを消去したい場合があるので、ペンでの削除操作も有効にする。但し、タブレットで確認が表示された場合にのみ、ペンの○ボタンによる消去を有効とする。さらに、消去した軌跡情報をスマホ、PCで復旧できるようにする。
　「開始」アイコンは、音声録音を開始するためのアイコンである。再度録音アイコンか終了アイコンをタッチすると、録音が終了する。他のアイコンをタッチすると、録音を終了し、そのアイコン操作が実施される。音声ファイル・軌跡ファイルはいくつでも作成することができる。
　「終了」アイコンは、操作を終了するためのアイコンである。音声録音中にタッチすると、録音が終了される。録音中以外で終了アイコンをタッチすると表示範囲の最終の軌跡情報を表示する。
　「再生」アイコンは、操作を再生するためのアイコンである。本アイコンをタッチすると、現在の状態（一時停止状態含む）から実時間再生される。軌跡が描かれていない空隙時間は、全て飛ばす（設定画面で飛ばさないモードも設定可能とする）。ただし、録音再生時の実時間再生では、空隙時間は飛ばさない。表示範囲の最後の画像が表示されている場合は、先頭から実時間再生する。一時停止中（ストローク移動後も含む）や高速再生時には、その位置から実時間再生する。さらにタッチすると、２倍、４倍、８倍、１６倍の速度で再生される。
　「倍速」アイコンは、倍速で再生するためのアイコンである。本アイコンをタッチすると、先頭から４倍速で高速再生される。軌跡が描かれていない空隙時間は、全て飛ばす。さらに、タッチすると、８倍、１６倍の速度で再生される。
　「一時停止」アイコンは、一時停止をするためのアイコンである。一時停止中（ストローク移動後も含む）は、一時停止位置から、一時停止前の速度で再生する。一時停止して他のページをタッチしても、一時停止状態は保存される。なお、一時停止中にも書き込みが可能であり、その軌跡情報は、その位置から挿入され、再生時に反映される。一時停止中に他のページに移動して戻った場合は、一時停止時の画面を表示する。書き込み中に、一時停止をタッチし、実時間再生を行うと、書き終えた位置から再生される。
　「戻る」アイコンは、軌跡情報の表示中に、１ストローク戻すためのアイコンである。
　「送る」アイコンは、軌跡情報の表示中に、１ストローク送るためのアイコンである。
　「制御バー」アイコンは、表示範囲を制御するためのアイコンであり、さらに、左から、左向きの三角形が描かれたアイコン（以下「左端のアイコン」）、時間経過バー、右向きの三角形が描かれたアイコン（以下「右端のアイコン」）、とから構成されている。左端のアイコンをタッチすると、表示範囲の先頭状態が表示される。表示範囲が初期状態の場合、問題や講義内容、説明書などが背景にある場合は、当該背景が表示される。時間経過バーをタッチすると、タッチした位置までの画像が表示される。タッチしてペン型デバイスを当接させた状態のまま、時間経過バー上でペン型デバイスを移動させていくと、次々と移動位置までの軌跡情報が表示される。なお、再生中に他のページに移動し、戻った場合は、表示範囲の最後の画像が表示される。一時停止中に他のページに移動して戻った場合は、一時停止時の画面を表示する。
　「リンク用」アイコンは、画像や動画がリンク設定されているアイコンである。本アイコンをタッチすると、リンク設定された画像・動画を表示する。当該画像・動画にも上書き・録音できる。リンク用アイコンは、シールなどで構成し、追加してノートに貼り付けるようにしてもよい。
　「大きさ」アイコンは、ペンおよび消しゴムの大きさを決定・変更するためのアイコンである。ペンおよび消しゴムの大きさはページ毎に記録されない。最後に使用した情報が保存される。但し、消しゴムの場合は、他のページに移動した場合は、ペンが自動設定され、前回に使用したペン情報が採用される。
　「色」アイコンは、ペンおよび消しゴムの色を決定・変更するためのアイコンである。ペンおよび消しゴムの色はページ毎に記録されない。最後に使用した情報が保存される。但し、消しゴムの場合は、他のページに移動した場合は、ペンが自動設定され、前回に使用したペン情報が採用される。
　「消しゴム」アイコンは、手書き中に軌跡や領域を消去するためのアイコンである。大きさはペンの太さで選択する。大きさを選択しなければ、前回消しゴムで使用した大きさとなる。消している最中は黄色の円が表示されるが、なぞった軌跡情報は表示されない。
　「消去表示」アイコンは、消去した軌跡や領域を表示するためのアイコンである。消去した軌跡はそのまま表示され、なぞった消しゴム跡は黄色半透明で表示される。なお、消しゴム状態から、ペンを選択した場合は、以前に選択されたペンの色、サイズが選択される。
　「表示」アイコンは、非表示を解除し、全ての軌跡情報を表示するためのアイコンである。
　「非表示」アイコンは、現在、表示されている軌跡情報を非表示とし、その範囲以外が表示範囲となる反転表示機能のためのアイコンである。表示範囲となった範囲のみ再生・挿入・追加操作ができる。後半を表示させる場合は、先頭から再生し所定の位置で一時停止し、OFFにして再生すればよい。前半を表示させる場合は、前半を非表示にして、後半のみを表示させた後にOFFにすればよい。表示範囲はページ毎に保存される。
　「ＭＰＥＧ４」アイコンは、動画ファイルを生成するためのアイコンである。本アイコンをタッチすると設定画面が現れ、スマホ、PCのどこのホルダーに記録するかを設定し、下記（１）～（３）のいずれかを選択する。タッチパネルやマウスで実行・中止を選択するか、または、ペン○ボタンで記録開始する。記録を開始すると、スマートノート画面に戻り、動画が記録される。なお、動画記録中に、記録を終了する際には、再度、MP4アイコンをタッチする。その場合、終了するまでの動画ファイルが生成される。動画はMP4以外のフォーマットを使用してもよい。
（１）軌跡、録音、再生等の全ての操作を実時間で動画化する。
（２）当該ページの軌跡、音声情報を全て動画化する。
（３）表示範囲の軌跡、音声情報のみを動画化する。
表示範囲にまたがる音声情報は録音先頭から再生させ、表示範囲に入ったら、動画記録する。MP4等の一般的な動画にした場合、本スマートノートのアプリが搭載されなくても、どのスマホ、PCでも閲覧することができ利便性が高まる。
　「ＪＰＥＧ」アイコンは、表示中の軌跡情報を記録するためのアイコンである。本アイコンをタッチすると、記録先ホルダーが表示され、どこに記録するかを設定する。指タッチで実行・中止を選択するか、または、ペン○ボタンで記録する。
　「リンク」アイコンは、リンク設定を実施するためのアイコンである。リンク設定とは、上述したリンク用アイコンに印刷されたドットパターンと、画像・動画とを関連づける処理である。処理は、スマホ、PCで全て実施する。
　「リンク消去」アイコンは、リンク画像の表示を消去するためのアイコンである。

＜実施例4＞
　実施例４は、手書きペンの送信データフォーマットについて説明するものである。
　手書きペンと自己のスマホ、PCとの無線通信や、相手方スマホ、PCとの無線通信には、Bluetooth（登録商標）、BLE、WIFI、RF、各種電話回線等、様々な方式がある。
　手書きを実現するには、フレームレートとして、文字では１秒間に１００回以上、図や絵などでは、１秒間に１５０回以上の座標値からなる軌跡情報が必要とされる。昨今、スマホに標準搭載されているBluetooth（登録商標） 4.0規格の一部であるBLEによる、データ送受信が広く使用されている。BLEは極めて高い省電力性を有するが、最大で1Mbpsのデータ通信ししかできないため、軌跡情報の送信は最小限に抑える必要がある。
　本発明では、ペンを書き込み領域にタッチした瞬間のみ、撮像したドットパターンをドットコード解析して、１つのフォーマットに定義されたコード値とXY座標を読み取り、下記に示す書き込み領域を特定する領域特定コードと共に軌跡情報を出力（8Byte）する。これにより、軌跡情報を書き込み領域/ページ毎に容易に管理することができ、所定の書き込み領域/ページを指定して、手書きされた当該軌跡情報のみを表示・編集・送信することが可能となる。さらに、軌跡情報を最小限に抑えるため、ペンを書き込み領域にタッチした後は、同一書き込み領域/ページでストロークを描いていることから、領域特定コードやステータスコードを出力する必要はない。そこで、XY座標値による軌跡情報のみを出力（4Byte）して大幅に送信情報量の低減を実現している。これにより、BLEによる必要なフレームレートの軌跡情報の送信が可能となった。なお、ステータスコードは、ペンダウン/ペンアップや、書き込み領域か否か、手書きペンのボタン情報、エラー情報等、様々な情報が出力される。

（１）　XY座標
8byte:ペンダウン時の送信フォーマット
0       0Xff：ヘッダー(1)
1       0xFD：ヘッダー(2)、送信時にデータの区切りを示すためのヘッダー。ペンをタッチした瞬間に1回だけ読み取るため、送信時のデータの区切りの誤認がないように、2byteを使用する。
2       ステータスコード
3       領域特定コード(1):8bit
4       領域特定コード(2) :8bit
　　　　　領域特定コード16bit、約6500書き込み領域/ページを指定できる。XY座標値は、1bitで2mmを定義できることから、現状では、XY座標は各8bitであり、 512×512mm四方の領域が１つの書き込み領域となっている。ポストイットのように、書き込み領域が小さい場合は、XY座標値の範囲を小さくして、領域特定コードを増やすことができる。64×64mm四方の書き込み領域であれば、XY座標は、各5bit、合計10bitで定義できる。その結果、6bitを領域特定コードに加えることができ、22bitで、約420万書き込み領域/ページを指定できる。
5       X座標：8bit
6       Y座標：8bit
7       小数点以下のXY座標：小数点以下のbit(4bit×2)、XY座標値は、1bitで2mmを定義されているため、精度が低いことから、補間計算により2mm/16=0.125mmまで精度を確保している。

4byte:ペンダウン中の送信フォーマット
0       0Xff：送信時にデータの区切りを示すためのヘッダー。万一、へッダーを誤認識しても、１秒間に100回以上を送信しているので、次回のヘッダーを読み取れば、1個分のデータが欠落しても問題ないため、1byteのみとしている。
1       X座標：8bit
2       Y座標：8bit
3       小数点以下のXY座標：小数点以下のbit(4bit×2) 

　下記は、実施例１，２で示したドットパターン印刷付箋や、実施例３で示したスマートノートなどのアイコンに重畳して形成されたドットパターンをペンで読み取った際に出力されるコード値のフォーマットである。下記のアイコンに対応するオペレーションコードは32bitを有しており、約40億種類までの操作指示やコンテンツに対応付けすることができる。
（２）　コード値（8バイト送信）
0       0xFF：ヘッダー(1)
1       0Xfd：ヘッダー(2)、送信時にデータの区切りを示すためのヘッダー。ペンをタッチした瞬間に1回だけ読み取るため、送信時のデータの区切りの誤認がないように、2byteを使用する。
2       ステータスバイト
3       オペレーションコード(1)
4       オペレーションコード(2)
5       オペレーションコード(3)
6       オペレーションコード(4)
7       回転角（2度単位：±1度）0～179（0度±1度～358度±1度）
0度（回転コード0）は359度以上～1度未満、2度（回転コード1）は1度以上～3度未満、358度（回転コード179）は357度以上～359度未満となり、2度毎に回転コードを送信する。ペンでタッチして、紐付けされたコンテンツを出力する場合、ペンを回転させて音声やコンテンツを変化させたり、画像を360度閲覧する時等、回転角によって異なる情報取得・出力を可能にする。
　なお、上述した実施例は、一例であり、要旨を変更しない範囲で種々変更できることは勿論である。また、各実施例は、自由に組合せ、かつ、選択的に使用できるものである。
　本発明にかかるペン型デバイスは、電話操作が苦手な障害者や高齢者にとっても容易に利用可能なものであるため、福祉分野への産業上の利用可能性が考えられる。
　もちろん、あらゆる人々、あらゆる分野への利用可能性がある。

Claims (28)

  1. 　ドットパターンが形成された媒体上で軌跡を描くための手書き装置であって、
    　座標値およびコード値、またはコード値が定義された前記ドットパターンを撮像する撮像手段と、
    　前記撮像手段により撮像された前記ドットパターンをコード解析することにより、少なくとも前記座標値から求まる座標情報の履歴からなる軌跡情報および/またはコード値を出力する解析手段と、
    　音声情報を取得する音声取得手段と、
    　前記音声情報および、前記軌跡情報またはコード値の少なくともいずれかを通信装置に送信する送信手段と、を備え、
    前記ドットパターンが形成された媒体の書き込み領域には、前記座標値およびコード値が定義され、該コード値には該書き込み領域を特定する領域特定コードを有し、
    前記解析手段は、前記軌跡情報に該領域特定コードを含めて出力する、手書き装置。
  2. 　ドットパターンが形成された媒体上で軌跡を描くための手書き装置であって、
    　座標値およびコード値、またはコード値が定義された前記ドットパターンを撮像する撮像手段と、
    　前記撮像手段により撮像された前記ドットパターンをコード解析することにより、少なくとも前記座標値から求まる座標情報の履歴からなる軌跡情報および/またはコード値を出力する解析手段と、
    　前記音声情報および、前記軌跡情報またはコード値の少なくともいずれかを通信装置に送信する送信手段と、を備え、
    前記ドットパターンが形成された媒体の書き込み領域には、前記座標値およびコード値が定義され、該コード値には該書き込み領域を特定する領域特定コードを有し、
    前記解析手段は、前記軌跡情報に該領域特定コードを含めて出力し、前記通信装置は、音声情報を取得する、手書き装置。
  3. 　前記軌跡情報に時間経過を定義する情報を付加して前記音声情報と同期を取る同期手段を、前記手書き装置または前記通信装置に、
    さらに備える、請求項１または２に記載の手書き装置。
  4. 　前記通信装置は、第三者が使用する相手方通信装置である、
    請求項１または３に記載の手書き装置。
  5. 　前記通信装置は、自己が使用する通信装置であって、
    　前記送信手段は、前記通信装置を経由して、第三者が使用する相手方通信装置に前記音声情報および、前記軌跡情報またはコード値の少なくともいずれかを送信する、
    請求項１～３のいずれかに記載の手書き装置。
  6. 　前記軌跡情報で、請求項４または5に記載の前記相手方通信装置を特定する、
    請求項１～５のいずれかに記載の手書き装置。
  7. 　前記軌跡情報および前記音声情報の少なくともいずれかを記憶する記憶手段を、前記手書き装置または前記通信装置のいずれかに、
    さらに備え、
    　前記通信装置に備えられた送信手段または前記送信手段は、前記記憶手段に記憶された前記音声情報および前記軌跡情報の少なくともいずれかをファイルにして送信する、請求項１～６のいずれかに記載の手書き装置。
  8. 　内蔵されるか、または外部に接続されるかのいずれかである、少なくとも前記軌跡情報を表示する表示手段を、前記手書き装置または前記通信装置の少なくともいずれかに、
    さらに備える、請求項１～７のいずれかに記載の手書き装置。
  9. 　前記表示手段は、前記軌跡情報に前記音声情報を同期させて出力する、
    請求項１～８のいずれかに記載の手書き装置。
  10. 　受信した音声情報を出力する音声出力手段を、前記手書き装置または前記通信装置の少なくともいずれかに、
    さらに備える、請求項１～９のいずれかに記載の手書き装置。
  11. 　請求項４～６のいずれかに記載の前記相手方通信装置からの音声情報を受信する音声受信装置を、前記手書き装置または前記通信装置の少なくともいずれかに、
    さらに備える、請求項１～１０のいずれかに記載の手書き装置。
  12. 　請求項４～６のいずれかに記載の前記相手先通信装置からの軌跡情報を受信する軌跡受信装置を、前記手書き装置または前記通信装置の少なくともいずれかに、
    さらに備える、請求項１～１１のいずれかに記載の手書き装置。
  13. 　前記軌跡情報に対して、前記手書き装置でさらに描いた軌跡情報を、請求項４～６のいずれかに記載の前記相手方通信装置または前記通信装置に送信する、
    請求項１２に記載の手書き装置。
  14. 　前記通信装置は、スマホまたはPCである、請求項１～１３のいずれかに記載の手書き装置。
  15. 　請求項４～６のいずれかに記載の前記相手方通信装置は、スマホまたはPCである、請求項１～１４のいずれかに記載の手書き装置。
  16. 　ドットパターンが形成された媒体上で軌跡を描くための手書き装置であって、
    　座標値およびコード値、またはコード値が定義された前記ドットパターンを撮像する撮像手段と、
    　前記撮像手段により撮像された前記ドットパターンをコード解析することにより、少なくとも前記座標値から求まる座標情報の履歴からなる軌跡情報および/またはコード値を出力する解析手段と、
    　前記軌跡情報またはコード値の少なくともいずれかを、通信装置に送信する送信手段と、を備え、
    　前記ドットパターンが形成された媒体の書き込み領域には、前記座標値およびコード値が定義され、該コード値には該書き込み領域を特定する領域特定コードを有し、前記解析手段は、前記軌跡情報に該領域特定コードを含めて出力する、手書き装置と、
    　音声情報を取得する前記通信装置と、
    からなる、音声・手書き通信システム。
  17. 　前記前記手書き装置または前記通信装置の少なくともいずれかに、前記軌跡情報に時間経過を定義する情報を付加して前記音声情報と同期を取る同期手段を、前記手書き装置または前記通信装置の少なくともいずれかに、
    さらに備える、請求項１６に記載の音声・手書き通信システム。
  18. 前記通信装置は、自己が使用する通信装置であって、
    前記送信手段は、前記通信装置を経由して、第三者が使用する相手方通信装置に前記音声情報および、前記軌跡情報またはコード値の少なくともいずれかを送信する、
    請求項１６または１７に記載の音声・手書き通信システム。
  19. 　前記軌跡情報で前記相手方通信装置を特定する、請求項１８に記載の音声・手書き通信システム。
  20. 　前記前記手書き装置または前記通信装置の少なくともいずれかに、前記軌跡情報および前記音声情報の少なくともいずれかを記憶する記憶手段を、前記手書き装置または前記通信装置の少なくともいずれかに、さらに備え、
    　前記通信装置に備えられた送信手段または前記送信手段は、前記記憶手段に記憶された前記音声情報および前記軌跡情報の少なくともいずれかをファイルにして送信する、請求項１６～１９のいずれかに記載の音声・手書き通信システム。
  21. 　前記内蔵されるか、または外部に接続されるかのいずれかである、少なくとも前記軌跡情報を表示する表示手段を、前記手書き装置または前記通信装置の少なくともいずれかに、
    さらに備える、請求項１６～２０のいずれかに記載の音声・手書き通信システム。
  22. 　前記表示手段は、前記軌跡情報に前記音声情報を同期させて出力する、
    請求項２１に記載の手書き装置。
  23. 　前記受信した音声情報を出力する音声出力手段を、前記通信装置に、
    さらに備える、請求項１６～２２のいずれかに記載の音声・手書き通信システム。
  24. 　前記請求項1８または１９に記載の前記相手方通信装置からの音声情報を受信する音声受信手段を、前記通信装置に、
    さらに備える、請求項１６～２３のいずれかに記載の音声・手書き通信システム。
  25. 　前記請求項1８または１９に記載の前記相手方通信装置からの軌跡情報を受信する軌跡受信手段を、前記通信装置に、
    さらに備える、請求項１６～２４のいずれかに記載の音声・手書き通信システム。
  26. 　前記軌跡情報に対して、前記手書き装置でさらに描いた軌跡情報を、前記通信装置を経由して請求項1８または１９に記載の相手方通信装置に送信する、
    請求項１６～２５のいずれかに記載の音声・手書き通信システム。
  27. 　前記通信装置は、スマホまたはPCである、請求項１６～２６のいずれかに記載の音声・手書き通信システム。
  28. 　請求項1８または１９に記載の前記相手方通信装置は、スマホまたはPCである、請求項１６～２７のいずれかに記載の音声・手書き通信システム。
PCT/JP2016/070484 2015-07-10 2016-07-11 手書き装置および音声・手書き通信システム Ceased WO2017010469A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017528681A JP6973791B2 (ja) 2015-07-10 2016-07-11 手書き装置および手書き通信システム
JP2021175186A JP2022020703A (ja) 2015-07-10 2021-10-27 手書き装置および音声・手書き通信システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562190917P 2015-07-10 2015-07-10
US62/190,917 2015-07-10

Publications (1)

Publication Number Publication Date
WO2017010469A1 true WO2017010469A1 (ja) 2017-01-19

Family

ID=57757418

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/070484 Ceased WO2017010469A1 (ja) 2015-07-10 2016-07-11 手書き装置および音声・手書き通信システム

Country Status (2)

Country Link
JP (2) JP6973791B2 (ja)
WO (1) WO2017010469A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109426361A (zh) * 2017-09-05 2019-03-05 触信（厦门）智能科技有限公司 手写装置、智能设备及智能手写字条互信系统
JP2021509496A (ja) * 2017-12-28 2021-03-25 ネオラボ コンバージェンス インク 電子機器、電子機器を駆動する方法、及び、データ記録アプリケーションを制御する方法
CN112699977A (zh) * 2020-12-28 2021-04-23 贵州链云科技有限公司 一种轨道车辆手写记录智能采集系统及采集方法
CN113138681A (zh) * 2020-01-20 2021-07-20 株式会社和冠 传感器系统
CN113744580A (zh) * 2021-08-06 2021-12-03 廖文雄 点阵笔
WO2022034890A1 (ja) * 2020-08-08 2022-02-17 株式会社Ｉ・Ｐソリューションズ 手書き装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005173672A (ja) * 2003-12-08 2005-06-30 Laboratories Of Image Information Science & Technology 用紙、電子ペンおよびプログラム
JP2014529764A (ja) * 2011-12-29 2014-11-13 インテレクチュアル ディスカバリー カンパニー リミテッド ネットワーク上における添削指導サービス提供方法及びこれに用いられるウェブサーバ

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1959376B1 (en) * 2002-09-26 2016-04-06 Kenji Yoshida Information processing device, method, and program for reading a dot pattern
JP4385169B1 (ja) * 2008-11-25 2009-12-16 健治 吉田 手書き入出力システム、手書き入力シート、情報入力システム、情報入力補助シート
JP5888838B2 (ja) * 2010-04-13 2016-03-22 グリッドマーク株式会社 手書き入力ボードを用いた手書き入力システム、手書き入力ボード、スキャナーペンおよび手書き入力ボードを用いた情報処理システム
JP2012022418A (ja) * 2010-07-12 2012-02-02 Kenji Yoshida ストリームドットを用いた手書き入力シートおよび手書き入出力システム
JP2013016079A (ja) * 2011-07-05 2013-01-24 Dainippon Printing Co Ltd コンピュータ装置及びプログラム、並びにノート

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005173672A (ja) * 2003-12-08 2005-06-30 Laboratories Of Image Information Science & Technology 用紙、電子ペンおよびプログラム
JP2014529764A (ja) * 2011-12-29 2014-11-13 インテレクチュアル ディスカバリー カンパニー リミテッド ネットワーク上における添削指導サービス提供方法及びこれに用いられるウェブサーバ

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"iPhone Fan Henshubu, au iPhone 6/6 Plus Kanzen Guide", 20 October 2014 (2014-10-20), pages 050 - 051 *
"Muryo Cloud Service ga Marugoto Wakaru Hon", KABUSHIKI KAISHA SHIN'YUSHA, 1 October 2013 (2013-10-01), pages 15 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109426361A (zh) * 2017-09-05 2019-03-05 触信（厦门）智能科技有限公司 手写装置、智能设备及智能手写字条互信系统
JP2021509496A (ja) * 2017-12-28 2021-03-25 ネオラボ コンバージェンス インク 電子機器、電子機器を駆動する方法、及び、データ記録アプリケーションを制御する方法
JP7242674B2 (ja) 2017-12-28 2023-03-20 ネオラボ コンバージェンス インク 電子機器、電子機器を駆動する方法、及び、データ記録アプリケーションを制御する方法
US11853544B2 (en) 2017-12-28 2023-12-26 Neolab Convergence Inc. Electronic device, method for driving electronic device, and method for controlling data recording application
CN113138681A (zh) * 2020-01-20 2021-07-20 株式会社和冠 传感器系统
WO2022034890A1 (ja) * 2020-08-08 2022-02-17 株式会社Ｉ・Ｐソリューションズ 手書き装置
JPWO2022034890A1 (ja) * 2020-08-08 2022-02-17
CN112699977A (zh) * 2020-12-28 2021-04-23 贵州链云科技有限公司 一种轨道车辆手写记录智能采集系统及采集方法
CN113744580A (zh) * 2021-08-06 2021-12-03 廖文雄 点阵笔

Also Published As

Publication number Publication date
JP2022020703A (ja) 2022-02-01
JPWO2017010469A1 (ja) 2018-07-26
JP6973791B2 (ja) 2021-12-01

Similar Documents

Publication Publication Date Title
JP2022020703A (ja) 手書き装置および音声・手書き通信システム
US10733466B2 (en) Method and device for reproducing content
US8194081B2 (en) Animation of audio ink
US6249765B1 (en) System and method for extracting data from audio messages
US20160117142A1 (en) Multiple-user collaboration with a smart pen system
JP2014515512A (ja) ペンベースのコンピュータシステムにおけるコンテンツ選択
US20020079371A1 (en) Multi-moded scanning pen with feedback
WO2020192394A1 (zh) 笔记显示方法、装置、终端和存储介质
CN108108214A (zh) 一种操作引导方法、装置及移动终端
JPH06343146A (ja) 再生装置及び再生方法
US9195697B2 (en) Correlation of written notes to digital content
CN110096209A (zh) 书写轨迹显示方法及装置
EP2632156A2 (en) Method and apparatus for two way communication
CN112565844A (zh) 视频通信方法、装置和电子设备
EP2947583A1 (en) Method and device for reproducing content
EP4315759B1 (en) Systems and methods for managing digital notes for collaboration
Chaudhury et al. Handwriting based interface for communication
JPWO2013005282A1 (ja) 会議用端末装置、及び、会議システム
KR20120044963A (ko) 필기 데이터를 이용한 필기 메시지 재생 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16824449

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017528681

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16824449

Country of ref document: EP

Kind code of ref document: A1