BE1020233A3 - Systeme de suivi et de traitement de traits de stylo manuscrits sur un terminal mobile. - Google Patents

Systeme de suivi et de traitement de traits de stylo manuscrits sur un terminal mobile. Download PDF

Info

Publication number
BE1020233A3
BE1020233A3 BE2011/0638A BE201100638A BE1020233A3 BE 1020233 A3 BE1020233 A3 BE 1020233A3 BE 2011/0638 A BE2011/0638 A BE 2011/0638A BE 201100638 A BE201100638 A BE 201100638A BE 1020233 A3 BE1020233 A3 BE 1020233A3
Authority
BE
Belgium
Prior art keywords
pen
digital pen
mobile terminal
digital
features
Prior art date
Application number
BE2011/0638A
Other languages
English (en)
Inventor
Muelenaere Pierre De
Olivier Dupont
Patrick Verleysen
Michel Dauw
Original Assignee
Iris Sa
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iris Sa filed Critical Iris Sa
Priority to US13/462,122 priority Critical patent/US20120299881A1/en
Application granted granted Critical
Publication of BE1020233A3 publication Critical patent/BE1020233A3/fr

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00Two-dimensional [2D] image generation
    • G06T11/60Creating or editing images; Combining images with text
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of two-dimensional [2D] relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/171Editing, e.g. inserting or deleting by use of digital ink
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Character Discrimination (AREA)

Abstract

Système (12) de suivi et de traitement de traits de stylo manuscrits, le système comprenant un stylo numérique (1) pour permettre à un utilisateur d'exécuter des traits de stylo sur un substrat (2) et une station réceptrice (3) à utiliser en combinaison avec ledit stylo numérique (1) et apte à suivre lesdits traits de stylo et à transférer lesdits traits de stylo numérique qui consistent en données électroniques représentant lesdits traits de stylo suivis. Ladite station réceptrice (3) comprend un émetteur-récepteur sans fil apte à communiquer avec un terminal mobile (4) par l'intermédiaire d'une connexion sans fil (9) pour transférer lesdits traits de stylo numérique audit terminal mobile (4).

Description

Système de suivi et de traitement de traits de stylo manuscrits sur un terminal mobile
Domaine technique
La présente invention concerne un système de suivi et de traitement de traits de stylo manuscrits sur un terminal mobile.
Art antérieur
Des instruments d'écriture numériques (ou stylets), dénommés de manière interchangeable dans le présent document "stylos numériques" qu'ils écrivent ou non à l'encre, peuvent être utilisés pour saisir des traits de stylo et les numériser. Les systèmes d'écriture numériques comprenant un logiciel de reconnaissance de caractères peuvent être utilisés pour convertir des traits de stylo enregistrés en données de type image ou de type texte.
De manière typique, les stylos numériques fonctionnent avec un terminal hôte (tel qu'un ordinateur personnel) et lui envoient des données par l'intermédiaire d'une connexion câblée, et s’ajoutent à la saisie avec un clavier ou une souris. Cela peut se faire directement ou indirectement via une ou plusieurs stations de réception qui reçoivent un signal du stylo numérique. L'emplacement du stylo numérique est suivi par un mécanisme de suivi du terminal et les données d'emplacement peuvent être écrites dans la mémoire du terminal hôte.
Sur des terminaux mobiles ayant un écran tactile tels que les Smartphones, les PDA et les PC tablettes, il est possible de saisir des notes et croquis manuscrits en touchant l'écran avec un doigt ou avec un stylet. La saisie d'écriture manuscrite directement sur l'écran tactile présente plusieurs limitations: des problèmes ergonomiques, une très faible précision, un écran nettement plus petit qu'un bloc-notes de papier typique, etc.
De nombreux terminaux n'offrent pas la possibilité de recevoir des traits de stylo d'un stylo numérique car ils n'ont pas un port approprié pour la connexion câblée. Dans le cas de transfert de données USB, même si l'ordinateur mobile et le stylo numérique ont un port USB, ni l'un ni l'autre ne peuvent être configurés comme un hôte. De toute façon, l'utilisation d'une connexion câblée entre un terminal mobile et un dispositif externe est en général considérée comme une limitation majeure à sa facilité d'utilisation.
Divulgation de l'invention
Un but de l'invention est de fournir un système qui ne présente pas au moins un des inconvénients mentionnés ci-dessus.
Selon la présente invention, le but susmentionné est atteint avec un système de suivi et de traitement de traits de stylo manuscrits, comprenant: un stylo numérique pour permettre à un utilisateur d'exécuter des traits de stylo sur un substrat; une station réceptrice à utiliser en combinaison avec ledit stylo numérique et apte à suivre lesdits traits de stylo et à transférer lesdits traits de stylo numérique qui consistent en données électroniques représentant lesdits traits de stylo suivis, ladite station de réception comprenant un émetteur-récepteur sans fil apte à communiquer avec un terminal mobile par l'intermédiaire d'une connexion sans fil pour transférer lesdits traits de stylo numérique audit terminal mobile; et une application logicielle exécutable sur ledit terminal mobile et comprenant des fragments de code de logiciel pour recevoir et traiter lesdits traits de stylo numérique transférés.
Dans des formes de réalisation selon la présente invention, le traitement peut comprendre un ou plusieurs de ce qui suit: traitement d'images, reconnaissance de caractères, compression d'images et conversion de format de fichier en un format texte ou un quelconque format combinant image et texte, y compris les données traitées dans un courriel, stockage à des fins de traitement ultérieur ou autre. Le traitement ultérieur peut comprendre tout ce qui figure ci-dessus et peut être exécuté sur le terminal mobile (traitement intégré) ou en externe, en utilisant par exemple un modèle de livraison SaaS (Software as a Service - logiciel en tant que service).
Dans des formes de réalisation selon la présente invention, la connexion sans fil entre la station réceptrice et le terminal mobile peut être une connexion Bluetooth®, une connexion Wifi ou toute autre connexion sans fil. On utilise de préférence une connexion sans fil RF avec une largeur de bande garantie (ou débit de données) pour un transfert en douceur des traits de stylo.
Dans des formes de réalisation selon la présente invention, les traits de stylo numérique peuvent contenir des informations de position et une estampille temporelle afin que l'ordre des traits de stylo puisse être reconstruit.
Brève description des dessins L'invention sera expliquée de manière plus détaillée au moyen de la description suivante et des dessins annexés.
La figure 1 montre un système de suivi et de traitement de traits de stylo manuscrits selon l'invention.
La figure 2 montre un exemple de la combinaison d'une image en couleurs ou en nuances de gris avec les traits de stylo numérisés en une image combinée.
La figure 3 montre un exemple de la combinaison d'une image en couleurs ou en nuances de gris avec le texte correspondant aux traits de stylo convertis en une image combinée.
La figure 4 montre un exemple de la combinaison d'une image en couleurs ou en nuances de gris avec les traits de stylo et avec le texte correspondant aux traits de stylo convertis en une image combinée.
La figure 5 montre une forme de réalisation d'une station réceptrice à utiliser en combinaison avec un stylo numérique, et une façon de l'attacher à un substrat.
La figure 6 montre un exemple de la station réceptrice de la Fig. 5 attachée au haut d'une page.
La figure 7 montre un exemple de la station réceptrice de la Fig. 5 attachée au coin supérieur droit d'une page.
La figure 8 montre plusieurs formes de réalisation du traitement de traits de stylo selon la présente invention tel qu'il peut être mis en oeuvre sur le système de la Fig. 1.
Modes de mise en oeuvre de l'invention
La présente invention sera décrite en rapport avec des formes de réalisation particulières et en référence à certains dessins mais l'invention n'y est toutefois pas limitée, n'étant limitée que par les revendications.
Les dessins décrits ne sont que schématiques et sont non limitatifs. Dans les dessins, la taille de certains éléments peut être exagérée et non dessinée à l'échelle à des fins illustratives. Les dimensions et les dimensions relatives ne correspondent pas nécessairement aux réalisations fonctionnelles (réductions to practice) effectives de l'invention.
En outre, les termes premier, deuxième, troisième et similaire dans la description et dans les revendications sont utilisés pour faire la distinction entre éléments similaires et pas nécessairement pour décrire un ordre séquentiel ou chronologique. Les termes sont interchangeables dans les circonstances appropriées et les formes de réalisation de l'invention peuvent fonctionner dans d'autres séquences que celles décrites ou illustrées dans le présent document.
De plus, les termes haut, bas, au-dessus, en dessous et similaire dans la description et les revendications sont utilisés à des fins descriptives et pas nécessairement pour décrire des positions relatives. Les termes ainsi utilisés sont interchangeables dans les circonstances appropriées et les formes de réalisation décrites dans le présent document peuvent fonctionner dans d'autres orientations que celles décrites ou illustrées dans le présent document.
Le terme "comprenant", utilisé dans les revendications, ne doit pas être interprété comme étant limité aux moyens énumérés ci-dessous; il n'exclut pas d'autres éléments ou étapes. Il doit être interprété comme spécifiant la présence des éléments, nombres entiers, étapes ou composants cités auxquels il est fait référence mais n'exclut pas la présence ou l'ajout d'un ou plusieurs autres éléments, nombres entiers, étapes ou composants ou groupes de ceux-ci. Donc, la portée de l'expression "un dispositif comprenant les moyens A et B" ne doit pas être limitée à des dispositifs constitués uniquement des composants A et B. Il signifie en ce qui concerne l'invention que les seuls composants pertinents du dispositif sont A et B.
La Fig. 1 montre un système 12 de suivi et de traitement des traits de stylo manuscrits 13 sur un terminal mobile 4, comme par exemple un ordinateur portable, un netbook®, un ipad®, un PC tablette, un PDA ou autres dispositifs mobiles appropriés. Les traits de stylo peuvent être écrits par un instrument d'écriture 1 tenu à la main, comme par exemple un stylet, dénommé également dans le présent document "stylo numérique" 1. Le stylo numérique 1 peut écrire à l'encre sur un substrat 2, de préférence une surface d'écriture marquable comme par exemple du papier, pour créer également une copie à l'encre (également appelée "copie papier") de l'écriture ou du dessin que l'utilisateur a effectué. Le papier peut par exemple être du papier blanc avec ou sans lignes pré-imprimées ou un carré de grilles rectangulaires. D'autres types de substrats peuvent aussi être utilisés, par exemple du papier de couleur, du papier imprimé, du papier publié, un formulaire imprimé à remplir mais aussi par exemple un journal. .
Le terminal mobile 4 est connecté sans fil à la station réceptrice 3 qui est utilisée en combinaison avec le stylo numérique 1 et dispose de fragments de code de logiciel pour saisir et enregistrer les traits de stylo qui sont écrits par l'utilisateur sur le substrat 2 et peut afficher l'image graphique 10 qui en résulte sur un affichage 5. L'affichage est de préférence intégré dans le terminal mobile 4, par exemple l'écran LCD d'un ipad mais peut aussi être un dispositif externe. L'écran 5 peut être ou non un écran tactile. La résolution de l'écran 5 n’est pas liée à la résolution (ou précision) des traits de stylo saisis. Cela signifie que les traits de stylo manuscrits peuvent être saisis de manière nettement plus détaillée avec une précision nettement plus élevée que ce qui est possible en utilisant l'écran tactile comme dispositif d'entrée.
Dans une forme de réalisation du système 12, le terminal mobile 4 est pourvu d'un logiciel d'application permettant de compresser l'image graphique 10 reconstruite pour archiver (par exemple sur un disque dur ou une carte flash ou une autre mémoire ou un lecteur de réseau externe, etc.) ou pour partager l'image 10, par exemple en l'envoyant sur un réseau 6, par exemple par courriel.
Dans une forme de réalisation du système 12, le logiciel d'application utilise des techniques de reconnaissance (optique) de caractères afin de faire correspondre les données numériques de type texte 11 aux notes manuscrites 13. Les données numériques de type texte 11 peuvent être représentées par exemple comme des codes de caractères ASCII (sans aucune information de formatage telle que couleur, type de police, taille de police, etc.) qui peuvent être sauvegardées comme fichier contenant exclusivement du texte ("text only"). En variante, les données numériques de type texte 11 peuvent aussi comprendre des données de formatage comme, par exemple, couleur ou taille de police ou type de police, et peuvent, par exemple, être sauvegardées comme un document contenant du texte enrichi (rich text) par exemple un "fichier RFT") ou comme un document Msword® de Microsoft® ou comme d'autres formats de document, par exemple WordPerfect®, MsWorks®, ou autre. Mais les données numériques de type texte 11 peuvent aussi être représentées comme des caractères unicodes, ce qui permet également à l'écriture 13 de langues telles que le chinois ou le japonais d'être ultérieurement traitée.
Le logiciel de reconnaissance de caractères qui est utilisé peut convertir les données graphiques (comme, par exemple, une image binaire (bitmap) 10 avec une représentation graphique des notes manuscrites 13) en données de type texte 11 avec information de position et ne pas garder les dessins joints (données graphiques 10). Ces derniers peuvent toutefois contenir des informations importantes que le scripteur a mises sous forme de croquis. Étant donné que le logiciel de reconnaissance de caractères peut faire des erreurs de conversion (par exemple une confusion de caractères), l'image numérique 10 des notes manuscrites 13 peut être nécessaire afin de garder une référence correcte. Donc, on préfère utiliser un logiciel de reconnaissance de caractères qui garde ensemble tant le texte converti 11 que l’image (graphique) 10 des notes manuscrites pour l'archivage ou pour l’envoi par courriel 18.
Dans une forme de réalisation du système, illustrée^sur la Fig. 4, l'image 10 des traits de stylo 13 est combinée avec le texte 11 résultant de l'application logicielle de reconnaissance de caractères, dans une image combinée 15 qui garde l’image graphique 10, le texte 11 et les coordonnées des éléments de texte. La combinaison peut être une simple superposition (texte ou traits de stylo sur l'image) ou une superposition semi-transparente ou avoir lieu par d'autres techniques de combinaison comme, par exemple, inversion de couleurs. Par exemple, les formats PDF et XPS sont prévus pour inclure des images, du texte et des coordonnées d’éléments de texte et des applications logicielles de visionnage correspondants (par exemple Acrobat® reader d'Adobe®) peuvent être utilisées pour afficher l'image 15 et faire une recherche dans le texte 11. Quand la chaîne de caractères à rechercher est trouvée, la partie d'image graphique correspondante est récupérée et affichée sur l'écran (par exemple par défilement automatique du document), la partie d'image correspondant à la chaîne de caractères recherchée pouvant être affichée de manière différente, par exemple en la mettant en surbrillance. Ce procédé a besoin d'une application logicielle de reconnaissance de caractères qui produit les coordonnées des éléments de texte (caractères ou mots) en plus du texte reconnu.
Dans une forme de réalisation du système, l'image 10 des notes manuscrites 13 est combinée avec d'autres images 7 comme, par exemple, l'image en arrière-plan d'un formulaire à remplir, ou une illustration (par exemple une photographie) ou une capture d'écran ou une image numérisée ou toute autre image. Un exemple est présenté sur la Fig. 2. À titre d'exemple, le stylo numérique 1 peut être utilisé pour remplir un formulaire papier, l'image en arrière-plan 7 du formulaire et l'image 10 des notes manuscrites 13 sont combinées et sauvegardées ensemble comme un fichier unique, afin de garder la correspondance entre les deux images. L'image en arrière-plan 7 du formulaire peut provenir d'un fichier préalablement sauvegardé dans le terminal mobile 4, qui peut être rappelé et imprimé chaque fois qu'il doit être rempli. En option, une photographie numérique de la personne qui remplit le formulaire peut aussi être ajoutée à la combinaison d'images. Cette photographique peut, par exemple, être préalablement mise en mémoire, ou peut, par exemple, être prise par un appareil de prise de vue du terminal mobile 4, par exemple un appareil de prise de vue fixe ou une caméra vidéo tel qu'une cyber caméra (web-cam). L'image 15 résultant de la combinaison de l'image bitonale 10 des traits de stylo avec une ou plusieurs autres images 7 est une image en couleurs ou nuances de gris (par exemple, l'arrière-plan du formulaire) avec texte ajouté (par exemple texte manuscrit comme montré sur la Fig. 2 ou texte converti reconstruit comme montré sur la Fig. 3). On sait que des illustrations en couleurs ou en nuances de gris, par exemple des photos numériques, peuvent être compressées en utilisant un algorithme de compression comme, par exemple, JPEG ou JPEG2000, qui peut offrir un taux de compression relativement élevé (par exemple 5 fois ou 10 fois ou plus) tout en gardant une qualité raisonnable pour la plupart des images naturelles. Cela n'est toutefois pas le cas pour des notes manuscrites 13. Afin de garder une bonne lisibilité des notes manuscrites 13 et du texte 10 du formulaire (ou d'autres détails de l'image en couleurs ou en nuances de gris), l’image ne peut pas être compressée à un taux de compression élevé, parce que les procédés mentionnés ci-dessus (jpeg, jpeg2000, etc.) sont principalement adaptés pour compresser des images en tons continus comme les photos numériques, et produisent typiquement des artefacts hautement visibles quand ils sont utilisés sur des images très détaillées comme des caractères. Cela peut constituer un problème du fait que les terminaux mobiles 4 ont en général une mémoire de stockage limitée. Par exemple, un ipadl® ou ipad2® n'a typiquement que 16, 32 ou 64 gigaoctets de capacité de stockage, cet espace n'étant pas uniquement utilisé pour stocker des données mais étant également utilisé pour stocker le système d'exploitation, les pilotes et le logiciel d’application. Des grands fichiers (par exemple supérieurs à 6 mégaoctets) peuvent également poser des problèmes lors de l'envoi de courriels, non seulement parce que la plupart des systèmes de courrier électronique ne permettent d’annexer que des fichiers ne dépassant pas une taille limite (par exemple 10 mégaoctets) mais aussi à cause du temps requis pour les transmettre.
Par conséquent, dans une forme de réalisation du système de la présente invention, le code du logiciel de base comprend aussi des fragments de code pour compresser l'image 15 résultant de la combinaison de l'image graphique 10 des traits de stylo reconstruits et des autres images 7 en utilisant un procédé de compression élevée qui segmente l'image 15 en données bitonales (traits de stylo, texte, graphiques) et données de couleurs (texte et couleurs graphiques, couleurs de fond, illustrations) et compresse ces données y séparément avec un procédé de compression adapté au type de données. Le procédé de compression élevée pourrait suivre le modèle MRC (Mixed Raster Content - contenu de trame graphique mixte), objet de la recommandation T.44 de l'ITU-T.
Les Fig. 5 - 7 montrent des exemples d'un stylo numérique 1 et d'une station réceptrice correspondante 3 pour suivre et enregistrer les mouvements de la pointe du stylo. Des formes de réalisation de la station réceptrice 3 utilisée dans le système 12 selon la présente invention peuvent être un dispositif d'enregistrement 3 à attacher que l'on attache sur le substrat 2. La Fig. 6 montre un exemple où la station réceptrice 3 est attachée au haut d'un papier. La Fig. 7 montre un exemple où la station réceptrice 3 est attachée au coin supérieur droit d'un papier 2 mais d'autres endroits peuvent également être utilisés pour positionner la station réceptrice 3. Le stylo numérique 1 et la station réceptrice 3 peuvent fonctionner selon un mécanisme de suivi de stylo ultrasonique comme décrit dans le brevet US n° 7,839,394, "Electronic pen device" de Pegasus Technologies Ltd qui est incorporé ici par référence dans son entièreté. En variante, le mécanisme de suivi de stylo peut aussi être un autre mécanisme connu de la personne de métier tel que, par exemple, suivi par laser infrarouge ou suivi électronique. Au lieu d'un stylo indépendant 1, une tablette tactile avec un stylo correspondant peuvent être utilisés dans le système de la présente invention.
La station réceptrice 3 peut être un dispositif à piles pourvu d'une mémoire interne, (par exemple une mémoire volatile telle qu'une mémoire DRAM ou une mémoire rémanente telle qu'une mémoire flash), capable de travailler en mode autonome (par exemple sans être connecté au terminal mobile 4) pour sauvegarder temporairement des traits de stylo suivis 13. Les traits de stylo sont enregistrés dans la mémoire de la station réceptrice 3. Les traits de stylo peuvent être téléchargés plus tard sur le terminai mobile 4, sauvegardés ou envoyés par courriel comme des fichiers ordinaires. Ce système 12 permet la composition manuscrite de courriels. Selon l'invention, les traits de stylo sont importés dans le terminal mobile 4 en utilisant la liaison sans fil 9. À cette fin, les fragments de code de logiciel du terminal mobile 4 incorporent la pile de protocole de la technologie de liaison sans fil utilisée.
Un protocole de communication sans fil de courte portée particulièrement intéressant est largement connu sous la dénomination Bluetooth®. La technologie Bluetooth, connue aussi en tant que IEEE 802.15.1, opère dans la bande industrielle, scientifique et médicale (ISM) exempte de licence de 2,4 GHz et utilise une technique à large spectre pour réduire les interférences au minimum. La spécification principale (core spécification V2.0+EDR, publiée le 4 novembre 2004) pour Bluetooth est disponible à l'adresse http://bluetooth.com. Le contenu de cette spécification principale est incorporé ici par référence dans son entièreté. Un autre protocole de communication sans fil intéressant est Wifi, également connu en tant que IEEE 802.11 a/b/g/n. Le terminal mobile 4 a de préférence un émetteur-récepteur RF intégré.
La station réceptrice et le terminal mobile peuvent communiquer en utilisant le protocole Bluetooth mis en oeuvre d'un côté ou de l'autre par la pile de protocole qui gère l'interface radio et traite les données de haut niveau.
La station réceptrice peut comprendre une radio qui est agencée pour communiquer avec le terminal mobile, de manière appropriée via le protocole sans fil Bluetooth. La radio est connectée à un microprocesseur agencé pour contrôler la transmission de signaux entre la station réceptrice et le terminal mobile.
La station réceptrice peut comprendre un dispositif au silicium contenant la radio Bluetooth et un microprocesseur qui met en oeuvre la pile de protocole.
Les terminaux mobiles qui supportent Bluetooth comprennent un dispositif radio et une pile de protocole. Leur pile de protocole est mise en oeuvre dans le cadre de leur système d'exploitation et offre une API (« Application Programming Interface » - interface de programmation d'un logiciel) au logiciel d'application. Le logiciel d’application utilise l'interface API pour vérifier ou demander que Bluetooth soit activé par l'utilisateur, configure Bluetooth, trouve le dispositif stylo numérique, connecte le dispositif stylo numérique et gère la connexion.
Quand les données de traits de stylo enregistrées sont téléchargées, la liaison sans fil 9 est de préférence configurée de telle manière que les données soient transférées à la vitesse la plus élevée dans le laps de temps de plus court possible tout en garantissant une transmission fiable.
La station réceptrice 3 peut aussi, de préférence, être configurée dans un mode connecté, ou dans certaines formes de réalisation, ne peut avoir que le mode connecté (c'est-à-dire connecté au terminal mobile 4). Dans ce mode, les traits de stylo sont continuellement suivis et transférés dès que possible au terminal mobile 4 via la liaison sans fil 9. Dans ce mode, la liaison sans fil 9 est de préférence configurée de telle manière que le retard entre le stylo et le terminal mobile 4 soit réduit au minimum. En variante, la liaison sans fil 9 peut aussi être configurée dans un mode de faible consommation, pour économiser la durée de vie de la batterie du terminal mobile et / ou la durée de vie de la batterie de la station réceptrice 3.
Dans une forme de réalisation, le stylo 1 peut, par exemple, être configuré comme un dispositif d'écriture, un capteur de force ou de pression intégré dans la pointe du stylo étant utilisé pour détecter quand la pointe du stylo est effectivement utilisée pour écrire (lesquels traits de stylo 13 sont alors enregistrés). En option, le stylo 1 peut aussi être configuré pour être utilisé comme un dispositif de pointage tel qu'une souris par lequel tous les mouvements du stylo sont transférés vers le terminal mobile 4 en temps réel. En option, le stylo 1 peut aussi avoir un bouton poussoir pour simuler un clic de souris.
Dans une forme de réalisation, la station réceptrice 3 stocke dans la mémoire une séquence de positions numérisées de traits de stylo manuscrits 13 et les regroupe comme "pages virtuelles" correspondant aux papiers physiques sur lesquels on écrit. La station réceptrice 3 a, de préférence, des moyens pour changer la "page virtuelle", par exemple en utilisant un bouton poussoir, de sorte que quand le bouton est poussé, une nouvelle page virtuelle est commencée. La station réceptrice 3 peut comprendre suffisamment de mémoire pour stocker, par exemple, 50 ou 100 pages virtuelles ou plus, ce qui peut être idéal pour des étudiants prenant des notes en classe tout en ayant la capacité de les éditer plus tard.
La Fig. 8 illustre certains exemples de fragments de code de logiciel stockés sur le terminal mobile 4 du système 12 selon la présente invention, Dans le fragment de code de logiciel 101, le terminal mobile 4 reçoit des traits de stylo numériques 13 comme données numériques. Dans le fragment de code de logiciel 102, ces données numériques sont converties en une image graphique 10. Dans le fragment de code de logiciel optionnel 103, ce fichier image 10 (par exemple une image bitonale) peut être affiché sur l'écran 5 du terminal mobile 4, il peut être édité, copié, etc., et / ou sauvegardé comme un fichier image graphique 10. Le système 12 comprend aussi, de préférence, des fragments de code de logiciel 104 pour convertir l'image graphique 10 comprenant la représentation numérique des traits de stylo 13 en un texte, par exemple texte ASCII ou texte Unicode comme décrit ci-dessus, en effectuant une reconnaissance de caractères. En option, le système peut aussi comprendre des fragments de code de logiciel 105 pour éditer, vérifier l'orthographe et/ou sauvegarder le fichier texte résultant, par exemple en texte pur (format de fichier TXT) ou en texte enrichi (format de fichier RTF) ou d'autres formats souhaités. Il est à noter qu'une recherche peut être effectuée dans ces fichiers texte, c'est-à- dire qu'une chaîne de caractères donnée peut être trouvée facilement et de manière fiable dans un tel fichier texte. En option, les fragments de code de logiciel 105 comprennent également des fragments pour traduire le texte numérique 11 en une autre langue (par exemple, le scripteur peut écrire des notes sur la page 2 en langue néerlandaise et le texte numérique peut être traduit en anglais par un système de traduction automatique). À titre d'exemple non limitatif, le module logiciel 105 peut utiliser "google translate" (librement disponible au moment où on écrit à l'URL: "http://www.google.be/language_tools?hl=nl"). En option, le système de la présente invention comprend également des fragments de code de logiciel 108 pour convertir le texte numérique 11 (ou le texte numérique traduit) en voix synthétique en utilisant un convertisseur de texte en voix. Ces convertisseurs peuvent utiliser des modules disponibles dans le commerce auprès de plusieurs fournisseurs de logiciels (par exemple Nuance Communications®). La voix résultante peut être stockée dans un fichier vocal 19, par exemple dans un format WAV ou MP3, ou dans tout autre format approprié. Le système comprend de préférence aussi des fragments de code de logiciel 106 pour combiner l'information des traits de stylo et/ou l'information de texte numérique correspondante avec d'autres images d'arrière-plan en nuances de gris ou en couleurs 7, comme décrit ci-dessus. Le fichier combiné 15 est de préférence compressé de telle manière que les traits de stylo numérisés 13 soient gardés à leur résolution enregistrée la plus élevée, tandis que le reste de l'image (appartenant principalement à l’image d'arrière-plan 7) peut être compressée à un taux plus élevé. À cette fin, le système de la présente invention comprend de préférence des fragments de code de logiciel 107 pour compresser un tel fichier combiné. Un algorithme d'hyper-compression est de préférence utilisé. Des exemples d'un tel procédé de compression élevée sont divulgués, par exemple, dans les demandes de brevet des États-Unis US 5778092 (A) et US 2008273807 (A1) qui sont toutes les deux incorporées ici par référence dans leur entièreté. Les deux algorithmes utilisent un plan d'avant-plan de faible résolution et un plan d'arrière-plan de faible résolution et un plan binaire de haute résolution afin d'obtenir la compression requise ainsi qu'une résolution élevée pour le texte 11 ou les traits de stylo numérisés. Le système 12 de la présente invention comprend de préférence aussi des fragments de code de logiciel 109 pour envoyer une quelconque combinaison du fichier image 10, du fichier texte 20, du fichier vocal 19 ou du fichier combiné compressé 17 par l'intermédiaire d'un courriel.
Le terminal mobile 4 peut fonctionner avec un système d'exploitation Microsoft® Windows® standard de Microsoft® tel que Windows XP®, ou Windows 7® de Microsoft®, mais d’autres systèmes d'exploitation peuvent aussi être utilisés comme, par exemple, iOS, Android, Blackberry OS, Windows Phone 7, webOS de HP, ou autre.
Les fragments de code d'application logicielle mentionnés ci-dessus peuvent être des programmes indépendants ou peuvent être incorporés ou intégrés dans des logiciels pilotes ou peuvent être fournis comme plugiciels pour coopérer avec des applications logicielles existantes comme, par exemple, Powerpoint® qui fait partie d'0ffice2007® de Microsoft®, ou Evernote® de Evernote Corporation mais peuvent aussi être fournis d'autres façons connues de la personne de métier.

Claims (12)

1. Système (12) de suivi et de traitement de traits de stylo manuscrits, le système comprenant un stylo numérique (1) pour permettre à un utilisateur d’exécuter des traits de stylo sur un substrat (2) et une station réceptrice (3) à utiliser en combinaison avec ledit stylo numérique (1) et apte à suivre lesdits traits de stylo et à transférer lesdits traits de stylo numérique qui consistent en données électroniques représentant lesdits traits de stylo suivis, caractérisé en ce que ladite station réceptrice (3) comprend un émetteur-récepteur sans fil apte à communiquer avec un terminal mobile (4) par l’intermédiaire d’une connexion sans fil (9) pour transférer lesdits traits de stylo n numérique audit terminal mobile (4) ; et et en ce que le système comprend en outre une application logicielle exécutable sur ledit terminal mobile (4) et comprenant des fragments de code de logiciel pour recevoir lesdits traits de stylo numérique transférés par l'intermédiaire de ladite connexion sans fil (9) et pour traiter lesdits traits de stylo numérique transférés.
2. Système (12) selon la revendication 1, dans lequel lesdits traits de stylo numérique comprennent des informations de position et une estampille temporelle afin que l’ordre des traits de stylo puisse être reconstruit.
3. Système (12) selon la revendication 1 ou 2, dans lequel la connexion sans fil entre la station réceptrice et le terminal mobile est une connexion sans fil RF avec une largeur de bande ou un débit de données garanti.
4. Système (12) selon l’une quelconque des revendications précédentes, dans lequel la connexion sans fil entre la station réceptrice et le terminal mobile est une des connexions suivantes : connexion Bluetooth® ou connexion Wifi.
5. Système (12) selon l’une quelconque des revendications précédentes, dans lequel l’application logicielle comprend des fragments de code de logiciel pour détecter parmi lesdits traits de stylo numérique ceux qui représentent des caractères manuscrits.
6. Système (12) selon la revendication 5, dans lequel ladite application logicielle comprend des fragments de code de logiciel pour effectuer une reconnaissance d’écriture manuscrite en vue de convertir les traits de stylo numérique qui représentent des caractères manuscrits en caractères numériques.
7. Système (12) selon l’une quelconque des revendications précédentes, dans lequel l'application logicielle comprend des fragments de code de logiciel pour transformer lesdits traits de stylo numérique en images graphiques qui peuvent être affichées sur un affichage (5) dudit terminal mobile (4) et qui représentent graphiquement les traits de stylo exécutés de l’utilisateur.
8. Système (12) selon l’une quelconque des revendications précédentes, dans lequel l’application logicielle comprend des fragments de code de logiciel pour convertir une image graphique contenant une combinaison d’une pluralité desdits traits (7) de stylo numérique et d’autres images en couleur en un document hyper compressé (16) dans lequel différents éléments de l’image graphique (10) sont compressés avec des algorithmes de compression différents optimisés pour les éléments respectifs.
9. Système (12) selon la revendication 8, dans lequel lesdits fragments de code de logiciel pour ladite conversion sont en outre prévus pour générer un fichier dans lequel une recherche électronique peut être effectuée et contenant le document hyper compressé et du texte reconnu en partant de ladite pluralité de traits de stylo numérique.
10. Système (12) selon l’une quelconque des revendications précédentes, dans lequel l’application logicielle comprend des fragments de code de logiciel pour intégrer une image ou un texte généré à partir desdits traits (7) de stylo numérique dans un courrier électronique (18).
11. Système (12) selon l’une quelconque des revendications précédentes, dans lequel l’application logicielle comprend des fragments de code de logiciel pour stocker temporairement les traits de stylo numérique ou les données électroniques générées à partir de ceux-ci pour traitement ultérieur à un stade ultérieur.
12. Système (12) selon la revendication 11, dans lequel le système comprend en outre un dispositif de traitement externe apte à communiquer avec ladite application logicielle sur ledit terminal mobile et à exécuter ledit traitement ultérieur sur lesdits traits de stylo numérique temporairement stockés ou les données électroniques générées à partir de ceux-ci.
BE2011/0638A 2011-05-27 2011-10-31 Systeme de suivi et de traitement de traits de stylo manuscrits sur un terminal mobile. BE1020233A3 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/462,122 US20120299881A1 (en) 2011-05-27 2012-05-02 System for tracking and processing handwritten pen strokes on mobile terminal

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201113490675A 2011-05-27 2011-05-27
US201113490675 2011-05-27

Publications (1)

Publication Number Publication Date
BE1020233A3 true BE1020233A3 (fr) 2013-06-04

Family

ID=45531689

Family Applications (1)

Application Number Title Priority Date Filing Date
BE2011/0638A BE1020233A3 (fr) 2011-05-27 2011-10-31 Systeme de suivi et de traitement de traits de stylo manuscrits sur un terminal mobile.

Country Status (1)

Country Link
BE (1) BE1020233A3 (fr)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008054160A1 (fr) * 2006-11-01 2008-05-08 Yong-Jik Lee Système de messagerie pour transmettre des messages instantanés manuscrits par un système de réseau câblé et/ou hertzien, et procédé correspondant

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008054160A1 (fr) * 2006-11-01 2008-05-08 Yong-Jik Lee Système de messagerie pour transmettre des messages instantanés manuscrits par un système de réseau câblé et/ou hertzien, et procédé correspondant

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BOTTOU L ET AL: "HIGH QUALITY DOCUMENT IMAGE COMPRESSION WITH DJVU", JOURNAL OF ELECTRONIC IMAGING, SPIE / IS & T, vol. 7, no. 3, 1 July 1998 (1998-07-01), pages 410 - 425, XP000771751, ISSN: 1017-9909, DOI: 10.1117/1.482609 *

Similar Documents

Publication Publication Date Title
US20120299881A1 (en) System for tracking and processing handwritten pen strokes on mobile terminal
JP5846130B2 (ja) 位置バー及びブックマーク機能
EP3291100B1 (fr) Procédé et système destinés aux zones d'entrée des documents pour des dispositifs d'écriture manuscrite
JP5884741B2 (ja) コンテキストに基づいた、文書への捕捉画像の自動アタッチメント
US10778928B2 (en) Device and method for inputting note information into image of photographed object
US8244074B2 (en) Electronic acquisition of a hand formed expression and a context of the expression
KR101955732B1 (ko) 캡처된 이미지 데이터를 스프레드시트와 연관시키는 방법
US11550993B2 (en) Ink experience for images
US20120287070A1 (en) Method and apparatus for notification of input environment
MXPA05000422A (es) Dispositivo de computo universal.
US20220050975A1 (en) Content Translation Method and Terminal
US20120026081A1 (en) System and method for using paper as an interface to computer applications
US20080229186A1 (en) Persisting digital ink annotations as image metadata
US20140145974A1 (en) Image processing apparatus, image processing method and storage medium
CN111736731A (zh) 一种手写笔迹获取方法及系统
KR20080114389A (ko) 블루투스 통신을 이용하여 단말 장치로부터의 소정 포맷의데이터를 인쇄하는 방법 및 장치, 템플릿 데이터저장 방법
JP2017211936A (ja) 文書保存処理システム
BE1020233A3 (fr) Systeme de suivi et de traitement de traits de stylo manuscrits sur un terminal mobile.
KR20130080745A (ko) 스마트폰의 카메라 모듈과 원격지 서버의 ocr 엔진을 이용한 전자문서 생성 방법 및 이를 위한 단말장치
WO2004038603A1 (fr) Dispositif et installation perfectionnes de traitement de donnees manuscrites pour une sauvegarde electronique certifiee avec liens
CN112464629B (zh) 表单填写方法及装置
JP2012194837A (ja) 画像処理装置、方法、プログラムおよび記録媒体
US20090282330A1 (en) Inputting data on a portable computing device
JP2009105897A (ja) データ管理装置、データ管理方法
US20080282138A1 (en) Methods and systems for multimedia object association to digital paper spatial diagrams