FR3143809A1 - Système et procédé d’acquisition d’une pluralité d’images et système et procédé d’identification associé - Google Patents

Système et procédé d’acquisition d’une pluralité d’images et système et procédé d’identification associé Download PDF

Info

Publication number
FR3143809A1
FR3143809A1 FR2213991A FR2213991A FR3143809A1 FR 3143809 A1 FR3143809 A1 FR 3143809A1 FR 2213991 A FR2213991 A FR 2213991A FR 2213991 A FR2213991 A FR 2213991A FR 3143809 A1 FR3143809 A1 FR 3143809A1
Authority
FR
France
Prior art keywords
acquisition
image
optical axis
images
zone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR2213991A
Other languages
English (en)
Other versions
FR3143809B1 (fr
Inventor
Carlos Alberto FRAGA PIMENTEL FILHO
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Trayvisor
Original Assignee
Trayvisor
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Trayvisor filed Critical Trayvisor
Priority to FR2213991A priority Critical patent/FR3143809B1/fr
Publication of FR3143809A1 publication Critical patent/FR3143809A1/fr
Application granted granted Critical
Publication of FR3143809B1 publication Critical patent/FR3143809B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/18—Payment architectures involving self-service terminals [SST], vending machines, kiosks or multimedia terminals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/202—Interconnection or interaction of plural electronic cash registers [ECR] or to host computer, e.g. network details, transfer of information from host to ECR or from ECR to ECR
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Accounting & Taxation (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

L’invention concerne un système (10) d’acquisition d’images d’un produit alimentaire (5, 6) disposé dans une zone d’acquisition (1), le système d’acquisition comprenant : - une caméra (12) configurée pour acquérir une image couleur, la caméra présentant un premier axe optique, - un détecteur thermique (14) configuré pour acquérir une image thermique, le détecteur thermique présentant un deuxième axe optique, - un capteur de profondeur tridimensionnelle (16) configuré pour acquérir une image du relief, le capteur de profondeur tridimensionnelle présentant un troisième axe optique, - une unité de traitement (15) configurée pour recevoir chaque image et pour générer trois images finales, le détecteur thermique étant positionné entre la caméra et le capteur de profondeur tridimensionnelle, le premier axe optique, le deuxième axe optique et le troisième axe optique étant parallèles entre eux, le premier axe optique et le troisième axe optique étant espacés d’une distance comprise entre 5 et 20 centimètres. Figure pour l’abrégé : Fig. 2

Description

Système et procédé d’acquisition d’une pluralité d’images et système et procédé d’identification associé Domaine technique de l'invention
La présente invention concerne de manière générale le domaine de l’identification de produits, notamment de produits alimentaires.
Elle trouve une application particulièrement avantageuse dans le domaine de la restauration collective, pour identifier des produits positionnés sur un plateau, en particulier en vue de leur facturation automatique. Elle trouve également une application privilégiée dans l’estimation des caractéristiques nutritionnelles et caloriques des aliments positionnés sur un plateau. Elle trouve enfin une application avantageuse dans le cadre de la quantification du gaspillage alimentaire.
Elle concerne plus particulièrement un système d’acquisition d’images d’un produit alimentaire disposé sur une zone d’acquisition.
 Etat de la technique
Afin d’accélérer les flux de personnes dans les établissements de restauration collective, il est actuellement recherché de procéder à des encaissements plus rapides.
Il est notamment connu du document FR3069685 une installation visant à augmenter la rapidité des encaissements pour faciliter et fluidifier la circulation des personnes dans la zone de distribution des produits.
D’après ce document, cette installation comprend un poste d’acquisition muni d’au moins une caméra orientée vers une surface de pose d’un plateau comprenant les différents produits sélectionnés par un utilisateur. Selon ce document, le poste d’acquisition comprend trois caméras permettant d’acquérir des images des produits présents sur le plateau selon des angles différents. Les images acquises sont ensuite traitées pour identifier de manière automatique les différents produits positionnés sur le plateau et ensuite émettre le ticket d’encaissement correspondant.
Une telle installation permet effectivement d’automatiser l’émission d’un ticket et donc de réduire l’intervention humaine pour générer le ticket d’encaissement. Cependant, l’identification de produits par l’intermédiaire de cette installation présente une fiabilité limitée, notamment par exemple lorsqu’un produit est partiellement ou totalement caché par une assiette ou une serviette en papier ou lorsqu’il s’agit d’identifier des produits différents, de prix et valeurs nutritionnelles différents, mais de couleurs, de contenants ou d’autres aspects visuels identiques.
 Présentation de l'invention
La présente invention propose d’améliorer l’identification automatique de produits alimentaires positionnés sur un plateau notamment lorsque ceux-ci sont susceptibles d’être partiellement dissimulés par un autre produit ou une serviette ou dans le cas de produits alimentaires présentant des températures différentes.
A cet effet, l’invention concerne un système d’acquisition d’une pluralité d’images d’au moins un produit alimentaire disposé dans une zone d’acquisition. Selon l’invention, le système d’acquisition comprend :
- une caméra configurée pour acquérir au moins une image couleur de la zone d’acquisition, la caméra présentant un premier axe optique,
- un détecteur thermique configuré pour acquérir au moins une image thermique de la zone d’acquisition, le détecteur thermique présentant un deuxième axe optique,
- un capteur de profondeur tridimensionnelle configuré pour acquérir au moins une image du relief de la zone d’acquisition, le capteur de profondeur tridimensionnelle présentant un troisième axe optique, et
- une unité de traitement configurée pour recevoir chaque image et pour générer trois images finales de la zone d’acquisition,
le détecteur thermique étant positionné entre la caméra et le capteur de profondeur tridimensionnelle,
les premier, deuxième et troisième axes optiques étant parallèles entre eux,
le premier axe optique et le troisième axe optique étant espacés d’une distance comprise entre 5 et 20 centimètres.
L’invention permet ainsi l’acquisition de différents types d’images de la zone d’acquisition et donc du produit alimentaire. En particulier, les images acquises ne se limitent pas seulement à une acquisition d’images en couleur de la zone d’acquisition mais également à une acquisition de données thermiques et de données de profondeur. Cela permet alors de caractériser de manière plus précise le produit alimentaire, en disposant de caractéristiques visuelles du produit alimentaire mais également d’autres caractéristiques physiques telles que sa température, ses dimensions et son volume.
De plus, l’agencement relatif des différents éléments du système d’acquisition permet de s’assurer de la qualité des images, en évitant notamment que la représentation de la zone d’acquisition sur les différentes images soit tronquée.
Les images obtenues sont donc particulièrement avantageuses pour permettre par la suite une identification précise du produit alimentaire.
Selon une variante de l’invention, le premier axe optique et le troisième axe optique sont de préférence espacés de 6 centimètres.
Cet agencement relatif de la caméra, du détecteur thermique et du capteur de profondeur tridimensionnelle permet de s’assurer de la qualité des images, en permettant notamment une représentation complète de la zone d’acquisition. Tous les produits alimentaires présents dans la zone d’acquisition sont donc visibles par la caméra, le détecteur thermique et le capteur de profondeur tridimensionnelle.
Selon une forme de réalisation de l’invention, le premier axe optique, le deuxième axe optique et le troisième axe optique sont contenus dans un même plan.
Cela permet de bénéficier d’éventuels effets de parallaxe qui permettent d’enrichir les informations visuelles obtenues à partir des images acquises par plusieurs caméras permettant d’acquérir des images couleurs, en termes de profondeur et perspective.
Selon autre forme de réalisation de l’invention, le premier axe optique et le troisième axe optique étant contenus dans un premier plan, le deuxième axe optique est contenu dans un deuxième plan parallèle et distinct du premier plan. Autrement dit, les projections des trois axes optiques dans un plan normal à ces derniers ne sont pas alignées.
Selon l’invention, la distance entre le premier plan et le deuxième plan est inférieure ou égale à 5 centimètres.
Cela permet un agencement plus compact de la caméra, du détecteur thermique et du capteur de profondeur tridimensionnelle tout en garantissant une qualité satisfaisante d’images obtenues.
Selon une caractéristique de l’invention, l’unité de traitement est configurée pour obtenir deux images couleurs distinctes de la zone d’acquisition selon respectivement une première résolution et une deuxième résolution et quatre images finales sont formées d’une image dans chacune des deux résolutions, de l’image thermique et de l’image du relief de la zone d’acquisition. La première résolution est supérieure à la deuxième résolution. Selon une variante de l’invention, la première résolution correspond à une haute résolution et la deuxième résolution correspond à une résolution moyenne.
Selon une caractéristique de l’invention, l’unité de traitement est configurée pour obtenir deux images couleurs distinctes de la zone d’acquisition obtenue chacune respectivement selon un premier angle de vue et selon un deuxième angle de vue et les quatre images finales sont formées de deux images couleurs, chacune selon un angle de vue, de l’image thermique et de l’image du relief de la zone d’acquisition.
L’utilisation de ces quatre types différents d’images permet une identification plus précise des produits alimentaires présents dans la zone d’acquisition. De plus, l’acquisition des deux images couleur avec deux résolutions différentes est particulièrement facile à mettre en œuvre.
Selon une autre variante de l’invention, l’unité de traitement est configurée pour obtenir trois images couleurs distinctes de la zone d’acquisition obtenue chacune respectivement selon une première exposition, une deuxième exposition et une troisième exposition, cinq images finales sont donc formées d’une image couleur dans chacune de la première exposition, de la deuxième exposition et de la troisième exposition, de l’image thermique et de l’image du relief de la zone d’acquisition.
L’utilisation d’images avec différentes expositions, une image sous-exposée et une image surexposée, permet de limiter la perte d’informations concernant les parties sombres (souvent peu éclairées en pratique) ou les parties très claires (souvent soumises à un fort éclairage) de la zone d’acquisition.
Selon une autre caractéristique de l’invention, l’image couleur étant décomposée en trois couleurs primaires, les cinq images finales sont formées d’une image dans chacune des trois couleurs primaires, de l’image thermique et de l’image du relief de la zone d’acquisition. De manière préférée, la décomposition est une décomposition selon les couleurs rouge vert bleu ou encore RGB pour Red, Green, Blue en anglais.
L’utilisation de ces cinq types différents d’images permet une identification plus précise des produits alimentaires présents dans la zone d’acquisition.
Selon une autre variante de l’invention, le système d’acquisition comprend également un dispositif d’éclairage de la zone d’acquisition configuré pour émettre une illumination continue ou une illumination instantanée de la zone d’acquisition. De manière préférée, le dispositif d’éclairage émet une lumière blanche dont la température de couleur est comprise entre 3500K et 6400K.
Un tel dispositif d’éclairage permet de corriger la qualité de l’éclairage ambiant du lieu où est situé le dispositif selon l’invention. Ce dispositif d’éclairage est utilisé en complément de la lumière naturelle présente dans l’environnement de la zone d’acquisition. Cela permet d’améliorer la qualité des images obtenues en évitant que certaines parties de la zone d’acquisition ne soient pas ou peu visibles et/ou en corrigeant le rendu des couleurs.
Selon encore une autre variante de l’invention, la caméra comprend un filtre polarisant.
Ce filtre polarisant vise à atténuer, voire annuler, d’éventuelles réflexions sur les parties spéculaires des objets et produits situés dans la zone d’acquisition.
Selon une variante de réalisation de l’invention, le système d’acquisition comprend également des moyens de communication raccordés à l’unité de traitement et configurés pour échanger des données avec un serveur distant.
L’invention concerne également un système d’identification d’au moins un produit alimentaire, le système d’identification comprenant :
- une zone d’acquisition adaptée à recevoir le produit alimentaire,
- un système d’acquisition, selon l’invention, d’une pluralité d’images de chaque produit alimentaire, et
- un système de traitement configuré pour recevoir en entrée les trois images générées par l’unité de traitement et pour fournir en sortie une donnée d’identification de chaque produit alimentaire présent dans la zone d’acquisition.
Ce système d’identification permet, à partir des images acquises, d’identifier les produits alimentaires présents dans la zone d’acquisition. Les données d’identifications peuvent ensuite être utilisées pour des applications de facturation ou d’inventaire.
Selon une variante de l’invention, le système d’identification comprend également un serveur distant configuré pour recevoir les trois images générées par l’unité de traitement du système d’acquisition et la donnée d’identification déterminée par le système de traitement de système d’identification et pour transmettre la donnée d’identification à une entité externe.
Ainsi, les données d’identification déterminées peuvent être transmises à des entités externes, tel que par exemple un dispositif d’encaissement dans le cadre de la restauration collective pour permettre de facturer les produits alimentaires choisis par l’utilisateur concerné.
Selon une autre variante de l’invention, le système d’acquisition est positionné à une distance comprise entre 50 et 90 centimètres de la zone d’acquisition et, de préférence, comprise entre 50 et 65 centimètres de la zone d’acquisition, de préférence encore, comprise entre 55 et 60 centimètres de la zone d’acquisition.
Il a été constaté que de telles gammes de distances permettent d’obtenir une étendue d’acquisition avec une profondeur de champ optimale pour une bonne reconnaissance des produits tout en préservant une facilité d’accès compatible avec l’encombrement des plateaux et des produits susceptibles de s’y trouver.
L’invention concerne également un procédé d’acquisition d’une pluralité d’images d’au moins un produit alimentaire disposé dans une zone d’acquisition, le procédé comprenant des étapes de :
- acquisition d’au moins une image couleur de la zone d’acquisition,
- acquisition d’une image thermique de la zone d’acquisition,
- acquisition d’une image de relief de la zone d’acquisition, et
- génération de trois images finales à partir de chaque image, les trois images finales étant formées d’une image couleur, de l’image thermique et de l’image du relief de la zone d’acquisition.
Au sens de l’invention une image couleur peut être formée soit d’une image monochrome dans une couleur primaire ou composante soit d’une image formée d’une variation de niveaux de gris soit d’une image polychrome intégrant trois couleurs primaires.
L’invention concerne enfin un procédé d’identification d’au moins un produit alimentaire disposé dans une zone d’acquisition, le procédé d’identification comprenant des étapes de :
- acquisition d’une pluralité d’images de chaque produit alimentaire selon le procédé d’acquisition conforme à l’invention, et
- identification de chaque produit alimentaire par fourniture d’une donnée d’identification de chaque produit alimentaire présent dans la zone d’acquisition.
Bien entendu, les différentes caractéristiques, variantes et formes de réalisation de l'invention peuvent être associées les unes avec les autres selon diverses combinaisons dans la mesure où elles ne sont pas incompatibles ou exclusives les unes des autres.
 Description détaillée de l'invention
La description qui va suivre en regard des dessins annexés, donnés à titre d’exemples non limitatifs, fera bien comprendre en quoi consiste l’invention et comment elle peut être réalisée.
représente une vue schématique du dessus d’une zone d’acquisition conforme à l’invention,
représente de manière schématique un système d’acquisition d’images conforme à l’invention,
représente un schéma illustrant le positionnement d’une caméra, d’un détecteur thermique et d’un capteur de profondeur tridimensionnelle dans le système d’acquisition d’images de la ,
représente un exemple d’image thermique de la zone d’acquisition, obtenue dans le cadre de la présente invention,
représente un exemple d’image du relief de la zone d’acquisition, obtenue dans le cadre de la présente invention,
représente de manière schématique un système d’identification conforme à l’invention,
représente, sous forme de logigramme, un exemple de procédé d’acquisition d’images conforme à l’invention, et
représente, sous forme de logigramme, un exemple de procédé d’identification conforme à l’invention.
L’invention vise, selon une première application, à permettre l’identification automatique de produits ou d’aliments afin de faciliter voire d’automatiser le processus de facturation du prix de ces produits notamment dans un cadre de restauration collective. A cet effet l’invention propose, comme le montre schématiquement la , de mettre en œuvre un système d’identification S qui communique via un réseau de communication R avec un terminal de paiement ou de facturation T.
Le système d’identification S comprend alors une zone d’acquisition 1 destinée à recevoir des produits ou aliment à identifier comme cela apparaitra par la suite. La zone d’acquisition 1 est associée à un système d’acquisition d’image 10 qui selon l’exemple illustré est placé au-dessus de celle-ci. Le système d’identification communique via un réseau de communication 2 avec un serveur d’identification SRV afin notamment de permettre l’établissement d’une facture des produits 5, 6 positionnés dans la zone d’acquisition 1. Selon l’exemple illustré, les produits 5, 6 à identifier sont disposés sur un plateau de service du type de ceux utilisés dans la restauration collective par des clients pour transporter les articles choisis pour leur repas. Le plateau est alors placé dans la zone d’acquisition 1 par un client souhaitant faire établir le ticket d’encaissement correspondant à sa sélection.
Ainsi, l’invention concerne notamment un système 10 d’acquisition d’images tel qu’illustré à la et désigné dans son ensemble par la référence 10. Selon cet exemple de réalisation, le système 10 d’acquisition d’images comprend une caméra 12, un détecteur thermique 14, un capteur de profondeur tridimensionnelle 16, une unité de traitement 15 et des moyens de communication 18.
De manière avantageuse selon l’invention, le système 10 d’acquisition d’images est positionné à une distancehde la zone d’acquisition 1. Cette distancehest ici comprise entre 50 et 90 cm. De préférence, cette distancehest comprise entre 50 et 65 cm. De préférence encore, cette distance est comprise entre 55 et 60 cm. Cet agencement du système 10 d’acquisition d’images par rapport à la zone d’acquisition 1 permet de capturer l’ensemble de la zone d’acquisition 1 et d’obtenir des images (quel que soit leur type) de bonne qualité pour en permettre l’analyse par un système de traitement 24 du système d’identification S.
Comme cela est représenté sur la , la caméra 12, le détecteur thermique 14 et le capteur de profondeur tridimensionnelle 16 sont positionnés sur un support 19. Le support 19 présente une forme globalement rectangulaire. La face avant 19A du support 19 matérialise un plan P.
Comme le montre la , le détecteur thermique 14 est ici positionné entre la caméra 12 et le capteur de profondeur tridimensionnelle 16.
Chacun de la caméra 12, du détecteur thermique 14 et du capteur de profondeur tridimensionnelle 16 sont positionnés sur le support 19 de manière que leurs axes optiques respectifs soient perpendiculaires au support 19. Par définition, l’axe optique d’un système optique est défini comme l’axe de symétrie de rotation de ce système optique.
Ainsi, comme le montre la , la caméra 12 présente un premier axe optique A1, orthogonal au plan P du support 19. Le détecteur thermique 14 présente un deuxième axe optique A2, orthogonal au plan P du support 19. Le capteur de profondeur tridimensionnelle 16 présente un troisième axe optique A3, orthogonal au plan P du support 19. Le premier axe optique A1, le deuxième axe optique A2 et le troisième axe optique A3 sont parallèles entre eux.
De manière avantageuse selon l’invention, le premier axe optique A1 et le troisième axe optique A3 sont espacés d’une distancedcomprise entre 5 et 20 centimètres (cm). Cet agencement relatif de la caméra 12, du détecteur thermique 14 et du capteur de profondeur tridimensionnelle 16 permet de s’assurer de la qualité des images, en permettant notamment une représentation complète de la zone d’acquisition 1. Tous les produits alimentaires 5, 6 présents dans la zone d’acquisition 1 sont donc visibles par la caméra 12, le détecteur thermique 14 et le capteur de profondeur tridimensionnelle 16.
De manière préférentielle, le premier axe optique A1 et le troisième axe optique A3 sont espacés d’une distancedde l’ordre de 6 cm.
Sur l’exemple de la , le premier axe optique A1 et le troisième axe optique A3 sont contenus dans un premier plan P1. Le deuxième axe optique A2 est, quant à lui, contenu dans un deuxième plan P2, parallèle et distinct du premier plan P1. En d’autres termes, cela signifie que, pour leur positionnement sur le support 19, la caméra 12, le détecteur thermique 14 et le capteur de profondeur tridimensionnelle 16 ne sont pas alignés (ici seuls la caméra 12 et le capteur de profondeur tridimensionnelle 16 sont alignés selon un même plan P1).
De manière avantageuse, le premier plan P1 et le deuxième plan P2 sont espacés d’une distance d1inférieure à 5 cm. Cela permet un agencement plus compact de la caméra 12, du détecteur thermique 14 et du capteur de profondeur tridimensionnelle 16 tout en garantissant une qualité satisfaisante d’images obtenues.
La caméra 12 est ici un système d’acquisition d’images comprenant un capteur photographique de type capteur CMOS (pour «Complementary M etal - O xide- S emiconductor»). Un tel capteur est notamment caractérisé par, d’une part, les dimensions de sa surface photosensible de forme rectangulaire pouvant être résumées par son format et la longueur de la diagonale de celle-ci, et, d’autre part, sa résolution.
Le capteur mis en œuvre présente par exemple un format de type 1/2.3’ avec une diagonale supérieure à 7 mm et une résolution comprise entre 2028x1520 et 8112x6080. Dans le cas présent il est mis en œuvre un capteur ayant un format d’image de 1/ 2.3, une diagonale de l’ordre de 7,9 mm et une résolution de 4056 x 3040 tel que le capteur IMX 477 commercialisé par Sony. Un tel capteur présente l’avantage de posséder une bonne sensibilité de sorte qu’il est possible d’obtenir des images de bonne qualité en lumière ambiante sans éclairage supplémentaire. Ainsi, cela permet en effet d’éviter les réflexions parasites induites par un éclairage supplémentaire et qui nuisent à la qualité des images acquises. Par ailleurs, un tel capteur représente un bon compromis entre les performances et le coût associé.
Le capteur photographique est associé à une optique permettant d’acquérir une image englobant l’ensemble de la zone d’acquisition. Cette optique présente par exemple une distance focale fixe combinée à l’utilisation d’un diaphragme également fixe.
De manière optionnelle, cette optique, et donc la caméra, peut être munie d’un filtre polarisant. Ce filtre polarisant vise à atténuer, voire annuler, les effets des éventuelles réflexions dues à la nature des produits présents dans la zone d’acquisition 1. Par exemple, des emballages plastiques autour des produits alimentaires 5, 6 peuvent être à l’origine de telles réflexions.
La caméra 12 permet d’acquérir des images couleur de la zone d’acquisition 1 comme cela apparaitra par la suite.
Le système 10 d’acquisition d’images comprend également le détecteur thermique 14.
Ce détecteur thermique 14 est par exemple une caméra infrarouge comprenant un capteur infrarouge associé à une optique permettant de réaliser une image thermique englobant au moins l’ensemble de la zone d’acquisition. Il s’agit ici d’infrarouge moyen, donc de longueurs d’onde comprises entre 3 et 50 micromètres (µm). Dans le cas présent, le champ de vision de ce détecteur thermique 14 est par exemple de 55 degrés par 35 degrés ou de 110 degrés par 75 degrés. La résolution du détecteur thermique 14 est ici d’au moins 16x12 pixels. Elle est par exemple comprise entre 16x12 pixels et 64x48 pixels et, de préférence, de 32x24 pixels.
Ici, le détecteur thermique 14 est par exemple le modèle Melexis MLX90640.
Le détecteur thermique 14 est configuré pour acquérir au moins une image thermique Ithde la zone d’acquisition 1 comme cela sera décrit par la suite.
Le système 10 d’acquisition d’images comprend également le capteur de profondeur tridimensionnelle 16.
Ce capteur de profondeur tridimensionnelle 16 comprend un capteur stéréoscopique. Le champ de vision du capteur de profondeur tridimensionnelle 16 est par exemple de 65 degrés par 40 degrés. La résolution de ce capteur est ici comprise entre 640x360 pixels et 2560x1440, de préférence de 1280x720 pixels.
Ici, le capteur de profondeur tridimensionnelle 16 est par exemple une caméra de profondeur de type Intel® RealSenseTMD415.
Le capteur de profondeur tridimensionnelle 16 est configuré pour acquérir au moins une image du relief Idpthde la zone d’acquisition 1, comme cela est décrit ultérieurement.
Le capteur de profondeur tridimensionnelle 16 comprend également une unité de commande et un capteur d’acquisition d’images. Le capteur de profondeur tridimensionnelle 16 est alors également configuré pour acquérir une image couleur de la zone d’acquisition 1.
Comme le montre la , le système 10 d’acquisition d’images comprend également un dispositif d’éclairage 11. Ce dispositif d’éclairage 11 est utilisé en complément de la lumière ambiante présente dans l’environnement de la zone d’acquisition 1. Ce dispositif d’éclairage peut par exemple permettre d’obtenir un éclairage diffusant dans l’environnement de la zone d’acquisition 1.
Ce dispositif d’éclairage 11 est par exemple configuré pour émettre une illumination continue de la zone d’acquisition 1. Il s’agit par exemple d’une lampe présente dans l’environnement de la zone d’acquisition.
Comme le montre la , le système 10 d’acquisition d’images comprend également l’unité de traitement 15. Cette unité de traitement 15 comprend par exemple un processeur et une mémoire et assure le pilotage de la caméra 12, du détecteur thermique 14 et du capteur de profondeur tridimensionnelle 16 ainsi que le traitement des images issues de ceux-ci.
Comme cela est décrit ci-après, l’unité de traitement 15 est configurée pour déclencher l’acquisition des différentes images par la caméra 12, le détecteur thermique 14 et le capteur de profondeur tridimensionnelle 16. L’unité de traitement est également configurée pour recevoir chaque image acquise par la caméra 12, le détecteur thermique 14 et le capteur de profondeur tridimensionnelle 16 et pour générer au moins trois images finales de la zone d’acquisition 1 (une image couleur RGB, une image thermique Ithet une image du relief Idpth). Ces trois images finales pourront ensuite être analysées de manière à, par exemple, identifier les produits alimentaires 5, 6 se trouvant dans la zone d’acquisition 1.
L’unité de traitement 15 permet notamment de s’assurer du bon alignement des images, d’ajuster les perspectives associées à chaque image acquise et de les redimensionner pour que chaque image soit centrée sur la zone d’acquisition. Elle permet également de procéder à une modification de format des images acquises afin que celles-ci puissent être analysées par la suite. En particulier, l’unité de traitement 15 reçoit par exemple en pratique un fichier brut de la part de chaque caméra et capteur associant, à chaque pixel, une donnée. L’unité de traitement 15 est alors configurée pour transformer ces données de manière à ce qu’elles soient exploitables pour l’identification des produits alimentaires 5, 6. L’unité de traitement 15 peut également procéder à une compression des images afin que celles-ci soient mémorisées et transmises plus commodément. L’unité de traitement 15 peut également mettre en œuvre une étape d’anonymisation des images reçues afin d’assurer la confidentialité des données du consommateur, comme par exemple les données en lien avec les cartes bancaires, les téléphones mobiles ou tout autre élément non alimentaire éventuellement posé sur le plateau.
Dans un mode de réalisation préféré, l’unité de traitement est configurée pour obtenir deux images couleurs RGB distinctes de la zone d’acquisition 1 selon respectivement une première résolution et une deuxième résolution. Quatre images finales sont alors ici formées par une première image couleur RGB présentant une première résolution, une deuxième image couleur RGB présentant une deuxième résolution, une image thermique Ithet une image du relief Idpthde la zone d’acquisition 1. La première résolution est ici supérieure à la deuxième résolution. Ici, la première résolution est dite haute et est par exemple de 2560x1440 pixels ou de 2560x1600 pixels ou encore de 3840x2160 pixels. La deuxième résolution est ici dite moyenne et est par exemple de 1920x1080 pixels ou de 1920x1200 pixels.
Enfin, le système 10 d’acquisition d’images comprend également les moyens de communication 18. Ces moyens de communication 18 sont par exemple des moyens de communication sans fil permettant d’établir une communication sans fil avec une entité distante. Ces moyens de communication 18 sont par exemple configurés pour échanger des données avec un serveur distant 25. Ici, les moyens de communication 18 sont par exemple configurés pour échanger les trois (ou plus selon le mode de réalisation) images finales générées avec un serveur distant, permettant par exemple de les mémoriser de manière externe au système 10 d’acquisition d’images (par exemple pour une sauvegarde longue durée de ces images).
Certaines variantes de réalisation du système 10 d’acquisition d’images peuvent être mises en œuvre.
Selon une variante de réalisation, le premier axe optique, le deuxième axe optique et le troisième axe optique peuvent être contenus dans un même plan
Selon une autre variante de réalisation, le dispositif d’éclairage peut être omis du système d’acquisition d’images. En effet, il n’est pas strictement nécessaire, notamment pour des environnements dans lequel l’éclairage ambiant est suffisant.
Selon une variante de réalisation encore, le dispositif d’éclairage peut être configuré pour émettre une illumination instantanée de la zone d’acquisition.
Selon une autre variante de réalisation encore, le système d’acquisition d’images peut permettre d’obtenir quatre images finales formées de deux images couleurs distinctes de la zone d’acquisition obtenue chacune respectivement selon un premier angle de vue et selon un deuxième angle de vue, de l’image thermique et de l’image du relief de la zone d’acquisition.
Selon une autre variante de réalisation encore, le système d’acquisition d’images peut permettre d’obtenir cinq images finales formées par trois images couleur, chacune dans une couleur primaire, une image thermique et une image du relief de la zone d’acquisition.
Selon une autre variante de réalisation encore, le système d’acquisition d’images peut permettre d’obtenir cinq images finales formées par une image couleur RGB, une image sous-exposée, une image surexposée, une image thermique et une image du relief de la zone d’acquisition. Dans cette variante, l’image surexposée est obtenue en utilisant une durée d’exposition longue et l’image sous-exposée est obtenue en utilisant une durée d’exposition courte. L’image couleur RGB correspond alors à une exposition moyenne par rapport aux deux autres images (sous-exposée et surexposée). L’utilisation d’images sous-exposée et surexposée permet de limiter la perte d’informations concernant les parties sombres (souvent peu éclairées en pratique) ou les parties très claires (souvent soumises à un fort éclairage) de la zone d’acquisition.
La présente invention vise à identifier les produits alimentaires 5, 6 présents dans la zone d’acquisition 1, à partir des images acquises par le système 10 d’acquisition.
La représente, de manière schématique, un système d’identification S d’au moins un produit alimentaire 5, 6 présent dans la zone d’acquisition 1.
Comme le montre la , ce système d’identification S comprend le système 10 d’acquisition d’images décrit précédemment. Ce système 10 d’acquisition d’images permet donc d’acquérir des images (par exemple trois, quatre ou cinq images selon les modes de réalisation introduits précédemment) de la zone d’acquisition 1.
Le système d’identification S comprend également un système de traitement 24 configuré pour recevoir en entrée les images finales générées et pour fournir en sortie une donnée d’identification de chaque produit alimentaire 5, 6.
En pratique, le système de traitement 24 comprend par exemple un réseau de neurones artificiels configuré pour recevoir en entrée ces images finales générées et pour fournir en sortie la donnée d’identification. Ce réseau de neurones artificiels a préalablement été entraîné à partir d’images connues comprenant des produits alimentaires identifiés. Ce réseau de neurones artificiels est par exemple un réseau de neurones multicouche. De préférence, il s’agit d’un réseau de neurones multicouche profond. Il s’agit par exemple d’un réseau de neurones convolutif ou d’un transformeur.
La donnée d’identification permet donc ici d’identifier le produit alimentaire 5, 6 concerné. Par exemple, cette donnée d’identification précise, pour le produit alimentaire 5, qu’il s’agit d’un verre rempli d’un jus de fruit froid, ou pour le produit alimentaire 6, qu’il s’agit d’une assiette remplie d’un plat du jour.
Comme le montre la , le système d’identification S comprend enfin un serveur distant SRV. Ce serveur distant SRV est par exemple configuré pour recevoir les images finales générées (trois ou quatre ou cinq selon la mise en œuvre utilisée) par l’unité de traitement 15 du système 10 d’acquisition d’images et la donnée d’identification déterminée par le système de traitement 24 de système d’identification S et transmettre cette donnée d’identification à une entité externe 30. Cette entité externe 30 est par exemple un dispositif d’encaissement permettant de générer une facture pour les produits alimentaires concernés présents dans la zone d’acquisition 1, par exemple le terminal de paiement ou de facturation T représenté sur la .
En variante, le système de traitement peut être directement intégré dans le système d’acquisition. La donnée d’identification est donc directement déterminée au sein du système d’acquisition.
La est un logigramme représentant un exemple de procédé d’acquisition Acq d’image d’au moins un produit alimentaire 5, 6 présent dans la zone d’acquisition 1 selon un premier mode de réalisation.
Ce procédé d’acquisition Acq est mis en œuvre lorsqu’un utilisateur dépose un article (par exemple un plateau supportant un produit alimentaire 5, 6) dans la zone d’acquisition 1. La présence d’un produit 5, 6 dans la zone d’acquisition 1 déclenche une commande (étape E0) à destination du système 10 d’acquisition d’images (et en particulier de la caméra 12, du détecteur thermique 14 et du capteur de profondeur tridimensionnelle 16) afin de déclencher l’acquisition des différentes images.
En pratique, la présence d’un produit alimentaire 5, 6 dans la zone d’acquisition 1 est par exemple détectée par un système de pesage ou par un détecteur de présence du plateau.
A l’étape E2, la caméra 12 du système 10 d’acquisition d’images reçoit la commande de déclenchement de l’acquisition d’images. Elle acquiert alors au moins une image couleur de la zone d’acquisition 1. Pour cela, l’unité de traitement 15 transmet par exemple une commande concernant la durée d’exposition pour l’acquisition de l’image couleur. La durée d’exposition est par exemple ici comprise entre 12 et 32 millisecondes.
En pratique, l’image couleur est décomposée sur la base de trois couleurs primaires : rouge, vert et bleu (selon le système de couleurs RVB ou RGB pour «red , green, blue» selon l’acronyme d’origine anglo-saxonne couramment utilisé).
Dans ce premier mode de réalisation, la caméra 12 fournit une image couleur RGB (tenant compte des trois couleurs primaires). Plus particulièrement ici, la caméra 12 fournit une image couleur RGB avec la première résolution. En d’autres termes, la caméra 12 acquiert une image couleur RGB avec une haute résolution.
A l’étape E4, le détecteur thermique 14 du système 10 d’acquisition d’images reçoit la commande de déclenchement de l’acquisition d’images. Il acquiert alors au moins une image thermique Ithde la zone d’acquisition 1.
Dans cette description, on entend par « image thermique », une image dans laquelle chaque pixel est associé à une donnée de température. Une échelle de couleurs ou de nuances de couleurs permet de retranscrire les différences de températures dans la zone d’acquisition 1 étudiée.
La représente un exemple d’image thermique obtenue par le détecteur thermique 14. L’échelle de températures est ici représentée sous la forme de nuances de gris (cette représentation permet notamment une optimisation et une réduction de la taille de l’image thermique afin d’améliorer le stockage et la transmission de cette image). Cette échelle s’étend ici, sur la représentation de la , entre 20 et 55 degrés Celsius (cette échelle étant tronquée à 20 degrés pour les températures inférieures à 20 degrés et bornée à 55 degrés pour les températures supérieures à 55 degrés). En d’autres termes ici, les données de température obtenues du détecteur thermique 14 sont traitées, par l’unité de traitement 15, selon un filtrage passe-bande de manière à obtenir une représentation pertinente de la zone d’acquisition 1.
De préférence, l’échelle de températures s’étend entre 0 et 60 degrés Celsius. En variante, cette échelle de températures peut être plus large, selon le modèle du détecteur thermique utilisé. Par exemple, un détecteur thermique du type Melexis MLX90640 permet de détecter des températures comprises entre -40 et 300 degrés Celsius.
Le détecteur thermique 14 est particulièrement avantageux pour permettre la distinction entre des produits alimentaires qui visuellement présentent le même aspect. Par exemple, un jus d’orange et une soupe de couleur orangée présentent le même aspect visuel (via par exemple les images acquises par la caméra 12) mais des températures différentes. L’image thermique acquise par le détecteur thermique 14 permet donc de distinguer ces deux produits.
L’utilisation du détecteur thermique 14 est également avantageuse dans le cas où un produit alimentaire est masqué par un élément de dissimulation. Cet élément de dissimulation est par exemple une serviette en papier ou un couvercle placé sur le produit alimentaire. Dans ce cas, les images acquises par la caméra 12 ne permettent pas de distinguer le produit alimentaire concerné. Le détecteur thermique 14 permet, lui, de mettre en évidence la présence d’un produit en le caractérisant par sa température.
A l’étape E6, le capteur de profondeur tridimensionnelle 16 du système 10 d’acquisition d’images reçoit la commande de déclenchement de l’acquisition d’images. Il acquiert alors au moins une image du relief Idpthde la zone d’acquisition 1. Il acquiert également une autre image couleur RGB de la zone d’acquisition 1, cette autre image couleur RGB présentant une deuxième résolution. La deuxième résolution est inférieure à la première résolution (de l’image couleur RGB acquise par la caméra 12).
Dans cette description, on entend par « image du relief » (ou image représentant le relief) une image représentant des profondeurs ou reliefs dans la zone d’acquisition, par rapport à un plan de référence. Ici le plan de référence est par exemple formé par la surface de pose dans la zone d’acquisition 1 sur laquelle chaque plateau de service est placé. Dans le cas d’un plateau utilisé pour transporter des produits alimentaires 5, 6, le plan de référence est par exemple le plan de ce plateau.
La représente un exemple d’une image du relief obtenue par le capteur de profondeur tridimensionnelle. Plus particulièrement, cette figure représente la hauteur H (également appelée profondeur dans cette description) par rapport au plan de référence défini précédemment. L’échelle de profondeurs est ici représentée sous la forme de nuances de gris (cette représentation permet notamment une optimisation et une réduction de la taille de l’image du relief afin d’améliorer le stockage et la transmission de cette image). Cette échelle s’étend ici entre 19 et 105 millimètres (mm) (cette échelle étant tronquée à 19 mm pour les profondeurs inférieures à 19 mm et bornée à 105 mm pour les profondeurs supérieures à 105 mm). En d’autres termes ici, les données de profondeurs obtenues du capteur de profondeur tridimensionnelle 16 sont traitées, par l’unité de traitement 15, selon un filtrage passe-bande de manière à obtenir une représentation pertinente de la zone d’acquisition 1.
En variante, d’autres échelles de profondeurs, en particulier plus larges, peuvent être obtenues en fonction du capteur de profondeur tridimensionnelle utilisé.
De manière avantageuse, le capteur de profondeur tridimensionnelle 16 permet, grâce à la détection de profondeurs différentes, d’améliorer la reconnaissance des produits alimentaires 5, 6. Ce capteur est particulièrement utile pour permettre la détection de produits alimentaires, telles que des bouteilles ou des cannettes, placés dans une position empêchant leur identification (par exemple dans une position verticale pour les bouteilles ou les cannettes). Cela permet alors d’alerter l’utilisateur afin de lui permettre de les positionner de manière à rendre leur identification possible (en position horizontale par exemple). Le capteur de profondeur tridimensionnelle 16 permet également de détecter d’éventuels objets cachés sur les autres images en se basant sur une comparaison volumétrique entre un volume attendu et le volume observé pour un objet (par exemple dans le cas d’une assiette ou d’une serviette trop haute).
Selon l’exemple décrit précédemment, les étapes E2, E4 et E6 sont mises en œuvre simultanément.
Comme le montre la , le procédé d’acquisition Acq se termine par l’étape E8 lors de laquelle l’unité de traitement 15 du système 10 d’acquisition d’images génère les images finales à partir de chaque image obtenue aux étapes E2, E4, E6.
Comme décrit précédemment, dans ce premier mode de réalisation, les quatre images finales sont formées par une image couleur RGB de haute résolution, une image couleur RGB de résolution moyenne, une image thermique Ithet une image du relief Idpthde la zone d’acquisition 1.
Les images finales générées peuvent ensuite être traités (par exemple, des traitements de formats du type « High Dynamic Range » selon l’appellation d’origine anglosaxonne couramment utilisée ou des algorithmes d’intelligence artificielle permettant le traitement d’images) avant d’être utilisées afin d’identifier le produit alimentaire 5, 6. Elles peuvent également subir un traitement d’encodage, par exemple dans différents niveaux de gris.
L’invention concerne également un deuxième mode de réalisation du procédé d’acquisition Acq d’image d’au moins un produit alimentaire 5, 6 présent dans la zone d’acquisition 1.
Dans ce deuxième mode de réalisation, le procédé d’acquisition Acq d’images présentent les mêmes étapes et caractéristiques que le premier mode de réalisation décrit précédemment.
La seule différence se situe au niveau des images obtenues en sortie de la caméra 12. Selon le deuxième mode de réalisation, en sortie de la caméra 12, trois images sont obtenues, une dans chaque couleur primaire.
Ainsi, lors de l’étape E8 lors de laquelle l’unité de traitement 15 du système 10 d’acquisition d’images génère cinq images finales à partir de chaque image obtenue aux étapes E2, E4, E6, les cinq images finales obtenues sont formées par trois images couleur, chacune dans une couleur primaire, une image thermique Ithet une image du relief Idpthde la zone d’acquisition 1.
L’invention concerne également un troisième mode de réalisation du procédé d’acquisition Acq d’image d’au moins un produit alimentaire 5, 6 présent dans la zone d’acquisition 1.
Dans ce troisième mode de réalisation, le procédé d’acquisition Acq d’images présentent les mêmes étapes et caractéristiques que le premier mode de réalisation décrit précédemment.
La seule différence se situe au niveau des obtenues en sortie du système d’acquisition d’images. Selon le troisième mode de réalisation, cinq images finales sont obtenues : une image couleur RGB, une image sous-exposée, une image surexposée, une image thermique et une image du relief de la zone d’acquisition. Dans ce troisième mode de réalisation, l’image surexposée est obtenue en utilisant une durée d’exposition longue et l’image sous-exposée est obtenue en utilisant une durée d’exposition courte. L’image couleur RGB correspond alors à une exposition moyenne par rapport aux deux autres images (sous-exposée et surexposée).
Ainsi, lors de l’étape E8 lors de laquelle l’unité de traitement 15 du système 10 d’acquisition d’images génère cinq images finales à partir de chaque image obtenue aux étapes E2, E4, E6, les cinq images finales obtenues sont formées d’une image couleur RGB, une image sous-exposée, une image surexposée, une image thermique et une image du relief de la zone d’acquisition.
L’invention concerne également un quatrième mode de réalisation du procédé d’acquisition Acq d’image d’au moins un produit alimentaire 5, 6 présent dans la zone d’acquisition 1.
Dans ce quatrième mode de réalisation, le procédé d’acquisition Acq d’images présentent les mêmes étapes et caractéristiques que le premier mode de réalisation décrit précédemment.
La seule différence se situe au niveau des images obtenues en sortie de la caméra 12. Selon le quatrième mode de réalisation, lors de l’étape E8 lors de laquelle l’unité de traitement 15 du système 10 d’acquisition d’images génère les images finales à partir de chaque image obtenue aux étapes E2, E4, E6, quatre images finales obtenues sont formées par deux images couleur RGB, une première selon un première angle de vue et une deuxième selon un deuxième angle de vue, une image thermique Ithet une image du relief Idpthde la zone d’acquisition 1.
L’invention concerne également un cinquième mode de réalisation du procédé d’acquisition Acq d’image d’au moins un produit alimentaire 5, 6 présent dans la zone d’acquisition 1.
Dans ce cinquième mode de réalisation, les images finales sont au nombre de trois et formées d’une image couleur RGB, d’une image thermique Ithet d’une image du relief Idpthde la zone d’acquisition 1.
Quel que soit le mode de réalisation du procédé d’acquisition d’images, certaines variantes d’exécution peuvent être envisagées.
Selon une variante de réalisation, à l’étape E2, la commande de déclenchement pour le système d’acquisition d’images peut être émise suite à une action manuelle, par exemple de l’utilisateur qui vient de déposer son plateau dans la zone d’acquisition.
Selon une autre variante de réalisation, les étapes E2, E4 et E6 peuvent être mises en œuvre successivement dans un intervalle de temps court, par exemple inférieur à 5 millisecondes.
L’invention concerne alors également un procédé d’identification Id d’au moins un produit alimentaire 5, 6 disposé dans la zone d’acquisition 1. Ce procédé d’identification Id fait suite au procédé d’acquisition Acq d’images décrit précédemment. La représente, sous forme de logigramme, un exemple de procédé d’identification Id mis en œuvre selon l’invention.
Le procédé d’identification Id comprend tout d’abord une étape d’acquisition Acq d’une pluralité d’images de chaque produit alimentaire 5, 6 présent dans la zone d’acquisition 1 selon le procédé d’acquisition Acq décrit précédemment.
Le procédé d’identification Id comprend ensuite une étape E10. Lors de cette étape, le système de traitement 24 du système d’identification S identifie chaque produit alimentaire 5, 6 en fournissant une donnée d’identification associée à chaque produit alimentaire 5, 6 à partir des images finales générées (trois ou quatre ou cinq selon la mise en œuvre utilisée) lors de l’étape d’acquisition Acq. Comme décrit précédemment, cette étape est par exemple mise en œuvre par l’intermédiaire d’un réseau de neurones artificiels recevant, en entrée, les images finales générées (trois ou quatre ou cinq selon la mise en œuvre utilisée) et en fournissant, en sortie, la donnée d’identification associée à chaque produit alimentaire 5, 6.
Chaque donnée d’dentification obtenue est par exemple ensuite transmise à une entité externe, tel qu’un dispositif d’encaissement de manière à facturer, à l’utilisateur, les produits qu’il a choisis sur son plateau.
De manière avantageuse selon l’invention, l’utilisation du détecteur thermique 14 permet également d’effectuer un contrôle qualité des produits alimentaires positionnés dans la zone d’acquisition, grâce à la donnée de température connue. Le système de traitement 24 est alors en mesure d’associer et de transmettre (à une entité externe), pour chaque produit alimentaire, la donnée d’identification associée et les données de température correspondantes.
L’invention trouve également une application particulièrement avantageuse dans l’estimation des caractéristiques nutritionnelles et caloriques des aliments. Pour cela, chaque donnée d’identification obtenue est par exemple analysée d’un point de vue nutritionnel et calorique, par comparaison, par exemple, à des tables de données répertoriant ces caractéristiques pour les différents aliments.
Le système 10 d’acquisition d’images trouve également une application particulièrement avantageuse pour quantifier les portions d’aliments restantes après le repas. Pour cela, la zone d’acquisition est par exemple un espace de dépose d’un plateau après le repas. Le système d’acquisition d’images fonctionne de la même façon que décrite précédemment pour acquérir les images finales (trois ou quatre ou cinq selon la mise en œuvre utilisée) de la zone d’acquisition après repas.
Puis, un système de traitement identifie chaque produit restant sur le plateau en fournissant une autre donnée d’identification associée à chaque produit restant à partir des images finales générées. Ici aussi, cette étape est par exemple mise en œuvre par l’intermédiaire d’un réseau de neurones artificiels recevant, en entrée, les images finales générées et en fournissant, en sortie, l’autre donnée d’identification associée à chaque produit restant
Chaque autre donnée obtenue est par exemple ensuite transmise à une entité externe, tel qu’un dispositif d’analyse permettant d’évaluer la quantité d’aliments restants.
Ainsi, de manière avantageuse selon l’invention, sur la base des images acquises par le système d’acquisition d’images, il est possible d’analyser les quantités d’aliments restantes et donc de quantifier le gaspillage alimentaire, par exemple dans un service de restauration collective.

Claims (17)

  1. Système (10) d’acquisition d’une pluralité d’images d’au moins un produit alimentaire (5, 6) disposé dans une zone d’acquisition (1), le système (10) d’acquisition comprenant :
    - une caméra (12) configurée pour acquérir au moins une image couleur de la zone d’acquisition (1), la caméra (12) présentant un premier axe optique (A1),
    - un détecteur thermique (14) configuré pour acquérir au moins une image thermique (Ith) de la zone d’acquisition (1), le détecteur thermique (14) présentant un deuxième axe optique (A2),
    - un capteur de profondeur tridimensionnelle (16) configuré pour acquérir au moins une image du relief (Idpth) de la zone d’acquisition (1), le capteur de profondeur tridimensionnelle (16) présentant un troisième axe optique (A3), et
    - une unité de traitement (15) configurée pour recevoir chaque image et pour générer trois images finales de la zone d’acquisition (1),
    le détecteur thermique (14) étant positionné entre la caméra (12) et le capteur de profondeur tridimensionnelle (16),
    le premier axe optique (A1), le deuxième axe optique (A2) et le troisième axe optique (A3) étant parallèles entre eux,
    le premier axe optique (A1) et le troisième axe optique (A3) étant espacés d’une distance (d) comprise entre 5 et 20 centimètres.
  2. Système (10) d’acquisition selon la revendication 1, dans lequel le premier axe optique (A1) et le troisième axe optique (A3) sont espacés de 6 centimètres.
  3. Système (10) d’acquisition selon la revendication 1 ou 2, dans lequel le premier axe optique (A1), le deuxième axe optique (A2) et le troisième axe optique (A3) sont contenus dans un même plan.
  4. Système (10) d’acquisition selon la revendication 1 ou 2, dans lequel, le premier axe optique (A1) et le troisième axe optique (A3) étant contenus dans un premier plan (P1), le deuxième axe optique (A2) est contenu dans un deuxième plan (P2) parallèle et distinct du premier plan (P1).
  5. Système (10) d’acquisition selon la revendication 4, dans lequel la distance (d 1 ) entre le premier plan (P1) et le deuxième plan (P2) est inférieure ou égale à 5 centimètres.
  6. Système (10) d’acquisition selon l’une quelconque des revendications 1 à 5, dans lequel l’unité de traitement (15) est configurée pour obtenir deux images couleurs distinctes de la zone d’acquisition (1) selon respectivement une première résolution et une deuxième résolution, quatre images finales étant formées d’une image couleur avec une première résolution d’une deuxième image couleur avec une deuxième résolution, de l’image thermique (Ith) et de l’image du relief (Idpth) de la zone d’acquisition, la première résolution étant supérieure à la deuxième résolution.
  7. Système (10) d’acquisition selon l’une quelconque des revendications 1 à 5, dans lequel l’unité de traitement (15) est configurée pour obtenir trois images couleurs distinctes de la zone d’acquisition (1) obtenue chacune respectivement selon une première exposition, une deuxième exposition et une troisième exposition, cinq images finales étant formées d’une image couleur dans chacune de la première exposition, de la deuxième exposition et de la troisième exposition, de l’image thermique (Ith) et de l’image du relief (Idpth) de la zone d’acquisition.
  8. Système (10) d’acquisition selon l’une quelconque des revendications 1 à 5, dans lequel, l’image couleur étant décomposée en trois couleurs primaires, cinq images finales sont formées d’une image dans chacune des trois couleurs primaires, de l’image thermique (Ith) et de l’image du relief (Idpth) de la zone d’acquisition.
  9. Système (10) d’acquisition selon l’une quelconque des revendications 1 à 8, comprenant également un dispositif d’éclairage (11) de la zone d’acquisition (1) configuré pour émettre une illumination continue ou une illumination instantanée de la zone d’acquisition (1).
  10. Système (10) d’acquisition selon l’une quelconque des revendications 1 à 9, dans lequel la caméra 12) comprend un filtre polarisant.
  11. Système (10) d’acquisition selon l’une quelconque des revendications 1 à 10, comprenant également des moyens de communication (18) configurés pour échanger des données avec un serveur distant (25).
  12. Système d’identification (S) d’au moins un produit alimentaire (5, 6), le système d’identification (S) comprenant :
    - une zone d’acquisition (1) adaptée à recevoir le produit alimentaire (5, 6),
    - un système (10) d’acquisition d’une pluralité d’images de chaque produit alimentaire (5, 6) selon l’une quelconque des revendications 7 à 11, et
    - un système de traitement (24) configuré pour recevoir en entrée les trois images couleurs générées par l’unité de traitement (15) et pour fournir en sortie une donnée d’identification de chaque produit alimentaire (5, 6) présent dans la zone d’acquisition (1).
  13. Système d’identification (S) selon la revendication 12, comprenant également un serveur distant (SRV) configuré pour recevoir les trois images générées par l’unité de traitement (15) du système (10) d’acquisition et la donnée d’identification déterminée par le système de traitement (24) de système d’identification (S) et pour transmettre la donnée d’identification à une entité externe (30).
  14. Système d’identification (S) selon la revendication 12 ou 13, dans lequel le système (10) d’acquisition est positionné à une distance (h) comprise entre 50 et 90 centimètres de la zone d’acquisition (1).
  15. Système d’identification (S) selon l’une quelconque des revendications 12 à 14, dans lequel le système (10) d’acquisition est positionné à une distance (h) comprise entre 55 et 60 centimètres de la zone d’acquisition (1).
  16. Procédé d’acquisition (Acq) d’une pluralité d’images d’au moins un produit alimentaire (5, 6) disposé dans une zone d’acquisition (1), le procédé d’acquisition (Acq) comprenant des étapes de :
    - acquisition d’une image couleur de la zone d’acquisition (1),
    - acquisition d’une image thermique (Ith) de la zone d’acquisition (1),
    - acquisition d’une image de relief (Idpth) de la zone d’acquisition (1), et
    - génération de trois images finales, chaque images finales étant formées de l’image couleur, de l’image thermique (Ith) et de l’image du relief (Idpth) de la zone d’acquisition (1).
  17. Procédé d’identification (Id) d’au moins un produit alimentaire (5, 6) disposé dans une zone d’acquisition (1), le procédé d’identification (Id) comprenant des étapes de :
    - acquisition d’une pluralité d’images de chaque produit alimentaire (5, 6) selon un procédé d’acquisition (Acq) selon la revendication 16, et
    - identification de chaque produit alimentaire (5, 6) par fourniture d’une donnée d’identification de chaque produit alimentaire (5, 6) présent dans la zone d’acquisition (1).
FR2213991A 2022-12-20 2022-12-20 Système et procédé d’acquisition d’une pluralité d’images et système et procédé d’identification associé Active FR3143809B1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
FR2213991A FR3143809B1 (fr) 2022-12-20 2022-12-20 Système et procédé d’acquisition d’une pluralité d’images et système et procédé d’identification associé

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2213991 2022-12-20
FR2213991A FR3143809B1 (fr) 2022-12-20 2022-12-20 Système et procédé d’acquisition d’une pluralité d’images et système et procédé d’identification associé

Publications (2)

Publication Number Publication Date
FR3143809A1 true FR3143809A1 (fr) 2024-06-21
FR3143809B1 FR3143809B1 (fr) 2024-12-13

Family

ID=85792338

Family Applications (1)

Application Number Title Priority Date Filing Date
FR2213991A Active FR3143809B1 (fr) 2022-12-20 2022-12-20 Système et procédé d’acquisition d’une pluralité d’images et système et procédé d’identification associé

Country Status (1)

Country Link
FR (1) FR3143809B1 (fr)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009176209A (ja) * 2008-01-28 2009-08-06 Hitachi Keiyo Engineerring & System Ltd 食堂用自動精算装置
WO2016081831A1 (fr) * 2014-11-21 2016-05-26 Mutti Christopher M Système d'imagerie de reconnaissance et d'évaluation d'objet
FR3069685A1 (fr) 2017-07-26 2019-02-01 Jes Labs Installation et procede de gestion de donnees de produits
US20210035276A1 (en) * 2018-01-31 2021-02-04 Nichirei Foods Inc. Food inspection assisting system, food inspection assisting apparatus and computer program
EP3901794A1 (fr) * 2020-04-24 2021-10-27 Idemia Identity & Security France Procédé d'authentification ou d'identification d'un individu

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009176209A (ja) * 2008-01-28 2009-08-06 Hitachi Keiyo Engineerring & System Ltd 食堂用自動精算装置
WO2016081831A1 (fr) * 2014-11-21 2016-05-26 Mutti Christopher M Système d'imagerie de reconnaissance et d'évaluation d'objet
FR3069685A1 (fr) 2017-07-26 2019-02-01 Jes Labs Installation et procede de gestion de donnees de produits
US20210035276A1 (en) * 2018-01-31 2021-02-04 Nichirei Foods Inc. Food inspection assisting system, food inspection assisting apparatus and computer program
EP3901794A1 (fr) * 2020-04-24 2021-10-27 Idemia Identity & Security France Procédé d'authentification ou d'identification d'un individu

Also Published As

Publication number Publication date
FR3143809B1 (fr) 2024-12-13

Similar Documents

Publication Publication Date Title
BE1022488B1 (fr) Systeme d'appareil de prise de vues a temps-de-vol
CA2864763C (fr) Procede et dispositif de mesure de la couleur d'un objet
EP2385405B9 (fr) Dispositif de projection panoramique, et procédé mis en oeuvre dans ce dispositif
EP0900427A1 (fr) Systeme d'acquisition d'empreintes en relief et procede d'acquisition
WO2003007240A1 (fr) Procede et systeme pour modifier la qualite d'image
FR2938330A1 (fr) Evaluation du relief de la surface d'un pneumatique par stereovision active
EP3388975A1 (fr) Dispositif de capture d'une empreinte d'une partie corporelle
EP3720115B1 (fr) Procédé d'imagerie avec lumière pulsée
FR2909202A1 (fr) Procede d'analyse de la disposition de produits dans un lineaire de magasin.
FR2503391A1 (fr) Systeme de balayage optique
EP1521055A2 (fr) Procédé et installation pour le contròle de qualité en boulangerie
WO2023144494A1 (fr) Procedes et systemes opto-informatiques d'inspection en lumière traversante d'un récipient en verre
EP4348199B1 (fr) Calibrage embarqué d'une matrice de pixels d'un capteur infrarouge
EP3388976A1 (fr) Procede de detection de fraude
FR3143809A1 (fr) Système et procédé d’acquisition d’une pluralité d’images et système et procédé d’identification associé
EP3073441B1 (fr) Procédé de correction d'une image d'au moins un objet présenté à distance devant un imageur et éclairé par un système d'éclairage et système de prise de vues pour la mise en oeuvre dudit procédé
WO2016097609A1 (fr) Système pour la prise de vue en trois dimensions au cours d'un déplacement
FR2899696A1 (fr) Procede de traitement d'un phenomene d'eclairement relatif sur une image numerique et systeme de traitement associe
FR3059416B1 (fr) Systeme et procede de numerisation tridimensionnelle d’un objet
FR3032036A1 (fr) Procedes et dispositifs de detection de la contamination surfacique par des particules evoluant en air libre
CA3201705A1 (fr) Systeme de suivi de chargement et de dechargement
FR3112011A1 (fr) Système et procédé de caractérisation de la nature et de la quantité d’aliments contenus dans un ou plusieurs récipients
JP2018190259A (ja) 撮像システム
FR3049374A1 (fr) Procede et dispositif de mesure de la taille de granules
EP3329257B1 (fr) Ensemble comprenant un contenant et un dispositif portable pour le contrôle d'une boisson alcoolisée à travers ledit contenant, système et procédé associés

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20240621

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4