PROCÉDÉ DE PROJECTION D'IMAGES SUR UNE SCÈNE TRIDIMENSIONNELLE HYBRIDE DOMAINE TECHNIQUE DE L'INVENTION [0001]La présente invention concerne un procédé de projection d'images adapté pour une scène tridimensionnelle pourvue d'une pluralité de plans de projection 10 dont au moins un prévoit un écran. Elle concerne également un système de projection correspondant. ETAT DE LA TECHNIQUE ANTERIEURE 15 (0002] Les projecteurs de types connus permettent de projeter des images sur un plan unique de projection, c'est-à-dire un plan où l'ensemble des points se situe sensiblement dans un même plan. Lors d'une projection dans une grande pièce, avec au moins un grand plan de projection, l'obtention d'une image projetée de 20 grande surface est aisément possible. [0003]Lorsque la pièce de projection est plus petite, et/ou qu'aucun plan ne correspond à la surface de projection souhaitée, le projection d'une image trop grande donne lieu à des distorsions d'image dans chacune des zones où le plan 25 de projection diffère du plan principal. (0004] Pour des applications visant à créer une immersion des utilisateurs dans un univers de projection sur plusieurs plans, on connaît des solutions utilisant une pluralité de projecteurs, chacun d'entre eux étant prévu pour projeter une image 30 spécifique sur une plan de projection qui lui est propre. Ce type de solution est très coûteux à mettre en oeuvre, notamment du fait de l'utilisation de plusieurs projecteurs, ces derniers étant relativement coûteux. Cat_hybride-FR [0005]La demande de brevet FR2919934 propose un dispositif de projection panoramique permettant de projeter une image mère sur une scène comportant plusieurs faces. Le système et le procédé prévoient à cet effet une transmission de l'image par l'entremise d'un miroir hémisphérique permettant de réfléchir les rayons du projecteur dans différentes directions, sur les différents points de projection. Un exemple d'un tel système est illustré à la figure 1 de la présente demande. La disposition du miroir, par exemple au centre de la scène, permet d'organiser la réflexion des rayons lumineux dans toutes les directions souhaitées.
Cette approche donne de bons résultats dans certaines configurations où l'on recherche par exemple à projeter sur une scène de plus de 180 degrés, et plus particulièrement avec une scène occupant jusqu'à 360 degrés. Par contre, le système est relativement complexe et coûteux et implique une phase d'installation longue et fastidieuse. Ce type de système est donc avant tout susceptible d'intéresser les utilisateurs professionnels. [0006]II existe donc un besoin pour un procédé et système plus simple d'utilisation, plus facile à installer, et qui soit à la portée des utilisateurs non spécialistes. [0007]Pour pallier ces différents inconvénients, l'invention prévoit différents moyens techniques.
EXPOSE DE L'INVENTION [0008] Tout d'abord, un premier objet de l'invention consiste à prévoir un procédé de projection d'images sur une scène comportant une pluralité de plans distincts dont au moins un comprend un écran. [0009]Un autre objet de l'invention consiste à prévoir un procédé de projection d'images sur des scènes complexes qui soit simple et rapide à mettre en oeuvre. Cat_hybride-FR - 3 - [0010]Encore un autre objet de l'invention consiste à prévoir un procédé de projection d'images sur des scènes complexes impliquant plusieurs types moyens de visualisation qui soit à la portée d'utilisateurs non spécialisés. [0011]Un autre objet de l'invention consiste à prévoir un système de projection permettant de projeter des images sur une scène complexe impliquant plusieurs types moyens de visualisation, quelle que soit la pièce où l'utilisateur se trouve. [0012]Un autre objet de l'invention consiste à prévoir un système de projection 10 permettant de projeter des images sur une scène complexe impliquant plusieurs types moyens de visualisation, avec un système simple, peu coûteux, facile à installer et à utiliser. [0013]Pour ce faire, l'invention prévoit un procédé comprenant les étapes 15 consistant à: - obtenir au moins une image d'entrée destinée à être projetée dans la scène tridimensionnelle ; - transposer l'image d'entrée en « cubemap »; - obtenir les coordonnées 3D des plans de projection d'une scène 20 tridimensionnelle prévue pour projection des images d'entrée ; - obtenir les coordonnées d'au moins un écran disposé dans un des plans de projection de la scène tridimensionnelle ; - obtenir les caractéristiques de projection des unités de projection ; - sur la base des coordonnées 3D reçues des plans de projection, des 25 coordonnées des écrans et des caractéristiques de projection, générer une scène virtuelle permettant l'affichage sur un écran de configuration de la scène avec les plans de projection et les écrans; - générer une image de paramétrage (par exemple un « shader » ou un mesh ») pour projection dans la scène virtuelle ; 30 - pour chaque unité de projection, effectuer une mise en correspondance entre chaque pixel de l'unité de projection et chaque point des plans de projection de la scène virtuelle ; Cat_hybride-FR -4- - effectuer une mise en correspondance entre chaque pixel des écrans et chaque point des plans de projection de la scène virtuelle ; - pour chaque unité de projection, générer une matrice de transformation basée sur cette mise en correspondance permettant de prendre en compte les spécificités spatiales et géométriques de chacun des plans de projection ; - transformer la ou les images à projeter sur la scène tridimensionnelle avec la ou les matrices correspondantes ; - projeter la ou les images sur les plans de la scène complexe réelle et afficher la zone correspondante de l'image par l'entremise d'au moins un écran. [0014]Un tel procédé permet de projeter des images sur une scène hybride (c'est-à-dire avec zones de projection par projecteur et au moins un écran se substituant au moins partiellement à une zone de projection par projecteur tout en conservant une continuité sensiblement uniforme entre les deux modes d'affichage.
L'utilisateur voit bien la même image, même si celle-ci est partiellement affichée à partir de deux supports différents, préférentiellement un projecteur et un écran. [0015]Un tel procédé permet également de réaliser des projections de façon simple, dans une panoplie de configuration scéniques complexes, permettant ainsi d'effectuer des projections dans pratiquement toute pièce, même si les murs forment une géométrie complexe. Le procédé fonctionne avec un ou plusieurs projecteurs. Aucun miroir n'est requis pour la mise en oeuvre, rendant l'installation simple et rapide, et à la portée des utilisateurs non spécialisés. [0016]De manière avantageuse, la matrice de transformation est basée sur les coordonnées 3D des plans de projection de la scène de projection, et avantageusement sur les caractéristiques de projection de l'unité de projection. [0017]Selon un mode de réalisation avantageux, l'étape de mise en 30 correspondance comporte une phase de prise en compte de la position et de l'orientation de l'utilisateur. Cat_hybride-FR - 5 - [0018]L'image d'entrée est de préférence fournie par une application comprenant des contenus en 3D. [0019]Les caractéristiques de projection comprennent par exemple le nombre, le type, les positions et angles de projection de chacune des unités de projection. [0020]Selon un mode de réalisation avantageux, un des écrans est monté mobile dans la scène. [0021]De manière avantageuse, l'étape de mise en correspondance comporte une phase de prise en compte de la position et de l'orientation des écrans mobiles. [0022]L'invention prévoit également un système de projection d'images sur une 15 scène tridimensionnelle complexe comprenant une pluralité de plans de projection distincts comprenant : - au moins une unité de projection ; - -au moins un écran, prévu pour disposition sur un des plans de projection ; - un ensemble modulaire de projection en immersion comprenant : 20 - un module de mise en correspondance entre les pixels des images d'entrée et les points de projection répartis sur une pluralité de plans de projection d'une scène tridimensionnelle complexe, conçu pour effectuer une mise en correspondance entre chaque pixel de l'unité de projection et chaque point des plans de projection de la scène de projection et entre chaque pixel de l'écran et 25 chaque point du plan de projection sur lequel l'écran est disposé, et générer une matrice de transformation pour chacun des moyens de projection ou écran, basée sur cette mise en correspondance ; - un module de gestion d'images, conçu pour obtenir une pluralité d'images d'entrée destinées à être projetées dans la scène tridimensionnelle complexe et 30 appliquer les matrices de transformation sur les images d'entrée ; - un module (17) de gestion d'écrans conçu pour transmettre aux écrans les données d'affichage ; Cat_hybride-FR -6- - la ou les unités de projection permettant d'effectuer la projection des images transformées sur les plans de projection de la scène tridimensionnelle complexe. [0023]Une telle architecture permet de réaliser un système de projection relativement peu coûteux, peu encombrant et donc très facile à transporter, facile à installer et à utiliser. La lentille est avantageusement adaptée pour une projection à grand angle, par exemple jusqu'à sensiblement 180 degrés. Le système fonctionne de façon autonome, sans miroir (externe au projecteur). [0024] De manière avantageuse, le système de projection d'images comprend par ailleurs un module de gestion de scène, conçu pour générer une scène virtuelle permettant l'affichage sur un écran de configuration de la scène tridimensionnelle complexe avec les plans de projection, générer un « shader » ou « mesh » pour projection dans la scène virtuelle et mettre à disposition de l'utilisateur un module d'ajustement, conçu pour ajuster la mise en correspondance entre les pixels projetés et les plans de projection de la scène tridimensionnelle complexe. [0025]De manière avantageuse, l'unité de projection comprend par ailleurs au moins un modulateur spatial de lumière et une lentille de projection à sensiblement grand angle, préférentiellement une lentille de type « fisheye ». [0026]De manière avantageuse, le système de projection comprend par ailleurs un ensemble de « tracking », permettant d'obtenir les coordonnées spatiales de position du ou des écrans. [0027]L'ensemble de tracking comporte de préférence au moins un capteur de position de l'objet mobile. Cat_hybride-FR 30 DESCRIPTION DES FIGURES [0028]Tous les détails de réalisation sont donnés dans la description qui suit, complétée par les figures 1 à 11, présentées uniquement à des fins d'exemples non limitatifs, et dans lesquelles : - la figure 1 est une représentation schématique illustrant un système de projection panoramique selon l'art antérieur; - la figure 2 est une représentation schématique illustrant un système de projection d'images sur une scène complexe à plans multiples selon l'invention; - les figures 3 et 4 sont des représentations schématiques illustrant des exemples de types de scènes complexes avec 4 plans distincts à la figure 3 et 5 plans distincts à la figure 4; - la figure 5 montre un organigramme fonctionnel présentant les phases principales du procédé de projection d'images selon l'invention ; - les figures 6 et 7 représentent schématiquement l'image destinée à être projetée après mise en forme en « cubemap » (figure 6), la « cubemap » étant présentée en format déplié à la figure 7; - les figures 8A et 8B montrent des exemples d'affichages d'une scène viruelle (figure 8A) et d'une matrice de transformation correspondante (figure 8B) ; - la figure 9 montre un organigramme fonctionnel présentant les étapes détaillées du procédé de projection d'images selon l'invention ; - la figure 10 est une représentation schématique d'un ensemble modulaire de projection en immersion ; - les figures 11A et 11B sont des représentations schématiques d'exemples de projecteurs intégrant un ensemble modulaire de projection en immersion.
Cat_hybride-FR -8 DESCRIPTION DETAILLEE DE L'INVENTION [0029]Par « scène tridimensionnelle complexe », on entend une scène comportant une pluralité de plans distincts, la distinction provenant soit de l'angle entre les plans, leurs positions relatives, leur orientation, ou plusieurs de ces facteurs simultanément. (0030] Par « plans distincts » on entend des surfaces sensiblement planes, jointes 10 ou non, disposées selon des orientations et/ou positions différentes pour au moins deux des plans. [0031]La figure 2 illustre un exemple de mise en oeuvre de l'invention dans laquelle un projecteur 20 permet de projeter une image ou une succession 15 d'images sur une scène tridimensionnelle complexe 30. Dans cet exemple, la scène tridimensionnelle complexe 30 comprend un plan de projection 31 face au projecteur 20, un second plan de projection 32 orienté perpendiculairement au plan 31. Dans cet exemple, pour qu'une image puisse être projetée sans distorsion, celle-ci doit être adéquatement traitée pour que la zone de projection 20 correspondant au plan latéral 32 soit projetée de façon à prendre en compte les spécificités de ce plan. La scène montre par ailleurs un écran 33 posé contre un de plans de projection. [0032]Les figures 3 et 4 montrent de façon schématique d'autres exemples de 25 configurations de scènes complexes susceptibles d'être mises en oeuvre dans le cadre de la présente invention. L'exemple de la figure 3 prend en compte quatre plans distincts comprenant un plan face au projecteur 31, deux plans latéraux opposés 32 et 33 ainsi qu'un plan inférieur 34 correspondant au sol. L'exemple de la figure 4 est similaire à celui de la figure 3, avec un plan supplémentaire 35 pour 30 le plafond. Cat_hybride-FR - 9 - [0033]La figure 5 présente un organigramme fonctionnel illustrant sommairement les principales phases du procédé selon l'invention. Ce procédé est ensuite décrit plus en détails avec les figures 6 à 9. Le procédé permet d'utiliser une image source en provenance d'une application dans laquelle de telles images sont générées ou tout au moins mises à disposition (étape 44). Cette image est ensuite mise en forme en format « cubemap » (étape 45). Les coordonnées spatiales de la scène de projection sont prises en compte à l'étape 46. Ces coordonnées comprennent de préférence les données correspondant aux multiples plans distincts de la scène complexe. Ces coordonnées peuvent être obtenues de diverses façons connues, comme par exemple à l'aide de mesures effectuées à l'aide de télémètres laser ou autres. Une transformation, avantageusement sous forme de matrice (étape 47), est ensuite appliquée à l'image préalablement reçue (étape 48). L'image transformée est ainsi adaptée pour projection (étape 49) dans une scène complexe telle qu'une des scènes illustrées aux figures 2, 3 ou 4. Les mêmes phases peuvent aussi être mises en oeuvre pour une succession d'images comme par exemple pour une projection vidéo. [0034]Les figures 6 et 7 illustrent la mise en forme de l'image d'entrée sous forme de « cubemap » 40. L'image est alors en coordonnées x, y, z, tel que montré à la figure 6. Cette même image peut également être mise en forme en cube éclaté 41, dans cet exemple en forme de « T », tel que montré à la figure 7. Les deux figures montrent les multiples faces de l'image, depuis un point d'observation situé à l'intérieur du cube. Les faces sont identifiées en langue anglaise, comme il est d'usage en traitement d'images : « front » (avant), « top » (dessus), « bottom » (dessous), « left » (gauche), « right » (droite), et « back » (arrière). [0035]La figure 8A illustre schématiquement un exemple de scène virtuelle 50, avantageusement mise en oeuvre pour présentation sur un écran de travail. Cette scène virtuelle est une représentation, en coordonnées U-V de la scène tridimensionnelle complexe, telle qu'une scène 30 dans l'exemple de la figure 2. Les multiples plans distincts de la scène réelle sont reproduits dans la scène virtuelle. Par exemple, le plan du fond 52 de la scène est représenté en teinte Cat_hybride-FR - 10 - foncée. Les autres plans (en couleur dans les images d'origine), sont présentés en teinte claire. Le projecteur 51 prévu pour assurer la projection dans la scène réelle est également simulé dans la scène virtuelle. La figure 8A montre aussi les rayons émanant du projecteur 51 et se dirigeant vers les différents plans. La scène virtuelle permet à l'utilisateur d'une part de visualiser et paramétrer le système de projection, afin de bien prendre en compte les données de tous les plans de projection distincts. Une représentation d'un écran virtuel 53 est également visible à la figure 8A. [0036]La figure 8B, en étroite relation avec la figure 8A, illustre la matrice de transformation résultante. On observe les secteurs correspondants aux différents plans de projection : le plan 61 face au projecteur, les plans latéraux 62 et 63, le plan 65 correspondant au plafond, le plan 64 correspondant au sol. Le décrochement mural de la scène réelle a donné lieu au secteur 66, voisin du secteur 65, mais avec un léger décalage par rapport à ce dernier. La figure 8B montre également un emplacement « vide » 67 correspondant à l'emplacement où les pixels seront affichés par un écran en substitution du projecteur. Ainsi, sur la matrice de transformation du projecteur, la zone de l'écran ne comporte pas de données. Ces données sont prévues dans une matrice spécifique à l'écran en question. [0037] La figure 9 présente les étapes détaillées du procédé de projection d'images selon l'invention. Les premières étapes sont en relation avec les acquisitions de données utiles à la mise en oeuvre du procédé. Tout d'abord, en relation avec la ou les images à projeter sur la scène. A l'étape 70, la ou les images d'entrée sont obtenues, par exemple d'un système ou application externe utilisant ou générant des images, de préférence des images 3D. Les images sont ensuite transposées en format « cubemap » (étape 71). Les données en relation avec les coordonnées de la scène de projection sont également obtenues, en particulier les données permettant de définir l'ensemble des plans distincts constitutifs de la scène à l'étape 72. L'étape 72' prévoit l'obtention des données pour affichage à l'écran. Les caractéristiques de projection, telles que le nombre Cat_hybride-FR de projecteurs, leurs coordonnées, leurs orientation et angle de projection sont par ailleurs obtenues à l'étape 73. [0038]Ces données permettent de générer une scène virtuelle (étape 74), telle que celle illustrée dans l'exemple de la figure 8A. Pour faciliter l'ajustement précis de l'image dans la scène virtuelle, une image de travail (« shader » ou « mesh ») est avantageusement utilisée (étape 75). Dans l'exemple illustré à la figure 8A, l'image de paramétrage ou de travail est ajustée à la configuration de la scène virtuelle à l'aide d'une représentation virtuelle d'une pluralité de rayons en provenance du projecteur virtuel. En variante, une grille (« mesh » en anglais) peut également être utilisée. L'utilisateur utilise la représentation de la scène virtuelle pour s'assurer d'une correspondance la plus exacte possible entre l'image de paramétrage et les plans de la scène sur lesquels l'image doit être projetée (étape 76). Cette mise en correspondance peut être effectuée par tout moyen classique tel qu'une souris, des curseurs, un pavé tactile, ou autre. Lorsque la correspondance est optimale, une matrice de transformation d'image est obtenue à l'étape 77. Cette matrice pourra permettre de projeter des images dans la scène réelle tant que les paramètres des plans de projection et des projecteurs restent inchangés. (0039] Le procédé selon l'invention permet donc de générer un mode de correspondance entre chaque pixel du périphérique d'affichage et sa position 3D dans l'espace de projection. La matrice de transformation permet de formaliser le lien entre chaque coordonnée U, V de la texture d'affichage, qui est associé à une coordonnée 3D (x, y, z) de la scène. L'équation ci-dessous permet d'exprimer ce lien entre les systèmes de coordonnées : [0040]La figure 10 est une représentation schématique d'un ensemble modulaire 10 de projection en immersion selon l'invention. Cet ensemble comporte un Cat_hybride-FR - 12 - module 12 de mise en correspondance entre les pixels des images d'entrée et les points de projection répartis sur une pluralité de plans de projection d'une scène tridimensionnelle complexe, conçu pour effectuer une mise en correspondance entre chaque pixel de l'unité de projection et chaque point des plans de projection de la scène de projection et générer une matrice de transformation pour chacun des moyens de projection, basée sur cette mise en correspondance. L'ensemble modulaire 10 de projection comprend également un module 13 de gestion d'images, conçu pour obtenir une pluralité d'images d'entrée destinées à être projetées dans la scène tridimensionnelle complexe et appliquer les matrices de transformation sur les images d'entrée. L'ensemble modulaire 10 comprend enfin des blocs mémoires 15 et 16 pour stocker les données utiles telles que celles de la matrice de transformation (bloc mémoire 15), et les données des images (bloc mémoire 16). [0041]Selon un mode de réalisation avantageux, l'ensemble modulaire 10 de projection comprend également un module 14 de gestion de scène, conçu pour générer une scène virtuelle permettant l'affichage sur un écran de configuration de la scène tridimensionnelle complexe avec les plans de projection, générer un « shader » ou « mesh » pour projection dans la scène virtuelle et mettre à disposition de l'utilisateur un module d'ajustement, conçu pour ajuster la mise en correspondance entre les pixels projetés et les plans de projection de la scène tridimensionnelle complexe. L'ensemble modulaire comprend par ailleurs un module 17 de gestion d'écrans conçu pour transmettre aux écrans les données d'affichage. (0042] L'ensemble 10 de projection est mis en oeuvre au moyen d'un microprocesseur 11 opérant à l'aide d'instructions spécifiquement prévues pour la mise en oeuvre du procédé de projection préalablement décrit. [0043]Les figures 11A et 11B sont des représentations schématiques d'exemple d'unités de projection 20 selon l'invention, assimilables, dans ces exemples, à des projecteurs. Dans l'exemple de réalisation de la figure 11A, le projecteur Cat_hybride-FR - 13 - comprend une source lumineuse 20 agencée en coopération optique avec un modulateur spatial de lumière (en anglais SLM pour « spatial light modulator ») de type connu et une roue de couleurs 23, également de type connu, comme par exemple de type RGB. Une lentille 24 adaptée complète la partie optique du projecteur. Selon un mode de réalisation avantageux, la lentille 24 permet de projeter avec un grand angle, de préférence jusqu'à environ 180 degrés. Ce type de lentille est couramment désigné par l'expression en langue anglaise « fisheye » (pour « oeil de poisson). [0044] La figure 11B illustre un autre exemple de réalisation d'un projecteur, pourvu d'un agencement optique comprenant des cubes séparateurs 25 ou lames séparatrices, une pluralité de modulateurs spatiaux de lumière ou SLM, chacun dédié au traitement d'une couleur spécifique, dans cet exemple rouge, vert et bleu, soit RGB (pour « red », « green », « blue » en anglais). Selon un mode de réalisation avantageux, la lentille 24 permet de projeter avec un grand angle, de préférence jusqu'à environ 180 degrés, tel que préalablement décrit en relation avec la figure 11A. [0045]Un ensemble modulaire 10 de projection en immersion est avantageusement intégré à l'unité de projection, tel qu'illustré dans les exemples des figures 11A et 11B. Cette intégration permet de constituer un produit complet et autonome. En variante, cet ensemble modulaire est avantageusement prévu indépendamment de l'unité de projection 20, comme par exemple intégré à un ordinateur (fixe, portable ou en format tablette) ou une console de jeu. [0046]Le système de projection d'images selon l'invention comprend par ailleurs un ensemble de « tracking » permettant d'obtenir les coordonnées spatiales de position du ou des écrans. L'ensemble de « tracking » comporte au moins un capteur de position de l'objet mobile. [0047] Les Figures et leurs descriptions faites ci-dessus illustrent l'invention plutôt qu'elles ne la limitent. En particulier, l'invention et ses différentes variantes Cat_hybride-FR - 14 - viennent d'être décrites en relation avec un exemple particulier comportant une scène avec sept plans de projections à prendre en compte, et un projecteur. [0048] Néanmoins, il est évident pour un homme du métier que l'invention peut être étendue à d'autres modes de réalisation dans lesquels, en variantes, on prévoit une quasi-infinité de géométries de scènes. De même, il est possible d'utiliser une pluralité de projecteurs, typiquement 2, 3, 4, ou plus. Cat_hybride-FR