FR3084192A1 - Procede de rendu d'une scene tridimensionnelle, programme d'ordinateur et dispositif correspondants - Google Patents

Procede de rendu d'une scene tridimensionnelle, programme d'ordinateur et dispositif correspondants Download PDF

Info

Publication number
FR3084192A1
FR3084192A1 FR1856732A FR1856732A FR3084192A1 FR 3084192 A1 FR3084192 A1 FR 3084192A1 FR 1856732 A FR1856732 A FR 1856732A FR 1856732 A FR1856732 A FR 1856732A FR 3084192 A1 FR3084192 A1 FR 3084192A1
Authority
FR
France
Prior art keywords
neuron
contribution
estimator
parameter
contribution function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1856732A
Other languages
English (en)
Other versions
FR3084192B1 (fr
Inventor
Mohamed El Amine Seddik
Mohamed Tamaazousti
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Original Assignee
Commissariat a lEnergie Atomique CEA
Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Commissariat a lEnergie Atomique CEA, Commissariat a lEnergie Atomique et aux Energies Alternatives CEA filed Critical Commissariat a lEnergie Atomique CEA
Priority to FR1856732A priority Critical patent/FR3084192B1/fr
Priority to PCT/FR2019/051691 priority patent/WO2020016501A1/fr
Priority to EP19790621.7A priority patent/EP3824444A1/fr
Publication of FR3084192A1 publication Critical patent/FR3084192A1/fr
Application granted granted Critical
Publication of FR3084192B1 publication Critical patent/FR3084192B1/fr
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00Three-dimensional [3D] image rendering
    • G06T15/06Ray-tracing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)

Abstract

Ce procédé comporte, pour chacun d'au moins un pixel (p) d'une image (206) représentant une vue d'une scène tridimensionnelle (200) : la détermination d'une fonction de contribution ; une première sélection aléatoire de premiers chemins de lumière ; l'évaluation d'un estimateur d'une intégrale de la fonction de contribution, l'estimateur comportant un estimateur de Monte Carlo utilisant les chemins de lumière sélectionnés. Le procédé comporte en outre la détermination d'au moins un paramètre d'une fonction de contribution approchée, de sorte que la fonction de contribution approchée donne une contribution approchée d'un chemin de lumière à la valeur du pixel (p), la fonction de contribution approchée comportant un réseau de neurones comportant une unique couche cachée et des connexions entre la couche cachée et la couche de sortie auxquelles des poids dépendant du ou des paramètres sont respectivement associés. L'estimateur comporte en outre une moyenne de contributions approchées données par la fonction de contribution approchée appliquée à au moins une partie des premiers chemins de lumière.

Description

La présente invention concerne un procédé de rendu d’une scène tridimensionnelle et des programme d’ordinateur et dispositif correspondants.
L'invention s’applique plus particulièrement à un procédé de rendu d’une scène tridimensionnelle, comportant, pour chacun d’au moins un pixel d’une image représentant une vue de la scène tridimensionnelle :
la détermination, à partir de la scène tridimensionnelle et de paramètres de la vue, d’une fonction de contribution donnant une contribution d’un chemin de lumière partant d’une source de lumière de la scène tridimensionnelle, à une valeur du pixel, une première sélection aléatoire de premiers chemins de lumière, et l’évaluation d’un estimateur d’une intégrale de la fonction de contribution, l’estimateur comportant un estimateur de Monte Carlo utilisant les premiers chemins de lumière.
L’estimateur de Monte Carlo présente une variance qui diminue avec le nombre de chemins de lumière aléatoires utilisés. Cette variance est responsable d’instabilités spatiale et temporelle lors du rendu. En effet, pour l’instabilité spatiale, deux pixels dont les valeurs devraient être identiques ou proches (par exemple deux pixels adjacents dans l’image) sont estimés à partir de chemins de lumière aléatoires pouvant être différents, de sorte que les estimations peuvent être différentes, d’autant plus que la variance est élevée. Pour l’instabilité temporelle, dans le cas d’une vidéo, un même pixel devrait souvent avoir la même valeur ou des valeurs proches d’une image à la suivante. Or, comme sa valeur est à chaque fois estimée à partir de chemins de lumière aléatoires pouvant être différents d’une image à la suivante, sa valeur peut varier d’une image à la suivante, d’autant plus que la variance est élevée.
Ainsi, pour limiter les instabilités spatiale et temporelle, il est connu d’augmenter le nombre de chemins de lumière aléatoires utilisés par l’estimateur de Monte Carlo. Cette solution présente néanmoins comme inconvénient d’augmenter la complexité des calculs des valeurs des pixels, et donc d’augmenter le temps de calcul et/ou la puissance du matériel nécessaire pour réaliser ces calculs.
Il peut ainsi être souhaité de prévoir un procédé de rendu d’une scène tridimensionnelle qui permette de s’affranchir d’au moins une partie des problèmes et contraintes précités.
Il est donc proposé un procédé de rendu d’une scène tridimensionnelle, comportant, pour chacun d’au moins un pixel d’une image représentant une vue de la scène tridimensionnelle :
la détermination, à partir de la scène tridimensionnelle et de paramètres de la vue, d’une fonction de contribution donnant une contribution d’un chemin de lumière partant d’une source de lumière de la scène tridimensionnelle, à une valeur du pixel, une première sélection aléatoire de premiers chemins de lumière, et l’évaluation d’un estimateur d’une intégrale de la fonction de contribution, l’estimateur comportant un estimateur de Monte Carlo utilisant les premiers chemins de lumière, comportant en outre :
la détermination d’au moins un paramètre d’une fonction de contribution approchée, de sorte que la fonction de contribution approchée donne une contribution d’un chemin de lumière à la valeur du pixel proche de la contribution donnée par la fonction de contribution, la fonction de contribution approchée comportant un réseau de neurones comportant :
• une couche d’entrée d’au moins un neurone, • une unique couche cachée d’au moins un neurone, • une couche de sortie d’au moins un neurone • des connexions entre le ou les neurones de la couche d’entrée et le ou les neurones de la couche cachée auxquelles des poids sont respectivement associés, ces poids étant indépendants du ou des paramètres, et • des connexions entre le ou les neurones de la couche cachée et le ou les neurones de la couche de sortie auxquelles des poids dépendant du ou des paramètres sont respectivement associés, et dans lequel l’estimateur comporte en outre une moyenne de contributions données par la fonction de contribution approchée appliquée à au moins une partie des premiers chemins de lumière.
En effet, la présence dans l’estimateur de l’invention, noté Ê, des contributions approchées permet d’obtenir une variance réduite par rapport à la variance de l’estimateur de Monte Carlo seul. L’utilisation de l’estimateur Ê permet donc d’obtenir une plus grande stabilité temporelle et spatiale lors du rendu que l’utilisation de l’estimateur de Monte Carlo seul. En outre, le choix de la fonction de contribution approchée sous la forme d’un réseau de neurones comportant une unique couche cachée et dans lequel seuls les poids des connexions de sortie (entre la couche cachée et la couche de sortie) sont paramétrés, facilite la détermination du ou des paramètres pour que la fonction de contribution approchée soit proche de la fonction de contribution.
De façon optionnelle, le procédé comporte en outre une deuxième sélection aléatoire, indépendante de la première sélection, de deuxièmes chemins de lumière, et le ou les paramètres de la fonction de contribution approchée sont déterminés à partir des deuxièmes chemins de lumière.
De façon optionnelle également, la détermination du ou des paramètres est réalisée de manière à minimiser une distance entre la fonction de contribution approchée et la fonction de contribution.
De façon optionnelle également, la distance utilise les deuxièmes chemins de lumière.
De façon optionnelle également, la distance comporte la somme des carrés des différences entre la fonction de contribution approchée et la fonction de contribution pour les deuxièmes chemins de lumière.
De façon optionnelle également, la distance comporte en outre un paramètre de régularisation et la détermination du ou des paramètres comporte la détermination du paramètre de régularisation, puis la détermination du ou des paramètres en utilisant le paramètre de régularisation déterminé.
De façon optionnelle également, l’estimateur peut s’écrire matriciellement sous la forme A[Im - M]B, où Im est une matrice identité de taille m, A et B sont des vecteurs et M est une matrice dépendant du paramètre de régularisation, et le paramètre de régularisation est déterminé de sorte que la valeur propre maximale de M présente au plus un écart prédéfini avec 1.
De façon optionnelle également, les poids associés aux connexions entre le ou les neurones de la couche d’entrée et le ou les neurones de la couche cachée sont déterminés de manière aléatoires.
De façon optionnelle également, l’estimateur comporte en outre une espérance de la fonction de contribution approchée.
Il est également proposé un programme d’ordinateur téléchargeable depuis un réseau de communication et/ou enregistré sur un support lisible par ordinateur et/ou exécutable par un processeur, comprenant des instructions pour l’exécution des étapes d’un procédé de rendu d’une scène tridimensionnelle selon l’invention, lorsque ledit programme est exécuté sur un ordinateur.
II est également proposé un dispositif de rendu d’une scène tridimensionnelle, comportant, pour chacun d’au moins un pixel d’une image représentant une vue de la scène tridimensionnelle :
des moyens de détermination, à partir de la scène tridimensionnelle et de paramètres de la vue, d’une fonction de contribution donnant une contribution d’un chemin de lumière partant d’une source de lumière de la scène tridimensionnelle, à une valeur du pixel, des moyens de réalisation d’une première sélection aléatoire de premiers chemins de lumière, et des moyens d’évaluation d’un estimateur d’une intégrale de la fonction de contribution, l’estimateur comportant un estimateur de Monte Carlo utilisant les premiers chemins de lumière, comportant en outre :
des moyens de détermination d’au moins un paramètre d’une fonction de contribution approchée, de sorte que la fonction de contribution approchée donne une contribution d’un chemin de lumière à la valeur du pixel (p) proche de la contribution donnée par la fonction de contribution, la fonction de contribution approchée comportant un réseau de neurones comportant :
• une couche d’entrée d’au moins un neurone, • une unique couche cachée d’au moins un neurone, • une couche de sortie d’au moins un neurone • des connexions entre le ou les neurones de la couche d’entrée et le ou les neurones de la couche cachée auxquelles des poids sont respectivement associés, ces poids étant indépendants du ou des paramètres, et • des connexions entre le ou les neurones de la couche cachée et le ou les neurones de la couche de sortie auxquelles des poids dépendant du ou des paramètres sont respectivement associés, et dans lequel l’estimateur comporte en outre une moyenne de contributions données par la fonction de contribution approchée appliquée à au moins une partie des premiers chemins de lumière.
L’invention sera mieux comprise à l’aide de la description qui va suivre, donnée uniquement à titre d’exemple et faite en se référant aux dessins annexés dans lesquels :
- la figure 1 représente schématiquement la structure générale d’un dispositif de rendu de scène tridimensionnelle, selon un mode de réalisation de l’invention,
- la figure 2 illustre un exemple de scène tridimensionnelle, et
- la figure 3 illustre les étapes successives d’un procédé de rendu de scène tridimensionnelle, selon un mode de réalisation de l’invention.
En référence à la figure 1, un dispositif 100 de rendu de scène tridimensionnelle va à présent être décrit.
Dans l’exemple décrit, le dispositif 100 est un dispositif informatique comportant une unité centrale de traitement 102, telle qu’un microprocesseur, et une mémoire 104 dans laquelle sont enregistrés un programme d’ordinateur 106, des données 108 décrivant une scène tridimensionnelle dans un espace tridimensionnel virtuel, et des données 110 représentant des paramètres d’une vue souhaitée de cette scène tridimensionnelle, cette vue étant destinée à être réalisée par une caméra (virtuelle). Les paramètres de la vue incluent généralement des paramètres extrinsèques à la caméra (par exemple, une position et une orientation de la caméra dans l’espace tridimensionnel), ainsi que des paramètres intrinsèques à la caméra (par exemple, une focale, un pixel central, une distorsion optique, etc. de la caméra).
Pour chacune des étapes du procédé de rendu de scène tridimensionnelle qui sera décrit plus loin, le programme d’ordinateur 106 comporte des instructions pour la réalisation de cette étape par l’unité centrale de traitement 102.
De manière générale, ces instructions peuvent être regroupées ou séparées selon toutes les combinaisons possibles en un ou plusieurs programmes d’ordinateur. Leur distinction est en outre purement fonctionnelle. Enfin, leurs fonctions pourraient aussi être au moins en partie micro programmées ou micro câblées dans des circuits intégrés dédiés. Ainsi, en variante, le dispositif informatique 100 incluant l’unité de traitement 102 pourrait être remplacé par un dispositif électronique composé uniquement de circuits numériques (sans programme d’ordinateur) pour la réalisation des mêmes actions.
En référence à la figure 2, un exemple de scène tridimensionnelle 200 est illustré. Dans cet exemple, la scène 200 comporte un seul objet, un cube 202, et une seule source de lumière 204, ayant tous les deux des positions prédéfinies dans un espace tridimensionnel virtuel.
Une image 206 destinée à représenter une vue de la scène 200 est également illustrée sur la figure 2. L’image 206 comporte une pluralité de pixels, parmi lesquels un pixel p est représenté.
De manière générale, chaque source de lumière de la scène émet de la lumière qui peut atteindre l’image soit directement, soit indirectement après avoir interagi avec les objets de la scène, par exemple après réflexion sur un ou plusieurs objets ou bien après déviation par un ou plusieurs objets. Par exemple, sur la figure 2, des chemins de lumière 208, 210 partent de la source de lumière 204 et atteignent le pixel p.
En référence à la figure 3, un procédé 300 de rendu de scène tridimensionnelle va à présent être décrit. Dans l’exemple décrit, le procédé 300 réalise un rendu de la scène 200 de la figure 2. Cependant, le procédé 300 pourrait être utilisé pour réaliser le rendu d’autres scènes tridimensionnelles. En outre, le procédé 300 tel que décrit est mis en œuvre par le dispositif 100 de la figure 1, mais il pourrait être mis en œuvre par d’autres moyens.
Au cours d’une étape 302, le programme 106 récupère la scène 200 à rendre et les paramètres de la vue souhaitée, par exemple en lisant les données 108, 110 enregistrées dans la mémoire 104.
Au cours d’une étape 304, le programme 106 réalise un rendu de la scène 200 afin de fournir l’image 206 représentant une vue de cette scène 200.
Pour chaque pixel p de l’image 206, l’étape 304 comporte les étapes 306 et 308 suivantes.
Au cours d’une étape 306, une fonction <p(x) est déterminée à partir de la scène 200, des paramètres de la vue souhaitée et du pixel p considéré. La fonction φ(χ) est une fonction destinée à recevoir en entrée un chemin de lumière x partant d’une source de lumière de la scène 200 (par exemple, la source de lumière 204) et arrivant au pixel p, et à fournir une contribution de ce chemin de lumière x à la valeur du pixel p. Les chemins de lumière 208, 210 de la figure 2 sont des exemples de tels chemins de lumière. La fonction φ sera ainsi appelée par la suite « fonction de contribution ».
La valeur théorique du pixel p est égale à l’intégrale de la fonction de contribution <p(x) sur tous les chemins de lumière x possibles arrivant au pixel p. Ainsi, l’intégrale Ip suivante donne la valeur théorique du pixel p :
Ip = j <p(x)p(dx)
J-b où B est l’ensemble des chemins de lumière possibles arrivant au pixel p et p(dx) une mesure associée à l’ensemble B.
Théoriquement, l’ensemble B comporte un nombre infini de chemins de lumière. En outre, la fonction de contribution φ(χ) n’est généralement pas intégrable analytiquement. Ainsi, l’intégrale Ip est très difficile à calculer de manière exacte et il faut passer par un estimateur de cette intégrale Ip.
Un exemple de fonction <p(x) pouvant être utilisée dans la présente invention est donné dans l’article « Sequential Monte Carlo Instant Radiosity », de Hedman et al., 2016, Proceeding I3D '16 Proceedings of the 20th ACM SIGGRAPH Symposium on Interactive 3D Graphics and Games, pages 121-128.
Au cours d’une étape 308, une valeur du pixel p est calculée à partir d’un estimateur Ê de l’intégrale Ip.
Cet estimateur Ê est égal à la somme, d’une part, d’un estimateur de Monte Carlo E de l’intégrale Ip et, d’autre part, d’un terme stabilisateur T destiné, comme cela sera expliqué par la suite à améliorer la stabilité temporelle et spatiale de l’estimation :
Ê = E + T
Comme cela est connu en soi, un estimateur de Monte Carlo est conçu pour estimer l’intégrale Ip en utilisant un nombre n prédéfini de chemins de lumière {xih=i...n sélectionnés aléatoirement, par échantillonnage statistique, dans l’ensemble B. Par exemple, un estimateur de Monte Carlo E réalise une moyenne des contributions de ces chemins de lumière {%;} à la valeur du pixel p. L’échantillonnage statistique utilise par exemple la méthode, connue en soi, de tirage de rayons (« raytracing >> en anglais).
Dans l’exemple décrit, l’estimateur de Monte Carlo E réalise une moyenne arithmétique des contributions des chemins de lumière {%;} et est ainsi donné par l’équation :
i n
Ε(ίχιϊ) = -Y <p(xd nZ—i i=i
Le terme stabilisateur T utilise au moins une partie des chemins de lumière {%;} utilisés par l’estimateur de Monte Carlo E, de sorte que le terme stabilisateur T présente une certaine corrélation c(T,E) avec l’estimateur de Monte Carlo E.
Dans l’exemple décrit, le terme stabilisateur T est donné de manière générale par l’équation suivante :
T = (1(-7^+μ(7\)) ciE T Ί avec T± une statistique corrélée à l’estimateur de Monte Carlo E, a proche de . 1, vCT-J où c(E,TJ est la corrélation entre E et T\ et vÇTJ est la variance de T±. Par exemple, a est égal à à 10% près, de préférence à 1% près, de préférence encore exactement égal à C(\’T1À a v(Tj
Ce choix de a présente comme avantage de minimiser la variance de Ê, notée v(Ê), pour un Tx donné. En effet, en gardant a quelconque, v(Ê) est donnée par : v(Ê) = v(E) + a2^) - 2a c(E, TJ c(ET Ί qui est une équation du second degré de a admettant un minimum pour a =
En outre, avec a est égal à ^Ε,τ^, la variance de Ê est donnée par :
a v(TZ) K v(Ê) = v(E)(l - c(E,TJŸ de sorte que plus la corrélation c(E,TJ est forte (c’est-à-dire proche de 1) plus la variance v(Ê) est faible (proche de 0).
En outre, dans l’exemple décrit, T± est de la forme suivante :
i n T1=-/ Vm(xd nZ—i i=i <pm est une fonction analytiquement intégrable destinée à être proche de la fonction de contribution φ de manière à donner une contribution approchée d’un chemin de lumière à la valeur du pixel p. La fonction <pm sera ainsi appelée par la suite « fonction de contribution approchée ». Par ailleurs, p(.<Pm) est l’espérance de la fonction de contribution approchée <pm.
Ainsi, dans l’exemple décrit, le terme Tr est égal à une moyenne (moyenne arithmétique dans l’exemple décrit) des contributions approchées des chemins de lumière {%,}.
L’espérance du terme T± est ainsi égale à l’espérance de la fonction de contribution approchée <pm :
(i n\ nZ—i/ i=iz
Le terme stabilisateur T présente donc une espérance nulle :
μ(Τ) = μ + μ(Τι))) = a + μ(μ(7ΐ))) = a(^(TJ + μ^)) = 0
Ainsi, l’espérance de l’estimateur Ê est égale à l’espérance de l’estimateur de Monte Carlo E, de sorte que l’estimation donnée par l’estimateur Ê est, en moyenne, une bonne estimation de l’intégrale Ip.
La fonction de contribution approchée <pm est une fonction paramétrée comportant au moins un paramètre, ce ou ces paramètres étant destinés à être déterminés de manière à minimiser une distance entre la fonction de contribution approchée <pm et la fonction de contribution φ.
En outre, la fonction de contribution approchée <pm comporte un réseau de neurones, comportant des neurones et des connexions entre ces neurones, ces connexions présentant des poids respectifs, dont au moins une partie dépend du ou des paramètres de la fonction de contribution approchée <pm.
Dans l’exemple décrit, la fonction de contribution approchée <pm est formée d’un réseau de neurones dit « de projections de caractéristique aléatoire » (de l’anglais « random feature maps »). Un tel réseau de neurones comporte une couche d’entrée de neurone(s), une unique couche cachée de neurone(s) et une couche de sortie de neurone(s). Les neurones de la couche d’entrée et ceux de la couche cachée sont connectés par des connexions auxquelles des poids mk aléatoires sont respectivement associés. Les neurones de la couche cachée et de la couche de sortie sont connectés par des connexions auxquelles des poids sont respectivement associés, ces derniers dépendant du ou des paramètres de la fonction de contribution approchée <pm.
Ainsi, dans l’exemple décrit, la fonction de contribution approchée <pm est donnée par l’équation :
<ÀnOi) =^=ff(JVTXi)TZA my/N avec :
Z = ^=a(WTX) où X = [%i ... xm] sont m chemins de lumière sélectionnés aléatoirement, m étant aussi le nombre de paramètres, N est le nombre de neurones de la couche cachée, W = [ωχ ... ωΝ] sont les poids des connexions entre la couche d’entrée et la couche cachée, Λ = [λ± ... Am] sont les paramètres, ZA sont les poids des connexions entre la couche cachée et la couche de sortie, et σ étant la fonction d’activation des neurones de la couche cachée.
La fonction d’activation σ peut être n’importe quelle fonction dérivable. Dans l’exemple décrit, la fonction d’activation σ est donnée par l’équation :
σ = [C0S] LsmJ
Le nombre N de neurones de la couche cachée est prédéfini et choisi en fonction de la performance visée.
c(ET Ί
Avec le choix précédent de <pm , il a été trouvé que était égal à 1. Ainsi, a est aussi égal à 1, de sorte que, dans ce cas, l’estimateur Ê est donné par l’équation :
E = E — 7^ + B(Ti)
L’étape 308 comporte les étapes 310 à 320 suivantes.
Au cours d’une étape 310, les poids mk sont calculés de manière aléatoire. Dans l’exemple décrit, les poids mk suivent une loi normale de moyenne nulle et de matrice de covariance Ic = gl où g est un nombre prédéfini et I une matrice identité.
Au cours d’une étape 312, les m chemins de lumière m sont aléatoirement sélectionnés, par échantillonnage statistique, dans l’ensemble B. Ainsi, les chemins de lumière {x7} sont des variables indépendantes et identiquement distribuées. Les chemins de lumière {x7} sont par exemple sélectionnés par la méthode, connue en soi, de tirage de rayons (« ray-tracing » en anglais).
Au cours d’une étape 314, les paramètres A, sont déterminés de manière à minimiser une distance entre la fonction de contribution approchée <pm et la fonction de contribution φ suivant une notion de distance prédéfinie.
Dans l’exemple décrit, la méthode des moindres carrés est utilisée, de sorte que la distance utilisée comporte la somme des carrés des différences entre la fonction de contribution approchée <pm et la fonction de contribution φ pour les chemins de lumière {%,}, et un terme de régularisation. Ainsi, les paramètres A7 sont déterminés de manière à minimiser la distance S donnée par l’équation suivante :
m s = ~ + χΙΙΖΛΙΙ2
7=1 où γ||ZA||2 est le terme de régularisation, γ étant un paramètre de régularisation.
Avec le choix de la fonction de contribution approchée <pm de l’exemple décrit, cette minimisation présente une solution analytique selon laquelle les paramètres A7 sont de la forme suivante :
/1
Λ = [Λ1; ... Am]T = (—ZTZ+ m2Ylm] Φ™ xm ) où Im est la matrice identité de taille m et Φ(,η) = [φ(%ι) ... <p(xm)].
L’optimisation de la distance S revient, matriciellement, à optimiser le problème suivant :
min — λ m
Φ(,η) _—ZTZA m + y||ZA||2
T
En effet, F: A -(φ^ --ztZa) (φ™ --ZtZa) + vZtAtZA est une m \ m / \m J fonction convexe et dérivable en A. Son minimum peut donc être obtenu en annulant son gradient par rapport à A :
/ 1\
VaF(A) =--=ZTZ Φ(ΐη)--ZTZA] + 2vZTZA = 0 mz k m) soit :
/1
A = — ZTZA + m2ylm Φ(ΐη) km/
Ainsi, dans l’exemple décrit, l’étape 314 de détermination des paramètres A,· comporte tout d’abord la détermination du paramètre de régularisation y.
Le paramètre de régularisation γ peut par exemple être trouvé en utilisant la méthode, connue en soi, de validation croisée (« cross-validation » en anglais).
Une méthode alternative peut être utilisée pour déterminer le paramètre de régularisation y. En effet, l’estimateur Ê peut s’écrire matriciellement sous la forme :
Ë = — lm T[lm — Μ]Φ·ιη) n
où :
/1
M = (ZTZ - lm3T) l — ZTZ + rn2y/m km/ avec :
Γ f 1fl
J = ---a(WTx1)Ta(WTx)u(dx), ... , ---a(WTxm)Ta(WTχ)μ(άχ)
U mN J mNJ
Dans ce cas, le paramètre de régularisation y déterminé est celui pour lequel la valeur propre maximale de M est la plus proche possible de 1. En pratique, un paramètre de régularisation y pour lequel la valeur propre maximale de M présente au plus un écart prédéfini avec 1 est choisi. L’écart prédéfini est par exemple d’au plus 10-5, de préférence 10-7, par exemple 10-9.
Cette méthode alternative permet de trouver un paramètre de régularisation γ proche de celui qui aurait été trouvé par la méthode de validation croisée, mais à moindre coût.
Après la détermination du paramètre de régularisation y, les paramètres A, sont déterminés en utilisant le paramètre de régularisation γ déterminé, au moyen de la formule (expliquée plus haut) :
/1
A = \—ZTZA + m2Ylm Φ(ΐη) km /
La matrice ^ZTZA + m2y/m est inversible pour y > 0. Or, il est possible d’exploiter le fait que la matrice M est de la forme Μ = ^ΖΤΖ + k2Im, avec k± et k2 deux constantes, pour inverser la matrice M avec une complexité en o(/V3) où N est le nombre de neurones de la couche cachée. Si la matrice M était de la forme M = krK + k2I, où K est une matrice ne pouvant pas s’écrire sous la forme ZTZ, l’inversion de la matrice M présenterait une complexité en o(m3) où m est le nombre de tirages. Ainsi, si N est inférieur à m, il est possible grâce à l’invention d’exploiter la présence de ZTZ pour diminuer la complexité de l’inversion de la matrice M, et donc de faciliter la détermination des paramètres A,.
Au cours d’une étape 316, l’espérance ρίψη) est calculée. Dans l’exemple décrit, où les poids suivent une loi normale de moyenne nulle et de matrice de [COS1 . , l’espérance μ(φη) est donnée J par l’équation suivante :
JdPm) = rnl·^ {φμ (wTexp(-iWTX))]A où φμ est la fonction caractéristique associée à l’espérance μ.
Au cours d’une étape 318, n chemins de lumière {xi}i=i...n sont aléatoirement sélectionnés par échantillonnage statistique, dans l’ensemble B, indépendamment de la sélection réalisée à l’étape 312. Les chemins de lumière {%,} sont par exemple sélectionnés par la méthode, connue en soi, de tirage de rayons (« ray-tracing >> en anglais).
Au cours d’une étape 320, l’estimateur Ê est évalué à partir des chemins de lumière {%,} sélectionnés à l’étape 318 :
i n £({*(}) = “ Vm&d + JdPm)) i=i et le résultat est assigné comme valeur du pixel p.
Le procédé 300 retourne alors à l’étape 306 pour un nouveau pixel p de l’image 206, jusqu’à ce que les valeurs de tous les pixels de l’image 206 aient été calculées.
Il apparaît clairement qu’un procédé de rendu de scène tridimensionnelle tel que celui décrit précédemment permet d’améliorer la stabilité spatiale et temporelle des valeurs des pixels de l’image.
En outre, il apparaît que les deux points suivants de l’invention sont indépendants l’un de l’autre :
1. L’estimateur Ê est de la forme Ê = E + α(-?ι + ju(T’i)), avec a proche de v(Tx) ’ el
2. ?! est de la forme T± = ^Σΐ=ιΦιη(.χί7 avec Tm un réseau de neurones comportant une unique couche cachée de neurone(s) et où seules les connexions de sortie sont paramétrées.
On notera par ailleurs que l’invention n’est pas limitée au mode de réalisation décrit précédemment. Il apparaîtra en effet à l'homme de l'art que diverses modifications peuvent être apportées au mode de réalisation décrit ci-dessus, à la lumière de l'enseignement qui vient de lui être divulgué. Dans la présentation détaillée de l’invention qui est faite précédemment, les termes utilisés ne doivent pas être interprétés comme limitant l’invention aux modes de réalisation exposés dans la présente description, mais doivent être interprétés pour y inclure tous les équivalents dont la prévision est à la portée de l'homme de l'art en appliquant ses connaissances générales à la mise en oeuvre de l'enseignement qui vient de lui être divulgué.

Claims (11)

  1. REVENDICATIONS
    1. Procédé (300) de rendu d’une scène tridimensionnelle (200), comportant, pour chacun d’au moins un pixel (p) d’une image (206) représentant une vue de la scène tridimensionnelle (200) :
    la détermination (306), à partir de la scène tridimensionnelle (200) et de paramètres de la vue, d’une fonction de contribution donnant une contribution d’un chemin de lumière partant d’une source de lumière (204) de la scène tridimensionnelle (200), à une valeur du pixel (p), une première sélection (318) aléatoire de premiers chemins de lumière, et l’évaluation (320) d’un estimateur d’une intégrale de la fonction de contribution, l’estimateur comportant un estimateur de Monte Carlo utilisant les premiers chemins de lumière, caractérisé en ce qu’il comporte en outre :
    la détermination (314) d’au moins un paramètre d’une fonction de contribution approchée, de sorte que la fonction de contribution approchée donne une contribution d’un chemin de lumière à la valeur du pixel (p) proche de la contribution donnée par la fonction de contribution, la fonction de contribution approchée comportant un réseau de neurones comportant :
    • une couche d’entrée d’au moins un neurone, • une unique couche cachée d’au moins un neurone, • une couche de sortie d’au moins un neurone • des connexions entre le ou les neurones de la couche d’entrée et le ou les neurones de la couche cachée auxquelles des poids sont respectivement associés, ces poids étant indépendants du ou des paramètres, et • des connexions entre le ou les neurones de la couche cachée et le ou les neurones de la couche de sortie auxquelles des poids dépendant du ou des paramètres sont respectivement associés, et en ce que l’estimateur comporte en outre une moyenne de contributions données par la fonction de contribution approchée appliquée à au moins une partie des premiers chemins de lumière.
  2. 2. Procédé (300) selon la revendication 1, comportant en outre une deuxième sélection (312) aléatoire, indépendante de la première sélection (318), de deuxièmes chemins de lumière, et dans lequel le ou les paramètres de la fonction de contribution approchée sont déterminés (314) à partir des deuxièmes chemins de lumière.
  3. 3. Procédé (300) selon la revendication 1 ou 2, dans lequel la détermination (314) du ou des paramètres est réalisée de manière à minimiser une distance entre la fonction de contribution approchée et la fonction de contribution.
  4. 4. Procédé (300) selon les revendications 2 et 3 prises ensemble, dans lequel la distance utilise les deuxièmes chemins de lumière.
  5. 5. Procédé (300) selon la revendication 4, dans lequel la distance comporte la somme des carrés des différences entre la fonction de contribution approchée et la fonction de contribution pour les deuxièmes chemins de lumière.
  6. 6. Procédé (300) selon la revendication 5, dans lequel la distance comporte en outre un paramètre de régularisation et dans lequel la détermination (314) du ou des paramètres comporte la détermination du paramètre de régularisation, puis la détermination du ou des paramètres en utilisant le paramètre de régularisation déterminé.
  7. 7. Procédé (300) selon la revendication 6, dans lequel l’estimateur peut s’écrire matriciellement sous la forme A[Im-M]B, où Im est une matrice identité de taille m, A et B sont des vecteurs et M est une matrice dépendant du paramètre de régularisation y, et dans lequel le paramètre de régularisation γ est déterminé de sorte que la valeur propre maximale de M présente au plus un écart prédéfini avec 1.
  8. 8. Procédé (300) selon l’une quelconque des revendications 1 à 7, dans lequel les poids associés aux connexions entre le ou les neurones de la couche d’entrée et le ou les neurones de la couche cachée sont déterminés (310) de manière aléatoires.
  9. 9. Procédé (300) selon l’une quelconque des revendications 1 à 8, dans lequel l’estimateur comporte en outre une espérance de la fonction de contribution approchée.
  10. 10. Programme d’ordinateur (106) téléchargeable depuis un réseau de communication et/ou enregistré sur un support lisible par ordinateur et/ou exécutable par un processeur, caractérisé en ce qu’il comprend des instructions pour l’exécution des étapes d’un procédé de rendu d’une scène tridimensionnelle (200) selon l’une quelconque des revendications 1 à 9, lorsque ledit programme est exécuté sur un ordinateur.
  11. 11. Dispositif (100) de rendu d’une scène tridimensionnelle (200), comportant, pour chacun d’au moins un pixel (p) d’une image (206) représentant une vue de la scène tridimensionnelle (200) :
    des moyens de détermination, à partir de la scène tridimensionnelle (200) et de paramètres de la vue, d’une fonction de contribution donnant une contribution d’un chemin de lumière partant d’une source de lumière (204) de la scène tridimensionnelle (200), à une valeur du pixel (p), des moyens de réalisation d’une première sélection aléatoire de premiers chemins de lumière, et des moyens d’évaluation d’un estimateur d’une intégrale de la fonction de contribution, l’estimateur comportant un estimateur de Monte Carlo utilisant les premiers chemins de lumière, caractérisé en ce qu’il comporte en outre :
    des moyens de détermination d’au moins un paramètre d’une fonction de contribution approchée, de sorte que la fonction de contribution approchée donne une contribution d’un chemin de lumière à la valeur du pixel (p) proche de la contribution donnée par la fonction de contribution, la fonction de contribution approchée comportant un réseau de neurones comportant :
    • une couche d’entrée d’au moins un neurone, • une unique couche cachée d’au moins un neurone, • une couche de sortie d’au moins un neurone • des connexions entre le ou les neurones de la couche d’entrée et le ou les neurones de la couche cachée auxquelles des poids sont respectivement associés, ces poids étant indépendants du ou des paramètres, et • des connexions entre le ou les neurones de la couche cachée et le ou les neurones de la couche de sortie auxquelles des poids dépendant du ou des paramètres sont respectivement associés, et en ce que l’estimateur comporte en outre une moyenne de contributions données par la fonction de contribution approchée appliquée à au moins une partie des premiers chemins de lumière.
FR1856732A 2018-07-19 2018-07-19 Procede de rendu d'une scene tridimensionnelle, programme d'ordinateur et dispositif correspondants Expired - Fee Related FR3084192B1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
FR1856732A FR3084192B1 (fr) 2018-07-19 2018-07-19 Procede de rendu d'une scene tridimensionnelle, programme d'ordinateur et dispositif correspondants
PCT/FR2019/051691 WO2020016501A1 (fr) 2018-07-19 2019-07-08 Methode de monte carlo et reseau de neurones dans un procede de rendu d'une scene tridimensionnelle, programme d'ordinateur et dispositif correspondants
EP19790621.7A EP3824444A1 (fr) 2018-07-19 2019-07-08 Methode de monte carlo et reseau de neurones dans un procede de rendu d'une scene tridimensionnelle, programme d'ordinateur et dispositif correspondants

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1856732A FR3084192B1 (fr) 2018-07-19 2018-07-19 Procede de rendu d'une scene tridimensionnelle, programme d'ordinateur et dispositif correspondants

Publications (2)

Publication Number Publication Date
FR3084192A1 true FR3084192A1 (fr) 2020-01-24
FR3084192B1 FR3084192B1 (fr) 2020-10-02

Family

ID=63491778

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1856732A Expired - Fee Related FR3084192B1 (fr) 2018-07-19 2018-07-19 Procede de rendu d'une scene tridimensionnelle, programme d'ordinateur et dispositif correspondants

Country Status (3)

Country Link
EP (1) EP3824444A1 (fr)
FR (1) FR3084192B1 (fr)
WO (1) WO2020016501A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115885292A (zh) * 2020-08-20 2023-03-31 国立大学法人东京大学 量子电路生成装置、量子电路生成方法及量子电路生成程序

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118484666B (zh) * 2024-07-16 2024-10-01 浙江兴创新能源有限公司 面向源网荷多元应用的储能电站评估方法及系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "Universal approximation theorem - Wikipedia", 19 June 2018 (2018-06-19), XP055553286, Retrieved from the Internet <URL:https://en.wikipedia.org/w/index.php?title=Universal_approximation_theorem&oldid=846601843> [retrieved on 20190207] *
KEN DAHM ET AL: "Machine Learning and Integral Equations", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 17 December 2017 (2017-12-17), XP080846796 *
PETER HEDMAN ET AL: "Sequential Monte Carlo instant radiosity", INTERACTIVE 3D GRAPHICS AND GAMES, ACM, 2 PENN PLAZA, SUITE 701 NEW YORK NY 10121-0701 USA, 27 February 2016 (2016-02-27), pages 121 - 128, XP058079594, ISBN: 978-1-4503-4043-4, DOI: 10.1145/2856400.2856406 *
SATYLMYS PYNAR ET AL: "A Machine-Learning-Driven Sky Model", IEEE COMPUTER GRAPHICS AND APPLICATIONS, IEEE SERVICE CENTER, NEW YORK, NY, US, vol. 37, no. 1, 1 January 2017 (2017-01-01), pages 80 - 91, XP011639280, ISSN: 0272-1716, [retrieved on 20170116], DOI: 10.1109/MCG.2016.67 *
SHUBHAM JAIN: "An Overview of Regularization Techniques in Deep Learning (with Python code)", 19 April 2018 (2018-04-19), XP055553458, Retrieved from the Internet <URL:https://www.analyticsvidhya.com/blog/2018/04/fundamentals-deep-learning-regularization-techniques/> [retrieved on 20190207] *
SIMON KALLWEIT ET AL: "Deep Scattering: Rendering Atmospheric Clouds with Radiance-Predicting Neural Networks", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 15 September 2017 (2017-09-15), XP080821651, DOI: 10.1145/3130800.3130880 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115885292A (zh) * 2020-08-20 2023-03-31 国立大学法人东京大学 量子电路生成装置、量子电路生成方法及量子电路生成程序

Also Published As

Publication number Publication date
WO2020016501A8 (fr) 2021-10-07
EP3824444A1 (fr) 2021-05-26
FR3084192B1 (fr) 2020-10-02
WO2020016501A1 (fr) 2020-01-23

Similar Documents

Publication Publication Date Title
EP3414701B1 (fr) Procédé et dispositif d&#39;anonymisation de données stockées dans une base de données
EP0749083B1 (fr) Procédé et dispositif de détermination du spectre de fréquence d&#39;un signal
EP3018615B1 (fr) Procede de comparaison de donnees ameliore
US8732223B2 (en) Deriving a function that represents data points
FR3084192A1 (fr) Procede de rendu d&#39;une scene tridimensionnelle, programme d&#39;ordinateur et dispositif correspondants
EP3639140A1 (fr) Dispositif de caracterisation et/ou de modelisation de temps d&#39;execution pire-cas
Zwart et al. Far beyond stacking: fully Bayesian constraints on sub-μJy radio source populations over the XMM-LSS-VIDEO field
EP2980529B1 (fr) Procede d&#39;estimation de la distance d&#39;un objet a un systeme d&#39;imagerie
EP0410826B1 (fr) Procédé itératif d&#39;estimation de mouvement, entre une image de référence et une image courante, et dispositif pour la mise en oeuvre de ce procédé
Nan et al. A Bayesian framework for single image dehazing considering noise
FR3156963A1 (fr) Méthode de super-résolution d’image présentant une robustesse universelle
Singaraju et al. Estimation of alpha mattes for multiple image layers
WO2020157733A1 (fr) Procédé dynamique d&#39;imagerie tridimensionnelle
EP2943935B1 (fr) Estimation de mouvement d&#39;une image
EP3797509B1 (fr) Traitement d&#39;un bruit impulsionnel dans une séquence vidéo
EP3360055B1 (fr) Procede d&#39;optimisation de decomposition d&#39;un signal asynchrone
EP4150574B1 (fr) Procédé de traitement d&#39;images
EP4300129B1 (fr) Procédé de regroupement de descriptions de formes d&#39;ondes
WO2026087114A1 (fr) Procédé et dispositif de représentation de contenu volumétrique
WO2026087113A1 (fr) Procédé et dispositif de représentation par couche de contenu volumétrique
Priego et al. A cellular automata‐based filtering approach to multi‐temporal image denoising
FR3075438A1 (fr) Procede de synthese hybride d&#39;images
FR3142026A1 (fr) Détection d’objets dans une image
FR3126527A1 (fr) Procédé, programme d’ordinateur et dispositif de traitement d’images par extraction de composante(s) principale(s) d’une représentation d’images
FR3094816A1 (fr) Procédé et dispositif d’estimation de valeurs d’une métrique additive

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20200124

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 6

ST Notification of lapse

Effective date: 20250305