EP3668083B1 - Procédé de traitement d'images, dispositif de traitement d'images et appareil de capture d'images - Google Patents

Claims (5)

1. Procédé de traitement d'images comprenant : l'acquisition d'une pluralité d'images de point de vue I_K incluant une première image de point de vue, I ₁, et une seconde image de point de vue, I ₂ ;
   la génération d'une pluralité d'images de point de vue modifiées incluant une première image de point de vue modifiée, MI ₁, et une seconde image de point de vue modifiée, MI ₂, dans lequel les première et seconde images de point de vue modifiées sont générées, pour la position de pixel (j,i) :

   par la génération, pour la première image de point de vue, d'un premier signal de luminosité d'image Y₁ et, pour la seconde image de point de vue, d'un second signal de luminosité d'image Y₂ en tant que $$Y_k\left(j,i\right)=\left(\begin{array}{ccc}{I}_k\left(j-1,i-1\right)& I_k\left(j-1,i\right)& I_k\left(j-1,i+1\right)\\ I_k\left(j,i-1\right)& I_k\left(j,i\right)& I_k\left(j,i+1\right)\\ I_k\left(j+1,i-1\right)& I_k\left(j+1,i\right)& I_k\left(j+1,i+1\right)\end{array}\right)\left(\begin{array}{ccc}\frac{1}{16}& \frac{2}{16}& \frac{1}{16}\\ \frac{2}{16}& \frac{4}{16}& \frac{2}{16}\\ \frac{1}{16}& \frac{2}{16}& \frac{1}{16}\end{array}\right)$$

   par la génération, pour la première image de point de vue, d'un premier signal haute fréquence d'imagerie dY₁(j,i) et, pour la seconde image de point de vue, d'un second signal haute fréquence d'imagerie dY₂(j,i) en tant que ${\mathit{dY}}_k\left(j,i\right)=\left|{\displaystyle \sum _{i_{\mathit{BPF}}=m_{\mathit{BPF}}}^{n_{\mathit{BPF}}}\sum _{i_{\mathit{BPF}}=m_{\mathit{BPF}}}^{m_{\mathit{BFP}}}{F}_{\mathit{SPF}}\left(j_{\mathit{BFF}},i_{\mathit{BPF}}\right)\times Y_k\left(j+j_{\mathit{BPF}},i+i_{\mathit{BPF}}\right)}\right|$ , dans lequel F_BPF est un filtre passe-bande bidimensionnel pour extraire une composante haute fréquence d'une fréquence spatiale du signal de luminosité d'image respectif ;

   par le calcul, pour la première image de point de vue, d'un premier signal haute fréquence de point de vue normalisé dZ₁(j,i) et, pour la seconde image de point de vue, d'un second signal haute fréquence de point de vue normalisé dZ₂(j,i) en tant que $${\mathrm{dZ}}_{\mathrm{k}}\left(\mathrm{j},\mathrm{i}\right)={\mathrm{dY}}_{\mathrm{k}}\left(\mathrm{j},\mathrm{i}\right)/\max \left({\mathrm{Y}}_{\mathrm{k}}\left(\mathrm{j},\mathrm{i}\right){,\mathrm{Y}}_0\right)$$

   par le calcul, pour la première image de point de vue, d'une première distribution de contraste de point de vue C₁(j,i) et, pour la seconde image de point de vue, d'une seconde distribution de contraste de point de vue C₂(j,i) en tant que $C_k\left(j,i\right)=\left\{\begin{array}{cc}0& \left(Y\left(j,i\right)<Y_{\min }\right),\\ {\left({\mathit{dZ}}_k\left(j,i\right)/C_{\max }\right)}^{\gamma }& \left({\mathit{dZ}}_k\left(j,i\right)\le C_{\max }\right),\\ 1& \left({\mathit{dZ}}_k\left(j,i\right)>C_{\max }\right),\end{array}\right.$ ,

   dans lequel y est prédéfini, dans lequel Y₀>0 et dans lequel Y_min est un seuil de faible luminosité ;

   par le calcul d'une distribution de quantité différentielle C_DIFF par une fonction linéaire qui diminue monotoniquement par rapport à la valeur absolue |C₁(j,i)-C₂(j,i)| ;

   par le calcul d'une distribution de contraste M_CON (j,i)=C(j,i)×CD_IFF (j,i).

   par le calcul d'une distribution de quantité de décalage d'image M_DIS(j,i) sur la base d'une corrélation entre la première image de point de vue et la seconde image de point de vue ;

   par la génération d'une distribution de quantité de différence de décalage d'image $M_{\mathit{DIFF}}\left(j,i\right)=\left(1-\frac{\left|M_{\mathit{DES}}\left(j,i\right)-p\right|}{{\sigma }_p}\right)\times M_{\mathit{CON}}\left(j,i\right)$ dans lequel p est une quantité de décalage d'image prédéterminée, σ_p est un paramètre de réglage pour la normalisation |M_DIS(j,i)-p|, et σ_p>0;

   par la génération d'une distribution de contraste $$K_{\mathit{ct}}\left(j,i\right)=k_{\mathit{ct}}\times M_{\mathit{DIFF}}\left(j,i\right).,$$

   dans lequel k_ct est un coefficient de proportionnalité, et k_ct ≥ 0 ;

   par la réalisation d'un affûtage de parallaxe selon la formule suivante : $$\left(\begin{array}{c}{\mathit{MI}}_1\left(j,i\right)\\ {\mathit{MI}}_2\left(j,i\right)\end{array}\right)=\left(\begin{array}{cc}1+K_{\mathit{ct}}\left(j,i\right)& -K_{\mathit{ct}}\left(j,i\right)\\ -K_{\mathit{ct}}\left(j,i\right)& 1+K_{\mathit{ct}}\left(j,i\right)\end{array}\right)\left(\begin{array}{c}{I}_1\left(j,i\right)\\ I_2\left(j,i\right)\end{array}\right),\left(K_{\mathit{ct}}\left(j,i\right)\ge 0\right)$$

   dans lequel MI₁(j,i) représente une valeur de pixel à une position de pixel (j,i) de MI₁,MI₂(j,i) représente une valeur de pixel à la position de pixel (j,i) de MI ₂, I₁ (j,i) représente une valeur de pixel à la position de pixel (j,i) de I ₁, I₂(j,i) représente une valeur de pixel à la position de pixel (j,i) de I2, ou

   par la réalisation d'un lissage de parallaxe selon la formule suivante : $$\left(\begin{array}{c}{\mathit{MI}}_1\left(j,i\right)\\ {\mathit{MI}}_2\left(j,i\right)\end{array}\right)=\left(\begin{array}{cc}\frac{1-K_{\mathit{ct}}\left(j,i\right)}{1-2K_{\mathit{ct}}\left(j,i\right)}& \frac{-K_{\mathit{ct}}\left(j,i\right)}{1-2K_{\mathit{ct}}\left(j,i\right)}\\ \frac{-K_{\mathit{ct}}\left(j,i\right)}{1-2K_{\mathit{ct}}\left(j,i\right)}& \frac{1-K_{\mathit{ct}}\left(j,i\right)}{1-2K_{\mathit{ct}}\left(j,i\right)}\end{array}\right)\left(\begin{array}{c}{I}_1\left(j,i\right)\\ I_2\left(j,i\right)\end{array}\right),\left(K_{\mathit{ct}}\left(j,i\right)<0\right)$$

   dans lequel MI₁(j,i) représente une valeur de pixel à une position de pixel (j,i) de MI ₁, MI₂ (j,i) représente une valeur de pixel à la position de pixel (j,i), de MI₂ I₁(j,i) représente une valeur de pixel à la position de pixel de (j,i) de I ₁, I ₂ (j, i) représente une valeur de pixel à la position de pixel (j,i) de I ₂ ; et

   la génération d'une image de sortie à partir de la pluralité d'images de point de vue modifiées.
2. Procédé de traitement d'images selon la revendication 1, dans lequel le premier processus et le second processus sont réalisés par un calcul entre des signaux émis par chaque unité d'une pluralité d'unités de conversion photoélectrique incluses dans chacun des pixels.
3. Procédé de traitement d'images selon la revendication 1 ou 2,
   dans lequel l'image de sortie est générée en déplaçant et en additionnant la pluralité d'images de point de vue modifiées.
4. Procédé de traitement d'images selon l'une quelconque des revendications 1 à 3,
   dans lequel un traitement pour développer des tailles de la pluralité d'images de point de vue modifiées est réalisé.
5. Appareil de capture d'image comprenant :

   un élément d'imagerie dans lequel une pluralité de pixels dotés d'une pluralité de sous-pixels pour recevoir un flux lumineux traversant différentes zones partielles de pupille dans un système optique de focalisation sont disposés ;

   une unité de génération d'image de point de vue configurée pour générer une pluralité d'images de point de vue I_k , incluant une première image de point de vue, I ₁, et une seconde image de point de vue, I ₂, dans chaque zone des différentes zones partielles de pupille à partir d'une image d'entrée acquise à partir de l'élément d'imagerie ; une unité de génération d'image de point de vue modifiée configurée pour générer une pluralité d'images de point de vue modifiées incluant une première image de point de vue modifiée, MI ₁, et une seconde image de point de vue modifiée, MI ₂, par la réalisation, pour la position de pixel (j,i), de :

   la génération, pour la première image de point de vue, d'un premier signal de luminosité d'image Y₁ et, pour la seconde image de point de vue, d'un second signal de luminosité d'image Y₂ en tant que $$Y_k\left(j,i\right)=\left(\begin{array}{ccc}{I}_k\left(j-1,i-1\right)& I_k\left(j-1,i\right)& I_k\left(j-1,i+1\right)\\ I_k\left(j,i-1\right)& I_k\left(j,i\right)& I_k\left(j,i+1\right)\\ I_k\left(j+1,i-1\right)& I_k\left(j+1,i\right)& I_k\left(j+1,i+1\right)\end{array}\right)\left(\begin{array}{ccc}\frac{1}{16}& \frac{2}{16}& \frac{1}{16}\\ \frac{2}{16}& \frac{4}{16}& \frac{2}{16}\\ \frac{1}{16}& \frac{2}{16}& \frac{1}{16}\end{array}\right)$$

   la génération, pour la première image de point de vue, d'un premier signal haute fréquence d'imagerie dY₁(j,i) et, pour la seconde image de point de vue, d'un second signal haute fréquence d'imagerie dY₂(j,i) en tant que ${\mathit{dY}}_k\left(j,i\right)=\left|{\displaystyle \sum _{i_{\mathit{BPF}}=m_{\mathit{BPF}}}^{n_{\mathit{BPF}}}\sum _{i_{\mathit{BPF}}=m_{\mathit{BPF}}}^{m_{\mathit{BFP}}}{F}_{\mathit{SPF}}\left(j_{\mathit{BFF}},i_{\mathit{BPF}}\right)\times Y_k\left(j+j_{\mathit{BPF}},i+i_{\mathit{BPF}}\right)}\right|$ , dans lequel F_BPF est un filtre passe-bande bidimensionnel pour extraire une composante haute fréquence d'une fréquence spatiale du signal de luminosité d'image respectif ;

   le calcul, pour la première image de point de vue, d'un premier signal haute fréquence de point de vue normalisé dZ₁(j,i) et, pour la seconde image de point de vue, d'un second signal haute fréquence de point de vue normalisé dZ₂(j,i) en tant que $${\mathrm{dZ}}_{\mathrm{k}}\left(\mathrm{j},\mathrm{i}\right)={\mathrm{dY}}_{\mathrm{k}}\left(\mathrm{j},\mathrm{i}\right)/\max \left({\mathrm{Y}}_{\mathrm{k}}\left(\mathrm{j},\mathrm{i}\right){,\mathrm{Y}}_0\right)$$
   dZ_k(j,i)=dY_k(j,i)/max(Y_k(j,i),Y₀)

   le calcul, pour la première image de point de vue, d'une première distribution de contraste de point de vue C₁(j,i) et, pour la seconde image de point de vue, d'une seconde distribution de contraste de point de vue C2(j,i) en tant que $$C_k\left(j,i\right)=\left\{\begin{array}{cc}0& \left(Y\left(j,i\right)<Y_{\min }\right),\\ {\left({\mathit{dZ}}_k\left(j,i\right)/C_{\max }\right)}^{\gamma }& \left({\mathit{dZ}}_k\left(j,i\right)\le C_{\max }\right),\\ 1& \left({\mathit{dZ}}_k\left(j,i\right)>C_{\max }\right),\end{array}\right.$$

   dans lequel y est prédéfini, dans lequel Y₀>0 et dans lequel Y_min est un seuil de faible luminosité ;

   le calcul d'une distribution de quantité différentielle C_DIFF par une fonction linéaire qui diminue monotoniquement par rapport à la valeur absolue |C₁(j,i)-C₂(j,i)| ;

   le calcul d'une distribution de contraste $$M_{\mathit{CON}}\left(j,i\right)=C\left(j,i\right)\times C_{\mathit{DIFF}}\left(j,i\right),$$

   le calcul d'une distribution de quantité de décalage d'image M_DIS(j, i) sur la base d'une corrélation entre la première image de point de vue et la seconde image de point de vue ;

   la génération d'une distribution de quantité de différence de décalage d'image $M_{\mathit{DIFF}}\left(j,i\right)=\left(1-\frac{\left|M_{\mathit{DIS}}\left(j,i\right)-p\right|}{{\sigma }_p}\right)\times M_{\mathit{CON}}\left(j,i\right)$

   dans lequel p est une quantité de décalage d'image prédéterminée, σ_p est un paramètre de réglage pour normaliser |M_DIS(j, i)-p|, et σ_p>0 ;

   la génération d'une distribution de contraste $$K_a\left(j,i\right)=k_a\times M_{\mathit{DIFF}}\left(j,i\right).$$

   dans lequel k_ct est un coefficient de proportionnalité, et k_ct ≥ 0 ;

   la réalisation d'un affûtage de parallaxe selon la formule suivante : $$\left(\begin{array}{c}{\mathit{Ml}}_1\left(j,i\right)\\ {\mathit{Ml}}_2\left(j,i\right)\end{array}\right)=\left(\begin{array}{cc}1+K_{\mathit{\sigma t}}\left(j,i\right)& -K_{\mathit{\sigma t}}\left(j,i\right)\\ -K_{\mathit{\sigma t}}\left(j,i\right)& 1+K_{\mathit{\sigma t}}\left(j,i\right)\end{array}\right)\left(\begin{array}{c}{I}_1\left(j,i\right)\\ I_2\left(j,i\right)\end{array}\right),\left(K_{\mathit{\sigma t}}\left(j,i\right)\ge 0\right)$$

   dans lequel MI₁(j,i) représente une valeur de pixel à une position de pixel (j,i) de MI ₁, MI₂(j,i) représente une valeur de pixel à la position de pixel (j,i) de MI ₂, I ₁(j,i) représente une valeur de pixel à la position de pixel (j,i) de I ₁, I₂(j,i) représente une valeur de pixel à la position de pixel (j,i) de I ₂ et K_ct(j,i) est supérieur ou égal à zéro à la position de pixel (j,i), ou

   la réalisation d'un lissage de parallaxe selon la formule suivante : $$\left(\begin{array}{c}{\mathit{MI}}_1\left(j,i\right)\\ {\mathit{MI}}_2\left(j,i\right)\end{array}\right)=\left(\begin{array}{cc}\frac{1-K_{\mathit{ct}}\left(j,i\right)}{1-2K_{\mathit{ct}}\left(j,i\right)}& \frac{-K_{\mathit{ct}}\left(j,i\right)}{1-2K_{\mathit{ct}}\left(j,i\right)}\\ \frac{-K_{\mathit{ct}}\left(j,i\right)}{1-2K_{\mathit{ct}}\left(j,i\right)}& \frac{1-K_{\mathit{ct}}\left(j,i\right)}{1-2K_{\mathit{ct}}\left(j,i\right)}\end{array}\right)\left(\begin{array}{c}{I}_1\left(j,i\right)\\ I_2\left(j,i\right)\end{array}\right),\left(K_{\mathit{ct}}\left(j,i\right)<0\right)$$

   dans lequel MI₁(j,i) représente une valeur de pixel à une position de pixel (j,i) de MI ₁, MI₂(j,i) représente une valeur de pixel à la position de pixel (j,i) de MI ₂, I ₁(j,i) représente une valeur de pixel à la position de pixel (j,i) de I ₁, I₂(j,i) représente une valeur de pixel à la position de pixel (j,i) de I ₂, et K_ct(j,i) est inférieur à zéro ; et une unité de génération d'image de sortie configurée pour générer une image de sortie à partir de la pluralité d'images de point de vue modifiées.