ES2905609T3

ES2905609T3 - Corrección de disparidad de cámara estéreo

Info

Publication number: ES2905609T3
Application number: ES20170803T
Authority: ES
Inventors: Hiroki Mima; Seiya Amano
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2019-05-20
Filing date: 2020-04-22
Publication date: 2022-04-11
Anticipated expiration: 2040-04-22
Also published as: EP3742114B1; EP3742114A1; US20200372683A1; US11410338B2; JP2020190438A

Abstract

Un sistema de medición (10) que comprende: una cámara estéreo (6) que incluye un par de dispositivos de formación de imágenes (601R, 601L); un sujeto (7) que tiene al menos dos puntos de característica (FP1, FP2), y un dispositivo de medición (50) que comprende: una unidad de adquisición (500), configurada para obtener al menos un par de imágenes capturadas en estéreo capturadas por la cámara estéreo (6); una unidad de detección (503), configurada para detectar dos o más puntos de característica de cada una del al menos un par de imágenes capturadas en estéreo; y una unidad de medición (506), configurada para medir un error de disparidad usando una distancia entre un par de puntos de característica de los dos o más puntos de característica detectados por la unidad de detección (503) en cada una del al menos un par de imágenes capturadas en estéreo, en donde se satisface una ecuación: **(Ver fórmula)** en la que Simg indica la distancia entre un par de puntos de característica en la imagen, ΔS indica un error de detección entre el par de dispositivos de formación de imágenes (601R, 601L), Eda indica precisión de medición de un error de disparidad en disparidad entre un par de imágenes del al menos un par de imágenes capturadas en estéreo, y d indica la disparidad.

Description

DESCRIPCIÓN

Corrección de disparidad de cámara estéreo

Antecedentes

Campo técnico

Realizaciones de la presente divulgación se refieren a un método de medición y a un sistema de medición.

Antecedentes de la técnica

En la actualidad, se centra la atención en una medición tridimensional realizada usando un par de cámaras estéreo. En un par de cámaras estéreo de este tipo, el bloque de píxeles que se correlaciona con un bloque de píxeles en la imagen capturada por una del par de cámaras estéreo se especifica en la imagen capturada por la otra del par de cámaras estéreo, y la información de distancia se obtiene realizando un cálculo basándose en la disparidad que indica la cantidad de desplazamiento relativo entre el par de imágenes anteriores. Tal cálculo se realiza basándose en los principios de triangulación. Por ejemplo, un par de cámaras estéreo de este tipo se usan para la gestión de seguridad en la carretera. Por ejemplo, se usan un par de cámaras estéreo para realizar inspección sobre la superficie de la carretera en cuanto a protuberancias y depresiones (irregularidades) de la superficie de la carretera, el grado de cómo de plana es la superficie de la carretera, o si desaparece o no una línea blanca en la superficie de la carretera. Para obtener la información de distancia con un alto grado de precisión usando un par de cámaras estéreo de este tipo, se desea que no exista ningún desplazamiento posicional entre un par de imágenes (imágenes estéreo) además de una disparidad. En la técnica se conocen algunos métodos de ajuste de un desplazamiento posicional de este tipo, y en tales métodos se usa un dispositivo de ajuste que reduce el desplazamiento posicional.

Como tales tecnologías para ajustar un desplazamiento posicional en un par de imágenes estéreo capturadas por un par de cámaras estéreo, en la técnica se conocen tecnologías en las que se capturan un par de imágenes de un objeto, cuya distancia se conoce, usando un par de cámaras estéreo para examinar el desplazamiento posicional de las cámaras estéreo y se calcula un parámetro de corrección de acuerdo con la cantidad de desplazamiento entre el correspondiente par de coordenadas entre el par de imágenes (véase, por ejemplo, el documento JP-2004-132870-A). Debido a tales tecnologías, la dirección de la línea de base de un par de cámaras puede igualarse con la dirección horizontal.

De acuerdo con las tecnologías divulgadas en el documento JP-2004-132870-A, puede calcularse el desplazamiento posicional distinto de la disparidad, por ejemplo, un parámetro de corrección usado para corregir el error de disparidad, que es el error en disparidad. Sin embargo, cuando la precisión de la medición de un error de disparidad es mala, el error de disparidad no puede corregirse con un alto grado de precisión.

Métodos adicionales de medición del error de disparidad para una cámara estéreo se conocen a partir de los documentos US 2005/237385 A1, US 2018/108150 A1, JP H11 325890 A y el artículo F. Yamano et al., "Improving the accuracy of a fisheye stereo camera with a disparity offset map", 12° Francia-Japón y 10° Europa-Asia Congreso sobre Mecatrónica 2018, 2018, pp. 94-97.

Sumario

Realizaciones de la presente divulgación descritas en este documento proporcionan un método de medición y un sistema de medición. El sistema de medición incluye una unidad de adquisición configurada para obtener al menos un par de imágenes capturadas en estéreo capturadas por una cámara estéreo, una unidad de detección configurada para detectar dos o más puntos de característica de cada una del al menos un par de imágenes capturadas en estéreo, y una unidad de medición configurada para medir un error de disparidad usando una distancia entre un par de puntos de característica de los dos o más puntos de característica detectados por la unidad de detección en cada una del al menos un par de imágenes capturadas en estéreo, donde se satisface una ecuación

S ^{C AS .}

^img > ^{“ —}dâ U

En la ecuación, Simg indica la distancia, y A S indica un error de detección entre el par de dispositivos de formación de imágenes. Además, Eda indica precisión de medición de un error de disparidad en disparidad entre un par de imágenes del al menos un par de imágenes capturadas en estéreo, y d indica la disparidad. La cámara estéreo que incluye un par de dispositivos de formación de imágenes.

De acuerdo con un aspecto de la presente divulgación, la precisión de la medición de un error de disparidad mejora.

Breve descripción de los dibujos

Una apreciación más completa de las realizaciones y las muchas ventajas consiguientes de las mismas se obtendrá fácilmente a medida que la misma se entienda mejor mediante la referencia a la siguiente descripción detallada cuando se considere en conexión con los dibujos adjuntos.

La Figura 1 es un diagrama esquemático del principio de medición de distancia de cómo un par de cámaras estéreo miden la distancia, de acuerdo con realizaciones de la presente divulgación.

La Figura 2 es un diagrama que ilustra una configuración de un sistema de formación de imágenes de acuerdo con realizaciones de la presente divulgación.

La Figura 3 es un diagrama que ilustra una imagen capturada en la que se refleja un sujeto con puntos de característica, de acuerdo con realizaciones de la presente divulgación.

La Figura 4A, la Figura 4B y la Figura 4C son diagramas, cada uno de los cuales ilustra un punto de característica que hay que reflejar en un sujeto, de acuerdo con realizaciones de la presente divulgación.

La Figura 5A y la Figura 5B son diagramas, cada uno de los cuales ilustra diversas clases de errores provocados por el desplazamiento del eje óptico, de acuerdo con realizaciones de la presente divulgación.

La Figura 6A y la Figura 6B son diagramas, cada uno de los cuales ilustra un método de cálculo de la cantidad de desplazamiento vertical, de acuerdo con realizaciones de la presente divulgación.

La Figura 7A y la Figura 7B son diagramas, cada uno de los cuales ilustra un error de disparidad provocado por los desplazamientos en eje óptico, de acuerdo con realizaciones de la presente divulgación.

La Figura 8 es un diagrama que ilustra la relación entre la distancia entre un par de puntos de característica en el espacio real y la distancia entre un par de puntos de característica en la imagen, de acuerdo con realizaciones de la presente divulgación.

La Figura 9 es un diagrama esquemático que ilustra una configuración de un sistema de formación de imágenes de acuerdo con realizaciones de la presente divulgación.

La Figura 10 es un diagrama de bloques esquemático que ilustra una configuración de hardware de un par de cámaras estéreo de acuerdo con realizaciones de la presente divulgación.

La Figura 11 es un diagrama que ilustra una configuración de hardware de un dispositivo de procesamiento de información de acuerdo con realizaciones de la presente divulgación.

La Figura 12 es un diagrama que ilustra una configuración de los bloques funcionales de un sistema de formación de imágenes de acuerdo con realizaciones de la presente divulgación.

La Figura 13 es un diagrama de bloques que ilustra una configuración de los bloques funcionales de un dispositivo de procesamiento de información de acuerdo con realizaciones de la presente divulgación.

La Figura 14 es un diagrama de flujo de cómo se obtiene un parámetro de corrección en un sistema de formación de imágenes, de acuerdo con realizaciones de la presente divulgación.

La Figura 15 es un diagrama que ilustra la distancia entre un par de puntos de característica en un sujeto, de acuerdo con realizaciones de la presente divulgación.

La Figura 16 es un gráfico que ilustra la relación entre la distancia entre un par de puntos de característica y el error en medición de error de disparidad, de acuerdo con realizaciones de la presente divulgación.

La Figura 17 es un diagrama que ilustra un caso en el que se usan que las distancias entre una pluralidad de puntos de característica en un sujeto, de acuerdo con realizaciones de la presente divulgación.

La Figura 18A y la Figura 18B son diagramas, cada uno de los cuales ilustra una configuración de un vehículo para el que se proporcionan tres pares de cámaras estéreo, de acuerdo con una modificación de una realización de la presente divulgación.

Los dibujos adjuntos se conciben para representar realizaciones de la presente divulgación y no deberían interpretarse para limitar el alcance de la misma. Los dibujos adjuntos no deben considerarse dibujados a escala a no ser que se indique explícitamente.

Descripción detallada

La terminología usada en este documento es para el propósito de describir realizaciones particulares únicamente y no pretende ser limitante de la presente divulgación. Como se usan en el presente documento, se pretende que las formas singulares "un", "una", "el" y "la" incluyan asimismo las formas plurales, a menos que el contexto indique claramente lo contrario. Se entenderá adicionalmente que los términos "incluye" y/o "que incluye", cuando se usan en esta memoria descriptiva, especifican la presencia de características indicadas, elementos integrantes, etapas, operaciones, elementos y/o componentes, pero no impiden la presencia o adición de una o más otras características, elementos integrantes, etapas, operaciones, elementos, componentes y/o grupos de los mismos.

En la descripción de las realizaciones de ejemplo mostradas en los dibujos, se emplea terminología específica por claridad. Sin embargo, la presente divulgación no pretende limitarse a la terminología específica así seleccionada y debe apreciarse que cada elemento específico incluye todos los equivalentes técnicos que tienen la misma estructura, operan de manera similar y consiguen un resultado similar.

A no ser que se indique específicamente de otra manera, o como es evidente a partir de la descripción, términos tales como "procesar" o "computar" o "calcular" o "determinar" o "visualizar" o similar, se refieren a la acción y procesos de sistema informático o dispositivo informático electrónico similar, que manipula y transforma datos representados como cantidades físicas y electrónicas dentro de los registros y memorias del sistema informático en otros datos representados de forma similar como cantidades físicas dentro de las memorias o registros de sistema informático u otros de tales dispositivos de almacenamiento, transmisión o visualización de información.

A continuación, con referencia a los dibujos, se describen en detalle un dispositivo de medición y un sistema de medición de acuerdo con realizaciones de la presente divulgación. Son posibles numerosas modificaciones y variaciones adicionales a la vista de los contenidos anteriores. Por lo tanto, se entenderá que dentro del alcance de las reivindicaciones adjuntas, la divulgación de la presente divulgación puede ponerse en práctica de otra manera distinta de la descrita específicamente en este documento. Por ejemplo, elementos y/o características de diferentes realizaciones ilustrativas pueden combinarse entre sí y/o sustituirse entre sí dentro del alcance de esta divulgación y reivindicaciones adjuntas.

La Figura 1 es un diagrama esquemático del principio de medición de distancia de cómo una cámara estéreo 6 mide la distancia, de acuerdo con la presente realización.

Antes de que se describan realizaciones de la presente divulgación, se describe, a continuación con referencia a la Figura 1, el principio de medición de distancia de cómo la cámara estéreo 6 mide la distancia.

Como se ilustra en la Figura 1, un par de cámaras 1000L y 1000R de la cámara estéreo 6 se disponen de tal forma que sus direcciones del eje óptico son paralelas con la dirección de eje z. "f" y "O0" indican la longitud focal y centro óptico de la cámara 1000L, respectivamente, y S0 indica el área de formación de imágenes de un dispositivo de formación de imágenes. De manera similar, "f" y "O1" indican la longitud focal y centro óptico de la cámara 1000R, respectivamente, y S1 indica el área de formación de imágenes de un dispositivo de formación de imágenes. La cámara 1000L y la cámara 1000R se disponen de tal forma que sus respectivos centros ópticos O0y O1 están separados entre sí por la distancia B (longitud de línea de base) y la línea recta que conecta esos centros ópticos se vuelve paralela al eje x.

La imagen de un sujeto A que está en una posición alejada del centro óptico O0 de la cámara 1000L por la distancia Z en dirección de eje óptico se forma en una posición P0 que es un punto de intersección de la línea recta A-O0 y el plano de captura S0. Por otra parte, en la cámara 1000R, la imagen del mismo sujeto A se forma en una posición P1 que es un punto de intersección de la línea recta A-O1 y el plano de captura S1.

En la Figura 1, una posición P0' indica un punto de intersección del plano de captura S1 y una línea recta que pasa a través del centro óptico O1 de la cámara 1000R y es paralela con la línea recta A-O0, y d indica la distancia entre la posición P0' y el punto P1. En la Figura 1, la distancia d indica la cantidad de desplazamiento posicional (disparidad) en las imágenes del mismo sujeto capturadas un par de cámaras.

Además, un triángulo A-O0-O1 es similar en forma a un triángulo O1-P0 ' -P1. Por consiguiente, la siguiente ecuación es cierta.

d = B fZ

Por lo tanto, la distancia Z al sujeto A puede calcularse de acuerdo con la longitud de línea de base B, la longitud focal f y la disparidad d.

Sin embargo, si se producen desplazamientos en eje óptico en la cámara 1000L o la cámara 1000R, se pierde un estado óptimo como se ilustra en la Figura 1, y la distancia no puede medirse con precisión. En tales casos, el desplazamiento posicional que se provoca por el desplazamiento del eje óptico entre un par de imágenes (imágenes estéreo) necesita medirse y corregirse usando alguna clase de valor de referencia. En las realizaciones de la presente divulgación descritas a continuación, se describen las operaciones en las que se corrige o ajusta el desplazamiento posicional que se provoca entre un par de imágenes.

Realizaciones

La Figura 2 es un diagrama que ilustra una configuración de un sistema de formación de imágenes de acuerdo con la presente realización.

A continuación, con referencia a la Figura 2, se describe la disposición de la cámara estéreo 6 en el sistema de formación de imágenes.

La Figura 2 ilustra una vista lateral del vehículo 1, donde el sistema de formación de imágenes de acuerdo con la presente realización se proporciona para el vehículo 1.

En la Figura 2, la dirección de viaje del vehículo 1 es hacia el lado izquierdo del dibujo. En otras palabras, en la Figura 2 , el extremo izquierdo del vehículo 1 es la parte frontal del vehículo 1 , y el extremo derecho del vehículo 1 es la parte trasera del vehículo 1.

En el sistema de formación de imágenes de acuerdo con la presente realización, un componente de sujeción 3 que está provisto de una parte de sujeción 2 para el dispositivo de formación de imágenes se fija a la parte trasera del vehículo 1 que sirve como un objeto móvil provisto del sistema de formación de imágenes, y la cámara estéreo 6 se sujeta a la parte de sujeción 2. En la realización de ejemplo como se ilustra en la Figura 2, se supone que una unidad de cámara estéreo (es decir, la cámara estéreo 6) se sujeta a la parte de sujeción 2. Como se ilustra en la Figura 2, un sujeto 7 se fija al componente de sujeción 3 de tal forma que el alcance de captura de la cámara estéreo 6 cubre el sujeto 7. Como se describirá más adelante en detalle, el sujeto 7 se usa para ajustar el desplazamiento, en particular, el desplazamiento horizontal en las direcciones horizontales (es decir, las direcciones en las que se disponen un par de cámaras de la cámara estéreo 6) de una imagen capturada, que aparece como un error de disparidad.

La cámara estéreo 6 se sujeta y orienta para capturar una superficie de carretera 4 en la que viaja el vehículo 1 (un ejemplo de un objeto que hay que medir). Más específicamente, se desea que la cámara estéreo 6 se sujete para capturar la superficie de la carretera 4 en la dirección vertical.

Por ejemplo, la cámara estéreo 6 se controla por un ordenador personal (PC) 5 dispuesto dentro del vehículo 1. El PC 5 es un ejemplo de un dispositivo de procesamiento de información. El operador manipula el PC 5 para ordenar a la cámara estéreo 6 que comience a capturar una imagen. Una vez que se proporcionan instrucciones de captura, el PC 5 ordena a la cámara estéreo 6 que comience la captura de una imagen. La temporización en la que se captura una imagen se controla por la velocidad de la cámara estéreo 6, es decir, la velocidad del vehículo 1 , y tal captura de imágenes se repite. Obsérvese también que el dispositivo de procesamiento de información que controla la cámara estéreo 6 no se limita al PC 5, y el dispositivo de procesamiento de información puede ser, por ejemplo, una estación de trabajo o un dispositivo especializado para controlar la cámara estéreo 6.

La cámara estéreo 6 simultáneamente captura un objeto tal como la superficie de la carretera 4 en dos o más diferentes direcciones para obtener un par de imágenes capturadas (un par de imágenes capturadas de este tipo puede denominarse como una imagen capturada estéreo en la siguiente descripción). Haciendo esto, puede obtenerse la información de distancia que indica la distancia a varios puntos del objeto. Además, los datos de superficie de carretera tridimensional de la superficie de la carretera, que es el objeto, pueden generarse basándose en la información de distancia obtenida. Analizando los datos de superficie de carretera tridimensional generados, puede obtenerse el índice de control de mantenimiento (MCI) del asfalto, que es un índice usado para evaluar la condición de carretera de la superficie de la carretera. El MCI evalúa cuantitativamente la calidad del asfalto de acuerdo con tres tipos de valores de condición de carretera de una relación de agrietamiento, profundidad de surcos y rugosidad. Analizando los datos de superficie de carretera tridimensional, pueden obtenerse una relación de agrietamiento, profundidad de surcos y rugosidad, que se usan para calcular el MCI.

Más específicamente, la cámara estéreo 6 incluye un par de cámaras que están separadas entre sí por una longitud de línea de base predeterminada, y emite un par de imágenes capturadas (imágenes capturadas en estéreo) que se capturan por este par de cámaras. Buscando el punto correspondiente entre un par de imágenes capturadas de este tipo incluidas en estas imágenes capturadas en estéreo, puede restaurarse la distancia a un punto deseado en la imagen capturada. Las distancias pueden restaurarse por toda la imagen capturada, y los datos en los que cada píxel se indica con un valor de distancia pueden denominarse como un mapa de profundidad. En otras palabras, una imagen de disparidad indica los datos de un grupo de puntos tridimensionales que constan de un grupo de puntos, cada uno de los cuales tiene información tridimensional.

La cámara estéreo 6 se sujeta a un sitio tal como una parte trasera del vehículo 1 en la dirección hacia abajo para poder capturar una imagen de la superficie de la carretera 4, y el vehículo 1 se mueve a lo largo de la carretera que hay que medir. Por conveniencia de explicación, se supone que el alcance de captura de la cámara estéreo 6 proporcionada para el vehículo 1 para la medición cubre una longitud predeterminada en la dirección de anchura de la carretera.

A continuación, por ejemplo, el operador opera el PC 5 para proporcionar instrucciones para terminar la operación de captura ya que se finaliza la captura de un intervalo. En respuesta a las instrucciones para terminar la operación de captura, el PC 5 ordena a la cámara estéreo 6 que detenga la captura de una imagen.

La Figura 3 es un diagrama que ilustra una imagen capturada Im en la que el sujeto 7 con puntos de característica se reflejan, de acuerdo con la presente realización.

La Figura 4A, la Figura 4B y la Figura 4C son diagramas, cada uno de los cuales ilustra un punto de característica que hay que reflejar en el sujeto 7, de acuerdo con la presente realización.

Algunos puntos de característica del sujeto 7 que se sujeta al vehículo 1 se describen a continuación con referencia a la Figura 3, la Figura 4A, la Figura 4B y la Figura 4C.

Como se ha descrito con referencia a la Figura 2, el sujeto 7 se fija al componente de sujeción 3 de tal forma que el alcance de captura de la cámara estéreo 6 cubre el sujeto 7. Por ejemplo, cuando una parte del componente de sujeción 3 aparece dentro del alcance de captura de la cámara estéreo 6, se desea que el sujeto 7 se fije a una parte de este tipo del componente de sujeción 3. Por consiguiente, como se ilustra en la Figura 4A, la Figura 4B y la Figura 4C, el sujeto 7 aparece en la imagen capturada Im, que se captura por la cámara estéreo 6. Además, como se ilustra en la Figura 4A, la Figura 4B y la Figura 4C, se dibujan patrones a cuadros en la superficie a capturar del sujeto 7, y los puntos de característica FP1 y FP2 que son los puntos de cuadrícula de tales patrones a cuadros se usan para corregir el desplazamiento horizontal en una imagen capturada en las direcciones horizontales. Obsérvese que tal desplazamiento horizontal aparece como un error de disparidad. El área en la imagen capturada Im (véase la Figura 3) distinta del área en la que se refleja el sujeto 7 se usa como un área que hay que medir MA donde se mide la condición de carretera de la superficie de la carretera. Por esta razón, se desea que el sujeto 7 se disponga para no perturbar la medición por la cámara estéreo 6.

Por norma, los patrones que se aplican a la superficie a capturar del sujeto 7 para detectar un punto de característica no se limitan a los patrones a cuadros como se ilustra en la Figura 3. Por ejemplo, los patrones como se ilustran en la Figura 4A, la Figura 4B y la Figura 4C pueden usarse para detectar un punto de característica.

La Figura 4A es un diagrama que ilustra los patrones a cuadros igual que los ilustrados en la Figura 3, y puede usarse un punto de cuadrícula de este tipo como un punto de característica (punto de característica FP11).

La Figura 4B es un diagrama que ilustra un patrón circular pintado.

Por ejemplo, se detecta el centro del patrón circular y el patrón puede usarse como un punto de característica (punto de característica FP12).

La Figura 4C es un diagrama que ilustra un patrón en el que un rectángulo hueco se dispone dentro del rectángulo pintado.

En una configuración de este tipo, por ejemplo, se detecta el centro del rectángulo hueco y el patrón puede usarse como un punto de característica (punto de característica FP13a). Como alternativa, puede detectarse un vértice del rectángulo pintado y el patrón puede usarse como un punto de característica (punto de característica FP13b).

La Figura 5A y la Figura 5B son diagramas, cada uno de los cuales ilustra diversas clases de errores provocados por el desplazamiento del eje óptico, de acuerdo con la presente realización.

Diversas clases de errores que se provocan por el desplazamiento del eje óptico se describen a continuación con referencia a la Figura 5A y la Figura 5B.

En la presente realización, diversas clases de valores físicos se describen con referencia a los signos como se indica en la Figura 5A y la Figura 5B. Obsérvese también que en la descripción proporcionada a continuación se supone que la distancia Sreal entre los puntos de característica FP1 y FP2 del sujeto 7 en el espacio real, la longitud de línea de base B de la cámara estéreo 6 (véase la Figura 1) y la longitud focal f (véase la Figura 1) no cambian antes o después de que se produzca el desplazamiento del eje óptico.

Además del desplazamiento del eje óptico, la distancia entre la cámara estéreo 6 y el sujeto 7 puede cambiar debido a la diferencia en temporización de captura de la cámara estéreo 6 o debido a los cambios en la condición de fijación de la cámara estéreo 6 o el sujeto 7 a medida que el vehículo 1 vibra. Cuando se supone que la distancia entre la cámara estéreo 6 y el sujeto 7 permanece sin cambios, el sujeto 7 necesita fijarse al componente de sujeción 3 en un sentido estricto, que puede ser imposible de conseguir. Por esta razón, en la siguiente descripción se supone que la distancia entre la cámara estéreo 6 y el sujeto 7 cambia como se ilustra en la Figura 5A y la Figura 5B. En tales casos, la distancia antes de que cambie la distancia entre la cámara estéreo 6 y el sujeto 7 (es decir, la distancia en el estado inicial) se denomina como Z, y la distancia después de que cambie la distancia entre la cámara estéreo 6 y el sujeto 7 se denomina como Z'. La disparidad también cambia en consecuencia. Debido a una configuración de este tipo, la disparidad antes de que cambie la distancia entre la cámara estéreo 6 y el sujeto 7 se denomina d, y la disparidad después de que haya cambiado la distancia entre la cámara estéreo 6 y el sujeto 7 se denomina d'. Además, la distancia entre los puntos de característica FP1 y FP2 del sujeto 7 en la imagen capturada la cámara estéreo 6 (tal distancia puede denominarse como la distancia entre un par de puntos de característica en la imagen en la siguiente descripción) también puede cambiar. Debido a una configuración de este tipo, la distancia entre un par de puntos de característica en la imagen antes de que cambie la distancia entre la cámara estéreo 6 y el sujeto 7 se denomina Simg, y la distancia entre un par de puntos de característica en la imagen después de que haya cambiado la distancia entre la cámara estéreo 6 y el sujeto 7 se denomina S'img.

Cuando los desplazamientos en eje óptico se producen en cada una del par de cámaras monoculares de la cámara estéreo 6, la posición en el sujeto 7 en la que se forma una imagen se desvía de una condición óptima. La cantidad de cambio en la disparidad d, es decir, el error de disparidad (desplazamiento horizontal), en tal circunstancias se denomina Ad. Además, el error de detección cuando los dispositivos de formación de imágenes de cada cámara detectan un punto de característica se denomina AS.

La Figura 6A y la Figura 6B son diagramas, cada uno de los cuales ilustra un método de cálculo de la cantidad de desplazamiento vertical, de acuerdo con la presente realización.

A continuación, con referencia a la Figura 6A y la Figura 6B, se describe un método de cálculo de la cantidad de cambio en desplazamiento vertical (es decir, la cantidad de desplazamiento vertical) provocado por el desplazamiento del eje óptico.

En la realización anterior descrita con referencia a la Figura 5A y la Figura 5B, se describen casos en los que el error de disparidad A, que es desplazamiento horizontal, se produce debido al desplazamiento provocado en el eje óptico. Sin embargo, en realidad, como se ilustra en la Figura 6A y la Figura 6B, puede haber algunos casos en los que se produce el desplazamiento vertical, que es el desplazamiento en una imagen capturada en la dirección vertical. En la Figura 6A y la Figura 6B se ilustra un ejemplo de la imagen capturada estéreo capturada por la cámara estéreo 6 cuando se produce desplazamiento vertical.

Una imagen capturada Im1L como se ilustra en la Figura 6A es una imagen capturada por una del par de cámaras de la cámara estéreo 6, y una imagen capturada Im1R como se ilustra en la Figura 6B es una imagen capturada por la otra del par de cámaras de la cámara estéreo 6. En condiciones óptimas, no se produce ningún desplazamiento vertical en las imágenes capturadas en estéreo capturadas por la cámara estéreo 6, y la cantidad de desplazamiento vertical Avd es 0 independientemente de la distancia de los múltiples sujetos que aparecen en las imágenes capturadas en estéreo. Cuando se produce un desplazamiento vertical debido al desplazamiento del eje óptico, como se ilustra en la Figura 6A y la Figura 6B, se detectan puntos de característica FP21L y FP21R que se corresponden entre sí entre un par de imágenes capturadas en estéreo. Debido a esta configuración, puede medirse la cantidad de desplazamiento vertical Avd. A continuación, se realiza una corrección (ajuste) usando un parámetro de corrección de tal forma que la cantidad de desplazamiento vertical Avd se vuelve cero. Ya que el desplazamiento vertical no depende de la distancia, no siempre es necesario detectar un punto de característica de los sujetos 7 que aparecen en las imágenes capturadas Im1L y Im1R. En otras palabras, como se ilustra en la Figura 6A y la Figura 6B, si pueden detectarse un par de puntos de característica coincidentes (por ejemplo, los puntos de característica FP21L y FP21R) de otro sujeto (por ejemplo, superficie de carretera) que aparecen en el área que hay que medir entre un par de imágenes capturadas derecha e izquierda, puede calcularse y obtenerse la cantidad de desplazamiento vertical Avd.

Como se ha descrito anteriormente, un error de disparidad, que es desplazamiento horizontal, se produce debido al desplazamiento provocado en el eje óptico. Si el desplazamiento vertical se corrige por adelantado antes de que se corrija un error de disparidad de este tipo, el objeto que hay que corregir puede limitarse al error de disparidad que es el desplazamiento horizontal. Cuando el desplazamiento vertical se corrige de una manera independiente, pueden usarse los puntos de característica de toda una imagen capturada. Haciendo esto, aumenta el número de puntos de característica que pueden usarse para corrección, y mejora la precisión de la corrección.

La Figura 7A y la Figura 7B son diagramas, cada uno de los cuales ilustra un error de disparidad provocado por los desplazamientos en eje óptico, de acuerdo con la presente realización.

La Figura 8 es un diagrama que ilustra la relación entre la distancia Sreal entre un par de puntos de característica en el espacio real y la distancia Simg entre un par de puntos de característica en la imagen, de acuerdo con la presente realización.

A continuación, con referencia a la Figura 7A, la Figura 7B y la Figura 8, se describe un método de cálculo de un error de disparidad, que es el desplazamiento horizontal provocado por el desplazamiento del eje óptico.

A medida que se producen los desplazamientos en eje óptico, se produce desplazamiento horizontal como si cada una de las imágenes capturadas derecha e izquierda de las imágenes capturadas en estéreo se desplaza en la dirección horizontal. Como resultado, se produce un error de disparidad. En tales casos, las cámaras derecha e izquierda de la cámara estéreo 6 se desplazan de una manera independiente. Por consiguiente, se produce un error en la disparidad que se calcula de las imágenes capturadas derecha e izquierda.

En la presente realización, se describen casos en los que la distancia entre la cámara estéreo 6 y el sujeto 7 no cambia incluso cuando se produce un desplazamiento del eje óptico. En tales casos, las posiciones de los puntos de característica de los sujetos 7 que aparecen en las imágenes capturadas cambian debido a los desplazamientos en eje óptico. Sin embargo, se mantiene la distancia entre un par de puntos de característica. Se mide la cantidad de desplazamiento horizontal ALxt, que es el desplazamiento en la dirección horizontal entre las posiciones de los puntos de característica del sujeto 7 en una imagen capturada Im2L como se ilustra en la Figura 7A antes de que se produzca el error de disparidad debido a los desplazamientos en eje óptico y las posiciones de los puntos de característica del sujeto 7 en una imagen capturada Im2L' como se ilustra en la Figura 7B después de que se haya producido el error de disparidad debido a los desplazamientos en eje óptico. De manera similar, se mide la cantidad de desplazamiento horizontal A Rxt, que es el desplazamiento en la dirección horizontal entre las posiciones de los puntos de característica del sujeto 7 en una imagen capturada Im2R como se ilustra en la Figura 7A antes de que se produzca el error de disparidad debido a los desplazamientos en eje óptico y las posiciones de los puntos de característica del sujeto 7 en una imagen capturada Im2R' como se ilustra en la Figura 7B después de que se haya producido el error de disparidad debido a los desplazamientos en eje óptico. A continuación, se calcula la suma de la cantidad de desplazamiento horizontal A Lxt y la cantidad de desplazamiento horizontal A Rxt, que se miden de forma separada. Haciendo esto, puede calcularse y obtenerse el error de disparidad Ad (= A Lxt+ A Rxt). A continuación, puede realizarse una corrección (ajuste) usando un parámetro de corrección para hacer que el error de disparidad Ad se vuelva cero. Como resultado, puede cancelarse el error de disparidad.

Sin embargo, en realidad, como se describe anteriormente con referencia a la Figura 5, la distancia entre la cámara estéreo 6 y el sujeto 7 puede cambiar debido a, por ejemplo, los cambios en temperatura, vibración, o los cambios con el paso del tiempo además de los desplazamientos en eje óptico. En tales casos, la distancia entre la cámara estéreo 6 y el sujeto 7 cambia de acuerdo con diversos tipos de cambios. Por esta razón, con respecto a la distancia Simg entre un par de puntos de característica en la imagen como se ilustra en la Figura 8, la distancia Simg entre un par de puntos de característica en la imagen no puede usarse para calcular el error de disparidad A d, y el error de disparidad A d no puede corregirse o ajustarse. Para manejar una situación de este tipo, el hecho de que la distancia Sreal entre un par de puntos de característica del sujeto 7 en el espacio real permanezca sin cambios se usa para medir el error de disparidad A d.

La relación entre la distancia Sreal entre un par de puntos de característica en el espacio real y la distancia Simg entre un par de puntos de característica en la imagen es como se ilustra en la Figura 8. En vista de estas circunstancias, la distancia Sreal entre un par de puntos de característica en el espacio real puede expresarse como en una primera ecuación indicada a continuación.

Primera ecuación

■Z

Sreal _ f

En esta ecuación, Z indica la distancia entre la cámara estéreo 6 y el sujeto 7, y f indica la longitud focal. La distancia Z entre la cámara estéreo 6 y el sujeto 7 puede expresarse en una segunda ecuación indicada a continuación en la que la disparidad d obtenida de un par de imágenes capturadas en estéreo se convierte a la distancia Z.

Segunda ecuación

Si la distancia Z que se indica por la segunda ecuación se sustituye en la primera ecuación anterior, se obtiene una tercera ecuación como se indica a continuación.

Tercera ecuación

S ^o real ^_ --- ^S - ^r - ^{ng B}

d ;—

Como se ha descrito anteriormente, cuando se producen los desplazamientos en eje óptico, un error se incluye en la disparidad d como el error de disparidad Ad. Además, como se ha descrito anteriormente, la distancia entre la cámara estéreo 6 y el sujeto 7 puede cambiar. Por consiguiente, suponiendo que la disparidad después de que se cambia la distancia y la distancia entre un par de puntos de característica en la imagen se denominan d' y S'img, respectivamente, la distancia S'real entre un par de puntos de característica en el espacio real después de que se cambie la distancia se expresa en una cuarta ecuación indicada a continuación.

Cuarta ecuación

S Oí real _--- S

_d _“ /img B

_' _— _+A _~ _d

Sin embargo, la distancia anterior entre un par de puntos de característica en el espacio real permanece sin cambios. Por consiguiente, el error de disparidad Ad puede calcularse mediante una quinta ecuación indicada a continuación.

Quinta ecuación

S : S'r<

c . p C / . p

^ im g D _ ^ im g D

d' d' Ad

La Figura 9 es un diagrama esquemático que ilustra una configuración del sistema de formación de imágenes 10 de acuerdo con la presente realización.

A continuación, con referencia a la Figura 9, se describe una configuración esquemática del sistema de formación de imágenes 10 de acuerdo con la presente realización.

Como se ilustra en la Figura 9, el sistema de formación de imágenes 10 incluye la cámara estéreo 6 y el dispositivo de procesamiento de información 50 (un ejemplo de un dispositivo de medición) que corresponden al PC 5 como se ilustra en la Figura 2.

El dispositivo de procesamiento de información 50 genera un desencadenante en una temporización prescrita, y envía el desencadenante generado a la cámara estéreo 6. La cámara estéreo 6 captura imágenes de acuerdo con el desencadenante recibido. Las múltiples imágenes capturadas en estéreo que se capturan por la cámara estéreo 6 se envían al dispositivo de procesamiento de información 50. El dispositivo de procesamiento de información 50 almacena y acumula las múltiples imágenes capturadas en estéreo que se reciben desde la cámara estéreo 6 en, por ejemplo, un dispositivo de almacenamiento. El dispositivo de procesamiento de información 50 corrige el desplazamiento posicional (desplazamiento vertical, error de disparidad) en las imágenes capturadas en estéreo acumuladas, que se provoca por el desplazamiento del eje óptico, y, a continuación, genera un mapa de profundidad (información de distancia).

La Figura 10 es un diagrama de bloques esquemático que ilustra una configuración de hardware de la cámara estéreo 6, de acuerdo con la presente realización.

Con referencia a la Figura 10 se describe una configuración de hardware de la cámara estéreo 6 de acuerdo con la presente realización.

Como se ilustra en la Figura 10, la cámara estéreo 6 incluye un par de sistemas ópticos de formación de imágenes 600L y 600R, un par de dispositivos de formación de imágenes 601L y 601R, controladores 602L y 602R, procesadores de señales 603L y 603R y una unidad de salida 604.

El sistema óptico de formación de imágenes 600L tiene un ángulo de vista prescrito y una longitud focal prescrito f, y proyecta la luz del sujeto en el dispositivo de formación de imágenes 601L.

El dispositivo de formación de imágenes 601L es un sensor óptico que usa, por ejemplo, un semiconductor complementario de óxido metálico (CMOS), y emite una señal de acuerdo con la luz proyectada. Como alternativa, un sensor óptico que usa un dispositivo de acoplamiento de carga (CCD) puede aplicarse al dispositivo de formación de imágenes 601L.

El controlador 602L controla el dispositivo de formación de imágenes 601L, y realiza un procesamiento predeterminado tal como reducción de ruido y modificación de ganancia en las señales emitidas desde el dispositivo de formación de imágenes 601L y emite las señales procesadas.

El procesador de señales 603L realiza conversión de analógico a digital (A/D) en las señales emitidas desde el controlador 602L para convertir las señales obtenidas a señales de imagen digitalizadas (imágenes capturadas). El procesador de señales 603L realiza procesamiento de imágenes predeterminado tal como corrección de gama en la señal de imagen convertida y emite una imagen capturada procesada. La imagen capturada que se emite desde el procesador de señales 603L se envía a la unidad de salida 604.

Obsérvese también que las operaciones de un sistema óptico de formación de imágenes 600R, un dispositivo de formación de imágenes 601R, un controlador 602R y un procesador de señales 603R son equivalentes a las operaciones del sistema óptico de formación de imágenes 600L, el dispositivo de formación de imágenes 601L, el controlador 602L y el procesador de señales 603L anteriormente descritos, respectivamente.

Un desencadenante que se emite desde, por ejemplo, el dispositivo de procesamiento de información 50 se envía a los controladores 602l y 602R. A continuación, los controladores 602L y 602R importan una señal desde los dispositivos de formación de imágenes 601L y 601R en una temporización indicada por el desencadenante recibido, y capturan imágenes.

En la presente realización, los controladores 602L y 602R controlan el par de dispositivos de formación de imágenes 601L y 601R para realizar exposiciones en toda la pantalla en un único instante en el tiempo. Este método de captura de imágenes se denomina obturador global. Por el contrario, el obturador rotativo es un método en el que la luz se toma en el orden de arriba a abajo de la disposición de píxeles (en el orden de líneas). Por esta razón, cada línea de los fotogramas que se capturan por el obturador rotativo no se captura al mismo tiempo en un sentido estricto. En obturador rotativo, cuando la cámara o el sujeto se mueve a alta velocidad mientras se están tomando las señales capturadas de un fotograma, las imágenes del sujeto se capturan de una manera desalineada para cada una de las posiciones de línea. Por consiguiente, la cámara estéreo 6 de acuerdo con la presente realización adopta un obturador global de tal forma que la forma de la carretera se captura de forma precisa en un sentido geométrico.

La unidad de salida 604 emite las imágenes capturadas de cada fotograma, que se suministran desde los procesadores de señales 603L y 603R, como un par de imágenes capturadas en estéreo. Las imágenes capturadas en estéreo que se emiten desde la unidad de salida 604 se envían al dispositivo de procesamiento de información 50 y se acumulan.

La Figura 11 es un diagrama que ilustra una configuración de hardware del dispositivo de procesamiento de información 50 de acuerdo con la presente realización.

A continuación, con referencia a la Figura 11, se describe una configuración de hardware del dispositivo de procesamiento de información 50 de acuerdo con la presente realización.

Como se ilustra en la Figura 11, el dispositivo de procesamiento de información 50 incluye una unidad de procesamiento central (CPU) 5000, una memoria de solo lectura (ROM) 5001, una memoria de acceso aleatorio (RAM) 5002, una interfaz (I/F) gráfica 5003, un dispositivo de almacenamiento 5004, un dispositivo de entrada 5005, una interfaz (I/F) de datos 5006 y una interfaz (I/F) de comunicación 5007, cada uno de los cuales se acopla a un bus 5030. Además, el dispositivo de procesamiento de información 50 incluye una interfaz (I/F) de cámara 5010, una interfaz (I/F) de sensor 5011 y un obtenedor de datos de velocidad 5021, cada uno de los cuales se acopla a un bus 5030.

El dispositivo de almacenamiento 5004 es un medio de almacenamiento en el que se almacenan datos de una manera no volátil. El dispositivo de almacenamiento 5004 puede ser, por ejemplo, una unidad de disco duro (HDD) o un disco de estado sólido (SSD). Además, el dispositivo de almacenamiento 5004 almacena un programa y datos que la CPU 5000 usa para operación.

La CPU 5000 usa la RAM 5002 como una memoria de funcionamiento, y controla todas las operaciones del dispositivo de procesamiento de información 50 de acuerdo con, por ejemplo, un programa almacenado por adelantado en al menos uno de la ROM 5001 o el dispositivo de almacenamiento 5004.

La interfaz gráfica 5003 genera una señal de visualización a tratar por el visualizador 5020, basándose en la señal de control de visualización que se genera por la CPU 5000 de acuerdo con un programa. El visualizador 5020 visualiza una pantalla de acuerdo con una señal de visualización que se suministra por la interfaz gráfica 5003.

El dispositivo de entrada 5005 acepta una operación hecha por un usuario, y emite una señal de control de acuerdo con la operación aceptada hecha por el usuario. El dispositivo de entrada 5005 puede ser, por ejemplo, un teclado o un dispositivo apuntador tal como un ratón o un ordenador personal (PC) de tableta. Como alternativa, el dispositivo de entrada 5005 y el visualizador 5020 pueden formarse integralmente, y puede adoptarse una así denominada configuración de panel táctil.

La interfaz de datos 5006 realiza la transmisión y recepción de datos con un dispositivo externo. La interfaz de datos 5006 puede ser, por ejemplo, un bus serial universal (USB). La interfaz de comunicación 5007 controla la comunicación con una red externa de acuerdo con las instrucciones dadas desde la CPU 5000.

La interfaz de cámara 5010 es una interfaz para cada cámara de la cámara estéreo 6. Las múltiples imágenes capturadas en estéreo que se emiten desde la cámara estéreo 6 se pasan a, por ejemplo, la CPU 5000 a través de la interfaz de cámara 5010. Además, la interfaz de cámara 5010 genera el desencadenante descrito anteriormente de acuerdo con las instrucciones dadas desde la CPU 5000, y envía el desencadenante generado a la cámara estéreo 6.

La interfaz de sensor 5011 es una interfaz con un sensor 5025 que detecta al menos una de la temperatura o la aceleración. La interfaz de sensor 5011 recibe la información de detección (por ejemplo, información de temperatura e información de aceleración) detectada por el sensor 5025, y envía la información de detección recibida a, por ejemplo, la CPU 5000. Por ejemplo, el sensor 5025 puede disponerse cerca del lugar en el que se dispone la cámara estéreo 6.

El obtenedor de datos de velocidad 5021 obtiene información de velocidad que indica la velocidad del vehículo 1. Cuando la cámara estéreo 6 se sujeta al vehículo 1, la información de velocidad que se obtiene por el obtenedor de datos de velocidad 5021 indica la velocidad de la cámara estéreo 6 con referencia al objeto (es decir, la superficie de la carretera). Por ejemplo, el obtenedor de datos de velocidad 5021 tiene una función para recibir una señal de un sistema global de navegación por satélite (GNSS), y obtiene la información de velocidad que indica la velocidad del vehículo 1 basándose en el efecto Doppler de la señal recibida del GNSS. Sin embargo, no se pretende ninguna limitación de este modo, y el obtenedor de datos de velocidad 5021 puede obtener la información de velocidad directamente del vehículo 1.

La Figura 12 es un diagrama que ilustra una configuración de los bloques funcionales del sistema de formación de imágenes 10 de acuerdo con la presente realización.

A continuación, con referencia a la Figura 12, se describen operaciones y una configuración de los bloques funcionales del sistema de formación de imágenes 10 de acuerdo con la presente realización.

Como se ilustra en la Figura 12, el sistema de formación de imágenes 10 incluye dispositivos de formación de imágenes 100L y 100R, unidad de control de capturas 101L y 101R, un obtenedor de datos de velocidad 102 y una unidad de generación 103.

Los dispositivos de formación de imágenes 100R y 100L corresponden a las cámaras derecha e izquierda monoculares de la cámara estéreo 6, respectivamente. La unidad de control de capturas 101R y 101L controla la operación de captura tal como una temporización de captura, exposición y velocidad de obturador de los dispositivos de formación de imágenes 100R y 100L, respectivamente.

El obtenedor de datos de velocidad 102 obtiene la velocidad de los dispositivos de formación de imágenes 100L y 100R con referencia al objeto (es decir, la superficie de la carretera 4). El obtenedor de datos de velocidad 102 se implementa por el obtenedor de datos de velocidad 5021 como se ilustra en la Figura 11.

La unidad de generación 103 genera un desencadenante que especifica una imagen capturada por los dispositivos de formación de imágenes 100L y 100R basándose en la información de velocidad obtenida por obtenedor de datos de velocidad 102 y la visión en la dirección de viaje. La unidad de generación 103 envía el desencadenante generado a la unidad de control de capturas 101R y 101L. La unidad de control de capturas 101R y 101L causes los dispositivos de formación de imágenes 100L y 100R para realizar operación de captura de acuerdo con el desencadenante enviado desde la unidad de generación 103. Por ejemplo, la unidad de generación 103 se implementa cuando la CPU 5000, como se ilustra en la Figura 11, ejecuta un programa.

La Figura 13 es un diagrama de bloques que ilustra una configuración de los bloques funcionales del dispositivo de procesamiento de información 50 de acuerdo con la presente realización.

A continuación, con referencia a la Figura 13, se describen operaciones y una configuración de los bloques funcionales del dispositivo de procesamiento de información 50 de acuerdo con la presente realización.

Como se ilustra en la Figura 13, el dispositivo de procesamiento de información 50 incluye una unidad de adquisición de imagen capturada 500 (unidad de adquisición), una unidad de control de captura 501, una unidad de detección de desplazamiento del eje óptico 502 (unidad de detección), una unidad de detección de puntos de característica 503 (unidad de detección), una unidad de procesamiento de coincidencia 504, una unidad de medición de desplazamiento vertical 505 (segunda unidad de medición u otra unidad de medición), una unidad de medición de desplazamiento horizontal 506 (primera unidad de medición o unidad de medición), una unidad de cálculo de parámetros de corrección 507 (unidad de cálculo), una unidad de corrección 508, una unidad de generación de información de distancia 509 (unidad de generación) y una unidad de almacenamiento 510.

La unidad de adquisición de imagen capturada 500 es una unidad funcional para obtener un par de imágenes capturadas en estéreo desde la cámara estéreo 6. La unidad de adquisición de imagen capturada 500 controla la unidad de almacenamiento 510 para almacenar la imagen capturada estéreo obtenida. La unidad de adquisición de imagen capturada 500 obtiene la imagen capturada estéreo almacenada desde la unidad de almacenamiento 510.

La unidad de control de captura 501 es una unidad funcional que controla la operación de captura de la cámara estéreo 6. Más específicamente, por ejemplo, la unidad de control de captura 501 obtiene información de velocidad que indica la velocidad de la cámara estéreo 6 con referencia al sujeto (es decir, la superficie de la carretera 4), y genera un desencadenante usado para ordenar a la cámara estéreo 6 que capture una imagen, basándose en la información de velocidad obtenida y el ángulo de vista predeterminado y altura de la cámara estéreo 6. La unidad de control de captura 501 corresponde a la unidad de control de capturas 101L y 101R, el obtenedor de datos de velocidad 102 y la unidad de generación 103 como se ha ilustrado anteriormente en la Figura 12.

La unidad de detección de desplazamiento del eje óptico 502 es una unidad funcional que detecta desplazamientos provocados en eje óptico. En la presente realización, la expresión "desplazamientos provocados en eje óptico" incluye no únicamente un estado en el que se producen realmente desplazamientos en el eje óptico de una cámara, sino también un estado en el que se producen desplazamientos en eje óptico con una probabilidad alta. Por ejemplo, cuando el valor de la cantidad de cambio en la temperatura que se detecta por el sensor 5025 (un ejemplo de información de detección) es igual o mayor que un valor predeterminado y un cambio en temperatura de este tipo se provoca por vibración, la unidad de detección de desplazamiento del eje óptico 502 detecta los desplazamientos en eje óptico cuando la aceleración que se detecta por el sensor 5025 (un ejemplo de información de detección) indica un estado vibracional predeterminado. Como alternativa, cuando el valor de la cantidad de cambio en la temperatura que se detecta por el sensor 5025 (un ejemplo de información de detección) es igual o mayor que un valor predeterminado y un cambio en temperatura de este tipo se provoca por deterioro en el tiempo, la unidad de detección de desplazamiento del eje óptico 502 detecta los desplazamientos en eje óptico cuando la longitud de tiempo de operación acumulado es igual a o mayor que una duración de tiempo predeterminada.

La unidad de detección de puntos de característica 503 es una unidad funcional que detecta un punto de característica en una imagen capturada estéreo obtenida por la unidad de adquisición de imagen capturada 500. Por ejemplo, la unidad de detección de puntos de característica 503 detecta un punto de característica de un patrón tal como patrones a cuadros de los sujetos 7 que aparecen en las imágenes capturadas en estéreo, o detecta un punto de característica del área que hay que medir MA. En tales casos, por ejemplo, la forma de grano o las protuberancias y depresiones (irregularidades) de la superficie de carretera asfaltada 4 se detectan como un punto de característica del área que hay que medir MA.

La unidad de procesamiento de coincidencia 504 es una unidad funcional que realiza procesos de coincidencia en un par de puntos de característica de un par de imágenes capturadas en estéreo detectadas por la unidad de detección de puntos de característica 503. Como tales procesos de coincidencia, por ejemplo, puede usarse una coincidencia de bloques en la que se recortan una pluralidad de áreas de un par de imágenes a comparar entre sí y, por ejemplo, la suma de diferencia absoluta (SAD) de las diferencias en brillo, la suma de diferencia al cuadrado (SSD) de las diferencias en brillo, y la correlación cruzada normalizada de media cero (ZNCC) de las áreas recortadas se calculan para evaluar la afinidad entre un par de imágenes.

La unidad de medición de desplazamiento vertical 505 es una unidad funcional que mide la cantidad de desplazamiento vertical entre un par de imágenes capturadas en estéreo, que se provoca debido a, por ejemplo, el desplazamiento del eje óptico. Más específicamente, la unidad de medición de desplazamiento vertical 505 mide la cantidad de desplazamiento vertical usando los puntos de característica detectados por la unidad de detección de puntos de característica 503 a través de la totalidad de las imágenes capturadas. Debido a una configuración de este tipo, aumenta el número de puntos de característica que hay que usar para la corrección de desplazamiento vertical, y mejora la precisión de la corrección.

La unidad de medición de desplazamiento horizontal 506 es una unidad funcional que mide el desplazamiento horizontal provocado debido al desplazamiento del eje óptico entre un par de imágenes capturadas en estéreo, es decir, el error de disparidad Ad. Más específicamente, la unidad de medición de desplazamiento horizontal 506 usa la quinta ecuación anterior para calcular el error de disparidad Ad.

La unidad de cálculo de parámetros de corrección 507 es una unidad funcional que calcula un parámetro de corrección de desplazamiento vertical (segundo parámetro de corrección) basándose en la cantidad de desplazamiento vertical calculado por la unidad de medición de desplazamiento vertical 505 y calcula un parámetro de corrección de desplazamiento horizontal (primer parámetro de corrección) basándose en el error de disparidad Ad calculado por la unidad de medición de desplazamiento horizontal 506. Por ejemplo, la unidad de cálculo de parámetros de corrección 507 expresa un parámetro de corrección de desplazamiento vertical, que se usa para corregir la cantidad de desplazamiento vertical (para hacer que la cantidad de desplazamiento vertical se vuelva cero) medido por la unidad de medición de desplazamiento vertical 505, como una matriz de rotación, y expresa un parámetro de corrección de desplazamiento horizontal, que se usa para corregir el error de disparidad Ad (para hacer que el error de disparidad Ad se vuelva cero) medido por la unidad de medición de desplazamiento horizontal 506, como la cantidad de desplazamiento en toda la imagen.

La unidad de corrección 508 es una unidad funcional que usa el parámetro de corrección de desplazamiento vertical y parámetro de corrección de desplazamiento horizontal calculado por la unidad de cálculo de parámetros de corrección 507 para corregir cada uno del desplazamiento vertical y el error de disparidad Ad provocados por, por ejemplo, el desplazamiento del eje óptico.

La unidad de generación de información de distancia 509 que usa las imágenes capturadas en estéreo que se corrigen por la unidad de corrección 508 es una unidad funcional que genera un mapa de profundidad (información de distancia).

La unidad de almacenamiento 510 es una unidad funcional que almacena, por ejemplo, el par de imágenes capturadas en estéreo que se obtienen por la cámara estéreo 6 y las imágenes capturadas en estéreo que se corrigen por la unidad de corrección 508. La unidad de almacenamiento 510 se implementa por al menos uno de la RAM 5002 o el dispositivo de almacenamiento 5004 como se ilustra en la Figura 11.

La unidad de control de captura 501, la unidad de detección de desplazamiento del eje óptico 502, la unidad de detección de puntos de característica 503, la unidad de procesamiento de coincidencia 504, la unidad de medición de desplazamiento vertical 505, la unidad de medición de desplazamiento horizontal 506, la unidad de cálculo de parámetros de corrección 507, la unidad de corrección 508 y la unidad de generación de información de distancia 509 como se han descrito anteriormente se implementan cuando la CPU 5000, como se ilustra en la Figura 11, ejecuta un programa. Algunas o todas de la unidad de control de captura 501, la unidad de detección de desplazamiento del eje óptico 502, la unidad de detección de puntos de característica 503, la unidad de procesamiento de coincidencia 504, la unidad de medición de desplazamiento vertical 505, la unidad de medición de desplazamiento horizontal 506, la unidad de cálculo de parámetros de corrección 507, la unidad de corrección 508 y la unidad de generación de información de distancia 509 pueden implementarse mediante circuitería de hardware (circuito integrado (CI)) tal como una matriz de puertas programable en campo (FPGA) o un circuito integrado específico de la aplicación (ASIC), en lugar de un programa de software.

La unidad de adquisición de imagen capturada 500, la unidad de control de captura 501, la unidad de detección de desplazamiento del eje óptico 502, la unidad de detección de puntos de característica 503, la unidad de procesamiento de coincidencia 504, la unidad de medición de desplazamiento vertical 505, la unidad de medición de desplazamiento horizontal 506, la unidad de cálculo de parámetros de corrección 507, la unidad de corrección 508, la unidad de generación de información de distancia 509 y la unidad de almacenamiento 510 del dispositivo de procesamiento de información 50 como se ilustran en la Figura 13 solamente indican funciones esquemáticamente, y no se pretende ninguna limitación por tales configuraciones. Por ejemplo, una pluralidad de unidades funcionales que se ilustran como unidades funcionales independientes en el dispositivo de procesamiento de información 50 como se ilustra en la Figura 13 pueden configurarse como una única unidad funcional. Como alternativa, la función de una única unidad funcional en el dispositivo de procesamiento de información 50 como se ilustra en la Figura 13 puede dividirse en una pluralidad de funciones implementadas por una pluralidad de unidades funcionales.

La Figura 14 es un diagrama de flujo de cómo se obtiene un parámetro de corrección en el sistema de formación de imágenes 10 , de acuerdo con la presente realización.

A continuación, con referencia a la Figura 14, se describe cómo se obtiene un parámetro de corrección en el sistema de formación de imágenes 10 de acuerdo con la presente realización.

Etapa S11

En el sistema de formación de imágenes 10, una vez que el dispositivo de entrada 5005 del dispositivo de procesamiento de información 50 se opera para ordenar a la cámara estéreo 6 que inicie una operación de captura mientras el vehículo 1 está viajando, la unidad de control de captura 501 del dispositivo de procesamiento de información 50 provoca que la cámara estéreo 6 inicie una operación de captura. Una vez que la cámara estéreo 6 inicia una operación de captura, la unidad de adquisición de imagen capturada 500 del dispositivo de procesamiento de información 50 obtiene la imagen capturada estéreo capturada. A continuación, el proceso se desplaza a los procesos en una etapa S12.

Etapa S12

La unidad de detección de desplazamiento del eje óptico 502 del dispositivo de procesamiento de información 50 detecta si se ha producido o no un desplazamiento del eje óptico. Por ejemplo, cuando el valor de la cantidad de cambio en la temperatura que se detecta por el sensor 5025 es igual o mayor que un valor predeterminado y un cambio en temperatura de este tipo se provoca por vibración, la unidad de detección de desplazamiento del eje óptico 502 detecta los desplazamientos en eje óptico cuando la aceleración que se detecta por el sensor 5025 indica un estado vibracional predeterminado. Como alternativa, cuando el valor de la cantidad de cambio en la temperatura que se detecta por el sensor 5025 es igual o mayor que un valor predeterminado y un cambio en temperatura de este tipo se provoca por deterioro en el tiempo, la unidad de detección de desplazamiento del eje óptico 502 detecta los desplazamientos en eje óptico cuando la longitud de tiempo de operación acumulado es igual a o mayor que una duración de tiempo predeterminada, en orden descendente. Cuando se detecta algún desplazamiento del eje óptico por la unidad de detección de desplazamiento del eje óptico 502 ("SÍ" en la etapa S12), el proceso se desplaza a los procesos en una etapa S13. Cuando no se detecta ningún desplazamiento del eje óptico por la unidad de detección de desplazamiento del eje óptico 502 ("NO" en la etapa S12), el proceso vuelve a los procesos en la etapa S11.

Etapa S13

Cuando los desplazamientos en eje óptico se detectan por la unidad de detección de desplazamiento del eje óptico 502, el operador hace que el vehículo 1 deje de moverse para ejecutar la adquisición de imagen y procesamiento de imagen en una etapa posterior con estabilidad. Al hacer eso, no siempre es necesario hacer que el vehículo 1 deje de moverse completamente, y puede ser suficiente hacer que la velocidad del vehículo 1 sea más lenta que la velocidad predeterminada. A continuación, el proceso se desplaza a los procesos en una etapa S14.

Etapa S14

Una vez que el vehículo 1 deja de moverse, la cámara estéreo 6 captura una imagen de la superficie de la carretera 4, y la unidad de adquisición de imagen capturada 500 del dispositivo de procesamiento de información 50 obtiene una imagen capturada estéreo capturada por la cámara estéreo 6. A continuación, el proceso se desplaza a los procesos en una etapa S15.

Etapa S15

La unidad de detección de puntos de característica 503 del dispositivo de procesamiento de información 50 detecta un punto de característica en una imagen capturada estéreo obtenida por la unidad de adquisición de imagen capturada 500. Más específicamente, la unidad de detección de puntos de característica 503 detecta un punto de característica de un patrón tal como patrones a cuadros de los sujetos 7 que aparecen en las imágenes capturadas en estéreo, o detecta un punto de característica del área que hay que medir MA. Posteriormente, la unidad de procesamiento de coincidencia 504 del dispositivo de procesamiento de información 50 realiza procesos de coincidencia en un par de puntos de característica de un par de imágenes capturadas en estéreo detectadas por la unidad de detección de puntos de característica 503. Los procesos de coincidencia son los mismos que anteriormente.

Después de que se hacen los procesos de coincidencia de un par de puntos de característica, en primer lugar, la unidad de medición de desplazamiento vertical 505 del dispositivo de procesamiento de información 50 mide la cantidad de desplazamiento vertical entre un par de imágenes capturadas en estéreo para corregir el desplazamiento vertical. Al hacer eso, el valor óptimo de la cantidad de desplazamiento vertical es 0 independientemente de la distancia de los múltiples sujetos que aparecen en toda un área de las imágenes capturadas en estéreo. Por consiguiente, la unidad de medición de desplazamiento vertical 505 mide la cantidad de desplazamiento vertical usando los puntos de característica detectados por la unidad de detección de puntos de característica 503 a través de la totalidad de las imágenes capturadas. A continuación, el proceso se desplaza a los procesos en una etapa S16.

Etapa S16

La unidad de cálculo de parámetros de corrección 507 del dispositivo de procesamiento de información 50 calcula un parámetro de corrección de desplazamiento vertical que se expresa en, por ejemplo, una matriz de rotación, basándose en la cantidad de desplazamiento vertical calculada por la unidad de medición de desplazamiento vertical 505. A continuación, la unidad de corrección 508 del dispositivo de procesamiento de información 50 corrige el desplazamiento vertical provocado por, por ejemplo, el desplazamiento del eje óptico, usando el parámetro de corrección de desplazamiento vertical obtenido. Como se ha descrito anteriormente, el desplazamiento vertical se corrige por adelantado antes de que se realice la corrección en el error de disparidad Ad en una etapa posterior. Debido a esta configuración, el objeto que hay que corregir puede limitarse al error de disparidad Ad, que es desplazamiento horizontal. A continuación, el proceso se desplaza a los procesos en una etapa Sl7.

Etapa S17

Después de la corrección de desplazamiento vertical, la unidad de medición de desplazamiento horizontal 506 del dispositivo de procesamiento de información 50 mide el desplazamiento horizontal provocado debido al desplazamiento del eje óptico entre un par de imágenes capturadas en estéreo, es decir, el error de disparidad Ad, usando el punto de característica en el sujeto 7 detectado por la unidad de detección de puntos de característica 503. Más específicamente, la unidad de medición de desplazamiento horizontal 506 usa la quinta ecuación anterior para calcular el error de disparidad Ad. A continuación, el proceso se desplaza a los procesos en una etapa S18.

Etapa S18

La unidad de cálculo de parámetros de corrección 507 calcula un parámetro de corrección de desplazamiento horizontal, que se expresa en, por ejemplo, la cantidad de desplazamiento en toda la imagen, basándose en el error de disparidad Ad calculado por la unidad de medición de desplazamiento horizontal 506. A continuación, la unidad de corrección 508 corrige el error de disparidad Ad provocado por, por ejemplo, el desplazamiento del eje óptico, usando el parámetro de corrección de desplazamiento horizontal obtenido. A continuación, el proceso se desplaza a los procesos en una etapa S19.

Etapa S19

La unidad de cálculo de parámetros de corrección 507 almacena el parámetro de corrección de desplazamiento vertical y parámetro de corrección de desplazamiento horizontal calculados en la unidad de almacenamiento 510 para actualizaciones. Posteriormente, una imagen capturada estéreo que se obtiene por la unidad de adquisición de imagen capturada 500 se corrige usando el parámetro de corrección de desplazamiento vertical y parámetro de corrección de desplazamiento horizontal calculados por la unidad de cálculo de parámetros de corrección 507, y se genera un mapa de profundidad (información de distancia). A continuación, el proceso vuelve a los procesos en la etapa S11.

Se obtiene un parámetro de corrección en el flujo de los procesos como en las etapas anteriores S11 a S19.

La Figura 15 es un diagrama que ilustra la distancia entre un par de puntos de característica en el sujeto 7, de acuerdo con la presente realización.

La Figura 16 es un gráfico que ilustra la relación entre la distancia entre un par de puntos de característica y el error en medición de error de disparidad, de acuerdo con la presente realización.

La Figura 17 es un diagrama que ilustra un caso en el que se usan las distancias entre una pluralidad de puntos de característica en un sujeto 7a, de acuerdo con la presente realización.

A continuación, con referencia a la Figura 15 a la Figura 17, se describe el error en la medición de error de disparidad.

Como se ha descrito anteriormente, cuando se producen los desplazamientos en eje óptico, un error se incluye en la disparidad d como el error de disparidad Ad. Además, como se ha descrito anteriormente, la distancia entre la cámara estéreo 6 y el sujeto 7 puede cambiar. Por consiguiente, suponiendo que la disparidad después de que se cambia la distancia y la distancia entre un par de puntos de característica en la imagen se denominan d' y S'img, respectivamente, el error de disparidad Ad se calcula y obtiene usando la quinta ecuación anterior, y puede expresarse en una sexta ecuación indicada a continuación.

Sexta ecuación

Como se expresa en la primera ecuación y tercera ecuación anteriormente descritas, la distancia Sreal entre los puntos de característica FP1 y FP2 del sujeto 7 de la Figura 15 en el espacio real puede calcularse usando la distancia Simg entre un par de puntos de característica en la imagen. Sin embargo, se produce un cierto nivel de error de detección en la detección de imágenes realizadas por los dispositivos de formación de imágenes 601L y 601R, y un error de detección de este tipo se denomina como un error de detección AS entre un par de puntos de característica. Suponiendo que el error de disparidad que está influenciado por un error de detección AS de este tipo entre un par de puntos de característica es Ad', el error de disparidad puede expresarse en una séptima ecuación indicada a continuación.

Séptima ecuación

S'img AS

Ad' = d'

sí.^mg

La distancia entre un par de puntos de característica en la imagen se detecta basándose en la imagen antes de que se produzcan los desplazamientos en eje óptico. Debido a una configuración de este tipo, cuando la distancia entre un par de puntos de característica en la imagen se detecta después de que se producen los desplazamientos en eje óptico, se produce el error de detección AS anterior entre un par de puntos de característica. Un error Ed provocado por la medición de un error de disparidad debido a la influencia de un error de detección AS de este tipo entre un par de puntos de característica (un error de este tipo puede denominarse como un error Ed en medición de error de disparidad en la siguiente descripción) puede expresarse en una octava ecuación indicada a continuación.

Octava ecuación

Ed = A d ' - A d = ^ ± A£ d - d ' -( ^ d - d ' ) = ^ d

^ im g V ^ im g / ^ im g

Como se ha descrito anteriormente, el error de detección AS entre un par de puntos de característica es constante independientemente del tamaño de la distancia entre un par de puntos de característica en el sujeto 7. Por consiguiente, si la distancia Simg entre un par de puntos de característica en la imagen se expande usando la octava ecuación anterior, puede reducirse el error Ed en la medición de error de disparidad. En otras palabras, el sujeto 7 se dispone a una distancia predeterminada de la cámara estéreo 6 y, por lo tanto, la distancia Simg entre un par de puntos de característica en la imagen puede expandirse expandiendo la distancia Sreal entre un par de puntos de característica en el espacio real. Como se ha descrito anteriormente, si se reduce un error Ed en medición de error de disparidad, mejora la precisión del cálculo del error de disparidad Ad, y el error de disparidad Ad puede corregirse con un alto grado de precisión.

Suponiendo que la precisión requerida para la medición de error de disparidad es Eda, la distancia entre un par de puntos de característica en el sujeto 7 se establece para conseguir la distancia Simg entre un par de puntos de característica en la imagen que satisface una novena ecuación indicada a continuación. Por consiguiente, se garantiza la precisión Eda.

Novena ecuación

Simg > 7“ d _dâ

La Figura 16 es un diagrama que ilustra la relación entre la distancia Sreal [mm] entre un par de puntos de característica en el espacio real y el error Ed [píxel] en la medición de error de disparidad, de acuerdo con la presente realización, donde la longitud focal f es 16 [mm], la longitud de línea de base B es 150 [mm], la posición de instalación en la que se dispone la cámara estéreo 6 con referencia a la superficie de la carretera 4 es 2100 [mm], y el error de detección AS entre un par de puntos de característica es 0,1 [píxel].

Como se representa en la Figura 16, se entiende que el error Ed en la medición de error de disparidad puede reducirse a medida que se expande la distancia Sreai entre un par de puntos de característica en el espacio real. En otras palabras, el error Ed en la medición de error de disparidad puede reducirse a medida que se expande la distancia Simg entre un par de puntos de característica en la imagen, por ejemplo, cuando se mide la profundidad de surcos para inspeccionar la carretera, se desea que el error Ed en medición de error de disparidad satisface Ed<0,1. Como la cámara estéreo 6 se sujeta al vehículo 1 que puede viajar en la carretera que hay que medir, la posición de instalación en la que la cámara estéreo 6 se dispone está alejada de la superficie de la carretera 4 por aproximadamente 1800 a 2500 [mm], y se desea en vista de la anchura de la carretera que hay que medir y la precisión de medición que la cámara estéreo 6 se use donde la longitud focal f oscile de 10 a 20 [mm] y la longitud de línea de base B oscila de 130 a 200 [mm]. Por ejemplo, si Ed<0,1 [píxel] se satisface cuando se supone que la longitud focal f es 16 [mm], la longitud de línea de base B es 150 [mm], y la posición de instalación en la que la cámara estéreo 6 se dispone está distante de la superficie de la carretera 4 por 2100 [mm], el error en distancia a medir puede reducirse a 1 [mm] o menos. En otras palabras, si la distancia Simg entre un par de puntos de característica en la imagen que satisface la novena ecuación anterior cuando se adopta la precisión Eda=0,1, el error en distancia a medir puede reducirse a 1 [mm] o menos. Como se representa en la Figura 16, la distancia entre un par de puntos de característica en el sujeto 7 necesita ser igual o mayor que 250 [mm] para satisfacer Ed<0,1 [píxel], donde Ed indica el error en la medición de error de disparidad.

Con respecto al rendimiento de medición de la profundidad de surcos usados para inspección de carretera, se requiere la precisión dentro de ±3 [mm] con referencia a un valor verdadero. Sin embargo, en vista del error intrínseco de la cámara estéreo 6, se desea que la precisión del rendimiento de medición de la profundidad de surcos se controle dentro de ±1 [mm] con referencia a un valor verdadero.

En la anterior descripción de la realización de la presente divulgación, se supone que se usa una distancia en el sujeto 7 entre un par de puntos de característica. Sin embargo, no se pretende ninguna limitación de este modo. Por ejemplo, como se ilustra en la Figura 17, pueden usarse una pluralidad de distancias entre una pluralidad de pares de puntos de característica (es decir, distancias entre pares de puntos de característica FPD1 a FPD3). Debido a una configuración de este tipo, puede reducirse la influencia del error de detección AS entre un par de puntos de característica, que es ruido aleatorio.

Para conseguir la distancia Simg entre un par de puntos de característica en la imagen que satisface la novena ecuación anterior, no siempre es necesario usar la distancia entre un par de puntos de característica en el sujeto 7 fijado al componente de sujeción 3. Por ejemplo, puede usarse la distancia entre un par de puntos de característica detectados en el área que hay que medir MA. Sin embargo, las posiciones relativas de la cámara estéreo 6 y el sujeto 7 son estables. Por esta razón, se desea que se use la distancia entre un par de puntos de característica en el sujeto 7 fijado al componente de sujeción 3.

Como se ha descrito anteriormente, en el sistema de formación de imágenes 10 de acuerdo con la presente realización, con respecto al error Ed que se provoca por la medición de un error de disparidad debido a la influencia de un error de detección AS de este tipo entre un par de puntos de característica, se usan un par de puntos de característica donde la distancia Simg entre un par de puntos de característica en la imagen satisface la novena ecuación anterior. Debido a una configuración de este tipo, puede reducirse el error Ed en la medición de error de disparidad, y mejora la precisión de la medición del error de disparidad Ad. Por consiguiente, el error de disparidad Ad puede corregirse con un alto grado de precisión. Como un par de puntos de característica donde la distancia Simg entre un par de puntos de característica en la imagen que satisface la novena ecuación anterior, por ejemplo, pueden usarse un par de puntos de característica que se detectan de los patrones en el sujeto 7, que se fija al componente de sujeción 3 del vehículo 1.

En el sistema de formación de imágenes 10 de acuerdo con la presente realización, se usan un par de puntos de característica que se detectan de los patrones en el sujeto 7, que se fija al componente de sujeción 3 del vehículo 1, para corregir el desplazamiento posicional provocado debido a, por ejemplo, el desplazamiento del eje óptico (por ejemplo, desplazamiento vertical y un error de disparidad). Debido a una configuración de este tipo, no es necesario proporcionar, por ejemplo, un mecanismo de ajuste o ajustador separado del vehículo 1.

Modificación

La Figura 18A y la Figura 18B son diagramas, cada uno de los cuales ilustra una configuración del vehículo 1 para el que se proporcionan tres cámaras estéreo 6C, 6L y 6R, de acuerdo con una modificación de las realizaciones anteriores.

Las cámaras estéreo 6C, 6L y 6R que se proporcionan para el vehículo 1, de acuerdo con la presente modificación de las realizaciones anteriores, se describen a continuación con referencia a la Figura 18A y la Figura 18B.

En las realizaciones anteriormente descritas, se supone que el sistema de formación de imágenes 10 realiza una medición usando la cámara estéreo 6 proporcionada para el vehículo 1. Sin embargo, no se pretende ninguna limitación de este modo. Por ejemplo, como se ilustra en la Figura 18A, el sistema de formación de imágenes 10 puede realizar una medición usando las tres cámaras estéreo 6C, 6L y 6R.

En la modificación como se ilustra en la Figura 18A, la cámara estéreo 6C se dispone adicionalmente entre la cámara estéreo 6L y la cámara estéreo 6R. Como se ilustra en la Figura 18B, un alcance de captura estéreo 60C consiste en los alcances de captura 60C^ly 60C^rimplementadas por las lentes de formación de imágenes 6C^ly 6C^rde la cámara estéreo 6C. Además, un alcance de captura estéreo 60L consiste en los alcances de captura 60Ll y 60L^rimplementados por las lentes de formación de imágenes 6Ll y 6L^rde la cámara estéreo 6L, y un alcance de captura estéreo 60R consiste en los alcances de captura 60R^ly 60Rr implementados por las lentes de formación de imágenes 6R^ly 6Rr de la cámara estéreo 6R. Las cámaras estéreo 6L, 6C y 6R se disponen de tal forma que los múltiples alcances de captura estéreo 60L, 60C y 60R de las respectivas cámaras estéreo se solaparán entre sí en la dirección de anchura del vehículo 1 en una relación de solapamiento predeterminada.

Como se ha descrito anteriormente, se usan tres cámaras estéreo 6L, 6C y 6R para capturar un único carril de tráfico en la presente modificación de las realizaciones anteriores en la presente modificación de la realización anterior. Debido a una configuración de este tipo, un alcance de captura puede disponerse en el centro del carril y en los lados derecho e izquierdo del carril, respectivamente, para capturar imágenes, y pueden obtenerse imágenes capturadas en estéreo de alta calidad (alta resolución) por un número pequeño de cámaras estéreo. Como se conoce en la técnica, en particular, la anchura de carretera se establece a 3,5 metros (m) en la presente modificación de la realización anterior. Para tratar una situación de este tipo en la que la anchura de carretera se establece a 3,5 (m), por ejemplo, ambos lados del carril en las direcciones de anchura de carretera se capturan por las cámaras estéreo 6^ly 6^r, y el centro del carril se captura por la cámara estéreo 6C.

Cada una de las funciones de las realizaciones de la presente divulgación y su modificación pueden implementarse por uno o más circuitos o circuitería de procesamiento. La circuitería de procesamiento incluye un procesador programado para ejecutar software como un procesador implementado por un circuito electrónico. Un circuito de procesamiento también incluye dispositivos tales como un circuito integrado específico de la aplicación (ASIC), procesador de señales digitales (DSP), matriz de puertas programable en campo (FPGA), un sistema en un chip (SoC), una unidad de procesamiento gráfico (GPU) y módulos de circuito convencionales diseñados para realizar las funciones citadas.

En las realizaciones de la presente divulgación y su modificación, cuando al menos algunas de las múltiples unidades funcionales del dispositivo de procesamiento de información 50 se implementan ejecutando un programa, un programa de este tipo puede incorporarse por adelantado en una memoria de solo lectura (ROM) o similar. El programa que hay que ejecutar por el dispositivo de procesamiento de información 50 de acuerdo con las realizaciones de la presente divulgación y su modificación puede instalarse para distribución en cualquier medio de grabación legible por ordenador deseado tal como un disco compacto, una memoria de solo lectura (CD-ROM), un disco flexible (FD), un disco compacto regrabable (CD-R) y un disco versátil digital (DVD) en un formato instalable o ejecutable por un ordenador. El programa que se ejecuta en el dispositivo de procesamiento de información 50 de acuerdo con las realizaciones anteriores de la presente divulgación y su modificación puede proporcionarse tras almacenarse en un ordenador conectado a una red tal como la Internet y descargarse a través de la red. Un programa que tiene que ejecutarse por el dispositivo de procesamiento de información 50 de acuerdo con las realizaciones anteriores de la presente divulgación y su modificación puede proporcionarse o distribuirse a través de una red tal como la Internet. Un programa que tiene que ejecutarse por el dispositivo de procesamiento de información 50 de acuerdo con las realizaciones anteriores de la presente divulgación y su modificación tiene una estructura de módulo que incluye al menos una de las unidades funcionales anteriormente descritas. Con respecto al hardware real relacionado con el programa, la CPU 5000 lee y ejecuta el programa de la memoria como se ha descrito anteriormente (por ejemplo, la ROM 5001) para cargar el programa en la memoria principal (por ejemplo, la RAM 5002) para implementar las múltiples unidades funcionales anteriores.

Claims

REIVINDICACIONES

1. Un sistema de medición (10) que comprende:

una cámara estéreo (6) que incluye un par de dispositivos de formación de imágenes (601R, 601L);

un sujeto (7) que tiene al menos dos puntos de característica (FP1, FP2), y

un dispositivo de medición (50) que comprende:

una unidad de adquisición (500), configurada para obtener al menos un par de imágenes capturadas en estéreo capturadas por la cámara estéreo (6);

una unidad de detección (503), configurada para detectar dos o más puntos de característica de cada una del al menos un par de imágenes capturadas en estéreo; y

una unidad de medición (506), configurada para medir un error de disparidad usando una distancia entre un par de puntos de característica de los dos o más puntos de característica detectados por la unidad de detección (503) en cada una del al menos un par de imágenes capturadas en estéreo,

en donde se satisface una ecuación:

S ^imgdâd

en la que

Simg indica la distancia entre un par de puntos de característica en la imagen,

AS indica un error de detección entre el par de dispositivos de formación de imágenes (601R, 601L), Eda indica precisión de medición de un error de disparidad en disparidad entre un par de imágenes del al menos un par de imágenes capturadas en estéreo, y

d indica la disparidad.

2. El sistema de medición (50) de acuerdo con la reivindicación 1,

en el que la unidad de detección (503) detecta al menos dos puntos de característica de una parte que corresponde a un sujeto (7), que aparece en una del al menos un par de imágenes capturadas en estéreo, siendo el sujeto (7) fijado a una posición incluida en un alcance de captura de la cámara estéreo (6) entre la cámara estéreo (6) y un objeto que hay que medir (4), y

en el que la unidad de medición (506) mide el error de disparidad usando otra distancia entre los al menos dos puntos de característica en la parte que corresponde al sujeto (7) como la distancia.

3. El sistema de medición (50) de acuerdo con la reivindicación 2,

en el que el sujeto (7) tiene un patrón a cuadros, y

en el que la unidad de detección (503) detecta un patrón de cuadrícula en el patrón a cuadros como un punto de característica, de la parte que corresponde al sujeto (7).

4. El sistema de medición (50) de acuerdo con las reivindicaciones 2 o 3,

en el que la distancia incluye una pluralidad de distancias según se determina por los al menos dos puntos de característica en la parte que corresponde al sujeto (7), y en el que la unidad de medición (506) mide el error de disparidad basándose en la pluralidad de distancias.

5. El sistema de medición (50) de acuerdo con una cualquiera de las reivindicaciones 1 a 4, que comprende adicionalmente:

una unidad de cálculo (507), configurada para calcular un primer parámetro de corrección, usado para corregir el error de disparidad, basándose en el error de disparidad medido por la unidad de medición (506); y

una unidad de corrección (508), configurada para corregir el error de disparidad usando el primer parámetro de corrección.

6. El sistema de medición (50) de acuerdo con la reivindicación 5, que comprende adicionalmente:

otra unidad de medición (505), configurada para medir una cantidad de desplazamiento vertical, basándose en los dos o más puntos de característica detectados de una del al menos un par de imágenes capturadas en estéreo, siendo la cantidad de desplazamiento vertical un desplazamiento posicional en una dirección ortogonal a una dirección de la disparidad,

en donde la unidad de cálculo (507) calcula un segundo parámetro de corrección usado para corregir el desplazamiento vertical, basándose en la cantidad de desplazamiento vertical medido por la otra unidad de medición (505), y en donde la unidad de corrección (508) corrige el desplazamiento vertical usando el segundo parámetro de corrección.

7. El sistema de medición (50) de acuerdo con la reivindicación 6,

en el que la unidad de detección (503) detecta un punto de característica al menos de un área que hay que medir en una del al menos un par de imágenes capturadas en estéreo, y

en el que la otra unidad de medición (505) mide la cantidad de desplazamiento vertical basándose en, al menos, el punto de característica detectado del área que hay que medir.

8. El sistema de medición (50) de acuerdo con las reivindicaciones 6 o 7, en el que, después de que el desplazamiento vertical en una del al menos un par de imágenes capturadas en estéreo es corregido por la unidad de corrección (508) usando el segundo parámetro de corrección, la unidad de medición (506) mide el error de disparidad.

9. El sistema de medición (50) de acuerdo con una cualquiera de las reivindicaciones 1 a 8, en el que la unidad de medición (506) mide el error de disparidad basándose en la distancia que satisface la ecuación, cuando la precisión es 0,1 píxel.

10. El sistema de medición (50) de acuerdo con una cualquiera de las reivindicaciones 1 a 9, que comprende adicionalmente:

una unidad de detección (502), configurada para detectar un desplazamiento del eje óptico de la cámara estéreo (6),

en donde, cuando el desplazamiento provocado en el eje óptico es detectado por la unidad de detección (502), la unidad de medición (506) mide el error de disparidad basándose en la distancia determinada por los dos o más puntos de característica detectados por la unidad de detección (503).

11. El sistema de medición (50) de acuerdo con la reivindicación 10, en el que el detector (502) detecta el desplazamiento del eje óptico, basándose en información de detección de un sensor que detecta, al menos, temperatura o aceleración.

12. El sistema de medición (50) de acuerdo con una cualquiera de las reivindicaciones 1 a 11, que comprende adicionalmente:

un generador (509), configurado para generar información de distancia basándose en el al menos un par de imágenes capturadas en estéreo obtenidas por la unidad de adquisición (500),

en donde el generador (509) genera la información de distancia basándose en el al menos un par de imágenes capturadas en estéreo capturadas por la cámara estéreo (6), mientras el dispositivo de medición (50) se está moviendo.

13. El sistema de medición (50) de acuerdo con una cualquiera de las reivindicaciones 1 a 12, en el que, cuando la velocidad del dispositivo de medición (50) es igual a o menor que la velocidad prescrita, la unidad de medición (506) mide el error de disparidad basándose en la distancia determinada por los dos o más puntos de característica detectados por la unidad de detección (503).

14. Un método de medición usando una cámara estéreo (6), que incluye un par de dispositivos de formación de imágenes (601R, 601L) y un sujeto (7) que tiene al menos dos puntos de característica (FP1, FP2), comprendiendo el método:

obtener al menos un par de imágenes capturadas en estéreo capturadas por la cámara estéreo (6); detectar dos o más puntos de característica de cada una del al menos un par de imágenes capturadas en estéreo; y medir un error de disparidad usando una distancia entre un par de puntos de característica de los dos o más puntos de característica detectados en cada una del al menos un par de imágenes capturadas en estéreo, en donde se satisface una ecuación:

S ^imgdâd

en la que

AS indica un error de detección entre el par de dispositivos de formación de imágenes (601R, 601L),

Eda indica precisión de medición de un error de disparidad en disparidad entre un par de imágenes del al menos un par de imágenes capturadas en estéreo, y

d indica la disparidad.