WO2016157799A1 - 車両用表示装置の位置調整方法 - Google Patents

車両用表示装置の位置調整方法 Download PDF

Info

Publication number
WO2016157799A1
WO2016157799A1 PCT/JP2016/001577 JP2016001577W WO2016157799A1 WO 2016157799 A1 WO2016157799 A1 WO 2016157799A1 JP 2016001577 W JP2016001577 W JP 2016001577W WO 2016157799 A1 WO2016157799 A1 WO 2016157799A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
virtual image
display device
viewpoint detection
detection camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/001577
Other languages
English (en)
French (fr)
Inventor
木村　雅之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2016557667A priority Critical patent/JP6518952B2/ja
Priority to EP16771692.7A priority patent/EP3147150B1/en
Priority to US15/263,993 priority patent/US9772496B2/en
Publication of WO2016157799A1 publication Critical patent/WO2016157799A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B60K35/233—Head-up displays [HUD] controlling the size or position in display areas of virtual images depending on the condition of the vehicle or the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Definitions

  • the present disclosure relates to a vehicular display device that displays a virtual image on a driver's field of view, and more particularly to a technique for calculating the relative position and orientation of a viewpoint detection camera and a display device for detecting the viewpoint of a virtual image observer. .
  • HUD Head Up Display
  • a camera for viewpoint detection is installed in the passenger compartment, thereby detecting the driver's viewpoint position.
  • both the viewpoint detection camera and the HUD have error factors such as variations during assembly and displacement when the vehicle is mounted, and the positional relationship between the two is likely to be different from the design assumption. Therefore, it is desirable to measure the relative posture of the two by some means after attachment, and to draw based on the measured relative posture at the time of drawing.
  • Patent Document 1 a mirror is installed at the position of the driver's eyes, and the positional relationship between the viewpoint detection camera and the HUD is adjusted while viewing the mirror image captured by the viewpoint detection camera. It is disclosed.
  • the present disclosure provides a display position adjustment method for a display device for a vehicle that can easily measure the relative attitude between the viewpoint detection camera and the HUD and adjust the display position of the HUD.
  • the display position adjustment method in the present disclosure is a position adjustment method for a vehicle display device that includes a display device that displays a virtual image on the driver's forward visual field and a viewpoint detection camera that photographs the driver. Then, a measurement camera is installed at a position where a calibration pattern for acquiring a virtual image and information for position adjustment can be photographed, and the viewing angle of the virtual image, the angle of view of the viewpoint detection camera, and the image of the measurement camera Placing a calibration pattern at a predetermined position relative to the corner. Further, the method includes a step of photographing a calibration pattern with the viewpoint detection camera and the measurement camera, and a step of photographing a virtual image with the measurement camera.
  • the method includes calculating the relative position and posture of the viewpoint detection camera and the display device as posture information. Furthermore, it has the step which adjusts the position of the virtual image which a display apparatus displays using attitude
  • the position adjustment method for the vehicle display device can easily measure the relative attitude between the viewpoint detection camera and the HUD, and can adjust the display position of the HUD.
  • FIG. 1 is a block diagram illustrating a configuration example of a display position adjustment method according to the first embodiment.
  • FIG. 2 is a functional block diagram illustrating a configuration example of the display position adjustment method according to the first embodiment.
  • FIG. 3 is a flowchart showing a flow of processing of the position adjustment method in the first embodiment.
  • FIG. 4 is a diagram illustrating an installation example of a calibration pattern according to the first embodiment.
  • FIG. 5 is a diagram illustrating another installation example of the calibration pattern according to the first embodiment.
  • FIG. 6A is a diagram for explaining the relative posture of the measurement camera and the HUD.
  • FIG. 6B is a diagram illustrating a relative posture between the measurement camera and the HUD.
  • FIG. 7A is a diagram illustrating an example of adjusting the display position.
  • FIG. 1 is a block diagram illustrating a configuration example of a display position adjustment method according to the first embodiment.
  • FIG. 2 is a functional block diagram illustrating a configuration example of the display position adjustment method
  • FIG. 7B is a diagram illustrating an example of adjusting the display position.
  • FIG. 8 is a flowchart showing the flow of processing of the position adjustment method in the second embodiment.
  • FIG. 9 is a diagram illustrating an example of the installation position of the calibration pattern in the second embodiment.
  • FIG. 10A is a diagram illustrating an example of the shape of a calibration pattern in the second embodiment.
  • FIG. 10B is a diagram illustrating an example of the shape of the calibration pattern in the second embodiment.
  • FIG. 1 is a schematic diagram for explaining a method for adjusting the position of the vehicle display device 100 according to the first embodiment.
  • the posture determination device 200 and the calibration pattern 300 are used for the position adjustment of the vehicle display device 100.
  • the vehicle display device 100 includes a HUD 110, a viewpoint detection camera 120, and a display control ECU (Electronic Control Unit) 130.
  • a display control ECU Electronic Control Unit 130.
  • the HUD 110 displays a virtual image on the driver's forward visual field, and is composed of a head-up display. This method can be applied regardless of whether the HUD 110 is a so-called windshield type or combiner type.
  • the viewpoint detection camera 120 captures the driver's face.
  • the captured video is used for measuring the viewpoint position of the driver.
  • the viewpoint detection camera 120 is configured by a monocular camera, a stereo camera, or the like. In the present embodiment, the description will be made assuming that a stereo camera is used.
  • the viewpoint detection camera 120 may be installed anywhere as long as the driver's face can be photographed from the direction as close to the front as possible, such as in a dashboard or meter.
  • the display control ECU 130 controls each component constituting the vehicular display device 100 such as photographing by the viewpoint detection camera 120 and a display position of the HUD 110.
  • the posture determination device 200 includes a measurement camera 210 and a PC 220.
  • the measurement camera 210 is a camera installed in the vehicle only when the display position of the virtual image displayed by the HUD 110 is adjusted.
  • the measurement camera 210 captures a virtual image displayed by the calibration pattern 300 and the HUD 110.
  • the measurement camera is configured by a combination of, for example, a stereo camera and a distance sensor.
  • the PC 220 determines the attitude of the HUD 110 from the video captured by the measurement camera 210 and the video captured by the viewpoint detection camera 120.
  • the calibration pattern 300 is installed in the vehicle only during position adjustment.
  • FIG. 2 is a functional block diagram of the vehicle display device 100 and the posture determination device 200.
  • the vehicle display device 100 includes a display unit 111 corresponding to the HUD 110 in FIG. 1, an imaging unit 121 corresponding to the viewpoint detection camera 120 in FIG. 1, a viewpoint detection unit 131 corresponding to the display control ECU 130 in FIG. 1, and a display control unit. 132, a CPU 133, a memory 134, and an output I / F 135.
  • the posture determination apparatus 200 includes an imaging unit 211 corresponding to the measurement camera 210 in FIG. 1, a CPU 221 that configures the PC 220 in FIG. 1, and an output I / F 222.
  • the memory card 400 is used for data exchange between the vehicle display device 100 and the posture determination device 200.
  • the display unit 111 displays a virtual image on the driver's field of view.
  • the imaging unit 121 captures the driver's face for a predetermined period, for example, 30 images per second.
  • the imaging unit 121 is configured in combination with a distance sensor or the like.
  • the viewpoint detection unit 131 detects the viewpoint position of the driver from the video captured by the imaging unit 121 for a predetermined period.
  • the viewpoint position for example, the three-dimensional position of the viewpoint can be obtained by obtaining the viewpoint parallax from the two images taken by the imaging unit 121.
  • the display control unit 132 controls the display position and display contents of the virtual image displayed on the display unit 111. In addition, the display control unit 132 controls the display position of the display unit 111 according to the posture information calculated by the posture determination device 200.
  • CPU 133 is a controller for controlling the operation of the entire vehicle display device 100.
  • hardware such as a DSP (Digital Signal Processor) or an FPGA (Field-Programmable Gate Array) may be used.
  • the memory 134 is used to store the work memory of the CPU 133, the video shot by the imaging unit 121, the detection result of the viewpoint detection unit 131, and the like.
  • the memory 134 includes a volatile memory such as a DRAM and a nonvolatile memory such as a flash memory.
  • the output I / F (Interface) 135 is used to output the video imaged by the imaging unit 121 to the posture determination device 200 and to input posture information from the posture determination device 200.
  • the output I / F 135 is a memory card interface or the like when recording video captured by the imaging unit 121 on a portable memory card 400 or reading posture information from the memory card 400.
  • the imaging unit 211 is used to capture a calibration pattern 300 and a virtual image displayed by the HUD 110.
  • the CPU 221 is a controller for controlling each component constituting the PC 220, and includes a nonvolatile memory in which a program is stored, a nonvolatile memory that is a temporary storage area for executing the program, an input / output port, and a program Having a processor for executing
  • the PC 220 determines the relative position and posture (relative posture) of the HUD 110 and the viewpoint detection camera 120 in FIG. 1 from the image captured by the image capturing unit 211 and the image captured by the image capturing unit 121 of the vehicle display device 100. Posture information for adjusting the display position is calculated.
  • the output I / F 222 is used for inputting video captured by the imaging unit 121 of the vehicle display device 100 and outputting posture information calculated by the CPU 221. Specifically, this is a memory card interface or the like in the case where the video taken by the imaging unit 121 is read from the memory card 400 or the posture information calculated by the CPU 221 is recorded in the memory card 400.
  • the memory card 400 is a portable recording medium, and is used for input / output of video captured by the imaging unit 121 and attitude information calculated by the attitude determination device 200.
  • FIG. 3 is a flowchart showing the flow of processing of the position adjustment method in the present embodiment.
  • FIG. 4 is a diagram showing an installation example of a calibration pattern in the present embodiment.
  • FIG. 5 is a diagram showing another installation example of the calibration pattern in the present embodiment.
  • the measurement camera 210 and the calibration pattern 300 are installed at predetermined positions in the vehicle (step S301).
  • the measurement camera 210 is installed at a position where a virtual image displayed by the HUD 110 can be taken.
  • the calibration pattern is arranged at a predetermined position with respect to the viewing angle of the virtual image and the angle of view of the viewpoint detection camera 120.
  • the calibration pattern 300 is a range in which three angles of the viewing angle ⁇ 1 of the virtual image A displayed by the HUD 110, the viewing angle ⁇ 2 of the viewpoint detection camera, and the viewing angle ⁇ 3 of the measurement camera overlap. It is desirable to install in B (filled area).
  • the calibration pattern 300 may be arranged so as to straddle the common range ⁇ 2 of the angle of view ⁇ 2 of 210.
  • the common range ⁇ 1 is located outside the angle of view ⁇ 2 of the viewpoint detection camera 120
  • the common range ⁇ 2 is located outside the viewing angle ⁇ 1 of the virtual image A.
  • the calibration pattern 300 has a plate shape, but is not limited to this.
  • the calibration pattern 300 may have any shape as long as it is a known shape that spans the common ranges ⁇ 1 and ⁇ 2. For example, when viewed from the measurement camera 210, a shape in which a portion located in the ⁇ 1 region and a portion located in the ⁇ 2 region have different depths may be used.
  • the calibration pattern 300 is photographed by each of the measurement camera 210 and the viewpoint detection camera 120 (step S302).
  • the CPU 133 of the vehicle display device 100 causes the viewpoint detection camera 120 to photograph the calibration pattern 300 and causes the memory 134 to record the photographed image.
  • the CPU 221 of the posture determination apparatus 200 causes the measurement camera 210 to photograph the calibration pattern 300.
  • the calibration pattern 300 is moved outside the viewing angle ⁇ 1 of the virtual image A.
  • the CPU 221 of the posture determination apparatus 200 causes the measurement camera 210 to capture the virtual image A (step S303).
  • the virtual image A is displayed with a characteristic pattern that can identify in which position of the measurement camera 210 each pixel of the virtual image A is reflected.
  • characteristic patterns patterns with different colors for each pixel, patterns with luminance and color changing at different timings for each pixel, and the like can be considered.
  • the CPU 221 of the posture determination apparatus 200 calculates the relative posture of the measurement camera 210 and the viewpoint detection camera 120 from the images captured by the measurement camera 210 and the viewpoint detection camera 120, and the measurement camera 210 and the HUD 110.
  • the relative posture is calculated (step S304).
  • the memory card 400 is connected to the output I / F 135 of the vehicular display device 100, and the video taken by the viewpoint detection camera 120 recorded in the memory 134 is recorded in the memory card 400. Thereafter, the memory card 400 is connected to the output I / F of the attitude determination device 200.
  • the CPU 221 of the posture determination apparatus 200 reads the video captured by the viewpoint detection camera 120 from the memory card 400.
  • the CPU 221 calculates the relative attitude of the viewpoint detection camera 120 with respect to the measurement camera 210 by using the video imaged by the viewpoint detection camera 120 and the measurement camera 210, and calculates the relative attitude of the HUD 110 with respect to the measurement camera 210. calculate.
  • the CPU 221 of the attitude determination device 200 calculates the relative attitude of the HUD 110 with respect to the viewpoint detection camera 120 from the relative attitude of the viewpoint detection camera 120 and HUD 110 with respect to the measurement camera 210 (step S305).
  • the CPU 221 records the calculation result as posture information in the memory card 400 via the output I / F 222 of the posture determination apparatus 200.
  • the CPU 133 of the vehicle display device 100 reads the posture information calculated by the posture determination device 200 from the memory card 400 via the output I / F 135 of the vehicle display device 100 and records it in the memory 134.
  • the CPU 133 causes the display control unit 132 to adjust the display position of the virtual image displayed by the HUD 110 according to the recorded posture information (step S306).
  • (x w, y w, z w) represents the P coordinate point on the three-dimensional coordinate system constituted by the measuring camera 210
  • (x c, y c , z c) are The coordinates when the point P is viewed in the three-dimensional coordinate system configured by the viewpoint detection camera 120 are represented.
  • R c11 to R c33 correspond to the rotation of the coordinate system
  • (t cx , t cy , t cz ) corresponds to the parallel movement amount of the origin of the coordinate system.
  • the measurement camera 210 and the viewpoint detection camera obtain the values of the nine variables of the rotation R c of the coordinate system and the three variables of the parallel movement amount t c of the coordinate system origin, a total of 12 variables. This corresponds to obtaining a relative posture between 120.
  • the results of measuring the coordinates of n points on the calibration pattern 300 with the measurement camera 210 are (x w1 , y w1 , z w1 ), (x w2 , y w2 , z w2 ), (x wn , y wn , z wn ). Also, the results of measuring the coordinates of n points on the calibration pattern 300 with the viewpoint detection camera 120 are (x c1 , y c1 , z c1 ), (x c2 , y c2 , z c2 ) ,. cn , y cn , z cn ). Of the results of substituting these into (Equation 1), focusing on the first row portion of the matrix, (Equation 2) is obtained.
  • the three-dimensional position of the HUD 110 pixel is known, it can be handled in the same way as the viewpoint detection camera 120.
  • the viewpoint position changes the HUD 110 virtual image is distorted in shape due to the influence of the windshield and combiner shape, There is a possibility that a correct three-dimensional position cannot be measured by stereo matching.
  • the range in which the virtual image can be observed is narrow, the virtual image may not be observed with both eyes of the stereo camera. Therefore, the three-dimensional position of the virtual image is determined by the following method.
  • the optical center position of the HUD 110 and the orientation of the optical axis that is, the relative orientation with respect to the measurement camera 210, where the virtual image is projected as viewed from the measurement camera 210 is uniquely determined from the design specifications of the HUD 110. . Therefore, it can be understood that it is sufficient to determine whether or not the assumed posture is correct.
  • a method for determining whether the assumed posture is correct will be described.
  • HUD110 pixel (u h1, v h1), (u h2, v h2), ..., (u hn, v hn) , and when projected with some orientation in space, 3 in the coordinate system of the measuring camera 210
  • the dimensional coordinates are (x h1 , y h1 , z h1 ), (x h2 , y h2 , z h2 ),..., (X hn , y hn , z hn ), respectively.
  • ti can be obtained by a method such as a least square method, (x h1 , y h1 , z h1 ), (x h2 .
  • the correct posture can be obtained by obtaining the posture from which y h2 , z h2 ),..., (x hn , y hn , z hn ) are obtained by a method such as the least square method.
  • the relative attitude of the HUD 110 with respect to the viewpoint detection camera 120 is calculated from the relative attitude of the viewpoint detection camera 120 and the HUD 110 with respect to the measurement camera 210 obtained in step S304 of FIG. 3 (step S305). Specifically (number 1), to erase from equation (4) (x w, y w , z w), to obtain the following (Equation 5).
  • the matrix part in (Expression 5) represents the relative attitude of the HUD with respect to the viewpoint detection camera. That is, the matrix part of (Equation 5) corresponds to the posture information.
  • the CPU 133 of the vehicle display device 100 performs an operation for converting the three-dimensional position of the driver's viewpoint obtained by the viewpoint detection camera 120 into a three-dimensional position in the coordinate system of the HUD 110.
  • the display control unit 132 adjusts the display position of the HUD 110 according to the calculation result of the CPU 133.
  • the display position adjustment method is a vehicle display device 100 that includes a HUD 110 that displays a virtual image on the driver's forward visual field and a viewpoint detection camera 120 that images the driver.
  • the measurement camera 210 is installed at a position where the calibration pattern 300 for acquiring information for capturing can be photographed, and the field angle ⁇ 1 of the virtual image, the field angle ⁇ 2 of the viewpoint detection camera, and the field angle of the measurement camera ⁇ 3 are set.
  • the calibration pattern 300 is arranged at a predetermined position. Next, the calibration pattern 300 is photographed by the viewpoint detection camera 120 and the measurement camera 210, and a virtual image is photographed by the measurement camera 210.
  • the relative position and orientation of the measurement camera 210 and the viewpoint detection camera 120 are calculated, and the measurement camera 210 and the HUD 110 are calculated. Then, the relative position and orientation of the viewpoint detection camera 120 and the HUD 110 are calculated as orientation information. The position of the virtual image displayed by the HUD 110 is adjusted using the calculated posture information.
  • the relative posture between the HUD 110 and the viewpoint detection camera 120 can be easily measured.
  • the display position of the HUD 110 can be easily adjusted.
  • both the viewpoint detection camera and the HUD have an error factor such as a variation at the time of assembly or a shift at the time of mounting the vehicle body, and the positional relationship between the two is likely to be different from the assumption at the time of design. Accordingly, as shown in FIG. 7A, a deviation occurs between the measured viewpoint position Q1 and the viewpoint position Q2 at the time of design. In this case, even if the virtual image I is displayed so as to overlap the object C when viewed from the viewpoint position Q1, the virtual image I cannot be seen from the true viewpoint position Q2 because it overlaps the object C.
  • the true viewpoint position Q2 can be calculated from the measured viewpoint position Q1, so that a virtual image is formed at a position overlapping the object C as viewed from the viewpoint position Q2, as shown in FIG. 7B. D2 can be displayed.
  • the calibration pattern is separate from both the viewpoint detection camera and the measurement camera. However, even when the calibration pattern is attached to the measurement camera, calibration is performed according to the following procedure. It can be performed.
  • FIG. 8 is a flowchart showing a processing flow of the position adjustment method in the present embodiment.
  • FIG. 9 is a diagram showing an installation example of a calibration pattern in the present embodiment.
  • step S802 the calibration pattern is attached to the measurement camera, and therefore the calibration pattern is photographed only by the viewpoint detection camera 120.
  • the calibration pattern needs to have a shape that fits within the angle of view of the viewpoint detection camera 120 as shown in FIG.
  • the calibration pattern is attached to the lower part of the measurement camera 210, but the specific position is not necessarily as shown in this figure.
  • the upper part of the measurement camera 210 or a plurality of locations It may be attached to.
  • the “three-dimensional coordinate system configured by the viewpoint detection camera 120” is converted into the “three-dimensional coordinate system configured by the measurement camera 210”.
  • the position of the origin of the coordinate system to be converted it is necessary to determine the position of the origin of the coordinate system to be converted and the orientation of the coordinate system.
  • the following (Equation 6) holds between the position (x, y, z) in the coordinate system before conversion and the position (x1, y1, z1) in the coordinate system after conversion.
  • R 11 to R 33 are matrices representing the rotation of the coordinate system, and can be easily obtained if the orientation of the coordinate system after conversion is known.
  • (T x , t y , t z ) corresponds to the translation amount of the origin of the coordinate system.
  • three points are formed in a regular triangle shape as a calibration pattern 300 for measurement.
  • the calibration pattern 300 is arranged so that the optical center of the camera 210 (the origin of the three-dimensional coordinate system constituted by the measurement camera 210) is located at the center of gravity of the equilateral triangle, and the viewpoint detection camera 120 defines the calibration pattern 300.
  • Three-dimensional coordinates of three points are measured.
  • the center of gravity of the three-dimensional coordinates thus measured represents the position of the optical center of the measurement camera 210, and the normal direction of the surface determined from the three-dimensional coordinates of the three points represents the direction of the measurement camera 210.
  • examples of the calibration pattern are not limited to those shown in FIGS. 10A and 10B, and the position of the measurement camera 210 is known with respect to the optical center, and the orientation of the measurement camera 210 can be defined. Any pattern that can define three or more coordinates that are not on a straight line can be used.
  • a virtual image is projected wherever viewed from the measurement camera 210. This is uniquely determined from the design specifications of the HUD 110. Positions (u 1 , u) on the image of the measurement camera 210 when n pixels of the virtual image (where n ⁇ 3 and at least one is not on the same straight line) take a posture with the HUD 110. v 1 ), (u 2 , v 2 ),..., (u n , v n ) are calculated.
  • the minimization of D1 can be performed using a numerical algorithm such as Newton's method or a stochastic algorithm such as simulated annealing.
  • a translucent object may be used as the calibration pattern. Accordingly, it is not necessary to install or move the calibration pattern when taking a virtual image of the HUD, and the working time can be shortened.
  • each block may be individually made into one chip by a semiconductor device such as an LSI, or may be made into one chip so as to include a part or all of the blocks. .
  • LSI LSI
  • IC system LSI
  • super LSI ultra LSI depending on the degree of integration
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • each process of the above embodiment may be realized by hardware or software. Further, it may be realized by mixed processing of software and hardware. Needless to say, when the digital camera according to the above-described embodiment is realized by hardware, it is necessary to adjust timing for performing each process. In the above embodiment, for convenience of explanation, details of timing adjustment of various signals generated in actual hardware design are omitted.
  • vehicle display device 110 HUD 111 Display Unit 120 Viewpoint Detection Camera 121, 211 Imaging Unit 130 Display Control ECU 131 Viewpoint detection unit 132 Display control unit 133, 221 CPU 134 Memory 135, 222 Output I / F 200 posture determination device 210 measurement camera 220 PC 300 Calibration pattern 400 Memory card

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Instrument Panels (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　運転者の前方視野上に虚像を表示するＨＵＤ（１１０）と、運転者を撮影する視点検知カメラ（１２０）とを備えた車両用表示装置（１００）において、虚像を撮影可能な位置に測定用カメラ（２１０）を設置する。加えて、虚像の視野角、視点検知カメラ（１２０）の画角、および測定用カメラ（２１０）の画角に対して所定の位置に較正用パターン（３００）を配置する。また、視点検知カメラ（１２０）および測定用カメラ（２１０）で較正用パターン（３００）を撮影し、測定用カメラ（２１０）で虚像を撮影する。視点検知カメラ（１２０）によって撮影された映像と測定用カメラ（２１０）によって撮影された映像とを用いて、視点検知カメラ（１２０）とＨＵＤ（１１０）の相対位置と姿勢を姿勢情報として算出する。そして、算出した姿勢情報を用いてＨＵＤ（１１０）が表示する虚像の位置を調整する。

Description

車両用表示装置の位置調整方法
　本開示は運転者の視野上に虚像を表示する車両用表示装置に係り、特に虚像の観察者の視点を検知するための視点検知カメラと表示装置の相対的な位置および姿勢を算出する技術に関する。
　ヘッドアップディスプレイ（Ｈｅａｄ　Ｕｐ　Ｄｉｓｐｌａｙ、ＨＵＤ）を自動車に搭載することで、運転者の視野上に虚像を表示することができ、視線移動が少なくなることで運転者が情報を読み取る際の負担を低減することができる。また、前方障害物をマーキングして強調するなどの拡張現実（Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ、ＡＲ）表示によって、運転者に対してより多くの情報を提供することが可能である。
　このようなＡＲ表示を行う際には、運転者から見て描画対象物と描画内容が所定の位置関係にないと煩わしさや誤認識の原因となるため、運転者の視点位置を検出してそれに応じて描画位置を変更することが望ましい。一般的には車室内に視点検知用のカメラを設置し、それによって運転者の視点位置を検出する。
　しかし、視点検知用のカメラ、ＨＵＤの双方に組み立て時のバラ付きや車体取り付け時のずれなどの誤差要因があり、両者の位置関係が設計時の想定と異なる可能性が高い。従って、取り付け後に何らかの手段で両者の相対姿勢を計測し、描画の際には計測された相対姿勢に基づいて描画を行うことが望ましい。
　これに対して特許文献１では運転者の目の位置に鏡を設置し、視点検知用のカメラで撮影された鏡の像を見ながら視点検知用のカメラとＨＵＤの位置関係を調整する手法が開示されている。
特開２００９－２６２６６６号公報
　特許文献１に記載の手法は視点検知用のカメラとＨＵＤの相対姿勢に媒介者である鏡の姿勢が加わるため、正しい相対姿勢を得るためには何らかの手段で正確な鏡の姿勢を知る必要がある。正確な鏡の姿勢を知る手順を踏むのは煩雑であるため、より簡便に相対姿勢を計測することができる手法が求められる。
　本開示は、視点検知カメラとＨＵＤの相対姿勢を容易に計測し、ＨＵＤの表示位置を調整することが可能な車両用表示装置の表示位置調整方法を提供する。
　本開示における表示位置調整方法は、運転者の前方視野上に虚像を表示する表示装置と、運転者を撮影する視点検知カメラと、を備えた車両表示装置の位置調整方法である。そして、虚像および位置調整のための情報を取得するための較正用パターンを撮影可能な位置に測定用カメラを設置すると共に、虚像の視野角、視点検知カメラの画角、および測定用カメラの画角に対して所定の位置に較正用パターンを配置するステップを有する。また、視点検知カメラおよび測定用カメラで較正用パターンを撮影するステップと、測定用カメラで虚像を撮影するステップとを有する。また、視点検知カメラによって撮影された映像と測定用カメラによって撮影された映像とを用いて、測定用カメラと視点検知カメラの相対位置と姿勢の算出、および測定用カメラと表示装置の相対位置と姿勢の算出を行った後、視点検知カメラと表示装置の相対位置と姿勢を姿勢情報として算出するステップを有する。さらに、姿勢情報を用いて表示装置が表示する虚像の位置を調整するステップを有する。
　本開示における車両用表示装置の位置調整方法は、視点検知カメラとＨＵＤの相対姿勢を容易に計測し、ＨＵＤの表示位置を調整することが可能となる。
図１は、第１の実施の形態における表示位置調整方法の一構成例を示すブロック図である。 図２は、第１の実施の形態における表示位置調整方法の一構成例を示す機能ブロック図である。 図３は、第１の実施の形態における位置調整方法の処理の流れを示すフローチャートである。 図４は、第１の実施の形態における較正用パターンの設置例を示す図である。 図５は、第１の実施の形態における較正用パターンの他の設置例を示す図である。 図６Ａは、測定用カメラとＨＵＤの相対姿勢を説明する図である。 図６Ｂは、測定用カメラとＨＵＤの相対姿勢を説明する図である。 図７Ａは、表示位置の調整例を示す図である。 図７Ｂは、表示位置の調整例を示す図である。 図８は、第２の実施の形態における位置調整方法の処理の流れを示すフローチャートである。 図９は、第２の実施の形態における較正用パターンの設置位置の例を示す図である。 図１０Ａは、第２の実施の形態における較正用パターンの形状の例を示す図である。 図１０Ｂは、第２の実施の形態における較正用パターンの形状の例を示す図である。
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
　（第１の実施の形態）
　以下、図１～図７Ａ、図７Ｂを用いて、第１の実施の形態を説明する。
　［１－１．構成］
　［１－１－１．装置構成］
　図１は、第１の実施の形態における車両用表示装置１００の位置調整方法を説明するための模式図である。
　図１に示すように、車両用表示装置１００の位置調整には、姿勢判定装置２００、較正用パターン３００を用いる。
　車両用表示装置１００は、ＨＵＤ１１０、視点検知カメラ１２０、表示制御ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）１３０を備える。
　ＨＵＤ１１０は運転者の前方視野上に虚像を表示するもので、ヘッドアップディスプレイによって構成される。ＨＵＤ１１０はいわゆるウインドシールド型、コンバイナ型のいずれであっても本方法は適用可能である。
　視点検知カメラ１２０は、運転者の顔を撮影する。撮影した映像は、運転者の視点位置測定に用いられる。視点検知カメラ１２０は、単眼カメラやステレオカメラなどによって構成される。本実施の形態では、ステレオカメラを用いるものとして説明を進める。視点検知カメラ１２０は、ダッシュボードやメーター内など、運転者の顔ができるだけ正面に近い方向から撮影出来る場所であれば、どこに設置してもよい。
　表示制御ＥＣＵ１３０は、視点検知カメラ１２０の撮影や、ＨＵＤ１１０の表示位置など、車両用表示装置１００を構成する各構成要素を制御する。
　姿勢判定装置２００は、測定用カメラ２１０とＰＣ２２０とを備える。
　測定用カメラ２１０は、ＨＵＤ１１０が表示する虚像の表示位置を調整する時にのみ、車両内に設置されるカメラである。測定用カメラ２１０は、較正用パターン３００およびＨＵＤ１１０が表示した虚像を撮影する。測定用カメラは、例えば、ステレオカメラや距離センサーなどの組み合わせによって構成される。
　ＰＣ２２０は、測定用カメラ２１０が撮影した映像と視点検知カメラ１２０が撮影した映像より、ＨＵＤ１１０の姿勢を判定する。較正用パターン３００は、位置調整時にのみ車両内に設置される。
　［１－１－２．機能構成］
　図２は、車両用表示装置１００および姿勢判定装置２００の機能ブロック図である。
　車両用表示装置１００は、図１のＨＵＤ１１０に相当する表示部１１１、図１の視点検知カメラ１２０に相当する撮像部１２１、および図１の表示制御ＥＣＵ１３０に相当する視点検出部１３１、表示制御部１３２、ＣＰＵ１３３、メモリ１３４、出力Ｉ／Ｆ１３５を備える。姿勢判定装置２００は、図１の測定用カメラ２１０に相当する撮像部２１１、および図１のＰＣ２２０を構成するＣＰＵ２２１、出力Ｉ／Ｆ２２２を備える。また、車両用表示装置１００と姿勢判定装置２００のデータのやり取りに、本実施の形態では、メモリカード４００を用いる。
　表示部１１１は運転者の視野上に虚像を表示する。撮像部１２１は、運転者の顔を所定の期間、例えば、毎秒３０枚撮影する。なお、撮像部１２１は、距離センサーなどと組み合わせて構成される。
　視点検出部１３１は、撮像部１２１が所定の期間撮影した映像より、運転者の視点位置を検出する。視点位置の検出は、例えば、撮像部１２１が撮影した２枚の画像から、視点の視差を求めることで、視点の３次元位置を求めることができる。
　表示制御部１３２は表示部１１１が表示する虚像の表示位置および表示内容を制御する。また、表示制御部１３２は姿勢判定装置２００が算出した姿勢情報に従って、表示部１１１の表示位置を制御する。
　ＣＰＵ１３３は車両用表示装置１００全体の動作を制御するためのコントローラである。なお、視点位置の検出には、別途ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）などのハードウェアを用いてもよい。
　メモリ１３４はＣＰＵ１３３のワークメモリや、撮像部１２１で撮影した映像や、視点検出部１３１の検出結果などを記憶しておくために用いる。メモリ１３４は、ＤＲＡＭなどの揮発性メモリやフラッシュメモリなどの不揮発性メモリからなる。
　出力Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１３５は、撮像部１２１が撮影した映像を姿勢判定装置２００へ出力したり、姿勢判定装置２００からの姿勢情報を入力したりするために用いられる。具体的には、出力Ｉ／Ｆ１３５は、撮像部１２１が撮影した映像を可搬可能なメモリカード４００に記録したり、メモリカード４００から姿勢情報を読み出したりする場合のメモリカードインタフェース等である。
　撮像部２１１は、較正用パターン３００や、ＨＵＤ１１０が表示した虚像を撮影するのに用いられる。
　ＣＰＵ２２１は、ＰＣ２２０を構成する各構成要素を制御するためのコントローラであり、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である不揮発性メモリ、入出力ポート、プログラムを実行するプロセッサを有する。ＰＣ２２０は、撮像部２１１が撮影した映像と車両用表示装置１００の撮像部１２１が撮影した映像より、図１のＨＵＤ１１０と視点検知カメラ１２０の相対位置と姿勢（相対姿勢）を判定し、ＨＵＤ１１０の表示位置を調整するための姿勢情報を算出する。
　出力Ｉ／Ｆ２２２は、車両用表示装置１００の撮像部１２１が撮影した映像を入力したり、ＣＰＵ２２１が算出した姿勢情報を出力したりするために用いられる。具体的には、メモリカード４００より、撮像部１２１が撮影した映像を読み出したり、ＣＰＵ２２１が算出した姿勢情報をメモリカード４００に記録したりする場合のメモリカードインタフェース等である。
　メモリカード４００は、可搬可能な記録媒体であり、撮像部１２１で撮影した映像や姿勢判定装置２００で算出した姿勢情報の入出力に使用される。
　［１－２．動作］
　図３は本実施の形態における位置調整方法の処理の流れを示すフローチャートである。図４は、本実施の形態における較正用パターンの設置例を示す図である。図５は、本実施の形態における較正用パターンの他の設置例を示す図である。
　［１－２－１．処理の流れ］
　まず、測定用カメラ２１０と較正用パターン３００を車両内の所定の位置に設置する（ステップＳ３０１）。測定用カメラ２１０はＨＵＤ１１０が表示する虚像を撮影可能な位置に設置する。較正用パターンは、虚像の視野角と視点検知カメラ１２０の画角に対して、所定の位置に配置する。
　具体的には、較正用パターン３００は、図４に示すようにＨＵＤ１１０が表示する虚像Ａの視野角θ１、視点検知カメラの画角θ２、測定用カメラの画角θ３の３つの角が重なる範囲Ｂ（塗りつぶし領域）内に設置することが望ましい。
　ここで、ＨＵＤ１１０および視点検知カメラ１２０の仕様によっては、図４のような位置に較正用パターン３００を配置することが困難である可能性も考えられる。そのような場合には図５に示すように、ＨＵＤ１１０が表示する虚像Ａの視野角θ１と測定用カメラ２１０の画角θ２の共通範囲α１と、視点検知カメラ１２０の画角θ３と測定用カメラ２１０の画角θ２の共通範囲α２に跨るように、較正用パターン３００を配置してもよい。ここで、共通範囲α１は、視点検知カメラ１２０の画角θ２の外に位置し、共通範囲α２は、虚像Ａの視野角θ１の外に位置する。
　なお、図４、図５において、較正用パターン３００は、板状の形をしているが、これに限定されない。較正用パターン３００は、共通範囲α１、α２に跨る既知の形状であれば、どのような形状でも構わない。例えば、測定用カメラ２１０から見て、α１の領域に位置する部分と、α２の領域に位置する部分の奥行きが異なっている形状でも構わない。
　次に、測定用カメラ２１０と視点検知カメラ１２０のそれぞれで較正用パターン３００を撮影する（ステップＳ３０２）。車両用表示装置１００のＣＰＵ１３３は、視点検知カメラ１２０に較正用パターン３００を撮影させ、撮影した映像をメモリ１３４に記録させる。同様に、姿勢判定装置の２００のＣＰＵ２２１は、測定用カメラ２１０に較正用パターン３００を撮影させる。
　視点検知カメラ１２０と測定用カメラ２１０による撮影が終了すると、較正用パターン３００を虚像Ａの視野角θ１の外に移動させる。その後、姿勢判定装置２００のＣＰＵ２２１は、測定用カメラ２１０に虚像Ａを撮影させる（ステップＳ３０３）。この際、虚像Ａとしては、虚像Ａの各画素が測定用カメラ２１０のどの位置に写っているかを特定できる特徴的なパターンを備えたものを表示する。ここで、特徴的なパターンの例としては画素ごとに色が異なるパターン、画素ごとに異なるタイミングで輝度や色が変化するパターン、などが考えられる。
　次に、姿勢判定装置２００のＣＰＵ２２１は、測定用カメラ２１０と視点検知カメラ１２０で各々撮影した画像から、測定用カメラ２１０と視点検知カメラ１２０の相対姿勢の算出、および測定用カメラ２１０とＨＵＤ１１０の相対姿勢の算出を行う（ステップＳ３０４）。
　この時、車両用表示装置１００の出力Ｉ／Ｆ１３５にメモリカード４００を接続し、メモリ１３４に記録されている視点検知カメラ１２０が撮影した映像をメモリカード４００に記録する。その後、メモリカード４００を姿勢判定装置２００の出力Ｉ／Ｆに接続させる。姿勢判定装置２００のＣＰＵ２２１は、メモリカード４００より視点検知カメラ１２０が撮影した映像を読み出す。ＣＰＵ２２１は、視点検知カメラ１２０が撮影した映像と、測定用カメラ２１０が撮影を用いて、測定用カメラ２１０に対する視点検知カメラ１２０の相対姿勢を算出するとともに、測定用カメラ２１０に対するＨＵＤ１１０の相対姿勢を算出する。
　姿勢判定装置２００のＣＰＵ２２１は、測定用カメラ２１０に対する視点検知カメラ１２０およびＨＵＤ１１０の相対姿勢から、視点検知カメラ１２０に対するＨＵＤ１１０の相対姿勢を算出する（ステップＳ３０５）。ＣＰＵ２２１は、算出結果を姿勢情報として、姿勢判定装置２００の出力Ｉ／Ｆ２２２を介してメモリカード４００に記録する。
　車両用表示装置１００のＣＰＵ１３３は、車両用表示装置１００の出力Ｉ／Ｆ１３５を介して、メモリカード４００より、姿勢判定装置２００で算出された姿勢情報を読み出し、メモリ１３４に記録させる。ＣＰＵ１３３は、記録した姿勢情報に従って、表示制御部１３２にＨＵＤ１１０が表示する虚像の表示位置を調整させる（ステップＳ３０６）。
　［１－２－２．測定用カメラと視点検知カメラの間の相対姿勢の測定］
　ここでは、姿勢判定装置２００が算出する姿勢情報の算出方法について詳細に説明する。
　まず、「視点検知カメラ１２０によって構成される３次元座標系」を「測定用カメラ２１０によって構成される３次元座標系」に変換する。この変換は（数１）で表される。
Figure JPOXMLDOC01-appb-M000001
　（数１）において、（ｘｗ，ｙｗ，ｚｗ）は測定用カメラ２１０によって構成される３次元座標系上のある点Ｐの座標を表し、（ｘｃ，ｙｃ，ｚｃ）は視点検知カメラ１２０によって構成される３次元座標系で点Ｐを見たときの座標を表す。また、Ｒｃ１１からＲｃ３３は座標系の回転に相当し、（ｔｃｘ，ｔｃｙ，ｔｃｚ）は座標系の原点の平行移動量に相当する。ここで、座標系の回転Ｒｃの９個の変数、および座標系原点の平行移動量ｔｃの３つの変数、合計１２個の変数の値を求めることが、測定用カメラ２１０と視点検知カメラ１２０の間の相対姿勢を求めることに相当する。
　以下、上記回転Ｒｃおよび平行移動量ｔｃを求める方法について説明する。
　較正用パターン３００上のｎ個の点の座標を測定用カメラ２１０で測定した結果を（ｘｗ１，ｙｗ１，ｚｗ１）、（ｘｗ２，ｙｗ２，ｚｗ２）、…、（ｘｗｎ，ｙｗｎ，ｚｗｎ）とする。また、較正用パターン３００上のｎ個の点の座標を視点検知カメラ１２０で測定した結果を（ｘｃ１，ｙｃ１，ｚｃ１）、（ｘｃ２，ｙｃ２，ｚｃ２）、…、（ｘｃｎ，ｙｃｎ，ｚｃｎ）とする。これらを（数１）に代入した結果のうち、行列の１行目部分に着目すると、（数２）のようになる。
Figure JPOXMLDOC01-appb-M000002
　（数２）において、未知数はＲｃ１１、Ｒｃ１２、Ｒｃ１３、ｔｃｘの４つであるため、最低４点の座標の組が得られればこの方程式を解くことができる。実際にはカメラでの測定誤差の影響を考慮して４点より多くの点について測定を行い、最小自乗法などの手法で全体の誤差が最小となるように各未知数の値を定める。行列の２行目、３行目部分についても同様にして未知数の値を定めることができるので、説明を省略する。
　［１－２－３．測定用カメラとＨＵＤの間の相対姿勢の測定］
　まず、較正用パターン３００のｎ個の点について、測定用カメラ２１０の座標系における３次元位置（ｘｗ１，ｙｗ１，ｚｗ１）、（ｘｗ２，ｙｗ２，ｚｗ２）、…、（ｘｗｎ，ｙｗｎ，ｚｗｎ）と、画像上の座標（ｕｗ１，ｖｗ１）、（ｕｗ２，ｖｗ２）、…、（ｕｗｎ，ｖｗｎ）を求める。次いでＨＵＤ１１０が表示した虚像を撮影した画像から、（ｕｗ１，ｖｗ１）、（ｕｗ２，ｖｗ２）、…、（ｕｗｎ，ｖｗｎ）の位置にＨＵＤ１１０の虚像のどの画素が写っているかを判定する。以下、判定されたＨＵＤ１１０の画素の座標を（ｕｈ１，ｖｈ１）、（ｕｈ２，ｖｈ２）、…、（ｕｈｎ，ｖｈｎ）とする。
　ここでＨＵＤ１１０の画素の３次元位置が分かれば視点検知カメラ１２０と同様に扱うことができるのだが、ＨＵＤ１１０の虚像は視点位置が変化するとウインドシールドやコンバイナ形状の影響で形状に歪みが発生し、ステレオマッチングでは正しい３次元位置を測定できない可能性がある。また、虚像を観測可能な範囲が狭いとステレオカメラの両眼で虚像を観測できない可能性がある。従って以下の方法で虚像の３次元位置を定める。
　具体的にはＨＵＤ１１０の光学中心位置および光軸の向き、即ち測定用カメラ２１０に対する相対姿勢を仮定すると、測定用カメラ２１０から見てどこに虚像が投影されるかはＨＵＤ１１０の設計スペックから一意に定まる。よって仮定した姿勢が正しいかどうかが判断できれば良いことが分かる。以下では仮定した姿勢が正しいかの判断方法について説明する。
　ＨＵＤ１１０の画素（ｕｈ１，ｖｈ１）、（ｕｈ２，ｖｈ２）、…、（ｕｈｎ，ｖｈｎ）を、ある姿勢で空間中に投影した時の、測定用カメラ２１０の座標系における３次元座標をそれぞれ（ｘｈ１，ｙｈ１，ｚｈ１）、（ｘｈ２，ｙｈ２，ｚｈ２）、…、（ｘｈｎ，ｙｈｎ，ｚｈｎ）とする。姿勢が正しい場合には図６Ａのように（ｘｗ１，ｙｗ１，ｚｗ１）と（ｘｈ１，ｙｈ１，ｚｈ１）を結ぶ直線Ｌ１、（ｘｗ２，ｙｗ２，ｚｗ２）と（ｘｈ２，ｙｈ２，ｚｈ２）を結ぶ直線Ｌ２、…、（ｘｗｎ，ｙｗｎ，ｚｗｎ）と（ｘｈｎ，ｙｈｎ，ｚｈｎ）を結ぶ直線Ｌ３がある一点Ｐで交わる。これは各点が測定用カメラ２１０の画像上で同じ画素に写っている点同士であることから自明である。
　一方で、姿勢が正しくない場合には図６Ｂのように各直線Ｒ１、Ｒ２、Ｒ３が一点で交わらない。各直線からの距離が最小となる点の座標（Ｘ，Ｙ，Ｚ）は以下の（数３）のＤを最小化するパラメータｔｉ（ｉ＝１…ｎ）を求めることで得ることができる。
Figure JPOXMLDOC01-appb-M000003
　ｔｉは最小自乗法などの手法で求めることができるので、ｔｉを求めた後に（数３）のＤの値自体を最小化するような（ｘｈ１，ｙｈ１，ｚｈ１）、（ｘｈ２，ｙｈ２，ｚｈ２）、…、（ｘｈｎ，ｙｈｎ，ｚｈｎ）が得られる姿勢を同じく最小自乗法などの手法で求めることで、正しい姿勢が得られる。最終的に、ＨＵＤ１１０の座標系における３次元位置（ｘｈ，ｙｈ，ｚｈ）を測定用カメラの座標系における３次元位置（ｘｗ，ｙｗ，ｚｗ）に変換するための（数４）が得られる。
Figure JPOXMLDOC01-appb-M000004
　最後に、図３のステップＳ３０４で得られた測定用カメラ２１０に対する視点検知カメラ１２０、およびＨＵＤ１１０の相対姿勢から、視点検知カメラ１２０に対するＨＵＤ１１０の相対姿勢を算出する（ステップＳ３０５）。具体的には（数１）、（数４）から（ｘｗ，ｙｗ，ｚｗ）を消去して、以下の（数５）を得る。
Figure JPOXMLDOC01-appb-M000005
　（数５）における行列部分が、視点検知カメラに対するＨＵＤの相対姿勢を表す。すなわち、（数５）の行列部分が姿勢情報に相当する。車両用表示装置１００のＣＰＵ１３３は、視点検知カメラ１２０で得られた運転者の視点の３次元位置をＨＵＤ１１０の座標系における３次元位置に変換するための演算を行う。表示制御部１３２は、ＣＰＵ１３３の演算結果に従って、ＨＵＤ１１０の表示位置を調整する。
　［１－３．まとめ］
　本実施の形態の表示位置調整方法は、運転者の前方視野上に虚像を表示するＨＵＤ１１０と、運転者を撮影する視点検知カメラ１２０とを備えた車両用表示装置１００において、虚像および位置調整のための情報を取得するための較正用パターン３００を撮影可能な位置に測定用カメラ２１０を設置すると共に、虚像の視野角θ１、視点検知カメラの画角θ２、および測定用カメラθ３の画角に対して所定の位置に較正用パターン３００を配置する。次に、視点検知カメラ１２０および測定用カメラ２１０で較正用パターン３００を撮影し、測定用カメラ２１０で虚像を撮影する。次に視点検知カメラ１２０によって撮影された映像と測定用カメラ２１０によって撮影された映像とを用いて、測定用カメラ２１０と視点検知カメラ１２０の相対位置と姿勢の算出、および測定用カメラ２１０とＨＵＤ１１０の相対位置と姿勢の算出を行った後、視点検知カメラ１２０とＨＵＤ１１０の相対位置と姿勢を姿勢情報として算出する。算出した姿勢情報を用いてＨＵＤ１１０が表示する虚像の位置を調整する。
　これにより、ＨＵＤ１１０と視点検知カメラ１２０の相対姿勢を容易に計測することができる。
　従って、ＨＵＤ１１０の表示位置調整を簡便に行うことができる。
　例えば、特許文献１では、視点検知カメラ、ＨＵＤの双方に組み立て時のバラ付きや車体取り付け時のずれなどの誤差要因があり、両者の位置関係が設計時の想定と異なる可能性が高い。従って、図７Ａに示すように、測定された視点位置Ｑ１と設計時の視点位置Ｑ２にずれが生じる。この場合、視点位置Ｑ１から見て物体Ｃに重なるように虚像Ｉを表示しても、真の視点位置Ｑ２からは、虚像Ｉが物体Ｃに重なって見えない。これに対して、本開示における技術を適用すると、測定された視点位置Ｑ１から真の視点位置Ｑ２を算出できるので、図７Ｂに示すように、視点位置Ｑ２から見て物体Ｃに重なる位置に虚像Ｄ２を表示することができる。
　（第２の実施の形態）
　第１の実施の形態において、較正用パターンは視点検知カメラ、測定用カメラのいずれとも別体であったが、較正用パターンが測定用カメラに取り付けられている場合でも、以下に示す手順で較正を行うことができる。なお、第２の実施の形態における装置の構成は第１の実施の形態と重複するため記載を省略するものとする。その他第１の実施の形態と同様の箇所についても記載を省略する。
　［２－１．動作］
　図８は本実施の形態における位置調整方法の処理の流れを示すフローチャートである。図９は本実施の形態における較正用パターンの設置例を示す図である。
　［２－１－１．処理の流れ］
　処理の流れは図３で示した第１の実施の形態における処理の流れとほぼ同一である。大きく異なるのはステップＳ８０２で、較正用パターンが測定用カメラに取り付けられているため、視点検知カメラ１２０のみで較正用パターンを撮影する。較正用パターンは図９に示すように視点検知カメラ１２０の画角に収まるような形状である必要がある。なお、図９において較正用パターンは測定用カメラ２１０の下部に取り付けられているが、具体的な位置は必ずしもこの図の通りでなくてもよく、例えば測定用カメラ２１０の上部や、複数の箇所に取り付けられていてもよい。
　［２－１－２．測定用カメラと視点検知カメラの間の相対姿勢の測定］
　第１の実施の形態と同様に、まずは「視点検知カメラ１２０によって構成される３次元座標系」を「測定用カメラ２１０によって構成される３次元座標系」に変換する。一般に座標系間の変換を行うには、変換したい座標系の原点の位置および座標系の向きを定める必要がある。具体的には変換前の座標系での位置（ｘ，ｙ，ｚ）と変換後の座標系での位置（ｘ１，ｙ１，ｚ１）との間には以下の（数６）が成り立つ。
Figure JPOXMLDOC01-appb-M000006
　Ｒ１１からＲ３３は座標系の回転を表す行列で、変換後の座標系の向きが分かれば容易に求めることができる。（ｔｘ，ｔｙ，ｔｚ）は座標系の原点の平行移動量に相当する。
　測定用カメラ２１０によって構成される３次元座標系の原点位置と向きを得るための方法として、例えば図１０Ａ、図１０Ｂで示すように較正用パターン３００として３つの点を正三角形状に、測定用カメラ２１０の光学中心（測定用カメラ２１０によって構成される３次元座標系の原点）がその正三角形の重心に位置するように較正用パターン３００を配置し、視点検知カメラ１２０で較正用パターン３００の３つの点の３次元座標を計測する。これによって計測された３次元座標の重心が測定用カメラ２１０の光学中心の位置を表し、３つの点の３次元座標から決まる面の法線方向が測定用カメラ２１０の向きを表す。
　なお、較正用パターンの例は図１０Ａ、図１０Ｂで示したものに限らず、測定用カメラ２１０の光学中心に対して位置が既知であり、かつ測定用カメラ２１０の向きを定義可能、即ち同一直線上にない３点以上の座標を定義可能である任意のパターンを用いることができる。
　［２－１－３．測定用カメラとＨＵＤの間の相対姿勢の測定］
　較正用パターン３００が測定用カメラ２１０の画角内かつＨＵＤ１１０の虚像の視野角内に存在する場合は実施の形態１で用いた方法をそのまま用いることが出来る。この条件を満たさない場合は以下のようにして測定用カメラとＨＵＤの間の相対姿勢を測定する。
　第１の実施の形態についての説明でも述べた通り、ＨＵＤ１１０の光学中心位置および光軸の向き、即ち測定用カメラ２１０に対する相対姿勢を仮定すると、測定用カメラ２１０から見てどこに虚像が投影されるかはＨＵＤ１１０の設計スペックから一意に定まる。虚像のｎ個（ただしｎ≧３で、かつ少なくとも１つは同一直線上にない）の画素について、ＨＵＤ１１０がある姿勢を取った場合の、測定用カメラ２１０の画像上での位置（ｕ１，ｖ１）、（ｕ２，ｖ２）、…、（ｕｎ，ｖｎ）を算出する。これと測定用カメラ２１０で実際に撮影された画像上での各画素の画像上での位置（ｕ１１，ｖ１１）、（ｕ１２，ｖ１２）、…、（ｕ１ｎ，ｖ１ｎ）から、以下の（数７）で示す値Ｄ１が最小となるＨＵＤの姿勢を算出する。
Figure JPOXMLDOC01-appb-M000007
　Ｄ１の最小化はニュートン法などの数値計算アルゴリズムや、あるいは焼きなまし法（Ｓｉｌｕｍａｔｅｄ　Ａｎｎｅａｌｉｎｇ）のような確率的アルゴリズムを用いて行うことができる。
　［２－２．まとめ］
　以上のようにして測定用カメラと視点検知カメラの間の相対姿勢、および測定用カメラとＨＵＤの間の相対姿勢を定めることができれば、実施の形態１と同様の考え方で両者を結びつけ、視点検知カメラとＨＵＤの間の相対姿勢を計測することが出来る。
　（他の実施の形態）
　以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
　そこで、以下、他の実施の形態を例示する。
　例えば、較正用パターンとして、半透明の物体を用いてもよい。これによって、ＨＵＤの虚像を撮影する際に較正用パターンの設置や移動をする必要がなくなり、作業時間を短縮することができる。
　また、上記実施の形態で説明した位置調整方法において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
　なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
　また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
　さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
　また、上記実施の形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施の形態に係るデジタルカメラをハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施の形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
　以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
　したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　本開示は、に適用可能である。
　１００　車両用表示装置
　１１０　ＨＵＤ
　１１１　表示部
　１２０　視点検知カメラ
　１２１，２１１　撮像部
　１３０　表示制御ＥＣＵ
　１３１　視点検出部
　１３２　表示制御部
　１３３，２２１　ＣＰＵ
　１３４　メモリ
　１３５，２２２　出力Ｉ／Ｆ
　２００　姿勢判定装置
　２１０　測定用カメラ
　２２０　ＰＣ
　３００　較正用パターン
　４００　メモリカード

Claims (7)

  1. 　運転者の前方視野上に虚像を表示する表示装置と、
    　前記運転者を撮影する視点検知カメラと、
    　を備えた車両表示装置の位置調整方法であって、
    　前記虚像および位置調整のための情報を取得するための較正用パターンを撮影可能な位置に測定用カメラを設置すると共に、
    　前記虚像の視野角、前記視点検知カメラの画角、および前記測定用カメラの画角に対して所定の位置に前記較正用パターンを配置するステップと、
    　前記視点検知カメラおよび前記測定用カメラで前記較正用パターンを撮影するステップと、
    　前記測定用カメラで前記虚像を撮影するステップと、
    　前記視点検知カメラによって撮影された映像と前記測定用カメラによって撮影された映像とを用いて、前記測定用カメラと前記視点検知カメラの相対位置と姿勢を算出するとともに、前記測定用カメラと前記表示装置の相対位置と姿勢を算出し、２つの前記相対位置と姿勢から前記視点検知カメラと前記表示装置の相対位置と姿勢を姿勢情報として算出するステップと、
    　前記姿勢情報を用いて前記表示装置が表示する前記虚像の位置を調整するステップとからなる車両用表示装置の位置調整方法。
  2. 　前記虚像の視野角と、前記視点検知カメラの画角と、前記測定用カメラの画角が重なる範囲内に前記較正用パターンを設置する請求項１に記載の車両用表示装置の位置調整方法。
  3. 　前記虚像の視野角と前記測定用カメラの画角が重なる範囲であり、かつ前記視点検知カメラの画角外である領域と、前記視点検知カメラの画角と前記測定用カメラの画角が重なる範囲であり、かつ前記虚像の視野角の範囲外である領域に跨って、前記較正用パターンを設置する請求項１に記載の車両用表示装置の位置調整方法。
  4. 　前記較正用パターンは半透明である請求項２または３のいずれか一項に記載の車両用表示装置の位置調整方法。
  5. 　前記表示装置と前記視点検知カメラの位置関係を判定するステップにおいて、前記表示装置によって表示される虚像が、前記測定用カメラで撮影された画像のどの画素に前記虚像のどの画素が写っているかを特定するための特徴的なパターンを備えていることを特徴とする、請求項１から４のいずれか一項に記載の車両用表示装置の位置調整方法。
  6. 　前記画素を特定するための特徴的なパターンが、時間的に色や輝度が変化するパターンであることを特徴とする、請求項５に記載の車両用表示装置の位置調整方法。
  7. 　運転者の前方視野上に虚像を表示する表示装置と、
    　前記運転者を撮影する視点検知カメラと、
    　を備えた車両表示装置の位置調整方法であって、
    　前記虚像を撮影する測定用カメラを設置すると共に、
    　前記測定用カメラに対して所定の位置に取り付けられた位置調整のための情報を取得するための較正用パターンを前記視点検知カメラで撮影するステップと、
    　前記測定用カメラで前記虚像を撮影するステップと、
    　前記視点検知カメラによって撮影された映像と前記測定用カメラによって撮影された映像とを用いて、前記測定用カメラと前記視点検知カメラの相対位置と姿勢の算出、および前記測定用カメラと前記表示装置の相対位置と姿勢の算出を行い、２つの前記相対位置と姿勢から前記視点検知カメラと前記表示装置の相対位置と姿勢を姿勢情報として算出するステップと、
    　前記姿勢情報を用いて前記表示装置が表示する前記虚像の位置を調整するステップとからなる車両用表示装置の位置調整方法。
PCT/JP2016/001577 2015-03-27 2016-03-18 車両用表示装置の位置調整方法 Ceased WO2016157799A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016557667A JP6518952B2 (ja) 2015-03-27 2016-03-18 車両用表示装置の位置調整方法
EP16771692.7A EP3147150B1 (en) 2015-03-27 2016-03-18 Method for adjusting position of vehicular display apparatus
US15/263,993 US9772496B2 (en) 2015-03-27 2016-09-13 Position adjustment method of vehicle display device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015065879 2015-03-27
JP2015-065879 2015-03-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/263,993 Continuation US9772496B2 (en) 2015-03-27 2016-09-13 Position adjustment method of vehicle display device

Publications (1)

Publication Number Publication Date
WO2016157799A1 true WO2016157799A1 (ja) 2016-10-06

Family

ID=57005863

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/001577 Ceased WO2016157799A1 (ja) 2015-03-27 2016-03-18 車両用表示装置の位置調整方法

Country Status (4)

Country Link
US (1) US9772496B2 (ja)
EP (1) EP3147150B1 (ja)
JP (1) JP6518952B2 (ja)
WO (1) WO2016157799A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019111520A1 (ja) * 2017-12-06 2019-06-13 株式会社Ｊｖｃケンウッド 投影制御装置、ヘッドアップディスプレイ装置、投影制御方法およびプログラム
JP2019099142A (ja) * 2017-12-06 2019-06-24 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 仮想スクリーンのパラメータ推定方法及び装置

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2972478B1 (en) 2013-03-15 2020-12-16 Uatc, Llc Methods, systems, and apparatus for multi-sensory stereo vision for robotics
JP6636252B2 (ja) * 2015-03-19 2020-01-29 株式会社メガチップス 投影システム、プロジェクター装置、撮像装置、および、プログラム
US10116873B1 (en) * 2015-11-09 2018-10-30 Ambarella, Inc. System and method to adjust the field of view displayed on an electronic mirror using real-time, physical cues from the driver in a vehicle
US10077007B2 (en) * 2016-03-14 2018-09-18 Uber Technologies, Inc. Sidepod stereo camera system for an autonomous vehicle
DE102017214934B3 (de) 2017-08-25 2019-02-07 Panasonic Automotive & Industrial Systems Europe GmbH Videobildaufnahmeverfahren, Wiedergabeverfahren, Ausrüstung für ein Fahrzeug, eingerichtet zum Ausführen eines Videobildaufnahmeverfahrens und Testsystem zum Ausführen eines Wiedergabeverfahrens
US10967862B2 (en) 2017-11-07 2021-04-06 Uatc, Llc Road anomaly detection for autonomous vehicle
CN116620019A (zh) * 2017-11-14 2023-08-22 麦克赛尔株式会社 平视显示装置和车辆
KR102518661B1 (ko) 2018-10-16 2023-04-06 현대자동차주식회사 Hud 시스템의 이미지 왜곡 보정 방법
KR102707598B1 (ko) * 2018-12-04 2024-09-19 삼성전자주식회사 3차원 증강 현실을 위한 캘리브레이션 방법 및 그 장치
CN109801341B (zh) * 2019-01-30 2020-11-03 北京经纬恒润科技有限公司 一种标定靶的位置校验方法及装置
CN109889807A (zh) * 2019-03-14 2019-06-14 百度在线网络技术（北京）有限公司 车载投射调节方法、装置、设备和存储介质
CN111664839B (zh) * 2020-05-20 2022-03-08 重庆大学 车载抬头显示虚像距离测量方法
US11833901B2 (en) 2020-10-12 2023-12-05 GM Global Technology Operations LLC System and method for adjusting a location and distortion of an image projected onto a windshield of a vehicle by a head-up display
EP4269153B1 (en) 2021-03-02 2025-12-17 Samsung Electronics Co., Ltd. Electronic device for projecting image on windshield of vehicle, and operating method therefor
CN114494439B (zh) * 2022-01-25 2023-08-15 襄阳达安汽车检测中心有限公司 Hil仿真测试中摄像头位姿校准方法、装置、设备及介质
CN115330699B (zh) * 2022-07-27 2026-01-23 东软集团股份有限公司 用于抬头显示器hud的调节方法、装置及存储介质
US20250316194A1 (en) * 2024-04-09 2025-10-09 DISTANCE TECHNOLOGIES Oy Light field display based on relative location of viewer

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002205571A (ja) * 2001-01-10 2002-07-23 Yazaki Corp 車両用表示装置
JP2009262666A (ja) * 2008-04-23 2009-11-12 Calsonic Kansei Corp 車両用ヘッドアップディスプレイ装置の調整方法
JP2013218346A (ja) * 2013-05-30 2013-10-24 Denso Corp ヘッドアップディスプレイ装置の製造方法および同製造方法に用いるのに適した虚像調整装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7663502B2 (en) * 1992-05-05 2010-02-16 Intelligent Technologies International, Inc. Asset system control arrangement and method
US8358224B2 (en) * 2009-04-02 2013-01-22 GM Global Technology Operations LLC Point of interest location marking on full windshield head-up display
KR101544524B1 (ko) * 2010-12-16 2015-08-17 한국전자통신연구원 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002205571A (ja) * 2001-01-10 2002-07-23 Yazaki Corp 車両用表示装置
JP2009262666A (ja) * 2008-04-23 2009-11-12 Calsonic Kansei Corp 車両用ヘッドアップディスプレイ装置の調整方法
JP2013218346A (ja) * 2013-05-30 2013-10-24 Denso Corp ヘッドアップディスプレイ装置の製造方法および同製造方法に用いるのに適した虚像調整装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3147150A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019111520A1 (ja) * 2017-12-06 2019-06-13 株式会社Ｊｖｃケンウッド 投影制御装置、ヘッドアップディスプレイ装置、投影制御方法およびプログラム
JP2019101323A (ja) * 2017-12-06 2019-06-24 株式会社Ｊｖｃケンウッド 投影制御装置、ヘッドアップディスプレイ装置、投影制御方法およびプログラム
JP2019099142A (ja) * 2017-12-06 2019-06-24 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 仮想スクリーンのパラメータ推定方法及び装置

Also Published As

Publication number Publication date
EP3147150A4 (en) 2017-10-25
JP6518952B2 (ja) 2019-05-29
EP3147150A1 (en) 2017-03-29
EP3147150B1 (en) 2018-09-26
US20160377873A1 (en) 2016-12-29
JPWO2016157799A1 (ja) 2018-01-18
US9772496B2 (en) 2017-09-26

Similar Documents

Publication Publication Date Title
JP6518952B2 (ja) 車両用表示装置の位置調整方法
CN112655024B (zh) 一种图像标定方法及装置
JP6458439B2 (ja) 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法
JP7018566B2 (ja) 撮像装置、画像処理方法及びプログラム
CN108141570B (zh) 校准装置、校准方法以及校准程序存储介质
JP4861034B2 (ja) 車載カメラのキャリブレーションシステム
US8872920B2 (en) Camera calibration apparatus
US9866818B2 (en) Image processing apparatus and method, image processing system and program
JP5615441B2 (ja) 画像処理装置及び画像処理方法
JP7038345B2 (ja) カメラパラメタセット算出方法、カメラパラメタセット算出プログラム及びカメラパラメタセット算出装置
JP5456330B2 (ja) 画像表示装置及びそのカメラ取り付け角度算出方法
EP1884740A2 (en) Method and system for sensing the surface shape of a reflective object
CN104052986B (zh) 检测用具、立体照相机检测装置以及检测方法
JP6791341B2 (ja) 校正方法、校正装置、及びプログラム
JP6599685B2 (ja) 画像処理装置および誤差判定方法
JP2010002233A (ja) 複眼画像入力装置及びそれを用いた距離測定装置
JP2009276233A (ja) パラメータ計算装置、パラメータ計算システムおよびプログラム
CN114450552A (zh) 校正参数计算方法、位移量计算方法、校正参数计算装置及位移量计算装置
JP5487946B2 (ja) カメラ画像の補正方法およびカメラ装置および座標変換パラメータ決定装置
CN119334655A (zh) 一种车辆视野测量方法、装置、电子设备及存储介质
US10726528B2 (en) Image processing apparatus and image processing method for image picked up by two cameras
JP2010087743A (ja) 車載カメラの校正装置
JP2013239905A (ja) 車載カメラのキャリブレーション装置
JP2019002787A (ja) ステレオカメラ装置
JP7492599B2 (ja) 車載カメラ装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2016557667

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16771692

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2016771692

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2016771692

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE