WO2006011235A1 - 車外映像表示装置 - Google Patents

車外映像表示装置 Download PDF

Info

Publication number
WO2006011235A1
WO2006011235A1 PCT/JP2004/010989 JP2004010989W WO2006011235A1 WO 2006011235 A1 WO2006011235 A1 WO 2006011235A1 JP 2004010989 W JP2004010989 W JP 2004010989W WO 2006011235 A1 WO2006011235 A1 WO 2006011235A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
video
outside
display device
measurement value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2004/010989
Other languages
English (en)
French (fr)
Inventor
Hiroyuki Shibata
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US10/576,623 priority Critical patent/US20070030212A1/en
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to PCT/JP2004/010989 priority patent/WO2006011235A1/ja
Priority to EP04748148A priority patent/EP1772839A4/en
Priority to CNB2004800396107A priority patent/CN100492436C/zh
Publication of WO2006011235A1 publication Critical patent/WO2006011235A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/162—Decentralised systems, e.g. inter-vehicle communication event-triggered
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Definitions

  • the present invention relates to an outside-vehicle image display device suitable for use in a navigation system. ⁇ Background Technology>
  • the navigation system described in Patent Literature 1 includes a camera installed in a vehicle that captures an image in front of the vehicle traveling direction and an output device that outputs image information, and guide information according to a predetermined route. Is output in the output device by synthesizing guidance information such as an arrow indicating the direction of travel on the captured image of the camera, and approximates the information obtained from the driver's field of view.
  • the guide information can be displayed.
  • the navigation system described in Patent Document 2 can select either a drawing image generated from map data or an image ahead of the vehicle traveling direction by a camera as an output image. It has a function that can synthesize route information and guidance information, and according to the clarity of the visual field in front, it can be switched to a drawn image by map data or an actual image by a camera.
  • Patent Document 1 Japanese Patent Application Laid-Open No. Hei 9 0 30 100
  • Patent Document 2 Japanese Patent Application Laid-Open No. 11-1 0 8 6 8 4
  • the present invention has been made in view of such circumstances, and an object thereof is to provide an outside-vehicle image display device that can visualize a field of view that is blocked by an obstacle.
  • the outside image display device of the invention is a vehicle outside image photographing means for photographing the outside of the vehicle with a camera, an image receiving means for receiving the outside image information from the outside, and the outside image photographing means.
  • Video synthesizing means for synthesizing the video outside the vehicle received by the video receiving means with the video synthesizing video, and a video display device for displaying new video information outside the vehicle created by the video synthesizing means.
  • the outside video display device of the invention according to claim 2 is the outside video display device of the invention according to claim 1, wherein the video receiving means is in front of a vehicle on which the outside video display device is mounted. It is characterized by receiving video information from outside the vehicle.
  • the outside video display device of the invention according to claim 3 is the outside video display device of the invention according to claim 1, wherein the video synthesizing means is a video taken by the outside video photographing means. A part of the video information outside the vehicle received by the video receiving means is synthesized.
  • the outside video display device of the invention according to claim 4 is the outside video display device of the invention according to claim 1, wherein the new outside video information created by the video composition means is transmitted to the outside.
  • the video transmission means is further provided.
  • the new outside video information created by the video synthesizing means is externally transmitted. Since it is transmitted to, it is possible to visualize the field of view that is obstructed by obstacles outside.
  • the outside video display device of the invention according to claim 5 is the outside video display device of the invention according to claim 4, wherein the video transmission means is a new image created by the video composition means.
  • the image information outside the vehicle is transmitted to a vehicle behind the vehicle on which the image display device outside the vehicle is mounted.
  • the vehicle exterior video display device of the invention according to claim 6 is the vehicle exterior video display device according to claim 1, wherein the inter-vehicle distance from the vehicle ahead of the vehicle on which the vehicle exterior video display device is mounted An inter-vehicle distance measuring means for measuring the vehicle, and a visual field state determining means for determining whether or not the forward visual field is blocked by the inter-vehicle distance measuring means, wherein the forward vehicle blocks the forward visual field.
  • the vehicle image information is received from the image receiving means.
  • the visibility state is determined. Can be performed appropriately.
  • a vehicle exterior video display device is a vehicle exterior video display device according to claim 1 of the invention, wherein the vehicle exterior video display device is three-dimensional with respect to the environment in the range captured by the vehicle exterior video capture means.
  • 3D measurement means for performing 3D measurement by a measuring instrument
  • measurement value reception means for receiving a 3D measurement value from the outside
  • the outside video information based on the 3D measurement value received by the measurement value reception means
  • a viewpoint conversion means for converting the viewpoint into a viewpoint based on the power mela and supplying the viewpoint to the video composition means.
  • the video information outside the vehicle is converted into a viewpoint by the camera and supplied to the video composition means. Therefore, it is possible to visualize the field of view that is obstructed by the obstacle so that it can be recognized more easily.
  • the outside image display device of the invention according to claim 8 is the outside image display device of the invention according to claim 7, wherein the measurement value is received by the three-dimensional measurement value acquired by the three-dimensional measurement means.
  • the apparatus further comprises a measurement value synthesis means for synthesizing the three-dimensional measurement values received by the means.
  • the three-dimensional measurement value received by the measurement value receiving means is synthesized with the three-dimensional measurement value acquired by the three-dimensional measurement means, the field of view that is obstructed by an obstacle outside can be further improved. It can be visualized for easy recognition.
  • the outside image display device of the invention according to claim 9 is the outside image display device according to claim 8 of the invention, wherein the new three-dimensional measurement value created by the measurement value synthesizing means is sent to the outside.
  • a measurement value transmitting means for transmitting is further provided. According to this configuration, since the new three-dimensional measurement value created by the measurement value synthesizing means is transmitted to the outside, it is easier to recognize the field of view blocked by the obstacle outside. Can be visualized.
  • the outside image display device of the invention according to claim 10 is the outside image display device of the invention according to claim 9, wherein the measurement value transmitting means is created by the measurement value synthesizing means.
  • the new three-dimensional measurement value is transmitted to a vehicle behind the vehicle on which the outside image display device is mounted.
  • the new three-dimensional measurement value created by the measurement value synthesizing means is transmitted to the vehicle behind the vehicle equipped with the external video display device, the obstacle behind the vehicle behind It is possible to visualize the field of view that is blocked by objects so that it can be recognized more easily.
  • the vehicle exterior video display device of the invention according to claim 11 is the vehicle exterior video display device of the invention according to claim 1, wherein the video reception means is mounted with the vehicle exterior video display device. It is characterized by receiving video information outside the vehicle from an obstacle that obstructs the field of view ahead of the vehicle. According to this configuration, since the vehicle outside image information is received from an obstacle object that obstructs the field of view ahead of the vehicle on which the vehicle outside image display device is mounted, the field of view blocked by the obstacle body can be reduced. Can be visualized. ⁇ Brief description of drawings>
  • FIG. 1 is a block diagram showing the configuration of the outside-vehicle image display system in the first embodiment of the present invention.
  • FIG. 2 is a block diagram showing a configuration of an outside-vehicle image display device mounted on the second vehicle in the first embodiment of the present invention.
  • FIG. 3 is a block diagram showing a configuration of the outside-vehicle image display device mounted on the first vehicle in the first embodiment of the present invention.
  • FIG. 4 is a block diagram showing a configuration of an outside-vehicle image display device mounted on the third vehicle in the first embodiment of the present invention.
  • FIG. 5 is a flowchart for explaining the operation of the outside-vehicle image display system in the first embodiment of the present invention.
  • FIG. 6 is a diagram showing an example of the environment in the first embodiment of the present invention.
  • FIG. 7 is a diagram showing a display example of a video outside the vehicle in the first embodiment of the present invention.
  • FIG. 8 is a diagram showing an example when there is a blind spot in the first embodiment of the present invention.
  • FIG. 9 is a block diagram showing the configuration of the outside-vehicle image display system according to the second embodiment of the present invention.
  • FIG. 10 is a block diagram showing a configuration of an on-vehicle image display device mounted on the second vehicle in the second embodiment of the present invention.
  • FIG. 11 is a block diagram showing a configuration of an on-vehicle image display device mounted on the first vehicle in the second embodiment of the present invention.
  • FIG. 12 is a block diagram showing a configuration of an on-vehicle image display device mounted on a third vehicle according to the second embodiment of the present invention.
  • FIG. 13 illustrates the operation of the outside-vehicle image display system according to the second embodiment of the present invention. This is a flowchart for explanation.
  • FIG. 14 is a block diagram showing the configuration of the outside-vehicle image display system according to the third embodiment of the present invention.
  • FIG. 15 is a block diagram showing a configuration of an outside-vehicle image display device mounted on a vehicle according to the third embodiment of the present invention.
  • FIG. 16 is a block diagram showing a configuration of a video transmission device installed on an obstacle according to the third embodiment of the present invention.
  • FIG. 17 is a flowchart for explaining the operation of the outside-vehicle image display system according to the third embodiment of the present invention.
  • reference numerals 100, 200, and 300 are external video display systems
  • 10 1 to 10 03, 20 1-203 and 30 1 are external video display devices
  • 104 are traffic lights
  • 105 to: L 08 is a building
  • 1 1 1 to 1 1 3, 2 1 1 to 2 1 3, 3 1 1 to 3 1 2 are cameras
  • 1 14, 2 14, and 3 14 are exterior video capture units
  • 1 1 5, 2 1 5, 3 1 5 Is the video transmitter
  • 1 16, 2 1 6 and 3 1 6 are the video receivers
  • 1 1 8, 2 1 8 and 3 18 are the video compositing units
  • 1 2 1 to 1 23, 22 1 to 223 and 32 1 are Video information outside the vehicle
  • 141 to 143, 24 1 to 243, 34 1 are video display devices
  • 1 5 1 to 1 53, 25 1 to 253, 3 5 1 to 352 are wireless communication interfaces
  • 1 6 1 and 27 1 are inter-vehicle distances Ranging section
  • 1 6 1 and 27 1 are inter-vehicle distances Ranging section
  • 2 and 2 72 are visibility state determination units
  • 2 1 7 are viewpoint conversion units
  • 23 1 to 232 are 3D measuring instruments
  • 234 is a 3D measurement unit
  • 2 35 is a measurement value transmission unit
  • 236 is a measurement value reception unit
  • 26 1 to 262 are three-dimensional measurement values
  • 302 is a video transmission device
  • 303 is an obstacle detection unit, and 322 is video information.
  • FIG. 1 is a block diagram showing the configuration of the outside-vehicle image display system 100 according to the first embodiment of the present invention.
  • the outside-vehicle image display system 100 according to the present embodiment shows the situation outside the vehicle from the viewpoint of the installed camera 1 1 2.
  • Outside video display device 1 0 2 installed in the second vehicle B that transmits the outside video information 1 2 2 that is visualized information to the vehicle behind, and the outside video information 1 2 2 are installed and installed Camera 1 1 1 Sends new outside video information 1 2 1, which is video information obtained by synthesizing the outside video information 1 2 2 received from the information visualized outside the vehicle from the viewpoint from 1 1 to the vehicle behind
  • the external video display device 1 0 1 mounted on the first vehicle A and the external video information 1 2 1 are received and converted into information that visualizes the external situation from the viewpoint of the installed camera 1 1 3
  • FIG. 2 is a block diagram showing a configuration of the outside-vehicle image display device 102 mounted on the second vehicle B.
  • the outside image display device 1 0 2 mounted on the second vehicle B includes a camera 1 1 2 for photographing the front of the vehicle to obtain outside image information 1 2 2 and a force camera 1 1 2.
  • Outside video imaging unit 1 1 4 that captures the front (outside of the vehicle), video display unit 1 4 2 that displays the video captured by the camera 1 1 2 and video transmission unit 1 2 that transmits the video information outside the vehicle 1 1 2 5 and a wireless communication interface 1 5 2 for transmitting / receiving data to / from the first vehicle A as a rear vehicle.
  • FIG. 3 is a block diagram showing a configuration of the outside-vehicle image display device 100 1 mounted on the first vehicle A.
  • the vehicle exterior image display device 1 0 1 mounted on the first vehicle A includes a camera 1 1 1 that captures the front of the vehicle and a vehicle exterior image capturing unit that captures the front of the vehicle (outside the vehicle) using the camera 1 1 1.
  • wireless communication interface 1 5 1 for transmitting / receiving data to / from the second vehicle B that is the vehicle ahead and the third vehicle C that is the vehicle behind it, and video information outside the vehicle from the second vehicle B
  • the video receiver 1 1 6 that receives 1 2 2 via the wireless communication interface 1 5 1 and the video that is captured by the outside video camera 1 1 4 are received by the video receiver 1 1 6
  • Video composition unit 1 1 8 that synthesizes video information 1 2 2 outside the vehicle
  • video display device 1 4 1 that displays the new video information 1 2 1 created by the video composition unit 1 1 8, and new video outside the vehicle
  • Information transmission unit 1 1 5 that transmits information 1 2 1 to third vehicle C via wireless communication interface 1 5 1 It is equipped with a.
  • the outside-vehicle image display device mounted on the third vehicle C 1 0 3 is a camera 1 1 3 that captures the front of the vehicle, a vehicle exterior image capturing unit 1 1 4 that captures the front of the vehicle (outside the vehicle) using the camera 1 1 3, and the first vehicle A that is the vehicle ahead Wireless communication interface 1 5 3, image receiving unit 1 1 6 that receives the outside video information 1 2 1 from the first vehicle A via the wireless communication interface 1 5 3, and outside image capturing unit 1 1
  • Video synthesizing unit 1 1 8 that synthesizes the video captured by 4 and the video receiving unit 1 1 6 received by the video receiving unit 1 1 6 and the video synthesizing unit 1 1 8
  • a video display device 1 4 3 for displaying the video information 1 2 3.
  • the data request information is transmitted to the preceding vehicle in advance, and the preceding vehicle transmits data to the corresponding vehicle accordingly.
  • the data request information is transmitted in advance to the second vehicle B, which is the preceding vehicle, and the second vehicle B responds to the first vehicle A accordingly. Sending data.
  • Each outside image display device 1 0 1 to 1 0 3 further measures an inter-vehicle distance with a preceding vehicle, and an inter-vehicle distance measuring unit 1 6 1 and an inter-vehicle distance measuring unit 1 6 1 And a visibility state determination unit 1 6 2 for determining whether or not the front view is obstructed.
  • the visibility state determination unit 1 62 of a vehicle determines that the visibility is good, the vehicle is recognized as the second vehicle B.
  • the visibility of the vehicle is judged to be poor by the vehicle ahead by the visibility state judgment unit 1 6 2 of the vehicle, if the vehicle information on the vehicle outside is requested by the vehicle behind the vehicle, the video information outside the vehicle is transmitted to the vehicle behind the vehicle.
  • the vehicle is recognized as the first vehicle A because it is necessary, and if there is no request for outside video information from the rear vehicle, there is no need to send the outside video information to the rear vehicle, so the vehicle is the third vehicle C. It is recognized.
  • the visibility state determination unit 16 2 determines whether or not the forward visibility is good (step S 1 0 1). If it is determined in step S 1 0 1 that the field of view is good, the vehicle is the second vehicle B and installed. The image from the connected camera 1 1 2 is displayed as it is on the video display device 1 4 2 (step S 1 0 2). Next, it is determined whether or not data request information is received from the vehicle behind the vehicle via the wireless communication interface 15 2 (step S 1 0 3), and when the data request information is received, the video transmission unit 1 1 5 transmits the image from the camera 1 1 2 to the first vehicle A, which is a vehicle behind the vehicle, via the wireless communication interface 1 5 2 (step S 1 0 4), and step S 1 0 Return to 1.
  • step S 1 0 1 determines whether the visibility is poor, the vehicle is the first vehicle A or the third vehicle C, and the data request information is wirelessly communicated to the preceding vehicle. Transmit via interface 1 5 1 or 1 5 3 (step S 1 0 5).
  • the video receiver 1 1 6 receives the vehicle exterior video information 1 2 2 or 1 2 1 from the vehicle ahead via the wireless communication interface 15 1 or 15 3 (step S 1 0 6).
  • the received outside image information 1 2 2 or 1 2 1 A part of the image is synthesized to create the outside-vehicle image information 1 2 1 or 1 2 3 with newly clarified view (step S 1 0 7).
  • the synthesized vehicle exterior video information 1 2 1 or 1 2 3 is displayed on the video display device 14 1 or 1 4 3 (step S 1 0 8).
  • Step S 1 0 3 it is determined whether or not data request information is received from the vehicle behind the vehicle via the wireless communication interface 15 1 or 15 3 (step S 1 0 3).
  • the vehicle is the first vehicle A, and the video transmission unit 1 1 5 transmits the vehicle exterior video information 1 2 1 to the third vehicle C via the wireless communication interface 1 5 1 ( Step S 1 0 4) and return to Step S 1 0 1.
  • FIG. 6 An example of the environment such as the position of each vehicle and buildings in the current situation is shown in Fig. 6, and the details of the processing are explained.
  • traffic lights 1 0 4 are installed at intersections, and buildings 1 0 5 to 1 0 8 are arranged respectively.
  • the image by the camera 1 1 2 installed in the second vehicle B shown in FIG. 7 (a) has a good field of view because there is no obstacle vehicle ahead.
  • the first vehicle A receives the outside video information 1 2 2, which is the image of FIG. 7 (a), from the second vehicle B ahead, and the second vehicle A as shown in FIG. 7 (d).
  • B is detected from the image using a vehicle image pattern registered in advance, for example, a rectangular area 1 0 9 is determined so as to cover the second vehicle B, and the received outside video information 1 2 2 By performing reduction and trimming, the composition is performed so as to fit the rectangular area 1 0 9.
  • Fig. 7 (e) shows the outside video information 1 2 1 created in this way.
  • the third vehicle C receives the outside vehicle image information 1 2 1, which is the image of FIG. 7 (e), from the first vehicle A ahead, and the first vehicle C as shown in FIG. 7 (f).
  • the outside vehicle image information 1 2 1 is the image of FIG. 7 (e)
  • the received outside video information 1 2 1 is reduced / trimmed to fit the rectangular area 1 1 0.
  • the external video information 1 2 3 created in this way is shown in Fig. 7 (g).
  • the power camera installed on the vehicle in the outside-vehicle image display system 100 described in the present embodiment is limited to photographing only the front, but as shown in FIG. If the vehicle is a long vehicle such as a truck, or if the distance between the first vehicle A and the second vehicle B is too short, it can be seen from the cameras on both the first vehicle and the second vehicle. Since there are parts that become blind spots, cameras can be installed in every part of the vehicle so that images in all directions can be taken. Also good.
  • FIG. 9 is a block diagram showing the configuration of the outside-vehicle image display system 200 according to the second embodiment of the present invention.
  • the vehicle exterior video display system 200 in the present embodiment is different from the vehicle exterior video display system 100 in the first embodiment described above in the environment of the imaging range of the camera in addition to the first vehicle and the second vehicle. The difference is that a 3D measuring instrument that performs 3D measurement is installed, and the 3D measurement value measured by the 3D measuring instrument is added to the data that is transmitted and received via the wireless communication interface. is doing.
  • the vehicle exterior video display system 2 0 0 includes a vehicle exterior video information 2 2 2 and a camera that are information that visualizes the situation outside the vehicle from the viewpoint of the installed camera 2 1 2.
  • 2 1 2 3D measurement device that performs 3D measurement in the shooting range environment 2 3 2 3D measurement value 2 6 2 Sends vehicle 2 to 2nd vehicle B
  • In-vehicle video information received from device 2 0 2 and outside-vehicle video information 2 2 2 2 and three-dimensional measurement value 2 6 2 and received as information that visualizes the situation outside the vehicle from the viewpoint of the installed camera 2 1 1 2 2 2 is transmitted to the vehicle behind the vehicle as new outside video information 2 2 1 which is the video information synthesized after the viewpoint conversion based on the 2D 2D 2 6 2 and the shooting range environment of the camera 2 1 1 3D measurement value by 3D measuring instrument 2 3 1
  • FIG. 10 is a block diagram showing the configuration of the outside-vehicle image display device 20 2 mounted on the second vehicle B.
  • the outside-vehicle image display device 2 0 2 mounted on the second vehicle B includes a camera 2 1 2 that captures the front of the vehicle in order to obtain the outside-vehicle image information 2 2 2, and the camera 2 1 2 Outside video shooting unit 2 1 4 to shoot forward (outside of the car) Image display device 2 4 2 that displays images taken by the camera 2 1 2, a video transmission unit 2 1 5 that transmits outside video information 2 2 2, and a camera 2 to obtain 3D measurement values 2 6 2 1 3D measuring instrument 2 3 2 that performs 3D measurement using ultrasonic, laser, infrared, etc.
  • FIG. 11 is a block diagram showing the configuration of the outside-vehicle image display device 20 1 mounted on the first vehicle A.
  • the outside image display device 2 0 1 mounted on the first vehicle A has a power mesa 2 1 1 for photographing the front of the vehicle and the outside of the vehicle for photographing the front of the vehicle (outside the vehicle) with the camera 2 1 1.
  • Image capturing unit 2 1 4 wireless communication interface 2 5 1 for transmitting / receiving data to / from second vehicle B that is the front vehicle and third vehicle C that is the rear vehicle, and from second vehicle B Based on the 3D measurement values 2 6 2 received by the video reception unit 2 1 6 that receives the outside video information 2 2 2 via the wireless communication interface 2 5 1 and the measurement value reception unit 2 3 6 described later In-vehicle video information 2 2 7 to convert the viewpoint to the viewpoint conversion unit 2 1 7 and the outside-video image capturing unit 2 1 4 2 Video composition unit 2 1 8 that synthesizes 2 and new outside video information 2 2 1 created by video composition unit 2 1 8 are displayed.
  • Video display device 2 4 Video transmission unit 2 1 5 that transmits new external video information 2 2 1 to third vehicle C via wireless communication interface 2 5 1, Camera 2 1 1 From the 3D measuring device 2 3 1 that performs 3D measurement in the shooting range environment, the 3D measuring unit 2 3 4 that performs 3D measurement using the 3D measuring device 2 3 1, and the second vehicle B Measurement value receiver 2 3 6 that receives the 3D measurement value 2 6 2 via the wireless communication interface 2 5 1, and the 3D measurement value acquired by the 3D measurement unit 2 3 4 2 3 6 3D measurement values received by 2 3 6 2 6 7 Measurement value synthesis unit 2 3 7 and new 3D measurement values 2 6 1 created by measurement value synthesis unit 2 3 7 And a measured value transmission unit 2 3 5 for transmitting to the third vehicle C via the interface 2 5 1.
  • Fig. 12 is a block diagram showing the configuration of the outside video display device 20 3 mounted on the third vehicle C.
  • the outside video display device 2 0 3 mounted on the third vehicle C is a camera 2 1 3 that captures the front of the vehicle, and an outside image that captures the front of the vehicle (outside the vehicle) using the camera 2 1 3.
  • Wireless communication interface that transmits and receives data to and from the imaging unit 2 1 4 and the first vehicle A that is the vehicle ahead.
  • Video reception unit 2 1 6 that receives via interface 2 5 3 and measurement value reception that receives 3D measurement value 2 6 1 from first vehicle A via wireless communication interface 2 5 3 Unit 2 3 6, measurement value reception unit 2 3 6, viewpoint conversion unit 2 1 7 for performing viewpoint conversion on vehicle exterior video information 2 2 1 based on 3D measurement value 2 6 1, and vehicle exterior video shooting unit 2 1 4
  • Video composition unit 2 1 8 which synthesizes the video information 2 2 1 converted from the viewpoint by the viewpoint conversion unit 2 1 7 , And a video display equipment 2 4 3 to display the video combining portion 2 1 8 new exterior image information 2 2 3 created by, a.
  • a vehicle when a vehicle receives data, it transmits data request information to the preceding vehicle in advance, and the preceding vehicle transmits data to the vehicle accordingly. This is the same as the vehicle exterior video display system 100 in the first embodiment.
  • each of the vehicle exterior video display devices 20 1 to 20 3 further includes an inter-vehicle distance measuring unit 2 7 1 and a visibility state determining unit 2 7 2 is the vehicle exterior projection in the first embodiment described above. This is the same as the image display system 100.
  • the visibility state determination unit 2 72 determines whether or not the forward visibility is good (step S 2 0 1). If it is determined in step S 2 0 1 that the field of view is good, the vehicle is the second vehicle B, and the image from the installed camera 2 1 2 is directly displayed as the image display device 2 4. Display in 2 (Step S 2 0 2). Next, the environment such as a building existing in the shooting range of the installed camera 2 1 2 is measured three-dimensionally by the three-dimensional measuring unit 2 3 4 using the three-dimensional measuring instrument 2 3 2 (Step S 2 0 3). Next, the wireless communication interface 2 5 2 determines whether or not the data request information is received via step 2 (step S 2 0 4).
  • the video transmission unit 2 15 and the measured value transmission unit 2 3 5 perform wireless communication. Via the interface 2 5 2, the outside video information 2 2 2 and the 3D measurement value 2 6 2, which are images from the camera 2 1 2, are transmitted to the first vehicle A that is the rear vehicle (Step S 2 0 5), return to step S 2 0 1.
  • step S 2 0 1 if it is determined in step S 2 0 1 that the visibility is poor, the vehicle is the first vehicle A or the third vehicle C, and the data request information is wirelessly communicated to the preceding vehicle. Transmit via interface 2 5 1 or 2 5 3 (step S 2 0 6).
  • image information 2 2 2 or 2 2 1 from the vehicle ahead through the wireless communication interface 2 5 1 or 2 5 3 by the image receiving unit 2 1 6 and the measured value receiving unit 2 3 6
  • the three-dimensional measurement value 2 6 2 or 2 6 1 is received (step S 2 0 7).
  • the received video information 2 2 or 2 1 is changed to the viewpoint by the installed camera 2 1 1 or 2 1 3 based on the 3D measurement value 2 6 2 or 2 6 1.
  • Step S 2 0 8 Processing is performed by the viewpoint conversion unit 2 1 7 that performs conversion (step S 2 0 8).
  • a part of the in-vehicle video information that has undergone viewpoint conversion is synthesized with the part of the video captured by the installed camera 2 1 1 or 2 1 3 where the field of view is blocked by the vehicle ahead.
  • the outside video information 2 2 1 or 2 2 3 with a newly clarified field of view is created (step S 2 0 9).
  • the synthesized outside video information 2 2 1 or 2 2 3 is displayed on the video display device 2 4 1 or 2 4 3 (step S 2 10).
  • the 3D measurement unit 2 3 4 uses the 3D measuring device 2 3 1 to measure the 3D environment of the building and other environments existing within the shooting range of the installed camera 2 1 1 or 2 1 3 (Ste S 2 1 1).
  • the synthesized outside image information 2 2 1 or 2 Create 3D measurements for 2 2 3 (step S 2 1 2).
  • step S 2 0 4 it is determined whether data request information has been received from the vehicle behind the vehicle via the wireless communication interface 2 51 or 25 3 (step S 2 0 4).
  • the vehicle is the first vehicle A, and the video transmission unit 2 1 5 and the measurement value transmission unit 2 3 5 via the wireless communication interface 2 5 1, Video information 2 2 1 outside the vehicle and 3D measurement value 2 6 2 are transmitted to the third vehicle C (step S 2 0 5), and the process returns to step S 2 0 1.
  • the distortion generated when the video is synthesized is corrected from the parallax due to the difference in the absolute position of the camera installed in each vehicle.
  • the vehicle that obstructs the field of view visible from the vehicle transparent, or to make the blind spot visible it is possible to shoot images in all directions.
  • an acquisition video processing unit that performs image processing on the received external video information so that it becomes the viewpoint from the camera installed in the vehicle. It may be provided.
  • FIG. 14 is a block diagram showing the configuration of the outside-vehicle image display system 300 in the third embodiment of the present invention.
  • the vehicle outside image display system 300 in this embodiment is different from the vehicle outside image display system 100 in the first embodiment described above in that it obstructs the field of view from the vehicle such as buildings and trees other than the vehicle.
  • the difference is that the camera 3 1 2 and the wireless communication interface are also installed in the obstruction 3 0 2 to be obtained.
  • the outside-vehicle image display system 3 0 0 in the present embodiment displays the image information 3 2 2 that is the information obtained by visualizing the outdoor situation from the viewpoint of the camera 3 1 2 installed.
  • the video transmission device 3 0 2 installed on the obstacle object X to be transmitted to the vehicle behind and the video information 3 2 2 are received, and the situation outside the vehicle is visualized from the viewpoint of the installed camera 3 1 1
  • an external video display device 30 1 mounted on the vehicle A that synthesizes the received video information 3 2 2 with the information.
  • FIG. 15 is a block diagram illustrating a configuration of the outside-vehicle image display device 30 1 mounted on the vehicle A.
  • the outside image display device 3 0 1 installed in the vehicle A captures the front of the vehicle (outside the vehicle) with the camera 3 1 1 that captures the front of the vehicle and the camera 3 1 1
  • the outside video shooting unit 3 1 4 and the wireless communication interface 3 5 1 for transmitting and receiving data to and from the obstacle object X and the vehicle behind (the vehicle ahead) and the obstacle object X within the shooting range of the camera 3 1 1 Image that receives the video information 3 2 2 from the obstacle object X through the wireless communication interface 3 5 1 according to the output of the obstacle object discovery unit 3 0 3 and the obstacle object discovery unit 3 0 3
  • Video synthesizing unit 3 1 8 for synthesizing the video information 3 2 2 received by the video receiving unit 3 1 6 with the video captured by the receiving unit 3 1 6 and the video imaging unit 3 1 4 Part 3 1 8
  • Video display device 3 4 1 that displays new outside video information
  • FIG. 16 is a block diagram showing the configuration of the video transmission device 30 2 installed on the obstacle object X.
  • the video transmission device 3 0 2 installed on the obstacle object X has a camera 3 1 2 and a camera 3 that capture the direction of the blind spot as viewed from the vehicle A to obtain the video information 3 2 2.
  • vehicle A when vehicle A receives data, it sends data request information to obstacle object X in advance, and obstacle object X transmits data to vehicle A accordingly. This is the same as the vehicle exterior video display system 100 in the first embodiment.
  • the obstacle object detection unit 3 0 3 detects the obstacle object X within the imaging range of the camera 3 11 (step S 3 0 1).
  • the vehicle A transmits data request information to the obstacle object X via the wireless communication interface 3 51 (step S 3 0 2).
  • the video information 3 2 2 is received from the obstacle object X through the wireless communication interface 3 51 by the video receiving unit 3 16 (step S 3 0 3).
  • the installed turtle A part of the received video information 3 2 2 is synthesized with the part of the video captured by La 3 1 1 where the field of view is blocked by the obstacle X, and the field of view is newly clarified.
  • Image information 3 2 1 is created (step S 3 0 4).
  • the synthesized outside video information 3 2 1 is displayed on the video display device 3 4 1 (step S 3 0 5).
  • 3 2 1 can be further transmitted to the vehicle behind by the video transmitter 3 15, and the video information 3 2 2 can be combined with the video information received from the vehicle ahead.
  • the outside video display system 300 in the present embodiment it is possible to receive video information from various obstacles, so the outside video display in the first embodiment described above.
  • system 1 0 even when the blind spot is behind a building or a vehicle whose view is obstructed by trees, it can be viewed from the driver's line of sight by receiving video information from the obstacle itself. Can display images without blind spots.
  • the guidance information and route information obtained from the map data are synthesized with the image obtained by the outside-vehicle image display device of the present invention that transparently displays the front vehicle and obstacles that obstruct the view. Because it is possible to obtain an image that does not obstruct the field of view in the same environment as seen from the driver, compared to the environment based on the 3D image created from the map data as in the conventional navigation system. Therefore, it can be said that the visibility is high and the occurrence of misrecognition is reduced.
  • the outside image information received by the image receiving means is combined with the image taken by the outside image photographing means and displayed, so that it is blocked by an obstacle.
  • the field of view can be visualized.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本発明の課題は、障害物によって遮られている視界を可視化することができるような車外映像表示装置を提供することである。　車外映像表示装置であって、カメラ（１１１）により車外を撮影する車外映像撮影手段（１１４）と、外部からの車外映像情報を受信する映像受信手段（１１６）と、前記車外映像撮影手段（１１４）により撮影している映像に前記映像受信手段（１１６）により受信した車外映像情報を合成する映像合成手段（１１８）と、前記映像合成手段（１１８）により作成された新たな車外映像情報を表示する映像表示装置（１４１）と、を備えている。

Description

明 細 書 車外映像表示装置 <技術分野 >
本発明は、ナビゲーシヨンシステムに用いて好適な車外映像表示装置に関する。 <背景技術 >
従来、 ナビゲーシヨンシステムとしては、 例えば特許文献 1や特許文献 2に記 載されたものが知られている。
特許文献 1に記載されたナビゲーシヨンシステムは、 車両に設置された自車進 行方向前方の画像を撮影するカメラと、 画像情報を出力する出力装置を含み、 予 め設定された経路に従って案内情報を出力する際、 カメラの撮影画像上に進行方 向を表す矢印等の案内情報を合成して出力装置にて出力するようにしたものであ り、運転手の視野から得る情報と近似した形で案内情報を表示することができる。 特許文献 2に記載されたナビゲーシヨンシステムは更に、出力する画像として、 地図データから生成された描画画像と、 カメラによる自車進行方向前方の画像の いずれかを選択することができ、 選択したいずれかに対して経路情報や案内情報 を合成することができる機能を有するものであり、前方の視野の明瞭性に応じて、 地図データによる描画画像かカメラによる実画像かに切り替えることができる。
(特許文献 1 ) 特開平 9一 3 0 4 1 0 1号公報
(特許文献 2 ) 特開平 1 1— 1 0 8 6 8 4号公報
しかしながら、 従来のナビゲーシヨンシステムにおいては、 前方車両や建造物 など視界の妨げとなるものがあり、 特に渋滞中において前方を撮影したカメラ画 像は前方車両によって視界が遮られており、 満足のいくものとは言えなかった。 本発明は、 このような実情に鑑みてなされたものであり、 障害物によって遮ら れている視界を可視化することができるような車外映像表示装置を提供すること を目的とする。 <発明の開示 >
請求の範囲第 1項に係る発明の車外映像表示装置は、 カメラにより車外を撮影 する車外映像撮影手段と、 外部からの車外映像情報を受信する映像受信手段と、 前記車外映像撮影手段により撮影している映像に前記映像受信手段により受信し た車外映像情報を合成する映像合成手段と、 前記映像合成手段により作成された 新たな車外映像情報を表示する映像表示装置と、 を備えたことを特徴とする。 この構成によれば、 車外映像撮影手段により撮影している映像に映像受信手段 により受信した車外映像情報を合成して表示するようにしているため、 障害物に よって遮られている視界を可視化することができる。
請求の範囲第 2項に係る発明の車外映像表示装置は、 請求の範囲第 1項に係る 発明の車外映像表示装置において、 前記映像受信手段は、 前記車外映像表示装置 が搭載された車両より前方の車両からの車外映像情報を受信することを特徴とす る。
この構成によれば、 車外映像表示装置が搭載された車両より前方の車両からの 車外映像情報を受信するようにしているため、 当該前方の車両によって遮られて いる視界を可視化することができる。
請求の範囲第 3項に係る発明の車外映像表示装置は、 請求の範囲第 1項に係る 発明の車外映像表示装置において、 前記映像合成手段は、 前記車外映像撮影手段 により撮影している映像に前記映像受信手段により受信した車外映像情報の一部 を合成することを特徴とする。
この構成によれば、 車外映像撮影手段により撮影している映像に映像受信手段 により受信した車外映像情報の一部を合成するようにしているため、 障害物によ つて遮られている視界を適切に可視化することができる。
請求の範囲第 4項に係る発明の車外映像表示装置は、 請求の範囲第 1項に係る 発明の車外映像表示装置において、 前記映像合成手段により作成された新たな車 外映像情報を外部へ送信する映像送信手段を更に備えたことを特徴とする。
この構成によれば、 映像合成手段により作成された新たな車外映像情報を外部 へ送信するようにしているため、 外部において障害物によって遮られている視界 を可視化することができる。
請求の範囲第 5項に係る発明の車外映像表示装置は、 請求の範囲第 4項に係る 発明の車外映像表示装置において、 前記映像送信手段は、 前記映像合成手段によ り作成された新たな車外映像情報を前記車外映像表示装置が搭載された車両より 後方の車両へ送信することを特徴とする。
この構成によれば、 映像合成手段により作成された新たな車外映像情報を車外 映像表示装置が搭載された車両より後方の車両へ送信するようにしているため、 当該後方の車両において障害物によって遮られている視界を可視化することがで きる。
請求の範囲第 6項に係る発明の車外映像表示装置は、 請求の範囲第 1項に係る 発明の車外映像表示装置において、 前記車外映像表示装置が搭載された車両より 前方の車両との車間距離を測定する車間測距手段と、 前記車間測距手段により前 方の視界が遮られているかどうかを判断する視界状態判断手段と、 を更に備え、 前記前方の車両によって前方の視界が遮られていると判断したときに、 前記映像 受信手段から車外映像情報を受信することを特徴とする。
この構成によれば、 車外映像表示装置が搭載された車両より前方の車両との車 間距離を測定して前方の視界が遮られているかどうかを判断するようにしている ため、 視界状態の判断を適切に行うことができる。
請求の範囲第 7項に係る発明の車外映像表示装置は、 請求の範囲第 1項に係る 発明の車外映像表示装置において、 前記車外映像撮影手段により撮影されている 範囲の環境に対して三次元計測器により三次元計測を行う三次元計測手段と、 外 部からの三次元計測値を受信する計測値受信手段と、 前記計測値受信手段により 受信した三次元計測値を基に前記車外映像情報に対して前記力メラによる視点に 変換して前記映像合成手段に供給する視点変換手段と、 を更に備えたことを特徴 とする。
この構成によれば、 計測値受信手段により受信した三次元計測値を基に車外映 像情報に対してカメラによる視点に変換して映像合成手段に供給するようにして いるため、 障害物によって遮られている視界をより認識し易いように可視化する ことができる。
請求の範囲第 8項に係る発明の車外映像表示装置は、 請求の範囲第 7項に係る 発明の車外映像表示装置において、 前記三次元計測手段により取得した三次元計 測値に前記計測値受信手段により受信した三次元計測値を合成する計測値合成手 段を更に備えたことを特徴とする。
この構成によれば、 三次元計測手段により取得した三次元計測値に計測値受信 手段により受信した三次元計測値を合成するようにしているため、 外部において 障害物によって遮られている視界をより認識し易いように可視化することができ る。
請求の範囲第 9項に係る発明の車外映像表示装置は、 請求の範囲第 8項に係る 発明の車外映像表示装置において、 前記計測値合成手段により作成された新たな 三次元計測値を外部へ送信する計測値送信手段を更に備えたことを特徴とする。 この構成によれば、 計測値合成手段により作成された新たな三次元計測値を外 部へ送信するようにしているため、 外部において障害物によって遮られている視 界をより認識し易いように可視化することができる。
請求の範囲第 1 0項に係る発明の車外映像表示装置は、 請求の範囲第 9項に係 る発明の車外映像表示装置において、 前記計測値送信手段は、 前記計測値合成手 段により作成された新たな三次元計測値を前記車外映像表示装置が搭載された車 両より後方の車両へ送信することを特徴とする。
この構成によれば、 計測値合成手段により作成された新たな三次元計測値を車 外映像表示装置が搭載された車両より後方の車両へ送信するようにしているため、 当該後方の車両において障害物によって遮られている視界をより認識し易いよう に可視化することができる。
請求の範囲第 1 1項に係る発明の車外映像表示装置は、 請求の範囲第 1項に係 る発明の車外映像表示装置において、 前記映像受信手段は、 前記車外映像表示装 置が搭載された車両より前方の視野の障害となる障害物体からの車外映像情報を 受信することを特徴とする。 この構成によれば、 車外映像表示装置が搭載された車両より前方の視野の障害 となる障害物体からの車外映像情報を受信するようにしているため、 当該障害物 体によって遮られている視界を可視化することができる。 <図面の簡単な説明 >
図 1は、 本発明の第 1の実施の形態における車外映像表示システムの構成を示 すブロック図である。
図 2は、 本発明の第 1の実施の形態における第二の車両に搭載された車外映像 表示装置の構成を示すプロック図である。
図 3は、 本発明の第 1の実施の形態における第一の車両に搭載された車外映像 表示装置の構成を示すプロック図である。
図 4は、 本発明の第 1の実施の形態における第三の車両に搭載された車外映像 表示装置の構成を示すプロック図である。
図 5は、 本発明の第 1の実施の形態における車外映像表示システムの動作を説 明するためのフローチャートである。
図 6は、 本発明の第 1の実施の形態における環境の例を示す図である。
図 7は、本発明の第 1の実施の形態における車外映像の表示例を示す図である。 図 8は、 本発明の第 1の実施の形態における死角が存在する場合の一例を示す 図である。
図 9は、 本発明の第 2の実施の形態における車外映像表示システムの構成を示 すプロック図である。
図 1 0は、 本発明の第 2の実施の形態における第二の車両に搭載された車外映 像表示装置の構成を示すプロック図である。
図 1 1は、 本発明の第 2の実施の形態における第一の車両に搭載された車外映 像表示装置の構成を示すブロック図である。
図 1 2は、 本発明の第 2の実施の形態における第三の車両に搭載された車外映 像表示装置の構成を示すプロック図である。
図 1 3は、 本発明の第 2の実施の形態における車外映像表示システムの動作を 説明するためのフローチヤ一トである。
図 14は、 本発明の第 3の実施の形態における車外映像表示システムの構成を 示すブロック図である。
図 1 5は、 本発明の第 3の実施の形態における車両に搭載された車外映像表示 装置の構成を示すブロック図である。
図 1 6は、 本発明の第 3の実施の形態における障害物体に設置された映像送信 装置の構成を示すプロック図である。
図 1 7は、 本発明の第 3の実施の形態における車外映像表示システムの動作を 説明するためのフローチヤ一トである。
なお、 図中の符号 100、 200、 300は車外映像表示システム、 10 1〜 1 03、 20 1-203, 30 1は車外映像表示装置、 104は信号機、 105 〜： L 08は建造物、 1 1 1〜 1 1 3、 2 1 1〜 2 1 3、 3 1 1〜 3 1 2はカメラ、 1 14、 2 14、 3 14は車外映像撮影部、 1 1 5、 2 1 5、 3 1 5は映像送信 部、 1 16、 2 1 6、 3 1 6は映像受信部、 1 1 8、 2 1 8、 3 18は映像合成 部、 1 2 1〜 1 23、 22 1〜 223、 32 1は車外映像情報、 141〜 143、 24 1〜243、 34 1は映像表示装置、 1 5 1〜 1 53、 25 1〜 253、 3 5 1〜 352は無線通信インターフェイス、 1 6 1、 27 1は車間測距部、 1 6
2、 2 72は視界状態判断部、 2 1 7は視点変換部、 23 1〜 232は三次元計 測器、 234は三次元計測部、 2 35は計測値送信部、 236は計測値受信部、 237は計測値合成部、 26 1〜 262は三次元計測値、 302は映像送信装置、
303は障害物体発見部、 322は映像情報である。
<発明を実施するための最良の形態 >
以下、 本発明の実施の形態について、 図面を用いて詳細に説明する。
(第 1の実施の形態）
図 1は、 本発明の第 1の実施の形態における車外映像表示システム 100の構 成を示すブロック図である。 図 1において、 本実施の形態における車外映像表示 システム 1 00は、 設置されているカメラ 1 1 2からの視点による車外の状況を 映像化した情報である車外映像情報 1 2 2を後方の車両へ送信する第二の車両 B に搭載された車外映像表示装置 1 0 2と、 車外映像情報 1 2 2を受信し、 設置さ れているカメラ 1 1 1からの視点による車外の状況を映像化した情報に受信した 車外映像情報 1 2 2を合成した映像情報である新たな車外映像情報 1 2 1を更に 後方の車両へ送信する第一の車両 Aに搭載された車外映像表示装置 1 0 1と、 車 外映像情報 1 2 1を受信し、 設置されているカメラ 1 1 3からの視点による車外 の状況を映像化した情報に受信した車外映像情報 1 2 1を合成する第三の車両 C に搭載された車外映像表示装置 1 0 3と、 を備えている。
図 2は、 第二の車両 Bに搭載された車外映像表示装置 1 0 2の構成を示すプロ ック図である。 図 2において、 第二の車両 Bに搭載された車外映像表示装置 1 0 2は、 車外映像情報 1 2 2を取得すべく車両前方を撮影するカメラ 1 1 2と、 力 メラ 1 1 2により車両前方 （車外） を撮影する車外映像撮影部 1 1 4と、 カメラ 1 1 2により撮影された映像を表示する映像表示装置 1 4 2と、 車外映像情報 1 2 2を送信する映像送信部 1 1 5と、 後方車両である第一の車両 Aとデータの送 受信を行う無線通信インターフェイス 1 5 2と、 を備えている。
図 3は、 第一の車両 Aに搭載された車外映像表示装置 1 0 1の構成を示すプロ ック図である。 図 3において、 第一の車両 Aに搭載された車外映像表示装置 1 0 1は、 車両前方を撮影するカメラ 1 1 1と、 カメラ 1 1 1により車両前方 （車外） を撮影する車外映像撮影部 1 1 4と、 前方車両である第二の車両 B及び後方車両 である第三の車両 Cとデータの送受信を行う無線通信ィンターフェイス 1 5 1と、 第二の車両 Bからの車外映像情報 1 2 2を無線通信ィンターフェイス 1 5 1を介 して受信する映像受信部 1 1 6と、 車外映像撮影部 1 1 4により撮影している映 像に映像受信部 1 1 6により受信した車外映像情報 1 2 2を合成する映像合成部 1 1 8と、 映像合成部 1 1 8により作成された新たな車外映像情報 1 2 1を表示 する映像表示装置 1 4 1と、 新たな車外映像情報 1 2 1を無線通信インターフエ イス 1 5 1を介して第三の車両 Cへ送信する映像送信部 1 1 5と、を備えている。 図 4は、 第三の車両 Cに搭載された車外映像表示装置 1 0 3の構成を示すプロ ック図である。 図 4において、 第三の車両 Cに搭載された車外映像表示装置 1 0 3は、 車両前方を撮影するカメラ 1 1 3と、 カメラ 1 1 3により車両前方 （車外） を撮影する車外映像撮影部 1 1 4と、 前方車両である第一の車両 Aとデータの送 受信を行う無線通信ィンターフユイス 1 5 3と、 第一の車両 Aからの車外映像情 報 1 2 1を無線通信インターフユイス 1 5 3を介して受信する映像受信部 1 1 6 と、 車外映像撮影部 1 1 4により撮影している映像に映像受信部 1 1 6により受 信した車外映像情報 1 2 1を合成する映像合成部 1 1 8と、 映像合成部 1 1 8に より作成された新たな車外映像情報 1 2 3を表示する映像表示装置 1 4 3と、 を 備えている。
尚、 ある車両がデータの受信を行う際には、 予め前方車両にデータ要求情報を 送信し、 それに応じて前方車両が当該車両へデータの送信を行うようになってい る。 例えば、 第一の車両 Aがデータの受信を行う際には、 予め前方車両である第 二の車両 Bにデータ要求情報を送信し、 それに応じて第二の車両 Bが第一の車両 Aへデータの送信を行うようになっている。
各車外映像表示装置 1 0 1〜1 0 3は更に、 前方車両との車間距離を測定する 車間測距部 1 6 1と、 車間測距部 1 6 1により前方車両との車間距離が短くて前 方の視界が遮られているかどうかを判断する視界状態判断部 1 6 2と、 を備えて いる。 例えば、 ある車両の視界状態判断部 1 6 2により視界が良好であると判断 されれば、 その車両は第二の車両 Bと認識される。 また、 ある車両の視界状態判 断部 1 6 2により前方の車両によって視界が不良であると判断された場合、 後方 車両から車外映像情報の要求があれば当該後方車両に車外映像情報を送信する必 要があるのでその車両は第一の車両 Aと認識され、 後方車両から車外映像情報の 要求が無ければ当該後方車両に車外映像情報を送信する必要が無いのでその車両 は第三の車両 Cと認識される。
次に、 このように構成された本実施の形態における車外映像表示システム 1 0 0の動作について、 図 5のフローチャートを参照しながら説明する。
まず、 ある車両において、 視界状態判断部 1 6 2により前方の視界が良好であ るかどうかを判断する （ステップ S 1 0 1 )。 ステップ S 1 0 1において、 視界が 良好であると判断されれば、 当該車両は第二の車両 Bであることになり、 設置さ れているカメラ 1 1 2による映像をそのまま映像表示装置 1 4 2に表示する （ス テツプ S 1 0 2 )。次に、後方車両から無線通信ィンターフェイス 1 5 2を介して データ要求情報を受信しているかどうかの判断を行い（ステップ S 1 0 3 )、デー タ要求情報を受信したら映像送信部 1 1 5により無線通信インターフェイス 1 5 2を介して、 カメラ 1 1 2による映像を車外映像情報 1 2 2として、 後方車両で ある第一の車両 Aへ送信し （ステップ S 1 0 4 )、 ステップ S 1 0 1に戻る。 一方、 ステップ S 1 0 1において、 視界が不良であると判断されれば、 当該車 両は第一の車両 Aまたは第三の車両 Cであることになり、 前方車両へデータ要求 情報を無線通信インターフェイス 1 5 1または 1 5 3を介して送信する （ステツ プ S 1 0 5 )。次に、映像受信部 1 1 6により無線通信インターフェイス 1 5 1ま たは 1 5 3を介して、 前方車両から車外映像情報 1 2 2または 1 2 1を受信する (ステップ S 1 0 6 )。次に、設置されているカメラ 1 1 1または 1 1 3で撮影し ている映像の中で前方車両によって視界が遮られている部分に、 受信した車外映 像情報 1 2 2または 1 2 1の一部を合成し、 新たに視界が明瞭化された車外映像 情報 1 2 1または 1 2 3を作成する （ステップ S 1 0 7 )。 次に、合成した車外映 像情報 1 2 1または 1 2 3を、 映像表示装置 1 4 1または 1 4 3に表示する （ス テツプ S 1 0 8 )。
次に、 後方車両から無線通信ィンターフェイス 1 5 1または 1 5 3を介してデ ータ要求情報を受信しているかどうかの判断を行い（ステップ S 1 0 3 )、データ 要求情報を受信したら、 当該車両は第一の車両 Aであることになり、 映像送信部 1 1 5により無線通信ィンターフェイス 1 5 1を介して、 車外映像情報 1 2 1を 第三の車両 Cへ送信し （ステップ S 1 0 4 )、 ステップ S 1 0 1に戻る。
ここで、 現状況での各車両の位置、 建造物などの環境の例を図 6に示し、 具体 的な処理の内容を説明する。 図 6の環境では、 交差点に信号機 1 0 4が設置され ており、 建造物 1 0 5〜1 0 8がそれぞれ配置されている。 図 7 ( a ) に示す、 第二の車両 Bに設置されているカメラ 1 1 2による映像は、 前方に障害となる車 両が存在しないので視界は良好である。
一方、 図 7 ( b ) に示す、 第一の車両 Aに設置されているカメラ 1 1 1による 映像は、 第二の車両 Bの存在によって、 視界が遮られている。 そこで、 第一の車 両 Aは前方の第二の車両 Bから図 7 ( a ) の映像である車外映像情報 1 2 2を受 信し、 図 7 ( d ) に示すように第二の車両 Bを予め登録した車両イメージパター ンにより画像から判定する方法などによって検出し、 この第二の車両 Bを覆うよ うな例えば矩形領域 1 0 9を決定し、 受信した車外映像情報 1 2 2に対して縮 小 · トリ ミングを行うことで、 矩形領域 1 0 9に適合するように合成を行う。 例 えば、 矩形領域 1 0 9の外側の画像と、 受信した車外映像情報 1 2 2の合成部分 で映像的に切れ目がない様に車外映像情報 1 2 2の部分映像を取り出して、 矩形 領域 1 0 9内にはめ込む。 こう して作成された車外映像情報 1 2 1を図 7 ( e ) に示す。
更に、 図 7 ( c ) に示す、 第三の車両 Cに設置されているカメラ 1 1 3による 映像は、 第一の車両 Aと第二の車両 Bの存在によって、 視界が遮られている。 そ こで、 第三の車両 Cは前方の第一の車両 Aから図 7 ( e ) の映像である車外映像 情報 1 2 1を受信し、 図 7 ( f ) に示すように第一の車両 Aと第二の車両 Bを覆 うような例えば矩形領域 1 1 0を決定し、 受信した車外映像情報 1 2 1に対して 縮小 · トリミングを行うことで、 矩形領域 1 1 0に適合するように合成を行う。 こう して作成された車外映像情報 1 2 3を図 7 ( g ) に示す。
尚、 本実施の形態において説明した車外映像表示システム 1 0 0における車両 に設置された力メラは前方のみを撮影することに限定したが、図 8に示すように、 前方の第二の車両 Bがトラック等のように長さの長い車両である、 若しくは第一 の車両 Aと第二の車両 Bの車間距離が短すぎると、 第一の車両 ·第二の車両の両 方のカメラから見えない死角となる部分が出現するので、 車両のあらゆる部分に カメラを設置して、 あらゆる方向の映像を撮影できるようにすることで、 死角と なる部分にも映像を合成して可視化できるようにしてもよい。
また、 本実施の形態では前方の視野を明瞭化することを行ったが、 あらゆる方 向のカメラを設置することで、 あらゆる方向の視野を明瞭化するようにしてもよ レ、。 (第 2の実施の形態）
図 9は、 本発明の第 2の実施の形態における車外映像表示システム 2 0 0の構 成を示すプロック図である。 本実施の形態における車外映像表示システム 2 0 0 は、 前述した第 1の実施の形態における車外映像表示システム 1 0 0とは、 第一 の車両と第二の車両に更にカメラの撮影範囲の環境に対して三次元計測を行う三 次元計測器をそれぞれ設置した点と、 無線通信ィンターフェイスを介して送受信 を行うデータに当該三次元計測器で計測した三次元計測値を追加した点が相違し ている。
すなわち、 図 9において、 本実施の形態における車外映像表示システム 2 0 0 は、 設置されているカメラ 2 1 2からの視点による車外の状況を映像化した情報 である車外映像情報 2 2 2とカメラ 2 1 2の撮影範囲の環境に対して三次元計測 を行う三次元計測器 2 3 2による三次元計測値 2 6 2を後方の車両へ送信する第 二の車両 Bに搭載された車外映像表示装置 2 0 2と、 車外映像情報 2 2 2と三次 元計測値 2 6 2を受信し、 設置されているカメラ 2 1 1からの視点による車外の 状況を映像化した情報に受信した車外映像情報 2 2 2を三次元計測値 2 6 2に基 づく視点変換後に合成した映像情報である新たな車外映像情報 2 2 1を更に後方 の車両へ送信するとともに、 カメラ 2 1 1の撮影範囲の環境に対して三次元計測 を行う三次元計測器 2 3 1による三次元計測値に受信した三次元計測値 2 6 2を 合成した計測値である新たな三次元計測値 2 6 1を当該後方の車両へ送信する第 一の車両 Aに搭載された車外映像表示装置 2 0 1と、 車外映像情報 2 2 1と三次 元計測値 2 6 1を受信し、 設置されているカメラ 2 1 3からの視点による車外の 状況を映像化した情報に受信した車外映像情報 2 2 1を三次元計測値 2 6 1に基 づく視点変換後に合成する第三の車両 Cに搭載された車外映像表示装置 2 .0 3と、 を備えている。
図 1 0は、 第二の車両 Bに搭載された車外映像表示装置 2 0 2の構成を示すブ ロック図である。 図 1 0において、 第二の車両 Bに搭載された車外映像表示装置 2 0 2は、車外映像情報 2 2 2を取得すべく車両前方を撮影するカメラ 2 1 2と、 カメラ 2 1 2により車両前方 （車外） を撮影する車外映像撮影部 2 1 4と、 カメ ラ 2 1 2により撮影された映像を表示する映像表示装置 2 4 2と、 車外映像情報 2 2 2を送信する映像送信部 2 1 5と、 三次元計測値 2 6 2を取得すべくカメラ 2 1 2の撮影範囲の環境に対して超音波やレーザ、 赤外線などを使って三次元計 測を行う三次元計測器 2 3 2と、 三次元計測器 2 3 2により三次元計測を行う三 次元計測部 2 3 4と、 三次元計測値 2 6 2を送信する計測値送信部 2 3 5と、 後 方車両である第一の車両 Aとデータの送受信を行う無線通信ィンターフェイス 2 5 2と、 を備えている。
図 1 1は、 第一の車両 Aに搭載された車外映像表示装置 2 0 1の構成を示すブ ロック図である。 図 1 1において、 第一の車両 Aに搭載された車外映像表示装置 2 0 1は、車両前方を撮影する力メラ 2 1 1と、カメラ 2 1 1により車両前方（車 外） を撮影する車外映像撮影部 2 1 4と、 前方車両である第二の車両 B及び後方 車両である第三の車両 Cとデータの送受信を行う無線通信ィンターフェイス 2 5 1と、 第二の車両 Bからの車外映像情報 2 2 2を無線通信ィンターフェイス 2 5 1を介して受信する映像受信部 2 1 6と、 後述する計測値受信部 2 3 6で受信し た三次元計測値 2 6 2に基づき車外映像情報 2 2 2に対して視点変換を行う視点 変換部 2 1 7と、 車外映像撮影部 2 1 4により撮影している映像に視点変換部 2 1 7により視点変換された車外映像情報 2 2 2を合成する映像合成部 2 1 8と、 映像合成部 2 1 8により作成された新たな車外映像情報 2 2 1を表示する映像表 示装置 2 4 1と、 新たな車外映像情報 2 2 1を無線通信ィンターフェイス 2 5 1 を介して第三の車両 Cへ送信する映像送信部 2 1 5と、 カメラ 2 1 1の撮影範囲 の環境に対して三次元計測を行う三次元計測器 2 3 1と、 三次元計測器 2 3 1に より三次元計測を行う三次元計測部 2 3 4と、 第二の車両 Bからの三次元計測値 2 6 2を無線通信ィンターフェイス 2 5 1を介して受信する計測値受信部 2 3 6 と、 三次元計測部 2 3 4により取得した三次元計測値に計測値受信部 2 3 6によ り受信した三次元計測値 2 6 2を合成する計測値合成部 2 3 7と、 計測値合成部 2 3 7により作成された新たな三次元計測値 2 6 1を無線通信インターフェイス 2 5 1を介して第三の車両 Cへ送信する計測値送信部 2 3 5と、 を備えている。 図 1 2は、 第三の車両 Cに搭載された車外映像表示装置 2 0 3の構成を示すブ ロック図である。 図 1 2において、 第三の車両 Cに搭載された車外映像表示装置 2 0 3は、車両前方を撮影するカメラ 2 1 3と、カメラ 2 1 3により車両前方（車 外） を撮影する車外映像撮影部 2 1 4と、 前方車両である第一の車両 Aとデータ の送受信を行う無線通信ィンターフェイス. 2 5 3と、 第一の車両 Aからの車外映 像情報 2 2 1を無線通信ィンターフェイス 2 5 3を介して受信する映像受信部 2 1 6と、 第一の車両 Aからの三次元計測値 2 6 1を無線通信ィンターフェイス 2 5 3を介して受信する計測値受信部 2 3 6と、 計測値受信部 2 3 6で受信した三 次元計測値 2 6 1に基づき車外映像情報 2 2 1に対して視点変換を行う視点変換 部 2 1 7と、 車外映像撮影部 2 1 4により撮影している映像に視点変換部 2 1 7 により視点変換された車外映像情報 2 2 1を合成する映像合成部 2 1 8と、 映像 合成部 2 1 8により作成された新たな車外映像情報 2 2 3を表示する映像表示装 置 2 4 3と、 を備えている。
尚、 ある車両がデータの受信を行う際には、 予め前方車両にデータ要求情報を 送信し、 それに応じて前方車両が当該車両へデータの送信を行うようになってい ることは、 前述した第 1の実施の形態における車外映像表示システム 1 0 0と同 様である。
また、 各車外映像表示装置 2 0 1〜2 0 3が車間測距部 2 7 1と視界状態判断 部 2 7 2とを更に備えていることも、 前述した第 1の実施の形態における車外映 像表示システム 1 0 0と同様である。
次に、 このように構成された本実施の形態における車外映像表示システム 2 0 0の動作について、 図 1 3のフローチヤ一トを参照しながら説明する。
まず、 ある車両において、 視界状態判断部 2 7 2により前方の視界が良好であ るかどうかを判断する （ステップ S 2 0 1 )。 ステップ S 2 0 1において、 視界が 良好であると判断されれば、 当該車両は第二の車両 Bであることになり、 設置さ れているカメラ 2 1 2による映像をそのまま映像表示装置 2 4 2に表示する （ス テツプ S 2 0 2 )。次に、設置されているカメラ 2 1 2の撮影範囲に存在する建造 物などの環境を三次元計測器 2 3 2を用いて三次元計測部 2 3 4により三次元計 測する （ステップ S 2 0 3 )。 次に、 後方車両から無線通信インターフェイス 2 5 2を介してデータ要求情報を受信しているかどうかの判断を行い （ステップ S 2 0 4 )、データ要求情報を受信したら映像送信部 2 1 5と計測値送信部 2 3 5によ り無線通信ィンターフェイス 2 5 2を介して、 カメラ 2 1 2による映像である車 外映像情報 2 2 2と三次元計測値 2 6 2を、 後方車両である第一の車両 Aへ送信 し （ステップ S 2 0 5 )、 ステップ S 2 0 1に戻る。
一方、 ステップ S 2 0 1において、 視界が不良であると判断されれば、 当該車 両は第一の車両 Aまたは第三の車両 Cであることになり、 前方車両へデータ要求 情報を無線通信インターフェイス 2 5 1または 2 5 3を介して送信する （ステツ プ S 2 0 6 )。次に、映像受信部 2 1 6と計測値受信部 2 3 6により無線通信イン ターフェイス 2 5 1または 2 5 3を介して、 前方車両から車外映像情報 2 2 2ま たは 2 2 1と三次元計測値 2 6 2または 2 6 1を受信する （ステップ S 2 0 7 )。 次に、 受信した車外映像情報 2 2 2または 2 2 1に対して、 三次元計測値 2 6 2 または 2 6 1を基に、 設置されているカメラ 2 1 1または 2 1 3による視点に変 換をする視点変換部 2 1 7による処理を行う （ステップ S 2 0 8 )。 次に、設置さ れているカメラ 2 1 1または 2 1 3で撮影している映像の中で前方車両によって 視野が遮られている部分に、 視点変換を施した車外映像情報の一部を合成し、 新 たに視界が明瞭化された車外映像情報 2 2 1または 2 2 3を作成する （ステップ S 2 0 9 )。 次に、 合成した車外映像情報 2 2 1または 2 2 3を、 映像表示装置 2 4 1または 2 4 3に表示する （ステップ S 2 1 0 )。 次に、 設置されているカメラ 2 1 1または 2 1 3の撮影範囲に存在する建造物などの環境を三次元計測器 2 3 1を用いて三次元計測部 2 3 4により三次元計測する（ステップ S 2 1 1 )。次に、 計測した三次元計測値に対して、 計測値受信部 2 3 6により受信した三次元計測 値 2 6 2または 2 6 1を合成することで、 合成された車外映像情報 2 2 1または 2 2 3に対する三次元計測値を作成する （ステップ S 2 1 2 )。
次に、 後方車両から無線通信インターフェイス 2 5 1または 2 5 3を介してデ ータ要求情報を受信しているかどうかの判断を行い（ステップ S 2 0 4 )、データ 要求情報を受信したら、 当該車両は第一の車両 Aであることになり、 映像送信部 2 1 5と計測値送信部 2 3 5により無線通信インターフェイス 2 5 1を介して、 車外映像情報 2 2 1と三次元計測値 2 6 2を第三の車両 Cへ送信し （ステップ S 2 0 5 )、 ステップ S 2 0 1に戻る。
尚、本実施の形態では、車外映像情報と共に三次元計測値を送受信することで、 各車両に設置されたカメラの絶対位置の差による視差から、 映像を合成したとき に発生する歪みを補正することについて説明したが、 車両から見えるあらゆる方 向の視野の障害となる車両を透明化する、 若しくは死角となる部分を可視化でき るようにするために、 あらゆる方向の映像を撮影することができるようにカメラ を設置してもよい。 但し、 その場合、 それらの方向に対して三次元計測ができる ように、 三次元計測器も設置しなければならない。
更に、 映像を合成するときに発生する歪みを補正するために、 受信した車外映 像情報に対して、 車両に設置されたカメラからの視点になるように画像処理を行 う取得映像処理部を設けてもよい。
(第 3の実施の形態）
図 1 4は、 本発明の第 3の実施の形態における車外映像表示システム 3 0 0の 構成を示すブロック図である。 本実施の形態における車外映像表示システム 3 0 0は、 前述した第 1の実施の形態における車外映像表示システム 1 0 0とは、 車 両以外の建造物や木々等、 車両からの視野の障害となり得る障害物体 3 0 2にも カメラ 3 1 2や無線通信ィンターフェイスを設置した点が相違している。
すなわち、 図 1 4において、 本実施の形態における車外映像表示システム 3 0 0は、 設置されているカメラ 3 1 2からの視点による屋外の状況を映像化した情 報である映像情報 3 2 2を後方の車両へ送信する障害物体 Xに設置された映像送 信装置 3 0 2と、 映像情報 3 2 2を受信し、 設置されているカメラ 3 1 1からの 視点による車外の状況を映像化した情報に受信した映像情報 3 2 2を合成する車 両 Aに搭載された車外映像表示装置 3 0 1と、 を備えている。
図 1 5は、 車両 Aに搭載された車外映像表示装置 3 0 1の構成を示すブロック 図である。 図 1 5において、 車両 Aに搭載された車外映像表示装置 3 0 1は、 車 両前方を撮影するカメラ 3 1 1と、 カメラ 3 1 1により車両前方 （車外） を撮影 する車外映像撮影部 3 1 4と、 障害物体 X及び後方車両 （前方車両） とデータの 送受信を行う無線通信ィンターフェイス 3 5 1と、 カメラ 3 1 1の撮影範囲内に おいて障害物体 Xの存在を発見する障害物体発見部 3 0 3と、 障害物体発見部 3 0 3の出力に応じて障害物体 Xからの映像情報 3 2 2を無線通信ィンターフェイ ス 3 5 1を介して受信する映像受信部 3 1 6と、 車外映像撮影部 3 1 4により撮 影している映像に映像受信部 3 1 6により受信した映像情報 3 2 2を合成する映 像合成部 3 1 8と、 映像合成部 3 1 8により作成された新たな車外映像情報 3 2 1を表示する映像表示装置 3 4 1と、 新たな車外映像情報 3 2 1を無線通信ィン ターフェイス 3 5 1を介して後方車両へ送信する映像送信部 3 1 5と、 を備えて いる。
図 1 6は、 障害物体 Xに設置された映像送信装置 3 0 2の構成を示すブロック 図である。 図 1 6において、 障害物体 Xに設置された映像送信装置 3 0 2は、 映 像情報 3 2 2を取得すべく車両 Aから見て死角となる方向を撮影するカメラ 3 1 2と、 カメラ 3 1 2により映像を撮影する映像撮影部 3 1 4と、 映像情報 3 2 2 を送信する映像送信部 3 1 5と、 車両 Aとデータの送受信を行う無線通信インタ 一フェイス 3 5 2と、 を備えている。
尚、 車両 Aがデータの受信を行う際には、 予め障害物体 Xにデータ要求情報を 送信し、 それに応じて障害物体 Xが車両 Aへデータの送信を行うようになってい ることは、 前述した第 1の実施の形態における車外映像表示システム 1 0 0と同 様である。
次に、 このように構成された本実施の形態における車外映像表示システム 3 0 0の動作について、 図 1 7のフローチャートを参照しながら説明する。
まず、 車外映像表示装置 3 0 1を搭載した車両 Aにおいて、 障害物体発見部 3 0 3により、 カメラ 3 1 1の撮影範囲内に障害物体 Xを発見する （ステップ S 3 0 1 )。次に、障害物体 Xを発見したら、車両 Aは障害物体 Xへデータ要求情報を、 無線通信インターフェイス 3 5 1を介して送信する （ステップ S 3 0 2 )。 次に、 映像受信部 3 1 6により無線通信インターフェイス 3 5 1を介して、 障害物体 X から映像情報 3 2 2を受信する （ステップ S 3 0 3 )。 次に、設置されているカメ ラ 3 1 1で撮影している映像の中で障害物体 Xによって視野が遮られている部分 に、 受信した映像情報 3 2 2の一部を合成し、 新たに視界が明瞭化された車外映 像情報 3 2 1を作成する （ステップ S 3 0 4 )。 次に、 合成した車外映像情報 3 2 1を、 映像表示装置 3 4 1に表示する （ステップ S 3 0 5 )。
尚、 本実施の形態では、 車両以外の建造物や木々等の視野の障害となる障害物 体にもカメラや無線通信インターフェイスを設置した例について説明したが、 合 成して作成した車外映像情報 3 2 1を、 映像送信部 3 1 5により更に後方車両へ 送信することも可能であり、 前方車両から受信した車外映像情報に対して、 映像 情報 3 2 2を合成することも可能である。
以上説明したように、 本実施の形態における車外映像表示システム 3 0 0によ れば、 様々な障害物体から映像情報を受信することができるため、 前述した第 1 の実施の形態における車外映像表示システム 1 0 0において、 建造物の裏側や 木々等で視界が遮られた車両から死角となる部分でも、 障害となっている障害物 自身から映像情報を受信することで、 運転手の視線から見た死角の無い映像を表 示することができる。
以上の説明から明らかなように、本発明の車外映像表示装置によって得られる、 視界を遮る前方車両や障害物体などを透明化した映像に対して、 地図データから 取得した案内情報や経路情報を合成することができ、 従来のナビゲーシヨンシス テムのような、 地図データから作成した三次元画像による環境よりも、 運転手か ら見た視界と同じ環境で視界を遮るものが無い映像が得られるため、 視認性が高 く誤認識を与えることも少なくなると言える。
本発明を詳細にまた特定の実施態様を参照して説明したが、 本発明の精神と範 囲を逸脱することなく様々な変更や修正を加えることができることは当業者にと つて明らかである。
本出願は、 2 0 0 3年 5月 2 7日出願の日本特許出願 （特願 2 0 0 3— 1 4 9 2 6 3 ) に基づくものであり、 その内容はここに参照として取り込まれる。
<産業上の利用可能性 > 本発明の車外映像表示装置によれば、 車外映像撮影手段により撮影している映 像に映像受信手段により受信した車外映像情報を合成して表示するようにしてい るため、 障害物によって遮られている視界を可視化することができる。

Claims

請 求 の 範 囲
1 . カメラにより車外を撮影する車外映像撮影手段と、
外部からの車外映像情報を受信する映像受信手段と、
前記車外映像撮影手段により撮影している映像に前記映像受信手段により受信 した車外映像情報を合成する映像合成手段と、
前記映像合成手段により作成された新たな車外映像情報を表示する映像表示装 置と、
を備えたことを特徴とする車外映像表示装置。
2 . 前記映像受信手段は、 前記車外映像表示装置が搭載された車両より前 方の車両からの車外映像情報を受信することを特徴とする請求の範囲第 1項に記 載の車外映像表示装置。
3 . 前記映像合成手段は、 前記車外映像撮影手段により撮影している映像 に前記映像受信手段により受信した車外映像情報の一部を合成することを特徴と する請求の範囲第 1項に記載の車外映像表示装置。
4 . 前記映像合成手段により作成された新たな車外映像情報を外部へ送信 する映像送信手段を更に備えたことを特徴とする請求の範囲第 1項に記載の車外 映像表示装置。
5 . 前記映像送信手段は、 前記映像合成手段により作成された新たな車外 映像情報を前記車外映像表示装置が搭載された車両より後方の車両へ送信するこ とを特徴とする請求の範囲第 4項に記載の車外映像表示装置。
6 . 前記車外映像表示装置が搭載された車両より前方の車両との車間距離 を測定する車間測距手段と、 前記車間測距手段により前方の視界が遮られている かどうかを判断する視界状態判断手段と、 を更に備え、 前記前方の車両によって 前方の視界が遮られていると判断したときに、 前記映像受信手段から車外映像情 報を受信することを特徴とする請求の範囲第 1項に記載の車外映像表示装置。
7 . 前記車外映像撮影手段により撮影されている範囲の環境に対して三次 元計測器により三次元計測を行う三次元計測手段と、 外部からの三次元計測値を 受信する計測値受信手段と、 前記計測値受信手段により受信した三次元計測値を 基に前記車外映像情報に対して前記カメラによる視点に変換して前記映像合成手 段に供給する視点変換手段と、 を更に備えたことを特徴とする請求の範囲第 1項 に記載の車外映像表示装置。
8 . 前記三次元計測手段により取得した三次元計測値に前記計測値受信手 段により受信した三次元計測値を合成する計測値合成手段を更に備えたことを特 徴とする請求の範囲第 7項に記載の車外映像表示装置。
9 . 前記計測値合成手段により作成された新たな三次元計測値を外部へ送 信する計測値送信手段を更に備えたことを特徴とする請求の範囲第 8項に記載の 車外映像表示装置。
1 0 . 前記計測値送信手段は、 前記計測値合成手段により作成された新た な三次元計測値を前記車外映像表示装置が搭載された車両より後方の車両へ送信 することを特徴とする請求の範囲第 9項に記載の車外映像表示装置。
1 1 . 前記映像受信手段は、 前記車外映像表示装置が搭載された車両より 前方の視野の障害となる障害物体からの車外映像情報を受信することを特徴とす る請求の範囲第 1項に記載の車外映像表示装置。
PCT/JP2004/010989 2004-07-26 2004-07-26 車外映像表示装置 Ceased WO2006011235A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US10/576,623 US20070030212A1 (en) 2004-07-26 2004-04-26 Device for displaying image outside vehicle
PCT/JP2004/010989 WO2006011235A1 (ja) 2004-07-26 2004-07-26 車外映像表示装置
EP04748148A EP1772839A4 (en) 2004-07-26 2004-07-26 DEVICE FOR DISPLAYING AN IMAGE OUTSIDE A VEHICLE
CNB2004800396107A CN100492436C (zh) 2004-07-26 2004-07-26 用于显示车辆外部图像的设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2004/010989 WO2006011235A1 (ja) 2004-07-26 2004-07-26 車外映像表示装置

Publications (1)

Publication Number Publication Date
WO2006011235A1 true WO2006011235A1 (ja) 2006-02-02

Family

ID=35785995

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/010989 Ceased WO2006011235A1 (ja) 2004-07-26 2004-07-26 車外映像表示装置

Country Status (4)

Country Link
US (1) US20070030212A1 (ja)
EP (1) EP1772839A4 (ja)
CN (1) CN100492436C (ja)
WO (1) WO2006011235A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1693816A3 (en) * 2005-02-16 2007-09-05 Aisin Seiki Kabushiki Kaisha Communication device for a movable body
WO2018051746A1 (ja) * 2016-09-16 2018-03-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ作成方法及び三次元データ作成装置
JP2021073620A (ja) * 2016-07-19 2021-05-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 三次元データ作成方法、三次元データ送信方法、三次元データ作成装置及び三次元データ送信装置

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007142624A (ja) * 2005-11-16 2007-06-07 Matsushita Electric Ind Co Ltd 車両搭載撮像装置
JP5053776B2 (ja) * 2007-09-14 2012-10-17 株式会社デンソー 車両用視界支援システム、車載装置、及び、情報配信装置
JP2009225322A (ja) * 2008-03-18 2009-10-01 Hyundai Motor Co Ltd 車両用情報表示システム
WO2016014966A2 (en) 2014-07-24 2016-01-28 Brubaker Curtis M Systems, methods, and devices for generating critical mass in a mobile advertising, media, and communications platform
GB201016203D0 (en) * 2010-09-27 2010-11-10 Sec Dep For Business Innovation & Skills The Smart antenna for wireless communication
US8744666B2 (en) * 2011-07-06 2014-06-03 Peloton Technology, Inc. Systems and methods for semi-autonomous vehicular convoys
DE102011081614A1 (de) * 2011-08-26 2013-02-28 Robert Bosch Gmbh Verfahren und Vorrichtung zur Analysierung eines von einem Fahrzeug zu befahrenden Streckenabschnitts
DE102012200731A1 (de) * 2012-01-19 2013-07-25 Robert Bosch Gmbh Verfahren und Vorrichtung zum Visualisieren der Umgebung eines Fahrzeugs
JP2013161416A (ja) * 2012-02-08 2013-08-19 Sony Corp サーバ、クライアント端末、システム、およびプログラム
US9760092B2 (en) * 2012-03-16 2017-09-12 Waymo Llc Actively modifying a field of view of an autonomous vehicle in view of constraints
US20140247160A1 (en) * 2013-03-01 2014-09-04 Sandra J. Glascock Systems and methods for traffic signal warning
US9047766B2 (en) * 2013-04-09 2015-06-02 Here Global B.V. Method and apparatus for notifying drivers of space required for other vehicles
DE102013210729A1 (de) * 2013-06-10 2014-12-11 Robert Bosch Gmbh Verfahren und Vorrichtung zum Signalisieren eines visuell zumindest teilweise verdeckten Verkehrsobjekts für einen Fahrer eines Fahrzeugs
US20150106010A1 (en) * 2013-10-15 2015-04-16 Ford Global Technologies, Llc Aerial data for vehicle navigation
US9713956B2 (en) * 2015-03-05 2017-07-25 Honda Motor Co., Ltd. Vehicle-to-vehicle communication system providing a spatiotemporal look ahead and method thereof
US10264431B2 (en) * 2016-02-01 2019-04-16 Caterpillar Inc. Work site perception system
EP3442832A4 (en) 2016-04-14 2019-11-27 Bcat, Llc SYSTEM AND DEVICE FOR PRODUCING, ASSEMBLING AND USING EXTERNALLY ASSEMBLED DIGITAL INDICATORS ON MOVING OBJECTS
EP3453008A1 (en) * 2016-05-06 2019-03-13 PCMS Holdings, Inc. Method and system for collaborative sensing for updating dynamic map layers
JP6511015B2 (ja) * 2016-05-25 2019-05-08 株式会社ミツバ 車両モニタシステム
US10088676B2 (en) * 2016-06-30 2018-10-02 Paypal, Inc. Enhanced safety through augmented reality and shared data
US10497265B2 (en) * 2017-05-18 2019-12-03 Panasonic Intellectual Property Corporation Of America Vehicle system, method of processing vehicle information, recording medium storing a program, traffic system, infrastructure system, and method of processing infrastructure information
WO2019163261A1 (ja) * 2018-02-23 2019-08-29 住友電気工業株式会社 交通信号制御装置、交通信号制御方法、及びコンピュータプログラム
US11335201B2 (en) * 2018-02-23 2022-05-17 Sumitomo Electric Industries, Ltd. Passage possibility determination apparatus, passage possibility determination method, and computer program
JP2019162988A (ja) * 2018-03-20 2019-09-26 本田技研工業株式会社 車両制御装置及び車両制御方法
JP7077726B2 (ja) * 2018-04-02 2022-05-31 株式会社デンソー 車両システム、空間領域推測方法及び空間領域推測装置
EP3803529A4 (en) * 2018-06-10 2022-01-19 OSR Enterprises AG SYSTEM AND METHOD FOR IMPROVING SENSOR OPERATION IN A VEHICLE
US11807227B2 (en) * 2018-11-02 2023-11-07 Intel Corporation Methods and apparatus to generate vehicle warnings
EP3671692A1 (en) * 2018-12-19 2020-06-24 Ningbo Geely Automobile Research & Development Co. Ltd. Time for passage of a platoon of vehicles
US11505181B2 (en) * 2019-01-04 2022-11-22 Toyota Motor Engineering & Manufacturing North America, Inc. System, method, and computer-readable storage medium for vehicle collision avoidance on the highway
AU2019100368B4 (en) * 2019-01-25 2019-11-28 Norman BOYLE A driverless impact attenuating traffic management vehicle
JP7207438B2 (ja) * 2019-02-04 2023-01-18 日本電気株式会社 車両管理装置、車両管理方法、プログラム
US11507084B2 (en) * 2019-03-27 2022-11-22 Intel Corporation Collaborative 3-D environment map for computer-assisted or autonomous driving vehicles
US11007938B1 (en) * 2019-06-18 2021-05-18 Angelo Fernandes Vehicular safety video system
CN111703371B (zh) * 2020-06-16 2023-04-07 阿波罗智联(北京)科技有限公司 交通信息的显示方法、装置、电子设备和存储介质
JP7468425B2 (ja) * 2021-03-25 2024-04-16 トヨタ自動車株式会社 ライドシェアシステム及びライドシェア方法
US11869361B2 (en) * 2021-04-01 2024-01-09 Gm Cruise Holdings Llc Coordinated multi-vehicle routing
JP7373524B2 (ja) * 2021-06-08 2023-11-02 本田技研工業株式会社 制御装置、移動体、制御方法及びプログラム
US12275414B2 (en) * 2021-09-30 2025-04-15 AyDeeKay LLC Dynamic and selective pairing between proximate vehicles
US12589742B2 (en) 2023-03-06 2026-03-31 Kodiak Robotics, Inc. Systems and methods for adjusting a driving path using occluded regions
US12567331B2 (en) * 2023-03-06 2026-03-03 Kodiak Robotics, Inc. Systems and methods to manage tracking of objects through occluded regions

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH079886A (ja) * 1993-06-29 1995-01-13 Hitachi Ltd 車両の運転情報装置
US5847661A (en) * 1996-03-15 1998-12-08 Intelligent Ideation, Inc. Vehicle data acquisition system
JPH11195196A (ja) * 1997-12-26 1999-07-21 Toyota Motor Corp 車載情報提供装置
JP2002170200A (ja) * 2000-12-01 2002-06-14 Nissan Diesel Motor Co Ltd 車両追突警報システム
JP2003006797A (ja) * 2001-06-21 2003-01-10 Matsushita Electric Ind Co Ltd 周辺画像表示装置及び画像配信方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001183108A (ja) * 1999-12-27 2001-07-06 Minolta Co Ltd 距離測定装置
DE20020245U1 (de) * 2000-11-29 2001-04-19 A.V.M. American Venture Marketing GmbH, 63263 Neu-Isenburg Einrichtung zur bildlichen Erfassung des Straßenverkehrs
JP2003104170A (ja) * 2001-09-28 2003-04-09 Honda Motor Co Ltd カードキー対応車両およびカードキーを利用した車両用無線通信システム
US7212653B2 (en) * 2001-12-12 2007-05-01 Kabushikikaisha Equos Research Image processing system for vehicle
DE10247563A1 (de) * 2002-10-11 2004-04-22 Valeo Schalter Und Sensoren Gmbh Verfahren und System zur Unterstützung des Fahrers

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH079886A (ja) * 1993-06-29 1995-01-13 Hitachi Ltd 車両の運転情報装置
US5847661A (en) * 1996-03-15 1998-12-08 Intelligent Ideation, Inc. Vehicle data acquisition system
JPH11195196A (ja) * 1997-12-26 1999-07-21 Toyota Motor Corp 車載情報提供装置
JP2002170200A (ja) * 2000-12-01 2002-06-14 Nissan Diesel Motor Co Ltd 車両追突警報システム
JP2003006797A (ja) * 2001-06-21 2003-01-10 Matsushita Electric Ind Co Ltd 周辺画像表示装置及び画像配信方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7443314B2 (en) 2005-02-16 2008-10-28 Aisin Seiki Kabushiki Kaisha Communication device for a movable body
EP1693816A3 (en) * 2005-02-16 2007-09-05 Aisin Seiki Kabushiki Kaisha Communication device for a movable body
JP2021073620A (ja) * 2016-07-19 2021-05-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 三次元データ作成方法、三次元データ送信方法、三次元データ作成装置及び三次元データ送信装置
EP3944196A1 (en) * 2016-09-16 2022-01-26 Panasonic Intellectual Property Corporation of America Three-dimensional data creation method and three-dimensional data creation device
EP3514486A4 (en) * 2016-09-16 2019-10-02 Panasonic Intellectual Property Corporation of America METHOD FOR GENERATING THREE-DIMENSIONAL DATA AND DEVICE FOR GENERATING THREE-DIMENSIONAL DATA
JPWO2018051746A1 (ja) * 2016-09-16 2019-06-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 三次元データ作成方法及び三次元データ作成装置
WO2018051746A1 (ja) * 2016-09-16 2018-03-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ作成方法及び三次元データ作成装置
JP2022036080A (ja) * 2016-09-16 2022-03-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ作成方法及び三次元データ作成装置
JP7253024B2 (ja) 2016-09-16 2023-04-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 方法及び三次元データ作成装置
JP2023083303A (ja) * 2016-09-16 2023-06-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ作成方法、三次元データ作成装置及び交通監視方法
JP7429813B2 (ja) 2016-09-16 2024-02-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ作成方法、三次元データ作成装置及び交通監視方法
US11959740B2 (en) 2016-09-16 2024-04-16 Panasonic Intellectual Property Corporation Of America Three-dimensional data creation method and three-dimensional data creation device
US12487083B2 (en) 2016-09-16 2025-12-02 Panasonic Intellectual Property Corporation Of America Three-dimensional data generation method and three-dimensional data generation device

Also Published As

Publication number Publication date
CN1902670A (zh) 2007-01-24
US20070030212A1 (en) 2007-02-08
CN100492436C (zh) 2009-05-27
EP1772839A1 (en) 2007-04-11
EP1772839A4 (en) 2009-01-14

Similar Documents

Publication Publication Date Title
WO2006011235A1 (ja) 車外映像表示装置
US9467679B2 (en) Vehicle periphery monitoring device
US8886386B2 (en) Method for wireless communication between vehicles
JP4752486B2 (ja) 撮像装置、映像信号の選択装置、運転支援装置、自動車
JP4293917B2 (ja) ナビゲーション装置及び交差点案内方法
US8094192B2 (en) Driving support method and driving support apparatus
JP2013535753A (ja) 表示装置に画像を表示する方法、および運転者支援システム
EP2623376A1 (en) Parking assistance device
US11130418B2 (en) Method and apparatus for aligning a vehicle with a wireless charging system
JP4643860B2 (ja) 車両用視覚支援装置及び支援方法
JP2004351977A (ja) 車外映像表示装置
US20150066364A1 (en) Navigation system
JP2017068640A (ja) 車両間データ通信装置
JP2005005978A (ja) 周囲状況認識システム
JP2006279752A (ja) 車両直下画像表示制御装置および車両直下画像表示制御プログラム
KR20110114114A (ko) 실사형 3차원 네비게이션 구현방법
JP2011204151A (ja) 車車間通信方法および車車間通信装置
JP4660872B2 (ja) 運転支援装置及び運転支援方法
JP4747867B2 (ja) 車両用表示装置および車両用映像表示制御方法
WO2011135778A1 (ja) 画像処理装置、カーナビゲーションシステム、及び路上カメラシステム
JP2012065225A (ja) 車載用画像処理装置、周辺監視装置、および、車両
JP2010283718A (ja) 車両周辺画像提供装置
JP3655119B2 (ja) 状況情報提供装置及びその方法
JP2007028363A (ja) トップビュー画像生成装置及びトップビュー画像表示方法
US20240185499A1 (en) Information processing device and information processing method

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200480039610.7

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2007030212

Country of ref document: US

Ref document number: 10576623

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2004748148

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 10576623

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 2004748148

Country of ref document: EP