WO2022085487A1 - カメラモジュール、情報処理システム、情報処理方法、及び、情報処理装置 - Google Patents

カメラモジュール、情報処理システム、情報処理方法、及び、情報処理装置 Download PDF

Info

Publication number
WO2022085487A1
WO2022085487A1 PCT/JP2021/037305 JP2021037305W WO2022085487A1 WO 2022085487 A1 WO2022085487 A1 WO 2022085487A1 JP 2021037305 W JP2021037305 W JP 2021037305W WO 2022085487 A1 WO2022085487 A1 WO 2022085487A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
vehicle
display
optical axis
moving device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/037305
Other languages
English (en)
French (fr)
Inventor
佑二 和田
正紘 田森
秀則 石橋
英寛 小松
聰 赤川
圭史 土屋
真一 入矢
拓也 本石
潤一 永原
大輔 石井
ヘンリック エルベウス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to CN202180070439.XA priority Critical patent/CN116171239A/zh
Priority to EP21882628.7A priority patent/EP4236304A4/en
Priority to US18/249,072 priority patent/US12552320B2/en
Priority to JP2022556905A priority patent/JP7732463B2/ja
Priority to KR1020237011625A priority patent/KR20230091870A/ko
Publication of WO2022085487A1 publication Critical patent/WO2022085487A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/25—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the sides of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/108—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 'non-standard' camera systems, e.g. camera sensor used for additional purposes i.a. rain sensor, camera sensor split in multiple image areas
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Definitions

  • This technology relates to camera modules, information processing systems, information processing methods, and information processing devices, and in particular, camera modules, information processing systems, information processing methods, and information processing devices that enable effective use of cameras in mobile devices. Regarding information processing equipment.
  • CMS Content Monitoring System
  • a door mirror used for a CMS a door mirror having a main camera that is directed to the rear of the vehicle and captures an image displayed on a display inside the vehicle and a sub camera that detects fogging of a lens or the like has been proposed. (See, for example, Patent Documents 1 and 2).
  • This technology was made in view of such a situation, and makes it possible to suppress the complexity of the system including the camera in a moving device such as a vehicle.
  • the camera module on the first side of the present technology includes a first camera, a second camera, a housing for storing the first camera and the second camera, and is installed in a mobile device.
  • the optical axis of the first camera faces diagonally rearward of the moving device
  • the optical axis of the second camera faces laterally or diagonally forward of the moving device.
  • the information processing system on the second aspect of the present technology is housed in the same housing as the first camera whose optical axis faces diagonally rearward of the moving device and the first camera, and the optical axis is the first camera.
  • the recognition unit Based on the second image taken by the second camera, the recognition unit that recognizes an object outside the moving device, the first image, and the result of object recognition by the recognition unit. It includes a display control unit that controls the display of the visual effect by the first display.
  • the information processing method of the third aspect of the present technology controls the display of the image based on the first image taken by the first camera whose optical axis faces diagonally backward of the moving device on the CMS display. Based on a second image taken by a second camera that is housed in the same housing as the first camera and whose optical axis points in a direction closer to the front of the moving device than the optical axis of the first camera. , The external object recognition of the moving device is performed, and the display of the visual effect based on the result of the object recognition on the display is controlled.
  • the information processing device on the fourth aspect of the present technology includes a display control unit that controls the display of the display used in the CMS, and the display control unit is based on a first camera whose optical axis faces diagonally rearward of the moving device. An image based on the first image taken and a second image stored in the same housing as the first camera, the optical axis of which is closer to the front direction of the moving device than the optical axis of the first camera. It controls the display of the visual effect on the display based on the result of object recognition outside the moving device based on the second image taken by the second camera.
  • the optical axis of the first camera is directed diagonally to the rear of the moving device while it is installed in the moving device, and the optical axis of the second camera is the moving device.
  • the device is oriented laterally or diagonally forward.
  • the display of an image based on the first image taken by the first camera whose optical axis faces diagonally rearward of the moving device is controlled, and the display of the first image is controlled.
  • the movement is based on a second image taken by a second camera that is housed in the same housing as the camera and whose optical axis faces a direction closer to the front of the moving device than the optical axis of the first camera.
  • Object recognition outside the device is performed, and the display of visual effects based on the result of the object recognition is controlled.
  • an image based on the first image taken by the first camera whose optical axis faces diagonally backward of the moving device and stored in the same housing as the first camera. Based on the result of object recognition outside the moving device based on the second image taken by the second camera in which the optical axis faces the direction closer to the front direction of the moving device than the optical axis of the first camera. The display of visual effects is controlled.
  • FIG. 1 is a block diagram showing a configuration example of a vehicle control system 11 which is an example of a mobile device control system to which the present technology is applied.
  • the vehicle control system 11 is provided in the vehicle 1 and performs processing related to driving support and automatic driving of the vehicle 1.
  • the vehicle control system 11 includes a processor 21, a communication unit 22, a map information storage unit 23, a GNSS (Global Navigation Satellite System) receiving unit 24, an external recognition sensor 25, an in-vehicle sensor 26, a vehicle sensor 27, a recording unit 28, and a driving support unit. It includes an automatic driving control unit 29, a DMS (Driver Monitoring System) 30, an HMI (Human Machine Interface) 31, and a vehicle control unit 32.
  • a processor 21 includes a processor 21, a communication unit 22, a map information storage unit 23, a GNSS (Global Navigation Satellite System) receiving unit 24, an external recognition sensor 25, an in-vehicle sensor 26, a vehicle sensor 27, a recording unit 28, and a driving support unit. It includes an automatic driving control unit 29, a DMS (Driver Monitoring System) 30, an HMI (Human Machine Interface) 31, and a vehicle control unit 32.
  • DMS Driver Monitoring System
  • HMI Human Machine Interface
  • the communication network 41 is an in-vehicle communication network compliant with any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), FlexRay (registered trademark), and Ethernet (registered trademark). It is composed of buses and buses.
  • each part of the vehicle control system 11 may be directly connected by, for example, short-range wireless communication (NFC (Near Field Communication)), Bluetooth (registered trademark), or the like without going through the communication network 41.
  • NFC Near Field Communication
  • Bluetooth registered trademark
  • the description of the communication network 41 shall be omitted.
  • the processor 21 and the communication unit 22 communicate with each other via the communication network 41, it is described that the processor 21 and the communication unit 22 simply communicate with each other.
  • the processor 21 is composed of various processors such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), and an ECU (Electronic Control Unit), for example.
  • the processor 21 controls the entire vehicle control system 11.
  • the communication unit 22 communicates with various devices inside and outside the vehicle, other vehicles, servers, base stations, etc., and transmits and receives various data.
  • the communication unit 22 receives from the outside a program for updating the software for controlling the operation of the vehicle control system 11, map information, traffic information, information around the vehicle 1, and the like. ..
  • the communication unit 22 transmits information about the vehicle 1 (for example, data indicating the state of the vehicle 1, recognition result by the recognition unit 73, etc.), information around the vehicle 1, and the like to the outside.
  • the communication unit 22 performs communication corresponding to a vehicle emergency call system such as eCall.
  • the communication method of the communication unit 22 is not particularly limited. Moreover, a plurality of communication methods may be used.
  • the communication unit 22 wirelessly communicates with the equipment in the vehicle by a communication method such as wireless LAN, Bluetooth, NFC, WUSB (WirelessUSB).
  • a communication method such as wireless LAN, Bluetooth, NFC, WUSB (WirelessUSB).
  • the communication unit 22 may use USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface, registered trademark), or MHL (Mobile High-) via a connection terminal (and a cable if necessary) (not shown).
  • Wired communication is performed with the equipment in the car by a communication method such as definitionLink).
  • the device in the vehicle is, for example, a device that is not connected to the communication network 41 in the vehicle.
  • mobile devices and wearable devices owned by passengers such as drivers, information devices brought into the vehicle and temporarily installed, and the like are assumed.
  • the communication unit 22 is a base station using a wireless communication system such as 4G (4th generation mobile communication system), 5G (5th generation mobile communication system), LTE (LongTermEvolution), DSRC (DedicatedShortRangeCommunications), etc.
  • a wireless communication system such as 4G (4th generation mobile communication system), 5G (5th generation mobile communication system), LTE (LongTermEvolution), DSRC (DedicatedShortRangeCommunications), etc.
  • a server or the like existing on an external network for example, the Internet, a cloud network, or a network peculiar to a business operator
  • the communication unit 22 uses P2P (Peer To Peer) technology to communicate with a terminal existing in the vicinity of the own vehicle (for example, a pedestrian or store terminal, or an MTC (Machine Type Communication) terminal). ..
  • the communication unit 22 performs V2X communication.
  • V2X communication is, for example, vehicle-to-vehicle (Vehicle to Vehicle) communication with other vehicles, road-to-vehicle (Vehicle to Infrastructure) communication with roadside devices, and home (Vehicle to Home) communication.
  • And pedestrian-to-vehicle (Vehicle to Pedestrian) communication with terminals owned by pedestrians.
  • the communication unit 22 receives electromagnetic waves transmitted by a vehicle information and communication system (VICS (Vehicle Information and Communication System), registered trademark) such as a radio wave beacon, an optical beacon, and FM multiplex broadcasting.
  • VICS Vehicle Information and Communication System
  • the map information storage unit 23 stores a map acquired from the outside and a map created by the vehicle 1.
  • the map information storage unit 23 stores a three-dimensional high-precision map, a global map that is less accurate than the high-precision map and covers a wide area, and the like.
  • the high-precision map is, for example, a dynamic map, a point cloud map, a vector map (also referred to as an ADAS (Advanced Driver Assistance System) map), or the like.
  • the dynamic map is, for example, a map composed of four layers of dynamic information, quasi-dynamic information, quasi-static information, and static information, and is provided from an external server or the like.
  • the point cloud map is a map composed of point clouds (point cloud data).
  • a vector map is a map in which information such as lanes and signal positions is associated with a point cloud map.
  • the point cloud map and the vector map may be provided from, for example, an external server or the like, and the vehicle 1 is used as a map for matching with a local map described later based on the sensing result by the radar 52, LiDAR 53, or the like. It may be created and stored in the map information storage unit 23. Further, when a high-precision map is provided from an external server or the like, in order to reduce the communication capacity, map data of, for example, several hundred meters square, relating to the planned route on which the vehicle 1 is about to travel is acquired from the server or the like.
  • the GNSS receiving unit 24 receives the GNSS signal from the GNSS satellite and supplies it to the traveling support / automatic driving control unit 29.
  • the external recognition sensor 25 includes various sensors used for recognizing the external situation of the vehicle 1, and supplies sensor data from each sensor to each part of the vehicle control system 11.
  • the type and number of sensors included in the external recognition sensor 25 are arbitrary.
  • the external recognition sensor 25 includes a camera 51, a radar 52, a LiDAR (Light Detection and Ringing, Laser Imaging Detection and Ringing) 53, and an ultrasonic sensor 54.
  • the number of cameras 51, radar 52, LiDAR 53, and ultrasonic sensors 54 is arbitrary, and examples of sensing areas of each sensor will be described later.
  • the camera 51 for example, a camera of any shooting method such as a ToF (TimeOfFlight) camera, a stereo camera, a monocular camera, an infrared camera, etc. is used as needed.
  • ToF TimeOfFlight
  • stereo camera stereo camera
  • monocular camera stereo camera
  • infrared camera etc.
  • the external recognition sensor 25 includes an environment sensor for detecting weather, weather, brightness, and the like.
  • the environment sensor includes, for example, a raindrop sensor, a fog sensor, a sunshine sensor, a snow sensor, an illuminance sensor, and the like.
  • the external recognition sensor 25 includes a microphone used for detecting the sound around the vehicle 1 and the position of the sound source.
  • the in-vehicle sensor 26 includes various sensors for detecting information in the vehicle, and supplies sensor data from each sensor to each part of the vehicle control system 11.
  • the type and number of sensors included in the in-vehicle sensor 26 are arbitrary.
  • the in-vehicle sensor 26 includes a camera, a radar, a seating sensor, a steering wheel sensor, a microphone, a biological sensor, and the like.
  • the camera for example, a camera of any shooting method such as a ToF camera, a stereo camera, a monocular camera, and an infrared camera can be used.
  • the biosensor is provided on, for example, a seat, a stelling wheel, or the like, and detects various biometric information of a occupant such as a driver.
  • the vehicle sensor 27 includes various sensors for detecting the state of the vehicle 1, and supplies sensor data from each sensor to each part of the vehicle control system 11.
  • the type and number of sensors included in the vehicle sensor 27 are arbitrary.
  • the vehicle sensor 27 includes a speed sensor, an acceleration sensor, an angular velocity sensor (gyro sensor), and an inertial measurement unit (IMU (Inertial Measurement Unit)).
  • the vehicle sensor 27 includes a steering angle sensor that detects the steering angle of the steering wheel, a yaw rate sensor, an accelerator sensor that detects the operation amount of the accelerator pedal, and a brake sensor that detects the operation amount of the brake pedal.
  • the vehicle sensor 27 includes a rotation sensor that detects the rotation speed of an engine or a motor, an air pressure sensor that detects tire air pressure, a slip ratio sensor that detects tire slip ratio, and a wheel speed that detects wheel rotation speed. Equipped with a sensor.
  • the vehicle sensor 27 includes a battery sensor that detects the remaining amount and temperature of the battery, and an impact sensor that detects an impact from the outside.
  • the recording unit 28 includes, for example, a magnetic storage device such as a ROM (ReadOnlyMemory), a RAM (RandomAccessMemory), an HDD (Hard DiscDrive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, and the like. ..
  • the recording unit 28 records various programs, data, and the like used by each unit of the vehicle control system 11.
  • the recording unit 28 records a rosbag file including messages sent and received by the ROS (Robot Operating System) in which an application program related to automatic driving operates.
  • the recording unit 28 includes an EDR (Event Data Recorder) and a DSSAD (Data Storage System for Automated Driving), and records information on the vehicle 1 before and after an event such as an accident.
  • EDR Event Data Recorder
  • DSSAD Data Storage System for Automated Driving
  • the driving support / automatic driving control unit 29 controls the driving support and automatic driving of the vehicle 1.
  • the driving support / automatic driving control unit 29 includes an analysis unit 61, an action planning unit 62, and an motion control unit 63.
  • the analysis unit 61 analyzes the vehicle 1 and the surrounding conditions.
  • the analysis unit 61 includes a self-position estimation unit 71, a sensor fusion unit 72, and a recognition unit 73.
  • the self-position estimation unit 71 estimates the self-position of the vehicle 1 based on the sensor data from the external recognition sensor 25 and the high-precision map stored in the map information storage unit 23. For example, the self-position estimation unit 71 generates a local map based on the sensor data from the external recognition sensor 25, and estimates the self-position of the vehicle 1 by matching the local map with the high-precision map.
  • the position of the vehicle 1 is based on, for example, the center of the rear wheel-to-axle.
  • the local map is, for example, a three-dimensional high-precision map created by using a technique such as SLAM (Simultaneous Localization and Mapping), an occupied grid map (OccupancyGridMap), or the like.
  • the three-dimensional high-precision map is, for example, the point cloud map described above.
  • the occupied grid map is a map that divides a three-dimensional or two-dimensional space around the vehicle 1 into a grid (grid) of a predetermined size and shows the occupied state of an object in grid units.
  • the occupied state of an object is indicated by, for example, the presence or absence of an object and the probability of existence.
  • the local map is also used, for example, in the detection process and the recognition process of the external situation of the vehicle 1 by the recognition unit 73.
  • the self-position estimation unit 71 may estimate the self-position of the vehicle 1 based on the GNSS signal and the sensor data from the vehicle sensor 27.
  • the sensor fusion unit 72 performs a sensor fusion process for obtaining new information by combining a plurality of different types of sensor data (for example, image data supplied from the camera 51 and sensor data supplied from the radar 52). .. Methods for combining different types of sensor data include integration, fusion, and association.
  • the recognition unit 73 performs detection processing and recognition processing of the external situation of the vehicle 1.
  • the recognition unit 73 performs detection processing and recognition processing of the external situation of the vehicle 1 based on the information from the external recognition sensor 25, the information from the self-position estimation unit 71, the information from the sensor fusion unit 72, and the like. ..
  • the recognition unit 73 performs detection processing, recognition processing, and the like of objects around the vehicle 1.
  • the object detection process is, for example, a process of detecting the presence / absence, size, shape, position, movement, etc. of an object.
  • the object recognition process is, for example, a process of recognizing an attribute such as an object type or identifying a specific object.
  • the detection process and the recognition process are not always clearly separated and may overlap.
  • the recognition unit 73 detects an object around the vehicle 1 by performing clustering that classifies the point cloud based on sensor data such as LiDAR or radar into a point cloud. As a result, the presence / absence, size, shape, and position of an object around the vehicle 1 are detected.
  • the recognition unit 73 detects the movement of an object around the vehicle 1 by performing tracking that follows the movement of a mass of point clouds classified by clustering. As a result, the velocity and the traveling direction (movement vector) of the object around the vehicle 1 are detected.
  • the recognition unit 73 recognizes the type of an object around the vehicle 1 by performing an object recognition process such as semantic segmentation on the image data supplied from the camera 51.
  • the object to be detected or recognized is assumed to be, for example, a vehicle, a person, a bicycle, an obstacle, a structure, a road, a traffic light, a traffic sign, a road sign, or the like.
  • the recognition unit 73 recognizes the traffic rules around the vehicle 1 based on the map stored in the map information storage unit 23, the estimation result of the self-position, and the recognition result of the object around the vehicle 1. I do.
  • this processing for example, the position and state of a signal, the contents of traffic signs and road markings, the contents of traffic regulations, the lanes in which the vehicle can travel, and the like are recognized.
  • the recognition unit 73 performs recognition processing of the environment around the vehicle 1.
  • the surrounding environment to be recognized for example, weather, temperature, humidity, brightness, road surface condition, and the like are assumed.
  • the action planning unit 62 creates an action plan for the vehicle 1. For example, the action planning unit 62 creates an action plan by performing route planning and route tracking processing.
  • route planning is a process of planning a rough route from the start to the goal.
  • This route plan is called a track plan, and in the route planned by the route plan, the track generation (Local) capable of safely and smoothly traveling in the vicinity of the vehicle 1 in consideration of the motion characteristics of the vehicle 1 is taken into consideration.
  • the processing of path planning is also included.
  • Route tracking is a process of planning an operation for safely and accurately traveling on a route planned by route planning within a planned time. For example, the target speed and the target angular velocity of the vehicle 1 are calculated.
  • the motion control unit 63 controls the motion of the vehicle 1 in order to realize the action plan created by the action plan unit 62.
  • the motion control unit 63 controls the steering control unit 81, the brake control unit 82, and the drive control unit 83 so that the vehicle 1 travels on the track calculated by the track plan. Take control.
  • the motion control unit 63 performs coordinated control for the purpose of realizing ADAS functions such as collision avoidance or impact mitigation, follow-up travel, vehicle speed maintenance travel, collision warning of own vehicle, and lane deviation warning of own vehicle.
  • the motion control unit 63 performs coordinated control for the purpose of automatic driving or the like that autonomously travels without being operated by the driver.
  • the DMS 30 performs driver authentication processing, driver status recognition processing, and the like based on sensor data from the in-vehicle sensor 26 and input data input to HMI 31.
  • As the state of the driver to be recognized for example, physical condition, arousal degree, concentration degree, fatigue degree, line-of-sight direction, drunkenness degree, driving operation, posture and the like are assumed.
  • the DMS 30 may perform authentication processing for passengers other than the driver and recognition processing for the status of the passenger. Further, for example, the DMS 30 may perform the recognition processing of the situation inside the vehicle based on the sensor data from the sensor 26 in the vehicle. As the situation inside the vehicle to be recognized, for example, temperature, humidity, brightness, odor, etc. are assumed.
  • the HMI 31 is used for inputting various data and instructions, generates an input signal based on the input data and instructions, and supplies the input signal to each part of the vehicle control system 11.
  • the HMI 31 includes an operation device such as a touch panel, a button, a microphone, a switch, and a lever, and an operation device that can be input by a method other than manual operation by voice or gesture.
  • the HMI 31 may be, for example, a remote control device using infrared rays or other radio waves, or an externally connected device such as a mobile device or a wearable device that supports the operation of the vehicle control system 11.
  • the HMI 31 performs output control for generating and outputting visual information, auditory information, and tactile information for the passenger or the outside of the vehicle, and for controlling output contents, output timing, output method, and the like.
  • the visual information is, for example, information shown by an image such as an operation screen, a state display of the vehicle 1, a warning display, a monitor image showing a situation around the vehicle 1, or light.
  • Auditory information is, for example, information indicated by voice such as guidance, warning sounds, and warning messages.
  • the tactile information is information given to the passenger's tactile sensation by, for example, force, vibration, movement, or the like.
  • a display device As a device for outputting visual information, for example, a display device, a projector, a navigation device, an instrument panel, a CMS (Camera Monitoring System), an electronic mirror, a lamp, etc. are assumed.
  • the display device is a device that displays visual information in the occupant's field of view, such as a head-up display, a transmissive display, and a wearable device having an AR (Augmented Reality) function, in addition to a device having a normal display. You may.
  • an audio speaker for example, an audio speaker, headphones, earphones, etc. are assumed.
  • a haptics element using haptics technology or the like As a device that outputs tactile information, for example, a haptics element using haptics technology or the like is assumed.
  • the haptic element is provided on, for example, a steering wheel, a seat, or the like.
  • the vehicle control unit 32 controls each part of the vehicle 1.
  • the vehicle control unit 32 includes a steering control unit 81, a brake control unit 82, a drive control unit 83, a body system control unit 84, a light control unit 85, and a horn control unit 86.
  • the steering control unit 81 detects and controls the state of the steering system of the vehicle 1.
  • the steering system includes, for example, a steering mechanism including a steering wheel, electric power steering, and the like.
  • the steering control unit 81 includes, for example, a control unit such as an ECU that controls the steering system, an actuator that drives the steering system, and the like.
  • the brake control unit 82 detects and controls the state of the brake system of the vehicle 1.
  • the brake system includes, for example, a brake mechanism including a brake pedal and the like, ABS (Antilock Brake System) and the like.
  • the brake control unit 82 includes, for example, a control unit such as an ECU that controls the brake system, an actuator that drives the brake system, and the like.
  • the drive control unit 83 detects and controls the state of the drive system of the vehicle 1.
  • the drive system includes, for example, a drive force generator for generating a drive force of an accelerator pedal, an internal combustion engine, a drive motor, or the like, a drive force transmission mechanism for transmitting the drive force to the wheels, and the like.
  • the drive control unit 83 includes, for example, a control unit such as an ECU that controls the drive system, an actuator that drives the drive system, and the like.
  • the body system control unit 84 detects and controls the state of the body system of the vehicle 1.
  • the body system includes, for example, a keyless entry system, a smart key system, a power window device, a power seat, an air conditioner, an airbag, a seat belt, a shift lever, and the like.
  • the body system control unit 84 includes, for example, a control unit such as an ECU that controls the body system, an actuator that drives the body system, and the like.
  • the light control unit 85 detects and controls various light states of the vehicle 1. As the light to be controlled, for example, a headlight, a backlight, a fog light, a turn signal, a brake light, a projection, a bumper display, or the like is assumed.
  • the light control unit 85 includes a control unit such as an ECU that controls the light, an actuator that drives the light, and the like.
  • the horn control unit 86 detects and controls the state of the car horn of the vehicle 1.
  • the horn control unit 86 includes, for example, a control unit such as an ECU that controls the car horn, an actuator that drives the car horn, and the like.
  • FIG. 2 shows an example of the installation position of the camera 51, the radar 52, the LiDAR 53, the ultrasonic sensor 54, and the camera included in the in-vehicle sensor 26 included in the external recognition sensor 25 of the vehicle 1.
  • the external recognition sensor 25 includes a camera 51FC1 to a camera 51BC3, a radar 52FC to a radar 52BR, a LiDAR53F to a LiDAR53B, and an ultrasonic sensor 54FL1 to an ultrasonic sensor 54BR.
  • the in-vehicle sensor 26 includes a camera 101L to a camera 102.
  • the camera 51FC1 is provided near the center of the tip of the vehicle 1.
  • the camera 51FC1 photographs the front of the vehicle 1.
  • a fish-eye camera is used.
  • the camera 51FC1 is used, for example, for ADAS and surround view.
  • the surround view is, for example, a function of displaying an image of the surroundings of the vehicle 1 or a bird's-eye view image of the surroundings of the vehicle 1 as viewed from above.
  • the camera 51FC2 is provided near the front center of the vehicle 1.
  • the camera 51FC2 photographs the front of the vehicle 1 via the windshield.
  • the camera 51FC2 is used, for example, for ADAS.
  • the image of the camera 51FC2 is recorded in, for example, a drive recorder.
  • the camera 51FL and the camera 51FR are arranged on the left and right at a predetermined distance in front of the interior of the vehicle 1 to form a stereo camera.
  • the camera 51FL and the camera 51FR photograph the front of the vehicle 1 via the windshield.
  • the camera 51FL and the camera 51FR are used, for example, in ADAS.
  • a camera having a higher resolution than the camera 51FC2 is used.
  • the cameras 51SL1 to 51SL4 constitute one camera module 122L (FIG. 9, etc.) as described later, and are provided on the left side surface of the vehicle 1 near the front end of the driver's seat door.
  • Camera 51SL1 photographs diagonally forward to the left of vehicle 1.
  • the camera 51SL1 is used, for example, for ADAS.
  • Camera 51SL2 captures the left direction of vehicle 1.
  • a camera 51SL1 for example, a camera 51SL1, a camera 51SL3, and a fish-eye camera having a wider angle than the camera 51SL4 are used.
  • the camera 51SL2 is used, for example, for ADAS and surround view.
  • the camera 51SL3 photographs the diagonally left rear of the vehicle 1.
  • a camera having a higher resolution than the camera 51SL1 is used.
  • the camera 51SL3 is used, for example, for ADAS.
  • the camera 51SL4 photographs the diagonally left rear of the vehicle 1.
  • the optical axis of the camera 51SL4 faces the direction closer to the rear of the vehicle 1 than the optical axis of the camera 51SL3.
  • the optical axis of the camera 51SL3 faces the direction closer to the left direction (lateral direction) of the vehicle 1 than the optical axis of the camera 51SL4.
  • the camera 51SL4 is used for, for example, a CMS.
  • the cameras 51SR1 to 51SR4 constitute one camera module 122R (FIG. 4, etc.) as described later, and are provided on the right side surface of the vehicle 1 near the front end of the passenger seat door.
  • Camera 51SR1 photographs diagonally forward to the right of vehicle 1.
  • the camera 51SR1 is used, for example, for ADAS.
  • Camera 51SR2 captures the right direction of vehicle 1.
  • a camera 51SR1 for example, a camera 51SR1, a camera 51SR3, and a fish-eye camera having a wider angle than the camera 51SR4 are used.
  • the camera 51SR2 is used, for example, for ADAS and surround view.
  • the camera 51SR3 photographs the diagonally right rear of the vehicle 1.
  • a camera having a higher resolution than the camera 51SR1 is used.
  • the camera 51SR3 is used, for example, for ADAS.
  • the camera 51SR4 photographs the diagonally right rear of the vehicle 1.
  • the optical axis of the camera 51SR4 faces the direction closer to the rear of the vehicle 1 than the optical axis of the camera 51SR3.
  • the optical axis of the camera 51SR3 faces the direction closer to the right direction (lateral direction) of the vehicle 1 than the optical axis of the camera 51SR4.
  • the camera 51SR4 is used for, for example, a CMS.
  • the camera 51BC1 is provided near the center of the rear end of the vehicle 1.
  • the camera 51BC1 photographs the rear of the vehicle 1.
  • a fish-eye camera is used for the camera 51BC1 .
  • the camera 51BC1 is used, for example, for ADAS and surround view.
  • the camera 51BC2 and the camera 51BC3 are provided near the rear center of the vehicle 1.
  • the camera 51BC2 and the camera 51BC3 photograph the rear of the vehicle 1 through the rear window.
  • the camera 51BC2 is used for, for example, a CMS.
  • the camera 51BC3 is used, for example, for ADAS.
  • the image of the camera 51BC3 is recorded in, for example, a drive recorder.
  • the radar 52FC is provided near the center of the tip of the vehicle 1.
  • the radar 52FC senses the front of the vehicle 1.
  • the radar 52FL is provided near the left end of the tip of the vehicle 1.
  • the radar 52FL senses diagonally forward to the left of the vehicle 1.
  • the radar 52FR is provided near the right end of the tip of the vehicle 1.
  • the radar 52FR senses diagonally forward to the right of the vehicle 1.
  • the radar 52BC is provided near the center of the rear end of the vehicle 1.
  • the radar 52BC performs sensing behind the vehicle 1.
  • the radar 52BL is provided near the left end of the rear end of the vehicle 1.
  • the radar 52BL senses diagonally to the left and rear of the vehicle 1.
  • the radar 52BR is provided near the right end of the rear end of the vehicle 1.
  • the radar 52BR senses diagonally to the right and rear of the vehicle 1.
  • LiDAR53F is provided near the center of the tip of the vehicle 1.
  • the LiDAR53F senses the front of the vehicle 1.
  • LiDAR53L is provided in front of the left side surface of the vehicle 1.
  • the LiDAR53L senses the vehicle 1 in the left direction.
  • the LiDAR53R is provided in front of the right side surface of the vehicle 1.
  • the LiDAR53R senses the vehicle 1 in the right direction.
  • LiDAR53B is provided near the center of the rear end of the vehicle 1.
  • the LiDAR53B senses the rear of the vehicle 1.
  • the ultrasonic sensor 54FL1 is provided slightly to the left of the center of the tip of the vehicle 1.
  • the ultrasonic sensor 54FL1 performs sensing slightly to the left in front of the vehicle 1.
  • the ultrasonic sensor 54FL2 is provided near the left end of the tip of the vehicle 1.
  • the ultrasonic sensor 54FL1 performs sensing in the front diagonally left direction of the vehicle 1.
  • the ultrasonic sensor 54FR1 is provided slightly to the right of the center of the tip of the vehicle 1.
  • the ultrasonic sensor 54FR1 senses slightly to the right in front of the vehicle 1.
  • the ultrasonic sensor 54FR2 is provided near the right end of the tip of the vehicle 1.
  • the ultrasonic sensor 54FR1 senses the vehicle 1 in the front right diagonal direction.
  • the ultrasonic sensor 54SL1 is provided in front of the left side surface of the body of the vehicle 1.
  • the ultrasonic sensor 54SL1 performs left-handed sensing in front of the vehicle 1.
  • the ultrasonic sensor 54SL2 is provided behind the left side surface of the body of the vehicle 1.
  • the ultrasonic sensor 54SL2 performs left-handed sensing behind the vehicle 1.
  • the ultrasonic sensor 54SR1 is provided in front of the right side surface of the body of the vehicle 1.
  • the ultrasonic sensor 54SR1 senses in the right direction in front of the vehicle 1.
  • the ultrasonic sensor 54SR2 is provided behind the right side surface of the body of the vehicle 1.
  • the ultrasonic sensor 54SR2 senses to the right behind the vehicle 1.
  • the ultrasonic sensor 54BL is provided near the left end of the rear end of the vehicle 1.
  • the ultrasonic sensor 54BL senses the vehicle 1 diagonally to the left and rear.
  • the ultrasonic sensor 54BR is provided near the right end of the rear end of the vehicle 1.
  • the ultrasonic sensor 54BR senses the vehicle 1 in the rear right diagonal direction.
  • the camera 101L is provided in the vehicle in the diagonally upward direction to the right of the driver's seat.
  • the camera 101L photographs the area around the driver's seat.
  • a ToF camera is used for the camera 101L.
  • the camera 101R is provided in the passenger seat diagonally upward to the left.
  • the camera 101R photographs the area around the passenger seat.
  • a ToF camera is used for the camera 101R.
  • the camera 102 is provided slightly to the left of the center on the dashboard inside the car. The camera 102 photographs the area around the driver's seat.
  • FIG. 3 shows an example of the shooting range of the camera 51FC1, the camera 51SL2, the camera 51SR2, and the camera 51BC1 in which the fish-eye camera is used.
  • the camera 51FC1 can shoot the shooting range A1F exceeding 180 degrees in front of the vehicle 1.
  • the camera 51SL2 can shoot the shooting range A1L exceeding 180 degrees to the left of the vehicle 1.
  • the camera 51SR2 can shoot the shooting range A1R exceeding 180 degrees to the right of the vehicle 1.
  • the camera 51BC1 can shoot a shooting range A1B exceeding 180 degrees behind the vehicle 1. Therefore, as shown by the diagonal lines in the figure, it is possible to take a picture of 360 degrees around the vehicle 1 by the four fish-eye cameras of the camera 51FC1 to the camera 51BC1.
  • the camera 51FC1 to the camera 51BC1 are used for ADAS and surround view. For example, by synthesizing the images of the cameras 51FC1 to the camera 51BC1, a bird's-eye view image of 360 degrees around the vehicle 1 viewed from above is generated and displayed.
  • the camera module 122L includes a camera 51SL1 to a camera 51SL4.
  • the camera module 122R includes a camera 51SR1 to a camera 51SR4.
  • FIG. 4 is a front view of the vehicle 1.
  • FIG. 5 is a left side view of the vehicle 1.
  • the camera module 122L is provided at the same position as the conventional door mirror on the driver's seat door 121FL. Specifically, the camera module 122L is provided near the front end of the body of the driver's door 121FL and near the boundary between the body and the window.
  • the camera module 122R is provided at the same position as the camera module 122L on the passenger seat door 121FR (not shown).
  • FIG. 6 A of FIG. 6 is a schematic view of the periphery of the camera module 122L of the vehicle 1 as viewed from the front slightly diagonally to the left.
  • FIG. 6B is a schematic diagram of a part of the camera module 122L viewed from substantially the same direction as FIG. 6A.
  • FIG. 7A is a schematic view of the periphery of the camera module 122L of the vehicle 1 as viewed from the front diagonally left direction.
  • FIG. 7B is a schematic diagram of a part of the camera module 122L viewed from substantially the same direction as FIG. 7A.
  • FIG. 8A is a schematic view of the periphery of the camera module 122L of the vehicle 1 as viewed from the rear.
  • FIG. 8B is a schematic diagram of the camera module 122L viewed from substantially the same direction as FIG. 8A.
  • FIG. 9 is an exploded view of the camera module 122L.
  • FIG. 10 is a front view of the installation positions of the cameras 51SL1 to 51SL4 in the camera module 122L.
  • FIG. 11 is a top view of the installation positions of the cameras 51SL1 to 51SL4 in the camera module 122L.
  • the cameras 51SL1 to 51SL4 are built in the housing 131L and fixed to the bottom plate of the housing 131L. Further, the cameras 51SL1 and the cameras 51SL4 are oriented in different directions on the outside of the housing 131L so as not to be within the angle of view of each other. Further, a space is provided behind the cameras 51SL1 to 51SL4 so that cables can be routed.
  • the camera 51SL1 is arranged so that the optical axis is horizontal, the camera faces slightly diagonally to the left from the front of the vehicle 1, and the lens can be seen from the front of the housing 131L. That is, the optical axis of the camera 51SL1 faces the horizontal direction of the vehicle 1 and faces the direction slightly leftward from the front direction in the yaw direction of the vehicle 1.
  • the angle of view of the camera 51SL1 is, for example, 120 degrees. Therefore, the camera 51SL1 can take a wide range of images including from the front direction of the vehicle 1 to the diagonally front left.
  • the camera 51SL2 is arranged so that the optical axis is obliquely downward (for example, 32 degrees downward from the horizontal direction) and the vehicle 1 is oriented to the left (lateral direction), and the lens can be seen from the left side surface of the housing 131L. ..
  • the camera 51SL2 is configured by a fish-eye camera, and can shoot a shooting range A1L exceeding 180 degrees to the left of the vehicle 1.
  • the optical axis of the camera normally used for surround view is directed vertically downward.
  • the optical axis of the camera 51SL2 is directed diagonally downward.
  • the camera 51SL2 is composed of a fish-eye camera. Therefore, the camera 51SL2 can take a wide range of images including from the ground around the left side of the vehicle 1 to the upper end of a vehicle in the lane adjacent to the left, a motorbike, or the like.
  • the camera 51SL3 is arranged so that the optical axis is horizontal and the vehicle 1 faces diagonally to the left and rearward, and the lens can be seen from the left side surface of the housing 131L. That is, the optical axis of the camera 51SL3 faces the horizontal direction of the vehicle 1 and faces the direction rotated to the left by a predetermined angle from the left in the yaw direction of the vehicle 1.
  • the angle of view of the camera 51SL3 is, for example, 120 degrees. Therefore, the camera 51SL3 can take a wide range of images including from the left direction of the vehicle 1 to the diagonally rear left direction.
  • the camera 51SL4 is arranged so that the optical axis faces slightly diagonally downward and diagonally backward to the left of the vehicle 1, and the lens can be seen from the vicinity of the boundary between the left side surface and the back surface of the housing 131L. That is, the optical axis of the camera 51SL4 faces slightly downward from the horizontal direction of the vehicle 1, and faces a direction rotated to the left by a predetermined angle from the left in the yaw direction of the vehicle 1. Further, the optical axis of the camera 51SL4 faces the direction closer to the rear of the vehicle 1 than the optical axis of the camera 51SL3.
  • the camera 51SL4 can take a picture in the diagonally left rear direction, which is closer to the rear of the vehicle 1 than the camera 51SL3. Further, by tilting the optical axis of the camera 51SL4 slightly downward from the horizontal direction, it becomes possible to take a wide image of the road surface diagonally rearward to the left of the vehicle 1.
  • the width of the housing 131L is 160 mm, the depth is 202 mm, and the height is 69 mm.
  • the housing 131L is made of metal, and the heat of the cameras 51SL1 to 51SL4 can be released to the outside.
  • the camera module 122L As described above, in the camera module 122L, four cameras 51SL1 to 51SL4 having different shooting directions and uses are compactly arranged. Therefore, as compared with the case where the cameras 51SL1 to 51SL4 are individually arranged, the space of the vehicle 1 can be effectively used and the design is improved. Further, the degree of freedom in the arrangement of the cameras 51SL1 to 51SL4 (camera module 122L) is improved, and the arrangement and wiring design of the sensors including other cameras are facilitated. This makes it possible to suppress the complexity of the system of the vehicle 1 including each camera and make it simpler.
  • the cameras 51SR1 to 51SR4 are arranged symmetrically with the cameras 51SL1 to 51SL4 in the camera module 122L in the camera module 122R.
  • FIG. 12 is a schematic view of the inside of the vehicle 1 looking down from the right direction.
  • FIG. 13 is a schematic view showing the front of the interior of the vehicle 1.
  • FIG. 14 is a schematic view showing the front of the driver's seat 201 in the interior of the vehicle 1.
  • FIG. 15 is an enlarged view of the vicinity of the steering wheel 206 of the vehicle 1.
  • FIG. 16 is a diagram showing an example of the installation positions of the camera 101L and the camera 101R in the camera module 214.
  • the upper left figure of FIG. 16 is a schematic view of the camera module 214 as viewed from diagonally lower left.
  • the lower left figure of FIG. 16 is a schematic view of the camera module 214 as viewed from the lower left direction.
  • FIG. 16 is a schematic view of the camera module 214 as viewed from diagonally downward from the front.
  • FIG. 17 shows an example of the shooting range of the camera 101L.
  • FIG. 18 is a schematic view of the interior of the vehicle 1 as viewed from the front.
  • FIG. 19 is a schematic view of the driver's seat 201 as viewed from diagonally left rear.
  • the camera 102 is provided on the dashboard 205 slightly closer to the driver's seat 201 than the center in the left-right direction.
  • the camera 102 has a shape as if a part of a truncated cone is vertically cut out, and has a vertical flat surface portion on a side surface.
  • the flat surface portion of the side surface of the camera 102 is directed toward the driver's seat 201, and the camera 102 captures a range including at least the head of the driver sitting in the driver's seat 201.
  • the camera 102 is a camera capable of two types of shooting, RGB shooting (color shooting) and IR shooting (infrared shooting).
  • the camera 102 automatically switches between RGB shooting and IR shooting based on conditions such as ambient brightness.
  • the camera 102 has a built-in LED that emits IR light (infrared light).
  • the camera 102 automatically takes RGB images and acquires a color image.
  • the camera 102 automatically turns on the LED, automatically performs IR shooting, and acquires a monochrome image. This makes it possible to reliably photograph the driver's head regardless of the brightness of the surroundings.
  • the DMS 30 (FIG. 1) performs lip reading of the driver based on, for example, the image of the camera 102, and recognizes the utterance content of the driver.
  • the DMS 30 performs, for example, the driver's black eye detection, line-of-sight detection, awakening determination, recognition processing, and the like based on the image of the camera 102.
  • the camera module 214 incorporating the camera 101L and the camera 101R is provided at the tip of the ceiling of the vehicle 1 and at the center in the left-right direction in the vicinity of the digital rear mirror 234.
  • the camera module 214 has a shape in which a table with a half-conical table is connected to the rear end (rear side of the vehicle 1) of a table that is diagonally cut out on the left and right sides of a rectangular parallelepiped.
  • the camera 101L is built in the position P1L near the front end on the left side of the truncated cone portion of the camera module 214.
  • the optical axis of the camera 101L is directed toward the middle of both eyes of the driver when, for example, a driver having a standard physique sits in the driver's seat 201 arranged at a standard position.
  • FIG. 17 shows an example of the shooting range of the camera 101L.
  • the camera 101L captures almost the entire body including the driver DR1 from the head to the vicinity of the feet from diagonally upward to the right regardless of the physique of the driver DR1 and the position of the driver's seat 201. It is possible.
  • the camera 101R is built in the position P1R near the front end on the right side of the truncated cone portion of the camera module 214. Although not shown, the camera 101R, like the camera 101L, has almost the entire body including the passenger's head to the vicinity of his feet regardless of the physique of the passenger sitting in the passenger seat 202 and the position of the passenger seat 202. Can be photographed from diagonally above to the left.
  • a cover 214A with a black gloss treatment is provided on the side surface of the truncated cone portion of the camera module 214.
  • the cover 214A makes it difficult for the lenses of the camera 101L and the camera 101R to be seen from the outside. Further, it is possible to provide a camera or sensor other than the camera 101L and the camera 101R on the back side of the cover 214A.
  • the DMS 30 recognizes the posture and movement of the driver by recognizing the skeleton of the driver based on the image of the camera 101L.
  • the DMS 30 performs a driver's recognition process (for example, personal recognition) based on the image of the camera 101L.
  • the DMS 30 recognizes the posture and movement of the passenger by recognizing the skeleton of the passenger in the passenger seat 202 based on the image of the camera 101R. For example, the DMS 30 performs passenger recognition processing based on the image of the camera 101L.
  • a circular light 215 is provided on the lower surface of the camera module 214. Further, the camera module 214 has a built-in microphone (not shown) for collecting voices of passengers and the like.
  • an illumination 207 is provided at the center of the steering wheel 206.
  • the illumination 207 includes a plurality of LEDs arranged in a ring shape inward by a predetermined distance from the outer periphery of the central portion of the steering wheel 206. Each LED can individually control on / off, color, brightness, and the like. Therefore, the illumination 207 has a variable color, brightness, and light emitting region (light emitting range).
  • the logo of the vehicle 1 is formed inside the illumination 207.
  • An airbag (not shown) is stored in the center of the steering wheel 206.
  • the illumination 207 is arranged so as to avoid a portion where the central portion of the steering wheel 206 is split when the airbag is operated. This prevents debris and harmful substances from the illumination 207 from scattering when the airbag is activated.
  • the spoke on the left side of the steering wheel 206 is provided with an operation unit 208 having a plurality of buttons.
  • the spokes on the right side of the steering wheel 206 are provided with an operation unit 209 having a plurality of buttons.
  • a stalk lever 210 which is a rod-shaped operating body, is provided at the back of the steering wheel 206 so as to extend to the left from the steering column (not shown). Further, a stalk lever 211, which is a rod-shaped operating body, is provided at the back of the steering wheel 206 so as to extend to the right from the steering column (not shown).
  • a center display 231, a console display 232, a head-up display (only the display 233 is shown), a digital rear mirror 234, and a tablet terminal 235L and a tablet terminal 235R are provided inside the vehicle 1.
  • the center display 231 is provided in front of the driver's seat 201 and the passenger's seat 202 so as to extend to the left and right in front of the dashboard 205.
  • the center display 231 is largely divided into a left end portion 231L, a center portion 231C, and a right end portion 231R depending on the orientation of the display. That is, the center display 231 has a configuration in which the left end portion 231L, the center portion 231C, and the right end portion 231R having different orientations are continuous in the left-right direction and integrated.
  • the left end portion 231L, the central portion 231C, and the right end portion 231R can be individually displayed individually, or can be displayed integrally.
  • the central portion 231C extends left and right from the vicinity of the left end of the driver's seat 201 to the vicinity of the right end of the passenger seat 202 in front of the driver's seat 201 and the passenger seat 202, and is rearward (rear of the vehicle 1) when viewed from the driver's seat 201 or the passenger seat 202. ).
  • the central portion 231C displays information that supports driving, an image of the surroundings of the vehicle 1, and the like.
  • the central portion 231C displays information regarding the traveling state of the vehicle 1.
  • the central portion 231C displays the operating state of the direction indicator of the vehicle 1.
  • the central portion 231C displays the speed and shift position of the vehicle 1.
  • the central portion 231C displays the remaining battery level of the vehicle 1.
  • the central portion 231C displays an image showing the condition of the road ahead.
  • the central portion 231C displays information for assisting parking when the vehicle 1 is parked.
  • the central portion 231C can display a part of a 360-degree image around the vehicle 1 taken by the camera 51FC1, the camera 51SL2, the camera 51SR2, and the camera 51BC1, and can rotate the displayed range.
  • the central portion 231C displays a bird's-eye view image of the surroundings of the vehicle 1 obtained by synthesizing the images of the camera 51FC1, the camera 51SL2, the camera 51SR2, and the camera 51BC1 as viewed from above.
  • the central portion 231C displays an image behind the vehicle 1 when the vehicle 1 backs up.
  • the central portion 231C displays information indicating a predicted traveling direction when the LKA (Lane Keep Assist) function is operating when the vehicle 1 is backed up.
  • LKA Longe Keep Assist
  • the central portion 231C of the center display 231 is the display portion 231CL in front of the driver's seat 201, the display portion 231CC between the driver's seat 201 and the passenger seat 202, and the display portion 231CR in front of the passenger seat 202. It is divided into. For example, it is also possible to connect the display units 231CL to the display units 231CR to form one display unit. For example, it is also possible to connect the display unit 231CL and the display unit 231CC to form one display unit. For example, it is also possible to connect the display unit 231CC and the display unit 231CR to form one display unit. The display example described above can be displayed on any display unit of the central unit 231C.
  • information mainly for the driver is displayed on the display unit 231CL.
  • information to support driving is displayed.
  • information related to infotainment such as audio, video, website, and map is displayed on the display unit 231CC.
  • the display unit 231CR displays infotainment-related information for passengers in the passenger seat.
  • the left end portion 231L and the right end portion 231R of the center display 231 are provided substantially symmetrically at both left and right ends of the center display 231.
  • the left end portion 231L bends inward (inside the vehicle) at the left end of the center display 231 and is angled inward with respect to the central portion 231C. (Diagonally backward).
  • the right end portion 231R bends inward (inside the vehicle) at the right end of the center display 231 and is angled inward with respect to the central portion 231C. (Diagonally backward).
  • the angle of the left end 231L with respect to the center 231C is adjusted so that, for example, the angle of reflection of a standard driver's line of sight with respect to the angle of incidence on the left end 231L points appropriately in the diagonally rear left direction of the vehicle 1. ..
  • the angle of the right edge 231R with respect to the center 231C is adjusted so that, for example, the angle of reflection of a standard driver's line of sight with respect to the angle of incidence on the right edge 231R faces the appropriate direction diagonally to the right and behind the vehicle 1. ..
  • a display unit 231LL is provided on the left end portion 231L.
  • a display unit 231RR is provided on the right end portion 231R.
  • the left end 231L and the right end 231R of the center display 231 are mainly used as a digital outer mirror (electronic side mirror) that replaces the conventional side mirror. That is, the left end portion 231L and the right end portion 231R are used for CMS.
  • the display unit 231LL of the left end portion 231L displays an image of the vehicle 1 obliquely rearward to the left taken by the camera 51SL4.
  • the display unit 231RR of the right end portion 231R displays an image of the vehicle 1 obliquely rearward to the right, which is taken by the camera 51SR4.
  • the left end portion 231L, the center portion 231C, and the right end portion 231R of the center display 231 are continuous in the horizontal direction. Therefore, when the driver shifts the line of sight from the central portion 231C to the left end portion 231L or the right end portion 231R, or shifts the line of sight from the left end portion 231L or the right end portion 231R to the central portion 231C, the driver only moves the line of sight in the horizontal direction. It's fine. As a result, the moving distance and the moving direction of the driver's line of sight are reduced, and the visibility is improved.
  • the left end portion 231L displays an alert when a vehicle, a motorcycle, a bicycle, a pedestrian, or the like approaching from the left side or the rear of the vehicle 1 is detected.
  • the right end portion 231R displays an alert when a vehicle, a motorcycle, a bicycle, a pedestrian, or the like approaching from the right side or the rear of the vehicle 1 is detected.
  • Vehicles approaching from the left and right sides and the rear of the vehicle 1 include, for example, images (sensor data) from the camera 51SL2, the camera 51SL3, the camera 51SR2, the camera 51SR3, the camera 51BC1, and the camera 51BC3, and a radar. It is detected by the recognition unit 73 based on the sensor data from the 52BL, the radar 52BC, the radar 52BR, the LiDAR 53B, and the like.
  • the left end portion 231L, the center portion 231C, and the right end portion 231R are connected to one, it is possible to display one screen on the entire center display 231. For example, it is possible to display an image around the vehicle 1, map information, infotainment-related information, and the like on the entire center display 231.
  • the console display 232 is provided on the console 212 provided between the driver's seat 201 and the passenger seat 202, and is arranged below the central portion 231C of the center display 231. There is.
  • the console 212 extends in the front-rear direction between the driver's seat 201 and the passenger seat 202.
  • the tip of the console 212 is inclined diagonally upward toward the front of the vehicle 1, and a console display 232 is provided.
  • the console display 232 is composed of, for example, a two-dimensional or three-dimensional touch panel, and can be operated by touching or approaching a finger or the like.
  • the console display 232 faces the rear of the vehicle 1. Further, the console display 232 faces diagonally upward at an angle substantially similar to that of the central portion 231C of the center display 231. This creates a sense of unity in which the center display 231 and the console display 232 are connected in succession. Further, the visibility of the console display 232 is improved as in the central portion 231C of the center display 231.
  • the console display 232 displays an operation screen for operating the air conditioning equipment in the vehicle. Passengers such as drivers operate the air conditioning equipment in the vehicle using the displayed operation screen.
  • the console display 232 displays an operation screen for operating the information displayed on the center display 231.
  • a passenger such as a driver scrolls, enlarges, reduces, switches, or the like, scrolls, enlarges, reduces, or switches the information (for example, a map or the like) displayed on the central portion 231C of the center display 231 by using the displayed operation screen.
  • the center display 231 and the console display 232 have a sense of unity. Therefore, the passenger can operate the information displayed on the center display 231 by using the operation screen of the console display 232 with a natural feeling, and the operability is improved.
  • the console display 232 displays an operation screen for setting the display range of the display unit 231LL and the display unit 231RR of the center display 231.
  • the driver uses the displayed operation screen to zoom in, zoom out, move, and the like in the display range of the display unit 231LL and the display unit 231RR.
  • the middle part of the console 212 is inclined diagonally downward toward the front of the vehicle 1, contrary to the tip part.
  • a circular controller 213 is provided near the center of the intermediate portion.
  • the inclination angle of the intermediate portion of the console 212 is set to an angle at which the driver can easily place his / her hand, which improves the operability of the controller 213.
  • the controller 213 can be pushed, turned, or tilted in a predetermined direction (for example, front-back, left-right), and is used, for example, for operating an audio system in a vehicle. For example, when the controller 213 is pressed, the music is played or stopped, and the volume is adjusted by turning the controller 213.
  • a predetermined direction for example, front-back, left-right
  • the rear end of the console 212 is approximately horizontal, for example, so that the driver can easily place his arm.
  • the head-up display includes a display 233 provided in front of the driver's seat 201.
  • the display 233 may be configured by a part of the windshield 204, or may be provided separately from the windshield 204. In the latter case, for example, the display 233 is attached to the windshield 204. Then, by projecting the visual information on the display 233 using the AR technique, the visual information is superimposed and displayed in the driver's field of view.
  • the display 233 of the head-up display displays, for example, information that supports driving. For example, the display 233 displays an alert according to the situation around the vehicle 1. For example, the display 233 displays information indicating the vehicle in front to be followed during the operation of the ACC (Adaptive Cruise Control). For example, the display 233 displays the route to be taken by an arrow or the like, if necessary, while the lane change support function is operating.
  • ACC Adaptive Cruise Control
  • the digital rearview mirror 234 is used in place of the conventional rearview mirror, and is also called a smart room mirror. As shown in FIG. 13, the digital rear-view mirror 234 is provided at the upper end of the windshield 204 and slightly in front of the center, and is arranged above the central portion 231C of the center display 231, like the conventional rear-view mirror. ..
  • the digital rear mirror 234 displays, for example, an image of the rear of the vehicle 1 taken by the camera 51BC2. For example, the digital rear mirror 234 displays an alert when another vehicle is approaching behind the vehicle 1.
  • the display range of the digital rear mirror 234 is adjusted based on at least one of the driver's line-of-sight direction and posture.
  • the range of the image displayed on the digital rear-view mirror 234 is appropriately adjusted according to the line-of-sight direction and posture of the driver, as in the conventional physical rear-view mirror.
  • the tablet terminal 235L is provided on the back surface of the driver's seat 201, more specifically, on the back surface of the headrest of the driver's seat 201.
  • the tablet terminal 235L presents information related to infotainment to the passenger of the rear seat 203L, for example, and accepts operations for the presented information. Further, for example, the tablet terminal 235L displays an alert in an emergency, a dangerous situation, or the like.
  • a tablet terminal 235R similar to the tablet terminal 235L is provided on the back surface of the passenger seat 202.
  • the display of the center display 231, the console display 232, the head-up display, the digital rear mirror 234, the tablet terminal 235L, and the tablet terminal 235R is controlled by, for example, a display control unit which is a part of the function of the HMI 31.
  • a ToF camera may be provided at the upper end and the position P2L near the center of the tablet terminal 235L. This makes it possible to recognize, for example, a passenger operating the tablet terminal 235L based on the image taken by the ToF camera.
  • a ToF camera can be similarly provided on the tablet terminal 235R.
  • the speaker 236FL is embedded near the rear of the door opener 216FL of the door 121FL on the driver's seat 201 side.
  • the speaker 236FR is embedded near the rear of the door opener 216FR of the door 121FR on the passenger seat 202 side.
  • the speaker 236BL is embedded near the center of the door 121BL on the rear seat 203L side.
  • the speaker 236BR is embedded near the center of the door 121BR on the rear seat 203R side.
  • the seat speaker 237 is embedded below the headrest of the driver's seat 201.
  • a seat speaker 238 is embedded below the headrest of the passenger seat 202.
  • a seat speaker 239L is embedded in the rear seat 203L on the left side.
  • a seat speaker 239R is embedded in the rear seat 203R on the right side.
  • the shape of the seat and the position of the seat speaker are adjusted so that people of various heights (sitting height) can clearly hear the sound of the seat speaker of each seat.
  • the speaker 236FL to the speaker 236BR embedded in the door 121FL to the door 121BR are used, for example, to output a sound directed to the entire vehicle interior (all passengers in the vehicle). Further, 360-degree real audio is realized by the speaker 236FL to the speaker 236FR. By realizing 360-degree real audio, for example, it is possible to enjoy moving images, music, and the like with realistic sound in the car. Further, the position of a dangerous object such as an obstacle existing around the vehicle 1 can be notified by the sound output direction.
  • the seat speaker of each seat is mainly used to output a private sound for individual passengers sitting in each seat, for example. That is, the sound output from each seat speaker is individually controlled.
  • this speaker is an example and can be changed.
  • the speaker may be arranged on the dashboard 205 in front of the vehicle 1.
  • FIG. 20 shows a configuration example of the information processing system 301 showing an example of the system architecture of the vehicle 1.
  • the information processing system 301 is a system that adopts a domain-type E / E (electrical / electronic) architecture.
  • DCs three domain controllers (DCs), an ePWT (e-PoWer) domain controller (DC) 321 and an ADAS domain controller (DC) 331, and an HMI + body domain controller (DC) 341, form a network. It is connected to the secure gateway 311 via.
  • the information processing system 301 is divided into three domains D1 to D3 for each DC.
  • the ePWT DC321 controls the transfer and processing of data in the domain D1 including the components and control components of the power train of the vehicle 1.
  • the ePWT DC321 is connected to, for example, a front EDU (Electric Drive Unit) 322, a rear EDU 323, a charger ECU 324, an EPS (electric power steering) ECU 325, a brake ECU 326, a damper ECU 327, and the like via a network.
  • the front EDU322 is a unit that drives the front wheels of the vehicle 1.
  • the rear EDU323 is a unit that drives the rear wheels of the vehicle 1.
  • the charger ECU 324 controls the battery charger for driving the front EDU322, the rear EDU323, and the like.
  • the EPS ECU 325 controls the electric power steering of the vehicle 1.
  • the brake ECU 326 controls the brake of the vehicle 1.
  • the damper ECU 327 controls the damper of the vehicle 1.
  • the ADAS DC331 controls the transfer and processing of data in the domain D2 including the parts that realize the ADAS of the vehicle 1.
  • a radar 52, a LiDAR53, a camera 332, a USS (ultrasonic sensor) ECU 333, a GNSS ECU 334, a data logger 335, and the like are connected to the ADAS DC331 via a network.
  • the camera 332 includes, for example, a camera 51 among the cameras 51 of the vehicle 1, excluding the camera 51SL4 for CMS, the camera 51SR4, and the camera 51BC2.
  • the USS ECU 333 controls the ultrasonic sensor 54.
  • the GNSS ECU 334 controls the GNSS receiving unit 24 and the like.
  • the data logger 335 records data related to ADAS processing and the like.
  • the HMI + body DC341 controls the transfer and processing of data in the domain D3 including the parts that realize the HMI of the vehicle 1 and the components and control parts of the body system of the vehicle 1.
  • the HMI + body DC 341 has, for example, a door controller 342, a wiper controller 343, a seat controller 344, a display unit 231CL to a display unit 231CR, a tablet terminal 235L, a tablet terminal 235R, and a display unit 231C of the central portion 231C of the center display 231 via a network. , Interface 345 and the like are connected. Further, for example, CMS349 is connected to the HMI + body DC341.
  • the door controller 342 controls the door 121FL to the door 121BR of the vehicle 1.
  • the wiper controller 343 controls the wiper of the vehicle 1.
  • the seat controller 344 controls, for example, the positions and postures of the driver's seat 201, the passenger's seat 202, the rear seat 203L, and the rear seat 203R.
  • the interface 345 includes, for example, a display unit 231CL to a display unit 231CR, a tablet terminal 235L, and components and control components that perform various interfaces other than the tablet terminal 235R.
  • the interface 345 includes a speaker 236FL to a speaker 236BR, a seat speaker 237 to a seat speaker 239R, and the like.
  • CMS346 includes, for example, CMS components and control components.
  • the CMS 349 includes, for example, a camera 51SL4, a camera 51SR4, a camera 51BC2, and a display unit 231LL of the left end portion 231L of the center display 231 and a display unit 231RR of the right end portion 231R.
  • TCM Transactions Computing Unit
  • FIG. 21 shows a specific configuration example of a part of the information processing system 301 mainly related to the CMS 349, the camera module 122L, and the camera module 122R.
  • ADAS DC331, HMI + body DC341, and ToF ECU361 are connected to the secure gateway 311.
  • the secure gateway 311 and the ADAS DC331, HMI + body DC341, and ToF ECU 361 are connected via, for example, Ethernet.
  • the cameras 51SL1 to 51SL3 included in the camera module 122L, the cameras 51SR1 to 51SR3 included in the camera module 122R, the camera 51BC1, the radar 52BC, and the LiDAR53B are connected to the ADAS DC331.
  • a camera 101L and a camera 101R configured by a ToF camera are connected to the ToF ECU 361.
  • the CMS ECU 362, the display unit 231CL to the display unit 231CR of the center display 231, and the sound amplifier 363 are connected to the HMI + body DC341.
  • the HMI + body DC341 and the CMS ECU362 are connected via, for example, a USB cable.
  • the camera 51SL4 included in the camera module 122L, the camera 51SR4 included in the camera module 122R, and the display unit 231LL and the display unit 231RR of the center display 231 are connected to the CMS ECU 362. That is, among the camera modules 122L, the cameras 51SL1 to 51SL3 are connected to the ADAS DC331 and belong to the domain D2, and the camera 51SL4 is connected to the HMI + body DC341 via the CMS ECU 362 and belong to the domain D3. Of the camera modules 122R, the cameras 51SR1 to 51SR3 are connected to the ADAS DC331 and belong to the domain D2, and the camera 51SR4 is connected to the HMI + body DC341 via the CMS ECU 362 and belong to the domain D3.
  • a speaker 364 is connected to the sound amplifier 363.
  • the camera 51SL1 photographs the diagonally left front of the vehicle 1.
  • the camera 51SL2 is composed of a fish-eye camera and photographs the left direction of the vehicle 1.
  • the camera 51SL3 photographs the diagonally left rear of the vehicle 1.
  • the camera 51SR1 photographs the diagonally right front of the vehicle 1.
  • the camera 51SR2 is composed of a fish-eye camera and photographs the right direction of the vehicle 1.
  • the camera 51SR3 photographs the diagonally right rear of the vehicle 1.
  • the camera 51BC1 is composed of a fish-eye camera and photographs the rear of the vehicle 1.
  • the radar 52BC performs sensing behind the vehicle 1.
  • LiDAR53B performs sensing behind the vehicle 1 as described above.
  • the ADAS DC331 realizes, for example, a part of the recognition unit 73 of the vehicle 1.
  • the ADAS DC331 recognizes an object outside the vehicle 1 based on sensor data from the cameras 51SL1 to 51SL3, the cameras 51SR1 to 51SR3, the camera 51BC1, the radar 52BC, and the LiDAR53B.
  • the ADAS DC331 supplies data indicating the recognition result to another domain or the like via the secure gateway 311.
  • the ToF ECU 361 realizes, for example, a part of the recognition unit 73 of the vehicle 1. For example, the ToF ECU 361 recognizes the posture and movement of the driver based on the image of the camera 101L. The ToF ECU 361 recognizes the posture and movement of the passenger in the passenger seat 202 based on the image of the camera 101R. The ToF ECU 361 supplies data indicating the recognition result to another domain or the like via the secure gateway 311.
  • the camera 51SL4 photographs the diagonally left rear of the vehicle 1.
  • the camera 51SR4 photographs the diagonally right rear of the vehicle 1.
  • the CMS ECU 362 controls the CMS.
  • the CMS ECU 362 is a part of the function of the HMI 31, and realizes a display control unit that controls the display of the display unit 231LL and the display unit 231RR.
  • the CMS ECU 362 controls the display of the image of the camera 51SL4 by the display unit 231LL.
  • the CMS ECU 362 controls the display of the image of the camera 51SR4 by the display unit 231RR.
  • the CMS ECU 362 controls the display of the visual effect based on the recognition result of the object by the ADAS DC331 by the display unit 231LL and the display unit 231RR.
  • the HMI + body DC341 realizes a display control unit that controls the display of the display unit 231CL to the display unit 231CR of the center display 231.
  • the speaker 364 includes, for example, a speaker 236FL to a speaker 236BR, and a seat speaker 237 to a seat speaker 239R.
  • the sound amplifier 363 amplifies various sounds output from the speaker 364.
  • the HMI + body DC341 is, for example, a part of the function of the HMI 31, and realizes a voice control unit that controls various voice outputs from the speaker 364.
  • CMS operation example Next, an operation example of the CMS of the vehicle 1 will be described with reference to FIGS. 22 to 37. Specifically, a display example of the display unit 231LL of the left end portion 231L of the center display 231 will be described.
  • the display control unit which is a part of the function of the HMI 31, causes the display unit 231LL to display an image based on the image of the camera 51SL4. More specifically, the display control unit sets a display range in the image of the camera 51SL4, and causes the display unit 231LL to display the image in the set display range.
  • the recognition unit 73 recognizes an object based on sensor data from the cameras 51SL1 to 51SL3, cameras 51SR1 to 51SR3, camera 51BC1, radar 52BC, LiDAR53B, and the like, and recognizes an object outside the vehicle 1.
  • the display control unit controls the display of the display unit 231LL based on the recognition result of the object, the state of the vehicle 1, and the like.
  • FIG. 22 shows a display example of the display unit 231LL in the normal state.
  • a part of the body of the vehicle 1, the vehicle 401 which is a following vehicle traveling in the lane adjacent to the left behind the left rear of the vehicle 1, and the road surface 402 are displayed.
  • a bar 403 is superimposed and displayed on the left end of the display unit 231LL.
  • the bar 403 is displayed, for example, when the vehicle 401 is within the range of the display unit 231LL and the distance from the vehicle 1 is within a predetermined range.
  • the color of the bar 403 is a prominent color, for example yellow.
  • the driver can be alerted by displaying the bar 403 and can surely prevent an accident.
  • the display mode of the bar 403 such as color, brightness, shape, blinking pattern, and movement is not limited to this example, and can be arbitrarily changed.
  • the display mode of the bar 403 changes according to the degree of danger.
  • the vehicle 1 may turn left (turn left) or change lanes to the left lane and collide with or come into contact with the vehicle 401.
  • the risk is high.
  • the width of the bar 403 becomes thicker and blinks. This draws the driver's attention more.
  • the blinking speed of the bar 403 changes according to the degree of danger.
  • the warning sound may be sounded in synchronization with the blinking of the bar 403.
  • the timing at which the bar 403 is displayed is earlier. That is, the bar 403 is displayed from the time when the vehicle 401 is located farther from the vehicle 1.
  • the mark 404 which is a visual effect of a triangle indicating the existence of the vehicle 401, is superimposed and displayed near the vehicle 401. It may be done. The mark 404 moves following the movement of the vehicle 401.
  • the driver can surely recognize the position of the vehicle 401 even when the visibility of the image displayed on the display unit 231LL is poor due to fog, haze, or the like.
  • the position of the vehicle 401 may be notified by a display mode different from that of the mark 404 in FIG. 25. For example, a frame surrounding the vehicle 401 may be displayed.
  • the display unit 231RR of the right end portion 231R of the center display 231 is also based on the state of the vehicle traveling in the lane to the right of the vehicle 1 and the operation of the right direction indicator. Then, the same display is performed.
  • the display control unit controls the range of the image to be displayed on the display unit 231LL according to the operation of the direction indicator.
  • FIG. 26 shows an example of changing the range of the image displayed on the display unit 231LL according to the operation of the direction indicator in the left direction.
  • a and B in FIG. 26 show an example of an image taken by the camera 51SL4.
  • vehicles 421-1 to 421-4 and the like traveling in the left lane of vehicle 1 are shown.
  • the image in the area A21a of FIG. 26A is extracted, and the image in the area A22a is displayed on the display unit 231LL.
  • the area A22a includes vehicles 421-2 to 421-4, and does not include vehicles 421-1.
  • the left direction indicator of the vehicle 1 is turned on, the image in the area A21b of B in FIG. 26 is extracted, and the image in the area A22b is displayed on the display unit 231LL.
  • the region A21b and the region A22b are wider than the region A21a and the region A22a. That is, the display range of the display unit 231LL is zoomed out (expanded) and expanded. Then, in addition to the vehicles 421-2 to 421-4, the rear end portion of the vehicle 421-1 is included in the region A22b.
  • an icon, a frame, or the like indicating that the display unit has been zoomed out may be displayed on the display unit 231LL.
  • the range of the field of view (hereinafter referred to as the essential field of view range) that is always visible in the CMS is defined.
  • the required field of view varies depending on the capacity and weight of the vehicle, and FIG. 27 shows an example.
  • the essential field of view consists of the area A23L, the area A23R, and the area A23C.
  • the area A23L is an area surrounded by points P22L to P26L on the left side of the vehicle 1.
  • the leftmost point of the vehicle 1 corresponding to the position of the driver's eyes in the front-rear direction of the vehicle 1 is set as the reference point P21L.
  • the point P22L is a point 4 m behind the reference point P21L.
  • the point P23L is a point 60 m behind the reference point P21L.
  • the point P24L is a point separated from the point P22L in the left direction by 1 m.
  • the point P25L is a point 20 m behind the reference point P21L and 4 m to the left.
  • the point P26L is a point 60 m behind the reference point P21L and 4 m to the left.
  • Area A23R is an area surrounded by points P22R to P26R on the right side of vehicle 1. Specifically, the point at the right end of the vehicle 1 corresponding to the position of the driver's eyes in the front-rear direction of the vehicle 1 is set as the reference point P21R.
  • the point P22R is a point 4 m behind the reference point P21R.
  • the point P23R is a point 60 m behind the reference point P21R.
  • the point P24R is a point separated from the point P22R in the right direction by 1 m.
  • the point P25R is a point 20 m behind the reference point P21R and 4 m to the right.
  • the point P25R is a point 60 m behind and 4 m to the right of the reference point P21R.
  • Region A23C is a region having a width of 20 m centered on the center of the vehicle 1 in the left-right direction, which is separated from the position of the driver's eyes of the vehicle 1 by 60 m or more behind.
  • the display unit 231RR of the center display 231 also controls the same display range according to the operation of the right direction indicator. Further, the display range of the display unit 231RR is changed so that the area A23R is always included.
  • the display control unit controls the display range of the display unit 231LL based on the shift position of the vehicle 1.
  • FIG. 28 shows an example of changing the display range of the display unit 231LL based on the shift position of the vehicle 1.
  • a and B in FIG. 28 show an example of an image taken by the camera 51SL4.
  • the vehicle 441-1 and the vehicle 441-2 parked side by side on the left rear side of the vehicle 1 are shown.
  • the image in the area A31a of FIG. 28A is extracted, and the image in the area A32a is displayed on the display unit 231LL.
  • the image in the area A31b of FIG. 28B is extracted, and the image in the area A32b is displayed on the display unit 231LL.
  • the region A31b and the region A32b are wider than the region A31a and the region A32a. That is, the display range of the display unit 231LL is zoomed out and expanded. At this time, for example, the display range of the display unit 231LL may be automatically moved downward so that the ground around the vehicle 1 is displayed more widely.
  • the display range of the display unit 231RR of the center display 231 is changed in the same manner as the display unit 231LL based on the shift position of the vehicle 1.
  • the driver can set the display range of the display unit 231LL and the display unit 231RR by operating the operation screen displayed on the console display 232 shown in FIG. 13 or the like.
  • the driver can individually move the display range of the display unit 231LL and the display range of the display unit 231RR, or individually set the zoom ratio (Zoom Factor) for each display range.
  • the display range can be set within the configurable range A41 shown in FIG. 29.
  • the parts corresponding to those in FIG. 26 are designated by the same reference numerals, and the description thereof will be omitted as appropriate.
  • the size of the extraction range A42 extracted for display from the captured image is set based on the set zoom ratio. That is, the extraction range A42 is zoomed in (reduced) and zoomed out (expanded) based on the zoom ratio. Then, the image in the predetermined display range A43 in the extraction range A42 is displayed on the display unit 231LL.
  • the display range A43 can be moved within the settable range A41.
  • the settable range A41 is set in a range in which the area A23L is included in the display range A43.
  • a warning is given to the driver.
  • a warning message is displayed on the display unit 231LL and a warning sound is output.
  • the movement range of the display range A43 may be restricted so that the display range A43 does not go out of the settable range A41 regardless of the operation of the driver.
  • the driver can move the display range A43 to a position of his choice within the range including the area A23L, or zoom in or out of the display range A43. Can be done. Further, the driver can adjust the display range A43 without distracting his / her line of sight by, for example, moving or clicking the finger on the console display 232 while the driver is in the driving posture.
  • the driver can change the range that can be seen through the side mirror by bringing his face close to the side mirror and looking into the side mirror.
  • the driver may check the presence or absence of an obstacle on the ground around the vehicle by looking into the side mirror when parking or the like.
  • the display range of the display unit 231LL can also be changed by the driver moving his / her face close to the display unit 231LL and looking into the display unit 231LL.
  • the DMS 30 detects the position and orientation of the driver's head by recognizing the skeleton of the driver based on the image of the camera 101L.
  • the DMS 30 detects the angle at which the driver looks into the display unit 231LL when the driver recognizes the action of looking into the display unit 231LL based on the position and orientation of the driver's head.
  • the display control unit displays the display unit 231LL based on the angle at which the driver looks into the display unit 231LL when the vehicle 1 is stopped, that is, when the speed of the vehicle 1 is 0. Control the range.
  • FIG. 30 shows the display range of the display unit 231LL before the driver looks into it.
  • a part of the body of the vehicle 1 is displayed in the lower right corner of the display unit 231LL.
  • a part of the upper part of the object 461 on the left rear side of the vehicle 1 is displayed.
  • the display range of the display unit 231LL changes as shown in FIG. 31. Specifically, the display range of the display unit 231LL moves downward. As a result, the lower part of the object 461 is also displayed on the display unit 231LL, and the driver can visually recognize the entire object 461.
  • the line 462 which is a band-shaped visual effect indicating the area of the ground within a predetermined range around the vehicle 1, is displayed superimposed and blinks.
  • the driver can quickly recognize an object that the vehicle 1 may collide with or come into contact with, and move the vehicle 1 while avoiding the recognized object.
  • FIG. 32 shows the display range of the display unit 231LL before the driver looks into it.
  • a part of the body of the vehicle 1 is displayed at the right end of the display unit 231LL.
  • a part of the vehicle 481 on the left rear is displayed on the upper left of the display unit 231LL.
  • a parking line 482 is displayed between the vehicle 1 and the vehicle 481.
  • the upper end of the object 483 is displayed on the left side of the vehicle 1 and at the lower end of the display unit 231LL.
  • the display range of the display unit 231LL is zoomed out as described above with reference to FIG. 28.
  • the display range of the display unit 231LL is expanded, and the range in which the vehicle 1, the vehicle 481, and the object 483 are displayed is expanded.
  • the display range of the display unit 231LL moves downward as shown in FIG. 34.
  • the entire object 483 is displayed on the display unit 231LL.
  • the driver can park the vehicle 1 while reliably avoiding the object 483.
  • the display range does not change even if the driver looks into the display unit 231LL and the display unit 231RR.
  • the display range of the digital rear mirror 234 moves.
  • the DMS 30 detects the angle at which the driver looks into the digital rear mirror 234 when the driver recognizes the action of looking into the digital rear mirror 234 based on the position and orientation of the driver's head.
  • the display control unit displays the digital rear mirror 234 based on the angle at which the driver looks into the digital rear mirror 234 when the vehicle 1 is stopped, that is, when the speed of the vehicle 1 is 0. Control the range.
  • the DMS 30 detects the movement of the driver's left hand by recognizing the skeleton of the driver based on the image of the camera 101L.
  • the recognition unit 73 detects an object around the door 121FL of the driver's seat 201 outside the vehicle 1 based on the images of the camera 51SL2, the camera 51SL3, and the like. Then, when the display unit 231LL operates to open the door 121FL when an object is detected within a predetermined range around the door 121FL of the driver's seat 201, for example, the driver's left hand is the door 121FL.
  • the door opener 216FL is touched, a warning is displayed.
  • FIG. 35 shows a display example of the display unit 231LL before the driver's left hand touches the door opener 216FL.
  • a part of the body of the vehicle 1 is displayed at the right end of the display unit 231LL.
  • the display unit 231LL displays a warning as shown by diagonal lines in FIG. 37.
  • the bar 502 which is a vertically long strip-shaped visual effect, is superimposed and displayed, and blinks.
  • the color of the bar 502 is a prominent color, for example yellow.
  • a warning sound may be output.
  • the driver DR1 is alerted to the pedestrian 501, and the door 121FL is prevented from colliding with the pedestrian 501 when the door 121FL is opened.
  • the body system control unit 84 may increase the torque of the door 121FL to make it difficult to open the door 121FL.
  • the display unit 231RR on the passenger seat 202 side may display the same warning. ..
  • the display control unit causes the display unit 231CL to display the content according to the situation based on at least one of the situation of the vehicle 1, the situation around the vehicle 1, and the situation of the occupant.
  • the light control unit 85 lights or blinks the illumination 207 in a pattern according to the situation based on at least one of the situation of the vehicle 1, the situation around the vehicle 1, and the situation of the occupant.
  • the emission pattern of illumination 207 is defined by, for example, at least one of color, brightness, blinking pattern, movement of light, and emission region.
  • the DMS 30 performs the driver recognition process based on at least one of the image of the camera 101L and the image of the camera 102. Then, the display unit 231CL and the illumination 207 notify that the driver has been recognized.
  • FIG. 38 shows the state of the display unit 231CL and the illumination 207 before the driver recognizes it.
  • the status of the vehicle 1 is displayed on the display unit 231CL. Specifically, the shift position, charge amount, speed, cruising range, etc. are displayed.
  • Illuminations 207 is off.
  • FIG. 39 shows the state of the display unit 231CL and the illumination 207 when the driver is recognized.
  • the display unit 231CL displays the recognized driver's image, name, and message to the driver. After that, the display unit 231CL returns to the state shown in FIG. 38.
  • the illumination 207 lights up in a predetermined pattern.
  • a plurality of short bands of white light move in a predetermined pattern over the illumination 207.
  • the body system control unit 84 has the position and angle of the driver's seat 201 and the position and angle of the steering wheel 206 based on the recognized physique of the driver or the preference of the driver set in advance. Etc. may be set. As a result, a driving position suitable for the recognized driver is set.
  • the display control unit may adjust the display position of the display unit 231CL of the center display 231 based on the recognized position of the driver's eyes, the position and angle of the steering wheel 206, and the like. good.
  • the display range of the display unit 231CL is set at a position that is easy to see without being obstructed by the steering wheel 206 according to the recognized driver.
  • the display unit 231CL and the illumination 207 notify that the preparation for automatic driving is completed.
  • FIG. 40 shows the state of the display unit 231CL and the illumination 207 when the preparation for automatic operation is completed.
  • the display unit 231CL displays an icon 601 indicating that the preparation for automatic operation is completed. To the left of the icon 601 is the speed limit of the road on which the vehicle 1 is traveling.
  • the illumination 207 lights up in a predetermined pattern.
  • a plurality of short bands of white light move in a predetermined pattern over the illumination 207.
  • the display unit 231CL and the illumination 207 notify the start of the automatic driving.
  • FIG. 41 shows the state of the display unit 231CL and the illumination 207 at the start of automatic operation.
  • the display unit 231CL displays, for example, an image in front of the vehicle 1 taken by the camera 51FC1.
  • a shift position, a charge amount, a speed, a cruising range, a speed limit of a traveling road, fuel consumption, and the like are displayed.
  • an icon 602 indicating that automatic operation is in progress is displayed to the right of the above-mentioned icon 601. Further, for example, the color of the icon 601 changes with the start of automatic operation.
  • the illumination 207 lights up in a predetermined pattern. For example, a plurality of short bands of white light gradually turn blue while moving in a predetermined pattern over the illumination 207. Finally, the entire illumination 207 is lit in blue, and the state of being lit in blue is maintained during the automatic operation.
  • FIG. 42 shows the state of the display unit 231CL and the illumination 207 when the vehicle 1 changes lanes to the right lane during automatic driving.
  • the display unit 231CL When the vehicle 1C changes lanes, the display unit 231CL superimposes and displays guidance information 603 including an animation for notifying the implementation of the lane change and the direction on the image in front of the vehicle 1.
  • the blue light of the entire illumination disappears, and the predetermined blinking range A101 on the right side of the illumination 207 blinks blue.
  • the blinking range A101 rotates in the opposite direction (counterclockwise) according to the rotation angle of the steering wheel 206.
  • the blinking range A101 rotates in the opposite direction (clockwise) according to the rotation angle of the steering wheel 206.
  • the blinking range A101 is maintained at a constant position when viewed from the outside without rotating together with the steering wheel 206. Then, after the rotation angle of the steering wheel 206 returns to 0 degrees, the entire illumination 207 lights up in blue as before the lane change.
  • the guidance information 603 is superimposed and displayed on the display unit 231CL, and the predetermined blinking range on the left side of the illumination 207 blinks in blue.
  • the vehicle 1 changes direction (for example, a left turn or a right turn)
  • direction for example, a left turn or a right turn
  • guidance information including an animation for performing a turn change and notifying the direction is superimposed and displayed on the display unit 231CL, and a predetermined blinking range corresponding to the turn direction of the illumination 207 blinks in blue.
  • FIG. 43 shows the state of the display unit 231CL and the illumination 207 when a dangerous state is detected around the vehicle 1.
  • a message 611 and an icon 612 indicating a detected state, a countermeasure, and the like are displayed.
  • the blue light of the entire illumination 207 is extinguished, and the predetermined blinking range A111 above the illumination 207 blinks.
  • the color and blinking speed of the light in the blinking range A111 change based on the detected risk. For example, when the degree of danger is high, the blinking range A111 blinks in red, and when the degree of danger is low, the blinking range A111 blinks in yellow. Further, the higher the degree of danger, the faster the blinking speed, and the lower the degree of danger, the slower the blinking speed.
  • a warning sound is output according to the blinking of the blinking range A111.
  • the vehicle 1 can realize 360-degree real audio.
  • the driver's seat 201, the passenger seat 202, the rear seat 203L, and the rear seat 203L each include a seat speaker 237, a seat speaker 238, a seat speaker 239L, and a seat speaker 239R. Therefore, the HMI 31 can individually and freely control the sound image, sound field, volume, and the like for the passengers in each seat.
  • the DMS 30 can recognize the shape and position of both ears of the driver based on the image of the camera 101L. Therefore, the voice control unit appropriately sets the sound image, sound field, volume, etc. for the driver by controlling the seat speaker 237 and the like of the driver's seat 201 based on the position and shape of both ears of the driver. Can be done.
  • the DMS 30 can recognize the shape and position of both ears of the passenger in the passenger seat 202 based on the image of the camera 101R. Therefore, the voice control unit appropriately sets the sound image, sound field, volume, etc. for the passenger by controlling the seat speaker 238 and the like of the passenger seat 202 based on the position and shape of both ears of the passenger. Can be done.
  • the DMS 30 can recognize the shape and position of both ears of the passenger in the rear seat 203L based on the image of the ToF camera provided on the tablet terminal 235L. Therefore, the voice control unit appropriately sets the sound image, sound field, volume, etc. for the passenger by controlling the seat speaker 239L or the like of the rear seat 203L based on the position and shape of both ears of the passenger. Can be done.
  • the DMS 30 can recognize the shape and position of both ears of the passenger in the rear seat 203R based on the image of the ToF camera provided on the tablet terminal 235R. Therefore, the voice control unit appropriately sets the sound image, sound field, volume, etc. for the passenger by controlling the seat speaker 239R or the like of the rear seat 203R based on the position and shape of both ears of the passenger. Can be done.
  • the vehicle 1 can individually output audio to the passengers in each seat, and can individually control the sound image, sound field, volume, and the like.
  • FIGS. 44 to 47 show an example of a method of controlling a warning sound that calls attention to a vehicle 701 approaching from the left rear.
  • FIG. 44 shows the sound field A151 at the start of output of the warning sound.
  • the apex of the conical sound field A151 indicates the position of the virtual sound source.
  • the direction in which the cone spreads from the apex of the sound field A151 indicates the direction in which the sound field spreads.
  • the direction of the sound field A151 is set to be substantially equal to the direction in which the driver's head of the vehicle 1 is viewed from the vehicle 701. Further, the virtual sound source of the warning sound is set at a position separated by a predetermined distance from the driver's head in the direction of the vehicle 701.
  • the sound field A151 moves as the vehicle 701 approaches the vehicle 1. Specifically, the sound field A151 moves from the vehicle 701 so as to always face a direction substantially equal to the direction in which the driver's head of the vehicle 1 is viewed. Further, the sound field A151 moves so that the distance between the virtual sound source of the horn and the driver's head is substantially proportional to the distance between the vehicle 701 and the vehicle 1.
  • the driver can recognize the approach of the vehicle 701 by the warning sound.
  • the driver can intuitively recognize the speed, distance, and direction of the vehicle 701 by the movement of the warning sound.
  • FIGS. 48 to 50 a modified example of the system architecture of the vehicle 1 will be described with reference to FIGS. 48 to 50. Specifically, a modified example of the configuration of the domain controller (domain) of the information processing system 301 will be described. In FIGS. 48 to 50, the illustration of the configuration under the domain controller is omitted.
  • FIG. 48 shows a configuration example of the information processing system 801 which is the first modification of the information processing system 301.
  • the parts corresponding to those in FIG. 20 are designated by the same reference numerals, and the description thereof will be omitted as appropriate.
  • the information processing system 801 is provided with the HMI DC811 and the body DC812 instead of the HMI + body DC341. That is, the HMI + body DC341 is divided into an HMI DC811 and a body DC812. Therefore, the domain D3 in FIG. 20 is divided into an HMI-based domain and a body-based domain.
  • FIG. 49 shows a configuration example of the information processing system 821, which is a second modification of the information processing system 301.
  • the parts corresponding to the information processing system 801 of FIG. 48 are designated by the same reference numerals, and the description thereof will be omitted as appropriate.
  • the information processing system 821 is provided with ADAS + HMI DC831 instead of ADAS DC331 and HMI DC811 as compared with the information processing system 801. That is, ADAS DC331 and HMI DC811 are integrated. Therefore, the ADAS-based domain D2 (FIG. 20) and the HMI-based domain are integrated.
  • FIG. 50 shows a configuration example of the information processing system 841, which is a third modification of the information processing system 301.
  • the parts corresponding to the information processing system 801 of FIG. 48 are designated by the same reference numerals, and the description thereof will be omitted as appropriate.
  • the information processing system 841 is provided with ADAS + HMI + body DC851 instead of ADAS DC331, HMI DC811, and body DC812 as compared with the information processing system 801. That is, ADAS DC331, HMI DC811, and body DC812 are integrated. Therefore, the domain D2 and the domain D3 of FIG. 20 are integrated.
  • ADAS + HMI + body DC851 can be realized by one hardware 871 using virtualization technology, for example, as shown in FIG. 51.
  • the functions corresponding to ADAS DC313, HMI DC811, and body DC812 are realized by the guest VM (Virtual Machine) 882-1 to the guest VM 882-3 operating on the hypervisor 881 in the hardware 871, respectively. You may do so.
  • FIG. 52 shows a configuration example of the information processing system 901, which is a modification of the information processing system 301 of FIG. 21.
  • the parts corresponding to the information processing system 301 in FIG. 21 are designated by the same reference numerals, and the description thereof will be omitted as appropriate.
  • the information processing system 901 is different from the information processing system 301 of FIG. 21 in that the video splitter 911 is provided.
  • the camera 51SL2, the camera 51SR2, and the camera 51BC1 are connected to the video splitter 911.
  • the video splitter 911 branches the image signals of the camera 51SL2, the camera 51SR2, and the camera 51BC1 into two image signals, respectively, and supplies them to the ADAS DC331 and the HMI + body DC341. Therefore, the camera 51SL2, the camera 51SR2, and the camera 51BC1 are connected to the ADAS DC331 and the HMI + body DC341 via the video splitter 911. That is, the camera 51SL2, the camera 51SR2, and the camera 51BC1 belong to both the domain D2 and the domain D3 shown in FIG.
  • the camera 51FC1 is also connected to the ADAS DC331 and the HMI + body DC341 via the video splitter 911.
  • the HMI + body DC341 generates an image for surround view based on the images of the camera 51FC1, the camera 51SL2, the camera 51SR2, and the camera 51BC1.
  • the HMI + body DC341 causes the surround view image to be displayed on one or more of the display units 231CL to the display unit 231CR of the center display 231.
  • FIG. 53 shows a configuration example of the video splitter 911. Although FIG. 53 shows only the circuit related to the camera 51SL2, the same circuit is provided for the other cameras 51FC1, the camera 51SR2, and the camera 51BC1.
  • the video splitter 911 includes an input terminal 921, a deserializer 922, a serializer 923-1 and a serializer 923-2, and an output terminal 924-1 and an output terminal 924-2.
  • the deserializer 922 is connected to the input terminal 921, and the serializer 923-1 and the serializer 923-2.
  • the serializer 923-1 is connected to the output terminal 924-1.
  • the serializer 923-2 is connected to the output terminal 924-2.
  • the image signal of the camera 51SL2 is input to the deserializer 922 via the input terminal 921.
  • the deserializer 922 branches the image signal and supplies it to the serializer 923-1 and the serializer 923-2.
  • the serializer 923-1 converts the image signal into a serial signal and supplies it to the ADAS DC331 via the output terminal 924-1.
  • the serializer 923-2 converts the image signal into a serial signal and supplies it to the HMI + body DC341 via the output terminal 924-2.
  • the fish-eye camera 941 of FIG. 54 may be used for the camera 51FC1, the camera 51SL2, the camera 51SR2, and the camera 51BC1.
  • the fisheye camera 941 includes a lens 951, a serializer 952, an output terminal 953-1 and an output terminal 953-2. It should be noted that the illustration of the circuit that captures and processes the image is omitted.
  • the fish-eye camera 941 branches the image signal obtained by shooting by the serializer 952.
  • the branched image signal is supplied to ADAS DC331 via the output terminal 953-1 and supplied to the HMI + body DC341 via the output terminal 953-2.
  • the system architecture can be flexibly changed. Then, by appropriately designing the system architecture, for example, the complexity of the system including each camera can be suppressed and the system can be made simpler.
  • the camera 51SL1 and the camera 51SL2 into one wide-angle and high-resolution camera.
  • the camera 51SL2 and the camera 51SL3 can be integrated into one wide-angle and high-resolution camera.
  • the camera 51SL3 and the camera 51SL4 can be integrated into one wide-angle and high-resolution camera.
  • the cameras 51SL1 to 51SL3 can be integrated into one wide-angle and high-resolution camera.
  • the camera 51SL1 to the camera 51SL4 can be integrated into one high-resolution fish-eye camera.
  • one of the camera 51SL2 and the camera 51SR2 configured by the fish-eye camera can be omitted.
  • one of the images of the digital outer mirror displayed on the display unit 231LL and the display unit 231RR of the center display 231 may be displayed on the central unit 231C.
  • this technique can be applied to, for example, a mobile device in which a passenger performs automatic driving without driving.
  • the above-mentioned distinction between the driver's seat 201 and the passenger's seat 202 is eliminated, and the various displays described above are arranged in front of the seats in the mobile device. Further, for example, the display range of the image displayed on the display is changed based on the line-of-sight direction, posture, and the like of a person sitting in a predetermined seat.
  • the types of vehicles to which this technology can be applied are not particularly limited.
  • this technology can also be applied to mobile devices such as personal mobility, transportation robots, airplanes, ships, construction machinery, and agricultural machinery.
  • the mobile device to which the present technology can be applied includes, for example, a mobile device such as a drone or a robot that takes a picture of the surroundings without a person on board.
  • the program executed by the computer may be a program in which processing is performed in chronological order according to the order described in the present specification, in parallel, or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the embodiment of the present technology is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present technology.
  • this technology can take a cloud computing configuration in which one function is shared by multiple devices via a network and processed jointly.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • the present technology can also have the following configurations.
  • the optical axis of the first camera faces diagonally backward of the mobile device
  • the optical axis of the second camera faces the lateral direction or diagonally forward of the mobile device.
  • module Further comprising at least one of a third camera housed in the housing and a fourth camera housed in the housing.
  • the optical axis of the third camera faces diagonally backward of the moving device and faces a direction closer to the lateral direction of the moving device than the optical axis of the first camera.
  • the camera module according to (1) wherein the optical axis of the fourth camera faces diagonally forward of the moving device and faces a direction closer to the front direction of the moving device than the optical axis of the second camera. .. (3)
  • the first camera is used in a CMS (Camera Monitoring System).
  • the second camera is used for surround view and
  • the third camera is used for ADAS (Advanced Driver Assistance System).
  • the fourth camera is the camera module according to (2) used for ADAS.
  • the camera module according to (3) wherein the second camera has a wider angle than the first camera, the third camera, and the fourth camera.
  • the second camera is a fish-eye camera.
  • the first camera is used for at least one of CMS and ADAS.
  • a recognition unit that recognizes an object outside the moving device based on the second image taken by the second camera, and a recognition unit.
  • An information processing system including the first image and a display control unit that controls display of a visual effect based on the result of object recognition by the recognition unit on the first display.
  • a first domain controller that controls the first domain including the first camera and the display control unit, and a first domain controller.
  • a second display extending in the left-right direction in front of the room of the mobile device is provided.
  • the display control unit controls the display of the surround view using the second image by the second display.
  • the first display and the second display are integrated.
  • the optical axis of the third camera faces diagonally rearward of the moving device and faces a direction closer to the lateral direction of the moving device than the optical axis of the first camera, and the optical axis of the fourth camera faces.
  • the information processing system according to (20) wherein the moving device faces diagonally forward and faces a direction closer to the front direction of the moving device than the optical axis of the second camera.
  • the recognition unit is an object outside the moving device based on at least one of a third image taken by the third camera and a fourth image taken by the fourth camera.
  • a first domain controller that controls the first domain including the first camera and the display control unit, and a first domain controller.
  • (21) Further comprising a second domain controller that controls a second domain including the second camera and the recognition unit, and at least one of the third camera and the fourth camera.
  • the optical axis of the second camera faces diagonally rearward of the moving device and faces a direction closer to the lateral direction of the moving device than the optical axis of the first camera. Information processing system described in the camera.
  • (25) Controls the display on the CMS display of images based on the first image taken by the first camera with the optical axis pointing diagonally backwards of the moving device.
  • An information processing method for controlling the display of a visual effect based on the result of object recognition on the display It is equipped with a display control unit that controls the display of the display used for CMS.
  • the display control unit is housed in an image based on a first image taken by a first camera whose optical axis faces diagonally rearward of the moving device, and in the same housing as the first camera, and has an optical axis.
  • the visual effect based on the result of object recognition outside the moving device based on the second image taken by the second camera facing the direction closer to the front direction of the moving device from the optical axis of the first camera.
  • An information processing device that controls the display on the display.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本技術は、車両等の移動装置においてカメラを含むシステムの複雑化を抑制することができるようにするカメラモジュール、情報処理システム、情報処理方法、及び、情報処理装置に関する。 カメラモジュールは、第１のカメラと、第２のカメラと、前記第１のカメラ及び前記第２のカメラを格納する筐体とを備え、移動装置に設置された状態で、前記第１のカメラの光軸は、前記移動装置の斜め後方を向き、前記第２のカメラの光軸は、前記移動装置の横方向又は斜め前方を向く。本技術は、例えば、自動運転を行う車両に適用できる。

Description

カメラモジュール、情報処理システム、情報処理方法、及び、情報処理装置
　本技術は、カメラモジュール、情報処理システム、情報処理方法、及び、情報処理装置に関し、特に、移動装置においてカメラを効果的に利用できるようにしたカメラモジュール、情報処理システム、情報処理方法、及び、情報処理装置に関する。
　近年、従来のドアミラーの代わりに、車両の後方を撮影した画像を車内のディスプレイに表示するＣＭＳ（Camera Monitoring System）の開発が進んでいる。
　例えば、従来、ＣＭＳに用いるドアミラーとして、ともに車両の後方に向けられ、車内のディスプレイに表示する画像を撮影するメインカメラと、レンズの曇り等を検出するサブカメラとを備えるドアミラーが提案されている（例えば、特許文献１、２参照）。
　また、近年、ＣＭＳや自動運転に対応するために、車両に搭載されるカメラの数が増加している。
特開２０１８－１９７０２１号公報 特開２０１９－５１７６９号公報
　しかしながら、カメラの数が増加すると、各カメラを含む車両のシステムアーキテクチャが複雑になる。また、カメラの設置位置及び配線等の設計の難易度が高くなる。
　本技術は、このような状況に鑑みてなされたものであり、車両等の移動装置においてカメラを含むシステムの複雑化を抑制できるようにするものである。
　本技術の第１の側面のカメラモジュールは、第１のカメラと、第２のカメラと、前記第１のカメラ及び前記第２のカメラを格納する筐体とを備え、移動装置に設置された状態で、前記第１のカメラの光軸は、前記移動装置の斜め後方を向き、前記第２のカメラの光軸は、前記移動装置の横方向又は斜め前方を向く。
　本技術の第２の側面の情報処理システムは、光軸が移動装置の斜め後方を向く第１のカメラと、前記第１のカメラと同じ筐体に格納され、光軸が前記第１のカメラの光軸より前記移動装置の正面方向に近い方向を向く第２のカメラと、ＣＭＳに用いられ、前記第１のカメラにより撮影された第１の画像に基づく画像を表示する第１のディスプレイと、前記第２のカメラにより撮影された第２の画像に基づいて、前記移動装置の外部の物体認識を行う認識部と、前記第１の画像、及び、前記認識部による物体認識の結果に基づく視覚効果の前記第１のディスプレイによる表示を制御する表示制御部とを備える。
　本技術の第３の側面の情報処理方法は、光軸が移動装置の斜め後方を向く第１のカメラにより撮影された第１の画像に基づく画像のＣＭＳ用のディスプレイによる表示を制御し、前記第１のカメラと同じ筐体に格納され、光軸が前記第１のカメラの光軸より前記移動装置の正面方向に近い方向を向く第２のカメラにより撮影された第２の画像に基づいて、前記移動装置の外部の物体認識を行い、前記物体認識の結果に基づく視覚効果の前記ディスプレイによる表示を制御する。
　本技術の第４の側面の情報処理装置は、ＣＭＳに用いられるディスプレイの表示を制御する表示制御部を備え、前記表示制御部は、光軸が移動装置の斜め後方を向く第１のカメラにより撮影された第１の画像に基づく画像、及び、前記第１のカメラと同じ筐体に格納され、光軸が前記第１のカメラの光軸より前記移動装置の正面方向に近い方向を向く第２のカメラにより撮影された第２の画像に基づく前記移動装置の外部の物体認識の結果に基づく視覚効果の前記ディスプレイによる表示を制御する。
　本技術の第１の側面においては、移動装置に設置された状態で、第１のカメラの光軸が、前記移動装置の斜め後方に向けられ、前記第２のカメラの光軸が、前記移動装置の横方向又は斜め前方に向けられる。
　本技術の第２の側面又は第３の側面においては、光軸が移動装置の斜め後方を向く第１のカメラにより撮影された第１の画像に基づく画像の表示が制御され、前記第１のカメラと同じ筐体に格納され、光軸が前記第１のカメラの光軸より前記移動装置の正面方向に近い方向を向く第２のカメラにより撮影された第２の画像に基づいて、前記移動装置の外部の物体認識が行われ、前記物体認識の結果に基づく視覚効果の表示が制御される。
　本技術の第４の側面においては、光軸が移動装置の斜め後方を向く第１のカメラにより撮影された第１の画像に基づく画像、及び、前記第１のカメラと同じ筐体に格納され、光軸が前記第１のカメラの光軸より前記移動装置の正面方向に近い方向を向く第２のカメラにより撮影された第２の画像に基づく前記移動装置の外部の物体認識の結果に基づく視覚効果の表示が制御される。
車両制御システムの構成例を示すブロック図である。 カメラ、ＬｉＤＡＲ、レーダ、及び、超音波センサの設置位置の例を示す図である。 魚眼カメラの撮影範囲の例を示す図である。 車両の正面図である。 車両の左側面である。 カメラモジュールの構成例を示す図である。 カメラモジュールの構成例を示す図である。 カメラモジュールの構成例を示す図である。 カメラモジュールの構成例を示す分解図である。 カメラモジュールのカメラの配置例を示す図である。 カメラモジュールのカメラの配置例を示す図である。 車両の室内を右方向から見下ろした模式図である。 車両の室内の前方を示す模式図である。 車両の運転席の前方を示す模式図である。 車両のステアリングホイール付近の拡大図である。 カメラモジュールにおけるＴｏＦカメラの設置位置の例を示す図である。 ＴｏＦカメラの撮影範囲の例を示す図である。 車両の室内を前方から見た模式図である。 運転席を左斜め後方から見た模式図である。 情報処理システムの構成例を示すブロック図である。 情報処理システムの具体的な構成例を示すブロック図である。 通常時のＣＭＳ用の表示部の表示例を示す図である。 隣接車線の車両の接近時のＣＭＳ用の表示部の表示例を示す図である。 方向指示器オン時のＣＭＳ用の表示部の表示例を示す図である。 隣接車線の車両の接近時のＣＭＳ用の表示部の表示例を示す図である。 方向指示器オン時のＣＭＳ用の表示部の表示例を示す図である。 必須視界範囲の例を示す図である。 シフトポジションに基づいてＣＭＳ用の表示部の表示範囲を変更する例を説明するための図である。 ＣＭＳ用の表示部の表示範囲の設定方法を説明するための図である。 ＣＭＳ用の表示部を覗き込んだ場合の表示範囲を説明するための図である。 ＣＭＳ用の表示部を覗き込んだ場合の表示範囲を説明するための図である。 シフトポジションをリバースに設定してＣＭＳ用の表示部を覗き込んだ場合の表示範囲を説明するための図である。 シフトポジションをリバースに設定してＣＭＳ用の表示部を覗き込んだ場合の表示範囲を説明するための図である。 シフトポジションをリバースに設定してＣＭＳ用の表示部を覗き込んだ場合の表示範囲を説明するための図である。 ドアオープナーに触れた場合のＣＭＳ用の表示部の制御方法を説明するための図である。 ドアオープナーに触れた場合のＣＭＳ用の表示部の制御方法を説明するための図である。 ドアオープナーに触れた場合のＣＭＳ用の表示部の制御方法を説明するための図である。 運転者の認識前の運転席用の表示部及びステアリングホイールのイルミネーションの状態を示す図である。 運転者の認識時の運転席用の表示部及びステアリングホイールのイルミネーションの状態を示す図である。 自動運転の準備完了時の運転席用の表示部及びステアリングホイールのイルミネーションの状態を示す図である。 自動運転開始時の運転席用の表示部及びステアリングホイールのイルミネーションの状態を示す図である。 自動運転中の車線変更時の運転席用の表示部及びステアリングホイールのイルミネーションの状態を示す図である。 危険検出時の運転席用の表示部及びステアリングホイールのイルミネーションの状態を示す図である。 左後方から接近する車両に対する注意を喚起する警告音の制御方法を説明するための図である。 左後方から接近する車両に対する注意を喚起する警告音の制御方法を説明するための図である。 左後方から接近する車両に対する注意を喚起する警告音の制御方法を説明するための図である。 左後方から接近する車両に対する注意を喚起する警告音の制御方法を説明するための図である。 図２０の情報処理システムの第１の変形例を示すブロック図である。 図２０の情報処理システムの第２の変形例を示すブロック図である。 図２０の情報処理システムの第３の変形例を示すブロック図である。 ＡＤＡＳ＋ＨＭＩ＋ボディＤＣの実現方法の例を示すブロック図である。 図２１の情報処理システムの変形例を示すブロック図である。 ビデオスプリッタの構成例を示すブロック図である。 魚眼カメラの構成例を示すブロック図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．車両制御システムの構成例
　２．実施の形態
　３．変形例
　４．その他
　＜＜１．車両制御システムの構成例＞＞
　図１は、本技術が適用される移動装置制御システムの一例である車両制御システム１１の構成例を示すブロック図である。
　車両制御システム１１は、車両１に設けられ、車両１の走行支援及び自動運転に関わる処理を行う。
　車両制御システム１１は、プロセッサ２１、通信部２２、地図情報蓄積部２３、ＧＮＳＳ（Global Navigation Satellite System）受信部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記録部２８、走行支援・自動運転制御部２９、ＤＭＳ（Driver Monitoring System）３０、ＨＭＩ（Human Machine Interface）３１、及び、車両制御部３２を備える。
　プロセッサ２１、通信部２２、地図情報蓄積部２３、ＧＮＳＳ受信部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記録部２８、走行支援・自動運転制御部２９、ドライバモニタリングシステム（ＤＭＳ）３０、ヒューマンマシーンインタフェース（ＨＭＩ）３１、及び、車両制御部３２は、通信ネットワーク４１を介して相互に接続されている。通信ネットワーク４１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、ＦｌｅｘＲａｙ（登録商標）、イーサネット（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等により構成される。なお、車両制御システム１１の各部は、通信ネットワーク４１を介さずに、例えば、近距離無線通信（ＮＦＣ（Near Field Communication））やＢｌｕｅｔｏｏｔｈ（登録商標）等により直接接続される場合もある。
　なお、以下、車両制御システム１１の各部が、通信ネットワーク４１を介して通信を行う場合、通信ネットワーク４１の記載を省略するものとする。例えば、プロセッサ２１と通信部２２が通信ネットワーク４１を介して通信を行う場合、単にプロセッサ２１と通信部２２とが通信を行うと記載する。
　プロセッサ２１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＥＣＵ（Electronic Control Unit ）等の各種のプロセッサにより構成される。プロセッサ２１は、車両制御システム１１全体の制御を行う。
　通信部２２は、車内及び車外の様々な機器、他の車両、サーバ、基地局等と通信を行い、各種のデータの送受信を行う。車外との通信としては、例えば、通信部２２は、車両制御システム１１の動作を制御するソフトウエアを更新するためのプログラム、地図情報、交通情報、車両１の周囲の情報等を外部から受信する。例えば、通信部２２は、車両１に関する情報（例えば、車両１の状態を示すデータ、認識部７３による認識結果等）、車両１の周囲の情報等を外部に送信する。例えば、通信部２２は、ｅコール等の車両緊急通報システムに対応した通信を行う。
　なお、通信部２２の通信方式は特に限定されない。また、複数の通信方式が用いられてもよい。
　車内との通信としては、例えば、通信部２２は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、ＷＵＳＢ（Wireless USB）等の通信方式により、車内の機器と無線通信を行う。例えば、通信部２２は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface、登録商標）、又は、ＭＨＬ（Mobile High-definition Link）等の通信方式により、車内の機器と有線通信を行う。
　ここで、車内の機器とは、例えば、車内において通信ネットワーク４１に接続されていない機器である。例えば、運転者等の搭乗者が所持するモバイル機器やウェアラブル機器、車内に持ち込まれ一時的に設置される情報機器等が想定される。
　例えば、通信部２２は、４Ｇ（第４世代移動通信システム）、５Ｇ（第５世代移動通信システム）、ＬＴＥ（Long Term Evolution）、ＤＳＲＣ（Dedicated Short Range Communications）等の無線通信方式により、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク、又は、事業者固有のネットワーク）上に存在するサーバ等と通信を行う。
　例えば、通信部２２は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）と通信を行う。例えば、通信部２２は、Ｖ２Ｘ通信を行う。Ｖ２Ｘ通信とは、例えば、他の車両との間の車車間（Vehicle to Vehicle）通信、路側器等との間の路車間（Vehicle to Infrastructure）通信、家との間（Vehicle to Home）の通信、及び、歩行者が所持する端末等との間の歩車間（Vehicle to Pedestrian）通信等である。
　例えば、通信部２２は、電波ビーコン、光ビーコン、ＦＭ多重放送等の道路交通情報通信システム（ＶＩＣＳ（Vehicle Information and Communication System）、登録商標）により送信される電磁波を受信する。
　地図情報蓄積部２３は、外部から取得した地図及び車両１で作成した地図を蓄積する。例えば、地図情報蓄積部２３は、３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ等を蓄積する。
　高精度地図は、例えば、ダイナミックマップ、ポイントクラウドマップ、ベクターマップ（ＡＤＡＳ（Advanced Driver Assistance System）マップともいう）等である。ダイナミックマップは、例えば、動的情報、準動的情報、準静的情報、静的情報の４層からなる地図であり、外部のサーバ等から提供される。ポイントクラウドマップは、ポイントクラウド（点群データ）により構成される地図である。ベクターマップは、車線や信号の位置等の情報をポイントクラウドマップに対応付けた地図である。ポイントクラウドマップ及びベクターマップは、例えば、外部のサーバ等から提供されてもよいし、レーダ５２、ＬｉＤＡＲ５３等によるセンシング結果に基づいて、後述するローカルマップとのマッチングを行うための地図として車両１で作成され、地図情報蓄積部２３に蓄積されてもよい。また、外部のサーバ等から高精度地図が提供される場合、通信容量を削減するため、車両１がこれから走行する計画経路に関する、例えば数百メートル四方の地図データがサーバ等から取得される。
　ＧＮＳＳ受信部２４は、ＧＮＳＳ衛星からＧＮＳＳ信号を受信し、走行支援・自動運転制御部２９に供給する。
　外部認識センサ２５は、車両１の外部の状況の認識に用いられる各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。外部認識センサ２５が備えるセンサの種類や数は任意である。
　例えば、外部認識センサ２５は、カメラ５１、レーダ５２、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）５３、及び、超音波センサ５４を備える。カメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４の数は任意であり、各センサのセンシング領域の例は後述する。
　なお、カメラ５１には、例えば、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ等の任意の撮影方式のカメラが、必要に応じて用いられる。
　また、例えば、外部認識センサ２５は、天候、気象、明るさ等を検出するための環境センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ、照度センサ等を備える。
　さらに、例えば、外部認識センサ２５は、車両１の周囲の音や音源の位置の検出等に用いられるマイクロフォンを備える。
　車内センサ２６は、車内の情報を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車内センサ２６が備えるセンサの種類や数は任意である。
　例えば、車内センサ２６は、カメラ、レーダ、着座センサ、ステアリングホイールセンサ、マイクロフォン、生体センサ等を備える。カメラには、例えば、ＴｏＦカメラ、ステレオカメラ、単眼カメラ、赤外線カメラ等の任意の撮影方式のカメラを用いることができる。生体センサは、例えば、シートやステリングホイール等に設けられ、運転者等の搭乗者の各種の生体情報を検出する。
　車両センサ２７は、車両１の状態を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車両センサ２７が備えるセンサの種類や数は任意である。
　例えば、車両センサ２７は、速度センサ、加速度センサ、角速度センサ（ジャイロセンサ）、及び、慣性計測装置（ＩＭＵ（Inertial Measurement Unit））を備える。例えば、車両センサ２７は、ステアリングホイールの操舵角を検出する操舵角センサ、ヨーレートセンサ、アクセルペダルの操作量を検出するアクセルセンサ、及び、ブレーキペダルの操作量を検出するブレーキセンサを備える。例えば、車両センサ２７は、エンジンやモータの回転数を検出する回転センサ、タイヤの空気圧を検出する空気圧センサ、タイヤのスリップ率を検出するスリップ率センサ、及び、車輪の回転速度を検出する車輪速センサを備える。例えば、車両センサ２７は、バッテリの残量及び温度を検出するバッテリセンサ、及び、外部からの衝撃を検出する衝撃センサを備える。
　記録部２８は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記録部２８は、車両制御システム１１の各部が用いる各種プログラムやデータ等を記録する。例えば、記録部２８は、自動運転に関わるアプリケーションプログラムが動作するＲＯＳ（Robot Operating System）で送受信されるメッセージを含むrosbagファイルを記録する。例えば、記録部２８は、ＥＤＲ（Event Data Recorder）やＤＳＳＡＤ（Data Storage System for Automated Driving）を備え、事故等のイベントの前後の車両１の情報を記録する。
　走行支援・自動運転制御部２９は、車両１の走行支援及び自動運転の制御を行う。例えば、走行支援・自動運転制御部２９は、分析部６１、行動計画部６２、及び、動作制御部６３を備える。
　分析部６１は、車両１及び周囲の状況の分析処理を行う。分析部６１は、自己位置推定部７１、センサフュージョン部７２、及び、認識部７３を備える。
　自己位置推定部７１は、外部認識センサ２５からのセンサデータ、及び、地図情報蓄積部２３に蓄積されている高精度地図に基づいて、車両１の自己位置を推定する。例えば、自己位置推定部７１は、外部認識センサ２５からのセンサデータに基づいてローカルマップを生成し、ローカルマップと高精度地図とのマッチングを行うことにより、車両１の自己位置を推定する。車両１の位置は、例えば、後輪対車軸の中心が基準とされる。
　ローカルマップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いて作成される３次元の高精度地図、占有格子地図（Occupancy Grid Map）等である。３次元の高精度地図は、例えば、上述したポイントクラウドマップ等である。占有格子地図は、車両１の周囲の３次元又は２次元の空間を所定の大きさのグリッド（格子）に分割し、グリッド単位で物体の占有状態を示す地図である。物体の占有状態は、例えば、物体の有無や存在確率により示される。ローカルマップは、例えば、認識部７３による車両１の外部の状況の検出処理及び認識処理にも用いられる。
　なお、自己位置推定部７１は、ＧＮＳＳ信号、及び、車両センサ２７からのセンサデータに基づいて、車両１の自己位置を推定してもよい。
　センサフュージョン部７２は、複数の異なる種類のセンサデータ（例えば、カメラ５１から供給される画像データ、及び、レーダ５２から供給されるセンサデータ）を組み合わせて、新たな情報を得るセンサフュージョン処理を行う。異なる種類のセンサデータを組合せる方法としては、統合、融合、連合等がある。
　認識部７３は、車両１の外部の状況の検出処理及び認識処理を行う。
　例えば、認識部７３は、外部認識センサ２５からの情報、自己位置推定部７１からの情報、センサフュージョン部７２からの情報等に基づいて、車両１の外部の状況の検出処理及び認識処理を行う。
　具体的には、例えば、認識部７３は、車両１の周囲の物体の検出処理及び認識処理等を行う。物体の検出処理とは、例えば、物体の有無、大きさ、形、位置、動き等を検出する処理である。物体の認識処理とは、例えば、物体の種類等の属性を認識したり、特定の物体を識別したりする処理である。ただし、検出処理と認識処理とは、必ずしも明確に分かれるものではなく、重複する場合がある。
　例えば、認識部７３は、ＬｉＤＡＲ又はレーダ等のセンサデータに基づくポイントクラウドを点群の塊毎に分類するクラスタリングを行うことにより、車両１の周囲の物体を検出する。これにより、車両１の周囲の物体の有無、大きさ、形状、位置が検出される。
　例えば、認識部７３は、クラスタリングにより分類された点群の塊の動きを追従するトラッキングを行うことにより、車両１の周囲の物体の動きを検出する。これにより、車両１の周囲の物体の速度及び進行方向（移動ベクトル）が検出される。
　例えば、認識部７３は、カメラ５１から供給される画像データに対してセマンティックセグメンテーション等の物体認識処理を行うことにより、車両１の周囲の物体の種類を認識する。
　なお、検出又は認識対象となる物体としては、例えば、車両、人、自転車、障害物、構造物、道路、信号機、交通標識、道路標示等が想定される。
　例えば、認識部７３は、地図情報蓄積部２３に蓄積されている地図、自己位置の推定結果、及び、車両１の周囲の物体の認識結果に基づいて、車両１の周囲の交通ルールの認識処理を行う。この処理により、例えば、信号の位置及び状態、交通標識及び道路標示の内容、交通規制の内容、並びに、走行可能な車線等が認識される。
　例えば、認識部７３は、車両１の周囲の環境の認識処理を行う。認識対象となる周囲の環境としては、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が想定される。
　行動計画部６２は、車両１の行動計画を作成する。例えば、行動計画部６２は、経路計画、経路追従の処理を行うことにより、行動計画を作成する。
　なお、経路計画（Global path planning）とは、スタートからゴールまでの大まかな経路を計画する処理である。この経路計画には、軌道計画と言われ、経路計画で計画された経路において、車両１の運動特性を考慮して、車両１の近傍で安全かつ滑らかに進行することが可能な軌道生成（Local path planning）の処理も含まれる。
　経路追従とは、経路計画により計画した経路を計画された時間内で安全かつ正確に走行するための動作を計画する処理である。例えば、車両１の目標速度と目標角速度が計算される。
　動作制御部６３は、行動計画部６２により作成された行動計画を実現するために、車両１の動作を制御する。
　例えば、動作制御部６３は、ステアリング制御部８１、ブレーキ制御部８２、及び、駆動制御部８３を制御して、軌道計画により計算された軌道を車両１が進行するように、加減速制御及び方向制御を行う。例えば、動作制御部６３は、衝突回避あるいは衝撃緩和、追従走行、車速維持走行、自車の衝突警告、自車のレーン逸脱警告等のＡＤＡＳの機能実現を目的とした協調制御を行う。例えば、動作制御部６３は、運転者の操作によらずに自律的に走行する自動運転等を目的とした協調制御を行う。
　ＤＭＳ３０は、車内センサ２６からのセンサデータ、及び、ＨＭＩ３１に入力される入力データ等に基づいて、運転者の認証処理、及び、運転者の状態の認識処理等を行う。認識対象となる運転者の状態としては、例えば、体調、覚醒度、集中度、疲労度、視線方向、酩酊度、運転操作、姿勢等が想定される。
　なお、ＤＭＳ３０が、運転者以外の搭乗者の認証処理、及び、当該搭乗者の状態の認識処理を行うようにしてもよい。また、例えば、ＤＭＳ３０が、車内センサ２６からのセンサデータに基づいて、車内の状況の認識処理を行うようにしてもよい。認識対象となる車内の状況としては、例えば、気温、湿度、明るさ、臭い等が想定される。
　ＨＭＩ３１は、各種のデータや指示等の入力に用いられ、入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１１の各部に供給する。例えば、ＨＭＩ３１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。なお、ＨＭＩ３１は、例えば、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１１の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。
　また、ＨＭＩ３１は、搭乗者又は車外に対する視覚情報、聴覚情報、及び、触覚情報の生成及び出力、並びに、出力内容、出力タイミング、出力方法等を制御する出力制御を行う。視覚情報は、例えば、操作画面、車両１の状態表示、警告表示、車両１の周囲の状況を示すモニタ画像等の画像や光により示される情報である。聴覚情報は、例えば、ガイダンス、警告音、警告メッセージ等の音声により示される情報である。触覚情報は、例えば、力、振動、動き等により搭乗者の触覚に与えられる情報である。
　視覚情報を出力するデバイスとしては、例えば、表示装置、プロジェクタ、ナビゲーション装置、インストルメントパネル、ＣＭＳ（Camera Monitoring System）、電子ミラー、ランプ等が想定される。表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）機能を備えるウエアラブルデバイス等の搭乗者の視界内に視覚情報を表示する装置であってもよい。
　聴覚情報を出力するデバイスとしては、例えば、オーディオスピーカ、ヘッドホン、イヤホン等が想定される。
　触覚情報を出力するデバイスとしては、例えば、ハプティクス技術を用いたハプティクス素子等が想定される。ハプティクス素子は、例えば、ステアリングホイール、シート等に設けられる。
　車両制御部３２は、車両１の各部の制御を行う。車両制御部３２は、ステアリング制御部８１、ブレーキ制御部８２、駆動制御部８３、ボディ系制御部８４、ライト制御部８５、及び、ホーン制御部８６を備える。
　ステアリング制御部８１は、車両１のステアリングシステムの状態の検出及び制御等を行う。ステアリングシステムは、例えば、ステアリングホイール等を備えるステアリング機構、電動パワーステアリング等を備える。ステアリング制御部８１は、例えば、ステアリングシステムの制御を行うＥＣＵ等の制御ユニット、ステアリングシステムの駆動を行うアクチュエータ等を備える。
　ブレーキ制御部８２は、車両１のブレーキシステムの状態の検出及び制御等を行う。ブレーキシステムは、例えば、ブレーキペダル等を含むブレーキ機構、ＡＢＳ（Antilock Brake System）等を備える。ブレーキ制御部８２は、例えば、ブレーキシステムの制御を行うＥＣＵ等の制御ユニット、ブレーキシステムの駆動を行うアクチュエータ等を備える。
　駆動制御部８３は、車両１の駆動システムの状態の検出及び制御等を行う。駆動システムは、例えば、アクセルペダル、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構等を備える。駆動制御部８３は、例えば、駆動システムの制御を行うＥＣＵ等の制御ユニット、駆動システムの駆動を行うアクチュエータ等を備える。
　ボディ系制御部８４は、車両１のボディ系システムの状態の検出及び制御等を行う。ボディ系システムは、例えば、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、空調装置、エアバッグ、シートベルト、シフトレバー等を備える。ボディ系制御部８４は、例えば、ボディ系システムの制御を行うＥＣＵ等の制御ユニット、ボディ系システムの駆動を行うアクチュエータ等を備える。
　ライト制御部８５は、車両１の各種のライトの状態の検出及び制御等を行う。制御対象となるライトとしては、例えば、ヘッドライト、バックライト、フォグライト、ターンシグナル、ブレーキライト、プロジェクション、バンパーの表示等が想定される。ライト制御部８５は、ライトの制御を行うＥＣＵ等の制御ユニット、ライトの駆動を行うアクチュエータ等を備える。
　ホーン制御部８６は、車両１のカーホーンの状態の検出及び制御等を行う。ホーン制御部８６は、例えば、カーホーンの制御を行うＥＣＵ等の制御ユニット、カーホーンの駆動を行うアクチュエータ等を備える。
　＜＜２．実施の形態＞＞
　次に、図２乃至図４７を参照して、本技術の実施の形態について説明する。
　　＜外部認識センサ２５及び車内センサ２６の構成例＞
　図２は、車両１の外部認識センサ２５が備えるカメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４、並びに、車内センサ２６が備えるカメラの設置位置の例を示している。この例では、外部認識センサ２５は、カメラ５１ＦＣ１乃至カメラ５１ＢＣ３、レーダ５２ＦＣ乃至レーダ５２ＢＲ、ＬｉＤＡＲ５３Ｆ乃至ＬｉＤＡＲ５３Ｂ、及び、超音波センサ５４ＦＬ１乃至超音波センサ５４ＢＲを備えている。車内センサ２６は、カメラ１０１Ｌ乃至カメラ１０２を備えている。
　カメラ５１ＦＣ１は、車両１の先端の中央付近に設けられている。カメラ５１ＦＣ１は、車両１の前方を撮影する。カメラ５１ＦＣ１には、例えば、魚眼カメラが用いられる。カメラ５１ＦＣ１は、例えば、ＡＤＡＳ及びサラウンドビューに用いられる。サラウンドビューとは、例えば、車両１の周囲の画像や車両１の周囲を上方から見た俯瞰画像を表示する機能である。
　カメラ５１ＦＣ２は、車両１の室内の前方中央付近に設けられている。カメラ５１ＦＣ２は、ウインドシールドを介して、車両１の前方を撮影する。カメラ５１ＦＣ２は、例えば、ＡＤＡＳに用いられる。カメラ５１ＦＣ２の画像は、例えば、ドライブレコーダに記録される。
　カメラ５１ＦＬ及びカメラ５１ＦＲは、車両１の室内の前方において、所定の距離を開けて左右に配置され、ステレオカメラを構成する。カメラ５１ＦＬ及びカメラ５１ＦＲは、ウインドシールドを介して、車両１の前方を撮影する。カメラ５１ＦＬ及びカメラ５１ＦＲは、例えば、ＡＤＡＳに用いられる。カメラ５１ＦＬ及びカメラ５１ＦＲには、例えば、カメラ５１ＦＣ２より高解像度のカメラが用いられる。
　カメラ５１ＳＬ１乃至カメラ５１ＳＬ４は、後述するように１つのカメラモジュール１２２Ｌ（図９等）を構成し、車両１の左側面において、運転席のドアの前端付近に設けられている。
　カメラ５１ＳＬ１は、車両１の左斜め前方を撮影する。カメラ５１ＳＬ１は、例えば、ＡＤＡＳに用いられる。
　カメラ５１ＳＬ２は、車両１の左方向を撮影する。カメラ５１ＳＬ２には、例えば、カメラ５１ＳＬ１、カメラ５１ＳＬ３、及び、カメラ５１ＳＬ４より広角である魚眼カメラが用いられる。カメラ５１ＳＬ２は、例えば、ＡＤＡＳ及びサラウンドビューに用いられる。
　カメラ５１ＳＬ３は、車両１の左斜め後方を撮影する。カメラ５１ＳＬ３には、例えば、カメラ５１ＳＬ１より高解像度のカメラが用いられる。カメラ５１ＳＬ３は、例えば、ＡＤＡＳに用いられる。
　カメラ５１ＳＬ４は、車両１の左斜め後方を撮影する。カメラ５１ＳＬ４の光軸は、カメラ５１ＳＬ３の光軸より車両１の後方に近い方向を向いている。換言すれば、カメラ５１ＳＬ３の光軸は、カメラ５１ＳＬ４の光軸より車両１の左方向（横方向）に近い方向を向いている。カメラ５１ＳＬ４は、例えば、ＣＭＳに用いられる。
　カメラ５１ＳＲ１乃至カメラ５１ＳＲ４は、後述するように１つのカメラモジュール１２２Ｒ（図４等）を構成し、車両１の右側面において、助手席のドアの前端付近に設けられている。
　カメラ５１ＳＲ１は、車両１の右斜め前方を撮影する。カメラ５１ＳＲ１は、例えば、ＡＤＡＳに用いられる。
　カメラ５１ＳＲ２は、車両１の右方向を撮影する。カメラ５１ＳＲ２には、例えば、カメラ５１ＳＲ１、カメラ５１ＳＲ３、及び、カメラ５１ＳＲ４より広角である魚眼カメラが用いられる。カメラ５１ＳＲ２は、例えば、ＡＤＡＳ及びサラウンドビューに用いられる。
　カメラ５１ＳＲ３は、車両１の右斜め後方を撮影する。カメラ５１ＳＲ３には、例えば、カメラ５１ＳＲ１より高解像度のカメラが用いられる。カメラ５１ＳＲ３は、例えば、ＡＤＡＳに用いられる。
　カメラ５１ＳＲ４は、車両１の右斜め後方を撮影する。カメラ５１ＳＲ４の光軸は、カメラ５１ＳＲ３の光軸より車両１の後方に近い方向を向いている。換言すれば、カメラ５１ＳＲ３の光軸は、カメラ５１ＳＲ４の光軸より車両１の右方向（横方向）に近い方向を向いている。カメラ５１ＳＲ４は、例えば、ＣＭＳに用いられる。
　カメラ５１ＢＣ１は、車両１の後端の中央付近に設けられている。カメラ５１ＢＣ１は、車両１の後方を撮影する。カメラ５１ＢＣ１には、例えば、魚眼カメラが用いられる。カメラ５１ＢＣ１は、例えば、ＡＤＡＳ及びサラウンドビューに用いられる。
　カメラ５１ＢＣ２及びカメラ５１ＢＣ３は、車両１の室内の後方中央付近に設けられている。カメラ５１ＢＣ２及びカメラ５１ＢＣ３は、リアウインドウを介して、車両１の後方を撮影する。カメラ５１ＢＣ２は、例えば、ＣＭＳに用いられる。カメラ５１ＢＣ３は、例えば、ＡＤＡＳに用いられる。カメラ５１ＢＣ３の画像は、例えば、ドライブレコーダに記録される。
　レーダ５２ＦＣは、車両１の先端の中央付近に設けられている。レーダ５２ＦＣは、車両１の前方のセンシングを行う。
　レーダ５２ＦＬは、車両１の先端の左端付近に設けられている。レーダ５２ＦＬは、車両１の左斜め前方のセンシングを行う。
　レーダ５２ＦＲは、車両１の先端の右端付近に設けられている。レーダ５２ＦＲは、車両１の右斜め前方のセンシングを行う。
　レーダ５２ＢＣは、車両１の後端の中央付近に設けられている。レーダ５２ＢＣは、車両１の後方のセンシングを行う。
　レーダ５２ＢＬは、車両１の後端の左端付近に設けられている。レーダ５２ＢＬは、車両１の左斜め後方のセンシングを行う。
　レーダ５２ＢＲは、車両１の後端の右端付近に設けられている。レーダ５２ＢＲは、車両１の右斜め後方のセンシングを行う。
　ＬｉＤＡＲ５３Ｆは、車両１の先端の中央付近に設けられている。ＬｉＤＡＲ５３Ｆは、車両１の前方のセンシングを行う。
　ＬｉＤＡＲ５３Ｌは、車両１の左側面の前方に設けられている。ＬｉＤＡＲ５３Ｌは、車両１の左方向のセンシングを行う。
　ＬｉＤＡＲ５３Ｒは、車両１の右側面の前方に設けられている。ＬｉＤＡＲ５３Ｒは、車両１の右方向のセンシングを行う。
　ＬｉＤＡＲ５３Ｂは、車両１の後端の中央付近に設けられている。ＬｉＤＡＲ５３Ｂは、車両１の後方のセンシングを行う。
　超音波センサ５４ＦＬ１は、車両１の先端の中央やや左寄りに設けられている。超音波センサ５４ＦＬ１は、車両１の前方やや左寄りのセンシングを行う。
　超音波センサ５４ＦＬ２は、車両１の先端の左端付近に設けられている。超音波センサ５４ＦＬ１は、車両１の前方斜め左方向のセンシングを行う。
　超音波センサ５４ＦＲ１は、車両１の先端の中央やや右寄りに設けられている。超音波センサ５４ＦＲ１は、車両１の前方やや右寄りのセンシングを行う。
　超音波センサ５４ＦＲ２は、車両１の先端の右端付近に設けられている。超音波センサ５４ＦＲ１は、車両１の前方右斜め方向のセンシングを行う。
　超音波センサ５４ＳＬ１は、車両１のボディの左側面の前方に設けられている。超音波センサ５４ＳＬ１は、車両１の前方において左方向のセンシングを行う。
　超音波センサ５４ＳＬ２は、車両１のボディの左側面の後方に設けられている。超音波センサ５４ＳＬ２は、車両１の後方において左方向のセンシングを行う。
　超音波センサ５４ＳＲ１は、車両１のボディの右側面の前方に設けられている。超音波センサ５４ＳＲ１は、車両１の前方において右方向のセンシングを行う。
　超音波センサ５４ＳＲ２は、車両１のボディの右側面の後方に設けられている。超音波センサ５４ＳＲ２は、車両１の後方において右方向のセンシングを行う。
　超音波センサ５４ＢＬは、車両１の後端の左端付近に設けられている。超音波センサ５４ＢＬは、車両１の後方斜め左方向のセンシングを行う。
　超音波センサ５４ＢＲは、車両１の後端の右端付近に設けられている。超音波センサ５４ＢＲは、車両１の後方右斜め方向のセンシングを行う。
　カメラ１０１Ｌは、車内において、運転席の右斜め上方向に設けられている。カメラ１０１Ｌは、運転席周辺の撮影を行う。カメラ１０１Ｌには、例えば、ＴｏＦカメラが用いられる。
　カメラ１０１Ｒは、車内において、助手席の左斜め上方向に設けられている。カメラ１０１Ｒは、助手席周辺の撮影を行う。カメラ１０１Ｒには、例えば、ＴｏＦカメラが用いられる。
　カメラ１０２は、車内のダッシュボード上の中央やや左寄りに設けられている。カメラ１０２は、運転席周辺の撮影を行う。
　　＜魚眼カメラの撮影範囲の例＞
　図３は、魚眼カメラが用いられるカメラ５１ＦＣ１、カメラ５１ＳＬ２、カメラ５１ＳＲ２、及び、カメラ５１ＢＣ１の撮影範囲の例を示している。
　カメラ５１ＦＣ１は、車両１の前方の１８０度を超える撮影範囲Ａ１Ｆの撮影が可能である。カメラ５１ＳＬ２は、車両１の左方向の１８０度を超える撮影範囲Ａ１Ｌの撮影が可能である。カメラ５１ＳＲ２は、車両１の右方向の１８０度を超える撮影範囲Ａ１Ｒの撮影が可能である。カメラ５１ＢＣ１は、車両１の後方の１８０度を超える撮影範囲Ａ１Ｂの撮影が可能である。従って、図内の斜線で示されるように、カメラ５１ＦＣ１乃至カメラ５１ＢＣ１の４台の魚眼カメラにより車両１の周囲３６０度の撮影が可能である。
　上述したように、カメラ５１ＦＣ１乃至カメラ５１ＢＣ１は、ＡＤＡＳ及びサラウンドビューに用いられる。例えば、カメラ５１ＦＣ１乃至カメラ５１ＢＣ１の画像を合成することにより、車両１の周囲３６０度を上方から見た俯瞰画像が生成され、表示される。
　　＜カメラモジュール１２２Ｌ及びカメラモジュール１２２Ｒの詳細＞
　次に、図４乃至図１１を参照して、カメラモジュール１２２Ｌ及びカメラモジュール１２２Ｒの詳細について説明する。上述したように、カメラモジュール１２２Ｌは、カメラ５１ＳＬ１乃至カメラ５１ＳＬ４を備える。カメラモジュール１２２Ｒは、カメラ５１ＳＲ１乃至カメラ５１ＳＲ４を備える。
　まず、図４及び図５を参照して、カメラモジュール１２２Ｌ及びカメラモジュール１２２Ｒの設置位置の例について説明する。
　図４は、車両１の正面図である。図５は、車両１の左側面図である。
　カメラモジュール１２２Ｌは、運転席のドア１２１ＦＬにおいて従来のドアミラーと同様の位置に設けられている。具体的には、カメラモジュール１２２Ｌは、運転席のドア１２１ＦＬのボディの前端付近であって、ボディと窓との境界付近に設けられている。
　カメラモジュール１２２Ｒは、助手席のドア１２１ＦＲ（不図示）において、カメラモジュール１２２Ｌと同様の位置に設けられている。
　次に、図６乃至図１１を参照して、カメラモジュール１２２Ｌの構成例について説明する。
　図６のＡは、車両１のカメラモジュール１２２Ｌ周辺を前方やや斜め左方向から見た模式図である。図６のＢは、図６のＡと略同じ方向から見たカメラモジュール１２２Ｌの一部を分解した模式図である。図７のＡは、車両１のカメラモジュール１２２Ｌ周辺を前方斜め左方向から見た模式図である。図７のＢは、図７のＡと略同じ方向から見たカメラモジュール１２２Ｌの一部を分解した模式図である。図８のＡは、車両１のカメラモジュール１２２Ｌ周辺を後方から見た模式図である。図８のＢは、図８のＡと略同じ方向から見たカメラモジュール１２２Ｌの模式図である。図９は、カメラモジュール１２２Ｌの分解図である。図１０は、カメラモジュール１２２Ｌにおけるカメラ５１ＳＬ１乃至カメラ５１ＳＬ４の設置位置を前方から見た図である。図１１は、カメラモジュール１２２Ｌにおけるカメラ５１ＳＬ１乃至カメラ５１ＳＬ４の設置位置を上から見た図である。
　図９に示されるように、カメラ５１ＳＬ１乃至カメラ５１ＳＬ４は、筐体１３１Ｌに内蔵され、筐体１３１Ｌの底板に固定されている。また、カメラ５１ＳＬ１乃至カメラ５１ＳＬ４は、互いに画角内に入らないように、それぞれ筐体１３１Ｌの外側の異なる方向に向けられている。また、カメラ５１ＳＬ１乃至カメラ５１ＳＬ４の後方には、ケーブルを配線できるようにスペースが設けられている。
　カメラ５１ＳＬ１は、光軸が水平かつ車両１の正面よりやや左斜め方向を向き、筐体１３１Ｌの前面からレンズが覗くように配置されている。すなわち、カメラ５１ＳＬ１の光軸は、車両１の水平方向を向き、かつ、車両１のヨー方向において正面方向よりやや左方向に回転した方向を向いている。
　カメラ５１ＳＬ１の画角は、例えば、１２０度とされる。従って、カメラ５１ＳＬ１は、車両１の正面方向から左斜め前方までを含む広範囲の撮影が可能である。
　カメラ５１ＳＬ２は、光軸が斜め下方向（例えば、水平方向から３２度下方向）かつ車両１の左方向（横方向）を向き、筐体１３１Ｌの左側面からレンズが覗くように配置されている。
　カメラ５１ＳＬ２は、図３を参照して上述したように、魚眼カメラにより構成され、車両１の左方向の１８０度を超える撮影範囲Ａ１Ｌの撮影が可能である。
　ここで、通常サラウンドビューに用いられるカメラの光軸は、鉛直下方向に向けられる。これに対して、カメラ５１ＳＬ２の光軸は、斜め下方向に向けられている。また、カメラ５１ＳＬ２は、魚眼カメラにより構成される。従って、カメラ５１ＳＬ２は、車両１の左側の周囲の地面から左隣の車線の車両やモータバイク等の上端までを含む広範囲の撮影が可能である。
　カメラ５１ＳＬ３は、光軸が水平かつ車両１の左斜め後ろ方向を向き、筐体１３１Ｌの左側面からレンズが覗くように配置されている。すなわち、カメラ５１ＳＬ３の光軸は、車両１の水平方向を向き、かつ、車両１のヨー方向において左方向から所定の角度だけ左方向に回転した方向を向いている。
　カメラ５１ＳＬ３の画角は、例えば、１２０度とされる。従って、カメラ５１ＳＬ３は、車両１の左方向から左斜め後方までを含む広範囲の撮影が可能である。
　カメラ５１ＳＬ４は、光軸がやや斜め下方向かつ車両１の左斜め後ろ方向を向き、筐体１３１Ｌの左側面と背面との境界付近からレンズが覗くように配置されている。すなわち、カメラ５１ＳＬ４の光軸は、車両１の水平方向よりやや下方向を向き、車両１のヨー方向において左方向から所定の角度だけ左方向に回転した方向を向いている。また、カメラ５１ＳＬ４の光軸は、カメラ５１ＳＬ３の光軸より、車両１の後方に近い方向を向いている。
　従って、カメラ５１ＳＬ４は、カメラ５１ＳＬ３より車両１の後方に近い、左斜め後ろ方向を撮影することができる。また、カメラ５１ＳＬ４の光軸を水平方向よりやや下方向に傾けることにより、車両１の左斜め後方の路面を広く撮影することが可能になる。
　例えば、筐体１３１Ｌの幅は１６０ｍｍ、奥行は２０２ｍｍ、高さは６９ｍｍとなる。また、筐体１３１Ｌは金属製であり、カメラ５１ＳＬ１乃至カメラ５１ＳＬ４の熱を外部に逃がすことができる。
　このように、カメラモジュール１２２Ｌにおいては、撮影方向及び用途が異なる４台のカメラ５１ＳＬ１乃至カメラ５１ＳＬ４がコンパクトに配置されている。従って、カメラ５１ＳＬ１乃至カメラ５１ＳＬ４を個々に配置する場合と比較して、車両１のスペースを有効に利用できるとともに、デザイン性が向上する。また、カメラ５１ＳＬ１乃至カメラ５１ＳＬ４（カメラモジュール１２２Ｌ）の配置の自由度が向上し、他のカメラを含むセンサ類の配置及び配線の設計が容易になる。これにより、各カメラを含む車両１のシステムの複雑化を抑制し、よりシンプルにすることができる。
　なお、図示は省略するが、カメラモジュール１２２Ｒにおいて、カメラ５１ＳＲ１乃至カメラ５１ＳＲ４が、カメラモジュール１２２Ｌにおけるカメラ５１ＳＬ１乃至カメラ５１ＳＬ４と左右対称になるように配置されている。
　　＜車両１の内装の構成例＞
　次に、図１２乃至図１９を参照して、車両１の内装の構成例について説明する。
　図１２は、車両１の内部を右方向から見下ろした模式図である。図１３は、車両１の室内の前方を示す模式図である。図１４は、車両１の室内の運転席２０１の前方を示す模式図である。図１５は、車両１のステアリングホイール２０６付近の拡大図である。図１６は、カメラモジュール２１４におけるカメラ１０１Ｌ及びカメラ１０１Ｒの設置位置の例を示す図である。図１６の左上の図は、カメラモジュール２１４を左斜め下方向から見た模式図である。図１６の左下の図は、カメラモジュール２１４を左下方向から見た模式図である。図１６の右の図は、カメラモジュール２１４を正面斜め下方向から見た模式図である。図１７は、カメラ１０１Ｌの撮影範囲の例を示している。図１８は、車両１の室内を前方から見た模式図である。図１９は、運転席２０１を左斜め後ろから見た模式図である。
　　　＜搭乗者用のカメラの設置位置の例＞
　まず、車両１の搭乗者用のカメラの設置位置の例について説明する。
　図１３及び図１５に示されるように、カメラ１０２は、ダッシュボード２０５上において、左右方向の中央よりやや運転席２０１寄りに設けられている。カメラ１０２は、円錐台の一部を垂直に切り出したような形状を有しており、垂直な平面部を側面に備える。カメラ１０２は、側面の平面部が運転席２０１の方向に向けられており、運転席２０１に座っている運転者の頭部を少なくとも含む範囲を撮影する。
　カメラ１０２は、ＲＧＢ撮影（カラー撮影）及びＩＲ撮影（赤外線撮影）の２方式の撮影が可能なカメラである。カメラ１０２は、例えば、周囲の明るさ等の条件に基づいて、ＲＧＢ撮影とＩＲ撮影の切り替えを自動的に行う。また、カメラ１０２は、ＩＲ光（赤外光）を発するＬＥＤを内蔵している。
　例えば、昼間などの明るい環境下において、カメラ１０２は、自動的にＲＧＢ撮影を行い、カラー画像を取得する。一方、夜間などの暗い環境下において、カメラ１０２は、ＬＥＤを自動的に点灯し、自動的にＩＲ撮影を行い、モノクロームの画像を取得する。これにより、周囲の明るさに関わらず、運転者の頭部を確実に撮影することができる。
　ＤＭＳ３０（図１）は、例えば、カメラ１０２の画像に基づいて、運転者のリップリーディングを行い、運転者の発話内容を認識する。ＤＭＳ３０は、例えば、カメラ１０２の画像に基づいて、運転者の黒目検出、視線検出、覚醒判断、認識処理等を行う。
　図１３及び図１６に示されるように、カメラ１０１Ｌ及びカメラ１０１Ｒを内蔵するカメラモジュール２１４が、車両１の天井の先端かつ左右方向の中央であって、デジタルリアミラー２３４の近傍に設けられている。カメラモジュール２１４は、直方体の左右を斜めに切り出した台の後端（車両１の後方側）に、円錐台を半分にした台を繋げた形状を有している。
　カメラ１０１Ｌは、カメラモジュール２１４の円錐台の部分の左側の前端部付近の位置Ｐ１Ｌに内蔵されている。カメラ１０１Ｌの光軸は、例えば、標準的な位置に配置された運転席２０１に標準的な体格の運転者が座った場合に、運転者の両目の中間に向かう方向に向けられている。
　図１７は、カメラ１０１Ｌの撮影範囲の例を示している。この例に示されるように、カメラ１０１Ｌは、運転者ＤＲ１の体格及び運転席２０１の位置に関わらず、運転者ＤＲ１の頭部から足元付近までを含むほぼ全身を、右斜め上方向から撮影することが可能である。
　カメラ１０１Ｒは、カメラモジュール２１４の円錐台の部分の右側の前端部付近の位置Ｐ１Ｒに内蔵されている。図示は省略するが、カメラ１０１Ｒは、カメラ１０１Ｌと同様に、助手席２０２に座っている搭乗者の体格及び助手席２０２の位置に関わらず、搭乗者の頭部から足元付近までを含むほぼ全身を、左斜め上方向から撮影することが可能である。
　カメラモジュール２１４の円錐台の部分の側面には、黒の光沢処理が施されたカバー２１４Ａが設けられている。カバー２１４Ａにより、カメラ１０１Ｌ及びカメラ１０１Ｒのレンズが外部から見えにくくなっている。また、カバー２１４Ａの裏側に、カメラ１０１Ｌ及びカメラ１０１Ｒ以外のカメラやセンサを設けることが可能である。
　例えば、ＤＭＳ３０は、カメラ１０１Ｌの画像に基づいて、運転者の骨格認識等を行うことにより、運転者の姿勢や動きを認識する。例えば、ＤＭＳ３０は、カメラ１０１Ｌの画像に基づいて、運転者の認識処理（例えば、個人認識）を行う。
　同様に、例えば、ＤＭＳ３０は、カメラ１０１Ｒの画像に基づいて、助手席２０２の搭乗者の骨格認識等を行うことにより、搭乗者の姿勢や動きを認識する。例えば、ＤＭＳ３０は、カメラ１０１Ｌの画像に基づいて、搭乗者の認識処理を行う。
　カメラモジュール２１４の下面には、円形のライト２１５が設けられている。また、カメラモジュール２１４には、搭乗者の音声等を収集するためのマイクロフォン（不図示）等が内蔵されている。
　　　＜ステアリングホイール２０６周辺の構成例＞
　次に、ステアリングホイール２０６周辺の構成例について説明する。
　図１５に示されるように、ステアリングホイール２０６の中央部には、イルミネーション２０７が設けられている。イルミネーション２０７は、ステアリングホイール２０６の中央部の外周から所定の距離だけ内側においてリング状に並べられた複数のＬＥＤを備える。各ＬＥＤは、個別にオン／オフ、色、明るさ等を制御することが可能である。従って、イルミネーション２０７は、色、明るさ、及び、発光領域（発光する範囲）が可変である。イルミネーション２０７の内側には、車両１のロゴが形成されている。
　なお、ステアリングホイール２０６の中央部には、エアバッグ（不図示）が収納されている。そして、イルミネーション２０７は、エアバッグの作動時にステアリングホイール２０６の中央部が割ける部分を回避するように配置されている。これにより、エアバッグの作動時に、イルミネーション２０７の破片や有害物質が飛散することが防止される。
　ステアリングホイール２０６の左側のスポークには、複数のボタンを備える操作部２０８が設けられている。ステアリングホイール２０６の右側のスポークには、複数のボタンを備える操作部２０９が設けられている。
　図１５に示されるように、棒状の操作体であるストークレバー２１０が、ステアリングホイール２０６の奥において、ステアリングコラム（不図示）から左方向に延びるように設けられている。また、棒状の操作体であるストークレバー２１１が、ステアリングホイール２０６の奥において、ステアリングコラム（不図示）から右方向に延びるように設けられている。
　　　＜ディスプレイの構成例＞
　次に、車両１の室内のディスプレイの構成例について説明する。
　車両１の室内には、センターディスプレイ２３１、コンソールディスプレイ２３２、ヘッドアップディスプレイ（ディスプレイ２３３のみ図示）、デジタルリアミラー２３４、並びに、タブレット端末２３５Ｌ及びタブレット端末２３５Ｒが設けられている。
　図１３に示されるように、センターディスプレイ２３１は、運転席２０１及び助手席２０２の前方において、ダッシュボード２０５の前面に左右に延びるように設けられている。センターディスプレイ２３１は、ディスプレイの向きにより、左端部２３１Ｌ、中央部２３１Ｃ、及び、右端部２３１Ｒに大きく分かれる。すなわち、センターディスプレイ２３１は、向きが互いに異なる左端部２３１Ｌ、中央部２３１Ｃ、及び、右端部２３１Ｒが、左右方向に連続し、一体化された構成を有している。左端部２３１Ｌ、中央部２３１Ｃ、及び、右端部２３１Ｒは、それぞれ独立して個々に表示を行うことも可能であるし、一体となって表示を行うことも可能である。
　中央部２３１Ｃは、運転席２０１及び助手席２０２の前方において、運転席２０１の左端付近から助手席２０２の右端付近まで左右に延び、運転席２０１又は助手席２０２から見て後方（車両１の後方）を向いている。
　例えば、中央部２３１Ｃは、運転を支援する情報や車両１の周囲の画像等を表示する。例えば、中央部２３１Ｃは、車両１の走行状態等に関する情報を表示する。例えば、中央部２３１Ｃは、車両１の方向指示器の動作状態を表示する。例えば、中央部２３１Ｃは、車両１の速度及びシフトポジションを表示する。例えば、中央部２３１Ｃは、車両１のバッテリの残量を表示する。例えば、中央部２３１Ｃは、前方の道路の状況を示す画像を表示する。例えば、中央部２３１Ｃは、車両１の駐車時に、駐車を支援する情報を表示する。
　例えば、中央部２３１Ｃは、カメラ５１ＦＣ１、カメラ５１ＳＬ２、カメラ５１ＳＲ２、及び、カメラ５１ＢＣ１により撮影される車両１の周囲３６０度の画像の一部を表示するとともに、表示する範囲を回転させることができる。例えば、中央部２３１Ｃは、カメラ５１ＦＣ１、カメラ５１ＳＬ２、カメラ５１ＳＲ２、及び、カメラ５１ＢＣ１の画像を合成することにより得られる車両１の周囲を上方から見た俯瞰画像を表示する。
　例えば、中央部２３１Ｃは、車両１がバックするときに、車両１の後方の画像を表示する。例えば、中央部２３１Ｃは、車両１のバック時にＬＫＡ（Lane Keep Assist）機能が動作している場合、予測される進行方向を示す情報を表示する。
　なお、この例では、センターディスプレイ２３１の中央部２３１Ｃが、運転席２０１の前方の表示部２３１ＣＬ、運転席２０１と助手席２０２の間の表示部２３１ＣＣ、及び、助手席２０２の前方の表示部２３１ＣＲに分割されている。例えば、表示部２３１ＣＬ乃至表示部２３１ＣＲを連結して１つの表示部を構成することも可能である。例えば、表示部２３１ＣＬと表示部２３１ＣＣを連結して１つの表示部を構成することも可能である。例えば、表示部２３１ＣＣと表示部２３１ＣＲを連結して１つの表示部を構成することも可能である。そして、上述した表示例は、中央部２３１Ｃのいずれの表示部に表示することも可能である。
　なお、例えば、表示部２３１ＣＬには、主に運転者向けの情報が表示される。例えば、運転を支援する情報が表示される。例えば、表示部２３１ＣＣには、オーディオ、ビデオ、ウエブサイト、地図等のインフォテイメント（車載インフォテイメント）関連の情報が表示される。例えば、表示部２３１ＣＲには、助手席の搭乗者向けのインフォテイメント関連の情報が表示される。
　センターディスプレイ２３１の左端部２３１Ｌ及び右端部２３１Ｒは、センターディスプレイ２３１の左右の両端において略左右対称に設けられている。左端部２３１Ｌは、センターディスプレイ２３１の左端において内側（車内側）に折れ曲がり、中央部２３１Ｃに対して車内方向に角度がつき、運転席２０１又は助手席２０２から見て右斜め後方（車両１の右斜め後方）を向いている。右端部２３１Ｒは、センターディスプレイ２３１の右端において内側（車内側）に折れ曲がり、中央部２３１Ｃに対して車内方向に角度がつき、運転席２０１又は助手席２０２から見て左斜め後方（車両１の左斜め後方）を向いている。
　左端部２３１Ｌの中央部２３１Ｃに対する角度は、例えば、標準的な運転者の視線の左端部２３１Ｌへの入射角に対する反射角が、車両１の左斜め後ろの適切な方向を向くように調整される。右端部２３１Ｒの中央部２３１Ｃに対する角度は、例えば、標準的な運転者の視線の右端部２３１Ｒへの入射角に対する反射角が、車両１の右斜め後ろの適切な方向を向くように調整される。
　左端部２３１Ｌには、表示部２３１ＬＬが設けられている。右端部２３１Ｒには、表示部２３１ＲＲが設けられている。
　センターディスプレイ２３１の左端部２３１Ｌ及び右端部２３１Ｒは、従来のサイドミラーの代替となるデジタルアウターミラー（電子サイドミラー）として主に用いられる。すなわち、左端部２３１Ｌ及び右端部２３１Ｒは、ＣＭＳに用いられる。例えば、左端部２３１Ｌの表示部２３１ＬＬは、カメラ５１ＳＬ４により撮影される車両１の左斜め後方の画像を表示する。右端部２３１Ｒの表示部２３１ＲＲは、カメラ５１ＳＲ４により撮影される車両１の右斜め後方の画像を表示する。
　なお、センターディスプレイ２３１の左端部２３１Ｌ、中央部２３１Ｃ、及び、右端部２３１Ｒは、水平方向に連続している。従って、運転者が、中央部２３１Ｃから左端部２３１Ｌ又は右端部２３１Ｒに視線を移したり、左端部２３１Ｌ又は右端部２３１Ｒから中央部２３１Ｃに視線を移したりする場合、視線を水平方向に移動させるだけでよい。その結果、運転者の視線の移動距離及び移動方向が小さくなり、視認性が向上する。
　また、例えば、左端部２３１Ｌは、車両１の左側方及び後方から接近する車両、バイク、自転車、歩行者等が検出された場合、アラート表示を行う。同様に、右端部２３１Ｒは、車両１の右側方及び後方から接近する車両、バイク、自転車、歩行者等が検出された場合、アラート表示を行う。
　なお、車両１の左右の側方及び後方から接近する車両等は、例えば、カメラ５１ＳＬ２、カメラ５１ＳＬ３、カメラ５１ＳＲ２、カメラ５１ＳＲ３、カメラ５１ＢＣ１、及び、カメラ５１ＢＣ３からの画像（センサデータ）、並びに、レーダ５２ＢＬ、レーダ５２ＢＣ、レーダ５２ＢＲ、及び、ＬｉＤＡＲ５３Ｂからのセンサデータ等に基づいて、認識部７３により検出される。
　なお、左端部２３１Ｌ、中央部２３１Ｃ、及び、右端部２３１Ｒは１つに繋がっているため、センターディスプレイ２３１全体で１つの画面を表示することも可能である。例えば、センターディスプレイ２３１全体で、車両１の周囲の画像、地図情報、又は、インフォテイメント関連の情報等を表示することも可能である。
　図１２及び図１３に示されるように、コンソールディスプレイ２３２は、運転席２０１と助手席２０２との間に設けられているコンソール２１２に設けられ、センターディスプレイ２３１の中央部２３１Ｃの下方に配置されている。
　具体的には、コンソール２１２は、運転席２０１と助手席２０２との間において前後方向に延びている。コンソール２１２の先端部は、車両１の前方に向けて、斜め上方向に傾斜しており、コンソールディスプレイ２３２が設けられている。
　コンソールディスプレイ２３２は、例えば、２次元又は３次元のタッチパネルにより構成され、指等を接触又は近接させて操作することが可能である。コンソールディスプレイ２３２は、車両１の後方を向いている。また、コンソールディスプレイ２３２は、センターディスプレイ２３１の中央部２３１Ｃと略同様な角度で斜め上方向を向いている。これにより、センターディスプレイ２３１とコンソールディスプレイ２３２とが、一続きに連なるような一体感が生じる。また、センターディスプレイ２３１の中央部２３１Ｃと同様に、コンソールディスプレイ２３２の視認性が向上する。
　例えば、コンソールディスプレイ２３２は、車内の空調設備を操作するための操作画面を表示する。運転者等の搭乗者は、表示された操作画面を用いて、車内の空調機器を操作する。
　例えば、コンソールディスプレイ２３２は、センターディスプレイ２３１に表示されている情報を操作するための操作画面を表示する。例えば、運転者等の搭乗者は、表示された操作画面を用いて、センターディスプレイ２３１の中央部２３１Ｃに表示されている情報（例えば、地図等）のスクロール、拡大、縮小、切り替え等を行う。
　上述したように、センターディスプレイ２３１とコンソールディスプレイ２３２とは一体感がある。従って、搭乗者は、自然な感覚でコンソールディスプレイ２３２の操作画面を用いて、センターディスプレイ２３１に表示されている情報を操作することができ、操作性が向上する。
　例えば、コンソールディスプレイ２３２は、センターディスプレイ２３１の表示部２３１ＬＬ及び表示部２３１ＲＲの表示範囲を設定するための操作画面を表示する。例えば、運転者は、表示された操作画面を用いて、表示部２３１ＬＬ及び表示部２３１ＲＲの表示範囲のズームイン、ズームアウト、移動等を行う。
　コンソール２１２の中間部は、先端部とは逆に、車両１の前方に向けて、斜め下方向に傾斜している。中間部の中央付近には、円形のコントローラ２１３が設けられている。コンソール２１２の中間部の傾斜角は、運転者が手を置きやすい角度に設定されており、これにより、コントローラ２１３の操作性が向上する。
　コントローラ２１３は、例えば、押したり、回したり、所定の方向（例えば、前後左右）に傾けたりすることができ、例えば、車内のオーディオシステムの操作に用いられる。例えば、コントローラ２１３が押されると、音楽が再生又は停止され、コントローラ２１３を回すことにより、ボリュームが調整される。
　コンソール２１２の後端部は、例えば、運転者が腕を置きやすいように、略水平になっている。
　図１３に示されるように、ヘッドアップディスプレイは、運転席２０１の前方に設けられているディスプレイ２３３を備えている。例えば、ディスプレイ２３３は、ウインドシールド２０４の一部により構成されてもよいし、ウインドシールド２０４とは別に設けられてもよい。後者の場合、例えば、ウインドシールド２０４にディスプレイ２３３が貼付される。そして、ＡＲ技術を用いて、ディスプレイ２３３に視覚情報が投影されることにより、運転者の視界内に視覚情報が重ねて表示される。
　ヘッドアップディスプレイのディスプレイ２３３は、例えば、運転を支援する情報を表示する。例えば、ディスプレイ２３３は、車両１の周囲の状況に応じて、アラート表示を行う。例えば、ディスプレイ２３３は、ＡＣＣ（Adaptive Cruise Control）の動作中に、追従する対象となる前方の車両を示す情報を表示する。例えば、ディスプレイ２３３は、車線変更支援機能の動作中に、必要に応じて、進行する予定のルートを矢印等により表示する。
　デジタルリアミラー２３４は、従来のバックミラー（rearview mirror）の代わりに用いられ、スマートルームミラーとも称される。図１３に示されるように、デジタルリアミラー２３４は、従来のバックミラーと同様に、ウインドシールド２０４の上端かつ中央付近の少し手前に設けられ、センターディスプレイ２３１の中央部２３１Ｃの上方に配置されている。
　デジタルリアミラー２３４は、例えば、カメラ５１ＢＣ２により撮影される車両１の後方の画像を表示する。例えば、デジタルリアミラー２３４は、車両１の後方に他の車両が接近している場合、アラート表示を行う。
　また、例えば、運転者の視線方向及び姿勢の少なくとも１つに基づいて、デジタルリアミラー２３４の表示範囲が調整される。これにより、運転者の視線方向や姿勢に応じて、従来の物理的なルームミラーと同様に、デジタルリアミラー２３４に表示される画像の範囲が適切に調整される。
　図１９に示されるように、タブレット端末２３５Ｌは、運転席２０１の背面、より具体的には、運転席２０１のヘッドレストの背面に設けられている。
　タブレット端末２３５Ｌは、例えば、後部座席２０３Ｌの搭乗者に対して、インフォテイメント関連の情報を提示したり、提示した情報に対する操作を受け付けたりする。また、例えば、タブレット端末２３５Ｌは、緊急時や危険時等にアラート表示を行う。
　なお、図示は省略するが、例えば、助手席２０２の背面には、タブレット端末２３５Ｌと同様のタブレット端末２３５Ｒが設けられている。
　なお、センターディスプレイ２３１、コンソールディスプレイ２３２、ヘッドアップディスプレイ、デジタルリアミラー２３４、タブレット端末２３５Ｌ、及び、タブレット端末２３５Ｒの表示は、例えば、ＨＭＩ３１の機能の一部である表示制御部により制御される。
　以上のように、車内の各ディスプレイに各種の情報を表示することにより、運転者等の搭乗者の利便性を向上させることができる。例えば、車両１の運転を支援したり、搭乗者に必要な情報を提供したり、搭乗者を楽しませたりすることができる。
　なお、例えば、図１９に示されるように、タブレット端末２３５Ｌの上端かつ中央付近の位置Ｐ２Ｌに、ＴｏＦカメラを設けるようにしてもよい。これにより、ＴｏＦカメラにより撮影された画像に基づいて、例えば、タブレット端末２３５Ｌを操作している搭乗者の認識等が可能になる。
　なお、タブレット端末２３５Ｒにも同様にＴｏＦカメラを設けることができる。
　　　＜スピーカの設置位置＞
　次に、車両１の内部のスピーカの設置位置の例について説明する。
　図１２に示されるように、スピーカ２３６ＦＬが、運転席２０１側のドア１２１ＦＬのドアオープナー２１６ＦＬの後方付近に埋め込まれている。図示は省略するが、スピーカ２３６ＦＲが、助手席２０２側のドア１２１ＦＲのドアオープナー２１６ＦＲの後方付近に埋め込まれている。スピーカ２３６ＢＬが、後部座席２０３Ｌ側のドア１２１ＢＬの中央付近に埋め込まれている。図示は省略するが、スピーカ２３６ＢＲが、後部座席２０３Ｒ側のドア１２１ＢＲの中央付近に埋め込まれている。
　図１８に示されるように、運転席２０１のヘッドレストの下方にシートスピーカ２３７が埋め込まれている。助手席２０２のヘッドレストの下方にシートスピーカ２３８が埋め込まれている。左側の後部座席２０３Ｌにシートスピーカ２３９Ｌが埋め込まれている。右側の後部座席２０３Ｒにシートスピーカ２３９Ｒが埋め込まれている。
　なお、様々な身長（座高）の人が各座席のシートスピーカの音を明瞭に聴けるように、座席の形状及びシートスピーカの位置が調整されている。
　ドア１２１ＦＬ乃至ドア１２１ＢＲに埋め込まれているスピーカ２３６ＦＬ乃至スピーカ２３６ＢＲは、例えば、車内全体（車内の搭乗者全員）に向けた音を出力するために用いられる。また、スピーカ２３６ＦＬ乃至スピーカ２３６ＦＲにより、３６０度リアルオーディオが実現される。３６０度リアルオーディオが実現されることにより、例えば、車内で動画や音楽等を臨場感のある音で楽しむことができる。また、車両１の周囲に存在する障害物等の危険な物体の位置を、音の出力方向により通知することができる。
　一方、各座席のシートスピーカは、例えば、主に各座席に座っている個々の搭乗者向けのプライベートな音を出力するために用いられる。すなわち、各シートスピーカから出力される音は個別に制御される。
　なお、このスピーカの配置は一例であり、変更することが可能である。例えば、車両１の前方のダッシュボード２０５上にスピーカを配置してもよい。
　　＜車両１のシステムアーキテクチャ＞
　次に、図２０及び図２１を参照して、車両１のシステムアーキテクチャについて説明する。
　図２０は、車両１のシステムアーキテクチャの一例を示す情報処理システム３０１の構成例を示している。
　情報処理システム３０１は、ドメイン型のＥ／Ｅ（電気／電子）アーキテクチャを採用したシステムである。
　情報処理システム３０１においては、ｅＰＷＴ（e-PoWer）ドメインコントローラ（ＤＣ）３２１、ＡＤＡＳドメインコントローラ（ＤＣ）３３１、及び、ＨＭＩ＋ボディドメインコントローラ（ＤＣ）３４１の３つのドメインコントローラ（ＤＣ）が、ネットワークを介して、セキュアゲートウエイ３１１に接続されている。そして、情報処理システム３０１は、ＤＣ毎に３つのドメインＤ１乃至ドメインＤ３に分かれている。
　ｅＰＷＴ　ＤＣ３２１は、車両１のパワートレインの構成部品及び制御部品を含むドメインＤ１内のデータの転送及び処理の制御等を行う。ｅＰＷＴ　ＤＣ３２１には、例えば、ネットワークを介して、フロントＥＤＵ（Electric Drive Unit）３２２、リアＥＤＵ３２３、充電器ＥＣＵ３２４、ＥＰＳ（電動パワーステアリング）　ＥＣＵ３２５、ブレーキＥＣＵ３２６、及び、ダンパーＥＣＵ３２７等が接続されている。
　フロントＥＤＵ３２２は、車両１の前輪を駆動するユニットである。
　リアＥＤＵ３２３は、車両１の後輪を駆動するユニットである。
　充電器ＥＣＵ３２４は、フロントＥＤＵ３２２及びリアＥＤＵ３２３等を駆動するためのバッテリの充電器の制御を行う。
　ＥＰＳ　ＥＣＵ３２５は、車両１の電動パワーステアリングの制御を行う。
　ブレーキＥＣＵ３２６は、車両１のブレーキの制御を行う。
　ダンパーＥＣＵ３２７は、車両１のダンパーの制御を行う。
　ＡＤＡＳ　ＤＣ３３１は、車両１のＡＤＡＳを実現する部品を含むドメインＤ２内のデータの転送及び処理の制御等を行う。ＡＤＡＳ　ＤＣ３３１には、例えば、ネットワークを介して、レーダ５２、ＬｉＤＡＲ５３、カメラ３３２、ＵＳＳ（超音波センサ）　ＥＣＵ３３３、ＧＮＳＳ　ＥＣＵ３３４、及び、データロガー３３５等が接続されている。
　カメラ３３２は、例えば、車両１のカメラ５１のうち、ＣＭＳ用のカメラ５１ＳＬ４、カメラ５１ＳＲ４、及び、カメラ５１ＢＣ２を除くカメラを含む。
　ＵＳＳ　ＥＣＵ３３３は、超音波センサ５４の制御を行う。
　ＧＮＳＳ　ＥＣＵ３３４は、ＧＮＳＳ受信部２４等の制御を行う。
　データロガー３３５は、ＡＤＡＳの処理に関するデータの記録等を行う。
　ＨＭＩ＋ボディＤＣ３４１は、車両１のＨＭＩを実現する部品、並びに、車両１のボディ系の構成部品及び制御部品を含むドメインＤ３内のデータの転送及び処理の制御等を行う。ＨＭＩ＋ボディＤＣ３４１には、例えば、ネットワークを介して、ドアコントローラ３４２、ワイパーコントローラ３４３、シートコントローラ３４４、センターディスプレイ２３１の中央部２３１Ｃの表示部２３１ＣＬ乃至表示部２３１ＣＲ、タブレット端末２３５Ｌ、タブレット端末２３５Ｒ、及び、インタフェース３４５等が接続されている。また、ＨＭＩ＋ボディＤＣ３４１には、例えば、ＣＭＳ３４９が接続されている。
　ドアコントローラ３４２は、車両１のドア１２１ＦＬ乃至ドア１２１ＢＲの制御を行う。
　ワイパーコントローラ３４３は、車両１のワイパーの制御を行う。
　シートコントローラ３４４は、例えば、運転席２０１、助手席２０２、後部座席２０３Ｌ、及び、後部座席２０３Ｒの位置及び姿勢等の制御を行う。
　インタフェース３４５は、例えば、表示部２３１ＣＬ乃至表示部２３１ＣＲ、タブレット端末２３５Ｌ、及び、タブレット端末２３５Ｒ以外の各種のインタフェースを行う構成部品及び制御部品を含む。例えば、インタフェース３４５は、スピーカ２３６ＦＬ乃至スピーカ２３６ＢＲ、及び、シートスピーカ２３７乃至シートスピーカ２３９Ｒ等を含む。
　ＣＭＳ３４６は、例えば、ＣＭＳの構成部品及び制御部品を含む。ＣＭＳ３４９は、例えば、カメラ５１ＳＬ４、カメラ５１ＳＲ４、カメラ５１ＢＣ２、並びに、センターディスプレイ２３１の左端部２３１Ｌの表示部２３１ＬＬ及び右端部２３１Ｒの表示部２３１ＲＲを含む。
　また、セキュアゲートウエイ３１１には、外部との通信を行うＴＣＭ（Telematics Computing Unit）３１２が接続されている。
　図２１は、情報処理システム３０１のうち、主にＣＭＳ３４９、カメラモジュール１２２Ｌ、及び、カメラモジュール１２２Ｒに関連する部分の具体的な構成例を示している。
　セキュアゲートウエイ３１１には、ＡＤＡＳ　ＤＣ３３１、ＨＭＩ＋ボディＤＣ３４１、及び、ＴｏＦ　ＥＣＵ３６１が接続されている。セキュアゲートウエイ３１１と、ＡＤＡＳ　ＤＣ３３１、ＨＭＩ＋ボディＤＣ３４１、及び、ＴｏＦ　ＥＣＵ３６１とは、例えば、イーサネット介して接続されている。
　ＡＤＡＳ　ＤＣ３３１には、カメラモジュール１２２Ｌが備えるカメラ５１ＳＬ１乃至カメラ５１ＳＬ３、カメラモジュール１２２Ｒが備えるカメラ５１ＳＲ１乃至カメラ５１ＳＲ３、カメラ５１ＢＣ１、レーダ５２ＢＣ、及び、ＬｉＤＡＲ５３Ｂが接続されている。
　ＴｏＦ　ＥＣＵ３６１には、ＴｏＦカメラにより構成されるカメラ１０１Ｌ及びカメラ１０１Ｒが接続されている。
　ＨＭＩ＋ボディＤＣ３４１には、ＣＭＳ　ＥＣＵ３６２、センターディスプレイ２３１の表示部２３１ＣＬ乃至表示部２３１ＣＲ、及び、サウンドアンプ３６３が接続されている。ＨＭＩ＋ボディＤＣ３４１とＣＭＳ　ＥＣＵ３６２とは、例えば、ＵＳＢケーブルを介して接続されている。
　ＣＭＳ　ＥＣＵ３６２には、カメラモジュール１２２Ｌが備えるカメラ５１ＳＬ４、カメラモジュール１２２Ｒが備えるカメラ５１ＳＲ４、並びに、センターディスプレイ２３１の表示部２３１ＬＬ及び表示部２３１ＲＲが接続されている。すなわち、カメラモジュール１２２Ｌのうち、カメラ５１ＳＬ１乃至カメラ５１ＳＬ３は、ＡＤＡＳ　ＤＣ３３１に接続され、ドメインＤ２に属し、カメラ５１ＳＬ４は、ＣＭＳ　ＥＣＵ３６２を介してＨＭＩ＋ボディＤＣ３４１に接続され、ドメインＤ３に属する。カメラモジュール１２２Ｒのうち、カメラ５１ＳＲ１乃至カメラ５１ＳＲ３は、ＡＤＡＳ　ＤＣ３３１に接続され、ドメインＤ２に属し、カメラ５１ＳＲ４は、ＣＭＳ　ＥＣＵ３６２を介してＨＭＩ＋ボディＤＣ３４１に接続され、ドメインＤ３に属する。
　サウンドアンプ３６３には、スピーカ３６４が接続されている。
　カメラ５１ＳＬ１は、上述したように、車両１の左斜め前方を撮影する。
　カメラ５１ＳＬ２は、上述したように、魚眼カメラにより構成され、車両１の左方向を撮影する。
　カメラ５１ＳＬ３は、上述したように、車両１の左斜め後方を撮影する。
　カメラ５１ＳＲ１は、上述したように、車両１の右斜め前方を撮影する。
　カメラ５１ＳＲ２は、上述したように、魚眼カメラにより構成され、車両１の右方向を撮影する。
　カメラ５１ＳＲ３は、上述したように、車両１の右斜め後方を撮影する。
　カメラ５１ＢＣ１は、上述したように、魚眼カメラにより構成され、車両１の後方を撮影する。
　レーダ５２ＢＣは、上述したように、車両１の後方のセンシングを行う。
　ＬｉＤＡＲ５３Ｂは、上述したように、車両１の後方のセンシングを行う。
　ＡＤＡＳ　ＤＣ３３１は、例えば、車両１の認識部７３の一部を実現する。例えば、ＡＤＡＳ　ＤＣ３３１は、カメラ５１ＳＬ１乃至カメラ５１ＳＬ３、カメラ５１ＳＲ１乃至カメラ５１ＳＲ３、カメラ５１ＢＣ１、レーダ５２ＢＣ、及び、ＬｉＤＡＲ５３Ｂからのセンサデータに基づいて、車両１の外部の物体認識を行う。ＡＤＡＳ　ＤＣ３３１は、認識結果を示すデータを、セキュアゲートウエイ３１１を介して、他のドメイン等に供給する。
　ＴｏＦ　ＥＣＵ３６１は、例えば、車両１の認識部７３の一部を実現する。例えば、ＴｏＦ　ＥＣＵ３６１は、カメラ１０１Ｌの画像に基づいて、運転者の姿勢及び動き等を認識する。ＴｏＦ　ＥＣＵ３６１は、カメラ１０１Ｒの画像に基づいて、助手席２０２の搭乗者の姿勢及び動き等を認識する。ＴｏＦ　ＥＣＵ３６１は、認識結果を示すデータを、セキュアゲートウエイ３１１を介して、他のドメイン等に供給する。
　カメラ５１ＳＬ４は、上述したように、車両１の左斜め後方を撮影する。
　カメラ５１ＳＲ４は、上述したように、車両１の右斜め後方を撮影する。
　ＣＭＳ　ＥＣＵ３６２は、ＣＭＳの制御を行う。例えば、ＣＭＳ　ＥＣＵ３６２は、ＨＭＩ３１の機能の一部であり、表示部２３１ＬＬ及び表示部２３１ＲＲの表示を制御する表示制御部を実現する。例えば、ＣＭＳ　ＥＣＵ３６２は、カメラ５１ＳＬ４の画像の表示部２３１ＬＬによる表示を制御する。例えば、ＣＭＳ　ＥＣＵ３６２は、カメラ５１ＳＲ４の画像の表示部２３１ＲＲによる表示を制御する。例えば、ＣＭＳ　ＥＣＵ３６２は、ＡＤＡＳ　ＤＣ３３１による物体の認識結果に基づく視覚効果の表示部２３１ＬＬ及び表示部２３１ＲＲによる表示を制御する。
　例えば、ＨＭＩ＋ボディＤＣ３４１は、センターディスプレイ２３１の表示部２３１ＣＬ乃至表示部２３１ＣＲの表示を制御する表示制御部を実現する。
　スピーカ３６４は、例えば、スピーカ２３６ＦＬ乃至スピーカ２３６ＢＲ、及び、シートスピーカ２３７乃至シートスピーカ２３９Ｒを含む。
　サウンドアンプ３６３は、スピーカ３６４から出力する各種の音声の増幅を行う。
　ＨＭＩ＋ボディＤＣ３４１は、例えば、ＨＭＩ３１の機能の一部であり、スピーカ３６４からの各種の音声の出力を制御する音声制御部を実現する。
　このように、車両１においては、ドメイン型のＥ／Ｅアーキテクチャを採用することにより、情報処理システム３０１の複雑化を抑制し、よりシンプルにすることができる。その結果、車内の部品点数や配線を削減することができる。
　　＜ＣＭＳの動作例＞
　次に、図２２乃至図３７を参照して、車両１のＣＭＳの動作例について説明する。具体的には、センターディスプレイ２３１の左端部２３１Ｌの表示部２３１ＬＬの表示例について説明する。
　なお、ＨＭＩ３１の機能の一部である表示制御部は、カメラ５１ＳＬ４の画像に基づく画像を表示部２３１ＬＬに表示させる。より具体的には、表示制御部は、カメラ５１ＳＬ４の画像内において表示範囲を設定し、設定した表示範囲内の画像を表示部２３１ＬＬに表示させる。
　認識部７３は、カメラ５１ＳＬ１乃至カメラ５１ＳＬ３、カメラ５１ＳＲ１乃至カメラ５１ＳＲ３、カメラ５１ＢＣ１、レーダ５２ＢＣ、及び、ＬｉＤＡＲ５３Ｂからのセンサデータ等に基づいて物体認識を行い、車両１の外部の物体を認識する。表示制御部は、物体の認識結果及び車両１の状態等に基づいて、表示部２３１ＬＬの表示を制御する。
　図２２は、通常時の表示部２３１ＬＬの表示例を示している。この例では、車両１のボディの一部、車両１の左後方において左隣の車線を走行する後続車両である車両４０１、及び、路面４０２が表示されている。
　そして、例えば、車両４０１が車両１に接近し、車両４０１と車両１との間の距離が所定の範囲内になった場合、図２３において斜線で示されるように、縦長の帯状の視覚効果であるバー４０３が、表示部２３１ＬＬの左端に重畳して表示される。バー４０３は、例えば、車両４０１が表示部２３１ＬＬに写る範囲内であって、車両１との間の距離が所定の範囲内に存在する場合に表示される。バー４０３の色は、目立つ色、例えば、黄色とされる。
　運転者は、バー４０３が表示されることにより、注意が喚起され、事故を確実に防ぐことができる。
　なお、バー４０３の色、明るさ、形状、点滅パターン、動き等の表示態様は、この例に限定されず、任意に変更することができる。例えば、バー４０３の表示態様は、危険度に応じて変化する。
　例えば、車両１の左方向の方向指示器がオンされた場合、車両１が左折（左方向への方向転換）又は左車線への車線変更を行う可能性があり、車両４０１に衝突又は接触する危険度が高くなる。これに対して、例えば、図２４に示されるように、バー４０３の幅が太くなり、点滅する。これにより、運転者の注意がより喚起される。
　さらに、例えば、車両１の左方向の方向指示器がオンされた場合、危険度に応じて、バー４０３の点滅速度が変化する。例えば、車両４０１の絶対速度又は車両１に対する相対速度が速くなるほど、バー４０３の点滅速度が速くなる。例えば、車両４０１が接近するほど、換言すれば、車両４０１と車両１との間の距離が短くなるほど、バー４０３の点滅速度が速くなる。なお、例えば、バー４０３の点滅に同期して警告音が鳴動するようにしてもよい。
　例えば、車両４０１の絶対速度又は車両１に対する相対速度が所定の閾値以上である場合、バー４０３が表示されるタイミングが早くなる。すなわち、車両１に対して車両４０１がより遠くに位置する時点から、バー４０３が表示されるようになる。
　また、例えば、図２５に示されるように、左斜め後方の車両４０１が認識された時点で、車両４０１の存在を示す三角形の視覚効果であるマーク４０４が、車両４０１の近くに重畳して表示されるようにしてもよい。マーク４０４は、車両４０１の動きに追従して移動する。
　これにより、例えば、運転者は、霧や霞等で表示部２３１ＬＬに表示される画像の視認性が悪い場合でも、車両４０１の位置を確実に認識することができる。
　なお、図２５のマーク４０４とは異なる表示態様により、車両４０１の位置が通知されるようにしてもよい。例えば、車両４０１の周囲を囲む枠が表示されるようにしてもよい。
　なお、詳細な説明は省略するが、センターディスプレイ２３１の右端部２３１Ｒの表示部２３１ＲＲにおいても、車両１の右隣の車線を走行する車両の状態、及び、右方向の方向指示器の動作に基づいて、同様の表示が行われる。
　また、以上の説明では、他の車両に対する注意喚起を行う例を示したが、車両以外の移動体（例えば、バイク等）に対する注意喚起を行う場合にも、同様の処理が行われる。
　また、例えば、表示制御部は、方向指示器の動作に合わせて、表示部２３１ＬＬに表示する画像の範囲を制御する。
　図２６は、左方向の方向指示器の動作に合わせて、表示部２３１ＬＬに表示する画像の範囲を変更する例を示している。
　具体的には、図２６のＡ及びＢは、カメラ５１ＳＬ４により撮影される画像の例を示している。画像内には、車両１の左側の車線を走行する車両４２１－１乃至車両４２１－４等が写っている。
　例えば、車両１の左方向の方向指示器がオフされている場合、図２６のＡの領域Ａ２１ａ内の画像が抽出され、領域Ａ２２ａ内の画像が表示部２３１ＬＬに表示される。領域Ａ２２ａ内には、車両４２１－２乃至車両４２１－４が含まれ、車両４２１－１は含まれない。
　一方、車両１の左方向の方向指示器がオンした場合、図２６のＢの領域Ａ２１ｂ内の画像が抽出され、領域Ａ２２ｂ内の画像が表示部２３１ＬＬに表示される。領域Ａ２１ｂ及び領域Ａ２２ｂは、領域Ａ２１ａ及び領域Ａ２２ａより広くなっている。すなわち、表示部２３１ＬＬの表示範囲がズームアウト（拡張）され、広がっている。そして、領域Ａ２２ｂ内に、車両４２１－２乃至車両４２１－４に加えて、車両４２１－１の後端部が含まれるようになる。
　これにより、運転者は、左方向の方向指示器をオンしたとき、車両１の左側の車線の状況をより広範囲に確認することができる。その結果、運転者は、より安全に車線変更又は左折を行うことが可能になる。
　なお、例えば、表示部２３１ＬＬの表示範囲がズームアウトした場合、ズームアウトしたことを示すアイコンや枠等が、表示部２３１ＬＬに表示されるようにしてもよい。
　ここで、UN ECE-R46（United Nations Economic Commission for Europe Regulation 46）では、ＣＭＳにおいて必ず視認できるようにする視界の範囲（以下、必須視界範囲と称する）が定められている。必須視界範囲は車両の定員や重量等により異なるが、図２７はその一例を示している。
　この例では、必須視界範囲は、領域Ａ２３Ｌ、領域Ａ２３Ｒ、及び、領域Ａ２３Ｃからなる。
　領域Ａ２３Ｌは、車両１より左側の点Ｐ２２Ｌ乃至点Ｐ２６Ｌにより囲まれる領域である。具体的には、車両１の前後方向において運転者の目の位置と同じ位置に対応する車両１の左端の点を基準点Ｐ２１Ｌとする。点Ｐ２２Ｌは、基準点Ｐ２１Ｌから４ｍ後方の点である。点Ｐ２３Ｌは、基準点Ｐ２１Ｌから６０ｍ後方の点である。点Ｐ２４Ｌは、点Ｐ２２Ｌから１ｍ左方向に離れた点である。点Ｐ２５Ｌは、基準点Ｐ２１Ｌから２０ｍ後方かつ４ｍ左方向に離れた点である。点Ｐ２６Ｌは、基準点Ｐ２１Ｌから６０ｍ後方かつ４ｍ左方向に離れた点である。
　領域Ａ２３Ｒは、車両１より右側の点Ｐ２２Ｒ乃至点Ｐ２６Ｒにより囲まれる領域である。具体的には、車両１の前後方向において運転者の目の位置と同じ位置に対応する車両１の右端の点を基準点Ｐ２１Ｒとする。点Ｐ２２Ｒは、基準点Ｐ２１Ｒから４ｍ後方の点である。点Ｐ２３Ｒは、基準点Ｐ２１Ｒから６０ｍ後方の点である。点Ｐ２４Ｒは、点Ｐ２２Ｒから１ｍ右方向に離れた点である。点Ｐ２５Ｒは、基準点Ｐ２１Ｒから２０ｍ後方かつ４ｍ右方向に離れた点である。点Ｐ２５Ｒは、基準点Ｐ２１Ｒから６０ｍ後方かつ４ｍ右方向に離れた点である。
　領域Ａ２３Ｃは、車両１の運転者の目の位置から後方に６０ｍ以上離れており、車両１の左右方向の中心を中心とする幅２０ｍの領域である。
　従って、例えば、図２６に示されるように、左方向の方向指示器の動作に応じて表示部２３１ＬＬの表示範囲が変更される場合、領域Ａ２３Ｌが必ず含まれるように表示範囲が変更される。
　なお、詳細な説明は省略するが、センターディスプレイ２３１の表示部２３１ＲＲにおいても、右方向の方向指示器の動作に応じて、同様の表示範囲の制御が行われる。また、領域Ａ２３Ｒが必ず含まれるように、表示部２３１ＲＲの表示範囲が変更される。
　また、例えば、表示制御部は、車両１のシフトポジションに基づいて、表示部２３１ＬＬの表示範囲を制御する。
　図２８は、車両１のシフトポジションに基づいて、表示部２３１ＬＬの表示範囲を変更する例を示している。
　具体的には、図２８のＡ及びＢは、カメラ５１ＳＬ４により撮影される画像の例を示している。画像内には、車両１の左後方に左右に並べて駐車されている車両４４１－１及び車両４４１－２が写っている。
　例えば、車両１のシフトポジションがリバースに設定される前、図２８のＡの領域Ａ３１ａ内の画像が抽出され、領域Ａ３２ａ内の画像が表示部２３１ＬＬに表示される。
　一方、車両１のシフトポジションがリバースに設定された後、図２８のＢの領域Ａ３１ｂ内の画像が抽出され、領域Ａ３２ｂ内の画像が表示部２３１ＬＬに表示される。領域Ａ３１ｂ及び領域Ａ３２ｂは、領域Ａ３１ａ及び領域Ａ３２ａより広くなっている。すなわち、表示部２３１ＬＬの表示範囲がズームアウトされ、広がっている。このとき、例えば、車両１の周囲の地面がより広く表示されるように、表示部２３１ＬＬの表示範囲が自動的に下方向に移動するようにしてもよい。
　なお、詳細な説明は省略するが、センターディスプレイ２３１の表示部２３１ＲＲにおいても、車両１のシフトポジションに基づいて、表示部２３１ＬＬと同様に表示範囲が変更される。
　これにより、運転者は、車両１の左斜め後方の状況をより広範囲に確認することができる。その結果、運転者は、より安全に車両１Ｃを駐車することができる。
　また、例えば、運転者は、図１３等に示されるコンソールディスプレイ２３２に表示されている操作画面の操作を行うことにより、表示部２３１ＬＬ及び表示部２３１ＲＲの表示範囲を設定することが可能である。例えば、運転者は、表示部２３１ＬＬの表示範囲及び表示部２３１ＲＲの表示範囲を個別に移動したり、各表示範囲に対するズーム比（Zoom Factor）を個別に設定したりすることができる。
　ここで、表示範囲は、図２９に示される設定可能範囲Ａ４１内において設定することが可能である。なお、図２９において、図２６と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。
　例えば、設定されているズーム比に基づいて、撮影画像から表示用に抽出される抽出範囲Ａ４２のサイズが設定される。すなわち、ズーム比に基づいて、抽出範囲Ａ４２のズームイン（縮小）及びズームアウト（拡張）が行われる。そして、抽出範囲Ａ４２内の所定の表示範囲Ａ４３内の画像が表示部２３１ＬＬに表示される。
　このとき、表示範囲Ａ４３は、設定可能範囲Ａ４１内において移動させることが可能である。設定可能範囲Ａ４１は、領域Ａ２３Ｌが表示範囲Ａ４３内に含まれる範囲に設定される。
　これに対して、例えば、図２９のＢに示されるように、領域Ａ２３Ｌが表示範囲Ａ４３からはみ出るような場合、運転者に対して警告が行われる。例えば、表示部２３１ＬＬに警告メッセージが表示されるともに、警告音が出力される。
　または、例えば、運転者の操作に関わらず、表示範囲Ａ４３が設定可能範囲Ａ４１の外に出ないように、表示範囲Ａ４３の移動範囲が制限されてもよい。
　このように、運転者は、コンソールディスプレイ２３２を操作することにより、領域Ａ２３Ｌが含まれる範囲内において、自分の好みの位置に表示範囲Ａ４３を移動させたり、表示範囲Ａ４３のズームイン又はズームアウトを行ったりすることができる。また、運転者は、例えば、運転している姿勢のまま、コンソールディスプレイ２３２上で指を動かしたり、クリックしたりすることにより、視線をそらさずに表示範囲Ａ４３を調整することができる。
　また、例えば、物理的なサイドミラーの場合、運転者は、サイドミラーに顔を近づけ、サイドミラーを覗き込むことにより、サイドミラーを介して見える範囲を変更することができる。例えば、運転者は、駐車時等にサイドミラーを覗き込むことにより、車両の周囲の地面の障害物の有無を確認する場合がある。
　これに対して、表示部２３１ＬＬも同様に、運転者が表示部２３１ＬＬに顔を近づけ、覗き込むような動作をすることにより、表示範囲を変更することができる。
　例えば、ＤＭＳ３０は、カメラ１０１Ｌの画像に基づいて、運転者の骨格認識等を行うことにより、運転者の頭部の位置及び向きを検出する。ＤＭＳ３０は、運転者の頭部の位置及び向きに基づいて、運転者が表示部２３１ＬＬを覗き込む動作を認識した場合、運転者が表示部２３１ＬＬを覗き込む角度を検出する。
　これに対して、表示制御部は、車両１が停止している場合、すなわち、車両１の速度が０である場合、運転者が表示部２３１ＬＬを覗き込む角度に基づいて、表示部２３１ＬＬの表示範囲を制御する。
　例えば、図３０は、運転者が覗き込む前の表示部２３１ＬＬの表示範囲を示している。この例では、車両１のボディの一部が、表示部２３１ＬＬの右下隅に表示されている。また、車両１の左後方にある物体４６１の上部の一部が表示されている。
　この場合、例えば、運転者が表示部２３１ＬＬを斜め上方向から覗き込むような動作をした場合、表示部２３１ＬＬの表示範囲が、図３１に示されるように変化する。具体的には、表示部２３１ＬＬの表示範囲が、下方向に移動する。これにより、物体４６１の下部も表示部２３１ＬＬに表示されるようになり、運転者は物体４６１全体を視認することが可能になる。
　また、図内の斜線で示されるように、車両１の周囲の所定の範囲内の地面の領域を示す帯状の視覚効果であるライン４６２が、重畳して表示されるとともに点滅する。これにより、運転者は、車両１が衝突又は接触する可能性のある物体を迅速に認識し、認識した物体を回避しながら、車両１を移動させることができる。
　また、例えば、図３２は、運転者が覗き込む前の表示部２３１ＬＬの表示範囲を示している。この例では、車両１のボディの一部が、表示部２３１ＬＬの右端に表示されている。左後方の車両４８１の一部が、表示部２３１ＬＬの左上に表示されている。車両１と車両４８１の間に、駐車線４８２が表示されている。車両１の左かつ表示部２３１ＬＬの下端に、物体４８３の上端が表示されている。
　ここで、例えば、運転者が、車両１を駐車するためにシフトポジションをリバースに設定した場合、図２８を参照して上述したように、表示部２３１ＬＬの表示範囲がズームアウトする。これにより、図３３に示されるように、表示部２３１ＬＬの表示範囲が広がり、車両１、車両４８１、及び、物体４８３が表示される範囲が広がる。
　さらに、例えば、運転者が表示部２３１ＬＬを斜め上方向から覗き込むような動作をした場合、図３４に示されるように、表示部２３１ＬＬの表示範囲が下方向に移動する。これにより、物体４８３全体が表示部２３１ＬＬに表示されるようになる。その結果、運転者は、物体４８３を確実に回避しながら、車両１を駐車することができる。
　なお、詳細な説明は省略するが、運転者がセンターディスプレイ２３１の表示部２３１ＲＲを覗き込んだ場合も、表示部２３１ＬＬと同様に表示範囲が移動する。
　なお、車両１が移動中の場合、すなわち、車両１の速度が０でない場合、運転者が表示部２３１ＬＬ及び表示部２３１ＲＲを覗き込んでも、表示範囲は変化しない。
　また、例えば、運転者がデジタルリアミラー２３４に顔を近づけ、覗き込んだ場合にも、デジタルリアミラー２３４の表示範囲が移動する。
　例えば、ＤＭＳ３０は、運転者の頭部の位置及び向きに基づいて、運転者がデジタルリアミラー２３４を覗き込む動作を認識した場合、運転者がデジタルリアミラー２３４を覗き込む角度を検出する。
　これに対して、表示制御部は、車両１が停止している場合、すなわち、車両１の速度が０である場合、運転者がデジタルリアミラー２３４を覗き込む角度に基づいて、デジタルリアミラー２３４の表示範囲を制御する。
　また、例えば、ＤＭＳ３０は、カメラ１０１Ｌの画像に基づいて、運転者の骨格認識等を行うことにより、運転者の左手の動きを検出する。認識部７３は、カメラ５１ＳＬ２及びカメラ５１ＳＬ３等の画像に基づいて、車両１の外部の運転席２０１のドア１２１ＦＬ周辺の物体の検出を行う。そして、表示部２３１ＬＬは、運転席２０１のドア１２１ＦＬ周辺の所定の範囲内において物体が検出されている場合に、運転者がドア１２１ＦＬを開ける動作をしたとき、例えば、運転者の左手がドア１２１ＦＬのドアオープナー２１６ＦＬに触れたとき、警告表示を行う。
　例えば、図３５は、運転者の左手がドアオープナー２１６ＦＬに触れる前の表示部２３１ＬＬの表示例を示している。表示部２３１ＬＬの右端には、車両１のボディの一部が表示されている。車両１の左側には、後方から車両１に近づいている歩行者５０１が表示されている。
　この場合、例えば、図３６に示されるように、運転者ＤＲ１の左手がドアオープナー２１６ＦＬに触れたとき、図３７において斜線で示されるように、表示部２３１ＬＬは警告表示を行う。具体的には、表示部２３１ＬＬの左端において、縦長の帯状の視覚効果であるバー５０２が重畳して表示されるとともに、点滅する。バー５０２の色は、目立つ色、例えば、黄色とされる。
　なお、このとき、警告音が出力されるようにしてもよい。
　これにより、運転者ＤＲ１は、歩行者５０１に対する注意を促され、ドア１２１ＦＬを開けたときにドア１２１ＦＬが歩行者５０１にぶつかることが防止される。
　なお、このとき、ボディ系制御部８４は、ドア１２１ＦＬのトルクを重くして、ドア１２１ＦＬを開けにくくするようにしてもよい。
　また、例えば、助手席２０２の搭乗者の手が助手席２０２側のドア１２１ＦＲのドアオープナー２１６ＦＲに触れた場合に、助手席２０２側の表示部２３１ＲＲが同様の警告表示を行うようにしてもよい。
　　＜表示部２３１ＣＬ及びイルミネーション２０７の動作例＞
　次に、図３８乃至図４３を参照して、センターディスプレイ２３１の表示部２３１ＣＬ及びステアリングホイール２０６のイルミネーション２０７の動作例について説明する。
　例えば、表示制御部は、車両１の状況、車両１の周囲の状況、及び、搭乗者の状況のうち少なくとも１つに基づいて、状況に応じた内容を表示部２３１ＣＬに表示させる。
　例えば、ライト制御部８５は、車両１の状況、車両１の周囲の状況、及び、搭乗者の状況のうち少なくとも１つに基づいて、状況に応じたパターンでイルミネーション２０７を点灯又は点滅させる。イルミネーション２０７の発光パターンは、例えば、色、明るさ、点滅パターン、光の動き、及び、発光領域のうち少なくとも１つにより定義される。
　例えば、運転者が車両１に乗り込み、運転席２０１に座った場合、ＤＭＳ３０は、カメラ１０１Ｌの画像及びカメラ１０２の画像のうち少なくとも一方に基づいて、運転者の認識処理を行う。そして、表示部２３１ＣＬ及びイルミネーション２０７は、運転者を認識したことを通知する。
　例えば、図３８は、運転者の認識前の表示部２３１ＣＬ及びイルミネーション２０７の状態を示している。
　表示部２３１ＣＬには、車両１の状態が表示されている。具体的には、シフトポジション、充電量、速度、航続可能距離等が表示されている。
　イルミネーション２０７は消灯している。
　図３９は、運転者を認識したときの表示部２３１ＣＬ及びイルミネーション２０７の状態を示している。
　表示部２３１ＣＬは、認識した運転者の画像、名前、運転者に対するメッセージを表示する。その後、表示部２３１ＣＬは、図３８の状態に戻る。
　また詳細な図示は省略するが、イルミネーション２０７が、所定のパターンで点灯する。例えば、複数の短い白色の光の帯が、イルミネーション２０７上を所定のパターンで流れるように移動する。
　これにより、車両１が運転者を認識したことが運転者に確実に通知される。
　このとき、例えば、ボディ系制御部８４は、認識された運転者の体格又は事前に設定した運転者の嗜好等に基づいて、運転席２０１の位置や角度、及び、ステアリングホイール２０６の位置や角度等を設定するようにしてもよい。これにより、認識された運転者に適したドライビングポジションが設定される。
　また、例えば、表示制御部は、認識された運転者の目の位置、及び、ステアリングホイール２０６の位置や角度等に基づいて、センターディスプレイ２３１の表示部２３１ＣＬの表示位置を調整するようにしてもよい。これにより、認識された運転者に応じて、ステアリングホイール２０６に遮られずに見やすい位置に表示部２３１ＣＬの表示範囲が設定される。
　また、例えば、車両１の自動運転の準備ができたとき、表示部２３１ＣＬ及びイルミネーション２０７は、自動運転の準備が完了したことを通知する。
　例えば、図４０は、自動運転の準備が完了したときの表示部２３１ＣＬ及びイルミネーション２０７の状態を示している。
　表示部２３１ＣＬには、図３９の表示内容に加えて、自動運転の準備が完了したことを示すアイコン６０１が表示されている。なお、アイコン６０１の左には、車両１が走行している道路の制限速度が表示されている。
　また詳細な図示は省略するが、イルミネーション２０７が、所定のパターンで点灯する。例えば、複数の短い白色の光の帯が、イルミネーション２０７上を所定のパターンで流れるように移動する。
　これにより、運転者は、自動運転の準備が完了したことを確実に認識することができる。
　また、例えば、車両１の自動運転が開始されたとき、表示部２３１ＣＬ及びイルミネーション２０７は、自動運転の開始を通知する。
　図４１は、自動運転開始時の表示部２３１ＣＬ及びイルミネーション２０７の状態を示している。
　表示部２３１ＣＬには、例えば、カメラ５１ＦＣ１により撮影された車両１の前方の画像が表示されている。表示部２３１ＣＬには、例えば、シフトポジション、充電量、速度、航続可能距離、走行中の道路の制限速度、燃費等が表示されている。表示部２３１ＣＬには、上述したアイコン６０１の右に、自動運転中であることを示すアイコン６０２が表示されている。また、例えば、アイコン６０１の色が、自動運転の開始とともに変化する。
　また詳細な図示は省略するが、イルミネーション２０７が、所定のパターンで点灯する。例えば、複数の短い白色の光の帯が、イルミネーション２０７上を所定のパターンで流れるように移動しながら、徐々に青色に変化する。最終的に、イルミネーション２０７全体が青色に点灯し、自動運転中は、青色に点灯した状態を維持する。
　これにより、運転者は、自動運転が開始されたことを確実に認識することができる。また、イルミネーション２０７が点灯することにより、運転者以外の搭乗者も、自動運転が開始されたことを確実に認識することができる。
　図４２は、自動運転中に車両１が右側の車線に車線変更する場合の表示部２３１ＣＬ及びイルミネーション２０７の状態を示している。
　車両１Ｃが車線変更する場合、表示部２３１ＣＬは、車線変更の実施及び方向を通知するためのアニメーションを含むガイダンス情報６０３を、車両１の前方の画像に重畳して表示する。
　また、イルミネーション全体の青色の光が消え、イルミネーション２０７の右側の所定の点滅範囲Ａ１０１が青色に点滅する。また、車線変更するためにステアリングホイール２０６が右回りに回転した場合、ステアリングホイール２０６の回転角に合わせて、点滅範囲Ａ１０１が逆方向（左回り）に回転する。また、車線変更後に、ステアリングホイール２０６が元の状態に戻るように左回りに回転した場合、ステアリングホイール２０６の回転角に合わせて、点滅範囲Ａ１０１が逆方向（右回り）に回転する。これにより、点滅範囲Ａ１０１が、ステアリングホイール２０６とともに回転せずに、外から見て一定の位置に維持される。そして、ステアリングホイール２０６の回転角が０度に戻った後、車線変更前と同様に、イルミネーション２０７全体が青色に点灯する。
　これにより、運転者は、車両１が車線変更することを予め認識することができる。
　なお、車両１が左側の車線に車線変更する場合も同様に、ガイダンス情報６０３が表示部２３１ＣＬに重畳して表示され、イルミネーション２０７の左側の所定の点滅範囲が青色に点滅する。
　また、例えば、車両１が方向転換（例えば、左折又は右折）する場合も同様の処理が行われる。例えば、方向転換の実施及び方向を通知するためのアニメーションを含むガイダンス情報が表示部２３１ＣＬに重畳して表示され、イルミネーション２０７の方向転換する方向に対応した所定の点滅範囲が青色に点滅する。
　図４３は、車両１の周囲において危険な状態が検出された場合の表示部２３１ＣＬ及びイルミネーション２０７の状態を示している。
　表示部２３１ＣＬには、例えば、検出した状態や対処方法等を示すメッセージ６１１及びアイコン６１２が表示されている。
　また、イルミネーション２０７全体の青色の光が消え、イルミネーション２０７の上側の所定の点滅範囲Ａ１１１が点滅する。例えば、点滅範囲Ａ１１１の光の色や点滅速度は、検出された危険度に基づいて変化する。例えば、危険度が高い場合には、点滅範囲Ａ１１１が赤色に点滅し、危険度が低い場合には、点滅範囲Ａ１１１が黄色に点滅する。また、危険度が高くなるほど点滅速度が速くなり、危険度が低くなるほど点滅速度が遅くなる。
　また、例えば、点滅範囲Ａ１１１の点滅に合わせて、警告音が出力される。
　　＜音声制御に関する実施例＞
　次に、図４４乃至図４７を参照して、車両１の音声制御の例について説明する。
　車両１は、上述したように、３６０度リアルオーディオを実現することが可能である。また、運転席２０１、助手席２０２、後部座席２０３Ｌ、及び、後部座席２０３Ｌは、シートスピーカ２３７、シートスピーカ２３８、シートスピーカ２３９Ｌ、及び、シートスピーカ２３９Ｒをそれぞれ備えている。従って、ＨＭＩ３１は、各座席の搭乗者に対する音像、音場、音量等を個別に自由に制御することができる。
　ＤＭＳ３０は、カメラ１０１Ｌの画像に基づいて、運転者の両耳の形状及び位置を認識することが可能である。従って、音声制御部は、運転者の両耳の位置及び形状に基づいて、運転席２０１のシートスピーカ２３７等を制御することにより、運転者に対する音像、音場、音量等を適切に設定することができる。
　同様に、ＤＭＳ３０は、カメラ１０１Ｒの画像に基づいて、助手席２０２の搭乗者の両耳の形状及び位置を認識することが可能である。従って、音声制御部は、搭乗者の両耳の位置及び形状に基づいて、助手席２０２のシートスピーカ２３８等を制御することにより、搭乗者に対する音像、音場、音量等を適切に設定することができる。
　同様に、ＤＭＳ３０は、タブレット端末２３５Ｌに設けられたＴｏＦカメラの画像に基づいて、後部座席２０３Ｌの搭乗者の両耳の形状及び位置を認識することが可能である。従って、音声制御部は、搭乗者の両耳の位置及び形状に基づいて、後部座席２０３Ｌのシートスピーカ２３９Ｌ等を制御することにより、搭乗者に対する音像、音場、音量等を適切に設定することができる。
　同様に、ＤＭＳ３０は、タブレット端末２３５Ｒに設けられたＴｏＦカメラの画像に基づいて、後部座席２０３Ｒの搭乗者の両耳の形状及び位置を認識することが可能である。従って、音声制御部は、搭乗者の両耳の位置及び形状に基づいて、後部座席２０３Ｒのシートスピーカ２３９Ｒ等を制御することにより、搭乗者に対する音像、音場、音量等を適切に設定することができる。
　このように、車両１は、各座席の搭乗者に対して、それぞれ個別に音声を出力することができるとともに、音像、音場、音量等を個別に制御することができる。
　これにより、例えば、警告音により運転者等の搭乗者に車両１の周辺の物体の位置や動き等を通知することができる。
　図４４乃至図４７は、左後方から接近する車両７０１に対する注意を喚起する警告音の制御方法の例を示している。
　例えば、車両７０１と車両１の間の距離が所定の閾値以内になったとき、警告音の出力が開始される。図４４は、警告音の出力開始時の音場Ａ１５１を示している。
　なお、円錐形の音場Ａ１５１の頂点は、仮想音源の位置を示している。音場Ａ１５１の頂点から円錐が広がる方向が、音場が広がる方向を示している。
　音場Ａ１５１の向きは、車両７０１から車両１の運転者の頭部を見た方向と略等しい方向に設定される。また、警告音の仮想音源は、運転者の頭部から車両７０１の方向に所定の距離だけ離れた位置に設定される。
　その後、図４５乃至図４７に示されるように、車両７０１が車両１に近づくにつれて、音場Ａ１５１が移動する。具体的には、音場Ａ１５１は、車両７０１から車両１の運転者の頭部を見た方向に略等しい方向を常に向くように移動する。また、警告音の仮想音源と運転者の頭部の間の距離が、車両７０１と車両１との間の距離に略比例するように、音場Ａ１５１が移動する。
　従って、運転者は、警告音により、車両７０１の接近を認識することができる。また、運転者は、警告音の動きにより、車両７０１の速度、距離、及び、方向を感覚的に認識することができる。
　＜＜３．変形例＞＞
　以下、上述した本技術の実施の形態の変形例について説明する。
　　＜システムアーキテクチャの変形例＞
　図２０及び図２１の情報処理システム３０１の構成は、適宜変更することが可能である。
　ここで、図４８乃至図５０を参照して、車両１のシステムアーキテクチャの変形例について説明する。具体的には、情報処理システム３０１のドメインコントローラ（ドメイン）の構成の変形例について説明する。なお、図４８乃至図５０では、ドメインコントローラの配下の構成の図示が省略されている。
　図４８は、情報処理システム３０１の第１の変形例である情報処理システム８０１の構成例を示している。なお、図中、図２０と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。
　情報処理システム８０１は、情報処理システム３０１と比較して、ＨＭＩ＋ボディＤＣ３４１の代わりに、ＨＭＩ　ＤＣ８１１及びボディＤＣ８１２が設けられている。すなわち、ＨＭＩ＋ボディＤＣ３４１が、ＨＭＩ　ＤＣ８１１とボディＤＣ８１２に分割されている。従って、図２０のドメインＤ３が、ＨＭＩ系のドメインとボディ系のドメインに分割される。
　図４９は、情報処理システム３０１の第２の変形例である情報処理システム８２１の構成例を示している。なお、図中、図４８の情報処理システム８０１と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。
　情報処理システム８２１は、情報処理システム８０１と比較して、ＡＤＡＳ　ＤＣ３３１及びＨＭＩ　ＤＣ８１１の代わりに、ＡＤＡＳ＋ＨＭＩ　ＤＣ８３１が設けられている。すなわち、ＡＤＡＳ　ＤＣ３３１とＨＭＩ　ＤＣ８１１が統合されている。従って、ＡＤＡＳ系のドメインＤ２（図２０）とＨＭＩ系のドメインとが統合される。
　図５０は、情報処理システム３０１の第３の変形例である情報処理システム８４１の構成例を示している。なお、図中、図４８の情報処理システム８０１と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。
　情報処理システム８４１は、情報処理システム８０１と比較して、ＡＤＡＳ　ＤＣ３３１、ＨＭＩ　ＤＣ８１１、及び、ボディＤＣ８１２の代わりに、ＡＤＡＳ＋ＨＭＩ＋ボディＤＣ８５１が設けられている。すなわち、ＡＤＡＳ　ＤＣ３３１、ＨＭＩ　ＤＣ８１１、及び、ボディＤＣ８１２が統合されている。従って、図２０のドメインＤ２とドメインＤ３が統合される。
　なお、ＡＤＡＳ＋ＨＭＩ＋ボディＤＣ８５１は、例えば、図５１に示されるように、仮想化技術を用いた１つのハードウエア８７１により実現することが可能である。具体的には、ＡＤＡＳ　ＤＣ３１３、ＨＭＩ　ＤＣ８１１、及び、ボディＤＣ８１２に相当する機能を、ハードウエア８７１においてハイパーバイザ８８１上で動作するゲストＶＭ（Virtual Machine）８８２-１乃至ゲストＶＭ８８２-３でそれぞれ実現するようにしてもよい。
　図５２は、図２１の情報処理システム３０１の変形例である情報処理システム９０１の構成例を示している。なお、図２１の情報処理システム３０１と対応する部分には同じ符号を付してあり、その説明は適宜省略する。
　情報処理システム９０１は、図２１の情報処理システム３０１と比較して、ビデオスプリッタ９１１が設けられている点が異なる。
　カメラ５１ＳＬ２、カメラ５１ＳＲ２、及び、カメラ５１ＢＣ１は、ビデオスプリッタ９１１に接続されている。
　ビデオスプリッタ９１１は、カメラ５１ＳＬ２、カメラ５１ＳＲ２、及び、カメラ５１ＢＣ１の画像信号をそれぞれ２系統の画像信号に分岐して、ＡＤＡＳ　ＤＣ３３１及びＨＭＩ＋ボディＤＣ３４１に供給する。従って、カメラ５１ＳＬ２、カメラ５１ＳＲ２、及び、カメラ５１ＢＣ１は、ビデオスプリッタ９１１を介して、ＡＤＡＳ　ＤＣ３３１及びＨＭＩ＋ボディＤＣ３４１に接続されている。すなわち、カメラ５１ＳＬ２、カメラ５１ＳＲ２、及び、カメラ５１ＢＣ１は、図２０に示されるドメインＤ２及びドメインＤ３の両方に属している。
　なお、図示は省略するが、カメラ５１ＦＣ１も、ビデオスプリッタ９１１を介してＡＤＡＳ　ＤＣ３３１及びＨＭＩ＋ボディＤＣ３４１に接続されている。
　例えば、ＨＭＩ＋ボディＤＣ３４１は、カメラ５１ＦＣ１、カメラ５１ＳＬ２、カメラ５１ＳＲ２、及び、カメラ５１ＢＣ１の画像に基づいて、サラウンドビュー用の画像を生成する。ＨＭＩ＋ボディＤＣ３４１は、サラウンドビュー用の画像を、センターディスプレイ２３１の表示部２３１ＣＬ乃至表示部２３１ＣＲの１つ以上に表示させる。
　図５３は、ビデオスプリッタ９１１の構成例を示している。なお、図５３は、カメラ５１ＳＬ２に関する回路のみ図示されているが、他のカメラ５１ＦＣ１、カメラ５１ＳＲ２、及び、カメラ５１ＢＣ１に対しても同様の回路が設けられる。
　ビデオスプリッタ９１１は、入力端子９２１、デシリアライザ９２２、シリアライザ９２３－１及びシリアライザ９２３－２、並びに、出力端子９２４－１及び出力端子９２４－２を備える。デシリアライザ９２２は、入力端子９２１、並びに、シリアライザ９２３－１及びシリアライザ９２３－２に接続されている。シリアライザ９２３－１は、出力端子９２４－１に接続されている。シリアライザ９２３－２は、出力端子９２４－２に接続されている。
　カメラ５１ＳＬ２の画像信号は、入力端子９２１を介して、デシリアライザ９２２に入力される。デシリアライザ９２２は、画像信号を分岐して、シリアライザ９２３－１及びシリアライザ９２３－２に供給する。シリアライザ９２３－１は、画像信号をシリアル信号に変換し、出力端子９２４－１を介して、ＡＤＡＳ　ＤＣ３３１に供給する。シリアライザ９２３－２は、画像信号をシリアル信号に変換し、出力端子９２４－２を介して、ＨＭＩ＋ボディＤＣ３４１に供給する。
　なお、例えば、ビデオスプリッタ９１１を用いる代わりに、カメラ５１ＦＣ１、カメラ５１ＳＬ２、カメラ５１ＳＲ２、及び、カメラ５１ＢＣ１に、図５４の魚眼カメラ９４１を用いるようにしてもよい。
　魚眼カメラ９４１は、レンズ９５１、シリアライザ９５２、並びに、出力端子９５３－１及び出力端子９５３－２を備えている。なお、画像の撮影や処理を行う回路の図示は省略されている。
　魚眼カメラ９４１は、撮影により得られた画像信号をシリアライザ９５２により分岐する。分岐された画像信号は、出力端子９５３－１を介してＡＤＡＳ　ＤＣ３３１に供給され、出力端子９５３－２を介して、ＨＭＩ＋ボディＤＣ３４１に供給される。
　以上のように、車両１においては、システムアーキテクチャを柔軟に変更することが可能である。そして、システムアーキテクチャを適切に設計することにより、例えば、各カメラを含むシステムの複雑化を抑制し、よりシンプルにすることができる。
　　＜外部認識センサ２５及び車内センサ２６の変形例＞
　図２の外部認識センサ２５及び車内センサ２６の構成例は、適宜変更することが可能である。
　例えば、カメラモジュール１２２Ｌのカメラの数を変更することが可能である。
　具体的には、例えば、カメラ５１ＳＬ１とカメラ５１ＳＬ２を、１台の広角かつ高解像度のカメラに統合することが可能である。例えば、カメラ５１ＳＬ２とカメラ５１ＳＬ３を、１台の広角かつ高解像度のカメラに統合することが可能である。例えば、カメラ５１ＳＬ３とカメラ５１ＳＬ４を、１台の広角かつ高解像度のカメラに統合することが可能である。例えば、カメラ５１ＳＬ１乃至カメラ５１ＳＬ３を、１台の広角かつ高解像度のカメラに統合することが可能である。例えば、カメラ５１ＳＬ１乃至カメラ５１ＳＬ４を、１台の高解像度の魚眼カメラに統合することが可能である。
　これは、カメラモジュール１２２Ｒについても同様である。
　例えば、カメラ５１ＢＣ１とレーダ５２ＢＣを組み合わせることが可能である。
　例えば、レーダ５２ＢＣとＬｉＤＡＲ５３Ｂを組み合わせることが可能である。
　例えば、魚眼カメラにより構成されるカメラ５１ＳＬ２及びカメラ５１ＳＲ２のうち一方を省略することが可能である。
　　＜その他の変形例＞
　例えば、センターディスプレイ２３１の表示部２３１ＬＬ及び表示部２３１ＲＲに表示されるデジタルアウターミラーの画像の一方を中央部２３１Ｃに表示するようにしてもよい。
　以上の説明では、車両１が左ハンドルの車両である例を示したが、本技術は、もちろん右ハンドルの車両にも適用することができる。本技術を右ハンドルの車両に適用する場合、上述した車外及び車内のレイアウトが、右ハンドルに合わせて適宜変更される。
　また、本技術は、例えば、搭乗者が運転を行わずに自動運転を行う移動装置にも適用することができる。この場合、上述した運転席２０１や助手席２０２の区別はなくなり、移動装置内の座席の前方等に、上述した各種のディスプレイが配置される。また、例えば、所定の座席に座っている人の視線方向や姿勢等に基づいて、ディスプレイに表示される画像の表示範囲等が変更される。
　また、本技術を適用可能な車両の種類は特に限定されない。また、本技術は、車両以外にも、パーソナルモビリティ、運搬用ロボット、飛行機、船舶、建設機械、農業機械等の移動装置にも適用することができる。また、本技術が適用可能な移動装置には、例えば、ドローン、ロボット等の人が搭乗せずに、周囲の撮影を行う移動装置も含まれる。
　＜＜４．その他＞＞
　　＜コンピュータの構成例＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータ（例えば、プロセッサ２１等）にインストールされる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　　＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　第１のカメラと、
　第２のカメラと、
　前記第１のカメラ及び前記第２のカメラを格納する筐体と
　を備え、
　移動装置に設置された状態で、前記第１のカメラの光軸は、前記移動装置の斜め後方を向き、前記第２のカメラの光軸は、前記移動装置の横方向又は斜め前方を向く
　カメラモジュール。
（２）
　前記筐体に格納される第３のカメラ、及び、前記筐体に格納される第４のカメラのうち少なくとも一方をさらに備え、
　前記移動装置に設置された状態で、前記第３のカメラの光軸は、前記移動装置の斜め後方を向くとともに、前記第１のカメラの光軸より前記移動装置の横方向に近い方向を向き、前記第４のカメラの光軸は、前記移動装置の斜め前方を向くとともに、前記第２のカメラの光軸より前記移動装置の正面方向に近い方向を向く
　前記（１）に記載のカメラモジュール。
（３）
　前記第１のカメラは、ＣＭＳ（Camera Monitoring System）に用いられ、
　前記第２のカメラは、サラウンドビューに用いられ、
　前記第３のカメラは、ＡＤＡＳ（Advanced Driver Assistance System）に用いられ、
　前記第４のカメラは、ＡＤＡＳに用いられる
　前記（２）に記載のカメラモジュール。
（４）
　前記第２のカメラは、前記第１のカメラ、前記第３のカメラ、及び、前記第４のカメラより広角である
　前記（３）に記載のカメラモジュール。
（５）
　前記第２のカメラは、魚眼カメラである
　前記（４）に記載のカメラモジュール。
（６）
　前記移動装置に設置された状態で、前記第２のカメラの光軸が斜め下方向を向く
　前記（４）又は（５）に記載のカメラモジュール。
（７）
　前記第２のカメラは、さらにＡＤＡＳに用いられる
　前記（３）乃至（６）のいずれかに記載のカメラモジュール。
（８）
　前記第３のカメラは、前記第４のカメラより高解像度である
　前記（３）乃至（７）のいずれかに記載のカメラモジュール。
（９）
　前記第２のカメラは、前記第１のカメラより広角である
　前記（１）に記載のカメラモジュール。
（１０）
　前記移動装置に設置された状態で、前記第２のカメラの光軸が斜め下方向を向く
　前記（９）に記載のカメラモジュール。
（１１）
　前記第１のカメラは、ＣＭＳ及びＡＤＡＳのうちの少なくとも一方に用いられ、
　前記第２のカメラは、サラウンドビュー及びＡＤＡＳのうちの少なくとも一方に用いられる
　前記（１）に記載のカメラモジュール。
（１２）
　前記筐体は、金属製である
　前記（１）乃至（１１）のいずれかに記載のカメラモジュール。
（１３）
　前記カメラモジュールは、前記移動装置の前側のドアの前端付近に設置される
　前記（１）乃至（１１）のいずれかに記載のカメラモジュール。
（１４）
　光軸が移動装置の斜め後方を向く第１のカメラと、
　前記第１のカメラと同じ筐体に格納され、光軸が前記第１のカメラの光軸より前記移動装置の正面方向に近い方向を向く第２のカメラと、
　ＣＭＳに用いられ、前記第１のカメラにより撮影された第１の画像に基づく画像を表示する第１のディスプレイと、
　前記第２のカメラにより撮影された第２の画像に基づいて、前記移動装置の外部の物体認識を行う認識部と、
　前記第１の画像、及び、前記認識部による物体認識の結果に基づく視覚効果の前記第１のディスプレイによる表示を制御する表示制御部と
　を備える情報処理システム。
（１５）
　前記第１のカメラ及び前記表示制御部を含む第１のドメインの制御を行う第１のドメインコントローラと、
　前記第２のカメラ及び前記認識部を含む第２のドメインの制御を行う第２のドメインコントローラと
　をさらに備える前記（１４）に記載の情報処理システム。
（１６）
　前記第１のドメインは、さらに前記第２のカメラを含む
　を備える前記（１５）に記載の情報処理システム。
（１７）
　前記移動装置の室内の前方において左右方向に延びる第２のディスプレイを
　さらに備え、
　前記表示制御部は、前記第２の画像に基づく画像の前記第２のディスプレイによる表示をさらに制御する
　前記（１４）又は（１５）に記載の情報処理システム。
（１８）
　前記表示制御部は、前記第２の画像を用いたサラウンドビューの前記第２のディスプレイによる表示を制御する
　前記（１７）に記載の情報処理システム。
（１９）
　前記第１のディスプレイ及び前記第２のディスプレイが一体化されている
　前記（１７）又は（１８）に記載の情報処理システム。
（２０）
　前記第２のカメラの光軸は、前記移動装置の横方向又は斜め前方を向く
　前記（１４）乃至（１９）のいずれかに記載の情報処理システム。
（２１）
　前記筐体に格納される第３のカメラ、及び、前記筐体に格納される第４のカメラのうち少なくとも一方をさらに備え、
　前記第３のカメラの光軸は、前記移動装置の斜め後方を向くとともに、前記第１のカメラの光軸より前記移動装置の横方向に近い方向を向き、前記第４のカメラの光軸は、前記移動装置の斜め前方を向くとともに、前記第２のカメラの光軸より前記移動装置の正面方向に近い方向を向く
　前記（２０）に記載の情報処理システム。
（２２）
　前記認識部は、さらに前記第３のカメラにより撮影された第３の画像、及び、前記第４のカメラにより撮影された第４の画像のうち少なくとも一方に基づいて、前記移動装置の外部の物体認識を行う
　前記（２１）に記載の情報処理システム。
（２３）
　前記第１のカメラ及び前記表示制御部を含む第１のドメインの制御を行う第１のドメインコントローラと、
　前記第２のカメラ及び前記認識部と、前記第３のカメラ及び前記第４のカメラのうち少なくとも一方とを含む第２のドメインの制御を行う第２のドメインコントローラと
　をさらに備える前記（２１）又は（２２）に記載の情報処理システム。
（２４）
　前記第２のカメラの光軸は、前記移動装置の斜め後方を向くとともに、前記第１のカメラの光軸より前記移動装置の横方向に近い方向を向く
　前記（１４）乃至（１９）のいずれかに記載の情報処理システム。
（２５）
　光軸が移動装置の斜め後方を向く第１のカメラにより撮影された第１の画像に基づく画像のＣＭＳ用のディスプレイによる表示を制御し、
　前記第１のカメラと同じ筐体に格納され、光軸が前記第１のカメラの光軸より前記移動装置の正面方向に近い方向を向く第２のカメラにより撮影された第２の画像に基づいて、前記移動装置の外部の物体認識を行い、
　前記物体認識の結果に基づく視覚効果の前記ディスプレイによる表示を制御する
　情報処理方法。
（２６）
　ＣＭＳに用いられるディスプレイの表示を制御する表示制御部を
　備え、
　前記表示制御部は、光軸が移動装置の斜め後方を向く第１のカメラにより撮影された第１の画像に基づく画像、及び、前記第１のカメラと同じ筐体に格納され、光軸が前記第１のカメラの光軸より前記移動装置の正面方向に近い方向を向く第２のカメラにより撮影された第２の画像に基づく前記移動装置の外部の物体認識の結果に基づく視覚効果の前記ディスプレイによる表示を制御する
　情報処理装置。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１　車両，　１１　車両制御システム，　２１　プロセッサ，　２５　外部認識センサ，　２６　車内センサ，　３０　ＤＭＳ，　３１　ＨＭＩ，　５１，５１ＦＣ１乃至５１ＢＣ３　カメラ，　５２，５２ＦＣ乃至５２ＢＲ　レーダ，　５３，５３Ｆ乃至５３Ｂ　ＬｉＤＡＲ，　７３　認識部，　８４　ボディ系制御部，　８５　ライト制御部，　１０１Ｌ，１０１Ｒ，１０２　カメラ，　１２２Ｌ，１２２Ｒ　カメラモジュール，　１３１Ｌ，１３１Ｒ　筐体，　２３１　センターディスプレイ，　２３１Ｃ　中央部，　２３１ＣＬ乃至２３１ＣＲ　表示部，　２３１Ｌ　左端部，　２３１ＬＬ　表示部，　２３１Ｒ　右端部，　２３１ＲＲ　表示部，　３０１　情報処理システム，　３１１　セキュアゲートウエイ，　３２１　ｅＰＷＴ　ＤＣ，　３３１　ＡＤＡＳ　ＤＣ，　３４１　ＨＭＩ＋ボディＤＣ，　３４９　ＣＭＳ，　３６１　ＴｏＦ　ＥＣＵ，　３６２　ＣＭＳ　ＥＣＵ，　８０１　情報処理システム，　８１１　ＨＭＩ　ＤＣ，　８１２　ボディＤＣ，　８２１　情報処理システム，　８３１　ＡＤＡＳ＋ＨＭＩ　ＤＣ，　８４１　情報処理システム，　８５１　ＡＤＡＳ＋ＨＭＩ＋ボディＤＣ

Claims (26)

  1. 　第１のカメラと、
    　第２のカメラと、
    　前記第１のカメラ及び前記第２のカメラを格納する筐体と
    　を備え、
    　移動装置に設置された状態で、前記第１のカメラの光軸は、前記移動装置の斜め後方を向き、前記第２のカメラの光軸は、前記移動装置の横方向又は斜め前方を向く
    　カメラモジュール。
  2. 　前記筐体に格納される第３のカメラ、及び、前記筐体に格納される第４のカメラのうち少なくとも一方をさらに備え、
    　前記移動装置に設置された状態で、前記第３のカメラの光軸は、前記移動装置の斜め後方を向くとともに、前記第１のカメラの光軸より前記移動装置の横方向に近い方向を向き、前記第４のカメラの光軸は、前記移動装置の斜め前方を向くとともに、前記第２のカメラの光軸より前記移動装置の正面方向に近い方向を向く
    　請求項１に記載のカメラモジュール。
  3. 　前記第１のカメラは、ＣＭＳ（Camera Monitoring System）に用いられ、
    　前記第２のカメラは、サラウンドビューに用いられ、
    　前記第３のカメラは、ＡＤＡＳ（Advanced Driver Assistance System）に用いられ、
    　前記第４のカメラは、ＡＤＡＳに用いられる
    　請求項２に記載のカメラモジュール。
  4. 　前記第２のカメラは、前記第１のカメラ、前記第３のカメラ、及び、前記第４のカメラより広角である
    　請求項３に記載のカメラモジュール。
  5. 　前記第２のカメラは、魚眼カメラである
    　請求項４に記載のカメラモジュール。
  6. 　前記移動装置に設置された状態で、前記第２のカメラの光軸が斜め下方向を向く
    　請求項４に記載のカメラモジュール。
  7. 　前記第２のカメラは、さらにＡＤＡＳに用いられる
    　請求項３に記載のカメラモジュール。
  8. 　前記第３のカメラは、前記第４のカメラより高解像度である
    　請求項３に記載のカメラモジュール。
  9. 　前記第２のカメラは、前記第１のカメラより広角である
    　請求項１に記載のカメラモジュール。
  10. 　前記移動装置に設置された状態で、前記第２のカメラの光軸が斜め下方向を向く
    　請求項９に記載のカメラモジュール。
  11. 　前記第１のカメラは、ＣＭＳ及びＡＤＡＳのうちの少なくとも一方に用いられ、
    　前記第２のカメラは、サラウンドビュー及びＡＤＡＳのうちの少なくとも一方に用いられる
    　請求項１に記載のカメラモジュール。
  12. 　前記筐体は、金属製である
    　請求項１に記載のカメラモジュール。
  13. 　前記カメラモジュールは、前記移動装置の前側のドアの前端付近に設置される
    　請求項１に記載のカメラモジュール。
  14. 　光軸が移動装置の斜め後方を向く第１のカメラと、
    　前記第１のカメラと同じ筐体に格納され、光軸が前記第１のカメラの光軸より前記移動装置の正面方向に近い方向を向く第２のカメラと、
    　ＣＭＳに用いられ、前記第１のカメラにより撮影された第１の画像に基づく画像を表示する第１のディスプレイと、
    　前記第２のカメラにより撮影された第２の画像に基づいて、前記移動装置の外部の物体認識を行う認識部と、
    　前記第１の画像、及び、前記認識部による物体認識の結果に基づく視覚効果の前記第１のディスプレイによる表示を制御する表示制御部と
    　を備える情報処理システム。
  15. 　前記第１のカメラ及び前記表示制御部を含む第１のドメインの制御を行う第１のドメインコントローラと、
    　前記第２のカメラ及び前記認識部を含む第２のドメインの制御を行う第２のドメインコントローラと
    　をさらに備える請求項１４に記載の情報処理システム。
  16. 　前記第１のドメインは、さらに前記第２のカメラを含む
    　を備える請求項１５に記載の情報処理システム。
  17. 　前記移動装置の室内の前方において左右方向に延びる第２のディスプレイを
    　さらに備え、
    　前記表示制御部は、前記第２の画像に基づく画像の前記第２のディスプレイによる表示をさらに制御する
    　請求項１４に記載の情報処理システム。
  18. 　前記表示制御部は、前記第２の画像を用いたサラウンドビューの前記第２のディスプレイによる表示を制御する
    　請求項１７に記載の情報処理システム。
  19. 　前記第１のディスプレイ及び前記第２のディスプレイが一体化されている
    　請求項１７に記載の情報処理システム。
  20. 　前記第２のカメラの光軸は、前記移動装置の横方向又は斜め前方を向く
    　請求項１４に記載の情報処理システム。
  21. 　前記筐体に格納される第３のカメラ、及び、前記筐体に格納される第４のカメラのうち少なくとも一方をさらに備え、
    　前記第３のカメラの光軸は、前記移動装置の斜め後方を向くとともに、前記第１のカメラの光軸より前記移動装置の横方向に近い方向を向き、前記第４のカメラの光軸は、前記移動装置の斜め前方を向くとともに、前記第２のカメラの光軸より前記移動装置の正面方向に近い方向を向く
    　請求項２０に記載の情報処理システム。
  22. 　前記認識部は、さらに前記第３のカメラにより撮影された第３の画像、及び、前記第４のカメラにより撮影された第４の画像のうち少なくとも一方に基づいて、前記移動装置の外部の物体認識を行う
    　請求項２１に記載の情報処理システム。
  23. 　前記第１のカメラ及び前記表示制御部を含む第１のドメインの制御を行う第１のドメインコントローラと、
    　前記第２のカメラ及び前記認識部と、前記第３のカメラ及び前記第４のカメラのうち少なくとも一方とを含む第２のドメインの制御を行う第２のドメインコントローラと
    　をさらに備える請求項２１に記載の情報処理システム。
  24. 　前記第２のカメラの光軸は、前記移動装置の斜め後方を向くとともに、前記第１のカメラの光軸より前記移動装置の横方向に近い方向を向く
    　請求項１４に記載の情報処理システム。
  25. 　光軸が移動装置の斜め後方を向く第１のカメラにより撮影された第１の画像に基づく画像のＣＭＳ用のディスプレイによる表示を制御し、
    　前記第１のカメラと同じ筐体に格納され、光軸が前記第１のカメラの光軸より前記移動装置の正面方向に近い方向を向く第２のカメラにより撮影された第２の画像に基づいて、前記移動装置の外部の物体認識を行い、
    　前記物体認識の結果に基づく視覚効果の前記ディスプレイによる表示を制御する
    　情報処理方法。
  26. 　ＣＭＳに用いられるディスプレイの表示を制御する表示制御部を
    　備え、
    　前記表示制御部は、光軸が移動装置の斜め後方を向く第１のカメラにより撮影された第１の画像に基づく画像、及び、前記第１のカメラと同じ筐体に格納され、光軸が前記第１のカメラの光軸より前記移動装置の正面方向に近い方向を向く第２のカメラにより撮影された第２の画像に基づく前記移動装置の外部の物体認識の結果に基づく視覚効果の前記ディスプレイによる表示を制御する
    　情報処理装置。
PCT/JP2021/037305 2020-10-23 2021-10-08 カメラモジュール、情報処理システム、情報処理方法、及び、情報処理装置 Ceased WO2022085487A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202180070439.XA CN116171239A (zh) 2020-10-23 2021-10-08 相机模块、信息处理系统、信息处理方法和信息处理装置
EP21882628.7A EP4236304A4 (en) 2020-10-23 2021-10-08 Camera module, information processing system, information processing method, and information processing device
US18/249,072 US12552320B2 (en) 2020-10-23 2021-10-08 Camera module, information processing system, information processing method, and information processing apparatus
JP2022556905A JP7732463B2 (ja) 2020-10-23 2021-10-08 カメラモジュール、情報処理システム、情報処理方法、及び、情報処理装置
KR1020237011625A KR20230091870A (ko) 2020-10-23 2021-10-08 카메라 모듈, 정보 처리 시스템, 정보 처리 방법 및 정보 처리 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-178137 2020-10-23
JP2020178137 2020-10-23

Publications (1)

Publication Number Publication Date
WO2022085487A1 true WO2022085487A1 (ja) 2022-04-28

Family

ID=81290419

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/037305 Ceased WO2022085487A1 (ja) 2020-10-23 2021-10-08 カメラモジュール、情報処理システム、情報処理方法、及び、情報処理装置

Country Status (6)

Country Link
US (1) US12552320B2 (ja)
EP (1) EP4236304A4 (ja)
JP (1) JP7732463B2 (ja)
KR (1) KR20230091870A (ja)
CN (1) CN116171239A (ja)
WO (1) WO2022085487A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD1066364S1 (en) * 2021-01-08 2025-03-11 Sony Group Corporation Display screen or portion thereof with animated graphical user interface
DE102021111200A1 (de) * 2021-04-30 2022-11-03 Bayerische Motoren Werke Aktiengesellschaft Geräteträger für ein Fahrzeug
JP2023047495A (ja) * 2021-09-27 2023-04-06 キヤノン株式会社 移動体、画像処理方法、およびコンピュータプログラム
US12597217B2 (en) * 2023-06-23 2026-04-07 Valeo Comfort And Driving Assistance Methods and systems for augmented reality in automotive applications
JP2025090204A (ja) * 2023-12-05 2025-06-17 ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー ドライブレコーダシステム
TW202547730A (zh) * 2024-06-07 2025-12-16 巨鎧精密工業股份有限公司 電子式後視鏡系統

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001114048A (ja) * 1999-10-20 2001-04-24 Matsushita Electric Ind Co Ltd 車載運転支援情報表示装置
JP2001339715A (ja) * 2000-05-25 2001-12-07 Matsushita Electric Ind Co Ltd 運転支援装置
JP2002125224A (ja) * 2000-07-19 2002-04-26 Matsushita Electric Ind Co Ltd 監視システム
JP2012156672A (ja) * 2011-01-25 2012-08-16 Clarion Co Ltd 車両周辺監視装置
JP2017216509A (ja) * 2016-05-30 2017-12-07 マツダ株式会社 車両用表示装置
WO2018061680A1 (ja) * 2016-09-29 2018-04-05 株式会社 村上開明堂 車両用視認装置
JP2018142885A (ja) * 2017-02-28 2018-09-13 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2018197021A (ja) 2017-05-23 2018-12-13 株式会社ミツバ ドアミラー
JP2019051769A (ja) 2017-09-13 2019-04-04 株式会社ミツバ ドアミラー

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2943941A1 (de) * 1979-10-31 1981-05-14 Bayerische Motoren Werke AG, 8000 München Kraftfahrzeug mit einem den toten winkel erfassenden zusatzspiegel
WO2002007443A1 (en) * 2000-07-19 2002-01-24 Matsushita Electric Industrial Co., Ltd. Monitoring system
JP2009017020A (ja) * 2007-07-02 2009-01-22 Nissan Motor Co Ltd 画像処理装置及び表示画像生成方法
EP2119596B1 (en) 2008-05-16 2012-01-04 SMR Patents S.à.r.l. Imaging system for a vehicle and mirror assembly comprising such an imaging system
US9036026B2 (en) * 2009-06-12 2015-05-19 Magna Electronics Scalable integrated electronic control unit for vehicle
KR100959347B1 (ko) * 2010-02-24 2010-05-20 조성호 자동차의 좌우후방 시야확보 장치
WO2013067082A1 (en) * 2011-11-01 2013-05-10 Magna Mirrors Of America, Inc. Vision system with door mounted exterior mirror and display
US10946798B2 (en) * 2013-06-21 2021-03-16 Magna Electronics Inc. Vehicle vision system
US10908417B2 (en) * 2013-09-19 2021-02-02 Magna Electronics Inc. Vehicle vision system with virtual retinal display
US10099615B2 (en) * 2014-09-29 2018-10-16 Ambarella, Inc. All-round view monitoring system for a motor vehicle
US10127463B2 (en) * 2014-11-21 2018-11-13 Magna Electronics Inc. Vehicle vision system with multiple cameras
US20160159281A1 (en) * 2014-12-04 2016-06-09 Hyundai Mobis Co., Ltd. Vehicle and control method thereof
WO2016094801A1 (en) * 2014-12-12 2016-06-16 Hoyda Serge B System and process for viewing in blind spots
US11124116B2 (en) * 2014-12-12 2021-09-21 Serge B. HOYDA System and process for viewing in blind spots
US20160191795A1 (en) * 2014-12-30 2016-06-30 Alpine Electronics, Inc. Method and system for presenting panoramic surround view in vehicle
EP3141926B1 (en) * 2015-09-10 2018-04-04 Continental Automotive GmbH Automated detection of hazardous drifting vehicles by vehicle sensors
KR101850795B1 (ko) * 2015-11-09 2018-04-20 엘지전자 주식회사 주차 수행 장치 및 차량
US10523865B2 (en) * 2016-01-06 2019-12-31 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables
US10694150B2 (en) * 2016-04-12 2020-06-23 Magna Electronics Inc. Multi-camera vehicle vision system with distributed processing, data connection and power supply
WO2018008007A1 (en) * 2016-07-08 2018-01-11 Rodriguez Ortiz Miguel Angel Vehicular camera system for improving a driver's visibility
US10829044B2 (en) * 2016-08-08 2020-11-10 Koito Manufacturing Co., Ltd. Vehicle monitoring system using a plurality of cameras
US10380439B2 (en) 2016-09-06 2019-08-13 Magna Electronics Inc. Vehicle sensing system for detecting turn signal indicators
KR102551099B1 (ko) * 2017-01-13 2023-07-05 엘지이노텍 주식회사 어라운드뷰 제공장치, 제공방법 및 이를 구비한 차량
US11463610B2 (en) * 2017-05-10 2022-10-04 Mobileye Vision Technologies Ltd. Cross field of view for autonomous vehicle systems
KR101778624B1 (ko) * 2017-05-16 2017-09-26 (주)텔미전자 자율주행용 서라운드 카메라 시스템
JP7059522B2 (ja) * 2017-06-09 2022-04-26 ソニーグループ株式会社 制御装置、制御方法、プログラム及び撮像システム
US10812712B2 (en) * 2018-04-23 2020-10-20 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for vehicle camera view activation
WO2020157901A1 (ja) 2019-01-31 2020-08-06 三菱電機株式会社 運転支援装置
JP7243478B2 (ja) * 2019-06-24 2023-03-22 トヨタ自動車株式会社 車両用情報記録装置
US11341614B1 (en) * 2019-09-24 2022-05-24 Ambarella International Lp Emirror adaptable stitching
US12522142B2 (en) * 2019-10-23 2026-01-13 Sony Group Corporation Display system, display device, display method, and mobile apparatus
US12296740B2 (en) * 2019-12-26 2025-05-13 Sony Group Corporation Vehicle
WO2021150369A1 (en) * 2020-01-22 2021-07-29 Nodar Inc. Non-rigid stereo vision camera system
KR102327734B1 (ko) * 2020-04-29 2021-11-17 삼성전기주식회사 차량용 카메라 시스템 및 그 동작 방법
US11823395B2 (en) * 2020-07-02 2023-11-21 Magna Electronics Inc. Vehicular vision system with road contour detection feature
WO2022014327A1 (ja) * 2020-07-14 2022-01-20 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、およびプログラム
EP4137926A4 (en) * 2020-09-14 2024-01-10 LG Electronics, Inc. IMAGE PROCESSING DEVICE FOR A VEHICLE AND METHOD FOR DISPLAYING VISUAL INFORMATION ON A DISPLAY CONTAINED IN A VEHICLE
US11884216B2 (en) * 2020-10-16 2024-01-30 Magna Mirrors Of America, Inc. Vehicular full mirror display system with auxiliary forward and rearward views
CN116670006A (zh) * 2021-01-04 2023-08-29 索尼集团公司 信息处理设备、信息处理方法、程序、移动设备和信息处理系统
JP7613313B2 (ja) * 2021-08-04 2025-01-15 トヨタ自動車株式会社 車両用表示装置、車両用表示方法及び車両用表示プログラム
JP2023046930A (ja) * 2021-09-24 2023-04-05 キヤノン株式会社 カメラユニットの設置方法、移動体、画像処理システム、画像処理方法、およびコンピュータプログラム
WO2023127511A1 (ja) * 2021-12-27 2023-07-06 ソニーグループ株式会社 照明制御装置、照明制御方法、及び、車両
WO2023127510A1 (ja) * 2021-12-27 2023-07-06 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、及び、移動体
US20250155258A1 (en) * 2022-03-04 2025-05-15 Sony Group Corporation Information processing device, information processing method, and moving body
KR20240036193A (ko) * 2022-09-13 2024-03-20 현대자동차주식회사 사이드 미러 및 그를 가지는 차량
US12432460B2 (en) * 2022-10-14 2025-09-30 Motional Ad Llc Cascade camera tuning

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001114048A (ja) * 1999-10-20 2001-04-24 Matsushita Electric Ind Co Ltd 車載運転支援情報表示装置
JP2001339715A (ja) * 2000-05-25 2001-12-07 Matsushita Electric Ind Co Ltd 運転支援装置
JP2002125224A (ja) * 2000-07-19 2002-04-26 Matsushita Electric Ind Co Ltd 監視システム
JP2012156672A (ja) * 2011-01-25 2012-08-16 Clarion Co Ltd 車両周辺監視装置
JP2017216509A (ja) * 2016-05-30 2017-12-07 マツダ株式会社 車両用表示装置
WO2018061680A1 (ja) * 2016-09-29 2018-04-05 株式会社 村上開明堂 車両用視認装置
JP2018142885A (ja) * 2017-02-28 2018-09-13 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2018197021A (ja) 2017-05-23 2018-12-13 株式会社ミツバ ドアミラー
JP2019051769A (ja) 2017-09-13 2019-04-04 株式会社ミツバ ドアミラー

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4236304A4

Also Published As

Publication number Publication date
JPWO2022085487A1 (ja) 2022-04-28
US12552320B2 (en) 2026-02-17
CN116171239A (zh) 2023-05-26
JP7732463B2 (ja) 2025-09-02
US20230415652A1 (en) 2023-12-28
KR20230091870A (ko) 2023-06-23
EP4236304A1 (en) 2023-08-30
EP4236304A4 (en) 2024-04-03

Similar Documents

Publication Publication Date Title
JP7852696B2 (ja) 移動装置、情報処理装置、及び、情報処理方法
JP7732463B2 (ja) カメラモジュール、情報処理システム、情報処理方法、及び、情報処理装置
KR101895485B1 (ko) 운전 보조 장치 및 그 제어 방법
JP7786398B2 (ja) 情報処理装置、情報処理方法、プログラム、移動装置、及び、情報処理システム
JP7647573B2 (ja) 車両
KR101767507B1 (ko) 차량용 디스플레이 장치 및 그 제어 방법
EP4459614A1 (en) Information processing device, information processing method, program, and mobile body
US20240388758A1 (en) Vehicle control system, vehicle control method, and program
CN118120008A (zh) 信息处理装置、信息处理方法、程序和信息处理系统
JP7586165B2 (ja) 画像処理装置、表示システム、画像処理方法及び記録媒体
WO2023166982A1 (ja) 情報処理装置、情報処理方法、及び、移動体
US20260045152A1 (en) Information processing apparatus, information processing method, and program
US20250218065A1 (en) Information processing apparatus and information processing method
WO2024232245A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2024062976A1 (ja) 情報処理装置及び情報処理方法
CN121127898A (zh) 信息处理设备、信息处理方法和程序

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21882628

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022556905

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021882628

Country of ref document: EP

Effective date: 20230523

WWW Wipo information: withdrawn in national office

Ref document number: 2021882628

Country of ref document: EP