WO2023074126A1 - 情報処理装置、情報処理方法、プログラムおよび情報処理システム - Google Patents

情報処理装置、情報処理方法、プログラムおよび情報処理システム Download PDF

Info

Publication number
WO2023074126A1
WO2023074126A1 PCT/JP2022/033351 JP2022033351W WO2023074126A1 WO 2023074126 A1 WO2023074126 A1 WO 2023074126A1 JP 2022033351 W JP2022033351 W JP 2022033351W WO 2023074126 A1 WO2023074126 A1 WO 2023074126A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
content
processing unit
information processing
transparent screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/033351
Other languages
English (en)
French (fr)
Inventor
真秀 林
裕也 高山
哲男 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to CN202280070097.6A priority Critical patent/CN118120008A/zh
Priority to US18/701,702 priority patent/US20240420385A1/en
Priority to EP22886460.9A priority patent/EP4425478A4/en
Publication of WO2023074126A1 publication Critical patent/WO2023074126A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G06T11/10—Texturing; Colouring; Generation of textures or colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Definitions

  • the present invention relates to an information processing device, an information processing method, a program, and an information processing system.
  • In-vehicle displays that display content on windshields and the like are known.
  • content is superimposed on the driving scenery outside the vehicle.
  • Japanese Patent Application Laid-Open No. 2002-200000 proposes to appropriately control the drawing color of the content according to the driving scenery so that the content can be easily distinguished from the background.
  • the drawing color of the content is changed appropriately according to the changing driving scenery.
  • frequent changes in the drawing color may reduce the visibility of the content.
  • the present disclosure proposes an information processing device, an information processing method, a program, and an information processing system capable of suppressing deterioration in content visibility due to changes in the environment outside the vehicle.
  • an environment information processing unit that predicts changes in the environment outside the vehicle during viewing of content
  • an optimization processing unit that determines a rendering method for the content based on the predicted changes in the environment outside the vehicle.
  • An information processing apparatus having Further, according to the present disclosure, an information processing method in which the information processing of the information processing device is executed by a computer, a program for causing the computer to realize the information processing of the information processing device, and the information processing method determined by the information processing device.
  • An information processing system is provided that includes a video display unit that renders the content based on a rendering method.
  • FIG. 2 is a diagram for explaining an overview of content display control
  • 1 is a block diagram showing a configuration example of a vehicle control system
  • FIG. FIG. 4 is a diagram showing an example of a sensing area of an external recognition sensor; It is a figure which shows the structural example of an in-vehicle sensor and an image display part.
  • FIG. 4 is a diagram showing a display example of video provided as content.
  • FIG. 10 is a diagram showing another configuration example of the image display unit;
  • FIG. 4 is a diagram showing a display example of video provided as content.
  • FIG. 10 is a diagram showing another configuration example of the image display unit; It is a figure which shows an example of the functional structure regarding the image display of a vehicle.
  • FIG. 10 is a diagram illustrating an example of a control flow relating to a drawing method determination process
  • FIG. 10 is a diagram showing an example of displaying content on a transparent screen
  • It is a figure which shows the example of a display when the sun is directly looked through a transparent screen.
  • FIG. 10 is a diagram showing an example of displaying content on a non-transparent screen
  • FIG. 10 is a diagram showing an example of displaying content on a non-transparent screen
  • FIG. 4 is an explanatory diagram of a prediction period during which changes in the environment outside the vehicle are predicted
  • 7 is a flowchart showing a drawing method determination process
  • FIG. 10 is a diagram illustrating an example of a control flow relating to a drawing method determination process
  • FIG. 10 is a diagram showing an example of displaying content on a transparent screen
  • It is a figure which shows the example of a display when the sun is directly looked through a transparent screen.
  • FIG. 10 is a diagram showing an example of displaying
  • FIG. 10 is a diagram showing a table used for the drawing method determination process; 7 is a flow showing a specific example of a method of determining a drawing position for each time; 7 is a flow showing a specific example of a drawing color determination method for each time; 7 is a flow showing a specific example of optimization by statistical processing; It is a figure explaining the change process of the drawing method.
  • FIG. 10 is a diagram showing a modification of the drawing method according to the surrounding conditions of the vehicle;
  • FIG. 10 is a diagram showing a modification of the drawing method according to the surrounding conditions of the vehicle; It is a figure which shows an example of the flow of motion sickness measures. It is a figure which shows the example of a change of the drawing method according to the viewing-and-listening environment in a vehicle.
  • FIG. 10 is a diagram illustrating a rendering method determination process that does not involve prediction of changes in the environment outside the vehicle;
  • FIG. 10 is a flowchart showing a drawing method determination process that does not involve prediction of changes in the environment outside the vehicle;
  • FIG. 10 is a diagram illustrating a method of determining a drawing color in consideration of content; It is a figure explaining correspondence to light sources other than the sun.
  • 7 is a flow chart showing a process of determining a drawing method based on the moving state of a light source;
  • FIG. 1 is a diagram for explaining an overview of display control of content CT.
  • the vehicle 1 has a vehicle control system 11 capable of controlling display of content CT.
  • Passenger PA can enjoy various contents CT displayed on image display unit 93 .
  • the content CT includes not only content for driving support but also content for entertainment aimed at entertaining the passenger PA.
  • Entertainment content CT includes, for example, movies, music, games, news, mail, maps/tourist information, SNS, and chat.
  • the video display unit 93 can switch between, for example, a display state and a transparent state.
  • the image display unit 93 is arranged along the inner wall or partition wall of the vehicle 1 so as to surround the vehicle interior space.
  • the video display unit 93 presents the content CT in the display state, and allows the passenger PA to see through the outside of the vehicle in the transparent state.
  • Display state includes a semi-transparent state where information such as images displayed on the scenery outside the vehicle can be superimposed like AR (Augmented Reality).
  • the image display unit 93 can perform AR display by superimposing an image on the scenery outside the vehicle.
  • the image display unit 93 adjusts the brightness of the display, the transparency or the haze of the image display unit 93 according to the brightness outside the vehicle, for example. Thereby, the visibility of the content CT can be improved.
  • the vehicle control system 11 acquires route information regarding the travel route of the vehicle 1 .
  • the route information includes a travel route, a map around the travel route, and weather information. Based on the route information, the vehicle control system 11 predicts how the environment outside the vehicle will change while viewing the content CT.
  • the vehicle control system 11 calculates appropriate drawing conditions (appropriate drawing conditions) suitable for the environment outside the vehicle for each time based on a predetermined standard. Drawing conditions include drawing positions and drawing colors.
  • the vehicle control system 11 determines a stable drawing method (optimal drawing conditions) by statistically processing appropriate drawing conditions for each time.
  • FIG. 2 is a block diagram showing a configuration example of the vehicle control system 11. As shown in FIG.
  • the vehicle control system 11 is provided in the vehicle 1 and performs processing related to driving support and automatic driving of the vehicle 1.
  • the vehicle control system 11 includes a vehicle control ECU (Electronic Control Unit) 21, a communication unit 22, a map information accumulation unit 23, a position information acquisition unit 24, an external recognition sensor 25, an in-vehicle sensor 26, a vehicle sensor 27, a storage unit 28, a travel It has a support/automatic driving control unit 29 , a DMS (Driver Monitoring System) 30 , an HMI (Human Machine Interface) 31 , and a vehicle control unit 32 .
  • Vehicle control ECU 21, communication unit 22, map information storage unit 23, position information acquisition unit 24, external recognition sensor 25, in-vehicle sensor 26, vehicle sensor 27, storage unit 28, driving support/automatic driving control unit 29, driver monitoring system ( DMS) 30 , human machine interface (HMI) 31 , and vehicle control unit 32 are connected via a communication network 41 so as to be able to communicate with each other.
  • the communication network 41 is, for example, a CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), FlexRay (registered trademark), Ethernet (registered trademark), and other digital two-way communication standards. It is composed of a communication network, a bus, and the like.
  • the communication network 41 may be used properly depending on the type of data to be transmitted.
  • CAN may be applied to data related to vehicle control
  • Ethernet may be applied to large-capacity data.
  • Each part of the vehicle control system 11 performs wireless communication assuming relatively short-range communication such as near field communication (NFC (Near Field Communication)) or Bluetooth (registered trademark) without going through the communication network 41. may be connected directly using NFC (Near Field Communication) or Bluetooth (registered trademark)
  • the vehicle control ECU 21 is composed of various processors such as a CPU (Central Processing Unit) and an MPU (Micro Processing Unit).
  • the vehicle control ECU 21 controls the functions of the entire vehicle control system 11 or a part thereof.
  • the communication unit 22 communicates with various devices inside and outside the vehicle, other vehicles, servers, base stations, etc., and transmits and receives various data. At this time, the communication unit 22 can perform communication using a plurality of communication methods.
  • the communication with the outside of the vehicle that can be performed by the communication unit 22 will be described schematically.
  • the communication unit 22 uses a wireless communication method such as 5G (5th generation mobile communication system), LTE (Long Term Evolution), DSRC (Dedicated Short Range Communications), etc., via a base station or access point, on an external network communicates with a server (hereinafter referred to as an external server) located in the
  • the external network with which the communication unit 22 communicates is, for example, the Internet, a cloud network, or a provider's own network.
  • the communication method that the communication unit 22 performs with the external network is not particularly limited as long as it is a wireless communication method that enables digital two-way communication at a communication speed of a predetermined value or more and a distance of a predetermined value or more.
  • the communication unit 22 can communicate with a terminal existing in the vicinity of the own vehicle using P2P (Peer To Peer) technology.
  • Terminals in the vicinity of one's own vehicle are, for example, terminals worn by pedestrians, bicycles, and other moving objects that move at relatively low speeds, terminals installed at fixed locations in stores, etc., or MTC (Machine Type Communication) terminal.
  • the communication unit 22 can also perform V2X communication.
  • V2X communication includes, for example, vehicle-to-vehicle communication with other vehicles, vehicle-to-infrastructure communication with roadside equipment, and vehicle-to-home communication. communication, and communication between a vehicle and others, such as vehicle-to-pedestrian communication with a terminal or the like possessed by a pedestrian.
  • the communication unit 22 can receive from the outside a program for updating the software that controls the operation of the vehicle control system 11 (Over The Air).
  • the communication unit 22 can also receive map information, traffic information, information around the vehicle 1, and the like from the outside.
  • the communication unit 22 can transmit information about the vehicle 1, information about the surroundings of the vehicle 1, and the like to the outside.
  • the information about the vehicle 1 that the communication unit 22 transmits to the outside includes, for example, data indicating the state of the vehicle 1, recognition results by the recognition unit 73, and the like.
  • the communication unit 22 performs communication corresponding to a vehicle emergency call system such as e-call.
  • the communication unit 22 receives electromagnetic waves transmitted by a vehicle information and communication system (VICS (registered trademark)) such as radio beacons, optical beacons, and FM multiplex broadcasting.
  • VICS vehicle information and communication system
  • the communication with the inside of the vehicle that can be performed by the communication unit 22 will be described schematically.
  • the communication unit 22 can communicate with each device in the vehicle using, for example, wireless communication.
  • the communication unit 22 performs wireless communication with devices in the vehicle using a communication method such as wireless LAN, Bluetooth, NFC, and WUSB (Wireless USB) that enables digital two-way communication at a communication speed higher than a predetermined value. can be done.
  • the communication unit 22 can also communicate with each device in the vehicle using wired communication.
  • the communication unit 22 can communicate with each device in the vehicle by wired communication via a cable connected to a connection terminal (not shown).
  • the communication unit 22 performs digital two-way communication at a communication speed above a predetermined level by wired communication such as USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface) (registered trademark), and MHL (Mobile High-Definition Link). can communicate with each device in the vehicle.
  • wired communication such as USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface) (registered trademark), and MHL (Mobile High-Definition Link).
  • equipment in the vehicle refers to equipment that is not connected to the communication network 41 in the vehicle, for example.
  • in-vehicle devices include mobile devices and wearable devices possessed by passengers PA such as drivers, information devices brought into the vehicle and temporarily installed, and the like.
  • the map information accumulation unit 23 accumulates one or both of the map obtained from the outside and the map created by the vehicle 1. For example, the map information accumulation unit 23 accumulates a three-dimensional high-precision map, a global map covering a wide area, and the like, which is lower in accuracy than the high-precision map.
  • High-precision maps are, for example, dynamic maps, point cloud maps, vector maps, etc.
  • the dynamic map is, for example, a map consisting of four layers of dynamic information, quasi-dynamic information, quasi-static information, and static information, and is provided to the vehicle 1 from an external server or the like.
  • a point cloud map is a map composed of a point cloud (point cloud data).
  • a vector map is a map adapted to ADAS (Advanced Driver Assistance System) and AD (Autonomous Driving) by associating traffic information such as lane and traffic signal positions with a point cloud map.
  • the point cloud map and the vector map may be provided from an external server or the like, and based on the sensing results of the camera 51, radar 52, LiDAR 53, etc., as a map for matching with a local map described later. It may be created by the vehicle 1 and stored in the map information storage unit 23 . Further, when a high-precision map is provided from an external server or the like, in order to reduce the communication capacity, map data of, for example, several hundred meters square, regarding the planned route that the vehicle 1 will travel from now on, is acquired from the external server or the like. .
  • the position information acquisition unit 24 receives GNSS signals from GNSS (Global Navigation Satellite System) satellites and acquires position information of the vehicle 1 .
  • the acquired position information is supplied to the driving support/automatic driving control unit 29 .
  • the location information acquisition unit 24 is not limited to the method using GNSS signals, and may acquire location information using beacons, for example.
  • the external recognition sensor 25 includes various sensors used for recognizing situations outside the vehicle 1 and supplies sensor data from each sensor to each part of the vehicle control system 11 .
  • the type and number of sensors included in the external recognition sensor 25 are arbitrary.
  • the external recognition sensor 25 includes a camera 51 , a radar 52 , a LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) 53 , and an ultrasonic sensor 54 .
  • the configuration is not limited to this, and the external recognition sensor 25 may be configured to include one or more types of sensors among the camera 51 , radar 52 , LiDAR 53 , and ultrasonic sensor 54 .
  • the numbers of cameras 51 , radars 52 , LiDARs 53 , and ultrasonic sensors 54 are not particularly limited as long as they are realistically installable in the vehicle 1 .
  • the type of sensor provided in the external recognition sensor 25 is not limited to this example, and the external recognition sensor 25 may be provided with other types of sensors. An example of the sensing area of each sensor included in the external recognition sensor 25 will be described later.
  • the imaging method of the camera 51 is not particularly limited.
  • various types of cameras such as a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, and an infrared camera, which are capable of distance measurement, can be applied to the camera 51 as necessary.
  • the camera 51 is not limited to this, and may simply acquire a photographed image regardless of distance measurement.
  • the external recognition sensor 25 can include an environment sensor for detecting the environment with respect to the vehicle 1.
  • the environment sensor is a sensor for detecting the environment such as weather, climate, brightness, etc., and can include various sensors such as raindrop sensors, fog sensors, sunshine sensors, snow sensors, and illuminance sensors.
  • the external recognition sensor 25 includes a microphone used for detecting the sound around the vehicle 1 and the position of the sound source.
  • the in-vehicle sensor 26 includes various sensors for detecting information inside the vehicle, and supplies sensor data from each sensor to each part of the vehicle control system 11 .
  • the types and number of various sensors included in the in-vehicle sensor 26 are not particularly limited as long as they are the types and number that can be realistically installed in the vehicle 1 .
  • the in-vehicle sensor 26 may comprise one or more sensors among cameras, radar, seating sensors, steering wheel sensors, microphones, and biometric sensors.
  • the camera provided in the in-vehicle sensor 26 for example, cameras of various shooting methods capable of distance measurement, such as a ToF camera, a stereo camera, a monocular camera, and an infrared camera, can be used.
  • the camera included in the in-vehicle sensor 26 is not limited to this, and may simply acquire a photographed image regardless of distance measurement.
  • the biosensors included in the in-vehicle sensor 26 are provided, for example, on a seat, a steering wheel, or the like, and detect various biometric information of a passenger such as a driver.
  • the vehicle sensor 27 includes various sensors for detecting the state of the vehicle 1, and supplies sensor data from each sensor to each section of the vehicle control system 11.
  • the types and number of various sensors included in the vehicle sensor 27 are not particularly limited as long as the types and number are practically installable in the vehicle 1 .
  • the vehicle sensor 27 includes a speed sensor, an acceleration sensor, an angular velocity sensor (gyro sensor), and an inertial measurement unit (IMU (Inertial Measurement Unit)) integrating them.
  • the vehicle sensor 27 includes a steering angle sensor that detects the steering angle of the steering wheel, a yaw rate sensor, an accelerator sensor that detects the amount of operation of the accelerator pedal, and a brake sensor that detects the amount of operation of the brake pedal.
  • the vehicle sensor 27 includes a rotation sensor that detects the number of rotations of an engine or a motor, an air pressure sensor that detects tire air pressure, a slip rate sensor that detects a tire slip rate, and a wheel speed sensor that detects the rotational speed of a wheel.
  • a sensor is provided.
  • the vehicle sensor 27 includes a battery sensor that detects the remaining battery level and temperature, and an impact sensor that detects external impact.
  • Vehicle sensor 27 includes a sensor that detects driving status DS.
  • the storage unit 28 includes at least one of a nonvolatile storage medium and a volatile storage medium, and stores data and programs.
  • the storage unit 28 is used as, for example, EEPROM (Electrically Erasable Programmable Read Only Memory) and RAM (Random Access Memory), and storage media include magnetic storage devices such as HDD (Hard Disc Drive), semiconductor storage devices, optical storage devices, And a magneto-optical storage device can be applied.
  • the storage unit 28 stores various programs and data used by each unit of the vehicle control system 11 .
  • the storage unit 28 includes an EDR (Event Data Recorder) and a DSSAD (Data Storage System for Automated Driving), and stores information about the vehicle 1 before and after an event such as an accident and information acquired by the in-vehicle sensor 26 .
  • EDR Event Data Recorder
  • DSSAD Data Storage System for Automated Driving
  • the driving support/automatic driving control unit 29 controls driving support and automatic driving of the vehicle 1 .
  • the driving support/automatic driving control unit 29 includes an analysis unit 61 , an action planning unit 62 and an operation control unit 63 .
  • the analysis unit 61 analyzes the vehicle 1 and its surroundings.
  • the analysis unit 61 includes a self-position estimation unit 71 , a sensor fusion unit 72 and a recognition unit 73 .
  • the self-position estimation unit 71 estimates the self-position of the vehicle 1 based on the sensor data from the external recognition sensor 25 and the high-precision map accumulated in the map information accumulation unit 23. For example, the self-position estimation unit 71 generates a local map based on sensor data from the external recognition sensor 25, and estimates the self-position of the vehicle 1 by matching the local map and the high-precision map.
  • the position of the vehicle 1 is based on, for example, the center of the rear wheel versus axle.
  • a local map is, for example, a three-dimensional high-precision map created using techniques such as SLAM (Simultaneous Localization and Mapping), an occupancy grid map, or the like.
  • the three-dimensional high-precision map is, for example, the point cloud map described above.
  • the occupancy grid map is a map that divides the three-dimensional or two-dimensional space around the vehicle 1 into grids (lattice) of a predetermined size and shows the occupancy state of objects in grid units.
  • the occupancy state of an object is indicated, for example, by the presence or absence of the object and the existence probability.
  • the local map is also used, for example, by the recognizing unit 73 for detection processing and recognition processing of the situation outside the vehicle 1 .
  • the self-position estimation unit 71 may estimate the self-position of the vehicle 1 based on the position information acquired by the position information acquisition unit 24 and the sensor data from the vehicle sensor 27.
  • the sensor fusion unit 72 combines a plurality of different types of sensor data (for example, image data supplied from the camera 51 and sensor data supplied from the radar 52) to perform sensor fusion processing to obtain new information.
  • Methods for combining different types of sensor data include integration, fusion, federation, and the like.
  • the recognition unit 73 executes a detection process for detecting the situation outside the vehicle 1 and a recognition process for recognizing the situation outside the vehicle 1 .
  • the recognition unit 73 performs detection processing and recognition processing of the situation outside the vehicle 1 based on information from the external recognition sensor 25, information from the self-position estimation unit 71, information from the sensor fusion unit 72, and the like. .
  • the recognition unit 73 performs detection processing and recognition processing of objects around the vehicle 1 .
  • Object detection processing is, for example, processing for detecting the presence or absence, size, shape, position, movement, and the like of an object.
  • Object recognition processing is, for example, processing for recognizing an attribute such as the type of an object or identifying a specific object.
  • detection processing and recognition processing are not always clearly separated, and may overlap.
  • the recognition unit 73 detects objects around the vehicle 1 by clustering the point cloud based on sensor data from the radar 52 or the LiDAR 53 or the like for each cluster of point groups. As a result, presence/absence, size, shape, and position of objects around the vehicle 1 are detected.
  • the recognizing unit 73 detects the movement of objects around the vehicle 1 by performing tracking that follows the movement of the cluster of points classified by clustering. As a result, the speed and traveling direction (movement vector) of the object around the vehicle 1 are detected.
  • the recognition unit 73 detects or recognizes vehicles, people, bicycles, obstacles, structures, roads, traffic lights, traffic signs, road markings, etc. based on image data supplied from the camera 51 . Further, the recognition unit 73 may recognize types of objects around the vehicle 1 by performing recognition processing such as semantic segmentation.
  • the recognition unit 73 based on the map accumulated in the map information accumulation unit 23, the estimation result of the self-position by the self-position estimation unit 71, and the recognition result of the object around the vehicle 1 by the recognition unit 73, Recognition processing of traffic rules around the vehicle 1 can be performed. Through this processing, the recognition unit 73 can recognize the position and state of traffic lights, the content of traffic signs and road markings, the content of traffic restrictions, the lanes in which the vehicle can travel, and the like.
  • the recognition unit 73 can perform recognition processing of the environment around the vehicle 1 .
  • Surrounding environments to be recognized by the recognizing unit 73 include presence/absence of pedestrians and surrounding vehicles, weather, temperature, humidity, brightness, road surface conditions, and the like.
  • the action plan section 62 creates an action plan for the vehicle 1.
  • the action planning unit 62 creates an action plan by performing route planning and route following processing.
  • trajectory planning is the process of planning a rough route from the start to the goal. This route planning is called trajectory planning, and in the planned route, trajectory generation (local path planning) that can proceed safely and smoothly in the vicinity of the vehicle 1 in consideration of the motion characteristics of the vehicle 1. It also includes the processing to be performed.
  • Route following is the process of planning actions to safely and accurately travel the route planned by route planning within the planned time.
  • the action planning unit 62 can, for example, calculate the target speed and the target angular speed of the vehicle 1 based on the result of this route following processing.
  • the motion control unit 63 controls the motion of the vehicle 1 in order to implement the action plan created by the action planning unit 62.
  • the operation control unit 63 controls a steering control unit 81, a brake control unit 82, and a drive control unit 83 included in the vehicle control unit 32, which will be described later, so that the vehicle 1 can control the trajectory calculated by the trajectory plan. Acceleration/deceleration control and direction control are performed so as to advance.
  • the operation control unit 63 performs cooperative control aimed at realizing ADAS functions such as collision avoidance or shock mitigation, follow-up driving, vehicle speed maintenance driving, collision warning of own vehicle, and lane deviation warning of own vehicle.
  • the operation control unit 63 performs cooperative control aimed at automatic driving in which the vehicle autonomously travels without depending on the operation of the driver.
  • the DMS 30 performs driver authentication processing, driver state recognition processing, etc., based on sensor data from the in-vehicle sensor 26 and input data input to the HMI 31, which will be described later.
  • As the state of the driver to be recognized for example, physical condition, wakefulness, concentration, fatigue, gaze direction, drunkenness, driving operation, posture, etc. are assumed.
  • the DMS 30 may perform authentication processing for passengers other than the driver and processing for recognizing the state of the passenger. Further, for example, the DMS 30 may perform recognition processing of the situation inside the vehicle based on the sensor data from the sensor 26 inside the vehicle. Conditions inside the vehicle to be recognized include temperature, humidity, brightness, smell, and the like, for example.
  • the HMI 31 inputs various data, instructions, etc., and presents various data to passengers including the driver.
  • the HMI 31 comprises an input device for human input of data.
  • the HMI 31 generates an input signal based on data, instructions, etc. input from an input device, and supplies the input signal to each section of the vehicle control system 11 .
  • the HMI 31 includes operators such as a touch panel, buttons, switches, and levers as input devices.
  • the HMI 31 is not limited to this, and may further include an input device capable of inputting information by a method other than manual operation using voice, gestures, or the like.
  • the HMI 31 may use, as an input device, a remote control device using infrared rays or radio waves, or an external connection device such as a mobile device or wearable device corresponding to the operation of the vehicle control system 11 .
  • the presentation of data by HMI31 will be briefly explained.
  • the HMI 31 generates visual information, auditory information, and tactile information for the passenger or outside the vehicle.
  • the HMI 31 performs output control for controlling output, output content, output timing, output method, and the like of each generated information.
  • the HMI 31 generates and outputs visual information such as an operation screen, a status display of the vehicle 1, a warning display, an image such as a monitor image showing the surrounding situation of the vehicle 1, and information (content CT) indicated by light.
  • the HMI 31 also generates and outputs information indicated by sounds such as voice guidance, warning sounds, warning messages, etc., as auditory information.
  • the HMI 31 generates and outputs, as tactile information, information given to the passenger's tactile sense by force, vibration, movement, or the like.
  • a display device that presents visual information by displaying an image by itself or a projector device that presents visual information by projecting an image can be applied.
  • the display device displays visual information within the passenger's field of view, such as a head-up display, a transmissive display, or a wearable device with an AR (Augmented Reality) function. It may be a device.
  • the HMI 31 can also use a display device provided in the vehicle 1, such as a navigation device, an instrument panel, a CMS (Camera Monitoring System), an electronic mirror, a lamp, etc., as an output device for outputting visual information.
  • Audio speakers, headphones, and earphones can be applied as output devices for the HMI 31 to output auditory information.
  • a haptic element using haptic technology can be applied as an output device for the HMI 31 to output tactile information.
  • a haptic element is provided at a portion of the vehicle 1 that is in contact with a passenger, such as a steering wheel or a seat.
  • the vehicle control unit 32 controls each unit of the vehicle 1.
  • the vehicle control section 32 includes a steering control section 81 , a brake control section 82 , a drive control section 83 , a body system control section 84 , a light control section 85 and a horn control section 86 .
  • the steering control unit 81 detects and controls the state of the steering system of the vehicle 1 .
  • the steering system includes, for example, a steering mechanism including a steering wheel, an electric power steering, and the like.
  • the steering control unit 81 includes, for example, a steering ECU that controls the steering system, an actuator that drives the steering system, and the like.
  • the brake control unit 82 detects and controls the state of the brake system of the vehicle 1 .
  • the brake system includes, for example, a brake mechanism including a brake pedal, an ABS (Antilock Brake System), a regenerative brake mechanism, and the like.
  • the brake control unit 82 includes, for example, a brake ECU that controls the brake system, an actuator that drives the brake system, and the like.
  • the drive control unit 83 detects and controls the state of the drive system of the vehicle 1 .
  • the drive system includes, for example, an accelerator pedal, a driving force generator for generating driving force such as an internal combustion engine or a driving motor, and a driving force transmission mechanism for transmitting the driving force to the wheels.
  • the drive control unit 83 includes, for example, a drive ECU that controls the drive system, an actuator that drives the drive system, and the like.
  • the body system control unit 84 detects and controls the state of the body system of the vehicle 1 .
  • the body system includes, for example, a keyless entry system, smart key system, power window device, power seat, air conditioner, air bag, seat belt, shift lever, and the like.
  • the body system control unit 84 includes, for example, a body system ECU that controls the body system, an actuator that drives the body system, and the like.
  • the light control unit 85 detects and controls the states of various lights of the vehicle 1 .
  • Lights to be controlled include, for example, headlights, backlights, fog lights, turn signals, brake lights, projections, bumper displays, and the like.
  • the light control unit 85 includes a light ECU that controls the light, an actuator that drives the light, and the like.
  • the horn control unit 86 detects and controls the state of the car horn of the vehicle 1 .
  • the horn control unit 86 includes, for example, a horn ECU for controlling the car horn, an actuator for driving the car horn, and the like.
  • FIG. 3 is a diagram showing an example of sensing areas by the camera 51, the radar 52, the LiDAR 53, the ultrasonic sensor 54, etc. of the external recognition sensor 25. As shown in FIG. Note that FIG. 3 schematically shows a state in which the vehicle 1 is viewed from above. 3, the left side is the front end (front) of the vehicle 1, and the right end is the rear end (rear) of the vehicle 1, when viewing FIG.
  • a sensing area 101F and a sensing area 101B are examples of sensing areas of the ultrasonic sensor 54.
  • FIG. The sensing area 101 ⁇ /b>F covers the periphery of the front end of the vehicle 1 with a plurality of ultrasonic sensors 54 .
  • the sensing area 101B covers the periphery of the rear end of the vehicle 1 with a plurality of ultrasonic sensors 54 .
  • the sensing results in the sensing area 101F and the sensing area 101B are used, for example, for parking assistance of the vehicle 1 and the like.
  • Sensing areas 102F to 102B show examples of sensing areas of the radar 52 for short or medium range.
  • the sensing area 102F covers the front of the vehicle 1 to a position farther than the sensing area 101F.
  • the sensing area 102B covers the rear of the vehicle 1 to a position farther than the sensing area 101B.
  • the sensing area 102L covers the rear periphery of the left side surface of the vehicle 1 .
  • the sensing area 102R covers the rear periphery of the right side surface of the vehicle 1 .
  • the sensing result in the sensing area 102F is used, for example, to detect vehicles, pedestrians, etc. existing in front of the vehicle 1.
  • the sensing result in the sensing area 102B is used for the rear collision prevention function of the vehicle 1, for example.
  • the sensing results in the sensing area 102L and the sensing area 102R are used, for example, to detect an object in a blind spot on the side of the vehicle 1, or the like.
  • Sensing areas 103F to 103B show examples of sensing areas by the camera 51 .
  • the sensing area 103F covers the front of the vehicle 1 to a position farther than the sensing area 102F.
  • the sensing area 103B covers the rear of the vehicle 1 to a position farther than the sensing area 102B.
  • the sensing area 103L covers the periphery of the left side surface of the vehicle 1 .
  • the sensing area 103R covers the periphery of the right side surface of the vehicle 1 .
  • the sensing results in the sensing area 103F can be used, for example, for recognition of traffic lights and traffic signs, lane departure prevention support systems, and automatic headlight control systems.
  • a sensing result in the sensing area 103B can be used for parking assistance and a surround view system, for example.
  • Sensing results in the sensing area 103L and the sensing area 103R can be used, for example, in a surround view system.
  • the sensing area 104 shows an example of the sensing area of the LiDAR53.
  • the sensing area 104 covers the front of the vehicle 1 to a position farther than the sensing area 103F.
  • the sensing area 104 has a narrower lateral range than the sensing area 103F.
  • the sensing results in the sensing area 104 are used, for example, to detect objects such as surrounding vehicles.
  • a sensing area 105 shows an example of a sensing area of the long-range radar 52 .
  • the sensing area 105 covers the front of the vehicle 1 to a position farther than the sensing area 104 .
  • the sensing area 105 has a narrower lateral range than the sensing area 104 .
  • the sensing results in the sensing area 105 are used, for example, for ACC (Adaptive Cruise Control), emergency braking, and collision avoidance.
  • ACC Adaptive Cruise Control
  • emergency braking emergency braking
  • collision avoidance collision avoidance
  • the sensing regions of the cameras 51, the radar 52, the LiDAR 53, and the ultrasonic sensors 54 included in the external recognition sensor 25 may have various configurations other than those shown in FIG. Specifically, the ultrasonic sensor 54 may also sense the sides of the vehicle 1 , and the LiDAR 53 may sense the rear of the vehicle 1 . Moreover, the installation position of each sensor is not limited to each example mentioned above. Also, the number of each sensor may be one or plural.
  • FIG. 4 is a diagram showing a configuration example of the in-vehicle sensor 26 and the image display unit 93.
  • FIG. 5 is a diagram showing a display example of the image IM provided as the content CT.
  • the image display unit 93 is arranged so as to separate the front row seats (driver's seat and front passenger seat) and the rear row seats.
  • a camera CM is installed in the vehicle for monitoring the passenger PA in the back row seat.
  • the camera CM functions as an in-vehicle sensor 26 .
  • two cameras CM monitor the entire interior space (rear space) behind the front row seats.
  • the DMS 30 acquires the viewing state information VS of the passenger PA in the rear space based on the image captured by the camera CM.
  • the viewing state information VS includes, for example, information regarding the number of passengers PA, whether the passengers PA are awake, the visual field of the passengers PA, and whether the passengers PA are gazing at the content CT. .
  • the visual field of the passenger PA, whether the passenger PA is awake, and whether the passenger PA is gazing at the content CT is determined.
  • the HMI 31 controls display of the content CT based on the viewing state information VS.
  • the image display unit 93 is an optical see-through type or video see-through type display capable of transparently displaying the background.
  • an optical see-through display is used as the image display unit 93 as an example.
  • a known transparent display or technology such as HUD (Head-Up Display), transparent OLED (Organic Light Emitting Diode), and transparent LED (Light Emitting Diode) is used.
  • HUD Head-Up Display
  • transparent OLED Organic Light Emitting Diode
  • transparent LED Light Emitting Diode
  • the video display unit 93 has, for example, a transparent screen SCR and a projector PJ.
  • the transparent screen SCR has an optical lens film that reflects the light projected from the projector PJ.
  • a light control film capable of electrically controlling the transmittance of external light is laminated on the optical lens film.
  • the HMI 31 adjusts the brightness of the display or the transparency or haze of the image display section 93 (transparent screen SCR) based on the brightness information outside the vehicle extracted from the environment information CE.
  • the passenger PA can see through the scenery outside the vehicle through the transparent screen SCR from the gap between the driver's seat and the passenger's seat.
  • FIG. 6 is a diagram showing another configuration example of the video display unit 93.
  • FIG. 7 is a diagram showing a display example of the image IM provided as the content CT.
  • the image display unit 93 is installed on the side of the passenger PA on the back row seat.
  • the side glass (window WD: see FIG. 8) of the vehicle 1 has been replaced by a transparent screen SCR.
  • a film-like transparent screen may be attached to the surface of the side glass or sandwiched inside the side glass.
  • the side glass of the rear seat has the function of the transparent screen SCR, but what has the function of the transparent screen SCR is not limited to the side glass of the rear seat.
  • the windshield, the front side windows or the rear window may have the function of the transparent screen SCR.
  • FIG. 8 is a diagram showing another configuration example of the video display unit 93. As shown in FIG. 8
  • the video display unit 93 may employ a configuration that projects the content CT onto a non-transparent screen NTS such as a window frame WF.
  • a non-transparent screen NTS such as a window frame WF.
  • window frame WF, pillar PL and armrest AM are used as non-transparent screen NTS.
  • the desk may be used as the non-transparent screen NTS.
  • FIG. 9 is a diagram showing an example of a functional configuration related to video display of the vehicle 1. As shown in FIG.
  • the vehicle control system 11 is an information processing system that controls the vehicle 1 in an integrated manner.
  • the vehicle control system 11 has a processing section 90 , a camera CM, a GPS receiver RV, a video display section 93 and a storage section 28 .
  • the processing unit 90 is an information processing device that processes various types of information. Processing unit 90 provides functionality for receiving user input information and displaying graphics to passenger PA.
  • the processing unit 90 has a general OS control layer that performs multi-content rendering control and gesture detection such as touch operations.
  • the processing unit 90 determines a drawing method for the content CT based on the navigation information NV and the signal received by the GPS receiver RV.
  • the processing unit 90 determines the operation of the device or application by the passenger PA based on the sensing information of the camera CM.
  • Navi information NV refers to information from a general car navigation system.
  • the navigation information NV includes information on the destination and travel route.
  • GPS receiver RV refers to a common satellite positioning system. GPS receiver RV receives a signal indicating the current position of vehicle 1 .
  • the GPS receiver RV is included in the location information acquisition unit 24 .
  • the camera CM analyzes the image of the image sensor IS acquired through the filter FL and senses the human body.
  • Camera CM is included in in-vehicle sensor 26 .
  • the processing unit 90 determines which filter FL to use for sensing based on the environment outside the vehicle.
  • the control unit CU drives the actuator AC based on the determined sensing method to change the filter FL.
  • infrared rays are emitted from the light emitting element LE.
  • the processing unit 90 has an environment information processing unit 91 , an optimization processing unit 92 , a sensor information processing unit 94 , an output information creation unit 95 and a communication unit 22 .
  • the environmental information processing unit 91 acquires the navigation information NV from the driving support/automatic driving control unit 29.
  • the environmental information processing unit 91 identifies the current position of the vehicle 1 based on the signal received by the GPS receiver RV.
  • the environmental information processing unit 91 identifies the travel route from the current location based on the navigation information NV, and acquires a map around the travel route from the map information storage unit 23 .
  • the environment information processing unit 91 accesses information on the Internet via the communication unit 22 as necessary and acquires weather information for each travel position. As a result, route information (travel route, map around the travel route, and weather information for each travel position) toward the destination is acquired. Based on the route information, the environment information processing unit 91 predicts changes in the environment outside the vehicle during viewing of the content CT.
  • the optimization processing unit 92 determines the drawing method of the content CT based on the predicted transition of the environment outside the vehicle. For example, the environment information processing unit 91 generates environment information indicating the prediction result of the environment outside the vehicle for each time, and transmits the environment information to the optimization processing unit 92 .
  • the environmental information includes, for example, the driving position of the vehicle 1, the weather at the driving position, the driving direction, a surrounding map outside the vehicle, and the brightness (illuminance) of the environment outside the vehicle.
  • the optimization processing unit 92 determines drawing conditions (appropriate drawing conditions) according to the predicted environment outside the vehicle for each time.
  • the optimization processing unit 92 determines a drawing method (optimal drawing conditions) based on statistical results of drawing conditions for each time. As a result, the drawing method can be optimized.
  • a drawing method determination algorithm is defined in the drawing rule storage unit DR.
  • the optimization processing unit 92 determines the sensing method of the camera CM based on the predicted transition of the environment outside the vehicle. For example, the optimization processing unit 92 determines a sensing method (appropriate sensing method) according to the predicted environment outside the vehicle for each time. The optimization processing unit 92 determines a sensing method (optimal sensing conditions) based on statistical results of appropriate sensing methods for each time. This optimizes the sensing method.
  • sensing of the passenger PA is performed based on the visible light image. If a dark environment is expected, sensing of the passenger PA is performed based on the infrared image.
  • a sensing method determination algorithm is defined in the sensing method storage unit SM.
  • the sensor information processing unit 94 determines the operation of the device or application that performs the passenger PA based on the sensing information of the camera CM.
  • the output information creation unit 95 creates drawing information (content CT) according to the operation of the passenger PA, and outputs it to the image display unit 93 .
  • the video display unit 93 draws the drawing information by the drawing method determined by the optimization processing unit 92 .
  • the optimization processing unit 92 can change the drawing method and sensing method optimized according to the prediction result according to the environment outside the vehicle.
  • the sensing method change algorithm is defined in the sensing change rule definition part SCM.
  • the rendering method change algorithm is specified in the rendering change rule definition section DCR.
  • the sensing method of the passenger PA would change from being based on visible light images to being based on infrared images.
  • it was planned to draw on the window WD because a dark landscape was expected, but in reality, if drawing on the window WD becomes inappropriate due to the influence of streetlights, etc., the drawing position will be changed to a position other than the window WD. (for example, an armrest AM, a desk installed in the car, etc.).
  • the storage unit 28 stores a product characteristic definition unit PC, a sensing method storage unit SM, a sensing change rule definition unit SCM, a drawing rule storage unit DR, and a drawing change rule definition unit DCR.
  • the product characteristic definition part PC defines the characteristic (product characteristic) of the product in which the vehicle control system 11 is installed.
  • Product characteristics include information about mobility and display type. “Mobility” indicates whether the product is mobile like a car or fixed like a digital signage. "Display type" indicates whether the display is transparent.
  • FIG. 10 is a diagram illustrating an example of a control flow relating to a drawing method determination process.
  • the environment information processing section 91 acquires route information from the current position to the destination (step SA1). Based on the route information, the environment information processing unit 91 predicts changes in the environment outside the vehicle during viewing of the content CT (for example, a period from the current time to T seconds later) (step SA2).
  • the optimization processing unit 92 optimizes the rendering method of the content CT based on changes in the environment outside the vehicle during viewing of the content CT (step SA3).
  • the output information creation unit 95 creates drawing information (contents CT) according to the operation of the passenger PA (step SA4).
  • the video display unit 93 draws the drawing information by the drawing method determined by the optimization processing unit 92 (step SA5).
  • the processing unit 90 repeats the above-described processing until the end processing is performed by the operation of the passenger PA.
  • the content CT subject to display control is content whose drawing position and/or drawing color can be changed.
  • a group of icons for performing playback, stop, volume adjustment, setting change, etc. of moving image content such as movies are exemplified as targets of display control.
  • the drawing position is subject to display control.
  • FIG. 11 is a diagram showing a display example of the content CT on the transparent screen SCR.
  • the optimization processing unit 92 determines that the sun does not enter the field of view of the passenger PA through the transparent screen SCR based on the environmental information, the optimization processing unit 92 determines the rendering position of the content CT to be the transparent screen SCR.
  • the optimization processing unit 92 detects, as the background BG of the content CT, the scenery LS outside the vehicle seen through the transparent screen SCR on which the content CT is drawn.
  • the optimization processing unit 92 determines the drawing color COL2 of the content CT based on the color COL1 of the background BG.
  • the optimization processing unit 92 determines the complementary color of the background BG color COL1 as the drawing color COL2.
  • the content CT is superimposed on a tree with green leaves. Therefore, purple, which is a complementary color of green, is determined as the drawing color COL2 of the content CT.
  • FIG. 12 is a diagram showing a display example when the sun SN is viewed directly through the transparent screen SCR.
  • the optimization processing unit 92 determines that the sun SN enters the field of view of the passenger PA through the transparent screen SCR based on the environmental information, the optimization processing unit 92 sets the drawing position of part or all of the content CT to the sun SN. Determine the position on the non-overlapping transparent screen SCR or the non-transparent screen NTS.
  • the content CT is drawn at a position on the transparent screen SCR that does not overlap the sun SN, but it may be drawn on a non-transparent screen NTS such as the window frame WF or the pillar PL.
  • the sunrise or sunset directly hits the non-transparent screen NTS.
  • the optimization processing unit 92 determines that the sunrise or sunset directly hits the content rendering position on the non-transparent screen NTS based on the environment information, the optimization processing unit 92 determines orange as the color COL1 of the background BG of the content CT.
  • the example of FIG. 14 is an example of drawing the content CT at a position on the non-transparent screen NTS where sunlight does not enter.
  • the optimization processing unit 92 detects the non-transparent screen NTS on which the content CT is drawn as the background BG of the content CT, and determines the drawing color based on the color of the background BG. For example, when the optimization processing unit 92 determines that sunlight does not directly hit the content rendering position of the non-transparent screen NTS based on the environment information, the optimization processing unit 92 determines that the color of the material of the non-transparent screen NTS at the content rendering position is A color whose luminance is lowered is determined as the color COL1 of the background BG of the content CT.
  • the content CT is drawn on the pillar PL.
  • the optimization processing unit 92 determines the background color COL1 by lowering the luminance based on the color of the projection destination material. If the color of the pillar PL is gray, the background color COL1 is dark gray. The optimization processing unit 92 determines a dark gray complementary color (for example, whitish orange) as the drawing color COL2 of the content CT.
  • FIG. 15 is an explanatory diagram of a prediction period during which changes in the environment outside the vehicle are predicted.
  • the prediction period (T seconds) is defined for each content CT.
  • the prediction period is set based on the standard time when the content CT is watched.
  • the prediction period of operation-based content CT that does not require attention such as an air conditioner and a music application, is set to zero.
  • the prediction period is set to 15 ⁇ 60 seconds for the content CT such as SNS and mail, which has a relatively short browsing time.
  • the prediction period is set to 60 ⁇ 60 seconds for content CTs with relatively long browsing times, such as YouTube, browsers, and games.
  • the prediction period is set to the playback time of the content CT.
  • FIG. 16 is a flow chart showing the drawing method determination process.
  • FIG. 17 is a diagram showing a table used in the drawing method determination process.
  • the processing unit 90 sets the variable i to 0 (step SB1).
  • the environmental information processing unit 91 acquires the travel position at the predicted time Ti based on the navigation information NV (step SB3).
  • the environmental information processing unit 91 acquires the weather at the travel position at the predicted time Ti based on weather information provided by the Meteorological Agency (step SB4).
  • the environmental information processing unit 91 acquires a surrounding map of the traveling position at the predicted time Ti from the map information storage unit 23 (step SB5).
  • the optimization processing unit 92 detects the scenery LS outside the vehicle as the background BG of the content CT based on the traveling position and direction of the vehicle 1 at the predicted time Ti and the surrounding map outside the vehicle.
  • the optimization processing unit 92 determines the drawing position and drawing color COL2 of the content CT at the predicted time Ti based on the background BG, and fills the table in FIG. 17 (steps SB6 to SB7).
  • the processing unit 90 increases the value of the variable i by 1 (step SB8), and determines whether or not the prediction period (T seconds) is smaller than ⁇ t ⁇ i (step SB9).
  • step SB9 If the prediction period (T seconds) is shorter than ⁇ t ⁇ i (step SB9: Yes), the optimization processing unit 92 calculates the mode and Statistical processing such as calculation of average values is performed. The optimization processing unit 92 determines the drawing method obtained by statistically processing a plurality of drawing conditions as the optimum drawing method (step SB10). When the prediction period (T seconds) is equal to or longer than ⁇ t ⁇ i (step SB9: No), the process returns to step SB2 and the processes from step SB2 to step SB9 are repeated.
  • FIG. 18 is a flow showing a specific example of a method of determining a drawing position for each time.
  • the optimization processing unit 92 determines whether the sun is in the field of vision of the passenger PA based on the environmental information (step SC1). If the sun is not in the field of view of the passenger PA (step SC1: No), the optimization processing unit 92 sets the drawing position to the window WD (step SC2).
  • the optimization processing unit 92 determines whether the content CT to be displayed is content with a wide drawing range such as a moving image or a browser. (Step SC3). When the content CT with a wide drawing range is displayed (step SC3: Yes), the optimization processing unit 92 sets the drawing position to the window frame WF (step SC4).
  • step SC5 determines whether the content CT is an application for operating air conditioners, music, or the like (step SC5). ). If the operating application is displayed as the content CT (step SC5: Yes), the optimization processing unit 92 sets the drawing position to the elbow rest AM (step SC6). If the content CT is not an operation application (step SC5: No), the optimization processing unit 92 sets the drawing position to the pillar PL (step SC7).
  • FIG. 19 is a flow showing a specific example of the method of determining the drawing color COL2 for each time.
  • the optimization processing unit 92 determines whether or not the drawing position is the window WD (transparent screen SCR) (step SD1). If the drawing position is the window WD (step SD1: Yes), the optimization processing unit 92 determines the background color COL1 from the traveling position of the vehicle 1 (step SD2).
  • step SD1 When the drawing position is the non-transparent screen NTS (step SD1: No), the optimization processing unit 92 determines whether or not the sunlight shines into the drawing position of the content CT (step SD3). If the sunlight does not enter the content drawing position (step SD3: No), the optimization processing unit 92 sets the color of the material of the non-transparent screen NTS at the content drawing position to the background color COL1 with a lower luminance. (step SD4).
  • step SD5 determines whether the altitude of the sun SN is low (sunrise or sunset) (step SD5). If the altitude of the sun SN is high (step SD5: No), the optimization processing unit 92 determines a color brighter than the material of the non-transparent screen NTS as the background color COL1 (step SD6). That is, when the optimization processing unit 92 determines that the daylight directly hits the content drawing position of the non-transparent screen NTS based on the environment information, the optimization processing unit 92 sets the luminance to the color of the material of the non-transparent screen NTS at the content drawing position. is determined as the color COL1 of the background BG. If the altitude of the sun SN is low (step SD5: Yes), the optimization processing unit 92 sets the background color COL1 to orange (step SD7).
  • the optimization processing unit 92 determines the drawing color COL2 as the complementary color of the background color COL1 (step SD8). For example, if the traveling position is in a forest or a mountain, the background color COL1 is determined to be green, and the drawing color COL2 is determined to be purple. If the traveling position is a coast or an open place (a place where the sky can be seen), the background color COL1 is determined to be blue, and the drawing color COL2 is determined to be yellow. If the traveling position is along an expressway or in the city, the background color COL1 is determined to be light gray, and the drawing color COL2 is determined to be dark gray. If the traveling position is in a residential area, the background color COL1 is determined to be white, and the drawing color COL2 is determined to be black.
  • FIG. 20 is a flow showing a specific example of optimization by statistical processing.
  • the optimization processing unit 92 aggregates a plurality of drawing positions calculated for each predicted time Ti to calculate the occurrence frequency for each drawing position (step SE1). The optimization processing unit 92 determines the drawing position with the highest occurrence frequency as the optimum drawing position (step SE2).
  • the optimization processing unit 92 extracts one or more predicted times Ti at which the drawing position is the optimum drawing position (step SE3).
  • the optimization processing unit 92 aggregates the drawing colors at one or more extracted prediction times Ti, and calculates the occurrence frequency for each drawing color (step SE4).
  • the optimization processing unit 92 determines the drawing color with the highest occurrence frequency as the optimum drawing color (step SE5).
  • the optimization processing unit 92 determines a drawing method with the optimum drawing position and the optimum drawing color as the drawing method of the content CT.
  • FIG. 21 is a diagram for explaining processing for changing the drawing method.
  • the optimization processing unit 92 can temporarily change the rendering conditions for the content CT according to the conditions inside and outside the vehicle. Conditions inside and outside the vehicle are monitored by the monitor unit MU.
  • the monitor unit MU includes, for example, an external recognition sensor 25 and an in-vehicle sensor 26 .
  • the environment information processing unit 91 detects the surrounding situation of the vehicle 1 and the viewing environment inside the vehicle based on the monitoring result of the monitor unit MU.
  • the optimization processing unit 92 temporarily changes the drawing method that is performed under the optimum drawing conditions based on the surrounding conditions of the vehicle 1 and the viewing environment inside the vehicle. Specific examples are shown below.
  • FIGS. 22 and 23 are diagrams showing examples of modifications of the drawing method according to the surrounding conditions of the vehicle 1.
  • FIG. 22 and 23 are diagrams showing examples of modifications of the drawing method according to the surrounding conditions of the vehicle 1.
  • the visibility of the content CT changes according to the circumstances around the vehicle 1, which is the background BG.
  • the passenger PA will simultaneously observe the movement of the crowd passing the transparent screen SCR while gazing at the content CT.
  • autonomic nerves are out of sync, and symptoms similar to motion sickness (image sickness) may appear.
  • the drawing position is changed to a position that avoids the crowd CW.
  • the optimization processing unit 92 determines that the crowd CW outside the vehicle enters the field of view of the passenger PA through a specific transparent screen SCR
  • the rendering position of part or all of the content CT is set to a specific transparent screen SCR. Determine transparent screen SCR or non-transparent screen NTS other than screen SCR.
  • the drawing position is changed to the window WD on the right side of the vehicle 1 at a position where the crowd CW is not seen through.
  • the drawing position is changed to the transparent screen SCR in the center of the vehicle 1 shown in FIG. 4 or the non-transparent screen NTS such as the elbow rest AM.
  • FIG. 24 is a diagram showing an example of the flow of motion sickness countermeasures.
  • the monitor unit MU monitors the situation around the vehicle 1 using the camera 51 facing outside the vehicle (step SF1).
  • the environmental information processing unit 91 detects one or more people in the position of the background BG of the content CT based on the monitoring result, and supplies information on the number of people and the positions of the people to the optimization processing unit 92 (step SF2).
  • the optimization processing unit 92 determines whether the number of people present in the background BG is equal to or greater than the threshold (step SF3). If the number of people is less than the threshold (step SF3: No), the optimization processing unit 92 determines the drawing position to be the window WD (step SF4).
  • step SF3 determines whether there are people on both sides (right and left sides) of the vehicle 1 (step SF5). If there is a person on only one side of the vehicle 1 (step SF5: No), the optimization processing unit 92 determines the drawing position to be the window WD on the side where the person is not (step SF6). If there are people on both sides of the vehicle 1 (step SF5: Yes), the optimization processing unit 92 determines the drawing position to be the elbow rest AM or a desk installed inside the vehicle (step SF7).
  • FIG. 25 is a diagram showing a modification of the drawing method according to the viewing environment inside the vehicle.
  • the maximum drawing size of the content CT changes according to changes in the shape of the projection target. For example, when the window WD is half open, only content CT of half size can be displayed in the window WD compared to when the window WD is closed.
  • the optimization processing unit 92 determines the drawing position of part or all of the content CT to be drawn on the transparent screen SCR on the non-transparent screen NTS based on the opening/closing amount of the window WD used as the transparent screen SCR.
  • the cross-media bar CMB is displayed as the content CT.
  • the cross-media bar CMB is a UI (User Interface) that displays horizontal and vertical icon groups by function.
  • the first drawing method of drawing the content CT in the window WD is adopted. If the window WD is not completely closed, a second drawing method is adopted that draws the content CT on the closed portion of the window WD and/or the non-transparent screen NTS. When the window WD is fully open, a third drawing method is adopted for drawing the content CT on the non-transparent screen NTS.
  • the content CT is composed of horizontal and vertical icon groups. If the window WD is completely closed, all horizontal and vertical icon groups are drawn in the window WD. When the window WD is not completely closed, the horizontal icon group is drawn on the horizontally long window WD which is half-opened, and the vertical icon group is drawn on the vertically long pillar PL. When the window WD is fully open, the horizontal icon group is drawn on the horizontal window frame WF, and the vertical icon group is drawn on the vertically long pillar PL.
  • FIG. 26 is a diagram showing an example of the flow of countermeasures against opening and closing the window WD.
  • the monitor unit MU uses the camera CM facing inside the vehicle to monitor the opening/closing status of the window WD.
  • the environmental information processing unit 91 acquires information on the degree of opening of the window WD based on the monitoring result, and supplies the information to the optimization processing unit 92 (step SG1).
  • the optimization processing unit 92 determines whether the window WD is completely closed (step SG2). If the window WD is completely closed (step SG2: Yes), the optimization processor 92 adopts the first drawing method (step SG3).
  • step SG4 determines whether the window WD is fully open (step SG4). If the window WD is not fully open (step SG4: No), the optimization processor 92 adopts the second drawing method (step SG5). If the window WD is fully open (step SG4: Yes), the optimization processor 92 adopts the third drawing method (step SG6).
  • FIGS. 27A and 27B are diagrams for explaining a drawing method determination process that does not involve prediction of changes in the environment outside the vehicle.
  • the optimization processing unit 92 can also determine the drawing method at the current position based on the environment outside the vehicle at the current position without predicting changes in the environment outside the vehicle.
  • cameras installed inside or outside the vehicle (camera CM, camera 51) monitor the scenery outside the vehicle LS or the color of the material of the non-transparent screen NTS in real time.
  • the background color COL1 can be detected at the same time, and the highly distinguishable drawing color COL2 can be determined.
  • FIG. 28 is a flowchart showing the drawing method determination process that does not involve prediction of changes in the environment outside the vehicle.
  • the optimization processing unit 92 determines whether the prediction period is 0 (step SH1). If the prediction period is not 0 (step SH1: No), the optimization processing unit 92 predicts the transition of the environment outside the vehicle based on the route information, and determines the drawing method based on the prediction result (step SH8). When the prediction period is 0 (step SH1: Yes), the optimization processing unit 92 determines whether the drawing position is the window WD (step SH2).
  • the optimization processing unit 92 acquires the captured image of the non-transparent screen NTS to be projected from the camera CM (step SH3).
  • the optimization processing unit 92 detects the color of the material of the non-transparent screen NTS from the image captured by the camera CM.
  • the optimization processing unit 92 sets the detected color of the material as the background color COL1 (step SH4), and sets the complementary color of the background color COL1 as the drawing color (step SH7).
  • the optimization processing unit 92 acquires the captured image of the scenery LS outside the window WD from the camera 51 (step SH5).
  • the optimization processing unit 92 detects the color of the scenery LS in the portion superimposed on the content CT from the image captured by the camera 51 .
  • the optimization processing unit 92 sets the color of the detected scenery LS as the background color COL1 (step SH6), and sets the complementary color of the background color COL1 as the drawing color (step SH7).
  • FIG. 29 is a diagram illustrating a method of determining the drawing color COL2 considering the content CT.
  • moving image content such as movies is shown as an example of the content CT described above.
  • the moving image content includes main video CT-A and icon group CT-B.
  • the icon group CT-B is used to play, stop, adjust the volume, change settings, etc. of the main video CT-A.
  • the optimization processing unit 92 displays the frame FLM surrounding the main video CT-A superimposed on the background BG. Any color may be used for the frame FLM as long as it is highly distinguishable from the background BG.
  • a frame FLM may be displayed in a single color or in multiple colors.
  • the shape of the frame FLM is also set according to the shape of the object to be surrounded, and any shape such as a circle or a square is possible. In the example of FIG. 29, a monochromatic rectangular frame FLM bordering the feature video CT-A is displayed.
  • the optimization processing unit 92 sets an appropriate drawing color COL2 according to the background color COL1, thereby enhancing the distinguishability from the background BG.
  • the icon group CT-B is superimposed on the tree (green leaves). Therefore, the optimization processing unit 92 recognizes the background color COL1 as green, and sets the drawing color COL2 to pink (complementary color of green).
  • FIG. 30 is a diagram for explaining the correspondence to light sources other than the sun SN.
  • Similar optimization can be performed even in the presence of light sources other than the sun SN (tunnel lights, street lights, etc.). That is, when the optimization processing unit 92 determines that the light source enters the visual field of the passenger PA through the transparent screen SCR, the rendering position of part or all of the content CT is set on the transparent screen SCR that does not overlap with the light source. or the non-transparent screen NTS. This enhances the visibility of the content CT.
  • the optimization processing unit 92 varies the method of optimizing the drawing method according to the movement state of the light source. For example, when the light source is stopped within the field of view of the passenger PA, the optimization processing unit 92 optimizes both the drawing position and the drawing color by the method described above. When the light source is moving within the visual field of the passenger PA, the optimization processing unit 92 fixes the drawing position and optimizes the drawing color. Whether or not the light source is moving is determined, for example, based on the movement of the shadow inside the vehicle caused by the light source.
  • FIG. 31 is a flow chart showing the drawing method determination process based on the moving state of the light source.
  • the shadow inside the car caused by the light source is photographed by the camera CM for t seconds (step SI1).
  • the shooting time (t seconds) is arbitrarily set as a time during which the movement of the shadow can be determined.
  • the environmental information processing unit 91 calculates the moving speed of the shadow based on the image of the shadow (visible light image) obtained from the camera CM, and supplies the moving speed to the optimization processing unit 92 .
  • the optimization processing unit 92 determines whether the position of the shadow has changed based on the moving speed of the shadow (step SI2). For example, if the moving speed of the shadow is equal to or greater than a threshold, it is determined that the position of the shadow has changed. If the moving speed of the shadow is less than the threshold, it is determined that the position of the shadow has not changed.
  • step SI2 determines that the light source is stopped, and optimizes only the drawing color of the content CT by the method described above (step SI3). If the position of the shadow has changed (step SI2: Yes), the optimization processing unit 92 determines that the light source has moved, and adjusts both the drawing position and drawing color of the content CT by the method described above. Optimize (step SI4).
  • the processing unit 90 has an environment information processing unit 91 and an optimization processing unit 92 .
  • the environment information processing unit 91 predicts changes in the environment outside the vehicle during viewing of the content CT.
  • the optimization processing unit 92 determines a drawing method for the content CT based on the predicted transition of the environment outside the vehicle.
  • the processing of the processing unit 90 is executed by a computer.
  • the program of the present disclosure causes the computer to implement the processing of the processing unit 90 .
  • the vehicle control system 11 of the present disclosure has a video display section 93 that draws the content CT based on the drawing method determined by the processing section 90 .
  • an appropriate drawing method is determined that takes into account changes in the environment outside the vehicle. Therefore, the visibility of the content CT is less likely to deteriorate due to changes in the environment outside the vehicle.
  • the environment information processing unit 91 generates environment information indicating prediction results of the environment outside the vehicle for each time.
  • the optimization processing unit 92 determines drawing conditions according to the predicted environment outside the vehicle for each time, and decides a drawing method based on statistical results of the drawing conditions for each time.
  • the drawing method is less likely to change frequently due to changes in the environment outside the vehicle.
  • Environmental information includes information on the driving position, the weather at the driving position, the driving direction, and the surrounding map outside the vehicle.
  • the rendering method is optimized based on the driving scenery and weather changes.
  • the drawing conditions include the drawing position and drawing color COL2.
  • the drawing position and drawing color COL2 are prevented from being frequently changed due to changes in the environment outside the vehicle.
  • the optimization processing unit 92 aggregates a plurality of drawing positions calculated for each time and calculates the occurrence frequency for each drawing position.
  • the optimization processing unit 92 determines the drawing position with the highest occurrence frequency as the optimum drawing position.
  • the optimization processing unit 92 extracts one or more times when the drawing position is the optimum drawing position.
  • the optimization processing unit 92 aggregates the extracted drawing colors COL2 at one or more times to calculate the occurrence frequency for each drawing color COL2.
  • the optimization processing unit 92 determines the drawing color COL2 with the highest occurrence frequency as the optimum drawing color.
  • the optimization processing unit 92 determines a drawing method with the optimum drawing position and the optimum drawing color as the drawing method of the content CT.
  • the optimum drawing method is determined according to the drawing position calculated for each time and the appearance frequency of the drawing color COL2.
  • the optimization processing unit 92 detects, as the background BG of the content CT, the scenery LS outside the vehicle seen through the non-transparent screen NTS that is the drawing target of the content CT or the transparent screen SCR that is the drawing target of the content CT. .
  • the optimization processing unit 92 determines the drawing color COL2 based on the color of the background BG.
  • the content CT is better distinguished from the background BG.
  • the optimization processing unit 92 determines that the sunlight does not directly hit the content drawing position of the non-transparent screen NTS based on the environment information, the optimization processing unit 92 adjusts the luminance for the color of the material of the non-transparent screen NTS at the content drawing position. The lowered color is determined as the background BG color.
  • an appropriate drawing color COL2 is determined in consideration of the color of the material of the non-transparent screen NTS to be drawn.
  • the optimization processing unit 92 determines that daylight directly hits the content drawing position of the non-transparent screen NTS based on the environment information, the optimization processing unit 92 increases the brightness of the material color of the non-transparent screen NTS at the content drawing position. The resulting color is determined as the color of the background BG.
  • an appropriate drawing color COL2 is determined in consideration of the brightness of the sunlight (daylight) that directly hits the content drawing position.
  • the optimization processing unit 92 determines that the sunrise or sunset will directly hit the content drawing position of the non-transparent screen NTS based on the environment information, it determines orange as the color of the background BG.
  • an appropriate drawing color COL2 is determined in consideration of the color of the sunrise or sunset (orange).
  • the optimization processing unit 92 detects the scenery LS outside the vehicle as the background BG of the content CT based on the travel position, the travel direction, and the surrounding map outside the vehicle.
  • the scenery LS outside the vehicle is better estimated.
  • the optimization processing unit 92 determines the complementary color of the background BG as the drawing color COL2.
  • the content CT is better distinguished from the background BG.
  • the optimization processing unit 92 determines that the sun SN does not enter the field of view of the passenger PA through the transparent screen SCR based on the environmental information, the optimization processing unit 92 determines the rendering position of the content CT to be the transparent screen SCR.
  • the optimization processing unit 92 determines that the sun SN enters the field of view of the passenger PA through the transparent screen SCR based on the environmental information, the optimization processing unit 92 sets the drawing position of part or all of the content CT to the sun SN. Determine the position on the non-overlapping transparent screen SCR or the non-transparent screen NTS.
  • the content CT is presented at a position where the sun SN is not viewed directly.
  • the optimization processing unit 92 determines that the crowd CW outside the vehicle enters the field of view of the passenger PA through the specific transparent screen SCR, the optimization processing unit 92 shifts the drawing position of part or all of the content CT to the specific transparent screen SCR. Decide on a transparent screen SCR or a non-transparent screen NTS.
  • the optimization processing unit 92 determines the drawing position of part or all of the content CT to be drawn on the transparent screen SCR on the non-transparent screen NTS based on the opening/closing amount of the window WD used as the transparent screen SCR.
  • the visibility of the content CT is less likely to deteriorate due to the opening and closing of the window WD.
  • the prediction period during which changes in the environment outside the vehicle are predicted is defined for each content CT.
  • an appropriate prediction period is set according to the content CT.
  • the prediction period is set based on the standard time when the content CT is watched.
  • the present technology can also adopt the following configuration.
  • an environment information processing unit that predicts changes in the environment outside the vehicle while viewing content; an optimization processing unit that determines a rendering method of the content based on the predicted transition of the environment outside the vehicle;
  • Information processing device having (2)
  • the environment information processing unit generates environment information indicating a prediction result of the environment outside the vehicle for each time,
  • the optimization processing unit determines drawing conditions according to the predicted environment outside the vehicle for each time, and determines the drawing method based on statistical results of the drawing conditions for each time.
  • the environment information includes information on the driving position, the weather at the driving position, the driving direction, and a surrounding map outside the vehicle.
  • the drawing conditions include a drawing position and a drawing color, The information processing apparatus according to (2) or (3) above.
  • the optimization processing unit a plurality of drawing positions calculated for each time are aggregated to calculate the occurrence frequency for each drawing position; determining the rendering position with the highest occurrence frequency as the optimal rendering position; extracting one or more times when the drawing position is the optimum drawing position; aggregating the extracted drawing colors at the one or more times to calculate the occurrence frequency for each of the drawing colors; determining the drawing color with the highest occurrence frequency as the optimum drawing color; determining, as the rendering method of the content, a rendering method having an optimal rendering position and an optimal rendering color as optimal rendering conditions; The information processing apparatus according to (4) above.
  • the optimization processing unit detects, as a background of the content, a scenery outside the vehicle seen through a non-transparent screen on which the content is drawn or a transparent screen on which the content is drawn, and determining the drawing color based on the color; The information processing apparatus according to (4) or (5) above.
  • the optimization processing unit determines, based on the environment information, that the sunlight does not directly hit the content drawing position of the non-transparent screen, the brightness of the material color of the non-transparent screen at the content drawing position is determined as the color of the background by lowering the The information processing apparatus according to (6) above.
  • the optimization processing unit when determining based on the environment information that daylight directly hits the content drawing position of the non-transparent screen, adjusts the brightness of the material color of the non-transparent screen at the content drawing position. determining the elevated color as the background color; The information processing apparatus according to (6) or (7) above. (9) The optimization processing unit determines orange as the color of the background when determining that the sunrise or sunset directly hits the content rendering position on the non-transparent screen based on the environment information. The information processing apparatus according to any one of (6) to (8) above. (10) The optimization processing unit detects the scenery outside the vehicle as the background of the content based on the driving position, the driving direction, and a surrounding map outside the vehicle. The information processing apparatus according to any one of (6) to (9) above.
  • the optimization processing unit determines a complementary color of the background color as the drawing color; The information processing apparatus according to any one of (6) to (10) above. (12) When the optimization processing unit determines that the sun does not enter the passenger's field of view through the transparent screen based on the environment information, the optimization processing unit determines the rendering position of the content on the transparent screen. The information processing apparatus according to any one of (6) to (11) above. (13) When the optimization processing unit determines that the sun enters the field of view of the passenger through the transparent screen based on the environment information, the optimization processing unit causes the rendering position of part or all of the content to overlap with the sun.
  • the optimization processing unit determines a position on said transparent screen or a non-transparent screen that shall not be The information processing apparatus according to any one of (6) to (12) above.
  • the optimization processing unit shifts the drawing position of part or all of the content to a transparent screen other than the specific transparent screen. Decide on a screen or a non-transparent screen, The information processing apparatus according to any one of (6) to (13) above.
  • the optimization processing unit determines a drawing position of part or all of the content to be drawn on the transparent screen on the non-transparent screen based on the amount of opening and closing of a window used as the transparent screen.
  • a prediction period for predicting changes in the environment outside the vehicle is defined for each content, The information processing apparatus according to any one of (1) to (15) above. (17) wherein the prediction period is set based on a standard time period during which the content is watched; The information processing device according to (16) above. (18) Predict changes in the environment outside the vehicle while viewing content, determining a rendering method of the content based on the predicted transition of the environment outside the vehicle; A computer-implemented information processing method, comprising: (19) Predict changes in the environment outside the vehicle while viewing content, determining a rendering method of the content based on the predicted transition of the environment outside the vehicle; A program that makes a computer do something. (20) an information processing apparatus according to any one of (1) to (17) above; a video display unit that draws the content based on the drawing method determined by the information processing device; An information processing system having

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

情報処理装置（９０）は、環境情報処理部（９１）と最適化処理部（９２）とを有する。環境情報処理部（９１）は、コンテンツの視聴中の車外環境の推移を予測する。最適化処理部（９２）は、予測される車外環境の推移に基づいて前記コンテンツの描画方法を決定する。

Description

情報処理装置、情報処理方法、プログラムおよび情報処理システム
　本発明は情報処理装置、情報処理方法、プログラムおよび情報処理システムに関する。
　フロントガラス等にコンテンツを表示する車載用のディスプレイが知られている。この種のディスプレイでは、コンテンツが車外の走行風景に重畳される。コンテンツの描画位置や描画色によっては、コンテンツが走行風景に紛れてしまう可能性がある。そのため、特許文献１では、コンテンツを背景から容易に識別できるように、コンテンツの描画色を走行風景に応じて適切に制御することが提案されている。
特開２０１９－１６２９３２号公報
　従来の方法では、移り行く走行風景に応じてコンテンツの描画色が適宜変更される。しかし、描画色が頻繁に変更されることで、コンテンツの視認性が低下する可能性がある。
　そこで、本開示では、車外環境の変化によるコンテンツの視認性の低下を抑制可能な情報処理装置、情報処理方法、プログラムおよび情報処理システムを提案する。
　本開示によれば、コンテンツの視聴中の車外環境の推移を予測する環境情報処理部と、予測される前記車外環境の推移に基づいて前記コンテンツの描画方法を決定する最適化処理部と、を有する情報処理装置が提供される。また、本開示によれば、前記情報処理装置の情報処理がコンピュータにより実行される情報処理方法、前記情報処理装置の情報処理をコンピュータに実現させるプログラム、ならびに、前記情報処理装置により決定された前記描画方法に基づいて前記コンテンツを描画する映像表示部を含む情報処理システムが提供される。
コンテンツの表示制御の概要を説明する図である。 車両制御システムの構成例を示すブロック図である。 外部認識センサのセンシング領域の例を示す図である。 車内センサおよび映像表示部の構成例を示す図である。 コンテンツとして提供される映像の表示例を示す図である。 映像表示部の他の構成例を示す図である。 コンテンツとして提供される映像の表示例を示す図である。 映像表示部の他の構成例を示す図である。 車両の映像表示に関する機能構成の一例を示す図である。 描画方法の決定処理に関する制御フローの一例を示す図である。 透明スクリーンへのコンテンツの表示例を示す図である。 透明スクリーンを介して太陽が直視される場合の表示例を示す図である。 非透明スクリーンへのコンテンツの表示例を示す図である。 非透明スクリーンへのコンテンツの表示例を示す図である。 車外環境の推移の予測が行われる予測期間の説明図である。 描画方法の決定処理を示すフローチャートである。 描画方法の決定処理に用いられるテーブルを示す図である。 時刻ごとの描画位置の決定方法の具体例を示すフローである。 時刻ごとの描画色の決定方法の具体例を示すフローである。 統計処理による最適化の具体例を示すフローである。 描画方法の変更処理を説明する図である。 車両の周辺状況に応じた描画方法の変更例を示す図である。 車両の周辺状況に応じた描画方法の変更例を示す図である。 映像酔い対策のフローの一例を示す図である。 車内の視聴環境に応じた描画方法の変更例を示す図である。 窓の開閉対策のフローの一例を示す図である。 車外環境の推移の予測を伴わない描画方法の決定処理を説明する図である。 車外環境の推移の予測を伴わない描画方法の決定処理を示すフローチャートである。 コンテンツを考慮した描画色の決定方法を説明する図である。 太陽以外の光源への対応を説明する図である。 光源の移動状況に基づく描画方法の決定処理を示すフローチャートである。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　なお、説明は以下の順序で行われる。
［１．コンテンツの表示制御の概要］
［２．車両制御システムの構成例］
［３．外部認識センサのセンシング領域］
［４．映像表示部の構成例］
［５．映像表示に関する機能構成］
［６．制御フロー］
［７．表示制御例］
　［７－１．透明スクリーンへのコンテンツの表示］
　［７－２．太陽との重畳回避］
　［７－３．非透明スクリーンへのコンテンツの表示］
　［７－４．車外環境の推移の予測に基づく描画方法の最適化］
　　［７－４－１．予測期間］
　　［７－４－２．描画方法の決定］
　　［７－４－３．描画位置および描画色の具体例］
　［７－５．描画方法の変更］
　　［７－５－１．映像酔い対策］
　　［７－５－２．投影対象の形状変化への対策］
　［７－６．予測を伴わない描画方法の決定］
　［７－７．コンテンツを考慮した描画色の決定］
　［７－８．太陽以外の光源への対応］
［８．効果］
［１．コンテンツの表示制御の概要］
　図１は、コンテンツＣＴの表示制御の概要を説明する図である。
　車両１は、コンテンツＣＴの表示制御を行うことが可能な車両制御システム１１を有する。搭乗者ＰＡは、映像表示部９３に表示された種々のコンテンツＣＴを楽しむことができる。コンテンツＣＴには、運転支援用のコンテンツだけでなく、搭乗者ＰＡを楽しませることを目的としたエンタテイメント用のコンテンツも含まれる。エンタテイメント用コンテンツＣＴとしては、例えば、映画、音楽、ゲーム、ニュース、メール、地図・観光案内、ＳＮＳ、チャットなどがある。
　映像表示部９３は、例えば、表示状態と透明状態とを切り替え可能である。映像表示部９３は、車両１の内壁または仕切り壁に沿って車内空間を囲むように配置される。映像表示部９３は、表示状態においてコンテンツＣＴを呈示し、透明状態において搭乗者ＰＡに車外を透視させる。
　「表示状態」は、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）のように車外の景色に表示された映像などの情報を重ねてみることができる半透明な状態を含む。映像表示部９３は、車外の景色に映像を重畳することで、ＡＲ表示を行うことができる。映像表示部９３は、例えば、車外の明るさに応じて表示の明るさ、映像表示部９３の透明度もしくはヘイズを調整する。これにより、コンテンツＣＴの視認性を高めることができる。
　車両制御システム１１は、車両１の走行経路に関する経路情報を取得する。経路情報は、移動経路、移動経路周辺のマップおよび気象情報を含む。車両制御システム１１は、経路情報に基づいて、コンテンツＣＴの視聴中に車外環境がどのように推移していくかを予測する。車両制御システム１１は、所定の基準に基づいて、時刻ごとに、車外環境に合った適正な描画条件（適正描画条件）を算出する。描画条件は、描画位置および描画色を含む。車両制御システム１１は、時刻ごとの適正描画条件を統計処理することにより、安定した描画方法（最適描画条件）を決定する。
［２．車両制御システムの構成例］
　図２は、車両制御システム１１の構成例を示すブロック図である。
　車両制御システム１１は、車両１に設けられ、車両１の走行支援及び自動運転に関わる処理を行う。
　車両制御システム１１は、車両制御ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）２１、通信部２２、地図情報蓄積部２３、位置情報取得部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記憶部２８、走行支援・自動運転制御部２９、ＤＭＳ（Ｄｒｉｖｅｒ　Ｍｏｎｉｔｏｒｉｎｇ　Ｓｙｓｔｅｍ）３０、ＨＭＩ（Ｈｕｍａｎ　Ｍａｃｈｉｎｅ　Ｉｎｔｅｒｆａｃｅ）３１、及び、車両制御部３２を備える。
　車両制御ＥＣＵ２１、通信部２２、地図情報蓄積部２３、位置情報取得部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記憶部２８、走行支援・自動運転制御部２９、ドライバモニタリングシステム（ＤＭＳ）３０、ヒューマンマシンインタフェース（ＨＭＩ）３１、及び、車両制御部３２は、通信ネットワーク４１を介して相互に通信可能に接続されている。通信ネットワーク４１は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ　Ｉｎｔｅｒｃｏｎｎｅｃｔ　Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＦｌｅｘＲａｙ（登録商標）、イーサネット（登録商標）といったディジタル双方向通信の規格に準拠した車載通信ネットワークやバス等により構成される。通信ネットワーク４１は、伝送されるデータの種類によって使い分けられてもよい。例えば、車両制御に関するデータに対してＣＡＮが適用され、大容量データに対してイーサネットが適用されるようにしてもよい。なお、車両制御システム１１の各部は、通信ネットワーク４１を介さずに、例えば近距離無線通信（ＮＦＣ（Ｎｅａｒ　Ｆｉｅｌｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ））やＢｌｕｅｔｏｏｔｈ（登録商標）といった比較的近距離での通信を想定した無線通信を用いて直接的に接続される場合もある。
　なお、以下、車両制御システム１１の各部が、通信ネットワーク４１を介して通信を行う場合、通信ネットワーク４１の記載を省略するものとする。例えば、車両制御ＥＣＵ２１と通信部２２が通信ネットワーク４１を介して通信を行う場合、単に車両制御ＥＣＵ２１と通信部２２とが通信を行うと記載する。
　車両制御ＥＣＵ２１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）といった各種のプロセッサにより構成される。車両制御ＥＣＵ２１は、車両制御システム１１全体又は一部の機能の制御を行う。
　通信部２２は、車内及び車外の様々な機器、他の車両、サーバ、基地局等と通信を行い、各種のデータの送受信を行う。このとき、通信部２２は、複数の通信方式を用いて通信を行うことができる。
　通信部２２が実行可能な車外との通信について、概略的に説明する。通信部２２は、例えば、５Ｇ（第５世代移動通信システム）、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、ＤＳＲＣ（Ｄｅｄｉｃａｔｅｄ　Ｓｈｏｒｔ　Ｒａｎｇｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）等の無線通信方式により、基地局又はアクセスポイントを介して、外部ネットワーク上に存在するサーバ（以下、外部のサーバと呼ぶ）等と通信を行う。通信部２２が通信を行う外部ネットワークは、例えば、インターネット、クラウドネットワーク、又は、事業者固有のネットワーク等である。通信部２２が外部ネットワークに対して行う通信方式は、所定以上の通信速度、且つ、所定以上の距離間でディジタル双方向通信が可能な無線通信方式であれば、特に限定されない。
　また例えば、通信部２２は、Ｐ２Ｐ（Ｐｅｅｒ　Ｔｏ　Ｐｅｅｒ）技術を用いて、自車の近傍に存在する端末と通信を行うことができる。自車の近傍に存在する端末は、例えば、歩行者や自転車等の比較的低速で移動する移動体が装着する端末、店舗等に位置が固定されて設置される端末、又は、ＭＴＣ（Ｍａｃｈｉｎｅ　Ｔｙｐｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末である。さらに、通信部２２は、Ｖ２Ｘ通信を行うこともできる。Ｖ２Ｘ通信とは、例えば、他の車両との間の車－車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｖｅｈｉｃｌｅ）通信、路側器等との間の路車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）通信、家との間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｈｏｍｅ）の通信、及び、歩行者が所持する端末等との間の歩車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｐｅｄｅｓｔｒｉａｎ）通信等の、自車と他との通信をいう。
　通信部２２は、例えば、車両制御システム１１の動作を制御するソフトウエアを更新するためのプログラムを外部から受信することができる（Ｏｖｅｒ　Ｔｈｅ　Ａｉｒ）。通信部２２は、さらに、地図情報、交通情報、車両１の周囲の情報等を外部から受信することができる。また例えば、通信部２２は、車両１に関する情報や、車両１の周囲の情報等を外部に送信することができる。通信部２２が外部に送信する車両１に関する情報としては、例えば、車両１の状態を示すデータ、認識部７３による認識結果等がある。さらに例えば、通信部２２は、ｅコール等の車両緊急通報システムに対応した通信を行う。
　例えば、通信部２２は、電波ビーコン、光ビーコン、ＦＭ多重放送等の道路交通情報通信システム（ＶＩＣＳ（Ｖｅｈｉｃｌｅ　Ｉｎｆｏｒｍａｔｉｏｎ　ａｎｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｓｙｓｔｅｍ）（登録商標））により送信される電磁波を受信する。
　通信部２２が実行可能な車内との通信について、概略的に説明する。通信部２２は、例えば無線通信を用いて、車内の各機器と通信を行うことができる。通信部２２は、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、ＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）といった、無線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の機器と無線通信を行うことができる。これに限らず、通信部２２は、有線通信を用いて車内の各機器と通信を行うこともできる。例えば、通信部２２は、図示しない接続端子に接続されるケーブルを介した有線通信により、車内の各機器と通信を行うことができる。通信部２２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）（登録商標）、ＭＨＬ（Ｍｏｂｉｌｅ　Ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ　Ｌｉｎｋ）といった、有線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の各機器と通信を行うことができる。
　ここで、車内の機器とは、例えば、車内において通信ネットワーク４１に接続されていない機器を指す。車内の機器としては、例えば、運転者等の搭乗者ＰＡが所持するモバイル機器やウェアラブル機器、車内に持ち込まれ一時的に設置される情報機器等が想定される。
　地図情報蓄積部２３は、外部から取得した地図及び車両１で作成した地図の一方又は両方を蓄積する。例えば、地図情報蓄積部２３は、３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ等を蓄積する。
　高精度地図は、例えば、ダイナミックマップ、ポイントクラウドマップ、ベクターマップ等である。ダイナミックマップは、例えば、動的情報、準動的情報、準静的情報、静的情報の４層からなる地図であり、外部のサーバ等から車両１に提供される。ポイントクラウドマップは、ポイントクラウド（点群データ）により構成される地図である。ベクターマップは、例えば、車線や信号機の位置といった交通情報等をポイントクラウドマップに対応付け、ＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）やＡＤ（Ａｕｔｏｎｏｍｏｕｓ　Ｄｒｉｖｉｎｇ）に適合させた地図である。
　ポイントクラウドマップ及びベクターマップは、例えば、外部のサーバ等から提供されてもよいし、カメラ５１、レーダ５２、ＬｉＤＡＲ５３等によるセンシング結果に基づいて、後述するローカルマップとのマッチングを行うための地図として車両１で作成され、地図情報蓄積部２３に蓄積されてもよい。また、外部のサーバ等から高精度地図が提供される場合、通信容量を削減するため、車両１がこれから走行する計画経路に関する、例えば数百メートル四方の地図データが外部のサーバ等から取得される。
　位置情報取得部２４は、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）衛星からＧＮＳＳ信号を受信し、車両１の位置情報を取得する。取得した位置情報は、走行支援・自動運転制御部２９に供給される。なお、位置情報取得部２４は、ＧＮＳＳ信号を用いた方式に限定されず、例えば、ビーコンを用いて位置情報を取得してもよい。
　外部認識センサ２５は、車両１の外部の状況の認識に用いられる各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。外部認識センサ２５が備えるセンサの種類や数は任意である。
　例えば、外部認識センサ２５は、カメラ５１、レーダ５２、ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ、Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）５３、及び、超音波センサ５４を備える。これに限らず、外部認識センサ２５は、カメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４のうち１種類以上のセンサを備える構成でもよい。カメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４の数は、現実的に車両１に設置可能な数であれば特に限定されない。また、外部認識センサ２５が備えるセンサの種類は、この例に限定されず、外部認識センサ２５は、他の種類のセンサを備えてもよい。外部認識センサ２５が備える各センサのセンシング領域の例は、後述する。
　なお、カメラ５１の撮影方式は、特に限定されない。例えば、測距が可能な撮影方式であるＴｏＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった各種の撮影方式のカメラを、必要に応じてカメラ５１に適用することができる。これに限らず、カメラ５１は、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。
　また、例えば、外部認識センサ２５は、車両１に対する環境を検出するための環境センサを備えることができる。環境センサは、天候、気象、明るさ等の環境を検出するためのセンサであって、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ、照度センサ等の各種センサを含むことができる。
　さらに、例えば、外部認識センサ２５は、車両１の周囲の音や音源の位置の検出等に用いられるマイクロフォンを備える。
　車内センサ２６は、車内の情報を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車内センサ２６が備える各種センサの種類や数は、現実的に車両１に設置可能な種類や数であれば特に限定されない。
　例えば、車内センサ２６は、カメラ、レーダ、着座センサ、ステアリングホイールセンサ、マイクロフォンおよび生体センサのうち１種類以上のセンサを備えることができる。車内センサ２６が備えるカメラとしては、例えば、ＴｏＦカメラ、ステレオカメラ、単眼カメラおよび赤外線カメラといった、測距可能な各種の撮影方式のカメラを用いることができる。これに限らず、車内センサ２６が備えるカメラは、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。車内センサ２６が備える生体センサは、例えば、シートやステアリングホイール等に設けられ、運転者等の搭乗者の各種の生体情報を検出する。
　車両センサ２７は、車両１の状態を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車両センサ２７が備える各種センサの種類や数は、現実的に車両１に設置可能な種類や数であれば特に限定されない。
　例えば、車両センサ２７は、速度センサ、加速度センサ、角速度センサ（ジャイロセンサ）、及び、それらを統合した慣性計測装置（ＩＭＵ（Ｉｎｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ））を備える。例えば、車両センサ２７は、ステアリングホイールの操舵角を検出する操舵角センサ、ヨーレートセンサ、アクセルペダルの操作量を検出するアクセルセンサ、及び、ブレーキペダルの操作量を検出するブレーキセンサを備える。例えば、車両センサ２７は、エンジンやモータの回転数を検出する回転センサ、タイヤの空気圧を検出する空気圧センサ、タイヤのスリップ率を検出するスリップ率センサ、及び、車輪の回転速度を検出する車輪速センサを備える。例えば、車両センサ２７は、バッテリの残量及び温度を検出するバッテリセンサ、並びに、外部からの衝撃を検出する衝撃センサを備える。車両センサ２７は、運転ステータスＤＳを検出するセンサを備える。
　記憶部２８は、不揮発性の記憶媒体及び揮発性の記憶媒体のうち少なくとも一方を含み、データやプログラムを記憶する。記憶部２８は、例えばＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）として用いられ、記憶媒体としては、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）といった磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイスを適用することができる。記憶部２８は、車両制御システム１１の各部が用いる各種プログラムやデータを記憶する。例えば、記憶部２８は、ＥＤＲ（Ｅｖｅｎｔ　Ｄａｔａ　Ｒｅｃｏｒｄｅｒ）やＤＳＳＡＤ（Ｄａｔａ　Ｓｔｏｒａｇｅ　Ｓｙｓｔｅｍ　ｆｏｒ　Ａｕｔｏｍａｔｅｄ　Ｄｒｉｖｉｎｇ）を備え、事故等のイベントの前後の車両１の情報や車内センサ２６によって取得された情報を記憶する。
　走行支援・自動運転制御部２９は、車両１の走行支援及び自動運転の制御を行う。例えば、走行支援・自動運転制御部２９は、分析部６１、行動計画部６２、及び、動作制御部６３を備える。
　分析部６１は、車両１及び周囲の状況の分析処理を行う。分析部６１は、自己位置推定部７１、センサフュージョン部７２、及び、認識部７３を備える。
　自己位置推定部７１は、外部認識センサ２５からのセンサデータ、及び、地図情報蓄積部２３に蓄積されている高精度地図に基づいて、車両１の自己位置を推定する。例えば、自己位置推定部７１は、外部認識センサ２５からのセンサデータに基づいてローカルマップを生成し、ローカルマップと高精度地図とのマッチングを行うことにより、車両１の自己位置を推定する。車両１の位置は、例えば、後輪対車軸の中心が基準とされる。
　ローカルマップは、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）等の技術を用いて作成される３次元の高精度地図、占有格子地図（Ｏｃｃｕｐａｎｃｙ　Ｇｒｉｄ　Ｍａｐ）等である。３次元の高精度地図は、例えば、上述したポイントクラウドマップ等である。占有格子地図は、車両１の周囲の３次元又は２次元の空間を所定の大きさのグリッド（格子）に分割し、グリッド単位で物体の占有状態を示す地図である。物体の占有状態は、例えば、物体の有無や存在確率により示される。ローカルマップは、例えば、認識部７３による車両１の外部の状況の検出処理及び認識処理にも用いられる。
　なお、自己位置推定部７１は、位置情報取得部２４により取得される位置情報、及び、車両センサ２７からのセンサデータに基づいて、車両１の自己位置を推定してもよい。
　センサフュージョン部７２は、複数の異なる種類のセンサデータ（例えば、カメラ５１から供給される画像データ、及び、レーダ５２から供給されるセンサデータ）を組み合わせて、新たな情報を得るセンサフュージョン処理を行う。異なる種類のセンサデータを組合せる方法としては、統合、融合、連合等がある。
　認識部７３は、車両１の外部の状況の検出を行う検出処理、及び、車両１の外部の状況の認識を行う認識処理を実行する。
　例えば、認識部７３は、外部認識センサ２５からの情報、自己位置推定部７１からの情報、センサフュージョン部７２からの情報等に基づいて、車両１の外部の状況の検出処理及び認識処理を行う。
　具体的には、例えば、認識部７３は、車両１の周囲の物体の検出処理及び認識処理等を行う。物体の検出処理とは、例えば、物体の有無、大きさ、形、位置、動き等を検出する処理である。物体の認識処理とは、例えば、物体の種類等の属性を認識したり、特定の物体を識別したりする処理である。ただし、検出処理と認識処理とは、必ずしも明確に分かれるものではなく、重複する場合がある。
　例えば、認識部７３は、レーダ５２又はＬｉＤＡＲ５３等によるセンサデータに基づくポイントクラウドを点群の塊毎に分類するクラスタリングを行うことにより、車両１の周囲の物体を検出する。これにより、車両１の周囲の物体の有無、大きさ、形状、位置が検出される。
　例えば、認識部７３は、クラスタリングにより分類された点群の塊の動きを追従するトラッキングを行うことにより、車両１の周囲の物体の動きを検出する。これにより、車両１の周囲の物体の速度及び進行方向（移動ベクトル）が検出される。
　例えば、認識部７３は、カメラ５１から供給される画像データに基づいて、車両、人、自転車、障害物、構造物、道路、信号機、交通標識、道路標示等を検出又は認識する。また、認識部７３は、セマンティックセグメンテーション等の認識処理を行うことにより、車両１の周囲の物体の種類を認識してもよい。
　例えば、認識部７３は、地図情報蓄積部２３に蓄積されている地図、自己位置推定部７１による自己位置の推定結果、及び、認識部７３による車両１の周囲の物体の認識結果に基づいて、車両１の周囲の交通ルールの認識処理を行うことができる。認識部７３は、この処理により、信号機の位置及び状態、交通標識及び道路標示の内容、交通規制の内容、並びに、走行可能な車線等を認識することができる。
　例えば、認識部７３は、車両１の周囲の環境の認識処理を行うことができる。認識部７３が認識対象とする周囲の環境としては、歩行者および周辺車両の有無、天候、気温、湿度、明るさ、及び、路面の状態等が想定される。
　行動計画部６２は、車両１の行動計画を作成する。例えば、行動計画部６２は、経路計画、経路追従の処理を行うことにより、行動計画を作成する。
　なお、経路計画（Ｇｌｏｂａｌ　ｐａｔｈ　ｐｌａｎｎｉｎｇ）とは、スタートからゴールまでの大まかな経路を計画する処理である。この経路計画には、軌道計画と言われ、計画した経路において、車両１の運動特性を考慮して、車両１の近傍で安全かつ滑らかに進行することが可能な軌道生成（Ｌｏｃａｌ　ｐａｔｈ　ｐｌａｎｎｉｎｇ）を行う処理も含まれる。
　経路追従とは、経路計画により計画された経路を計画された時間内で安全かつ正確に走行するための動作を計画する処理である。行動計画部６２は、例えば、この経路追従の処理の結果に基づき、車両１の目標速度と目標角速度を計算することができる。
　動作制御部６３は、行動計画部６２により作成された行動計画を実現するために、車両１の動作を制御する。
　例えば、動作制御部６３は、後述する車両制御部３２に含まれる、ステアリング制御部８１、ブレーキ制御部８２、及び、駆動制御部８３を制御して、軌道計画により計算された軌道を車両１が進行するように、加減速制御及び方向制御を行う。例えば、動作制御部６３は、衝突回避又は衝撃緩和、追従走行、車速維持走行、自車の衝突警告、自車のレーン逸脱警告等のＡＤＡＳの機能実現を目的とした協調制御を行う。例えば、動作制御部６３は、運転者の操作によらずに自律的に走行する自動運転等を目的とした協調制御を行う。
　ＤＭＳ３０は、車内センサ２６からのセンサデータ、及び、後述するＨＭＩ３１に入力される入力データ等に基づいて、運転者の認証処理、及び、運転者の状態の認識処理等を行う。認識対象となる運転者の状態としては、例えば、体調、覚醒度、集中度、疲労度、視線方向、酩酊度、運転操作、姿勢等が想定される。
　なお、ＤＭＳ３０が、運転者以外の搭乗者の認証処理、及び、当該搭乗者の状態の認識処理を行うようにしてもよい。また、例えば、ＤＭＳ３０が、車内センサ２６からのセンサデータに基づいて、車内の状況の認識処理を行うようにしてもよい。認識対象となる車内の状況としては、例えば、気温、湿度、明るさ、臭い等が想定される。
　ＨＭＩ３１は、各種のデータや指示等の入力と、各種のデータの、運転者を含む搭乗者への提示を行う。
　ＨＭＩ３１によるデータの入力について、概略的に説明する。ＨＭＩ３１は、人がデータを入力するための入力デバイスを備える。ＨＭＩ３１は、入力デバイスにより入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１１の各部に供給する。ＨＭＩ３１は、入力デバイスとして、例えばタッチパネル、ボタン、スイッチ、及び、レバーといった操作子を備える。これに限らず、ＨＭＩ３１は、音声やジェスチャ等により手動操作以外の方法で情報を入力可能な入力デバイスをさらに備えてもよい。さらに、ＨＭＩ３１は、例えば、赤外線又は電波を利用したリモートコントロール装置や、車両制御システム１１の操作に対応したモバイル機器又はウェアラブル機器等の外部接続機器を入力デバイスとして用いてもよい。
　ＨＭＩ３１によるデータの提示について、概略的に説明する。ＨＭＩ３１は、搭乗者又は車外に対する視覚情報、聴覚情報、及び、触覚情報の生成を行う。また、ＨＭＩ３１は、生成された各情報の出力、出力内容、出力タイミング及び出力方法等を制御する出力制御を行う。ＨＭＩ３１は、視覚情報として、例えば、操作画面、車両１の状態表示、警告表示、車両１の周囲の状況を示すモニタ画像等の画像や光により示される情報（コンテンツＣＴ）を生成及び出力する。また、ＨＭＩ３１は、聴覚情報として、例えば、音声ガイダンス、警告音、警告メッセージ等の音により示される情報を生成及び出力する。さらに、ＨＭＩ３１は、触覚情報として、例えば、力、振動、動き等により搭乗者の触覚に与えられる情報を生成及び出力する。
　ＨＭＩ３１が視覚情報を出力する出力デバイスとしては、例えば、自身が画像を表示することで視覚情報を提示する表示装置や、画像を投影することで視覚情報を提示するプロジェクタ装置を適用することができる。なお、表示装置は、通常のディスプレイを有する表示装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）機能を備えるウエアラブルデバイスといった、搭乗者の視界内に視覚情報を表示する装置であってもよい。また、ＨＭＩ３１は、車両１に設けられるナビゲーション装置、インストルメントパネル、ＣＭＳ（Ｃａｍｅｒａ　Ｍｏｎｉｔｏｒｉｎｇ　Ｓｙｓｔｅｍ）、電子ミラー、ランプ等が有する表示デバイスを、視覚情報を出力する出力デバイスとして用いることも可能である。
　ＨＭＩ３１が聴覚情報を出力する出力デバイスとしては、例えば、オーディオスピーカ、ヘッドホン、イヤホンを適用することができる。
　ＨＭＩ３１が触覚情報を出力する出力デバイスとしては、例えば、ハプティクス技術を用いたハプティクス素子を適用することができる。ハプティクス素子は、例えば、ステアリングホイール、シートといった、車両１の搭乗者が接触する部分に設けられる。
　車両制御部３２は、車両１の各部の制御を行う。車両制御部３２は、ステアリング制御部８１、ブレーキ制御部８２、駆動制御部８３、ボディ系制御部８４、ライト制御部８５、及び、ホーン制御部８６を備える。
　ステアリング制御部８１は、車両１のステアリングシステムの状態の検出及び制御等を行う。ステアリングシステムは、例えば、ステアリングホイール等を備えるステアリング機構、電動パワーステアリング等を備える。ステアリング制御部８１は、例えば、ステアリングシステムの制御を行うステアリングＥＣＵ、ステアリングシステムの駆動を行うアクチュエータ等を備える。
　ブレーキ制御部８２は、車両１のブレーキシステムの状態の検出及び制御等を行う。ブレーキシステムは、例えば、ブレーキペダル等を含むブレーキ機構、ＡＢＳ（Ａｎｔｉｌｏｃｋ　Ｂｒａｋｅ　Ｓｙｓｔｅｍ）、回生ブレーキ機構等を備える。ブレーキ制御部８２は、例えば、ブレーキシステムの制御を行うブレーキＥＣＵ、ブレーキシステムの駆動を行うアクチュエータ等を備える。
　駆動制御部８３は、車両１の駆動システムの状態の検出及び制御等を行う。駆動システムは、例えば、アクセルペダル、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構等を備える。駆動制御部８３は、例えば、駆動システムの制御を行う駆動ＥＣＵ、駆動システムの駆動を行うアクチュエータ等を備える。
　ボディ系制御部８４は、車両１のボディ系システムの状態の検出及び制御等を行う。ボディ系システムは、例えば、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、空調装置、エアバッグ、シートベルト、シフトレバー等を備える。ボディ系制御部８４は、例えば、ボディ系システムの制御を行うボディ系ＥＣＵ、ボディ系システムの駆動を行うアクチュエータ等を備える。
　ライト制御部８５は、車両１の各種のライトの状態の検出及び制御等を行う。制御対象となるライトとしては、例えば、ヘッドライト、バックライト、フォグライト、ターンシグナル、ブレーキライト、プロジェクション、バンパーの表示等が想定される。ライト制御部８５は、ライトの制御を行うライトＥＣＵ、ライトの駆動を行うアクチュエータ等を備える。
　ホーン制御部８６は、車両１のカーホーンの状態の検出及び制御等を行う。ホーン制御部８６は、例えば、カーホーンの制御を行うホーンＥＣＵ、カーホーンの駆動を行うアクチュエータ等を備える。
［３．外部認識センサのセンシング領域］
　図３は、外部認識センサ２５のカメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４等によるセンシング領域の例を示す図である。なお、図３は、車両１を上面から見た様子を模式的に示している。符号が正しい向きで表示されるような姿勢で図３を見た場合、左端側が車両１の前端（フロント）側であり、右端側が車両１の後端（リア）側となっている。
　センシング領域１０１Ｆ及びセンシング領域１０１Ｂは、超音波センサ５４のセンシング領域の例を示している。センシング領域１０１Ｆは、複数の超音波センサ５４によって車両１の前端周辺をカバーしている。センシング領域１０１Ｂは、複数の超音波センサ５４によって車両１の後端周辺をカバーしている。
　センシング領域１０１Ｆ及びセンシング領域１０１Ｂにおけるセンシング結果は、例えば、車両１の駐車支援等に用いられる。
　センシング領域１０２Ｆ乃至センシング領域１０２Ｂは、短距離又は中距離用のレーダ５２のセンシング領域の例を示している。センシング領域１０２Ｆは、車両１の前方において、センシング領域１０１Ｆより遠い位置までカバーしている。センシング領域１０２Ｂは、車両１の後方において、センシング領域１０１Ｂより遠い位置までカバーしている。センシング領域１０２Ｌは、車両１の左側面の後方の周辺をカバーしている。センシング領域１０２Ｒは、車両１の右側面の後方の周辺をカバーしている。
　センシング領域１０２Ｆにおけるセンシング結果は、例えば、車両１の前方に存在する車両や歩行者等の検出等に用いられる。センシング領域１０２Ｂにおけるセンシング結果は、例えば、車両１の後方の衝突防止機能等に用いられる。センシング領域１０２Ｌ及びセンシング領域１０２Ｒにおけるセンシング結果は、例えば、車両１の側方の死角における物体の検出等に用いられる。
　センシング領域１０３Ｆ乃至センシング領域１０３Ｂは、カメラ５１によるセンシング領域の例を示している。センシング領域１０３Ｆは、車両１の前方において、センシング領域１０２Ｆより遠い位置までカバーしている。センシング領域１０３Ｂは、車両１の後方において、センシング領域１０２Ｂより遠い位置までカバーしている。センシング領域１０３Ｌは、車両１の左側面の周辺をカバーしている。センシング領域１０３Ｒは、車両１の右側面の周辺をカバーしている。
　センシング領域１０３Ｆにおけるセンシング結果は、例えば、信号機や交通標識の認識、車線逸脱防止支援システム、自動ヘッドライト制御システムに用いることができる。センシング領域１０３Ｂにおけるセンシング結果は、例えば、駐車支援、及び、サラウンドビューシステムに用いることができる。センシング領域１０３Ｌ及びセンシング領域１０３Ｒにおけるセンシング結果は、例えば、サラウンドビューシステムに用いることができる。
　センシング領域１０４は、ＬｉＤＡＲ５３のセンシング領域の例を示している。センシング領域１０４は、車両１の前方において、センシング領域１０３Ｆより遠い位置までカバーしている。一方、センシング領域１０４は、センシング領域１０３Ｆより左右方向の範囲が狭くなっている。
　センシング領域１０４におけるセンシング結果は、例えば、周辺車両等の物体検出に用いられる。
　センシング領域１０５は、長距離用のレーダ５２のセンシング領域の例を示している。センシング領域１０５は、車両１の前方において、センシング領域１０４より遠い位置までカバーしている。一方、センシング領域１０５は、センシング領域１０４より左右方向の範囲が狭くなっている。
　センシング領域１０５におけるセンシング結果は、例えば、ＡＣＣ（Ａｄａｐｔｉｖｅ　Ｃｒｕｉｓｅ　Ｃｏｎｔｒｏｌ）、緊急ブレーキ、衝突回避等に用いられる。
　なお、外部認識センサ２５が含むカメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４の各センサのセンシング領域は、図３以外に各種の構成をとってもよい。具体的には、超音波センサ５４が車両１の側方もセンシングするようにしてもよいし、ＬｉＤＡＲ５３が車両１の後方をセンシングするようにしてもよい。また、各センサの設置位置は、上述した各例に限定されない。また、各センサの数は、１つでもよいし、複数であってもよい。
［４．映像表示部の構成例］
　図４は、車内センサ２６および映像表示部９３の構成例を示す図である。図５は、コンテンツＣＴとして提供される映像ＩＭの表示例を示す図である。
　図４および図５の例では、映像表示部９３は、前列シート（運転席および助手席）と後列シートとの間を仕切るように配置される。車内には、後列シートの搭乗者ＰＡをモニタリングするためのカメラＣＭが設置されている。カメラＣＭは車内センサ２６として機能する。図４の例では、２台のカメラＣＭが前列シートよりも後ろ側の車内空間（後部空間）全体をモニタリングする。
　ＤＭＳ３０は、カメラＣＭの撮影映像に基づいて、後部空間の搭乗者ＰＡの視聴状態情報ＶＳを取得する。視聴状態情報ＶＳには、例えば、搭乗者ＰＡの人数、搭乗者ＰＡが起きているかどうか、搭乗者ＰＡの視野、および、搭乗者ＰＡがコンテンツＣＴを注視しているかどうか、に関する情報が含まれる。複数の搭乗者ＰＡが存在する場合には、搭乗者ＰＡごとに、搭乗者ＰＡの視野、搭乗者ＰＡが起きているか否か、および、搭乗者ＰＡがコンテンツＣＴを注視しているか否か、が判定される。ＨＭＩ３１は、視聴状態情報ＶＳに基づいて、コンテンツＣＴの表示を制御する。
　映像表示部９３は、背景を透過表示することが可能な光学シースルー型またはビデオシースルー型のディスプレイである。本開示では、一例として、光学シースルー型のディスプレイが映像表示部９３として用いられる。映像表示部９３としては、ＨＵＤ（Ｈｅａｄ－Ｕｐ　Ｄｉｓｐｌａｙ）、透明ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）および透明ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）などの公知の透明ディスプレイまたは技術が用いられる。本開示では、映像表示部９３として、例えば、透明スクリーンＳＣＲに映像を投影する構成が採用される。
　映像表示部９３は、例えば、透明スクリーンＳＣＲとプロジェクタＰＪとを有する。透明スクリーンＳＣＲは、プロジェクタＰＪから投射された光を反射させる光学レンズフィルムを有する。光学レンズフィルムには、外光の透過率を電気的に制御可能な調光フィルムが積層される。ＨＭＩ３１は、環境情報ＣＥから抽出される車外の明るさ情報に基づいて、表示の明るさ、または、映像表示部９３（透明スクリーンＳＣＲ）の透明度もしくはヘイズを調整する。映像表示部９３にコンテンツＣＴが表示されていないときは、搭乗者ＰＡは、運転席と助手席の隙間から透明スクリーンＳＣＲを介して車外の景色を透視することができる。
　図６は、映像表示部９３の他の構成例を示す図である。図７は、コンテンツＣＴとして提供される映像ＩＭの表示例を示す図である。
　図６および図７の例では、映像表示部９３は、後列シートの搭乗者ＰＡの側方に設置される。車両１のサイドガラス（窓ＷＤ：図８参照）は、透明スクリーンＳＣＲによって置き換えられている。サイドガラスを透明スクリーンＳＣＲとして用いる代わりに、フィルム状の透明スクリーンがサイドガラスの表面に貼り付けられる、またはサイドガラスの内部に挟み込まれてもよい。搭乗者ＰＡは、映像ＩＭが表示されていないときは、透明スクリーンＳＣＲを介して車外の景色を透視することができる。
　図６および図７の例では、後席のサイドガラスが透明スクリーンＳＣＲの機能を有しているが、透明スクリーンＳＣＲの機能を有するものは後席のサイドガラスに限定されない。フロントガラス、前席のサイドガラス、またはリアガラスが透明スクリーンＳＣＲの機能を有していてもよい。
　図８は、映像表示部９３の他の構成例を示す図である。
　映像表示部９３は、窓枠ＷＦなどの非透明スクリーンＮＴＳにコンテンツＣＴを投射する構成を採用してもよい。図８の例では、窓枠ＷＦ、ピラーＰＬおよび肘置きＡＭが非透明スクリーンＮＴＳとして利用される。車内に机などが設置される場合には、机を非透明スクリーンＮＴＳとして利用してもよい。
［５．映像表示に関する機能構成］
　図９は、車両１の映像表示に関する機能構成の一例を示す図である。
　車両制御システム１１は、車両１を統括制御する情報処理システムである。車両制御システム１１は、処理部９０、カメラＣＭ、ＧＰＳ受信機ＲＶ、映像表示部９３および記憶部２８を有する。
　処理部９０は、各種情報を処理する情報処理装置である。処理部９０は、ユーザ入力情報を受信し、搭乗者ＰＡに対してグラフィックスを表示する機能を提供する。処理部９０は、マルチコンテンツの描画制御やタッチ操作などのジェスチャ検出を行う一般的なＯＳの制御レイヤを持つ。処理部９０は、ナビ情報ＮＶおよびＧＰＳ受信機ＲＶの受信信号に基づいて、コンテンツＣＴの描画方法を決定する。処理部９０は、カメラＣＭのセンシング情報に基づいて、搭乗者ＰＡによる機器やアプリケーションの操作を判定する。
　ナビ情報ＮＶは、一般的なカーナビゲーションシステムからの情報をさす。ナビ情報ＮＶは、目的地および移動経路に関する情報を含む。ＧＰＳ受信機ＲＶは、一般的な衛生測位システムをさす。ＧＰＳ受信機ＲＶは、車両１の現在位置を示す信号を受信する。ＧＰＳ受信機ＲＶは、位置情報取得部２４に含まれる。
　カメラＣＭは、フィルタＦＬを介して取得したイメージセンサＩＳの画像を解析して人体のセンシングを行う。カメラＣＭは、車内センサ２６に含まれる。フィルタＦＬには、赤外線透過用フィルタと可視光透過用フィルタの２種類がある。処理部９０は、車外環境に基づいて、いずれのフィルタＦＬを用いてセンシングを行うかを決める。制御部ＣＵは、決定されたセンシング方法に基づいてアクチュエータＡＣを駆動し、フィルタＦＬを変更する。なお、赤外線画像を撮影する場合には、発光素子ＬＥから赤外線が発射される。
　処理部９０は、環境情報処理部９１、最適化処理部９２、センサ情報処理部９４、出力情報作成部９５および通信部２２を有する。
　環境情報処理部９１は、走行支援・自動運転制御部２９からナビ情報ＮＶを取得する。環境情報処理部９１は、ＧＰＳ受信機ＲＶの受信信号に基づいて車両１の現在位置を特定する。環境情報処理部９１は、ナビ情報ＮＶに基づいて現在地からの移動経路を特定し、移動経路周辺のマップを地図情報蓄積部２３から取得する。環境情報処理部９１は、必要に応じて、通信部２２を介してインターネット上の情報にアクセスし、走行位置ごとの気象情報を取得する。これにより、目的地に向けた経路情報（移動経路、移動経路周辺のマップ、および、走行位置ごとの気象情報）が取得される。環境情報処理部９１は、経路情報に基づいて、コンテンツＣＴの視聴中の車外環境の推移を予測する。
　最適化処理部９２は、予測される車外環境の推移に基づいてコンテンツＣＴの描画方法を決定する。例えば、環境情報処理部９１は、時刻ごとの車外環境の予測結果を示す環境情報を生成し、最適化処理部９２に送信する。環境情報は、例えば、車両１の走行位置、走行位置の天気、走行方向、車外の周辺マップ、および、車外環境の明るさ（照度）に関する情報を含む。最適化処理部９２は、時刻ごとに、予測される車外環境に応じた描画条件（適正描画条件）を決定する。最適化処理部９２は、時刻ごとの描画条件の統計結果に基づいて描画方法（最適描画条件）を決定する。これにより、描画方法の最適化が図られる。描画方法の決定アルゴリズムは、描画ルール蓄積部ＤＲに規定されている。
　最適化処理部９２は、予測される車外環境の推移に基づいてカメラＣＭのセンシング方法を決定する。例えば、最適化処理部９２は、時刻ごとに、予測される車外環境に応じたセンシング方法（適正センシング方法）を決定する。最適化処理部９２は、時刻ごとの適正センシング方法の統計結果に基づいてセンシング方法（最適センシング条件）を決定する。これにより、センシング方法の最適化が図られる。
　例えば、明るい環境（赤外線の多い環境）が予測される場合には、可視光画像に基づいて搭乗者ＰＡのセンシングが行われる。暗い環境が予測される場合には、赤外線画像に基づいて搭乗者ＰＡのセンシングが行われる。センシング方法の決定アルゴリズムは、センシング方法蓄積部ＳＭに規定されている。
　センサ情報処理部９４は、カメラＣＭのセンシング情報に基づいて、搭乗者ＰＡを行う機器やアプリケーションの操作を判定する。出力情報作成部９５は、搭乗者ＰＡの操作に応じた描画情報（コンテンツＣＴ）を作成し、映像表示部９３に出力する。映像表示部９３は、最適化処理部９２によって決定された描画方法で描画情報を描画する。
　最適化処理部９２は、予測結果に応じて最適化された描画方法およびセンシング方法を車外環境に応じて変更することができる。センシング方法の変更アルゴリズムは、センシング変更ルール定義部ＳＣＭに規定されている。描画方法の変更アルゴリズムは、描画変更ルール定義部ＤＣＲに規定されている。
　例えば、明るい環境が予測されていたが、実際には暗い環境だったという場合には、搭乗者ＰＡのセンシング方法は、可視光画像に基づくものから、赤外線画像に基づくものに変更される。また、暗い風景が予想されていたために窓ＷＤに描画する予定であったが、実際には街灯などの影響で窓ＷＤに描画することが適切でなくなった場合には、描画位置が窓ＷＤ以外の位置（例えば、肘置きＡＭや車内に設置された机など）に変更される。
　記憶部２８は、製品特性定義部ＰＣ、センシング方法蓄積部ＳＭ、センシング変更ルール定義部ＳＣＭ、描画ルール蓄積部ＤＲおよび描画変更ルール定義部ＤＣＲを記憶する。製品特性定義部ＰＣは、車両制御システム１１が搭載される製品の特性（製品特性）を規定する。製品特性には、可動性およびディスプレイタイプに関する情報が含まれる。「可動性」は、製品が車のような移動体なのか、デジタルサイネージのような固定されたものなのかを示す。「ディスプレイタイプ」は、ディスプレイが透明かどうかを示す。
［６．制御フロー］
　図１０は、描画方法の決定処理に関する制御フローの一例を示す図である。
　コンテンツＣＴの表示制御が開始されると、環境情報処理部９１は、現在位置から目的地に向けた経路情報を取得する（ステップＳＡ１）。環境情報処理部９１は、経路情報に基づいて、コンテンツＣＴの視聴中（例えば現在時刻からＴ秒後までの期間）の車外環境の変化を予測する（ステップＳＡ２）。
　最適化処理部９２は、コンテンツＣＴの視聴中の車外環境の推移に基づいてコンテンツＣＴの描画方法を最適化する（ステップＳＡ３）。出力情報作成部９５は、搭乗者ＰＡの操作に応じた描画情報（コンテンツＣＴ）を作成する（ステップＳＡ４）。映像表示部９３は、最適化処理部９２によって決定された描画方法で描画情報を描画する（ステップＳＡ５）。処理部９０は、搭乗者ＰＡの操作によって終了処理が行われるまで上述の処理を繰り返す。
［７．表示制御例］
　以下、コンテンツＣＴの表示制御の具体例を示す。表示制御の対象となるコンテンツＣＴは、描画位置および描画色の少なくとも一方を変更可能なコンテンツである。以下の例では、映画などの動画コンテンツの再生、停止、音量調整および設定変更などを行うアイコン群が表示制御の対象として例示される。動画コンテンツのうち、本編映像については、色の変更ができないため、描画位置のみが表示制御の対象となる。
［７－１．透明スクリーンへのコンテンツの表示］
　図１１は、透明スクリーンＳＣＲへのコンテンツＣＴの表示例を示す図である。
　最適化処理部９２は、環境情報に基づいて、太陽が透明スクリーンＳＣＲを介して搭乗者ＰＡの視界に入らないと判定した場合には、コンテンツＣＴの描画位置を透明スクリーンＳＣＲに決定する。
　最適化処理部９２は、コンテンツＣＴの描画対象である透明スクリーンＳＣＲを介して透視される車外の風景ＬＳをコンテンツＣＴの背景ＢＧとして検出する。最適化処理部９２は、背景ＢＧの色ＣＯＬ１に基づいてコンテンツＣＴの描画色ＣＯＬ２を決定する。例えば、最適化処理部９２は、背景ＢＧの色ＣＯＬ１の補色を描画色ＣＯＬ２として決定する。図１１の例では、コンテンツＣＴは、緑色の葉をつけた木に重畳される。そのため、緑の補色である紫色がコンテンツＣＴの描画色ＣＯＬ２として決定される。
［７－２．太陽との重畳回避］
　図１２は、透明スクリーンＳＣＲを介して太陽ＳＮが直視される場合の表示例を示す図である。
　最適化処理部９２は、環境情報に基づいて、太陽ＳＮが透明スクリーンＳＣＲを介して搭乗者ＰＡの視界に入ると判定した場合には、コンテンツＣＴの一部または全部の描画位置を太陽ＳＮと重ならない透明スクリーンＳＣＲ上の位置または非透明スクリーンＮＴＳに決定する。図１２の例では、太陽ＳＮと重ならない透明スクリーンＳＣＲ上の位置にコンテンツＣＴが描画されているが、窓枠ＷＦやピラーＰＬなどの非透明スクリーンＮＴＳに描画されてもよい。
［７－３．非透明スクリーンへのコンテンツの表示］
　図１３および図１４は、非透明スクリーンＮＴＳへのコンテンツＣＴの表示例を示す図である。
　図１３の例では、朝日または夕日が非透明スクリーンＮＴＳに直射している。最適化処理部９２は、環境情報に基づいて朝日または夕日が非透明スクリーンＮＴＳのコンテンツ描画位置に直射すると判定した場合には、オレンジ色をコンテンツＣＴの背景ＢＧの色ＣＯＬ１として決定する。
　図１４の例は、コンテンツＣＴを太陽光が差し込まない非透明スクリーンＮＴＳ上の位置に描画する例である。最適化処理部９２は、コンテンツＣＴの描画対象である非透明スクリーンＮＴＳをコンテンツＣＴの背景ＢＧとして検出し、背景ＢＧの色に基づいて描画色を決定する。例えば、最適化処理部９２は、環境情報に基づいて太陽光が非透明スクリーンＮＴＳのコンテンツ描画位置に直射しないと判定した場合には、コンテンツ描画位置における非透明スクリーンＮＴＳの素材の色に対して輝度を低くした色をコンテンツＣＴの背景ＢＧの色ＣＯＬ１として決定する。
　図１４の例では、ピラーＰＬにコンテンツＣＴが描画される。太陽光が差し込まない場合、コンテンツＣＴの投影先となる非透明スクリーンＮＴＳの色は、本来の非透明スクリーンＮＴＳの素材の色よりも暗い色として認識される。そのため、最適化処理部９２は、投影先の素材の色をベースに輝度を下げたものを背景色ＣＯＬ１として決定する。ピラーＰＬの色を灰色とすると、背景色ＣＯＬ１は、暗い灰色である。最適化処理部９２は、暗い灰色の補色（例えば白っぽいオレンジ色）をコンテンツＣＴの描画色ＣＯＬ２として決定する。
［７－４．車外環境の推移の予測に基づく描画方法の最適化］
　以下、図１５ないし図２０を用いて、車外環境の推移の予測に基づく描画方法の最適化について具体的に説明する。
［７－４－１．予測期間］
　図１５は、車外環境の推移の予測が行われる予測期間の説明図である。
　予測期間（Ｔ秒）は、コンテンツＣＴごとに規定される。例えば、予測期間は、コンテンツＣＴが注視される標準的な時間に基づいて設定される。図１５の例では、エアコンおよび音楽アプリなどの、注視が必要とされない操作系のコンテンツＣＴの予測期間は０に設定されている。ＳＮＳおよびメールなどの比較的閲覧時間が短いコンテンツＣＴについては、予測期間は１５×６０秒に設定されている。Ｙｏｕｔｕｂｅ、ブラウザおよびゲームなどの比較的閲覧時間が長いコンテンツＣＴについては、予測期間は６０×６０秒に設定されている。映画およびドラマなど、再生時間が予めわかっているコンテンツＣＴについては、予測期間はコンテンツＣＴの再生時間に設定される。
［７－４－２．描画方法の決定］
　図１６は、描画方法の決定処理を示すフローチャートである。図１７は、描画方法の決定処理に用いられるテーブルを示す図である。
　処理部９０は変数ｉを０に設定する（ステップＳＢ１）。環境情報処理部９１は、予測時刻ＴｉをＴｉ＝Ｔｃ＋Δｔ×ｉに設定する（ステップＳＢ２）。環境情報処理部９１は、ナビ情報ＮＶに基づいて、予測時刻Ｔｉにおける走行位置を取得する（ステップＳＢ３）。環境情報処理部９１は、気象庁が提供する気象情報などに基づいて、予測時刻Ｔｉにおける走行位置の天気を取得する（ステップＳＢ４）。環境情報処理部９１は、地図情報蓄積部２３から、予測時刻Ｔｉにおける走行位置の周辺マップを取得する（ステップＳＢ５）。
　最適化処理部９２は、予測時刻Ｔｉにおける車両１の走行位置、走行方向および車外の周辺マップに基づいて、コンテンツＣＴの背景ＢＧとなる車外の風景ＬＳを検出する。最適化処理部９２は、背景ＢＧに基づいて予測時刻ＴｉにおけるコンテンツＣＴの描画位置および描画色ＣＯＬ２を決定し、図１７のテーブルを埋める（ステップＳＢ６～ＳＢ７）。処理部９０は変数ｉの値を１だけ増やし（ステップＳＢ８）、予測期間（Ｔ秒）がΔｔ×ｉよりも小さいか否かを判定する（ステップＳＢ９）。
　予測期間（Ｔ秒）がΔｔ×ｉよりも小さい場合には（ステップＳＢ９：Ｙｅｓ）、最適化処理部９２は、時刻ごとに算出された複数の描画条件に対して、最頻値の算出および平均値の算出などの統計処理を施す。最適化処理部９２は、複数の描画条件を統計処理して得られた描画方法を最適な描画方法として決定する（ステップＳＢ１０）。予測期間（Ｔ秒）がΔｔ×ｉ以上である場合には（ステップＳＢ９：Ｎｏ）、ステップＳＢ２に戻り、ステップＳＢ２からステップＳＢ９までの処理が繰り返される。
［７－４－３．描画位置および描画色の具体例］
　図１８は、時刻ごとの描画位置の決定方法の具体例を示すフローである。
　最適化処理部９２は、環境情報に基づいて、搭乗者ＰＡの視界に太陽があるか否かを判定する（ステップＳＣ１）。搭乗者ＰＡの視界に太陽がない場合には（ステップＳＣ１：Ｎｏ）、最適化処理部９２は描画位置を窓ＷＤに設定する（ステップＳＣ２）。
　搭乗者ＰＡの視界に太陽がある場合には（ステップＳＣ１：Ｙｅｓ）、最適化処理部９２は、表示されるコンテンツＣＴが動画やブラウザなどの描画範囲が広いコンテンツであるか否かを判定する（ステップＳＣ３）。描画範囲の広いコンテンツＣＴが表示される場合には（ステップＳＣ３：Ｙｅｓ）、最適化処理部９２は描画位置を窓枠ＷＦに設定する（ステップＳＣ４）。
　描画範囲の狭いコンテンツＣＴが表示される場合には（ステップＳＣ３：Ｎｏ）、最適化処理部９２は、コンテンツＣＴがエアコンや音楽などの操作系のアプリであるか否かを判定する（ステップＳＣ５）。操作系のアプリがコンテンツＣＴとして表示される場合には（ステップＳＣ５：Ｙｅｓ）、最適化処理部９２は描画位置を肘置きＡＭに設定する（ステップＳＣ６）。コンテンツＣＴが操作系のアプリでない場合には（ステップＳＣ５：Ｎｏ）、最適化処理部９２は描画位置をピラーＰＬに設定する（ステップＳＣ７）。
　図１９は、時刻ごとの描画色ＣＯＬ２の決定方法の具体例を示すフローである。
　最適化処理部９２は、描画位置が窓ＷＤ（透明スクリーンＳＣＲ）であるか否かを判定する（ステップＳＤ１）。描画位置が窓ＷＤである場合には（ステップＳＤ１：Ｙｅｓ）、最適化処理部９２は、車両１の走行位置から背景色ＣＯＬ１を判断する（ステップＳＤ２）。
　描画位置が非透明スクリーンＮＴＳである場合には（ステップＳＤ１：Ｎｏ）、最適化処理部９２は、コンテンツＣＴの描画位置に太陽光が差し込むか否かを判定する（ステップＳＤ３）。コンテンツ描画位置に太陽光が差し込まない場合には（ステップＳＤ３：Ｎｏ）、最適化処理部９２は、コンテンツ描画位置における非透明スクリーンＮＴＳの素材の色に対して輝度を低くした色を背景色ＣＯＬ１として決定する（ステップＳＤ４）。
　コンテンツ描画位置に太陽光が差し込む場合には（ステップＳＤ３：Ｙｅｓ）、最適化処理部９２は、太陽ＳＮの高度が低い（朝焼けまたは夕焼け）か否かを判定する（ステップＳＤ５）。太陽ＳＮの高度が高い場合には（ステップＳＤ５：Ｎｏ）、最適化処理部９２は、非透明スクリーンＮＴＳの素材の色よりも明るい色を背景色ＣＯＬ１として決定する（ステップＳＤ６）。すなわち、最適化処理部９２は、環境情報に基づいて昼光が非透明スクリーンＮＴＳのコンテンツ描画位置に直射すると判定した場合には、コンテンツ描画位置における非透明スクリーンＮＴＳの素材の色に対して輝度を高くした色を背景ＢＧの色ＣＯＬ１として決定する。太陽ＳＮの高度が低い場合には（ステップＳＤ５：Ｙｅｓ）、最適化処理部９２は、背景色ＣＯＬ１をオレンジ色に決定する（ステップＳＤ７）。
　背景色ＣＯＬ１が決まったら、最適化処理部９２は、背景色ＣＯＬ１の補色を描画色ＣＯＬ２と決定する（ステップＳＤ８）。例えば、走行位置が森や山の中であれば、背景色ＣＯＬ１は緑色に決定され、描画色ＣＯＬ２は紫色に決定される。走行位置が海岸や開けた場所（空が見える場所）であれば、背景色ＣＯＬ１は青色に決定され、描画色ＣＯＬ２は黄色に決定される。走行位置が高速道路沿いや街中であれば、背景色ＣＯＬ１は淡灰色に決定され、描画色ＣＯＬ２は濃灰色に決定される。走行位置が住宅街であれば、背景色ＣＯＬ１は白色に決定され、描画色ＣＯＬ２は黒色に決定される。
　図２０は、統計処理による最適化の具体例を示すフローである。
　最適化処理部９２は、予測時刻Ｔｉごとに算出された複数の描画位置を集計して描画位置ごとの発現頻度を算出する（ステップＳＥ１）。最適化処理部９２は、最も発現頻度が高い描画位置を最適描画位置と決定する（ステップＳＥ２）。
　最適化処理部９２は、描画位置が最適描画位置である１以上の予測時刻Ｔｉを抽出する（ステップＳＥ３）。最適化処理部９２は、抽出された１以上の予測時刻Ｔｉにおける描画色を集計して描画色ごとの発現頻度を算出する（ステップＳＥ４）。最適化処理部９２は、最も発現頻度が高い描画色を最適描画色と決定する（ステップＳＥ５）。最適化処理部９２は、最適描画位置および最適描画色を最適描画条件とする描画方法をコンテンツＣＴの描画方法として決定する。
［７－５．描画方法の変更］
　図２１は、描画方法の変更処理を説明する図である。
　最適化処理部９２は、コンテンツＣＴの描画条件を、車内および車外の状況に応じて一時的に変更することができる。車内および車外の状況はモニタ部ＭＵによってモニタリングされる。モニタ部ＭＵは、例えば、外部認識センサ２５および車内センサ２６を含む。環境情報処理部９１は、モニタ部ＭＵのモニタリング結果に基づいて、車両１の周辺状況および車内の視聴環境を検出する。最適化処理部９２は、車両１の周辺状況および車内の視聴環境に基づいて、最適描画条件で実施されている描画方法を一時的に変更する。以下、具体例を示す。
［７－５－１．映像酔い対策］
　図２２および図２３は、車両１の周辺状況に応じた描画方法の変更例を示す図である。
　透明スクリーンＳＣＲにコンテンツＣＴを重畳する場合、背景ＢＧとなる車両１の周辺の状況に応じてコンテンツＣＴの視認性は変わる。例えば、コンテンツＣＴの背景ＢＧに群衆ＣＷが存在する場合、搭乗者ＰＡは、コンテンツＣＴを注視しながら、透明スクリーンＳＣＲを通り過ぎる群衆の動きも同時に観察することになる。そのため、自律神経が失調し、乗り物酔いと似た症状（映像酔い）が現れることがある。
　そのため、最適描画位置で描画が行われている最中に、背景ＢＧとなる位置に群衆ＣＷが検出された場合には、群衆ＣＷを避けた位置に描画位置が変更される。例えば、最適化処理部９２は、車外の群衆ＣＷが特定の透明スクリーンＳＣＲを介して搭乗者ＰＡの視界に入ると判定した場合には、コンテンツＣＴの一部または全部の描画位置を特定の透明スクリーンＳＣＲ以外の透明スクリーンＳＣＲまたは非透明スクリーンＮＴＳに決定する。
　図２２の例では、車両１の左側に群衆ＣＷが存在する。そのため、群衆ＣＷが透視されない位置にある車両１の右側の窓ＷＤに描画位置が変更される。図２３の例では、車両１の両側に群衆ＣＷが存在する。そのため、図４に示す車両１の中央の透明スクリーンＳＣＲ、または、肘置きＡＭなどの非透明スクリーンＮＴＳに描画位置が変更される。
　図２４は、映像酔い対策のフローの一例を示す図である。
　モニタ部ＭＵは、車外に向けたカメラ５１を用いて車両１の周辺状況をモニタリングする（ステップＳＦ１）。環境情報処理部９１は、モニタリング結果に基づいて、コンテンツＣＴの背景ＢＧとなる位置に１以上の人を検出し、人の数および人の位置に関する情報を最適化処理部９２に供給する（ステップＳＦ２）。
　最適化処理部９２は、背景ＢＧに存在する人の数が閾値以上であるかを判定する（ステップＳＦ３）。人の数が閾値未満である場合には（ステップＳＦ３：Ｎｏ）、最適化処理部９２は窓ＷＤを描画位置に決定する（ステップＳＦ４）。
　人の数が閾値以上である場合には（ステップＳＦ３：Ｙｅｓ）、最適化処理部９２は、車両１の両側（右側および左側）に人がいるかを判定する（ステップＳＦ５）。車両１の片側のみに人がいる場合には（ステップＳＦ５：Ｎｏ）、最適化処理部９２は、人がいない側の窓ＷＤを描画位置に決定する（ステップＳＦ６）。車両１の両側に人がいる場合には（ステップＳＦ５：Ｙｅｓ）、最適化処理部９２は、肘置きＡＭまたは車内に設置された机を描画位置に決定する（ステップＳＦ７）。
［７－５－２．投影対象の形状変化への対策］
　図２５は、車内の視聴環境に応じた描画方法の変更例を示す図である。
　プロジェクタＰＪによってコンテンツＣＴを投射する場合、投影対象の形状の変化によってコンテンツＣＴの最大描画サイズが変わる。例えば、窓ＷＤを半分空けた状態では、窓ＷＤを閉めた状態に比べて半分のサイズのコンテンツＣＴしか窓ＷＤに表示できない。
　そのため、最適描画位置で描画が行われている最中に投影対象の形状が変化した場合には、投影対象の形状の変化量に応じて描画位置が変更される。例えば、最適化処理部９２は、透明スクリーンＳＣＲとして用いられる窓ＷＤの開閉量に基づいて、透明スクリーンＳＣＲに描画すべきコンテンツＣＴの一部または全部の描画位置を非透明スクリーンＮＴＳに決定する。
　図２５の例では、クロスメディアバーＣＭＢがコンテンツＣＴとして表示されている。クロスメディアバーＣＭＢは、水平方向と垂直方向のアイコン群を機能別に分けて表示するＵＩ（Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）である。
　窓ＷＤが完全に閉じている場合には、窓ＷＤにコンテンツＣＴを描画する第１の描画方法が採用される。窓ＷＤが完全には閉じていない場合には、閉じている部分の窓ＷＤおよび／または非透明スクリーンＮＴＳにコンテンツＣＴを描画する第２の描画方法が採用される。窓ＷＤが全開である場合には、非透明スクリーンＮＴＳにコンテンツＣＴを描画する第３の描画方法が採用される。
　図２５の例では、コンテンツＣＴは水平方向と垂直方向のアイコン群によって構成される。窓ＷＤが完全に閉じている場合には、水平方向と垂直方向のアイコン群は全て窓ＷＤに描画される。窓ＷＤが完全には閉じていない場合には、水平方向のアイコン群は半開き状態になった横長の窓ＷＤに描画され、垂直方向のアイコン群は縦長のピラーＰＬに描画される。窓ＷＤが全開である場合には、水平方向のアイコン群は水平方向の窓枠ＷＦに描画され、垂直方向のアイコン群は縦長のピラーＰＬに描画される。
　図２６は、窓ＷＤの開閉対策のフローの一例を示す図である。
　モニタ部ＭＵは、車内に向けたカメラＣＭを用いて、窓ＷＤの開閉状況をモニタリングする。環境情報処理部９１は、モニタリング結果に基づいて、窓ＷＤの開き具合に関する情報を取得し、最適化処理部９２に供給する（ステップＳＧ１）。
　最適化処理部９２は、窓ＷＤが完全に閉じているかを判定する（ステップＳＧ２）。窓ＷＤが完全に閉じている場合には（ステップＳＧ２：Ｙｅｓ）、最適化処理部９２は第１の描画方法を採用する（ステップＳＧ３）。
　窓ＷＤが開いている場合には（ステップＳＧ２：Ｎｏ）、最適化処理部９２は、窓ＷＤが全開になっているか判定する（ステップＳＧ４）。窓ＷＤが全開ではない場合には（ステップＳＧ４：Ｎｏ）、最適化処理部９２は第２の描画方法を採用する（ステップＳＧ５）。窓ＷＤが全開である場合には（ステップＳＧ４：Ｙｅｓ）、最適化処理部９２は第３の描画方法を採用する（ステップＳＧ６）。
［７－６．予測を伴わない描画方法の決定］
　図２７は、車外環境の推移の予測を伴わない描画方法の決定処理を説明する図である。
　最適化処理部９２は、車外環境の推移を予測せずに、現在位置の車外環境に基づいて現在位置での描画方法を決定することもできる。予測を行わなくてもよい場合には、車内または車外に設置されたカメラ（カメラＣＭ、カメラ５１）で車外の風景ＬＳまたは非透明スクリーンＮＴＳの素材の色などをリアルタイムにモニタリングすることで、正確に背景色ＣＯＬ１を検出し、識別性の高い描画色ＣＯＬ２を決定することができる。
　図２８は、車外環境の推移の予測を伴わない描画方法の決定処理を示すフローチャートである。
　最適化処理部９２は、予測期間が０であるか判定する（ステップＳＨ１）。予測期間が０ではない場合には（ステップＳＨ１：Ｎｏ）、最適化処理部９２は経路情報に基づいて車外環境の推移を予測し、予測結果に基づいて描画方法を決定する（ステップＳＨ８）。予測期間が０である場合には（ステップＳＨ１：Ｙｅｓ）、最適化処理部９２は描画位置が窓ＷＤであるか判定する（ステップＳＨ２）。
　描画位置が窓ＷＤではない場合には（ステップＳＨ２：Ｎｏ）、最適化処理部９２は、投影対象となる非透明スクリーンＮＴＳの撮影画像をカメラＣＭから取得する（ステップＳＨ３）。最適化処理部９２は、カメラＣＭの撮影画像から非透明スクリーンＮＴＳの素材の色を検出する。最適化処理部９２は、検出された素材の色を背景色ＣＯＬ１とし（ステップＳＨ４）、背景色ＣＯＬ１の補色を描画色とする（ステップＳＨ７）。
　描画位置が窓ＷＤである場合には（ステップＳＨ２：Ｙｅｓ）、最適化処理部９２は、窓ＷＤの外側の風景ＬＳの撮影画像をカメラ５１から取得する（ステップＳＨ５）。最適化処理部９２は、カメラ５１の撮影画像からコンテンツＣＴと重畳する部分の風景ＬＳの色を検出する。最適化処理部９２は、検出された風景ＬＳの色を背景色ＣＯＬ１とし（ステップＳＨ６）、背景色ＣＯＬ１の補色を描画色とする（ステップＳＨ７）。
［７－７．コンテンツを考慮した描画色の決定］
　図２９は、コンテンツＣＴを考慮した描画色ＣＯＬ２の決定方法を説明する図である。
　映画など、描画色ＣＯＬ２を変えるとコンテンツ制作者の意図が変わってしまう可能性のあるコンテンツＣＴがある。このようなコンテンツＣＴについては、描画色を変更せずに、フレームＦＬＭを描画することで背景ＢＧからの識別性を高めることができる。
　図２９では、上述のコンテンツＣＴの例として、映画などの動画コンテンツが示されている。動画コンテンツは、本編映像ＣＴ－Ａおよびアイコン群ＣＴ－Ｂを含む。アイコン群ＣＴ－Ｂは、本編映像ＣＴ－Ａの再生、停止、音量調整および設定変更などを行うために用いられる。
　本編映像ＣＴ－Ａについては色を変更することができない。そのため、最適化処理部９２は、本編映像ＣＴ－Ａを囲むフレームＦＬＭを背景ＢＧに重畳して表示する。フレームＦＬＭの色は、背景ＢＧとの識別力の高い色であればどのようなものでもよい。フレームＦＬＭは、単色で表示されてもよいし、多色で表示されてもよい。フレームＦＬＭの形状も、囲繞対象の形状に合わせて設定され、円や四角など任意の形状が可能である。図２９の例では、本編映像ＣＴ－Ａを縁取る単色の四角いフレームＦＬＭが表示されている。
　アイコン群ＣＴ-Ｂについては色を変更することができる。そのため、最適化処理部９２は、背景色ＣＯＬ１に応じた適切な描画色ＣＯＬ２を設定することで、背景ＢＧからの識別性を高める。図２９の例では、アイコン群ＣＴ－Ｂが木（緑色の葉）に重畳される。そのため、最適化処理部９２は、背景色ＣＯＬ１を緑色と認識し、描画色ＣＯＬ２をピンク色（緑色の補色）に設定する。
［７－８．太陽以外の光源への対応］
　図３０は、太陽ＳＮ以外の光源への対応を説明する図である。
　太陽ＳＮ以外の光源（トンネルのライトや街灯など）の存在下でも、同様の最適化を行うことができる。すなわち、最適化処理部９２は、光源が透明スクリーンＳＣＲを介して搭乗者ＰＡの視界に入ると判定した場合には、コンテンツＣＴの一部または全部の描画位置を光源と重ならない透明スクリーンＳＣＲ上の位置または非透明スクリーンＮＴＳに決定することができる。これにより、コンテンツＣＴの視認性が高まる。
　しかし、光源が搭乗者ＰＡの視界内で頻繁に移動すると、コンテンツＣＴの描画位置も光源の移動に合わせて頻繁に変更される。そのため、使い勝手が落ちたり、映像酔いが起きたりする可能性がある。そのため、最適化処理部９２は、光源の移動状況に応じて描画方法の最適化の手法を異ならせる。例えば、光源が搭乗者ＰＡの視界内で停止している場合には、最適化処理部９２は、描画位置と描画色の双方を前述した方法で最適化する。光源が搭乗者ＰＡの視界内で移動している場合には、最適化処理部９２は、描画位置を固定し、描画色を最適化する。光源が移動しているか否かは、例えば、光源によって生じる車内の影の移動状況に基づいて判定される。
　図３１は、光源の移動状況に基づく描画方法の決定処理を示すフローチャートである。
　まず、光源によって生じる車内の影を、カメラＣＭによってｔ秒間撮影する（ステップＳＩ１）。撮影時間（ｔ秒）は、影の移動状況を判別可能な時間として任意に設定される。環境情報処理部９１は、カメラＣＭから取得した影の映像（可視光映像）に基づいて影の移動速度を算出し、最適化処理部９２に供給する。
　最適化処理部９２は、影の移動速度に基づいて影の位置が変化しているか判定する（ステップＳＩ２）。例えば、影の移動速度が閾値以上であれば影の位置が変化していると判定される。影の移動速度が閾値未満であれば影の位置は変化していないと判定される。
　影の位置が変化していない場合には（ステップＳＩ２：Ｎｏ）、最適化処理部９２は、光源が停止していると判定し、コンテンツＣＴの描画色のみを前述した方法で最適化する（ステップＳＩ３）。影の位置が変化している場合には（ステップＳＩ２：Ｙｅｓ）、最適化処理部９２は、光源が移動していると判定し、コンテンツＣＴの描画位置および描画色の双方を前述した方法で最適化する（ステップＳＩ４）。
［８．効果］
　処理部９０は、環境情報処理部９１と最適化処理部９２とを有する。環境情報処理部９１は、コンテンツＣＴの視聴中の車外環境の推移を予測する。最適化処理部９２は、予測される車外環境の推移に基づいてコンテンツＣＴの描画方法を決定する。本開示の情報処理方法は、処理部９０の処理がコンピュータにより実行される。本開示のプログラムは、処理部９０の処理をコンピュータに実現させる。本開示の車両制御システム１１は、処理部９０により決定された描画方法に基づいてコンテンツＣＴを描画する映像表示部９３を有する。
　この構成によれば、車外環境の変化を考慮した適切な描画方法が決定される。そのため、車外環境の変化によってコンテンツＣＴの視認性が低下しにくい。
　環境情報処理部９１は、時刻ごとの車外環境の予測結果を示す環境情報を生成する。最適化処理部９２は、時刻ごとに、予測される車外環境に応じた描画条件を決定し、時刻ごとの描画条件の統計結果に基づいて描画方法を決定する。
　この構成によれば、車外環境の変化によって描画方法が頻繁に変更されにくい。
　環境情報は、走行位置、走行位置の天気、走行方向および車外の周辺マップに関する情報を含む。
　この構成によれば、走行風景および天候の推移に基づいて描画方法が最適化される。
　描画条件は、描画位置および描画色ＣＯＬ２を含む。
　この構成によれば、描画位置および描画色ＣＯＬ２が車外環境の変化によって頻繁に変更されることが抑制される。
　最適化処理部９２は、時刻ごとに算出された複数の描画位置を集計して描画位置ごとの発現頻度を算出する。最適化処理部９２は、最も発現頻度が高い描画位置を最適描画位置と決定する。最適化処理部９２は、描画位置が最適描画位置である１以上の時刻を抽出する。最適化処理部９２は、抽出された１以上の時刻における描画色ＣＯＬ２を集計して描画色ＣＯＬ２ごとの発現頻度を算出する。最適化処理部９２は、最も発現頻度が高い描画色ＣＯＬ２を最適描画色と決定する。最適化処理部９２は、最適描画位置および最適描画色を最適描画条件とする描画方法をコンテンツＣＴの描画方法として決定する。
　この構成によれば、時刻ごとに算出される描画位置および描画色ＣＯＬ２の発現頻度に応じて最適な描画方法が決定される。
　最適化処理部９２は、コンテンツＣＴの描画対象である非透明スクリーンＮＴＳ、または、コンテンツＣＴの描画対象である透明スクリーンＳＣＲを介して透視される車外の風景ＬＳをコンテンツＣＴの背景ＢＧとして検出する。最適化処理部９２は、背景ＢＧの色に基づいて描画色ＣＯＬ２を決定する。
　この構成によれば、コンテンツＣＴが背景ＢＧからよりよく識別される。
　最適化処理部９２は、環境情報に基づいて太陽光が非透明スクリーンＮＴＳのコンテンツ描画位置に直射しないと判定した場合には、コンテンツ描画位置における非透明スクリーンＮＴＳの素材の色に対して輝度を低くした色を背景ＢＧの色として決定する。
　この構成によれば、描画対象となる非透明スクリーンＮＴＳの素材の色を考慮した適切な描画色ＣＯＬ２が決定される。
　最適化処理部９２は、環境情報に基づいて昼光が非透明スクリーンＮＴＳのコンテンツ描画位置に直射すると判定した場合には、コンテンツ描画位置における非透明スクリーンＮＴＳの素材の色に対して輝度を高くした色を背景ＢＧの色として決定する。
　この構成によれば、コンテンツ描画位置に直射する太陽光の明るさ（昼光）を考慮した適切な描画色ＣＯＬ２が決定される。
　最適化処理部９２は、環境情報に基づいて朝日または夕日が非透明スクリーンＮＴＳのコンテンツ描画位置に直射すると判定した場合には、オレンジ色を背景ＢＧの色として決定する。
　この構成によれば、朝日または夕日の色（オレンジ色）を考慮した適切な描画色ＣＯＬ２が決定される。
　最適化処理部９２は、走行位置、走行方向および車外の周辺マップに基づいて、コンテンツＣＴの背景ＢＧとなる車外の風景ＬＳを検出する。
　この構成によれば、車外の風景ＬＳがよりよく推定される。
　最適化処理部９２は、背景ＢＧの色の補色を描画色ＣＯＬ２として決定する。
　この構成によれば、コンテンツＣＴが背景ＢＧからよりよく識別される。
　最適化処理部９２は、環境情報に基づいて、太陽ＳＮが透明スクリーンＳＣＲを介して搭乗者ＰＡの視界に入らないと判定した場合には、コンテンツＣＴの描画位置を透明スクリーンＳＣＲに決定する。
　この構成によれば、太陽ＳＮを直視することによる視認性の低下が抑制される。
　最適化処理部９２は、環境情報に基づいて、太陽ＳＮが透明スクリーンＳＣＲを介して搭乗者ＰＡの視界に入ると判定した場合には、コンテンツＣＴの一部または全部の描画位置を太陽ＳＮと重ならない透明スクリーンＳＣＲ上の位置または非透明スクリーンＮＴＳに決定する。
　この構成によれば、太陽ＳＮが直視されない位置にコンテンツＣＴが提示される。
　最適化処理部９２は、車外の群衆ＣＷが特定の透明スクリーンＳＣＲを介して搭乗者ＰＡの視界に入ると判定した場合には、コンテンツＣＴの一部または全部の描画位置を特定の透明スクリーンＳＣＲ以外の透明スクリーンＳＣＲまたは非透明スクリーンＮＴＳに決定する。
　この構成によれば、コンテンツＣＴが群衆ＣＷに重畳されることによる視認性の低下が抑制される。
　最適化処理部９２は、透明スクリーンＳＣＲとして用いられる窓ＷＤの開閉量に基づいて、透明スクリーンＳＣＲに描画すべきコンテンツＣＴの一部または全部の描画位置を非透明スクリーンＮＴＳに決定する。
　この構成によれば、窓ＷＤの開閉によってコンテンツＣＴの視認性が低下しにくい。
　車外環境の推移の予測が行われる予測期間は、コンテンツＣＴごとに規定される。
　この構成によれば、コンテンツＣＴに応じた適切な予測期間が設定される。
　予測期間は、コンテンツＣＴが注視される標準的な時間に基づいて設定される。
　この構成によれば、コンテンツＣＴの視聴中に描画方法が変更されにくくなる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
［付記］
　なお、本技術は以下のような構成も採ることができる。
（１）
　コンテンツの視聴中の車外環境の推移を予測する環境情報処理部と、
　予測される前記車外環境の推移に基づいて前記コンテンツの描画方法を決定する最適化処理部と、
　を有する情報処理装置。
（２）
　前記環境情報処理部は、時刻ごとの前記車外環境の予測結果を示す環境情報を生成し、
　前記最適化処理部は、前記時刻ごとに、予測される前記車外環境に応じた描画条件を決定し、前記時刻ごとの描画条件の統計結果に基づいて前記描画方法を決定する、
　上記（１）に記載の情報処理装置。
（３）
　前記環境情報は、走行位置、前記走行位置の天気、前記走行方向および車外の周辺マップに関する情報を含む、
　上記（２）に記載の情報処理装置。
（４）
　前記描画条件は、描画位置および描画色を含む、
　上記（２）または（３）に記載の情報処理装置。
（５）
　前記最適化処理部は、
　　時刻ごとに算出された複数の描画位置を集計して前記描画位置ごとの発現頻度を算出し、
　　最も前記発現頻度が高い前記描画位置を最適描画位置と決定し、
　　前記描画位置が前記最適描画位置である１以上の時刻を抽出し、
　　抽出された前記１以上の時刻における描画色を集計して前記描画色ごとの発現頻度を算出し、
　　最も前記発現頻度が高い前記描画色を最適描画色と決定し、
　　最適描画位置および最適描画色を最適描画条件とする描画方法を前記コンテンツの前記描画方法として決定する、
　上記（４）に記載の情報処理装置。
（６）
　前記最適化処理部は、前記コンテンツの描画対象である非透明スクリーン、または、前記コンテンツの描画対象である透明スクリーンを介して透視される車外の風景を前記コンテンツの背景として検出し、前記背景の色に基づいて前記描画色を決定する、
　上記（４）または（５）に記載の情報処理装置。
（７）
　前記最適化処理部は、前記環境情報に基づいて太陽光が前記非透明スクリーンのコンテンツ描画位置に直射しないと判定した場合には、前記コンテンツ描画位置における非透明スクリーンの素材の色に対して輝度を低くした色を前記背景の色として決定する、
　上記（６）に記載の情報処理装置。
（８）
　前記最適化処理部は、前記環境情報に基づいて昼光が前記非透明スクリーンのコンテンツ描画位置に直射すると判定した場合には、前記コンテンツ描画位置における非透明スクリーンの素材の色に対して輝度を高くした色を前記背景の色として決定する、
　上記（６）または（７）に記載の情報処理装置。
（９）
　前記最適化処理部は、前記環境情報に基づいて朝日または夕日が前記非透明スクリーンのコンテンツ描画位置に直射すると判定した場合には、オレンジ色を前記背景の色として決定する、
　上記（６）ないし（８）のいずれか１つに記載の情報処理装置。
（１０）
　前記最適化処理部は、走行位置、走行方向および車外の周辺マップに基づいて、前記コンテンツの背景となる前記車外の風景を検出する、
　上記（６）ないし（９）のいずれか１つに記載の情報処理装置。
（１１）
　前記最適化処理部は、前記背景の色の補色を前記描画色として決定する、
　上記（６）ないし（１０）のいずれか１つに記載の情報処理装置。
（１２）
　前記最適化処理部は、前記環境情報に基づいて、太陽が前記透明スクリーンを介して搭乗者の視界に入らないと判定した場合には、前記コンテンツの描画位置を前記透明スクリーンに決定する、
　上記（６）ないし（１１）のいずれか１つに記載の情報処理装置。
（１３）
　前記最適化処理部は、前記環境情報に基づいて、太陽が前記透明スクリーンを介して搭乗者の視界に入ると判定した場合には、前記コンテンツの一部または全部の描画位置を前記太陽と重ならない前記透明スクリーン上の位置または非透明スクリーンに決定する、
　上記（６）ないし（１２）のいずれか１つに記載の情報処理装置。
（１４）
　前記最適化処理部は、車外の群衆が特定の透明スクリーンを介して搭乗者の視界に入ると判定した場合には、前記コンテンツの一部または全部の描画位置を前記特定の透明スクリーン以外の透明スクリーンまたは非透明スクリーンに決定する、
　上記（６）ないし（１３）のいずれか１つに記載の情報処理装置。
（１５）
　前記最適化処理部は、前記透明スクリーンとして用いられる窓の開閉量に基づいて、前記透明スクリーンに描画すべき前記コンテンツの一部または全部の描画位置を前記非透明スクリーンに決定する、
　上記（６）ないし（１４）のいずれか１つに記載の情報処理装置。
（１６）
　前記車外環境の推移の予測が行われる予測期間は、前記コンテンツごとに規定される、
　上記（１）ないし（１５）のいずれか１つに記載の情報処理装置。
（１７）
　前記予測期間は、前記コンテンツが注視される標準的な時間に基づいて設定される、
　上記（１６）に記載の情報処理装置。
（１８）
　コンテンツの視聴中の車外環境の推移を予測し、
　予測される前記車外環境の推移に基づいて前記コンテンツの描画方法を決定する、
　ことを有する、コンピュータにより実行される情報処理方法。
（１９）
　コンテンツの視聴中の車外環境の推移を予測し、
　予測される前記車外環境の推移に基づいて前記コンテンツの描画方法を決定する、
　ことをコンピュータに実現させるプログラム。
（２０）
　上記（１）ないし（１７）のいずれか１つに記載の情報処理装置と、
　前記情報処理装置により決定された前記描画方法に基づいて前記コンテンツを描画する映像表示部と、
　を有する情報処理システム。
１１　車両制御システム（情報処理システム）
９０　処理部（情報処理装置）
９１　環境情報処理部
９２　最適化処理部
９３　映像表示部
ＢＧ　背景
ＣＯＬ１背景色
ＣＯＬ２　描画色
ＣＴ　コンテンツ
ＬＳ　風景
ＮＴＳ　非透明スクリーン
ＰＡ　搭乗者
ＳＣＲ　透明スクリーン
ＳＮ　太陽
ＷＤ　窓

Claims (20)

  1. 　コンテンツの視聴中の車外環境の推移を予測する環境情報処理部と、
    　予測される前記車外環境の推移に基づいて前記コンテンツの描画方法を決定する最適化処理部と、
    　を有する情報処理装置。
  2. 　前記環境情報処理部は、時刻ごとの前記車外環境の予測結果を示す環境情報を生成し、
    　前記最適化処理部は、前記時刻ごとに、予測される前記車外環境に応じた描画条件を決定し、前記時刻ごとの描画条件の統計結果に基づいて前記描画方法を決定する、
    　請求項１に記載の情報処理装置。
  3. 　前記環境情報は、走行位置、前記走行位置の天気、走行方向および車外の周辺マップに関する情報を含む、
    　請求項２に記載の情報処理装置。
  4. 　前記描画条件は、描画位置および描画色を含む、
    　請求項２に記載の情報処理装置。
  5. 　前記最適化処理部は、
    　　時刻ごとに算出された複数の描画位置を集計して前記描画位置ごとの発現頻度を算出し、
    　　最も前記発現頻度が高い前記描画位置を最適描画位置と決定し、
    　　前記描画位置が前記最適描画位置である１以上の時刻を抽出し、
    　　抽出された前記１以上の時刻における描画色を集計して前記描画色ごとの発現頻度を算出し、
    　　最も前記発現頻度が高い前記描画色を最適描画色と決定し、
    　　最適描画位置および最適描画色を最適描画条件とする描画方法を前記コンテンツの前記描画方法として決定する、
    　請求項４に記載の情報処理装置。
  6. 　前記最適化処理部は、前記コンテンツの描画対象である非透明スクリーン、または、前記コンテンツの描画対象である透明スクリーンを介して透視される車外の風景を前記コンテンツの背景として検出し、前記背景の色に基づいて前記描画色を決定する、
    　請求項４に記載の情報処理装置。
  7. 　前記最適化処理部は、前記環境情報に基づいて太陽光が前記非透明スクリーンのコンテンツ描画位置に直射しないと判定した場合には、前記コンテンツ描画位置における非透明スクリーンの素材の色に対して輝度を低くした色を前記背景の色として決定する、
    　請求項６に記載の情報処理装置。
  8. 　前記最適化処理部は、前記環境情報に基づいて昼光が前記非透明スクリーンのコンテンツ描画位置に直射すると判定した場合には、前記コンテンツ描画位置における非透明スクリーンの素材の色に対して輝度を高くした色を前記背景の色として決定する、
    　請求項６に記載の情報処理装置。
  9. 　前記最適化処理部は、前記環境情報に基づいて朝日または夕日が前記非透明スクリーンのコンテンツ描画位置に直射すると判定した場合には、オレンジ色を前記背景の色として決定する、
    　請求項６に記載の情報処理装置。
  10. 　前記最適化処理部は、走行位置、走行方向および車外の周辺マップに基づいて、前記コンテンツの背景となる前記車外の風景を検出する、
    　請求項６に記載の情報処理装置。
  11. 　前記最適化処理部は、前記背景の色の補色を前記描画色として決定する、
    　請求項６に記載の情報処理装置。
  12. 　前記最適化処理部は、前記環境情報に基づいて、太陽が前記透明スクリーンを介して搭乗者の視界に入らないと判定した場合には、前記コンテンツの描画位置を前記透明スクリーンに決定する、
    　請求項６に記載の情報処理装置。
  13. 　前記最適化処理部は、前記環境情報に基づいて、太陽が前記透明スクリーンを介して搭乗者の視界に入ると判定した場合には、前記コンテンツの一部または全部の描画位置を前記太陽と重ならない前記透明スクリーン上の位置または非透明スクリーンに決定する、
    　請求項６に記載の情報処理装置。
  14. 　前記最適化処理部は、車外の群衆が特定の透明スクリーンを介して搭乗者の視界に入ると判定した場合には、前記コンテンツの一部または全部の描画位置を前記特定の透明スクリーン以外の透明スクリーンまたは非透明スクリーンに決定する、
    　請求項６に記載の情報処理装置。
  15. 　前記最適化処理部は、前記透明スクリーンとして用いられる窓の開閉量に基づいて、前記透明スクリーンに描画すべき前記コンテンツの一部または全部の描画位置を前記非透明スクリーンに決定する、
    　請求項６に記載の情報処理装置。
  16. 　前記車外環境の推移の予測が行われる予測期間は、前記コンテンツごとに規定される、
    　請求項１に記載の情報処理装置。
  17. 　前記予測期間は、前記コンテンツが注視される標準的な時間に基づいて設定される、
    　請求項１６に記載の情報処理装置。
  18. 　コンテンツの視聴中の車外環境の推移を予測し、
    　予測される前記車外環境の推移に基づいて前記コンテンツの描画方法を決定する、
    　ことを有する、コンピュータにより実行される情報処理方法。
  19. 　コンテンツの視聴中の車外環境の推移を予測し、
    　予測される前記車外環境の推移に基づいて前記コンテンツの描画方法を決定する、
    　ことをコンピュータに実現させるプログラム。
  20. 　請求項１に記載の情報処理装置と、
    　前記情報処理装置により決定された前記描画方法に基づいて前記コンテンツを描画する映像表示部と、
    　を有する情報処理システム。
PCT/JP2022/033351 2021-10-25 2022-09-06 情報処理装置、情報処理方法、プログラムおよび情報処理システム Ceased WO2023074126A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280070097.6A CN118120008A (zh) 2021-10-25 2022-09-06 信息处理装置、信息处理方法、程序和信息处理系统
US18/701,702 US20240420385A1 (en) 2021-10-25 2022-09-06 Information processing apparatus, information processing method, program, and information processing system
EP22886460.9A EP4425478A4 (en) 2021-10-25 2022-09-06 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, PROGRAM AND INFORMATION PROCESSING SYSTEM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021173885 2021-10-25
JP2021-173885 2021-10-25

Publications (1)

Publication Number Publication Date
WO2023074126A1 true WO2023074126A1 (ja) 2023-05-04

Family

ID=86157678

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/033351 Ceased WO2023074126A1 (ja) 2021-10-25 2022-09-06 情報処理装置、情報処理方法、プログラムおよび情報処理システム

Country Status (4)

Country Link
US (1) US20240420385A1 (ja)
EP (1) EP4425478A4 (ja)
CN (1) CN118120008A (ja)
WO (1) WO2023074126A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025150406A1 (ja) * 2024-01-09 2025-07-17 パナソニックＩｐマネジメント株式会社 表示ユニット及び移動体
EP4664444A1 (en) 2024-06-12 2025-12-17 FUJIFILM Business Innovation Corp. Information processing system, program, and information processing method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118514708B (zh) * 2024-07-25 2024-11-19 比亚迪股份有限公司 智能体控制方法、电子装置、车辆、存储介质及程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10311732A (ja) * 1997-05-09 1998-11-24 Toyota Motor Corp 車両用表示装置
JP2015230388A (ja) * 2014-06-05 2015-12-21 三菱電機株式会社 表示制御システムおよび表示制御方法
US20190152303A1 (en) * 2017-11-22 2019-05-23 Ford Global Technologies, Llc Controlling window tint levels to protect the interior cabin of an autonomous vehicle
JP2019162932A (ja) 2018-03-19 2019-09-26 株式会社リコー 画像表示装置、移動体、画像表示方法およびプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2128751A4 (en) * 2007-03-16 2014-04-16 Fujitsu Ltd INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROGRAM AND INFORMATION PROCESSING METHOD
JP4932067B1 (ja) * 2011-02-10 2012-05-16 パイオニア株式会社 表示装置、表示方法及び表示プログラム
US9153195B2 (en) * 2011-08-17 2015-10-06 Microsoft Technology Licensing, Llc Providing contextual personal information by a mixed reality device
US9036910B1 (en) * 2012-09-28 2015-05-19 The Boeing Company Method and system for processing a sequence of images using fingerprints
JP2014172406A (ja) * 2013-03-05 2014-09-22 Funai Electric Co Ltd ヘッドアップディスプレイ装置、ヘッドアップディスプレイ装置の表示方法およびヘッドアップディスプレイ装置のプログラム
US10096089B2 (en) * 2017-01-04 2018-10-09 Facebook, Inc. Accelerated skin smoothing effect
US10380714B2 (en) * 2017-09-26 2019-08-13 Denso International America, Inc. Systems and methods for ambient animation and projecting ambient animation on an interface
JP2019119266A (ja) * 2017-12-28 2019-07-22 本田技研工業株式会社 車両制御システム、車両制御方法、およびプログラム
CN110219543A (zh) * 2018-03-02 2019-09-10 上海博泰悦臻网络技术服务有限公司 智能车辆及其车窗智能控制方法
JP7176273B2 (ja) * 2018-07-26 2022-11-22 トヨタ自動車株式会社 情報処理装置、情報処理方法およびプログラム
US12055799B2 (en) * 2018-08-16 2024-08-06 Sony Corporation Information processing device, information processing method and mobile object
US11354805B2 (en) * 2019-07-30 2022-06-07 Apple Inc. Utilization of luminance changes to determine user characteristics
CN110458352A (zh) * 2019-08-06 2019-11-15 华泰证券股份有限公司 预测资产价格走势的方法、服务器及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10311732A (ja) * 1997-05-09 1998-11-24 Toyota Motor Corp 車両用表示装置
JP2015230388A (ja) * 2014-06-05 2015-12-21 三菱電機株式会社 表示制御システムおよび表示制御方法
US20190152303A1 (en) * 2017-11-22 2019-05-23 Ford Global Technologies, Llc Controlling window tint levels to protect the interior cabin of an autonomous vehicle
JP2019162932A (ja) 2018-03-19 2019-09-26 株式会社リコー 画像表示装置、移動体、画像表示方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4425478A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025150406A1 (ja) * 2024-01-09 2025-07-17 パナソニックＩｐマネジメント株式会社 表示ユニット及び移動体
EP4664444A1 (en) 2024-06-12 2025-12-17 FUJIFILM Business Innovation Corp. Information processing system, program, and information processing method

Also Published As

Publication number Publication date
US20240420385A1 (en) 2024-12-19
EP4425478A1 (en) 2024-09-04
CN118120008A (zh) 2024-05-31
EP4425478A4 (en) 2025-03-12

Similar Documents

Publication Publication Date Title
JP7852696B2 (ja) 移動装置、情報処理装置、及び、情報処理方法
JP7663839B2 (ja) 信号処理装置、信号処理方法、プログラム、及び、移動装置
JP7615141B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7786398B2 (ja) 情報処理装置、情報処理方法、プログラム、移動装置、及び、情報処理システム
JP7732463B2 (ja) カメラモジュール、情報処理システム、情報処理方法、及び、情報処理装置
EP4425478A1 (en) Information processing device, information processing method, program, and information processing system
US12296740B2 (en) Vehicle
EP4404177A1 (en) Vehicle control system, vehicle control method, and program
WO2022158185A1 (ja) 情報処理装置、情報処理方法、プログラムおよび移動装置
WO2023090001A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP7676407B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2021145227A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2023053498A1 (ja) 情報処理装置、情報処理方法、記録媒体、および車載システム
WO2023166982A1 (ja) 情報処理装置、情報処理方法、及び、移動体
JP7507722B2 (ja) 情報処理プログラム及び情報処理方法
US20250067875A1 (en) Information processing apparatus, information processing method, and information processing program
EP4593369A1 (en) Information processing device and information processing method
WO2024147285A1 (en) Information processing device and information processing method
US20230377108A1 (en) Information processing apparatus, information processing method, and program
WO2024024471A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2024043053A1 (ja) 情報処理装置、情報処理方法、及び、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22886460

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18701702

Country of ref document: US

Ref document number: 202427030621

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 202280070097.6

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022886460

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022886460

Country of ref document: EP

Effective date: 20240527

NENP Non-entry into the national phase

Ref country code: JP