JP7727643B2 - 車両用表示システム及び画像照射装置 - Google Patents

Description

本開示は、車両用表示システム及び画像照射装置に関する。

特許文献１は、車両前方の障害物を乗員に視認させるために、近赤外光カメラにて撮像した画像を修整する車両用画像修正装置を開示している。また、近赤外光カメラの画像をヘッドアップディスプレイ装置に表示することで、夜間や悪条件下における乗員の運転視界を支援する夜間運転視界支援装置（ナイトビジョン）を開示している。

また特許文献２は、表示器が出射する可視光を凹面鏡によりフロントガラスで乗員の方向に反射させ、乗員に対して虚像を表示するヘッドアップディスプレイを開示している。

太陽光などの外光がヘッドアップディスプレイの内部に入り込むと、当該外光に含まれる熱線（赤外光）が表示器に集光されて局所的な温度上昇を引き起こし、画像表示の乱れや表示器の熱損壊につながる可能性がある。

特許文献２では、表示器と凹面鏡の間に配置されたコールドミラーにより赤外光が表示器に集光されることを抑制している。

日本国特開２００３－１９９０９４号公報 日本国特開２００３－３４４８０１号公報

特許文献１は、対向車両のヘッドライトや街灯よりも、車道を横断しようとしている歩行者を鮮明に表示するため、近赤外光カメラによって撮像された画像のうち、歩行者に対応する画素の障害物濃度値よりも高い濃度値の画素が存在する場合、当該画素の濃度値が障害物濃度値よりも低い濃度値となるように画像を修整することを開示している。

しかしながら特許文献１は、可視領域についても近赤外光カメラで撮像した画像を表示している。その結果、可視領域について可視光画像と近赤外光画像とが重なって表示されることとなり、視認性の観点で車両の乗員にとって煩わしいことがある。

本開示は、可視領域における視認性を向上させた、車両用表示システムを提供することを目的とする。

さらに本開示は、外光による熱害の発生を抑制することができる画像照射装置を提供することを目的とする。

本開示の第一側面に係る車両用表示システムは、
車両に設けられた車両用表示システムであって、
前記車両の外部に近赤外光を照射する第一灯具と、
前記車両の外部に可視光を照射する第二灯具と、
前記第一灯具により照射された前記車両の外部の第一画像を撮像する第一カメラと、
前記第一カメラの撮像範囲を含み、前記第二灯具により照射された前記車両の外部の第二画像を撮像する第二カメラと、
前記第二画像の輝度に基づいて、前記第二画像の画素に対応する前記第一画像の画素の輝度を下げた第三画像を生成する制御部と、
前記制御部によって生成された前記第三画像を表示するように構成されたヘッドアップディスプレイと、を備える。

本開示の車両用表示システムによれば、第一カメラと第二カメラは同じ撮像範囲を撮像する。同じ撮像範囲において、制御部は、可視光による第二画像の輝度に基づいて、第二画像の画素に対応する第一画像の画素の輝度を下げる。可視光による第二画像が高輝度画素を含んでいたとしても、当該画素に対応する第一画像の画素の輝度は下げられているので、生成される第三画像の対応する画素の輝度は低く、暗く表示される。すなわち、ヘッドアップディスプレイによって表示される第三画像において、可視光による第二画像の高輝度画素に対応する画素は暗く表示される。したがって、可視領域について可視光による第一画像と近赤外光による第二画像とが重なることによる視認性の煩わしさを低減することができる。

本開示の第二側面に係る画像照射装置は、
車両に設けられ、所定の画像を表示するように構成された画像照射装置であって、
前記所定の画像を生成するための光を出射する画像生成装置と、
前記画像生成装置により出射された光を反射する反射部と、
前記画像生成装置と前記反射部とを接続する接続部と、を備えており、
前記接続部の少なくとも一部はバイメタルにより形成されている。

バイメタルは温度変化に応じて変形する性質を有する。上記の構成によれば、外光が画像照射装置の内部に入り込み、当該外光に含まれる熱線（遠赤外線）が画像生成装置に集光される場合、画像生成装置の近傍の温度が上昇し、接続部の少なくとも一部が変形する。これにより、反射部と画像生成装置との位置関係が変化し、熱線が画像生成装置に集光することによる画像生成装置の劣化などの発生を抑制できる。結果として、外光による熱害の発生を抑制することができる。

本明細書において「画像生成装置の近傍の温度」とは、画像生成装置の周囲の温度であり、接続部が配置されている領域の温度を含む。

本開示によれば、可視領域における視認性を向上させた、車両用表示システムを提供することができる。

さらに本開示によれば、外光による熱害の発生を抑制することができる画像照射装置を提供することができる。

図１は、第一実施形態に係る車両用表示システムを備えた車両システムのブロック図である。 図２は、車両用表示システムに含まれる本実施形態に係るヘッドアップディスプレイ（ＨＵＤ）の模式図である。 図３は、車両用表示システムの処理の流れを示すフローチャートである。 図４は、車両用表示システムに含まれる第二カメラによって撮像された第二画像の概略図である。 図５は、車両用表示システムによって生成される参照画像の概略図である。 図６は、車両用表示システムに含まれる第一カメラによって撮像された第一画像の概略図である。 図７は、車両用表示システムによって生成される第三画像の概略図である。 図８は、第二実施形態に係るＨＵＤの構成を示す模式図である。 図９は、ＨＵＤの一部の構成を上方から見た模式図である。 図１０は、ＨＵＤに外光が入り込んだ場合の光路図を説明するための模式図である。 図１１は、ＨＵＤに外光が入り込んだ場合の光路図を説明するための模式図である。 図１２は、ＨＵＤの変形例の一部の構成を上方から見た模式図である。 図１３は、第三実施形態に係るＨＵＤの構成を示す模式図である。 図１４は、ＨＵＤに外光が入り込んだ場合の光路図を説明するための模式図である。 図１５は、ＨＵＤに外光が入り込んだ場合の光路図を説明するための模式図である。 図１６は、変形例に係るＨＵＤの構成を示す模式図である。 図１７は、ＨＵＤに外光が入り込んだ場合の光路図を説明するための模式図である。 図１８は、ＨＵＤに外光が入り込んだ場合の光路図を説明するための模式図である。

以下、本開示の実施形態（以下、本実施形態という。）について図面を参照しながら説明する。本図面に示された各部材の寸法は、説明の便宜上、実際の各部材の寸法とは異なる場合がある。

本実施形態の説明では、説明の便宜上、「左右方向」、「上下方向」、「前後方向」について適宜言及する場合がある。これらの方向は、図２に示すＨＵＤ（ヘッドアップディスプレイ）４２について設定された相対的な方向である。ここで、「左右方向」は、「左方向」及び「右方向」を含む方向である。「上下方向」は、「上方向」及び「下方向」を含む方向である。「前後方向」は、「前方向」及び「後方向」を含む方向である。左右方向は、図２では示されていないが、上下方向及び前後方向に直交する方向である。

（第一実施形態）
図１を参照して、本実施形態に係る車両システム２について以下に説明する。図１は、車両システム２のブロック図である。当該車両システム２が搭載された車両１は、自動運転モードで走行可能な車両（自動車）である。

図１に示すように、車両システム２は、車両制御部３と、車両用表示システム４（以下、単に「表示システム４」という。）と、センサ５と、カメラ６と、レーダ７とを備える。さらに、車両システム２は、ＨＭＩ（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）８と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）９と、無線通信部１０と、記憶装置１１と、ステアリングアクチュエータ１２と、ステアリング装置１３と、ブレーキアクチュエータ１４と、ブレーキ装置１５と、アクセルアクチュエータ１６と、アクセル装置１７とを備える。

車両制御部３は、車両の走行を制御するように構成されている。車両制御部３は、例えば、少なくとも一つの電子制御ユニット（ＥＣＵ：Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）により構成されている。電子制御ユニットは、１以上のプロセッサと１以上のメモリを含むコンピュータシステム（例えば、ＳｏＣ（Ｓｙｓｔｅｍ ｏｎ ａ Ｃｈｉｐ）等）と、トランジスタ等のアクティブ素子及びパッシブ素子から構成される電子回路を含む。プロセッサは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びＴＰＵ（Ｔｅｎｓｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のうちの少なくとも一つを含む。ＣＰＵは、複数のＣＰＵコアによって構成されてもよい。ＧＰＵは、複数のＧＰＵコアによって構成されてもよい。メモリは、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含む。ＲＯＭには、車両制御プログラムが記憶されてもよい。例えば、車両制御プログラムは、自動運転用の人工知能（ＡＩ）プログラムを含んでもよい。ＡＩプログラムは、多層のニューラルネットワークを用いた教師有り又は教師なし機械学習（特に、ディープラーニング）によって構築されたプログラム（学習済みモデル）である。ＲＡＭには、車両制御プログラム、車両制御データ及び/又は車両の周辺環境を示す周辺環境情報が一時的に記憶されてもよい。プロセッサは、ＲＯＭに記憶された各種車両制御プログラムから指定されたプログラムをＲＡＭ上に展開し、ＲＡＭとの協働で各種処理を実行するように構成されてもよい。また、コンピュータシステムは、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の非ノイマン型コンピュータによって構成されてもよい。さらに、コンピュータシステムは、ノイマン型コンピュータと非ノイマン型コンピュータの組み合わせによって構成されてもよい。

表示システム４は、ヘッドランプ２０と、撮像カメラ３０と、路面描画装置４５と、ＨＵＤ４２と、表示制御部４３とを備える。

ヘッドランプ２０は、車両１の前面における左側と右側に配置されており、車両１の外部に近赤外光を照射する第一灯具２１と、車両１の外部に可視光を照射する第二灯具２２と、を備える。第一灯具２１及び第二灯具２２はそれぞれ、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）やＬＤ（Ｌａｓｅｒ Ｄｉｏｄｅ）等の１以上の発光素子と、レンズ及びリフレクタ等の光学部材を有する。

第一灯具２１は、少なくとも水平よりも上方を含む範囲に近赤外光を照射するよう構成されている。例えば第一灯具２１は、ハイビームを車両１の前方に照射するよう構成されたハイビームランプである。第二灯具２２は、水平よりも上方を含む範囲及び水平よりも下方を含む範囲に可視光を照射するよう構成されている。例えば第二灯具２２は、ハイビームを車両１の前方に照射するよう構成されたハイビームランプと、ロービームを車両１の前方に照射するよう構成されたロービームランプを含む。第二灯具２２のハイビームランプは、歩行者や対向車の乗員にグレアを与えることを抑制するためにＡＤＢ（Ａｄａｐｔｉｖｅ Ｄｒｉｖｉｎｇ Ｂｅａｍ）機能を備えている。なお第一灯具２１は、水平よりも下方を含む範囲に近赤外光を照射してもよい。第一灯具２１と第二灯具２２は、一体的に一つの筐体内に設けられてもよいし、別々の筐体内にそれぞれ設けられてもよい。

撮像カメラ３０は、第一灯具２１により照射された車両１の外部の第一画像Ｘ１を撮像する第一カメラ３１と、第二灯具２２により照射された車両１の外部の第二画像Ｘ２を撮像する第二カメラ３２と、を備える。第一カメラ３１の撮像範囲と第二カメラ３２の撮像範囲は同じ撮像領域を含む。ほぼ同じ撮像角度とほぼ同じ撮像範囲を得るために、第一カメラ３１と第二カメラ３２は同じ筐体内に一体的に設けられることが好ましい。第一画像Ｘ１は、近赤外光を照射する第一灯具２１により照射された光の反射光、および外部で発光された近赤外光を受光することにより形成される、近赤外光画像である。第二画像Ｘ２は、可視光を照射する第二灯具２２により照射された光の反射光、および外部で発光された可視光を受光することにより形成される、可視光画像である。

路面描画装置４５は、ヘッドランプ２０の灯室内に配置されている。路面描画装置４５は、車両１の外部の路面に向けて光パターンを出射するように構成されている。路面描画装置４５は、例えば、光源部と、駆動ミラーと、レンズやミラー等の光学系と、光源駆動回路と、ミラー駆動回路とを有する。光源部は、レーザ光源又はＬＥＤ光源である。例えば、レーザ光源は、赤色レーザ光と、緑色レーザ光と、青色レーザ光をそれぞれ出射するように構成されたＲＧＢレーザ光源である。駆動ミラーは、例えば、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）ミラー、ＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｒｒｏｒ Ｄｅｖｉｃｅ）、ガルバノミラー、ポリゴンミラー等である。光源駆動回路は、光源部を駆動制御するように構成されている。光源駆動回路は、表示制御部４３から送信された所定の光パターンに関連する信号に基づいて、光源部の動作を制御するための制御信号を生成した上で、当該生成された制御信号を光源部に送信するように構成されている。ミラー駆動回路は、駆動ミラーを駆動制御するように構成されている。ミラー駆動回路は、表示制御部４３から送信された所定の光パターンに関連する信号に基づいて、駆動ミラーの動作を制御するための制御信号を生成した上で、当該生成された制御信号を駆動ミラーに送信するように構成されている。光源部がＲＧＢレーザ光源である場合、路面描画装置４５は、レーザ光を走査することで様々の色の光パターンを路面上に描画することが可能となる。例えば、光パターンは、車両の進行方向を示す矢印形状の光パターンであってもよい。

また、路面描画装置４５の描画方式は、ラスタースキャン方式、ＤＬＰ（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ）方式又はＬＣＯＳ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ ｏｎ Ｓｉｌｉｃｏｎ）方式であってもよい。ＤＬＰ方式又はＬＣＯＳ方式が採用される場合、光源部はＬＥＤ光源であってもよい。また、路面描画装置の描画方式として、プロジェクション方式が採用されてもよい。プロジェクション方式が採用される場合、光源部は、マトリクス状に並んだ複数のＬＥＤ光源であってもよい。路面描画装置４５は、左右のヘッドランプの灯室内にそれぞれ配置されてもよいし、車体ルーフ上、バンパーまたはグリル部に配置されてもよい。

ＨＵＤ４２は、少なくとも一部が車両１の内部に位置する。具体的には、ＨＵＤ４２は、車両１の室内の所定箇所に設置されている。例えば、ＨＵＤ４２は、車両１のダッシュボード内に配置されてもよい。ＨＵＤ４２は、車両１と乗員との間の視覚的インターフェースである。ＨＵＤ４２は、所定の情報（以下、ＨＵＤ情報という。）が車両１の外部の現実空間（特に、車両の前方の周辺環境）と重畳されるように当該ＨＵＤ情報を乗員に向けて表示するように構成されている。このように、ＨＵＤ４２は、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）ディスプレイである。ＨＵＤ４２によって表示されるＨＵＤ情報は、例えば、車両１の走行に関連した車両走行情報及び／又は車両１の周辺環境に関連した周辺環境情報（特に、車両１の外部に存在する対象物に関連した情報）である。ＨＵＤ４２の詳細は後述する。

表示制御部４３は、路面描画装置４５、ヘッドランプ２０及びＨＵＤ４２の動作を制御するように構成されている。表示制御部４３は、電子制御ユニット（ＥＣＵ）により構成されている。電子制御ユニットは、１以上のプロセッサと１以上のメモリを含むコンピュータシステム（例えば、ＳｏＣ等）と、トランジスタ等のアクティブ素子及びパッシブ素子から構成される電子回路を含む。プロセッサは、ＣＰＵ、ＭＰＵ、ＧＰＵ及びＴＰＵのうちの少なくとも一つを含む。メモリは、ＲＯＭと、ＲＡＭを含む。また、コンピュータシステムは、ＡＳＩＣやＦＰＧＡ等の非ノイマン型コンピュータによって構成されてもよい。表示制御部４３は制御部の一例である。

本実施形態では、車両制御部３と表示制御部４３は、別個の構成として設けられているが、車両制御部３と表示制御部４３は一体的に構成されてもよい。この点において、表示制御部４３と車両制御部３は、単一の電子制御ユニットにより構成されていてもよい。また、表示制御部４３は、ヘッドランプ２０と路面描画装置４５の動作を制御するように構成された電子制御ユニットと、ＨＵＤ４２の動作を制御するように構成された電子制御ユニットの２つの電子制御ユニットによって構成されてもよい。また、ＨＵＤ４２の動作を制御する制御基板４２５が表示制御部４３の一部として構成されていてもよい。

センサ５は、加速度センサ、速度センサ及びジャイロセンサのうち少なくとも一つを含む。センサ５は、車両１の走行状態を検出して、走行状態情報を車両制御部３に出力するように構成されている。センサ５は、運転者が運転席に座っているかどうかを検出する着座センサ、運転者の顔の方向を検出する顔向きセンサ、外部天候状態を検出する外部天候センサ及び車内に人がいるかどうかを検出する人感センサ等をさらに備えてもよい。

カメラ６は、例えば、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（相補型ＭＯＳ）等の撮像素子を含むカメラである。カメラ６は、一以上の外部カメラ６Ａと、内部カメラ６Ｂとを含む。外部カメラ６Ａは、車両の周辺環境を示す画像データを取得した上で、当該画像データを車両制御部３に送信するように構成されている。車両制御部３は、送信された画像データに基づいて、周辺環境情報を取得する。ここで、周辺環境情報は、車両１の外部に存在する対象物（歩行者、他車両、標識等）に関する情報を含んでもよい。例えば、周辺環境情報は、車両１の外部に存在する対象物の属性に関する情報と、車両１に対する対象物の距離や位置に関する情報とを含んでもよい。外部カメラ６Ａは、単眼カメラとしても構成されてもよいし、ステレオカメラとして構成されてもよい。また撮像カメラ３０は、外部カメラ６Ａに代用されてもよい。

内部カメラ６Ｂは、車両１の内部に配置されると共に、乗員を示す画像データを取得するように構成されている。内部カメラ６Ｂは、乗員の視点Ｅをトラッキングするトラッキングカメラとして機能する。ここで、乗員の視点Ｅは、乗員の左目の視点又は右目の視点のいずれかであってもよい。または、視点Ｅは、左目の視点と右目の視点を結んだ線分の中点として規定されてもよい。表示制御部４３は、内部カメラ６Ｂによって取得された画像データに基づいて、乗員の視点Ｅの位置を特定してもよい。乗員の視点Ｅの位置は、画像データに基づいて、所定の周期で更新されてもよいし、車両の起動時に一回だけ決定されてもよい。

レーダ７は、ミリ波レーダ、マイクロ波レーダ及びレーザーレーダ（例えば、ＬｉＤＡＲユニット）のうちの少なくとも一つを含む。例えば、ＬｉＤＡＲユニットは、車両１の周辺環境を検出するように構成されている。特に、ＬｉＤＡＲユニットは、車両１の周辺環境を示す３Ｄマッピングデータ（点群データ）を取得した上で、当該３Ｄマッピングデータを車両制御部３に送信するように構成されている。車両制御部３は、送信された３Ｄマッピングデータに基づいて、周辺環境情報を特定する。

ＨＭＩ８は、運転者からの入力操作を受付ける入力部と、走行情報等を運転者に向けて出力する出力部とから構成される。入力部は、ステアリングホイール、アクセルペダル、ブレーキペダル、車両の運転モードを切替える運転モード切替スイッチ等を含む。出力部は、各種走行情報を表示するディスプレイ（ＨＵＤを除く）である。ＧＰＳ９は、車両１の現在位置情報を取得し、当該取得された現在位置情報を車両制御部３に出力するように構成されている。

無線通信部１０は、車両１の周囲にいる他車に関する情報（例えば、走行情報等）を他車から受信すると共に、車両１に関する情報（例えば、走行情報等）を他車に送信するように構成されている（車車間通信）。また、無線通信部１０は、信号機や標識灯等のインフラ設備からインフラ情報を受信すると共に、車両１の走行情報をインフラ設備に送信するように構成されている（路車間通信）。また、無線通信部１０は、歩行者が携帯する携帯型電子機器（スマートフォン、タブレット、ウェアラブルデバイス等）から歩行者に関する情報を受信すると共に、車両１の自車走行情報を携帯型電子機器に送信するように構成されている（歩車間通信）。車両１は、他車両、インフラ設備又は携帯型電子機器とアドホックモードにより直接通信してもよいし、アクセスポイントを介して通信してもよい。さらに、車両１は、図示しない通信ネットワークを介して他車両、インフラ設備又は携帯型電子機器と通信してもよい。通信ネットワークは、インターネット、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及び無線アクセスネットワーク（ＲＡＮ）のうちの少なくとも一つを含む。無線通信規格は、例えば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）、ＬＰＷＡ、ＤＳＲＣ（登録商標）又はＬｉ－Ｆｉである。また、車両１は、他車両、インフラ設備又は携帯型電子機器と第５世代移動通信システム（５Ｇ）を用いて通信してもよい。

記憶装置１１は、ハードディスクドライブ（ＨＤＤ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の外部記憶装置である。記憶装置１１には、２次元又は３次元の地図情報及び／又は車両制御プログラムが記憶されてもよい。例えば、３次元の地図情報は、３Ｄマッピングデータ（点群データ）によって構成されてもよい。記憶装置１１は、車両制御部３からの要求に応じて、地図情報や車両制御プログラムを車両制御部３に出力するように構成されている。地図情報や車両制御プログラムは、無線通信部１０と通信ネットワークを介して更新されてもよい。

車両が自動運転モードで走行する場合、車両制御部３は、走行状態情報、周辺環境情報、現在位置情報、地図情報等に基づいて、ステアリング制御信号、アクセル制御信号及びブレーキ制御信号のうち少なくとも一つを自動的に生成する。ステアリングアクチュエータ１２は、ステアリング制御信号を車両制御部３から受信して、受信したステアリング制御信号に基づいてステアリング装置１３を制御するように構成されている。ブレーキアクチュエータ１４は、ブレーキ制御信号を車両制御部３から受信して、受信したブレーキ制御信号に基づいてブレーキ装置１５を制御するように構成されている。アクセルアクチュエータ１６は、アクセル制御信号を車両制御部３から受信して、受信したアクセル制御信号に基づいてアクセル装置１７を制御するように構成されている。このように、車両制御部３は、走行状態情報、周辺環境情報、現在位置情報、地図情報等に基づいて、車両１の走行を自動的に制御する。つまり、自動運転モードでは、車両１の走行は車両システム２により自動制御される。

一方、車両１が手動運転モードで走行する場合、車両制御部３は、アクセルペダル、ブレーキペダル及びステアリングホイールに対する運転者の手動操作に従って、ステアリング制御信号、アクセル制御信号及びブレーキ制御信号を生成する。このように、手動運転モードでは、ステアリング制御信号、アクセル制御信号及びブレーキ制御信号が運転者の手動操作によって生成されるので、車両１の走行は運転者により制御される。

次に、車両の運転モードについて説明する。運転モードは、自動運転モードと手動運転モードとからなる。自動運転モードは、完全自動運転モードと、高度運転支援モードと、運転支援モードとからなる。完全自動運転モードでは、車両システム２がステアリング制御、ブレーキ制御及びアクセル制御の全ての走行制御を自動的に行うと共に、運転者は車両１を運転できる状態にはない。高度運転支援モードでは、車両システム２がステアリング制御、ブレーキ制御及びアクセル制御の全ての走行制御を自動的に行うと共に、運転者は車両１を運転できる状態にはあるものの車両１を運転しない。運転支援モードでは、車両システム２がステアリング制御、ブレーキ制御及びアクセル制御のうち一部の走行制御を自動的に行うと共に、車両システム２の運転支援の下で運転者が車両１を運転する。一方、手動運転モードでは、車両システム２が走行制御を自動的に行わないと共に、車両システム２の運転支援なしに運転者が車両１を運転する。

次にＨＵＤ４２の詳細を説明する。図２は本実施形態に係るＨＵＤ４２の模式図である。図２に示すように、ＨＵＤ４２は、ＨＵＤ本体部４２０を備えている。ＨＵＤ本体部４２０は、ハウジング４２２と出射窓４２３を有する。出射窓４２３は可視光を透過させる透明板である。ＨＵＤ本体部４２０は、ハウジング４２２の内側に、画像生成部（ＰＧＵ：Ｐｉｃｔｕｒｅ Ｇｅｎｅｒａｔｉｏｎ Ｕｎｉｔ）４２４と、制御基板４２５と、凹面鏡４２６と、駆動機構４２７と、平面鏡４２８とを有する。

画像生成部４２４は、所定の画像を生成するための光を出射するように構成されている。画像生成部４２４は、ハウジング４２２に固定されている。画像生成部４２４から出射される光は、例えば、可視光である。画像生成部４２４は、詳細な図示は省略するが、光源と、光学部品と、表示デバイスとを有する。光源は、例えば、レーザ光源又はＬＥＤ光源である。ＬＥＤ光源は、例えば、白色のＬＥＤ光源である。レーザ光源は、例えば、赤色レーザ光と、緑光レーザ光と、青色レーザ光をそれぞれ出射するように構成されたＲＧＢレーザ光源である。光学部品は、プリズム、レンズ、拡散板、拡大鏡等を有する。光学部品は、光源から出射された光を透過して表示デバイスに向けて出射する。表示デバイスは、液晶ディスプレイ、ＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｒｒｏｒ Ｄｅｖｉｃｅ）等である。画像生成部４２４の描画方式は、ラスタースキャン方式、ＤＬＰ（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ）方式又はＬＣＯＳ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｏｎ Ｓｉｌｉｃｏｎ）方式であってもよい。ＤＬＰ方式又はＬＣＯＳ方式が採用される場合、ＨＵＤ４２の光源はＬＥＤ光源であってもよい。なお、液晶ディスプレイ方式が採用される場合、ＨＵＤ４２の光源は白色ＬＥＤ光源であってもよい。画像生成部４２４は、画像生成装置の一例である。

制御基板４２５は、画像生成部４２４、駆動機構４２７を含む各部の動作を制御するように構成されている。制御基板４２５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサとメモリが搭載され、メモリから読みだしたコンピュータプログラムをプロセッサが実行して、画像生成部４２４の動作を制御する。制御基板４２５は、表示制御部４３から送信された画像データに基づいて、画像生成部４２４の動作を制御するための制御信号を生成した上で、当該生成された制御信号を画像生成部４２４に送信するように構成されている。制御基板４２５は、車両１の車両制御部３に接続されており、例えば、車両制御部３から送信される車両走行情報や周辺環境情報等に基づいて制御信号を生成し、生成された制御信号を画像生成部４２４に送信してもよい。また、制御基板４２５は、駆動機構４２７を介して凹面鏡４２６の向きを変更するように制御してもよい。

凹面鏡４２６は、画像生成部４２４から出射されて平面鏡４２８により反射された光の光路上に配置されている。具体的には、凹面鏡４２６は、ＨＵＤ本体部４２０内において、画像生成部４２４及び平面鏡４２８の前側に配置されている。凹面鏡４２６は、画像生成部４２４により出射された光を、出射窓４２３を介してウインドシールド１８（例えば、車両１のフロントウィンドウ）に向けて反射するよう構成されている。凹面鏡４２６は、虚像を形成する、凹状に湾曲した反射面を有し、画像生成部４２４から出射され結像した光の像を所定の倍率で反射させる。

ＨＵＤ本体部４２０の出射窓４２３から出射された光は、ウインドシールド１８に照射される。ＨＵＤ本体部４２０からウインドシールド１８に照射された光の一部は、乗員の視点Ｅに向けて反射される。この結果、乗員は、ＨＵＤ本体部４２０から出射された光をウインドシールド１８の前方の所定の距離において形成された虚像（所定の画像）として認識する。このように、ＨＵＤ４２によって表示される画像がウインドシールド１８を通して車両１の前方の現実空間に重畳される結果、乗員は、所定の画像により形成される虚像オブジェクトＩが車両外部に位置する道路上に浮いているように視認することができる。

なお、虚像オブジェクトＩとして２Ｄ画像（平面画像）を形成する場合には、所定の画像を任意に定めた単一距離の虚像となるように投影する。虚像オブジェクトＩとして３Ｄ画像（立体画像）を形成する場合には、互いに同一または互いに異なる複数の所定の画像をそれぞれ異なる距離の虚像となるように投影する。また、虚像オブジェクトＩの距離（乗員の視点Ｅから虚像までの距離）は、画像生成部４２４から乗員の視点Ｅまでの距離を調整する（例えば画像生成部４２４と凹面鏡４２６との間の距離を調整する）ことによって調整可能である。また、ＨＵＤ本体部４２０は、平面鏡４２８を有していなくてもよい。この場合、画像生成部４２４から出射された光は、平面鏡４２８で反射することなく、凹面鏡４２６に入射する。

次に、本実施形態に係る表示システム４の処理の流れを説明する。図３は表示システム４の処理の流れを示すフローチャートである。

図３に示すように、まず、第一灯具２１は車両１の外部に近赤外光を照射する（ステップＳＡ１）。その後、近赤外光によって照らされた車両１の外部の様子を、第一カメラ３１が撮像して第一画像Ｘ１を取得する（ステップＳＡ２）。近赤外光画像である第一画像Ｘ１では、近赤外光で明るく照らされた対象物に対応する画素は高い輝度の画素となり、近赤外光で比較的暗く照らされた対象物に対応する画素には低い輝度の画素となる。輝度は０～２５５までの値を有してもよい。第一カメラ３１は取得した第一画像Ｘ１を表示制御部４３へ送信する。

同様にして、第二灯具２２は車両１の外部に可視光を照射する（ステップＳＢ１）。その後、可視光によって照らされた車両１の外部の様子を、第二カメラ３２が撮像して第二画像Ｘ２を取得する（ステップＳＢ２）。可視光画像である第二画像Ｘ２には、可視光で明るく照らされた対象物に対応する画素は高い輝度の画素となり、可視光で比較的暗く照らされた対象物に対応する画素は低い輝度の画素となる。輝度は０～２５５までの値を有してもよい。第二カメラ３２は取得した第二画像Ｘ２を表示制御部４３へ送信する。

第一カメラ３１の撮像範囲と第二カメラ３２の撮像範囲は同じ撮像範囲を含むため、第一カメラ３１で撮像した第一画像Ｘ１の画素Ｐ１Ａと、第二カメラ３２で撮像した第二画像Ｘ２の画素Ｐ２Ａは、互いに対応しており、ある一つの同位置の対象物を示す。同様に、第一画像Ｘ１の画素Ｐ１Ｂと、第二画像Ｘ２の画素Ｐ２Ｂは、互いに対応しており、他の同位置の対象物を示す。

また第一灯具２１は、車両１の前方であって、水平よりも上方を含む範囲に近赤外光を照射する一方で、第二灯具２２は、車両１の前方であって、水平よりも上方を含む範囲及び水平よりも下方を含む範囲に可視光を照射する。第二灯具２２は、可視光を照射する場合に歩行者や対向車の乗員にグレアを与えることを抑えるためＡＤＢ機能を備える。すなわち、第二灯具２２は歩行者や対向車本体に対して可視光を照射しないものの、第一灯具２１は歩行者や対向車本体に対して近赤外光を照射する。第一画像Ｘ１の画素Ｐ１Ａは近赤外光を反映した輝度の画素となり、第二画像Ｘ２の画素Ｐ２Ａは可視光を反映した輝度の画素となる。同様に、第一画像Ｘ１の画素Ｐ１Ｂは近赤外光を反映した輝度の画素となり、第二画像Ｘ２の画素Ｐ２Ｂは可視光を反映した輝度の画素となる。それぞれの輝度は互いに関連しておらず、独立した値である。

表示制御部４３は、送信された第二画像Ｘ２に対して階調反転処理を行う（ステップＳＢ３）。具体的に表示制御部４３は、第二画像Ｘ２における高輝度画素の輝度と、第二画像Ｘ２における低輝度画素の輝度を相対的に反転させる。階調反転処理により、明るい画素として検出された画素の輝度は高い値から低い値へ変換され、暗い画素として検出された画素の輝度は低い値から高い値へ変換される。例えば、第二画像Ｘ２において最も明るく表示されている画素Ｐ２Ａ（高輝度画素の一例）の輝度が２５５である場合、階調反転処理によって画素Ｐ２Ａの輝度は０に変換される。例えば、第二画像Ｘ２において比較的暗く表示されている画素Ｐ２Ｂ（低輝度画素の一例）の輝度が３０である場合、階調反転処理によって画素Ｐ２Ｂの輝度は２２５に変換される。

表示制御部４３はさらに、階調反転処理が施された第二画像Ｘ２に対して透明化処理を行う（ステップＳＢ４）。具体的に表示制御部４３は、輝度の高くなった画素Ｐ２Ｂに対して高い透明度を設定し、輝度の低くなった画素Ｐ２Ａに対して低い透明度を設定する。例えば階調反転処理によって画素Ｐ２Ｂの輝度が２２５に変換された場合、画素Ｐ２Ｂには透明度２２５が設定される。例えば階調反転処理によって画素Ｐ２Ａの輝度が０に変換された場合、画素Ｐ２Ａには透明度０が設定される。

表示制御部４３は、第二画像Ｘ２に透明化処理を施すことで参照画像Ｙを生成する（ステップＳＢ５）。可視光画像である第二画像Ｘ２において最も明るく表示されている画素Ｐ２Ａは、参照画像Ｙにおいては画素Ｐ２Ａ’に対応する。画素Ｐ２Ａ’の透明度は０である。可視光画像である第二画像Ｘ２において比較的暗く表示されている画素Ｐ２Ｂは、参照画像Ｙにおいては画素Ｐ２Ｂ’に対応する。画素Ｐ２Ｂ’の透明度は２２５である。

表示制御部４３は、参照画像Ｙを生成した後、生成した参照画像Ｙと、第一カメラ３１から送信された第一画像Ｘ１とを重ね合わせることにより第三画像Ｘ３を生成する（ステップＳ７）。例えば参照画像Ｙの画素Ｐ２Ａ’に対応する、第一画像Ｘ１の画素Ｐ１Ａの輝度が１００である場合、輝度１００の画素Ｐ１Ａに透明度０の画素Ｐ２Ａ’が重ね合わされる。このとき、透明度０の画素Ｐ２Ａ’は、重ね合わされる画素Ｐ１Ａの輝度がいかなる数値であってもその光を全く透過させないため、画素Ｐ１Ａの輝度は０となる。例えば参照画像Ｙの画素Ｐ２Ｂ’に対応する、第一画像Ｘ１の画素Ｐ１Ｂの輝度が１００である場合、輝度１００の画素Ｐ１Ｂに透明度２２５の画素Ｐ２Ｂ’が重ね合わされる。このとき、透明度２２５の画素Ｐ２Ｂ’は、重ね合わされる画素Ｐ１Ｂの輝度の多くを透過させるため、画素Ｐ１Ｂの輝度は例えば８８となる。

このように表示制御部４３は、第二画像Ｘ２の輝度に基づいて、第二画像Ｘ２の画素に対応する第一画像Ｘ１の画素の輝度を下げた、第三画像Ｘ３を生成する。より詳細には、可視光画像である第二画像Ｘ２において最も明るく表示されていた画素には低い透明度が設定されるため、対応する第三画像Ｘ３の画素は暗く表示される。逆に可視光画像である第二画像Ｘ２において比較的暗く表示されていた画素には高い透明度が設定されるため、対応する第三画像Ｘ３の画素は比較的明るく表示される。

表示制御部４３によって生成された第三画像Ｘ３は、ＨＵＤ４２によって車両１の乗員に向けて表示される（ステップＳ８）。具体的にはＨＵＤ４２は、第三画像Ｘ３が車両１の外部の可視可能な空間と重畳されるように、第三画像Ｘ３を乗員に向けて表示するよう構成されている。このようにして車両１の乗員は、可視光画像である第二画像Ｘ２の輝度に基づいて、近赤外光画像である第一画像Ｘ１の画素の輝度が下げられた第三画像Ｘ３を視認することができる。

なお、第三画像Ｘ３が生成される際（ステップＳ７）、重ね合わされる参照画像Ｙと第一画像Ｘ１の両方が同じ対象物を示すように、第一カメラ３１及び第二カメラ３２の撮像タイミングは所定の僅かな時間だけ異なっていることが好ましい。具体的には、表示制御部４３が第二画像Ｘ２に基づき参照画像Ｙを生成するために必要とする僅かな時間だけ、第一カメラ３１の撮像タイミングが第二カメラ３２の撮像タイミングよりも遅いことが好ましい。

また表示制御部４３は、第二画像Ｘ２の画素に透明度を設定する前に、第二画像Ｘ２のコントラストを調整してもよい（ステップＳＢ６）。表示制御部４３は、このようなコントラスト調整を階調反転処理（ステップＳＢ３）の前に行ってもよいし、透明化処理（ステップＳＢ４）の前に行ってもよい。例えば表示制御部４３は、画像における輝度分布が高輝度または低輝度に偏っている場合、画素Ｐ２Ａの輝度と画素Ｐ２Ｂの輝度の差が大きくなるように（第二画像Ｘ２のコントラストの差が大きく変化するように）コントラストを調整してもよい。あるいは表示制御部４３は、画素Ｐ２Ａの輝度と画素Ｐ２Ｂの輝度の差が小さくなるように（第二画像Ｘ２のコントラストの差が緩やかに変化するように）コントラストを調整してもよい。

表示制御部４３は、ＨＵＤ４２により第三画像Ｘ３を表示する（ステップＳ８）前に、第三画像Ｘ３のコントラストを調整してもよい（ステップＳＢ６）。例えば表示制御部４３は、第三画像Ｘ３のコントラストの差が大きく変化するようにコントラストを調整してもよい。あるいは表示制御部４３は、第三画像Ｘ３のコントラストの差が緩やかに変化するようにコントラストを調整してもよい。

次に図４から図７を参照して、本実施形態に係る表示システム４によって生成される各画像について説明する。図４から図７では、夜間に車両１がヘッドランプ２０を点灯させた状態で走行している場合に、表示制御部４３が取り扱う各種画像の概略図を示す。図４から図７における共通点として、車両１が走行している道路上には、対向車６０が走行している。対向車６０は、対向車本体６１に取り付けられたヘッドランプ６２を点灯させて走行している。車両１のヘッドランプ２０のロービームランプの照射によって明るく表示されている領域を、ここでは領域５３とする。ヘッドランプ６２のロービームランプの照射によって明るく表示される領域を、ここでは領域６３とする。また、車両１の前方であって、領域５３よりも遠方に歩行者７０がいる。Ｈ－Ｈは水平線を示す。本実施形態の第一灯具２１は、水平線Ｈ－Ｈよりも上方（遠方）を含む、車両１の前方全体を照射するよう構成されている。

図４は、第二カメラ３２によって撮像された第二画像Ｘ２の概略図である（図３のステップＳＢ２）。図４に示すように、可視光画像である第二画像Ｘ２においては、対向車６０のヘッドランプ６２が最も明るく表示される。ヘッドランプ６２に対応する、第二画像Ｘ２の画素Ｐ_２６２の輝度は例えば２５５である。また、車両１のヘッドランプ２０によって照らされた領域５３と、対向車６０のヘッドランプ６２によって照らされた領域６３は、比較的明るく表示される。領域５３に対応する画素Ｐ_２５３の輝度及び領域６３に対応する画素Ｐ_２６３の輝度は例えばそれぞれ２００である。対向車６０の対向車本体６１及び歩行者７０は暗く表示されており、車両１の乗員は対向車本体６１及び歩行者７０をほとんど視認することができない。対向車本体６１に対応する画素Ｐ_２６１の輝度及び歩行者７０に対応する画素Ｐ_２７０の輝度は例えばそれぞれ３０である。第二画像Ｘ２は表示制御部４３へ送信される。

表示制御部４３は、送信された第二画像Ｘ２に対して階調反転処理を行う（図３のステップＳＢ３）。例えば、ヘッドランプ６２に対応する画素Ｐ_２６２の輝度は、２５５から０へ変換される。領域５３に対応する画素Ｐ_２５３の輝度及び領域６３に対応する画素Ｐ_２６３の輝度は、２００から５５へ変換される。対向車本体６１に対応する画素Ｐ_２６１の輝度及び歩行者７０に対応する画素Ｐ_２７０の輝度は、３０から２２５へ変換される。このように表示制御部４３は、第二画像Ｘ２における高輝度画素の輝度と、第二画像Ｘ２における低輝度画素の輝度を相対的に反転させる。

階調反転処理の後、表示制御部４３は、階調反転処理を施した第二画像Ｘ２に対して透明化処理を行う（図３のステップＳＢ４）。これにより、ヘッドランプ６２に対応する画素Ｐ_２６２には透明度０が設定される。領域５３に対応する画素Ｐ_２５３及び領域６３に対応する画素Ｐ_２６３には透明度５５が設定される。対向車本体６１に対応する画素Ｐ_２６１及び歩行者７０に対応する画素Ｐ_２７０には透明度２２５が設定される。このようにして表示制御部４３は、参照画像Ｙを生成する（図３のステップＳＢ５）。図５は表示制御部４３によって生成された参照画像Ｙの概略図である。参照画像Ｙにおいて高い透明度が設定された画素は最終的に表示する画像（第三画像Ｘ３）で明るく表示する部分の画素に対応し、参照画像Ｙにおいて低い透明度が設定された画素は最終的に表示する画像（第三画像Ｘ３）で、表示しない部分あるいは暗く表示する部分の画素に対応する。図５に示すように参照画像Ｙでは、第二画像Ｘ２において最も明るく表示されていたヘッドランプ６２に対応する画素Ｐ_２６２’には低い透明度０が設定されている。一方、第二画像Ｘ２において暗く表示されていた対向車本体６１に対応する画素Ｐ_２６１’及び歩行者７０’に対応する画素Ｐ_２７０には比較的高い透明度２２５が設定される。第二画像Ｘ２において比較的明るく表示されていた領域５３に対応する画素Ｐ_２５３’及び領域６３に対応する画素Ｐ_２６３’には比較的低い透明度５５が設定される。このように本実施形態は、参照画像Ｙを作成することで、可視光画像である第二画像Ｘ２から、車両１の乗員に表示する第三画像Ｘ３として、表示されるべき画素を抽出する。

図６は、第一カメラ３１によって撮像された第一画像Ｘ１の概略図である（図３のステップＳＡ１）。図５に示すように、近赤外光画像である第一画像Ｘ１においては、対向車６０のヘッドランプ６２が最も明るく表示される。ヘッドランプ６２に対応する、第一画像Ｘ１の画素Ｐ_１６２の輝度は例えば２５５である。車両１のヘッドランプ２０によって照らされた領域５３と、対向車６０のヘッドランプ６２によって照らされた領域６３は、比較的明るく表示される。領域５３に対応する画素Ｐ_１５３の輝度及び領域６３に対応する画素Ｐ_１６３の輝度は例えば２００である。対向車６０の対向車本体６１及び歩行者７０も比較的明るく表示される。対向車本体６１に対応する画素Ｐ_１６１の輝度及び歩行者７０に対応する画素Ｐ_１７０の輝度は例えば２００である。第一画像Ｘ１は表示制御部４３へ送信される。

表示制御部４３は、送信された第一画像Ｘ１（図６）と生成された参照画像Ｙ（図５）とを重ね合わせることにより第三画像Ｘ３を生成する（図３のステップＳ７）。当該画像処理はいわゆるマスク処理であり、第三画像Ｘ３はマスクされた画像である。例えばヘッドランプ６２に対応する第一画像Ｘ１の画素Ｐ_１６２には、参照画像Ｙの画素Ｐ_２６２’が重ね合わされる。画素Ｐ_２６２’の透明度は０であるため、重ね合わされると画素Ｐ_１６２の輝度は０となる。領域５３に対応する第一画像Ｘ１の画素Ｐ_１５３には、参照画像Ｙの画素Ｐ_２５３’が重ね合わされる。画素Ｐ_２５３’の透明度は５５であるため、重ね合わされると画素Ｐ_１５３の輝度は約４０となる。領域６３に対応する第一画像Ｘ１の画素Ｐ_１６３も同様である。対向車本体６１に対応する第一画像Ｘ１の画素Ｐ_１６１には、参照画像Ｙの画素Ｐ_２６１’が重ね合わされる。画素Ｐ_２６１’の透明度は２２５であるため、重ね合わされると画素Ｐ_１６１の輝度は約１８０となる。歩行者７０に対応する第一画像Ｘ１の画素Ｐ_１７０も同様である。

図７は、表示制御部４３によって生成された第三画像Ｘ３の概略図である。図７に示すように、可視光画像である第二画像Ｘ２において最も明るく表示されていたヘッドランプ６２の画素Ｐ_２６２には低い透明度が設定されるため、対応する第三画像Ｘ３の画素は暗く表示される。本例においては第三画像Ｘ３のヘッドランプ６２の画素の輝度が低すぎるため、第三画像Ｘ３のヘッドランプ６２は全く表示されない。逆に可視光画像である第二画像Ｘ２において比較的暗く表示されていた対向車本体６１の画素Ｐ_２６１または歩行者７０のＰ_２７０には高い透明度が設定されるため、対応する第三画像Ｘ３の画素は比較的明るく表示される。本例においては車両１の乗員は第三画像Ｘ３に基づいて対向車本体６１や歩行者７０を視認することができる。可視光画像である第二画像Ｘ２において比較的明るく表示されていた領域５３または領域６３の画素Ｐ_２５３またはＰ_２６３には低い透明度が設定されるため、対応する第三画像Ｘ３の画素は暗く表示される。本例においては第三画像Ｘ３の領域５３あるいは領域６３は輝度が低すぎるため、車両１の乗員は領域５３あるいは領域６３をほとんど視認しない。

仮に本実施形態を用いない場合の、車両用表示システムを説明する。一般的に夜間を走行する車両１の乗員は、フロントガラスを介して図４に示される第二画像Ｘ２（可視光画像）の内容を視認することができる。例えば乗員は、対向車６０のヘッドランプ６２や、領域５３、６３を視認することができるが、対向車本体６１や歩行者７０を視認することはできない。これは、夜間や悪天候などの視界不良の状況下では可視光によって照らされる対象物が限られるためである。仮に視界支援のために、図６に示す第一画像Ｘ１（近赤外光画像）をＨＵＤ４２に表示させた場合、乗員はＨＵＤ４２を介して対向車本体６１や歩行者７０を視認することができる。しかしながら同時に乗員は、ＨＵＤ４２を介してヘッドランプ６２や、領域５３、６３も視認してしまう。フロントガラス越しに既に視認できている対向車６０のヘッドランプ６２や領域５３、６３が更にＨＵＤ４２に表示されると、視認性の観点で乗員にとって煩わしいことがある。

一方本実施形態では、第一カメラ３１と第二カメラ３２は同じ撮像範囲を含む。同じ撮像範囲において、表示制御部４３は、可視光による第二画像Ｘ２の輝度に基づいて、第二画像Ｘ２の高輝度画素に対応する第一画像Ｘ１の画素の輝度を下げる。可視光による第二画像Ｘ２が高輝度画素を含んでいたとしても、当該画素に対応する第一画像Ｘ１の画素の輝度は下げられているので、生成される第三画像Ｘ３の対応する画素の輝度は低く、暗く表示される。すなわち、ＨＵＤ４２によって表示される第三画像Ｘ３において、可視光による第二画像Ｘ２の高輝度画素に対応する画素は暗く表示される。例えば、対向車６０のヘッドランプ６２や領域５３、６３はＨＵＤ４２に暗く表示される。フロントガラス越しに既に視認できている対向車６０のヘッドランプ６２や領域５３、６３が、ＨＵＤ４２では暗く表示されるため、視認性の煩わしさを低減することができる。以上説明したように本実施形態によれば、近赤外光画像である第一画像Ｘ１をそのままＨＵＤ４２に表示させた場合と比較して、可視光画像である第二画像Ｘ２に対応する第一画像Ｘ１の画素の輝度を下げた第三画像Ｘ３をＨＵＤ４２に表示させるため、より優れた夜間運転視界支援システム（ナイトビジョンシステム）を提供することができる。

表示制御部４３は、第二画像Ｘ２における高輝度画素の輝度を低く、低輝度画素の輝度を高くするように反転させ、反転された画素値の高低に基づいて透明度の高低を設定する。このようにして生成された参照画像Ｙと第一画像Ｘ１とを重ね合わせることで、高精度な第三画像Ｘ３を生成することができる。したがって可視領域について第一画像Ｘ１と第二画像Ｘ２とが重なることによる視認性の煩わしさを低減することができる。

表示制御部４３は透明度を設定する前に、第二画像Ｘ２のコントラストの差を調整することにより、透明度の差を調整することができる。例えば第二画像Ｘ２のコントラストの差を大きくした場合、高輝度画素の輝度と低輝度画素の輝度の差が大きくになるため、透明度の差も大きくなる。その結果、表示制御部４３は高輝度画素と低輝度画素の境界が明確に表れる参照画像Ｙを作成することができ、高輝度画素と低輝度画素の境界がより強調された第三画像Ｘ３を抽出することができる。一方、高輝度画素と低輝度画素のコントラストの差を小さくした場合、透明度の差も滑らかに設定される。その結果、表示制御部４３は高輝度画素と低輝度画素の境界における細かい輝度の違いも参照画像Ｙに表すことができ、より精緻な第三画像Ｘ３を生成することができる。

表示制御部４３が生成する第三画像Ｘ３では、全体的に輝度が低くなる場合がある。しかしながら、表示制御部は第三画像Ｘ３のコントラストを調整するため、第三画像Ｘ３のうち比較的高輝度である画素の輝度をより高く、比較的低輝度である画素の輝度でも、車両１の乗員が視認できる程度まで高く設定することができる。したがって、第三画像Ｘ３全体として暗くなりすぎることはなく、ＨＵＤ４２を用いてより鮮明に第三画像Ｘ３を表示することができる。

近赤外光を照射する第一灯具２１が、水平よりも上方を含む範囲、すなわち遠方まで近赤外光を照射するよう構成されている。したがって、夜間や悪条件下において、車両１の乗員が視認できない遠方の障害物に対しても近赤外光を照射することができるため、乗員は遠方の障害物を確認することができ、運転の安全性を向上することができる。

（第二実施形態）
図８は、第二実施形態に係るＨＵＤ４２Ａを車両１の側面側から見た模式図である。図９は、画像生成部４２４、凹面鏡４２６および接続部４２９を上方から見た模式図である。ＨＵＤ４２Ａは、車両１に設けられている。例えば、ＨＵＤ４２Ａは、車両１のダッシュボード内に配置される。尚、第二実施形態の説明では、第一実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は省略する。ＨＵＤ４２Ａは、画像照射装置の一例である。

ＨＵＤ４２Ａは、所定の画像を表示するように構成されている。所定の画像は、静止画または動画（映像）を含みうる。ＨＵＤ４２Ａは、車両１と車両１の乗員との間の視覚的インターフェースとして機能する。具体的には、所定の情報が車両１の外部の現実空間（特に、車両１の前方の周辺環境）と重畳されるように、当該情報を画像として表示するように構成されている。ＨＵＤ４２Ａによって表示される情報は、例えば、車両１の走行に関連した車両走行情報及び／又は車両１の周辺環境に関連した周辺環境情報（特に、車両１の外部に存在する対象物に関連した情報）等である。

図８に示すように、ＨＵＤ４２ＡのＨＵＤ本体部４２０は、ハウジング４２２の内部に、画像生成部（ＰＧＵ）４２４と、制御基板４２５と、平面鏡４２８と、凹面鏡４２６と、接続部４２９とを有する。凹面鏡４２６は、反射部の一例である。

本例においては、図９に例示されるように、画像生成部４２４は、表示デバイス２４１を囲むフレーム部２４２を有している。

平面鏡４２８は、画像生成部４２４から出射される光の光路上に配置されている。具体的には、平面鏡４２８は、画像生成部４２４の上方に配置され、画像生成部４２４から出射された光を凹面鏡４２６に向けて反射するように構成されている。平面鏡４２８は、平面状の反射面を有し、画像生成部４２４から出射されて結像された光の像を同一の倍率で反射させる。

本例において凹面鏡４２６は、回転軸４２６Ａを有しており、回転軸４２６Ａを中心として回転可能に構成されている。

接続部４２９は、画像生成部４２４と凹面鏡４２６とを接続するように構成されている。本例においては、図９に例示されるように、接続部４２９は、画像生成部４２４のフレーム部２４２の左端と凹面鏡４２６の左端とを接続する接続部とフレーム部２４２の右端と凹面鏡４２６の右端とを接続する接続部とにより構成されている。

接続部４２９は、バイメタルにより形成されている。バイメタルは、温度変化に応じて変形する性質を有している。具体的には、バイメタルは、熱膨張率が異なる複数の金属板により構成されており、温度変化により湾曲または平面状に変形する。すなわち、接続部４２９は、その周囲の温度変化に応じて変形するように構成されており、接続部４２９の変形により、接続部４２９に接続された凹面鏡４２６は、回転軸４２６Ａを中心として回転されて、その反射面の向きが変更される。

上記のように構成されたＨＵＤ４２Ａにおいては、図８に例示されるように、画像生成部４２４から出射された光Ｌ１は、平面鏡４２８及び凹面鏡４２６で反射されてＨＵＤ本体部４２０の出射窓４２３から出射される。ＨＵＤ本体部４２０の出射窓４２３から出射された光は、ウインドシールド１８に照射される。出射窓４２３からウインドシールド１８に照射された光の一部は、乗員の視点Ｅに向けて反射される。この結果、乗員は、ＨＵＤ本体部４２０から出射された光をウインドシールド１８の前方の所定の距離において形成される虚像（所定の画像）として認識する。

ところで、図１０に例示されるように、車両外部から入射した太陽光などの外光Ｌ２がＨＵＤ４２Ａの出射窓４２３からハウジング４２２内部に入り込み、凹面鏡４２６および平面鏡４２８により反射されて画像生成部４２４に集光される場合がある。この場合、外光に含まれる遠赤外線により画像生成部４２４に過度の温度上昇が生じ、画像生成部４２４が劣化してしまう可能性がある。

これに対して、第二実施形態に係る接続部４２９は、車両外部から入射した外光Ｌ２が画像生成部４２４に集光されて画像生成部４２４近傍の温度が上昇すると、図１１に例示されるように変形する。これにより、凹面鏡４２６は、回転軸４２６Ａを中心として回転されて、その反射面の向きが変更される。このように平面鏡４２８の反射面に対する凹面鏡４２６の反射面の角度が変化することにより、凹面鏡４２６により反射された外光Ｌ２は、平面鏡４２８により画像生成部４２４とは異なる方向に反射される。したがって、凹面鏡４２６および平面鏡４２８により反射された外光Ｌ２が画像生成部４２４に入射することを防ぐことができ、外光Ｌ２に含まれる遠赤外線が画像生成部４２４に集光することによる画像生成部４２４の劣化などの発生を抑制できる。結果として、熱害の発生を防止することができる。

本実施形態において、バイメタルにより形成された接続部４２９は、画像生成部４２４近傍の温度が所定の閾値を超えると変形するように構成されうる。例えば、接続部４２９は、画像生成部４２４近傍の温度が９０℃以上の場合に変形するように構成されうる。

上述したように画像生成部４２４近傍の温度の上昇に伴い接続部４２９が変形することにより、平面鏡４２８の反射面に対する凹面鏡４２６の反射面の角度が変化し、平面鏡４２８により反射された外光Ｌ２が画像生成部４２４に入射することを抑制することができる。一方、画像生成部４２４から出射されて平面鏡４２８により反射された光は、平面鏡４２８の反射面に対する凹面鏡４２６の反射面の角度の変化により、凹面鏡４２６の所定の位置に入射されないので、ＨＵＤ４２Ａにより表示される画像は本来表示されるべき位置に表示されなくなる。

しかしながら、上記の構成によれば、接続部４２９は、画像生成部４２４近傍の温度が所定の閾値以下の場合は変形しないように構成されている。したがって、外光Ｌ２による画像生成部４２４の劣化を抑制しながら、ＨＵＤ４２Ａにより表示される画像の視認性を確保することができる。

また、本実施形態において、接続部４２９を構成するバイメタルは、Ｃｒ－Ｎｉ－ＭＮ合金からなる金属板とＮｉ－Ｆｅ合金からなる金属板とが接着されることにより形成されうる。例えば、図１０に例示されるように、接続部４２９は、Ｃｒ－Ｎｉ－ＭＮ合金からなる金属板４２９Ａ１およびＮｉ－Ｆｅ合金からなる金属板４２９Ａ２からなるバイメタルにより形成される。接続部４２９は、Ｃｒ－Ｎｉ－ＭＮ合金からなる金属板４２９Ａ１が収縮することにより、上方に湾曲した状態に形成されている。一方、例えば画像生成部４２４近傍の温度が９０℃以上になると、図１１に例示されるようにＣｒ－Ｎｉ－ＭＮ合金からなる金属板４２９Ａ１が膨張することにより、接続部４２９は平面状に変形する。

このような構成によれば、接続部４２９は、画像生成部４２４を構成する表示デバイスの正常に動作可能な上限温度（例えば、液晶ディスプレイの場合は約１０５℃）に近い温度で変形するので、外光Ｌ２による画像生成部４２４の劣化を抑制しながら、ＨＵＤ４２Ａにより表示される画像の視認性を確保することができる。

また、本実施形態において、画像生成部４２４のフレーム部２４２は、金属により形成されうる。このような構成によれば、画像生成部４２４の表示デバイス２４１の温度上昇をフレーム部２４２の熱伝導により接続部４２９に伝達させることができる。

また、フレーム部２４２は、バイメタルにより形成されてもよい。この場合、図１２に例示されるように、接続部４２９とフレーム部２４２は、単一部材を構成するように形成されてもよい。すなわち、接続部４２９とフレーム部２４２は、モノリシックな構造を有しうる。このような構成によれば、画像生成部４２４の温度の上昇に伴い、フレーム部２４２が変化する。したがって、画像生成部４２４の温度またはその近傍の温度の上昇に伴い、平面鏡４２８の反射面に対する凹面鏡４２６の反射面の角度を変化させることができる。

（第三実施形態）
次に、図１３から図１５を参照して、第三実施形態に係るＨＵＤ４２Ｂについて説明する。尚、第三実施形態の説明では、第二実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は省略する。また、図１３において、制御基板４２５の図示は省略されている。

第三実施形態に係るＨＵＤ４２Ｂにおいては、画像生成部４２４から出射された光が凹面鏡４２６により反射される点で、画像生成部４２４から出射された光が平面鏡４２８と凹面鏡４２６により反射される第二実施形態のＨＵＤ４２Ａとは異なる。

図１３に示すように、凹面鏡４２６は、画像生成部４２４から出射される光の光路上に配置されている。具体的には、ハウジング４２２内において、凹面鏡４２６は画像生成部４２４の前側に配置されており、凹面鏡４２６の反射面は画像生成部４２４の光出射面（表示デバイス２４１）に対向している。

画像生成部４２４から出射された光Ｌ３は、凹面鏡４２６で反射されてＨＵＤ本体部４２０の出射窓４２３から出射される。ＨＵＤ本体部４２０の出射窓４２３から出射された光は、ウインドシールド１８に照射される。出射窓４２３からウインドシールド１８に照射された光の一部は、乗員の視点Ｅに向けて反射される。

一方、図１４に例示されるように、ＨＵＤ４２Ｂのハウジング４２２内部に入り込んだ外光Ｌ４が凹面鏡４２６により反射されて画像生成部４２４に集光されて、画像生成部４２４近傍の温度が上昇すると、図１５に例示されるように接続部４２９が変形する。これにより、凹面鏡４２６は、回転軸４２６Ａを中心として回転されて、その反射面の向きが変更される。このように画像生成部４２４の光出射面（表示デバイス２４１）に対する凹面鏡４２６の反射面の角度が変化することにより、凹面鏡４２６により反射された外光Ｌ４は、画像生成部４２４とは異なる方向に反射される。したがって、凹面鏡４２６により反射された外光Ｌ４が画像生成部４２４に入射することを抑制でき、熱害の発生を防止することができる。

以上、本開示の実施形態について説明をしたが、本開示の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではないのは言うまでもない。本実施形態は単なる一例であって、請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本開示の技術的範囲は請求の範囲に記載された発明の範囲及びその均等の範囲に基づいて定められるべきである。

上記の第二および第三実施形態において、接続部４２９は、バイメタルから形成されている。しかしながら、接続部４２９の少なくとも一部がバイメタルにより形成されている構造も採用されうる。図１６に例示されるように、接続部４２９は、連結部４２９Ｂと駆動部４２９Ｃを有している。連結部４２９Ｂは、バイメタルにより形成されており、駆動部４２９Ｃと画像生成部４２４とを連結するように構成されている。

駆動部４２９Ｃは、凹面鏡４２６に接続されている。駆動部４２９Ｃは、制御基板４２５（図示省略）から送信される制御信号に基づいて回転軸４２６Ａを中心として凹面鏡４２６を回転させて凹面鏡４２６の反射面の向きを変化させる。

具体的には、図１６および図１７に例示されるように、駆動部４２９Ｃは、軸部４２９Ｄと移動機構４２９Ｅとを有する。軸部４２９Ｄは、その一端が凹面鏡４２６に接続されている。移動機構４２９Ｅは、例えば、ウォームギアとＤＣモータで構成されており、軸部４２９Ｄを軸方向に移動させる。軸部４２９Ｄを軸方向に移動させることにより、回転軸４２６Ａを中心にして凹面鏡４２６が回転される。

図１７に例示されるようにＨＵＤ４２Ｃのハウジング４２２内部に入り込んだ外光が凹面鏡４２６により反射されて画像生成部４２４に集光されることにより画像生成部４２４近傍の温度が上昇すると、図１８に例示されるように連結部４２９Ｂが変形する。連結部４２９Ｂの変形により連結部４２９Ｂに接続された移動機構４２９Ｅは軸部４２９Ｄと共に移動される。これにより、凹面鏡４２６は回転軸４２６Ａを中心として回転してその反射面の向きが変化し、画像生成部４２４の表示デバイス２４１に対する凹面鏡４２６の反射面の角度が変化する。したがって、凹面鏡４２６により反射された外光が画像生成部４２４に入射することを抑制でき、熱害の発生を防止することができる。

なお、移動機構４２９Ｅは可動軸４２９Ｅ１を有しており、可動軸４２９Ｅ１がレール（図示せず）内を移動可能なように構成されてもよい。すなわち、連結部４２９Ｂの変形に伴い移動機構４２９Ｅの可動軸４２９Ｅ１がレール内を移動する。これにより、駆動部４２９Ｃの位置決めを容易に行うことができる。

上記の第二および第三実施形態において、接続部４２９は、画像生成部４２４と凹面鏡４２６とを接続している。しかしながら、第二実施形態において、接続部４２９は、画像生成部４２４と平面鏡４２８とを接続するように構成されうる。第三実施形態において、凹面鏡４２６は平面鏡として構成されて、接続部４２９は、画像生成部４２４と平面鏡とを接続するように構成されうる。

上記の第二実施形態において、接続部４２９は、温度上昇に伴い湾曲から平面状に変形するように構成されている。しかしながら、接続部４２９は、温度上昇に伴い平面状から湾曲に変形するように構成されてもよい。同様に、上記の第三実施形態において、接続部４２９は、温度上昇に伴い平面状から湾曲に変形するように構成されている。しかしながら、温度上昇に伴い湾曲から平面状に変形するように構成されてもよい。

上記の第二および第三実施形態において、画像生成部４２４は、表示デバイス２４１を囲むフレーム部２４２を有しており、接続部４２９はフレーム部２４２に接続されている。しかしながら、接続部４２９は、画像生成部４２４の他の部分に接続されうる。例えば、図８において、接続部４２９は、画像生成部４２４の表示デバイス２４１から離れた下部分に接続されてもよい。

上記の第二および第三実施形態において、凹面鏡４２６は回転軸４２６Ａを中心に回動することにより、凹面鏡４２６の反射面の向きが変化されている。しかしながら、凹面鏡４２６が変位することにより平面鏡４２８の反射面や画像生成部４２４の光出射面に対する凹面鏡４２６の反射面の角度が変化する構成であれば、他の構成も取りうる。

上記の第二および第三実施形態では、画像生成部４２４から出射された光は、凹面鏡４２６で反射されてウインドシールド１８に照射されるように構成されている。しかしながら。例えば、凹面鏡４２６で反射された光は、ウインドシールド１８の内側に設けたコンバイナ（不図示）に照射されるようにしてもよい。コンバイナは、例えば、透明なプラスチックディスクで構成される。ＨＵＤ本体部４２０の画像生成部４２４からコンバイナに照射された光の一部は、ウインドシールド１８に光を照射した場合と同様に、乗員の視点Ｅに向けて反射される。

本出願は、２０２０年９月１４日出願の日本出願第２０２０－１５３９０９号、２０２０年１１月１６日出願の日本出願第２０２０－１９０１５５号に基づく優先権を主張し、前記日本出願に記載された全ての記載内容を援用するものである。

Claims (9)

1. 車両に設けられた車両用表示システムであって、
   前記車両の外部に近赤外光を照射する第一灯具と、
   前記車両の外部に可視光を照射する第二灯具と、
   前記第一灯具により照射された前記車両の外部の第一画像を撮像する第一カメラと、
   前記第一カメラの撮像範囲を含み、前記第二灯具により照射された前記車両の外部の第二画像を撮像する第二カメラと、
   前記第二画像の輝度に基づいて、前記第二画像の画素に対応する前記第一画像の画素の輝度を下げた第三画像を生成する制御部と、
   前記制御部によって生成された前記第三画像を表示するように構成されたヘッドアップディスプレイと、を備え、
   前記制御部は、前記第二画像において高輝度画素の輝度と低輝度画素の輝度を相対的に反転させ、輝度の高くなった画素に対して高い透明度を設定し、輝度の低くなった画素に対して低い透明度を設定した、参照画像を生成し、
   前記制御部は、前記参照画像と前記第一画像とを重ね合わせることにより前記第三画像を生成する、車両用表示システム。
2. 前記制御部は、透明度を設定する前に、前記第二画像のコントラストを調整する、請求項１に記載の車両用表示システム。
3. 前記制御部は、前記第三画像のコントラストを調整する、請求項１または２に記載の車両用表示システム。
4. 前記第一灯具は、水平よりも上方を含む範囲に前記近赤外光を照射する、請求項１から３のいずれか一項に記載の車両用表示システム。
5. 車両に設けられ、所定の画像を表示するように構成された画像照射装置であって、
   前記所定の画像を生成するための光を出射する画像生成装置と、
   前記画像生成装置により出射された光を反射する反射部と、
   前記画像生成装置と前記反射部とを接続する接続部と、を備えており、
   前記接続部の少なくとも一部はバイメタルにより形成されている、画像照射装置。
6. 前記バイメタルにより形成された前記接続部の少なくとも一部は、前記画像生成装置の近傍の温度が所定の閾値を超えると変形する、請求項５に記載の画像照射装置。
7. 前記バイメタルは、Ｃｒ－Ｎｉ－ＭＮ合金からなる金属板とＮｉ－Ｆｅ合金からなる金属板とが接着されることにより形成される、請求項５に記載の画像照射装置。
8. 前記画像生成装置は、表示デバイスと、当該表示デバイスを囲むフレーム部とを有しており、
   前記接続部は、前記フレーム部に接続されており、
   前記フレーム部は、前記バイメタルにより形成されている、請求項５から７のいずれか一項に記載の画像照射装置。
9. 前記画像生成装置は、表示デバイスと、当該表示デバイスを囲むフレーム部とを有しており、
   前記接続部は、前記フレーム部に接続されており、
   前記フレーム部は、金属により形成されている、請求項５から７のいずれか一項に記載の画像照射装置。