JP7802193B2 - 空中浮遊映像表示装置 - Google Patents

Description

本発明は、空中浮遊映像表示装置に関する。

空中浮遊情報表示技術については、例えば、特許文献１に開示されているように、再帰性反射を用いた結像方式によって実現されている。

特願２０１８－５６４１２７号公報

しかしながら、特許文献１の開示では、映像の結像面までの光路長は、領域ごとに異なるため、空中浮遊映像の解像度にばらつきが生じる。

映像における領域ごとの解像度に差が生じると、表示位置による鮮鋭感が異なり、コンテンツ内の文字の大きさなどを最も鮮鋭感の低い領域で視認出来るように作成するなどの制限が生じたり、空中浮遊映像に対する入力操作の精度が領域ごとに異なったりするなど、ユーザが強い違和感を覚えることになる。

本発明はかかる事情に鑑みてなされたものであり、より好適な空中浮遊映像表示装置を提供することを目的とする。

上記課題を解決するために、本発明の一実施の態様は、例えば、空中浮遊映像を表示する空中浮遊映像表示装置を、映像入力インタフェースと、映像入力インタフェースを介して入力された入力映像に基づく映像に処理を行う映像処理回路と、映像処理回路の処理を経た映像を表示する映像表示部と、映像表示部から出射した映像光を反射して空中浮遊映像を形成せしめる再帰性反射板と、を備え、映像表示部の表示面から出射した映像光について、映像表示部の表示面から出射して再帰性反射板における反射を介して空中浮遊映像の位置に到達するまでの光路長が、映像光が出射する映像表示部の表示面における位置に応じて異なるものであり、映像処理回路は、映像光の光路長が異なる複数の位置に対応する、入力映像に基づく映像の複数の位置において、異なる映像鮮鋭化処理を行う、ように構成すればよい。

本発明によれば、より好適な空中浮遊映像表示装置を実現できる。

本発明の一実施例に係る、空中浮遊映像表示装置の使用形態の一例を示す図である。 本発明の一実施例に係る、空中浮遊映像表示装置の主要部構成と再帰反射部構成の一例を示す図である。 本発明の一実施例に係る、空中浮遊映像表示装置を構成する、再帰性反射板の投影図である。 本発明の一実施例に係る、空中浮遊映像表示装置を構成する、再帰性反射板の上面図である。 本発明の一実施例に係る、空中浮遊映像表示装置を構成する、再帰性反射板を構成する、コーナーリフレクタを示す斜視図である。 本発明の一実施例に係る、空中浮遊映像表示装置を構成する、再帰性反射板を構成する、コーナーリフレクタを示す上面図である。 本発明の一実施例に係る、空中浮遊映像表示装置を構成する、再帰性反射板を構成する、コーナーリフレクタを示す側面図である。 本発明の一実施例に係る、空中浮遊映像表示装置を制御する、回路ブロック図である。 本発明の一実施例に係る、空中浮遊映像表示装置の、一構成例における、結像光路を示す図である。 本発明の一実施例に係る、空中浮遊映像表示装置の、一構成例における、結像光路を示す図である。 本発明の一実施例に係る、空中浮遊映像表示装置の、出力空中浮遊像の一例を示す図である。 本発明の一実施例に係る、空中浮遊映像表示装置の、出力空中浮遊像の輝度分布を示す図である。 本発明の一実施例に係る、空中浮遊映像表示装置の、空間周波数に対する、光学伝達特性を示す図である。 本発明の一実施例に係る、画像処理手法の一例を示す図である。 本発明の一実施例に係る、画像処理手法に用いられる、各種フィルタの成分を示す図である。 本発明の一実施例に係る、画像処理手法に用いられる、各種フィルタの成分を示す図である。 本発明の一実施例に係る、画像処理手法によって、得られる映像信号の波形変化における評価指標を示す図である。 本発明の一実施例に係る、画像処理手法の、フィルタ設定の一例を示す図である。 本発明の一実施例に係る、画像処理手法の、フィルタ設定の一例を示す図である。 本発明の一実施例に係る、画像処理手法に用いられる、各種フィルタパラメータによって得られる、映像信号の波形変化を示す図である。 本発明の一実施例に係る、画像処理手法の、フィルタ設定の一例を示す図である。 本発明の一実施例に係る、画像処理手法の、フィルタ設定の一例を示す図である。 本発明の一実施例に係る、画像処理手法に用いられる、各種フィルタパラメータによって得られる、映像信号の波形変化を示す図である。 本発明の一実施例に係る、画像処理手法の、フィルタ設定の一例を示す図である。 本発明の一実施例に係る、画像処理手法に用いられる、各種フィルタパラメータによって得られる、映像信号の波形変化を示す図である。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、本発明は実施例の説明に限定されるものではなく、本明細書に開示される技術的思想の範囲内において当業者による様々な変更および修正が可能である。また、本発明を説明するための全図において、同一の機能を有するものには、同一の符号を付与し、その繰り返しの説明は省略する場合がある。

以下の実施例は、映像発光源からの映像光による映像を、ガラス等の空間を仕切る透明な部材を介して透過して、前記透明な部材の外部に空中浮遊映像として表示することが可能な映像表示装置に関する。なお、以下の実施例の説明において、空中に浮遊する映像を「空中浮遊映像」という用語で表現している。この用語の代わりに、「空中像」、「空間像」、「空間浮遊映像」、「表示映像の空間浮遊光学像」、「表示映像の空中浮遊光学像」などと表現してもかまわない。実施例の説明で主として用いる「空中浮遊映像」との用語は、これらの用語の代表例として用いている。

以下の実施例によれば、例えば、銀行のＡＴＭや駅の券売機やデジタルサイネージ等において好適な映像表示装置を実現できる。例えば、現状、銀行のＡＴＭや駅の券売機等では、通常、タッチパネルが用いられているが、透明なガラス面や光透過性の板材を用いて、このガラス面や光透過性の板材上に高解像度な映像情報を空中浮遊した状態で表示可能となる。また、例えば、車両において車両内部および／または外部において視認可能である、いわゆる、一方向性の空中映像表示が可能な車両用空中浮遊映像表示装置を提供することができる。本映像表示装置において、好適な画像処理手法を適用することで、空中浮遊映像全面における鮮鋭感を同程度になるように補正することが可能である。本画像処理手法により、空中浮遊映像に対する入力操作の精度を改善する。

図１は、本発明の一実施例に係る空中浮遊映像表示装置の使用形態の一例を示す図であり、本実施例に係る空中浮遊映像表示装置の全体構成を示す図である。空中浮遊映像表示装置の具体的な構成については、図２等を用いて詳述するが、空中浮遊映像表示装置１０００から再帰性反射による集束性の映像光束が出射され、透明な部材１００（ガラス等）を透過して、ガラス面の外側に、実像である空中像（空中浮遊映像３）を形成する。空中浮遊映像３では、入力操作４に対する応答を反映させることができる。なお、以下の実施例においては、結像面に対して右方向をｘ、下（上）方向をｙ、奥行き方向をｚとした３軸を、結像面の端点３０を原点として、各構成図における共通化された座標系として設定する。同様に、空中浮遊映像表示装置１０００の幅方向をａ、奥行き方向をｂ、高さ方向をｃとした３軸を各構成図における共通化された座標系として設定する。空中浮遊映像表示装置及び出力空中浮遊映像に関する説明図面では、各図に対応する方向を示した本座標系としてｘｙｚ方向軸及びａｂｃ方向軸が記載されている場合がある。

図２は、本発明の一実施例に係る空中浮遊映像表示装置の主要部構成と再帰反射部構成の一例を示す図である。ガラス等の透明な部材１００の斜め方向には、特定の映像光を発散させる表示装置１０を備える。表示装置１０は、液晶表示パネル１１と、固有の拡散特性を有する光を生成する光源装置１３とを備えている。

表示装置１０から出射された光束を代表する主光線２０は、ｙ方向に進行し、再帰性反射板５に対して入射角α（例えば、４５°）で入射する。再帰性反射板５は、少なくとも光線を一部の方向について再帰性反射する光学特性を有する光学部材である。また、反射後の光線は結像する光学特性を有するため、再帰性反射板５は結像光学部材または結像光学プレートと表現してもよい。再帰性反射板５の具体的な構成については、図３Ａ、図３Ｂ等を用いて詳述するが、再帰性反射板５によって、主光線２０は、ｃ方向に進行しつつ、ａ、ｂ方向に関して再帰性反射される。これにより、反射光線２１は、ｚ方向に進行し、透明な部材１００を透過して、結像面において実像として空中浮遊映像３を形成する。

空中浮遊映像３を形成する光束は、再帰性反射板５から空中浮遊映像３の光学像へ収束する光線の集合であり、これらの光線は、空中浮遊映像３の光学像を通過後も直進する。よって、空中浮遊映像３は、一般的なプロジェクタなどでスクリーン上に形成される拡散映像とは異なり、高い指向性を有する映像である。よって、図２の構成では、矢印Ａの方向からユーザが視認する場合は、空中浮遊映像３は、明るい映像として視認される。しかし、矢印Ｂの方向から他の人物が視認する場合は、空中浮遊映像３は、映像として一切視認することはできない。この特性は、高いセキュリティが求められる映像や、ユーザに正対する人物には秘匿したい秘匿性の高い映像を表示するシステムに採用する場合に好適である。

図３Ａ、図３Ｂを用いて再帰性反射板５の構成の一例について説明する。再帰性反射板５は、透明な部材５０の表面に、複数のコーナーリフレクタ４０を、アレイ状に配列した構成となっている。コーナーリフレクタ４０の具体的な構成については、図４Ａ、図４Ｂ、図４Ｃを用いて詳述するが、光源１１０から出射された光線１１１、１１２、１１３、１１４は、コーナーリフレクタ４０の２つの鏡面４１、４２によって２回反射され、反射光線１２１、１２２、１２３、１２４となる。この２回反射は、ａ、ｂ方向に関しては、入射方向と同一方向に折り返す（１８０°回転した方向に進む）再帰性反射となっており、ｃ方向に関しては、全反射により入射角と反射角が一致する正反射となる。すなわち、光線１１１～１１４は、コーナーリフレクタ４０に対してｃ方向に対称な直線上に、反射光線１２１～１２４を生じ、空中実像１２０を結像する。なお、光源１１０から出射される光線１１１～１１４は、光源１１０からの拡散光を代表した４光線であり、光源１１０の拡散特性によっては、再帰性反射板５に入射する光線はこれらに限定されないが、いずれの入射光線も同様の反射を引き起こし、空中実像１２０を結像する。なお、図面を見やすくするために、光源１１０の位置と空中実像１２０のa方向の位置をずらして表記しているが、実際は光源１１０の位置と空中実像１２０のa方向の位置は同じ位置であり、ｃ方向から見ると重なった位置になる。

次に、図４Ａ、図４Ｂ、図４Ｃにて再帰性反射板５を構成するコーナーリフレクタ４０の構成及び効果について説明する。コーナーリフレクタ４０は、特定の２つの面のみが鏡面４１、４２となっており、それ以外の４面は透明な部材で形成された、直方体である。再帰性反射板５は、このコーナーリフレクタ４０が、その対応する鏡面が同一方向を向くようにアレイ配列された構成を有している。

上面（＋ｃ方向）から見ると、光源１１０から出射される光線１１１は、特定の入射角で鏡面４１（又は鏡面４２）に入射し、反射点１３０にて全反射された後、鏡面４２（又は鏡面４１）上の反射点１３２で再度全反射される。光線１１１の、鏡面４１(又は鏡面４２)に対する入射角をθとすると、鏡面４１（又は鏡面４２）で反射された、第一の反射光線１３１の、鏡面４２（又は鏡面４１）に対する入射角は、９０°－θと表すことができる。したがって、光線１１１に対して、第二の反射光線１２１は、１回目の反射によって２θ、２回目の反射によって２×（９０°－θ）の回転を得るため、合計で１８０°の反転光路となる。一方、側面（－ａと－ｂの中間方向）から見ると、ｃ方向に対する全反射は、１回のみしか生じない。したがって、鏡面４１又は鏡面４２に対する入射角をφとすると、光線１１１に対して、反射光線１２１は、１回の反射によって２×φの回転を得る。

以上より、コーナーリフレクタ４０に入射する光線は、ａ、ｂ方向には反転光路となる再帰性反射を生じ、ｃ方向には全反射による正反射となる。再帰性反射板５を考えると、各光路においても同様の反射を引き起こすので、ａ、ｂ方向に対しては収束性を持った反転光路によって、ｃ軸方向に対して対称な点に結像する。映像出力部１０からの光線により結像した空中浮遊像の解像度は、液晶表示パネル１１の解像度の他に、図３Ａ、図３Ｂで示す再帰性反射板５の再帰反射部の直径ＤとピッチＰ（図示なし）に大きく依存する。例えば、７インチのＷＵＸＧＡ（１９２０×１２００画素）液晶表示パネルを用いる場合には、１画素（１トリプレット）が約８０μｍであっても、例えば再帰反射部の直径Ｄが２４０μｍでピッチＰが３００μｍであれば、空中浮遊像の１画素は３００μｍ相当となる。このため、空中浮遊映像の実効的な解像度は１／３程度に低下する。

そこで、空中浮遊映像の解像度を表示装置１０の解像度と同等にするためには、再帰反射部の直径ＤとピッチＰを液晶表示パネルの１画素に近づけることが望まれる。他方、再帰性反射板と液晶表示パネルの画素によるモアレの発生を抑えるため、それぞれのピッチ比を１画素の整数倍から外して設計するとよい。また、形状は、再帰反射部のいずれの一辺も液晶表示パネルの１画素のいずれの一辺と重ならないように配置するとよい。

なお、本実施例に係る再帰性反射板（結像光学プレート）の形状は上述の例に限られない。再帰性反射を実現するさまざまな形状を有してよい。具体的には、各種キュービックコーナ体でもよく、スリットミラーアレイ、その反射面の組み合わせを周期的に配置した形状でもよい。または、ガラスビーズを周期的に配置したカプセルレンズ型再帰性反射素子を、本実施例の再帰性反射板の表面に備えてもよい。これらの再帰性反射素子の詳細な構成は、既存の技術を用いればよいので、詳細な説明は省略する。具体的には、特開２０１７－３３００５号公報、特開２０１９－１３３１１０号公報などに開示される技術を用いればよい。

続いて、空中浮遊映像表示装置１０００の内部構成のブロック図について説明する。図５は、空中浮遊映像表示装置１０００の内部構成の一例を示すブロック図である。

空中浮遊映像表示装置１０００は、再帰反射部１１０１、映像表示部１１０２、導光体１１０４、光源１１０５、電源１１０６、外部電源入力インタフェース１１１１、操作入力部１１０７、不揮発性メモリ１１０８、メモリ１１０９、制御部１１１０、映像信号入力部１１３１、音声信号入力部１１３３、通信部１１３２、空中操作検出センサ１３５１、空中操作検出部１３５０、音声出力部１１４０、映像制御部１１６０、ストレージ部１１７０、撮像部１１８０等を備えている。なお、リムーバブルメディアインタフェース１１３４、姿勢センサ１１１３、透過型自発光映像表示装置１６５０、第２の表示装置１６８０、または二次電池１１１２などを備えてもよい。

空中浮遊映像表示装置１０００の各構成要素は、筐体１１９０に配置されている。なお、撮像部１１８０および空中操作検出センサ１３５１は、筐体１１９０の外側に設けられてもよい。

図５の再帰反射部１１０１は、図２の再帰性反射板５に対応している。再帰反射部１１０１は、映像表示部１１０２により変調された光を再帰性反射する。再帰反射部１１０１からの反射光のうち、空中浮遊映像表示装置１０００の外部に出力された光により空中浮遊映像３が形成される。

図５の映像表示部１１０２は、図２の液晶表示パネル１１に対応している。図５の光源１１０５と図５の導光体１１０４は、図２の光源装置１３に含まれている対応関係となる。

映像表示部１１０２は、後述する映像制御部１１６０による制御により入力される映像信号に基づいて、透過する光を変調して映像を生成する表示部である。映像表示部１１０２は、図２の液晶表示パネル１１に対応している。映像表示部１１０２として、例えば透過型液晶パネルが用いられる。また、映像表示部１１０２として、例えば反射する光を変調する方式の反射型液晶パネルやＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ：登録商標）パネル等が用いられてもよい。

光源１１０５は、映像表示部１１０２用の光を発生するものであり、ＬＥＤ光源、レーザ光源等の固体光源である。電源１１０６は、外部から外部電源入力インタフェース１１１１介して入力されるＡＣ電流をＤＣ電流に変換し、光源１１０５に電力を供給する。また、電源１１０６は、空中浮遊映像表示装置１０００内の各部に、それぞれ必要なＤＣ電流を供給する。二次電池１１１２は、電源１１０６から供給される電力を蓄電する。また、二次電池１１１２は、外部電源入力インタフェース１１１１を介して、外部から電力が供給されない場合に、光源１１０５およびその他電力を必要とする構成に対して電力を供給する。すなわち、空中浮遊映像表示装置１０００が二次電池１１１２を備える場合は、外部から電力が供給されない場合でもユーザは空中浮遊映像表示装置１０００を使用することが可能となる。

導光体１１０４は、光源１１０５で発生した光を導光し、映像表示部１１０２に照射させる。導光体１１０４と光源１１０５とを組み合わせたものを、映像表示部１１０２のバックライトと称することもできる。導光体１１０４は、主にガラスを用いた構成にしてもよい。導光体１１０４は、主にプラスチックを用いた構成にしてもよい。導光体１１０４は、ミラーを用いた構成にしてもよい。導光体１１０４と光源１１０５との組み合わせには、さまざまな方式が考えられる。導光体１１０４と光源１１０５との組み合わせについての具体的な構成例については、後で詳しく説明する。

空中操作検出センサ１３５１は、ユーザの指による空中浮遊映像３の操作を検出するセンサである。空中操作検出センサ１３５１は、例えば空中浮遊映像３の表示範囲の全部と重畳する範囲をセンシングする。なお、空中操作検出センサ１３５１は、空中浮遊映像３の表示範囲の少なくとも一部と重畳する範囲のみをセンシングしてもよい。

空中操作検出センサ１３５１の具体例としては、赤外線などの非可視光、非可視光レーザ、超音波等を用いた距離センサが挙げられる。また、空中操作検出センサ１３５１は、複数のセンサを組み合わせ、２次元平面の座標を検出できるように構成されたものでもよい。また、空中操作検出センサ１３５１は、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式のＬｉＤＡＲ(Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ)や、画像センサで構成されてもよい。

空中操作検出センサ１３５１は、ユーザが指で空中浮遊映像３として表示されるオブジェクトに対するタッチ操作等を検出するためのセンシングができればよい。このようなセンシングは、既存の技術を用いて行うことができる。

空中操作検出部１３５０は、空中操作検出センサ１３５１からセンシング信号を取得し、センシング信号に基づいてユーザの指による空中浮遊映像３のオブジェクトに対する接触の有無や、ユーザの指とオブジェクトとが接触した位置（接触位置）の算出等を行う。空中操作検出部１３５０は、例えば、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の回路で構成される。また、空中操作検出部１３５０の一部の機能は、例えば制御部１１１０で実行される空中操作検出用プログラムによりソフトウェアで実現されてもよい。

空中操作検出センサ１３５１および空中操作検出部１３５０は、空中浮遊映像表示装置１０００に内蔵された構成としてもよいが、空中浮遊映像表示装置１０００の外部に設けられてもよい。空中浮遊映像表示装置１０００の外部に設ける場合、空中操作検出センサ１３５１および空中操作検出部１３５０は、有線または無線の通信接続路や映像信号伝送路を介して空中浮遊映像表示装置１０００に情報や信号を伝達できるように構成される。

また、空中操作検出センサ１３５１および空中操作検出部１３５０は、空中浮遊映像表示装置１０００と別体で設けられてもよい。これにより、空中操作検出機能の無い空中浮遊映像表示装置１０００を本体として、空中操作検出機能のみをオプションで追加できるようなシステムを構築することが可能である。また、空中操作検出センサ１３５１のみを別体とし、空中操作検出部１３５０が空中浮遊映像表示装置１０００に内蔵された構成でもよい。空中浮遊映像表示装置１０００の設置位置に対して空中操作検出センサ１３５１をより自由に配置したい場合等には、空中操作検出センサ１３５１のみを別体とする構成に利点がある。

撮像部１１８０は、イメージセンサを有するカメラであり、空中浮遊映像３付近の空間、および／またはユーザの顔、腕、指などを撮像する。撮像部１１８０は、複数設けられてもよい。また、撮像部１１８０は、深度センサ付きであってもよい。複数の撮像部１１８０を用いることで、あるいは深度センサ付きの撮像部１１８０を用いることで、ユーザによる空中浮遊映像３のタッチ操作の検出処理の際、空中操作検出部１３５０を補助することができる。撮像部１１８０は、空中浮遊映像表示装置１０００と別体で設けられてもよい。撮像部１１８０を空中浮遊映像表示装置１０００と別体で設ける場合、有線または無線の通信接続路などを介して空中浮遊映像表示装置１０００に撮像信号を伝達できるように構成すればよい。

例えば、空中操作検出センサ１３５１が、空中浮遊映像３の表示面を含む平面（侵入検出平面）を対象として、この侵入検出平面内への物体の侵入の有無を検出する物体侵入センサとして構成された場合、侵入検出平面内に侵入していない物体（例えば、ユーザの指）が侵入検出平面からどれだけ離れているのか、あるいは物体が侵入検出平面にどれだけ近いのかといった情報を、空中操作検出センサ１３５１では検出できない場合がある。

このような場合、複数の撮像部１１８０の撮像画像に基づく物体の深度算出情報や深度センサによる物体の深度情報等の情報を用いることにより、物体と侵入検出平面との距離を算出することができる。そして、これらの情報や、物体と侵入検出平面との距離等の各種情報は、空中浮遊映像３に対する各種表示制御に用いられる。

また、空中操作検出センサ１３５１を用いずに、撮像部１１８０の撮像画像に基づき、空中操作検出部１３５０がユーザによる空中浮遊映像３のタッチ操作を検出するようにしてもよい。

また、撮像部１１８０が空中浮遊映像３を操作するユーザの顔を撮像し、制御部１１１０がユーザの識別処理を行うようにしてもよい。また、空中浮遊映像３を操作するユーザの周辺や背後に他人が立っており、他人が空中浮遊映像３に対するユーザの操作を覗き見ていないか等を判別するため、撮像部１１８０は、空中浮遊映像３を操作するユーザと、ユーザの周辺領域とを含めた範囲を撮像するようにしてもよい。

操作入力部１１０７は、例えば操作ボタンや、リモートコントローラ等の信号受信部または赤外光受光部であり、ユーザによる空中操作（タッチ操作）とは異なる操作についての信号を入力する。空中浮遊映像３をタッチ操作する前述のユーザとは別に、操作入力部１１０７は、例えば管理者が空中浮遊映像表示装置１０００を操作するために用いられてもよい。

映像信号入力部１１３１は、外部の映像出力装置を接続して映像データを入力する。映像信号入力部１１３１は、さまざまなデジタル映像入力インタフェースが考えられる。例えば、映像信号入力部１１３１は、ＨＤＭＩ（登録商標）（Ｈｉｇｈ―Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）規格の映像入力インタフェース、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）規格の映像入力インタフェース、またはＤｉｓｐｌａｙＰｏｒｔ規格の映像入力インタフェースなどで構成すればよい。または、アナログＲＧＢや、コンポジットビデオなどのアナログ映像入力インタフェースを設けてもよい。音声信号入力部１１３３は、外部の音声出力装置を接続して音声データを入力する。音声信号入力部１１３３は、例えば、ＨＤＭＩ規格の音声入力インタフェース、光デジタル端子インタフェース、または、同軸デジタル端子インタフェース、などで構成すればよい。ＨＤＭＩ規格のインタフェースの場合は、映像信号入力部１１３１と音声信号入力部１１３３とは、端子およびケーブルが一体化したインタフェースとして構成されてもよい。音声出力部１１４０は、音声信号入力部１１３３に入力された音声データに基づいた音声を出力することが可能である。音声出力部１１４０は、スピーカーで構成してもよい。また、音声出力部１１４０は、内蔵の操作音やエラー警告音を出力してもよい。または、ＨＤＭＩ規格に規定されるＡｕｄｉｏ Ｒｅｔｕｒｎ Ｃｈａｎｎｅｌ機能のように、外部機器にデジタル信号として出力する構成を音声出力部１１４０としてもよい。

不揮発性メモリ１１０８は、空中浮遊映像表示装置１０００で用いる各種データを格納する。不揮発性メモリ１１０８に格納されるデータには、例えば、空中浮遊映像３に表示する各種操作用のデータ、表示アイコン、ユーザが操作するためのオブジェクトのデータやレイアウト情報等が含まれる。メモリ１１０９は、空中浮遊映像３として表示する映像データや装置の制御用データ等を記憶する。

制御部１１１０は、接続される各部の動作を制御する。また、制御部１１１０は、メモリ１１０９に記憶されるプログラムと協働して、空中浮遊映像表示装置１０００内の各部から取得した情報に基づく演算処理を行ってもよい。

また、リムーバブルメディアインタフェース１１３４は、着脱可能な記録媒体（リムーバブルメディア）を接続するインタフェースである。着脱可能な記録媒体は、ソリッドステートドライブ（ＳＳＤ）などの半導体素子メモリ、ハードディスクドライブ（ＨＤＤ）などの磁気記録媒体記録装置、または光ディスクなどの光学記録メディアなどで構成してもよい。リムーバブルメディアインタフェース１１３４は着脱可能な記録媒体に記録されている、映像データ、画像データ、音声データ等の各種データなどの各種情報を読み出すことが可能である。着脱可能な記録媒体に記録された映像データ、画像データ等は、映像表示部１１０２と再帰反射部１１０１とを介して空中浮遊映像３として出力される。

ストレージ部１１７０は、映像データ、画像データ、音声データ等の各種データなどの各種情報を記録する記憶装置である。ストレージ部１１７０は、ハードディスクドライブ（ＨＤＤ）などの磁気記録媒体記録装置や、ソリッドステートドライブ（ＳＳＤ）などの半導体素子メモリで構成してもよい。ストレージ部１１７０には、例えば、製品出荷時に予め映像データ、画像データ、音声データ等の各種データ等の各種情報が記録されていてもよい。また、ストレージ部１１７０は、通信部１１３２を介して外部機器や外部のサーバ等から取得した映像データ、画像データ、音声データ等の各種データ等の各種情報を記録してもよい。

ストレージ部１１７０に記録された映像データ、画像データ等は、映像表示部１１０２と再帰反射部１１０１とを介して空中浮遊映像３として出力される。空中浮遊映像３として表示される、表示アイコンやユーザが操作するためのオブジェクト等の映像データ、画像データ等も、ストレージ部１１７０に記録される。

空中浮遊映像３として表示される表示アイコンやオブジェクト等のレイアウト情報や、オブジェクトに関する各種メタデータの情報等もストレージ部１１７０に記録される。ストレージ部１１７０に記録された音声データは、例えば音声出力部１１４０から音声として出力される。

映像制御部１１６０は、映像表示部１１０２に入力する映像信号に関する各種制御を行う。映像制御部１１６０は、映像処理回路と称してもよく、例えば、ＡＳＩＣ、ＦＰＧＡ、映像用プロセッサなどのハードウェアで構成されてもよい。なお、映像制御部１１６０は、映像処理部、画像処理部と称してもよい。映像制御部１１６０は、例えば、メモリ１１０９に記憶させる映像信号と、映像信号入力部１１３１に入力された映像信号（映像データ）等のうち、どの映像信号を映像表示部１１０２に入力するかといった映像切り替えの制御等を行う。

また、映像制御部１１６０は、メモリ１１０９に記憶させる映像信号と、映像信号入力部１１３１から入力された映像信号とを重畳した重畳映像信号を生成し、重畳映像信号を映像表示部１１０２に入力することで、合成映像を空中浮遊映像３として形成する制御を行ってもよい。

また、映像制御部１１６０は、映像信号入力部１１３１から入力された映像信号やメモリ１１０９に記憶させる映像信号等に対して画像処理を行う制御を行ってもよい。画像処理としては、例えば、画像の拡大、縮小、変形等を行うスケーリング処理、輝度を変更するブライト調整処理、画像のコントラストカーブを変更するコントラスト調整処理、画像を光の成分に分解して成分ごとの重みづけを変更するレティネックス処理等がある。

また、映像制御部１１６０は、映像表示部１１０２に入力する映像信号に対して、ユーザの空中操作（タッチ操作）を補助するための特殊効果映像処理等を行ってもよい。特殊効果映像処理は、例えば、空中操作検出部１３５０によるユーザのタッチ操作の検出結果や、撮像部１１８０によるユーザの撮像画像に基づいて行われる。

姿勢センサ１１１３は、重力センサまたは加速度センサ、またはこれらの組み合わせにより構成されるセンサであり、空中浮遊映像表示装置１０００が設置されている姿勢を検出することができる。姿勢センサ１１１３の姿勢検出結果に基づいて、制御部１１１０が、接続される各部の動作を制御してもよい。例えば、ユーザの使用状態としての好ましくない姿勢を検出した場合に、映像表示部１１０２の表示していた映像の表示を中止し、ユーザにエラーメッセージを表示するような制御を行ってもよい。または、姿勢センサ１１１３により空中浮遊映像表示装置１０００の設置姿勢が変化したことを検出した場合に、映像表示部１１０２の表示していた映像の表示の向きを回転させる制御を行ってもよい。

ここまで説明したように、空中浮遊映像表示装置１０００には、さまざまな機能が搭載されている。ただし、空中浮遊映像表示装置１０００は、これらのすべての機能を備える必要はなく、空中浮遊映像３を形成する機能があればどのような構成でもよい。

続いて、表示装置１０における、発光点位置と結像光学距離の関係について説明する。図６Ａは、空中浮遊映像表示装置１０００の一構成例における、結像光路を示す図である。

表示装置１０上で間隔ｄだけ離れた２つの発光点のうち、ｚ座標が大きいものを発光点１４０、小さいものを発光点１５０とする。発光点１４０、１５０から出射する光線は同じ拡散特性を持つため、発光点１４０からの主光線１４１に対して一定の拡散角±δだけずれた副光線１４２、１４３に対応する光束として、発光点１５０からの主光線１５１に対して拡散角±δだけずれた副光線１５２、１５３を定義できる。

主光線１４１、１５１は、再帰性反射板５に対して入射角αの方向に出射される。副光線１４２、１４３が再帰性反射板５に入射する点の間隔と、副光線１５２、１５３が再帰性反射板５に入射する点の間隔の差は、
と表すことができる。

再帰性反射板５に入射後、主光線１４１、１５１及び副光線１４２、１４３、１５２、１５３は、それぞれ反射され、主光線１６１、１７１及び副光線１６２、１６３、１７２、１７３となる。主光線１６１、副光線１６２、１６３は、収束光線となり、結像点１６０において空中に光学実像を結ぶ。同様に、主光線１７１、副光線１７２、１７３は、収束光線となり、結像点１７０において空中に光学実像を結ぶ。これらの結像点が集合して空中浮遊映像３を形成する。ここで、結像点１６０に入射する主光線１６１、副光線１６２、副光線１６３の間隔に対して、結像点１７０に入射する主光線１７１、副光線１７２、副光線１７３の間隔が大きいため、結像点１６０に対して、結像点１７０は収差の影響を受けやすい。これは、矢印Ａの方向から観測した時、結像点１６０の方が結像点１７０よりも解像度性能が高いことを示している。

なお、すなわち、本実施例の空中浮遊映像表示装置１０００の光学系では、表示装置１０の発光点から空中浮遊映像３を形成する結像点に到達する結像光路の主光線の光路長により、各結像点の解像度性能が異なるといえる。例えば、図６Ｂに、結像点１６０および結像点１７０に加えて、その中間点であり空中浮遊映像３の画面中心の位置である結像点１６５を示す。また、表示装置１０の発光点１４０および発光点１５０に加えて、その中間点であり表示装置１０の画面中心の位置である発光点１４５を示す。結像点１６５に到達する光束は、発光点１４５から発せられる。すると、図６Ｂに示すように、発光点１４０から発せられて結像点１６０に到達する主光線の光路長はLB1＋LB2となる。発光点１４５から発せられて結像点１６５に到達する主光線の光路長はLM1＋LM2となる。発光点１５０から発せられて結像点１７０に到達する主光線の光路長はLH1＋LH2となる。図６Ｂからわかるように、LB1＋LB2＜LM1＋LM2＜LH1＋LH2である。よって、発光点１４０から発せられて結像点１６０に到達する主光線の光路長がこの３点のうち最も短く、発光点１４５から発せられて結像点１６５に到達する主光線の光路長は次に短く、発光点１５０から発せられて結像点１７０に到達する主光線の光路長がこの３点のうち最も長い。よって、空中浮遊映像３上では、結像点１６０、結像点１６５、結像点１７０の順で解像度性能が高いといえる。言い換えれば、結像点１６５での解像度性能は、結像点１６０よりも低く、結像点１７０での解像度性能は、結像点１６５よりも低い、といえる。本実施例の空中浮遊映像表示装置１０００の光学系での、発光点の位置と結像点の位置と、主光線の光路長と、解像度性能の関係は以上のとおりである。本実施例の空中浮遊映像表示装置１０００の光学系において、表示装置１０のいずれの位置の発光点でも、空中浮遊映像３のいずれの位置の結像点でも、同様の主光線の光路長と解像度の関係が成立することになる。

以上説明したとおり、図２で説明した再帰性反射板５を用いた構成例において、空中浮遊映像表示装置１０００によって出力される空中浮遊映像３は、矢印Ａの方向から観察すると、ｙ座標が大きい領域における解像度性能が低下する。本発明の一実施例に係る画像処理手法は、空中浮遊映像３における、ｙ座標に応じた解像度性能の差によって生じる、映像の不均一性を補正することを目的とする。

実際に矢印Ａの方向から観察した時の、空中浮遊映像３の見え方について説明する。図７Ａでは、空中浮遊映像３の各領域における、特定のパターンを出力した時の解像度性能差を示した。図７Ｂでは、図７Ａにおける表示パターンの、ｘ方向に対応した輝度変化を示した。

表示装置１０にて、同一半径の円形パターン２１１、２１２、２１３を、空中浮遊映像３を矢印Ａの方向から観察した時の、ｙ座標の値に応じた３つの領域にそれぞれ１つずつ表示されるように、出力する。円形パターン２１１、２１２、２１３の中心を通り、ｘ軸に平行な直線２０１（Ｈ１－Ｈ’１）、２０２（Ｈ２－Ｈ’２）、２０３（Ｈ３－Ｈ’３）に沿った輝度変化のプロファイルを、図７Ｂにおいて、それぞれ、曲線２３１、２３２、２３３として示している。また、以後の説明において空中浮遊映像３を矢印Ａの方向から観察した時、ｙ座標の値に応じて３分割した時の各領域２２１、２２２、２２３をそれぞれ、上部、中央、下部と表現することとする。

図６Ａ、図６Ｂで説明したように、空中浮遊映像３において、下部より中央、中央より上部に表示した光学実像の結像性が低下する。すなわち、円形パターン２１３より円形パターン２１２、円形パターン２１２より円形パターン２１１の視認性（解像度、鮮鋭度）が低下する。この影響は、図７Ａにおいては光学実像がぼやけるといった視覚的な情報として観察され、図７Ｂにおいてはｘ方向に見たときの輝度勾配の裾広がりといった定性的な情報として観測される。

図７Ｂでは、光学距離に応じて、空中浮遊映像３の鮮鋭度がどのように変化するかについて、一例を、空間周波数に応じたレスポンスとして、ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）で表している。

空中浮遊映像３の鮮鋭度評価指標としてＭＴＦを測定する方法としては、例えば、矩形波パターン（白と黒で塗りつぶした長方形を一定の間隔を空けて表示）の伝達度を評価する矩形波チャート法がある。図２の矢印Ａの方向から観察される周期的な実測輝度変化の振幅(実測輝度最大値と実測輝度最小値の差)を、入力矩形波による周期的な輝度変化の振幅(入力輝度最大値と入力輝度最小値の差)で割った値をＭＴＦとする手法である。ＭＴＦの測定方法は、上述した矩形波チャート法に限られず、この他にもフーリエ変換を用いたエッジ法などがある。鮮鋭度を表すＭＴＦレスポンスは、測定手法に依らず一致する。以下、ＭＴＦの測定値は、ＭＴＦ、ＭＴＦレスポンス、レスポンスなどと表現するが、その測定手法は上述の矩形波チャート法のみに限定されない。この時、表示していた矩形波パターンの実空間における間隔を、空間周波数として定義する。空間周波数とは、ｐｌ／ｍｍなどの単位で与えられる、表示パターンの解像度性能を表す指標である。尚、空間周波数の単位としては、ＬＰ／ｍｍ、Ｃｙｃｌｅｓ／ｍｍ、本／ｍｍ、ｌｉｎｅｓ／ｍｍなどが用いられるが、全て同じ指標を表すものである。

図８において、符号２４１、２４２、２４３は、それぞれ、空中浮遊映像表示装置１０００によって表示された空中浮遊映像３において、上部、中央、下部で測定した鮮鋭度特性の一例であり、本実施例ではＭＴＦ特性を表す曲線を示している。図７Ｂで説明した通り、結像性の低下する上部においては、最大輝度が低下するため、ＭＴＦレスポンスも低下する。したがって、全ての空間周波数領域において、上部より中央、中央より下部のＭＴＦレスポンスが高いと言える。

また、先述の通り、空中浮遊像３の画素ピッチは、表示装置１０の画素ピッチに対して１／３程度に低下する。画素ピッチは空間周波数に対応しているため、より高い空間周波数でのレスポンスが大きいほど、解像度性能・鮮鋭度が高い。例えば、空間周波数領域２５０における、表示装置１０によるレスポンス特性は、空間周波数領域２５１における、空中浮遊映像表示装置１０００によるレスポンス特性として、反映されることになる。すなわち、表示装置１０で表示可能な、空間周波数領域２５１に該当する高解像度のパターン表示は、空中浮遊映像３には適していない。

空中浮遊映像３において、好適な表示パターン及びその補正方法について述べる。
空中浮遊映像３において、十分なレスポンスを確保することができる、空間周波数領域２５０の範囲内で表示映像を作成するのが望ましい。また、空中浮遊映像３のレスポンスは、特定の空間周波数２５２について見ると、上部より中央、中央より下部が高い。表示装置１０において、空間周波数２５２に代表される表示映像を出力した時、下部と中央、下部と上部のそれぞれで、レスポンス差分２５３、２５４が生じる。空中浮遊映像３の表示領域全面における鮮鋭感を同程度とするためには、中央においてレスポンス差分２５３、上部においてレスポンス差分２５４を補正するような入力映像信号に対する補正処理を行う。すなわち、空中浮遊映像３において、各領域のＭＴＦレスポンスに応じた、入力映像信号に対する補正処理の補正量を指定することで、全面での鮮鋭感を同程度まで補正することができ、空中浮遊映像表示装置１０００に対して好適な映像表示を可能とする。当該入力映像信号に対する補正処理は、映像制御部１１６０などの映像処理回路で行えばよい。

フィルタを用いた画像処理手法について説明する。図９では、液晶表示パネル１１の画素の一部３００を用いて、フィルタの畳み込み処理の手法を示しており、簡単のため、３×３フィルタを用いた畳み込み処理について説明している。

液晶表示パネル１１では、各画素の入力値に応じた光を出力しており、これを表示領域全面で組み合わせることにより、映像を表示する。画像処理における畳み込み処理とは、適用するフィルタの成分に従って、周囲の画素値の成分を取り入れた出力を得る計算手法である。例えば、適用するフィルタとして、図９のように、ｉ行ｊ列の成分を係数ｋ_ｉｊと示した３×３フィルタ３０１を選択する。また、取り出した領域内の画素を、左下から順にＡ、Ｂ、Ｃ行…、１、２、３列…と数えることとし、その画素値については、ａ_１，ａ_２，…，ｂ_１，…，ｃ_１，…と表すこととする。図９では、このフィルタ３０１を、Ｄ行３列目の画素Ｄ３（符号３０２で示す）に適用する場合の畳み込み処理演算のイメージを表している。実際に行われる計算としては、新たに得られる画素Ｄ３の画素値をｄ′_３とすると、
と表すことができる。

この計算を左下から順に、例えば、矢印３０３で示すように、１画素ずつ適用することで、全面における画素値にフィルタ効果を適用し、画像処理によって得られる効果を付加した画像を出力することができる。係数ｋ_ｉｊの選び方によってフィルタの種類とその効果が変わり、フィルタのサイズを拡張することで、より大きな領域からの計算値を得ることになる。フィルタと画素値は一例であり、この計算は以下同様の手法にて進められるものとする。

それぞれのフィルタの効果と作り方・考え方について説明する。図１０Ａは、映像鮮鋭化処理に用いられるフィルタの一例として、３×３サイズの移動平均マスキングの計算式を示している。同じく図１０Ｂは、映像鮮鋭化処理に用いられるフィルタの一例として、３×３サイズのガウシアンマスキングの計算式を示している。ここで、映像鮮鋭化処理には、画像中のエッジを強調するエッジ強調処理等の概念も含まれる。

図８において必要となる画像処理は、上部や中央の鮮鋭感を下部に合わせて補正する、鮮鋭化フィルタである。移動平均フィルタやガウシアンフィルタは、ノイズを除去し、画素間の画素値変化率を低減する方向に働く。鮮鋭化フィルタは、移動平均フィルタやガウシアンフィルタなどによって得られたぼかし画像と原画像との差分を、重みｋを加えて、原画像に加算する方式によって得られる。原画像に対して、フィルタ処理によって得られた、ぼけた画像との差を用いることで、輪郭の強調された画像に加工することを、アンシャープマスキングという。これに倣って、それぞれ、移動平均フィルタとの差によって得られた鮮鋭化フィルタを移動平均マスキング、ガウシアンフィルタとの差によって得られた鮮鋭化フィルタをガウシアンマスキングと呼ぶことにする。

簡単のために、図１０Ａでは、３×３フィルタを用いた移動平均マスキングの式と効果を説明する。スルーフィルタ３１１は、中心以外の、周囲の画素値に重み付けする要素がすべて０となっているため、原画像に対して変化を加えないフィルタである。一方、移動平均フィルタは、各要素の重みを一律化して足し合わせるため、適用画素における周囲の画素から見たときの変化量が抑制される。言い換えると、輪郭のぼやけた画像を出力することができるフィルタである。スルーフィルタ３１１を適用した結果は入力画像そのものであるから、矩形波信号を入力した時の画素値変化を、画素値プロファイル３２１に示す。また、移動平均フィルタ３１２を用いたときの画素値変化、スルーフィルタ３１１と移動平均フィルタ３１２の差による画素値変化、計算結果として得られる移動平均マスキング３１４の出力として得られる画素値変化のそれぞれを、画素値プロファイル３２２、３２３、３２４に示す。これを見ると、移動平均フィルタ３１２によって、画素値プロファイル３２２の変化勾配が抑制されることが分かる。したがって、スルーフィルタ３１１と移動平均フィルタ３１２の差を適用した時に得られる画素値プロファイル３２３は、画素値が変化する前後にパルスを生じる。この差分に、ｋの重みを付けてスルーフィルタ３１１との和を取ったフィルタが、移動平均マスキング３１４である。スルーフィルタ３１１によって得られる原画像の画素値プロファイル３２１に対して、パルス形状の映像信号の輪郭を強調する信号として、画素値プロファイル３２３が重畳された結果が、移動平均マスキング３１４の効果である。画素値プロファイル３２４を見ると、移動平均マスキング３１４によって、画素値の変化量や勾配を大きくすることができる。

簡単のために、図１０Ｂでは、３×３フィルタを用いたガウシアンマスキングの式と効果を説明する。スルーフィルタ３１１は、図１０Ａで説明した通り、原画像の画素値をそのまま出力するフィルタである。一方、ガウシアンフィルタは、各要素の重みをガウス分布に従って足し合わせるため、適用画素における周囲の画素から見たときの変化量が抑制される。言い換えると、輪郭のぼやけた画像を出力することができるフィルタである。スルーフィルタ３１１を適用した結果は入力画像そのものであるから、矩形波信号を入力した時の画素値変化を、画素値プロファイル３２１に示す。また、ガウシアンフィルタ３１５を用いたときの画素値変化、スルーフィルタ３１１とガウシアンフィルタ３１５の差による画素値変化、計算結果として得られるガウシアンマスキング３１７の出力として得られる画素値変化のそれぞれを、画素値プロファイル３２５、３２６、３２７に示す。これを見ると、ガウシアンフィルタ３１５によって、画素値プロファイル３２５の変化勾配が抑制されることが分かる。したがって、スルーフィルタ３１１とガウシアンフィルタ３１５の差を適用した時に得られる画素値プロファイル３２６は、画素値が変化する前後にパルスを生じる。この差分に、ｋの重みを付けてスルーフィルタ３１１との和を取ったフィルタが、ガウシアンマスキング３１７である。スルーフィルタ３１１によって得られる原画像の画素値プロファイル３２１に対して、パルス形状の映像信号の輪郭を強調する信号として、画素値プロファイル３２６が重畳された結果が、移動平均マスキングの効果である。画素値プロファイル３２７を見ると、ガウシアンマスキング３１７によって、画素値の変化量や勾配を大きくすることができる。

次に、図１１を用いて、移動平均マスキングやガウシアンマスキングなどの鮮鋭化フィルタを用いた画像処理によって、出力画像の見え方にどのような変化があるかを説明する。図１１は、鮮鋭化フィルタによって得られる入力信号の変化と、その出力を輝度として観測した時のプロファイルを示している。

図１０Ａ、図１０Ｂにおける矩形波信号の画素値プロファイル３２１と同様の入力信号から得られる輝度プロファイル３３１を考える。先述した通り、移動平均マスキング及びガウシアンマスキングを含めた鮮鋭化フィルタを施した後の入力信号は、輝度プロファイル３３２のように、輝度変化が強調される。ＭＴＦレスポンスは、入力信号の振幅３４１と出力信号の振幅３４２の比で表すため、この値は画像処理の前後で変化しない。しかし、見かけ上は、画像処理によって強調されたエッジ部を含めた振幅３４３によって、鮮鋭度が向上しているように感じられる。本来の定義とは異なるが、以降の説明では、映像鮮鋭化処理によって得られる鮮鋭度向上の指標として、画像処理後の鮮鋭度を用い、当該鮮鋭度におけるＭＴＦレスポンスを、入力信号の振幅３４１とエッジ部を含めた振幅３４３との比としている。

ここからは、上部及び下部で定めた加重係数及びフィルタサイズに従って、図７Ａの空中浮遊映像３における各画素のｙ座標値によって、適用フィルタを変化させる方式の例を、大きく３つに分けて説明する。鮮鋭度の補正量をｙ座標値に対応して連続的に変化させるために、（１）加重係数のみを変化させる方式（加重係数勾配）、（２）フィルタサイズのみを変化させる方式（フィルタサイズ勾配）、（３）適用するフィルタの種類を変化させる方式（行列要素勾配）の３つの方式を提案する。この３つの方式は一例であり、フィルタ内の映像鮮鋭化処理パラメータ（フィルタサイズ、加重係数、各行列要素）をｙ座標方向に変化させる方式であれば、これに限らない。図１２Ａ、図１２Ｂ、図１２Ｃでは方式（１）について、図１３Ａ、図１３Ｂ、図１３Ｃでは方式（２）について、図１４Ａ、図１４Ｂでは方式（３）について、それぞれ説明する。

本発明に係る画像処理では、空中浮遊映像３の任意のｙ座標領域に含まれる複数画素に対して、鮮鋭感を向上させるための映像鮮鋭化処理を施す。映像鮮鋭化処理を適用するｙ座標範囲のうち、最大値をｙ_１、最小値をｙ_２とする。本発明に係る画像処理を、空中浮遊映像３内の全領域において適用するためにはｙ_１を空中浮遊映像３の上端、ｙ_２を空中浮遊映像３の下端に設定する必要があるが、適用範囲はこれに限らない。ｙ_１を空中浮遊映像３の上端以外、ｙ_２を空中浮遊映像３の下端以外に設定した場合、ｙ＞ｙ_１の範囲ではｙ_１における映像鮮鋭化処理パラメータを適用し、ｙ＞ｙ_２の範囲ではｙ_２における映像鮮鋭化処理パラメータを適用するのが望ましいが、本発明はこれに限らない。

本発明に係る画像処理は、空中浮遊映像表示装置１０００の特性として得られる、空中浮遊映像３の上部から下部にかけた鮮鋭度変化の勾配に合わせて補正量を変化させることで、空中浮遊映像３の全面における鮮鋭感を同程度に補正することを目的とする。空中浮遊映像３上のｙ＝ｙ_１、ｙ＝ｙ_２において、任意の鮮鋭化フィルタを適用し、空中浮遊映像３上のｙ＝ｙ_１、ｙ＝ｙ_２において、先述のＭＴＦ測定方法にて、補正後のレスポンスを測定する。空中浮遊映像３上のｙ＝ｙ_１、ｙ＝ｙ_２における、補正後のレスポンスが同程度になるように、それぞれ適用するフィルタの鮮鋭化パラメータを決定する。なお、簡単のため、図１２Ａ、図１２Ｂ、図１３Ａ、図１３Ｂ、図１４Ａ内のフィルタは、サイズが３×３、もしくは５×５のアンシャープマスキングによる鮮鋭化フィルタとしているが、これと異なるサイズの鮮鋭化フィルタについても、本発明において適用する設定フィルタとして有効である。

図１２Ａ、図１２Ｂ、図１２Ｃを用いて、空中浮遊映像３の鮮鋭度特性２４１、２４２、２４３に合わせたフィルタ設定、画像処理手法及びその効果の一例について説明する。図１２Ａ、図１２Ｂは、空中浮遊映像３の領域ごとの鮮鋭度のエンハンス量を変化させるために、ｙ方向に各要素の加重係数を変化させる方式について示したものである。図１２Ａは、移動平均マスキングを用いたときの加重係数の変化の例であり、図１２Ｂは、ガウシアンマスキングを用いたときの加重係数の変化の例である。図１２Ｃは、移動平均マスキングにおける加重係数を変化させた時の矩形波出力の例である。

ｙ＝ｙ_２において適用するフィルタ４０２、４１２において、任意のフィルタサイズ及び加重係数を決定すると、その映像鮮鋭化処理によって向上した鮮鋭度補正量を実測することができるｙ＝ｙ_１において、鮮鋭度の補正量を測定しながら加重係数を変化させることで、ｙ＝ｙ_２と補正量が同程度になる加重係数を求めることができ、この時に適用したフィルタをｙ＝ｙ_２において適用するフィルタ４０１、４１１として設定する。フィルタ４０１、４１１で設定した加重係数をｋ_１、フィルタ４０２、４１２で設定した加重係数をｋ_２とする。映像鮮鋭化処理の適用範囲ｙ_２＜ｙ＜ｙ_１において、任意の座標ｙにおける加重係数の変化率はｋ_１とｋ_２の差分を、適用範囲内の画素数ｙ_１－ｙ_２で割ることにより、
と求めることができる。したがって、実際に任意の座標ｙにおいて適用するフィルタの加重係数は、この変化率に対して、適用範囲の下端からの画素数ｙ－ｙ_２をかけたものであり、
と設定することができる。

このパラメータによる映像鮮鋭化処理は、適用範囲ｙ_２＜ｙ＜ｙ_１において、ｙ＝ｙ_１における加重係数ｋ_１から、ｙ＝ｙ_２における加重係数ｋ_２までを連続的に変化させることができる。上記の映像鮮鋭化処理によって、空中浮遊映像表示装置１０００の特性として得られる、空中浮遊映像３の上部から下部にかけた鮮鋭度変化の勾配に合わせて、空中浮遊映像３の全面における鮮鋭感を同程度に補正することができる。

図１３Ａ、図１３Ｂ、図１３Ｃを用いて、空中浮遊映像３の鮮鋭度特性２４１、２４２、２４３に合わせたフィルタ設定、及び画像処理手法の一例について説明する。図１３Ａ、図１３Ｂは、空中浮遊映像３の領域ごとの鮮鋭度のエンハンス量を変化させるために、ｙ方向にフィルタサイズを変化させる方式について示したものである。図１３Ａは、移動平均マスキングを用いたときのフィルタサイズ変化の例であり、図１３Ｂは、ガウシアンマスキングを用いたときのフィルタサイズ変化の例である。図１３Ｃは、移動平均マスキングにおけるフィルタサイズを変化させた時の矩形波出力の例である。

ｙ＝ｙ_２において適用するフィルタ４２２、４３２において、任意のフィルタサイズ及び加重係数を決定すると、その映像鮮鋭化処理によって向上した鮮鋭度補正量を実測することができる。ｙ＝ｙ_１において、鮮鋭度の補正量を測定しながらフィルタサイズを変化させることで、ｙ＝ｙ_２と補正量が同程度になるフィルタサイズを求めることができ、この時に適用したフィルタをｙ＝ｙ_２において適用するフィルタ４２１、４３１として設定する。フィルタ４２１、４３１で設定したフィルタサイズをｓ_１×ｓ_１、フィルタ４２２、４３２で設定したフィルタサイズをｓ_２×ｓ_２とする。映像鮮鋭化処理の適用範囲ｙ_２＜ｙ＜ｙ_１において、任意の座標ｙにおけるフィルタサイズの変化率は、ｓ_１とｓ_２の差分を、適用範囲内の画素数ｙ_１－ｙ_２で割ることにより、
と求めることができる。したがって、実際に任意の座標ｙにおいて適用するフィルタの加重係数は、この変化率に対して、適用範囲の下端からの画素数ｙ_１－ｙ_２をかけたものであり、
と設定することができる。このパラメータによる映像鮮鋭化処理は、適用範囲ｙ_２＜ｙ＜ｙ_１において、ｙ＝ｙ_１におけるフィルタサイズｓ_１から、ｙ＝ｙ_２におけるフィルタサイズｓ_２までを連続的に変化させることができる。上記の映像鮮鋭化処理によって、空中浮遊映像表示装置１０００の特性として得られる、空中浮遊映像３の上部から下部にかけた鮮鋭度変化の勾配に合わせて、空中浮遊映像３の全面における鮮鋭感を同程度に補正することができる。

図１４Ａ、図１４Ｂを用いて、空中浮遊映像３の鮮鋭度特性２４１、２４２、２４３に合わせたフィルタ設定、及び画像処理手法の一例について説明する。図１４Ａは、空中浮遊映像３の領域ごとの鮮鋭度のエンハンス量を変化させるために、ｙ方向に適用するフィルタの種類（各行列要素）を変化させる方式について示したものである。図１４Ａは、移動平均マスキングとガウシアンマスキングを用いたときの各行列要素変化の例である。図１４Ｂは、移動平均マスキングとガウシアンマスキングによる矩形波出力の例である。

ｙ＝ｙ_２において適用するフィルタ４４２において、任意のフィルタサイズ及びフィルタの種類（各行列要素の配列方法）を決定すると、その映像鮮鋭化処理によって向上した鮮鋭度補正量を実測することができる。ｙ＝ｙ_１において、鮮鋭度の補正量を測定しながら、フィルタ４４２とは異なる種類のフィルタを用いたマスキングの加重係数を変化させることで、ｙ＝ｙ_２と補正量が同程度になる加重係数を求めることができ、この時に適用したフィルタをｙ＝ｙ_２において適用するフィルタ４４１として設定する。フィルタ４４１で設定したｉ行ｊ列の行列要素をｔ_１（ｉ，ｊ）、フィルタ４４２で設定したｉ行ｊ列の行列要素をｔ_２（ｉ，ｊ）とする。映像鮮鋭化処理の適用範囲ｙ_２＜ｙ＜ｙ_１において、任意の座標ｙにおけるｉ行ｊ列の行列要素の変化率は、ｔ_１（ｉ，ｊ）とｔ_２（ｉ，ｊ）との差分を、適用範囲内の画素数ｙ_１－ｙ_２で割ることにより、
と求めることができる。したがって、実際に任意の座標ｙにおいて適用するフィルタの加重係数は、この変化率に対して、適用範囲の下端からの画素数ｙ－ｙ_２をかけたものであり、
と設定することができる。このパラメータによる映像鮮鋭化処理は、範囲ｙ_２＜ｙ＜ｙ_１において、ｙ＝ｙ_１におけるｉ行ｊ列の行列要素ｔ_１（ｉ，ｊ）から、ｙ＝ｙ_２におけるｉ行ｊ列の行列要素ｔ_２（ｉ，ｊ）までを連続的に変化させることができる。上記の映像鮮鋭化処理によって、空中浮遊映像表示装置１０００の特性として得られる、空中浮遊映像３の上部から下部にかけた鮮鋭度変化の勾配に合わせて、空中浮遊映像３の全面における鮮鋭感を同程度に補正することができる。

本実施例に係る技術では、高解像度かつ高輝度な映像情報を空中に浮遊した状態で表示することにより、例えば、ユーザは感染症の接触感染に対する不安を感じることなく操作することを可能にする。不特定多数のユーザが使用するシステムに本実施例に係る技術を用いれば、感染症の接触感染のリスクを低減し、不安を感じることなく使用できる非接触ユーザインタフェースを提供することを可能にする。これにより、国連の提唱する持続可能な開発目標（ＳＤＧｓ：Ｓｕｓｔａｉｎａｂｌｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｇｏａｌｓ）の「３すべての人に健康と福祉を」に貢献する。

また、本実施例に係る技術では、出射する映像光の鮮鋭感を同程度に揃えることで、明るく鮮明な空中浮遊映像を得ることを可能にする。本実施例に係る技術によれば、消費電力を大幅に低減することが可能な、利用性に優れた非接触ユーザインタフェースを提供することができる。これにより、国連の提唱する持続可能な開発目標（ＳＤＧｓ：Ｓｕｓｔａｉｎａｂｌｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｇｏａｌｓ）の「９産業と技術革新の基盤をつくろう」および「１１住み続けられるまちづくりを」に貢献する。

以上、種々の実施例について詳述したが、本発明は、上述した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は、本発明を分かりやすく説明するためにシステム全体を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

３…空中浮遊映像、４…入力操作、１０…表示装置、１００…透明な部材、５…再帰性反射板、１１…液晶表示パネル、１３…光源装置、１０００…空中浮遊映像表示装置、１１１０…制御部、１１６０…映像制御部、１１８０…撮像部、１１０２…映像表示部、１３５０…空中操作検出部、１３５１…空中操作検出センサ

Claims (8)

1. 空中浮遊映像を表示する空中浮遊映像表示装置であって、
   映像入力インタフェースと、
   前記映像入力インタフェースを介して入力された入力映像に基づく映像に処理を行う映像処理回路と、
   前記映像処理回路の処理を経た映像を表示する映像表示部と、
   前記映像表示部から出射した映像光を反射して空中浮遊映像を形成せしめる再帰性反射板と、
   を備え、
   前記映像表示部の表示面から出射した映像光について、前記映像表示部の表示面から出射して前記再帰性反射板における反射を介して前記空中浮遊映像の位置に到達するまでの光路長が、前記映像光が出射する前記映像表示部の表示面における位置に応じて異なるものであり、
   前記映像光の前記光路長が異なる複数の位置には、第１の位置と、前記第１の位置における前記映像光の前記光路長よりも、前記映像光の前記光路長が長い第２の位置とがあり、
   前記映像処理回路は、前記入力映像に基づく映像における位置において、前記第２の位置に対応する位置における映像鮮鋭化処理について、前記第１の位置に対応する位置におけるフィルタ処理よりも映像鮮鋭化の効果が強い映像鮮鋭化処理を用いる、
   空中浮遊映像表示装置。
2. 請求項１に記載の空中浮遊映像表示装置であって、
   前記映像表示部の表示面の映像表示領域は矩形であって、
   前記映像光の前記光路長が、前記映像表示部の表示面における位置において前記矩形の一つの辺に沿う方向である第１の方向に傾斜するように、前記映像表示部と前記再帰性反射板とが配置されるものであり、
   前記映像処理回路は、前記入力映像に基づく映像における位置において、前記映像表示部の表示面における前記第１の方向に対応する方向に前記映像鮮鋭化処理の効果が傾斜するように、前記映像鮮鋭化処理を段階的に異ならせる、
   空中浮遊映像表示装置。
3. 請求項１に記載の空中浮遊映像表示装置であって、
   前記映像処理回路が行う映像鮮鋭化処理は、鮮鋭化フィルタを用いた映像鮮鋭化処理であり、
   前記異なる映像鮮鋭化処理は、前記鮮鋭化フィルタの加重係数を異ならせた映像鮮鋭化処理である、
   空中浮遊映像表示装置。
4. 請求項３に記載の空中浮遊映像表示装置であって、
   前記鮮鋭化フィルタは、移動平均フィルタに基づく鮮鋭化フィルタ、またはガウシアンフィルタに基づく鮮鋭化フィルタ、である、
   空中浮遊映像表示装置。
5. 請求項１に記載の空中浮遊映像表示装置であって、
   前記映像処理回路が行う映像鮮鋭化処理は、鮮鋭化フィルタを用いた映像鮮鋭化処理であり、
   前記異なる映像鮮鋭化処理は、前記鮮鋭化フィルタのフィルタサイズを異ならせた映像鮮鋭化処理である、
   空中浮遊映像表示装置。
6. 請求項５に記載の空中浮遊映像表示装置であって、
   前記鮮鋭化フィルタは、移動平均フィルタに基づく鮮鋭化フィルタ、またはガウシアンフィルタに基づく鮮鋭化フィルタ、である、
   空中浮遊映像表示装置。
7. 請求項１に記載の空中浮遊映像表示装置であって、
   前記映像処理回路が行う前記異なる映像鮮鋭化処理は、鮮鋭化フィルタの種類が異なる映像鮮鋭化処理である、
   空中浮遊映像表示装置。
8. 請求項１に記載の空中浮遊映像表示装置であって、
   前記映像処理回路が行う映像鮮鋭化処理は、鮮鋭化フィルタを用いた映像鮮鋭化処理であり、
   前記異なる映像鮮鋭化処理は、前記鮮鋭化フィルタの種類を、移動平均フィルタに基づく鮮鋭化フィルタとガウシアンフィルタに基づく鮮鋭化フィルタとで、異ならせた映像鮮鋭化処理である、
   空中浮遊映像表示装置。