JP7646573B2 - 電子機器 - Google Patents

Description

本開示は、電子機器に関する。

最近のスマートフォンや携帯電話、ＰＣ（Personal Computer）などの電子機器では、表示部の額縁（ベゼル）に、カメラなどの種々のセンサを搭載している。その一方で、画面サイズに影響を与えずに電子機器の外形サイズをできるだけコンパクトにしたい要求があり、ベゼル幅は狭まる傾向にある。このような背景から、表示部の真下にカメラモジュールを配置して、表示部を通過した被写体光をカメラで撮影する技術が提案されている。

米国特許公開公報２０１８／００６９０６０

スマートフォン等の表示部にはタッチセンサが内蔵されており、表示面に指紋や手油などが付着することが多い。また、表示面や表示面を保護するフィルムに傷があったり、表示面とフィルムの間に気泡が生じる場合もある。

このように、表示面に異常が存在する状態で、表示部の真下に配置されたカメラで表示部を通して撮影を行うと、撮影画像に異物が映り込んだり、異物に焦点が合ってしまったりして、意図通りの撮影ができないおそれがある。

そこで、本開示では、表示面の異常の影響を受けずに撮影を行うことができる電子機器を提供するものである。

上記の課題を解決するために、本開示によれば、表示部と、
前記表示部の表示面とは反対側に配置される撮像部と、
前記表示面上の異常を検出する異常検出部と、
前記異常検出部で検出された前記異常が生じた位置を前記表示部に強調表示する表示制御部と、を備える、電子機器が提供される。

前記表示制御部は、前記異常の除去を促す情報を前記表示部に表示させてもよい。

前記情報は、前記異常の種類に応じた情報を含んでもよい。

前記表示制御部は、前記異常が生じた位置を指し示す指標を前記表示部に表示させてもよい。

本開示によれば、それぞれ異なる複数の発光波長で発光させることが可能な表示部と、
前記表示部の表示面とは反対側に配置される撮像部と、
前記複数の発光波長のそれぞれにて前記表示面の少なくとも一部を発光させた状態で前記撮像部にて撮像された複数の画像に基づいて、前記表示面上の異常を検出する異常検出部と、を備える、電子機器が提供される。

前記異常検出部は、前記表示面上の前記撮像部の画角と重なる領域を前記複数の発光波長のそれぞれにて発光させた状態で前記撮像部にて撮像された複数の画像に基づいて、前記表示面上の異常を検出してもよい。

本開示によれば、表示部と、
前記表示部の表示面とは反対側に配置される撮像部と、
前記表示面上の異常を検出する異常検出部と、
前記異常に基づいて、前記撮像部で撮像された画像を補正する補正処理部と、を備える、電子機器が提供される。

前記補正処理部は、前記異常の種類、色、サイズ、位置及び数の少なくとも一つの情報に基づいて、前記撮像部で撮像された画像を補正してもよい。

前記異常の種類を判別する異常判別部を備え、
前記補正処理部は、前記撮像部で撮像された画像に対して、前記異常判別部で判別された前記異常の種類に応じた補正処理を施してもよい。

前記補正処理は、エッジ強調処理、歪み補正処理及び傷補正処理の少なくとも一つを含んでもよい。

前記異常の種類、色、サイズ、位置及び数の少なくとも一つの情報と、前記補正処理部が補正を行う前後の画像と、に基づいて学習させた、前記撮像部で撮像された画像を前記異常の情報に基づいて補正するモデルを生成するモデル生成部を備え、
前記補正処理部は、学習済みの前記モデルに対して、前記撮像部で撮像された画像と、前記異常の情報とを与えて、前記撮像部で撮像された画像を補正してもよい。

前記補正処理部による補正が有効か否かを判定する補正判定部と、
前記補正処理部による補正が有効でないと判定された場合に、前記撮像部で撮像された画像と前記異常の情報とを情報処理装置に送信するとともに、前記情報処理装置で補正された画像を受信する画像通信部と、
前記情報処理装置で補正された画像を出力する出力部と、を備えてもよい。

前記撮像部は、それぞれ異なる画角の撮影を行う複数のカメラを有し、
前記補正処理部は、前記複数のカメラで撮影された複数の画像に基づいて、前記撮像部で撮像された画像から前記異常を除去してもよい。

前記撮像部は、
前記表示部を介して入射された光を光電変換する複数の光電変換部を有し、
前記複数の光電変換部のうち少なくとも一つは、位相差情報を検出可能であり、
前記異常検出部は、前記位相差情報に基づいて、前記異常を検出してもよい。

前記撮像部は、
前記表示部を介して入射された光を光電変換する複数の光電変換部と、
前記複数の光電変換部のうち少なくとも一つの光入射側に配置される複数の偏光素子と、を有し、
前記異常検出部は、前記複数の偏光素子で偏光されて前記光電変換部で光電変換された偏光情報に基づいて、前記異常を検出してもよい。

前記複数の偏光素子は、それぞれ異なる偏光状態を検出する複数種類の偏光素子を含んでもよい。

前記撮像部は、
前記表示部を介して入射された光を光電変換する複数の光電変換部と、
前記複数の光電変換部に被写体光を結像させるマイクロレンズアレイと、を有してもよい。

前記撮像部で撮像される被写体までの距離を検出する距離検出部を備え、
前記異常検出部は、前記距離検出部で検出された距離に基づいて、前記異常を検出してもよい。

前記撮像部は、それぞれ異なる画角の撮影を行う複数のカメラを有し、
前記距離検出部は、前記複数のカメラの撮影画像に基づいて、前記距離を検出してもよい。

前記撮像部で撮像された画像に基づいて、前記表示面に接触された指の指紋を検出する指紋検出部を備えてもよい。

第１の実施形態による電子機器の模式的な断面図。 図１Ａに開口部を追加した電子機器の模式的な断面図。 （ａ）は図１Ａの電子機器の模式的な外観図、（ｂ）は図２（ａ）のＡ－Ａ線方向の断面図。 撮像部の断面構造の一例を示す断面図。 第１の実施形態による電子機器の内部構成を示すブロック図。 信号処理部の内部構成を示すブロック図。 第１の実施形態による電子機器１の処理動作を示すフローチャート。 異常が生じた位置を強調表示する具体例を示す図。 異常が生じた位置を強調表示する具体例を示す図。 異常が生じた位置を強調表示する具体例を示す図。 異常が生じた位置を強調表示する具体例を示す図。 表示面の一部の表示領域を、それぞれ異なる発光波長の光で発光させた状態で撮像部による露光を行う例を模式的に示す図。 表示面の一部の表示領域を、それぞれ異なる発光波長の光で発光させた状態で撮像部による露光を行う例を模式的に示す図。 表示面の一部の表示領域を、それぞれ異なる発光波長の光で発光させた状態で撮像部による露光を行う例を模式的に示す図。 第２の実施形態による電子機器の処理動作を示すフローチャート。 第３の実施形態による電子機器の内部構成を示すブロック図。 補正処理部が行う補正処理の処理手順を示すフローチャート。 電子機器と情報処理装置との接続形態の一例を示すブロック図。 第４の実施形態による電子機器の平面図。 図１２のＡ－Ａ線方向の断面図。 第５の実施形態による撮像部の画素配列の一例を示す平面図。 第６の実施形態による撮像部の画素配列の一例を示す平面図。 第６の実施形態による撮像部の断面図。 各偏光素子の詳細な構造の一例を示す斜視図。 フレア光や回折光の影響を抑制する機能を有する電子機器内の信号処理部の内部構成を示すブロック図。 第７の実施形態による電子機器の概略構成を示すブロック図。 第９の実施形態による電子機器に搭載されるカメラモジュールの撮像部の断面構造を示す図。 第１～第９の実施形態の電子機器をカプセル内視鏡に適用した場合の平面図。 第１～第９の実施形態の電子機器をデジタル一眼レフカメラに適用した場合の背面図。 第１～第９の実施形態の電子機器をＨＭＤに適用した例を示す平面図。 現状のＨＭＤを示す図。

以下、図面を参照して、電子機器の実施形態について説明する。以下では、電子機器の主要な構成部分を中心に説明するが、電子機器には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。

（第１の実施形態）
図１Ａ及び図１Ｂは第１の実施形態による電子機器１の模式的な断面図である。図１Ａの電子機器１は、スマートフォンや携帯電話、タブレット、ＰＣなど、表示機能と撮影機能を兼ね備えた任意の電子機器１である。図１Ａの電子機器１は、表示部２の表示面１ａとは反対側に配置されるカメラモジュール（撮像部）３を備えている。このように、図１Ａの電子機器１は、表示部２の表示面１ａの裏側にカメラモジュールを設けている。したがって、カメラモジュールは、表示部２を通して撮影を行うことになる。

図２（ａ）は図１Ａの電子機器１の模式的な外観図、図２（ｂ）は図２（ａ）のＡ－Ａ線方向の断面図である。図２（ａ）の例では、電子機器１の外形サイズの付近まで表示面１ａが広がっており、表示面１ａの周囲にあるベゼル１ｂの幅を数ｍｍ以下にしている。通常、ベゼル１ｂには、フロントカメラが搭載されることが多いが、図２（ａ）では、破線で示すように、表示面１ａの略中央部の裏面側にフロントカメラとして機能するカメラモジュール３を配置している。このように、フロントカメラを表示面１ａの裏面側に設けることで、ベゼル１ｂにフロントカメラを配置する必要がなくなり、ベゼル１ｂの幅を狭めることができる。

なお、図２（ａ）では、表示面１ａの略中央部の裏面側にカメラモジュール３を配置しているが、本実施形態では、表示面１ａの裏面側であればよく、例えば表示面１ａの周縁部の近くの裏面側にカメラモジュール３を配置してもよい。このように、本実施形態におけるカメラモジュール３は、表示面１ａと重なる裏面側の任意の位置に配置される。

図１Ａに示すように、表示部２は、保護フィルム２ｂ、ポリイミド基板２ｃ、表示層２ｄ、バリア層２ｅ、タッチセンサ層２ｆ、粘着層２ｇ、円偏光板２ｈ、光学粘着シート（ＯＣＡ：Optical Clear Adhesive）２ｉ、及びカバーガラス２ｊを順に積層した積層体である。表示層２ｄは、例えばＯＬＥＤ（Organic Light Emitting Device）表示層でもよいし、液晶表示層でもよいし、MicroLEDでもよいし、その他の表示原理に基づく表示層でもよい。表示層２ｄは、複数の層で構成される場合もありうる。例えば、表示層２ｄには、カラーフィルタ層やバックライト層などが含まれることもありうる。表示部２は、可視光波長域の光を用いた表示を行うが、表示部２で表示される光が赤外光成分を含んでいてもよい。

バリア層２ｅは、表示層２ｄに酸素や水分が侵入するのを防止する層である。タッチセンサ層２ｆには、タッチセンサが組み込まれている。タッチセンサには、静電容量型や抵抗膜型など、種々の方式があるが、いずれの方式が採用されてもよい。また、タッチセンサ層２ｆと表示層２ｄを一体化してもよい。

粘着層２ｇは、円偏光板２ｈとタッチセンサ層２ｆとを接着するために設けられている。粘着層２ｇには、可視光透過率が高い材料が用いられる。円偏光板２ｈは、ギラツキを低減したり、明るい環境下でも表示面１ａの視認性を高めるために設けられている。光学粘着シート２ｉは、円偏光板２ｈとカバーガラス２ｊとの密着性を高めるために設けられている。光学粘着シート２ｉは、可視光透過率が高い材料が用いられる。カバーガラス２ｊは、表示層２ｄ等を保護するために設けられている。なお、表示部２の層構成は、必ずしも図１Ａや図２に示したものには限定されない。

カメラモジュール３は、表示部２の表示面１ａとは反対側、すなわち表示部２の裏側に配置されている。カメラモジュール３は、撮像部４と、光学系５とを有する。光学系５は、撮像部４の光入射面側、すなわち表示部２に近い側に配置され、表示部２を通過した光を撮像部４に集光させる。光学系５は、通常は複数のレンズで構成されている。後述するように、表示部２の表示面１ａとは反対側に、複数のカメラモジュール３が配置される場合もありうる。この場合、各カメラモジュール３の光学系５の焦点距離がそれぞれ異なっていてもよく、これにより望遠や広角の画角の異なる撮影を行うことができる。

撮像部４は、光電変換部４ａを有する。光電変換部４ａは、表示部２を介して入射された光を光電変換する。光電変換部４ａは、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサでもよいし、ＣＣＤ（Charge Coupled Device）センサでもよい。また、光電変換部４ａは、フォトダイオードでもよいし、有機光電変換膜でもよい。

光電変換部４ａは、画素ごとにＣＭＯＳセンサ等の光電変換素子を有する。各画素は任意の方式で配列することができる。具体的には、各画素の配列方式は、ベイヤ配列でもよいし、インターライン配列でもよいし、市松配列でもよいし、ストライプ配列でもよいし、その他の配列でもよい。

図１Ａ及び図２（ｂ）に示すように、本実施形態の電子機器１は、表示部２とカメラモジュール３とが表裏方向に重なるように配置されている。このため、カメラモジュール３では、表示部２を透過した被写体光を撮像することになる。表示部２は、図１Ａに示すように、複数の層で形成されており、各層が、撮像部４が十分な感度を持つ波長帯域の光の透過率が高ければ問題ないが、実際には、一部の層の透過率が低いおそれがある。例えば、ポリイミド基板２ｃは、可視光透過率がそれほど高くない。よって、図１Ｂのように、表示部２を構成する複数層のうち、透過率がそれほど高くない層に１つ以上の開口部２ｋを形成して、開口部２ｋを通過した光をカメラモジュール３で撮像するようにしてもよい。図１Ｂの例では、表示部２を構成する複数の層のうち、カバーガラス２ｊ以外の層を貫通する複数の開口部２ｋを設けている。これら開口部２ｋは、表示部２を平面視したときに、カメラモジュール３と重なる位置に設けられている。各開口部２ｋの径や個数は、表示部２の表示と撮像部４での撮像画像の画質を考慮に入れて、適切な値に設定される。

なお、ポリイミド基板２ｃの代わりに透明性の高い基板を用いる場合には、必ずしも開口部２ｋを設ける必要はない。

図３は撮像部４の断面構造の一例を示す断面図である。図３の撮像部４は、半導体基板１１内に形成される光電変換部４ａを備えており、光電変換部４ａは画素ごとに素子分離層１２で区切られている。光電変換部４ａの上には平坦化層１３が配置され、その上にカラーフィルタ層１４が配置されている。カラーフィルタ層１４は、ＲＧＢの３色のフィルタ層を有していてもよいし、その補色であるシアン、マゼンダ、イエローのフィルタ層を有していてもよい。あるいは、赤外光などの可視光以外の色を透過させるフィルタ層を有していてもよいし、マルチスペクトル特性を持つフィルタ層を有していてもよいし、白などの減色のフィルタ層を有していてもよい。赤外光などの可視光以外の光を透過させることで、デプス情報などのセンシング情報を検出できる。カラーフィルタ層１４の上には、オンチップレンズ１５が配置されている。光はオンチップレンズ１５を通して入射される。本明細書では、オンチップレンズ１５が配置されている側を撮像部４の裏面側と呼ぶ。

撮像部４の表面側では、半導体基板１１の上に読み出し回路１６が形成され、読み出し回路１６の周囲は層間絶縁膜１７で覆われている。読み出し回路１６は、転送トランジスタ、リセットトランジスタ、増幅トランジスタ、選択トランジスタなどを有する。なお、撮像部４の断面構造は、図３に示したものには限定されない。

図４Ａは第１の実施形態による電子機器１の内部構成を示すブロック図である。図４Ａに示すように、電子機器１は、撮像装置２１と、アプリケーションプロセッサ２２と、映像信号生成部２３と、Ａ／Ｄ変換部２４と、表示制御部２５と、表示部２とを有する。

撮像装置２１は、一つ又は複数の半導体デバイスで構成することができ、カメラモジュール３を構成する撮像部４と、光学系５及びＩＲ（Infrared Ray）カットフィルタ６の他に、Ａ／Ｄ変換部３１と、信号処理部３２と、撮像制御部３３と、露光調整部３４と、異常検出部３５と、出力部３６とを有する。

Ａ／Ｄ変換部３１は撮像部４で撮像されたアナログ画素信号をデジタル画素データに変換する。

信号処理部３２は、例えば図４Ｂに詳細を示すように、クランプ部３２ａと、カラー出力部３２ｂと、欠陥補正部３２ｃと、リニアマトリックス部３２ｄと、ガンマ補正部３２ｅと、輝度クロマ信号生成部３２ｆと、ノイズリダクション部３２ｇと、エッジ強調部３２ｈとを有する。

クランプ部３２ａは、黒のレベルを規定する処理を行う。より具体的には、クランプ部３２ａは、デジタル画素データから黒レベルデータを減算する処理を行う。カラー出力部３２ｂは、例えばＲＧＢの色ごとの画素データを出力する。欠陥補正部３２ｃは、何らかの理由で正しく読み出せなかった特定画素の撮像データを周囲の画素の撮像データから補正する処理を行う。リニアマトリックス部３２ｄは、ＲＧＢなどの色情報に対する行列演算を行うことで、より正しい色再現を行う。ガンマ補正部３２ｅは、表示部２の表示特性に合わせて、視認性に優れた表示が可能となるようにガンマ補正を行う。例えば、ガンマ補正部３２ｅは、勾配を変化させながら１０ビットから８ビットへの変換を行う。輝度クロマ信号生成部３２ｆは、ガンマ補正部３２ｅの出力データに基づいて、表示部２に表示させるための輝度クロマ信号を生成する。ノイズリダクション部３２ｇは、輝度クロマ信号に含まれるノイズを削減する処理を行う。エッジ強調部３２ｈは、輝度クロマ信号に基づいて、被写体画像のエッジを強調する処理を行う。ノイズリダクション部３２ｇによるノイズリダクション処理と、エッジ強調部３２ｈによるエッジ強調処理は、所定の条件を満たす場合のみ行われてもよい。出力部３６は、ノイズリダクション処理を行った後の輝度クロマ信号を出力する。

撮像制御部３３は、輝度クロマ信号に基づいて、撮像部４で撮像を行うフレームレートを設定する。露光調整部３４は、撮像制御部３３が設定したフレームレートに従って、露光時間を調整する。光電変換部４ａは、露光調整部３４で調整された露光時間に従って、画素ごとに撮像を行う。

異常検出部３５は、表示部２の表示面上の異常を検出する。異常は、表示面上の種々の付着物、表示面の傷、表示面を保護するフィルム等の保護材の付着物や傷、表示面と保護材の間の気泡などである。付着物は、汚れや手油、固化物、液化物などを含む。傷は、割れやヒビ、欠けなどを含む。このように、異常検出部３５は、複数種類の異常を検出する。本明細書では、異常を総称して異物と呼ぶことがある。

異常検出部３５は、検出された異常の情報をアプリケーションプロセッサ２２に送る。ここで、異常の情報とは、例えば、異常の種類や位置の情報である。また、異常検出部３５は、異常の情報を含む撮像画像データを出力部３６に送る。出力部３６は、異常の情報とともに、撮像画像データを出力する。出力部３６は、映像信号生成部２３に、異常が映り込んだ撮像画像データを送ることもありうる。

アプリケーションプロセッサ２２は、カメラモジュール３とは別個の半導体デバイスであり、カメラモジュール３と同一又は別の基板に実装される。アプリケーションプロセッサ２２は、その内部にＣＰＵ（Central Processing Unit）等を有し、オペレーティングシステムや各種のアプリケーションソフトウェア等のプログラムを実行する。アプリケーションプロセッサ２２は、ＧＰＵ（Graphics Processing Unit）やベースバンドプロセッサなどの画像処理や信号処理等を行う機能を搭載していてもよい。アプリケーションプロセッサ２２は、入力された画像データや演算結果に対して、必要に応じて種々の処理を実行したり、電子機器１の表示部２に画像を表示する制御を行ったり、所定のネットワークを介して外部のクラウドサーバに送信したりする。

アプリケーションプロセッサ２２は、異常検出部３５から送られた異常の情報を受け取ると、その情報を表示制御部２５に送る。表示制御部２５は、異常検出部３５で検出された異常が生じた位置を表示部２に強調表示する。強調表示の具体例は後述する。

映像信号生成部２３は、表示部２に表示するための映像信号を生成する。Ａ／Ｄ変換部２４は、映像信号をデジタル画素データに変換する。表示制御部２５は、デジタル画素データを表示部２に表示する制御を行う。このとき、上述したように、異常検出部３５で検出された異常の情報に基づいて、異常が生じた位置を強調表示する。

図５は第１の実施形態による電子機器１の処理動作を示すフローチャートであり、例えばアプリケーションプロセッサ２２、撮像制御部３３及び表示制御部２５の処理動作を示している。このフローチャートは、電子機器１の電源をオンしている間、継続的に繰り返される。

まず、電子機器１のユーザがカメラモジュール３を起動したか否かを判定する（ステップＳ１）。ユーザがカメラモジュール３を起動していなければ、アプリケーションプロセッサ２２からの指示に基づいて映像信号生成部２３で生成された画像が表示部２に表示される（ステップＳ２）。

ユーザがカメラモジュール３を起動した場合には、表示部２の表示オフ期間に撮像部４による露光を行う（ステップＳ３）。表示部２の表示は、１秒間に３０～１２０フレームの頻度で更新される。連続した２つのフレーム間には、表示を行わない表示オフ期間がある。また、１つのフレーム内では、各水平ラインごとに走査しながら表示が行われ、各水平ラインの間にも、表示を行わない表示オフ期間がある。ステップＳ３では、これらの表示オフ期間内に撮像部４による露光を行う。

表示オフ期間内に露光を行う理由は、表示部２に画像が表示されている状態でカメラモジュール３が撮影を行うと、撮影画像に悪影響を与えるおそれがあるためである。ただし、後述するように、異常検出のために、意図的に表示部２を所定の発光色で発光させた状態で撮像を行う場合もありうる。よって、ステップＳ３の表示オフ期間とは、より正確には、カメラモジュール３を起動する前に表示部２に表示していた画像表示を行っていない期間を指す。

次に、撮像部４による露光処理で得られた撮像画像に対して、信号処理部３２にて各種の信号処理を行う（ステップＳ４）。

次に、異常検出部３５は、信号処理後の撮像画像データに基づいて、表示面に異常があるか否かを検出する（ステップＳ５）。異常の検出手法には、種々の手法が考えられ、その具体例は後述する。異常が検出されなかった場合は、信号処理部３２から出力された撮像画像データが出力部３６に送られる（ステップＳ６）。

ステップＳ５で異常が検出されると、異常検出部３５は、異常が生じた位置を含む異常の情報をアプリケーションプロセッサ２２に送るとともに、異常の情報と撮像画像データを出力部３６に送る（ステップＳ７）。

アプリケーションプロセッサ２２は、異常検出部３５から送られた異常の情報を表示制御部２５に送る。表示制御部２５は、映像信号生成部２３で生成された映像信号に基づく画像を表示面に表示する際に、異常が生じた位置を表示面上に強調表示する（ステップＳ８）。

図６Ａ、図６Ｂ、図６Ｃ及び図６Ｄは、異常２ｐが生じた位置を強調表示する具体例を示す図である。図６Ａは、異常２ｐが生じた位置を取り囲む円環形状の指標２ｑを表示する例を示している。図６Ａの指標２ｑは、背景画像の表示色とは異なる表示色で目立つように表示するのが望ましい。また、指標２ｑの線幅を太くしてもよい。

図６Ｂは、異常２ｐが生じた位置を指し示す矢印の指標２ｑを表示する例を示している。また、矢印の矢元に「拭いて下さい」等のメッセージを文字情報で記入してもよい。

図６Ｃは、異常２ｐの種類をユーザに知らせるために、撮像画像データに含まれる異常２ｐを拡大して、表示面に表示する例を示している。図６Ｃは、異常２ｐが指紋である例を示しており、ユーザは拡大画像により、異常の種類を把握することができる。

図６Ｄは、異常２ｐが表示面に貼り付けられたフィルム２ｒの破損である例を示している。この場合、「フィルムを交換して下さい」等のメッセージを文字情報で記入してもよい。

このように、第１の実施形態では、表示部２の表示面とは反対側に配置される撮像部４で撮像を行う際、表示面上の異常２ｐが検出されると、異常２ｐが生じた位置を表示部２に強調表示する。これにより、撮像部４での撮像に支障が出ることを事前にユーザに知らせて、異常２ｐの解消を促すことができる。ユーザが、表示部２の強調表示により、表示面を拭く等の異常２ｐを解消する作業を自ら行った上で、撮像部４による撮像を行うことで、撮像画像の画質向上が図れる。

（第２の実施形態）
第２の実施形態は、複数の発光波長の光で発光させた状態で撮像した複数の撮像画像に基づいて、異常２ｐを検出するものである。

図７Ａ、図７Ｂ及び図７Ｃは、カメラモジュール３の画角範囲内である表示面１ａの一部の表示領域２０を、それぞれ異なる発光波長の光で発光させた状態で撮像部４による露光を行う例を模式的に示す図である。例えば、図７Ａ～図７Ｃはそれぞれ、赤、緑及び青の発光波長で発光させて露光を行う例を示している。

カメラモジュール３による撮影は、上述したように、フレームの間や水平ライン期間の間等の表示オフ期間に行うが、図７Ａ～図７Ｃによる発光は、異物検出のためのものであり、表示期間の一部を用いて行う。

第２の実施形態による電子機器１は、図４Ａ及び図４Ｂと同様の内部構成を備えているが、図５とは一部異なる処理動作を行う。

図８は第２の実施形態による電子機器１の処理動作を示すフローチャートである。以下では、図５と異なる処理動作を中心に説明する。ユーザがカメラモジュール３を起動しない場合は、図５のステップＳ１及びＳ２と同様の動作が行われる（ステップＳ１１，Ｓ１２）。

ユーザがカメラモジュール３を起動する場合、図７Ａに示すように、カメラモジュール３の画角範囲内の一部の表示領域２０を第１発光波長で発光させる（ステップＳ１３）。カメラモジュール３が備えるレンズの焦点距離によって画角範囲は異なるため、第１発光波長で発光させる表示領域２０のサイズもレンズの焦点距離に合わせて調整する必要がある。あるいは、表示面１ａの全域を第１発光波長で発光させてもよい。

ステップＳ１３で発光させている間に、撮像部４による露光を行い（ステップＳ１４）、信号処理部３２にて種々の信号処理を行って撮像画像データを生成する（ステップＳ１５）。

次に、ステップＳ１３～Ｓ１５と同様の動作を、図７Ｂのように表示領域２０を第２発光波長で発光させた状態で行う（ステップＳ１６～Ｓ１８）。続いて、ステップＳ１３～Ｓ１５と同様の動作を、図７Ｃのように表示領域２０を第３発光波長で発光させた状態で行う（ステップＳ１９～Ｓ２１）。

異常検出部３５は、ステップＳ１５、Ｓ１８、Ｓ２１で得られた３つの撮像画像データに基づいて、異常２ｐの有無を検出する（ステップＳ２２～Ｓ２４）。

このように、第２の実施形態では、表示部２の少なくとも一部の表示領域２０を複数種類の発光波長の光で発光させた状態で、撮像部４による撮像を行い、得られた複数の撮像画像データに基づいて、異常検出部３５にて異常２ｐを検出する。異常２ｐの種類によっては、特定の発光波長の光だけを反射させたり、透過させたりするため、複数種類の発光波長の光で表示部２を発光させた状態で撮像を行うことで、異常２ｐの有無と、異常２ｐの種類を特定しやすくなる。

（第３の実施形態）
第３の実施形態は、異常検出部３５で異常２ｐが検出されたときに、撮像画像データの補正処理を行うものである。

図９は第３の実施形態による電子機器１の内部構成を示すブロック図である。図９の電子機器１は、図４Ａの電子機器１に補正処理部３７を追加したものである。補正処理部３７は、異常２ｐが目立たないように表示部２に表示される画像を補正する。より具体的には、補正処理部３７は、異常検出部３５で検出された異常２ｐの情報に基づいて、信号処理部３２から出力された撮像画像データに対して補正処理を行い、補正処理後の画像データを出力する。補正処理部３７から出力された画像データは、出力部３６に送られる。補正処理部３７が行う補正処理は、例えば、エッジ強調処理、歪み補正処理及び傷補正処理の少なくとも一つを含んでいてもよい。

第３の実施形態による電子機器１内の異常検出部３５は、第２の実施形態と同様に表示面１ａを複数の発光波長で発光させて表示面１ａの異常２ｐを検出してもよい。本実施形態による異常検出部３５は、異常２ｐの種類を検出することができ、異常２ｐの種類によって、特定の発光波長に対する吸収特性や散乱特性が変化する。異常検出部３５は、発光波長と、吸収特性や散乱特性との対応関係から、異常２ｐの種類を比較的正確に推定できる。異常検出部３５が異常２ｐの種類を検出することができれば、補正処理部３７は、異常２ｐの種類に応じて適切な補正処理を行うことができる。

図１０は補正処理部３７が行う補正処理の処理手順を示すフローチャートである。図１０の補正処理は、図５のステップＳ５又は図８のステップＳ２２で表示面１ａに異常があると判定された場合に、図５のステップＳ７～Ｓ８又は図８のステップＳ２４～Ｓ２５の代わりに行われる。

まず、異常検出部３５で検出された異常２ｐの情報に基づいて異常２ｐの種類を判別する（ステップＳ３１）。

次に、電子機器１内の補正処理部３７にて有効な補正処理を行うことができるか否かを判定する（ステップＳ３２）。例えば、電子機器１がスマートフォン等の携帯機器の場合、ＰＣやサーバなどに比べてハードウェア性能が劣っており、高度な補正処理を行うのは困難である。このため、ユーザが満足する程度の補正処理を数秒内に行うことができない場合は、有効な補正処理を行うことができないと判定する。ステップＳ３２の判定処理は、例えば補正処理部３７にて行う。

ステップＳ３２にて有効な補正処理を行うことができると判定されると、補正処理部３７は、異常２ｐの種類に応じた補正処理を行う（ステップＳ３３）。例えば、異常検出部３５にて、異常２ｐが表示面１ａ上に付着した手油であることが検出されると、手油を通して撮像した撮像画像のエッジがぼやける傾向にあるため、エッジ強調処理を行う。この場合、補正処理部３７の内部でエッジ強調処理を行ってもよいし、あるいは、補正処理部３７は、信号処理部３２内のエッジ強調部３２ｈに対してエッジ強調処理の強化を指示してもよい。また、異常検出部３５にて、異常２ｐが表示面１ａに付着された水滴であることが検出されると、水滴によって被写体光が屈折されるため、歪んだ撮像画像データが得られる。そこで、補正処理部３７は、歪み補正処理を行ってもよい、また、異常検出部３５にて、異常２ｐが表示面１ａ上の傷であることが検出されると、補正処理部３７は、傷を除去する補正処理を行ってもよい。補正処理後の画像データは、出力部３６に送られる（ステップＳ３４）。

一方、ステップＳ３２で有効な補正処理を行うことができないと判定されると、信号処理部３２から出力された撮像画像データと、異常検出部３５で検出された異常２ｐの情報とを、高度な補正処理を行う特定の情報処理装置に送信する（ステップＳ３５）。情報処理装置は、例えばネットワークに接続されたサーバ装置でもよいし、高性能のＰＣでもよい。その後、情報処理装置で補正処理が撮像画像データの補正処理が行われ、補正処理後の画像データを補正処理部３７は受信する（ステップＳ３６）。受信された補正処理後の画像データは、出力部３６に送られる。

図１１は電子機器１と情報処理装置４１との接続形態の一例を示すブロック図である。図１１の例では、電子機器１と情報処理装置４１は、ネットワーク４２を介して情報の送受を行う。情報処理装置４１は、電子機器１から不特定な場所、すなわちクラウド環境に設けられていてもよいし、ＭＥＣ（Mobile Edge Computing）などのように、電子機器１から比較的近い場所（例えば、基地局など）に設けられてもよい。

情報処理装置４１にはデータベース装置４３が接続されており、データベース装置４３は、異常２ｐの種類と補正処理との対応関係に関する情報と、異常２ｐの種類に応じて補正処理を行うモデルに関する情報とを記憶している。情報処理装置４１は、異常２ｐの種類と撮像画像データをモデルの入力データとして、適切な補正処理を行った撮像画像データが出力されるように、モデルの学習を行う。学習の過程では、ニューラルネットワークの重み情報を種々に変更してモデルの更新を行う。情報処理装置４１は、様々な異常２ｐの種類と、補正処理の結果とをデータベース装置４３に蓄積して、モデルの学習を繰り返すことで、信頼性の高いモデルを生成することができる。このようなモデルの学習を事前に行っておくことで、電子機器１から送られてきた異常２ｐの種類と撮像画像データに対して、短時間で信頼性の高い補正処理を行って、補正処理後の画像データを電子機器１に返送することができる。

なお、図１０のフローチャートでは、電子機器１の内部で有効な補正処理ができないと判定された場合は、外部の情報処理装置４１で補正処理を行う例を説明したが、外部の情報処理装置４１が存在しない場合、あるいは何らかの理由により外部の情報処理装置４１との通信ができない場合は、有効な補正処理ができないことを表示部２に表示してもよい。

このように、第３の実施形態では、異常検出部３５にて異常２ｐが検出されると、異常２ｐが目立たないように撮像画像データの補正処理を行うため、ユーザが表示面１ａの異常２ｐを解消する作業を行わなくても、高品質の撮像画像データが得られる。

（第４の実施形態）
第４の実施形態は、表示部２の表示面１ａとは反対側に複数のカメラモジュール３を配置するものである。

図１２は第４の実施形態による電子機器１の平面図である。図１２の電子機器１は、表示部２の表示面１ａとは反対側に３つのカメラモジュール３を配置している。なお、カメラモジュール３の数は３個に限定されない。各カメラモジュール３の焦点距離は同じでも、異なっていてもよい。

図１３は図１２のＡ－Ａ線方向の断面図である。各カメラモジュール３の撮影範囲を破線で示している。本実施形態では、表示部２の表示面１ａの任意の場所を、少なくとも二つのカメラモジュール３が撮影できるようにしている。これにより、表示面１ａ上の任意の場所に生じた異常２ｐを、複数のカメラモジュール３で撮像することができる。

表示面１ａ上の異常個所を、それぞれ異なる方向から撮像することで、異常２ｐの種類を特定しやすくなる。異常検出部３５は、複数のカメラモジュール３が撮像した複数の撮像画像データを参照して、異常２ｐの種類を検出する。その際、第２の実施形態と同様に、それぞれ異なる複数の発光波長の光で表示面１ａを発行させた状態で撮像してもよい。

補正処理部３７は、複数のカメラモジュール３で撮像した複数の撮像画像データに基づいて、異常２ｐを除去するための補正処理を行う。一方向から撮像した撮像画像データに基づいて補正処理を行うよりも、複数方向から撮像した複数の撮像画像データに基づいて補正処理を行う方が、有効な補正処理を行うことができる。なお、補正処理部３７で有効な補正処理を行えないと判定された場合は、複数のカメラモジュール３で撮像した複数の撮像画像データを外部の情報処理装置４１に送信して、情報処理装置４１で補正処理を行えばよい。

このように、第４の実施形態では、複数のカメラモジュール３を設けることで、表示面１ａの任意の場所の異常２ｐを少なくとも二つのカメラモジュール３で撮像できるようにしたため、異常２ｐの有無と、異常２ｐの種類の検出と、異常２ｐを解消するための補正処理とを、より精度よく行うことができる。

（第５の実施形態）
第５の実施形態は、異常２ｐの具体的な検出方法に関するものであり、第１～第４の実施形態による異常検出部３５に適用できるものである。

図１４は第５の実施形態による撮像部４の画素配列の一例を示す平面図である。図１４の例では、ＲＧＢの３色用の画素が二次元方向に配置されている。各画素は光電変換部４ａを備えており、入射された光を光量に応じた電気信号に変換する。複数の画素のうち一部の画素は位相差検出用の画素であり、画素領域が２つに分割されている。位相差検出用の画素における各分割画素１０ａ，１０ｂはそれぞれ個別に光電変換を行う。２つの分割画素１０ａ，１０ｂが光電変換した電気信号の差分が位相差情報であり、この位相差情報によりデフォーカス量を検出することができる。このデフォーカス量は焦点調節に用いることができる。図１４の例では、四隅に位相差検出用の画素を配置した例を示しているが、位相差検出用の画素をどこにどの程度配置するかは任意である。

位相差検出用の画素を構成する２つの分割画素１０ａ，１０ｂで得られたデフォーカス量にて異常２ｐの有無を検出することができる。すなわち、表示面１ａ上に異物がある場合、位相差検出用の画素は、この異物を被写体の一部と認識してデフォーカス量を検出する。検出されたデフォーカス量により、異物を検出することができる。例えば、図１２のように複数のカメラモジュール３が配置されている場合、少なくとも２つの各カメラモジュール３が、異物に起因するデフォーカス量を検出するため、検出されたデフォーカス量が本来意図した被写体によるものではなく、表示面１ａ上の異物によるものと特定することができる。

このように、第５の実施形態では、撮像用の画素配列の一部に位相差検出用の画素を設けることで、表示面１ａ上の異常２ｐの検出を精度よく行うことができる。

（第６の実施形態）
第６の実施形態は、第５の実施形態とは異なる手法で、表示面１ａ上の異常２ｐを検出するものである。第６の実施形態による異常２ｐ検出処理は、第１～第４の実施形態による異常検出部３５に適用できる。

図１５は第６の実施形態による撮像部４の画素配列の一例を示す平面図である。図１５の例では、図１４と同様に、ＲＧＢの３色用の画素が二次元方向に配置されている。各画素は、光電変換部４ａを有する。一部の画素には、光電変換部４ａの光入射面側に偏光素子８ｂが配置されている。以下では、偏光素子８ｂが配置されている画素を偏光画素１０ｃと呼び、偏光素子８ｂが配置されている画素を非偏光画素１０ｄと呼ぶ。

偏光素子８ｂは、表示部２を通過して入射された光を偏光させる。偏光素子８ｂで偏光された光は、対応する光電変換部４ａに入射されて光電変換される。

図１５は、８×８＝６４個の画素うち、６０個が非偏光画素１０ｄで、４個が偏光画素１０ｃである例を示しているが、非偏光画素１０ｄと偏光画素１０ｃの割合や、偏光画素１０ｃの場所は任意である。

図１６は第６の実施形態による撮像部４の断面図である。図１６は、図３と共通する部分には同一符号を付しており、以下では相違点を中心に説明する。図１６の撮像部４では、平坦化層１３の上に、遮光層１８及び下地絶縁層１９が配置され、下地絶縁層１９の上に、複数の偏光素子８ｂが離隔して配置されている。偏光素子８ｂは、例えば、下地絶縁層１９の一部に配置されるライン・アンド・スペース構造のワイヤグリッド偏光素子８ｂである。

図１７は各偏光素子８ｂの詳細な構造の一例を示す斜視図である。複数の偏光素子８ｂのそれぞれは、図１７に示すように、一方向に延びる凸形状の複数のライン部８ｄと、各ライン部８ｄの間のスペース部８ｅとを有する。偏光素子８ｂには、ライン部８ｄの延びる方向がそれぞれ相違する複数種類がある。より具体的には、偏光素子８ｂには３種類以上があり、例えば、光電変換部４ａの配列方向とライン部８ｄの延在方向との為す角度は０度、６０度、１２０度の３種類でもよい。あるいは、光電変換部４ａの配列方向とライン部８ｄの延在方向との為す角度は０度、４５度、９０度、１３５度の４種類でもよいし、それ以外の角度でもよい。あるいは、複数の偏光素子８ｂは、単一方向のみの偏光をするものでもよい。複数の偏光素子８ｂの材料は、アルミニウムやタングステンなどの金属材料でもよいし、有機光電変換膜でもよい。

図１５に示すように、撮像部４が４種類の偏光素子８ｂを備える場合、各偏光素子８ｂは、それぞれ別個の偏光状態の光を通過させて、対応する光電変換部４ａで光電変換を行う。表示面１ａに異常２ｐがある場合、その異常２ｐの種類によって、４種類の偏光素子８ｂを通過する光の種類が変わる。よって、４種類の偏光画素１０ｃで光電変換された電気信号を解析することで、異常２ｐの種類を特定することができる。

また、偏光画素１０ｃは、表示面１ａに入射されるフレアや回折光の成分を抽出して除去する目的でも利用することができる。

図１８はフレア光や回折光の影響を抑制する機能を有する電子機器１内の信号処理部３２Ａの内部構成を示すブロック図である。電子機器１内の信号処理部３２Ａ以外の構成は、図４Ａと同様である。

図１８では、図４Ｂと共通する部分には同一符号を付しており、以下では相違点を中心に説明する。図１８の信号処理部３２Ａは、図４Ｂの信号処理部３２の内部構成に加えて、偏光出力部３２ｊと、フレア抽出部３２ｋと、フレア補正信号生成部３２ｍとを有する。

偏光出力部３２ｊは偏光情報データを出力する。フレア抽出部３２ｋは、偏光情報データから、フレア成分と回折光成分の少なくとも一方を抽出する。フレア抽出部３２ｋで抽出されたフレア成分と回折光成分の少なくとも一方が補正量である。フレア補正信号生成部３２ｍは、カラー出力部３２ｂから出力されたデジタル画素データに対して、フレア抽出部３２ｋで抽出された補正量の減算処理を行うことにより、デジタル画素データを補正する。フレア補正信号生成部３２ｍの出力データは、フレア成分及び回折光成分の少なくとも一方が除去されたデジタル画素データである。このように、フレア補正信号生成部３２ｍは、偏光情報に基づいて、複数の非偏光画素１０ｄで光電変換された撮像画像を補正する補正部として機能する。

偏光画素１０ｃの画素位置におけるデジタル画素データは、偏光素子８ｂを通した分、信号レベルが低くなっている。このため、欠陥補正部３２ｃは、偏光画素１０ｃを欠陥とみなして、所定の欠陥補正処理を行う。

図１５～図１８に示すように、複数の偏光素子８ｂにて偏光情報を取得することにより、表示部２内で反射を繰り返した上で複数の非偏光画素１０ｄに入射される光に含まれるフレア成分や回折光成分を簡易かつ信頼性よく除去した状態で撮像画像を生成することができる。

このように、第６の実施形態では、撮像用の画素配列の一部に、偏光素子８ｂを用いた偏光画素１０ｃを設けるため、偏光画素１０ｃを利用して表示面１ａの異常２ｐを検出できる。また、偏光画素１０ｃにて、表示面１ａに入射されたフレアや回折光の抽出と除去を行うことができる。

（第７の実施形態）
第７の実施形態は、被写体までの距離を光学的に検出するセンサを用いて、表示面１ａ上の異常２ｐの検出を行うものである。

図１９は第７の実施形態による電子機器１の概略構成を示すブロック図である。図１９の電子機器１は、図４Ａの電子機器１のブロック構成に加えて、距離計測部２７を有する。距離計測部２７は、投光部２７ａと受光部２７ｂを有する。投光部２７ａは、所定の波長のパルス状の光を間欠的に放射し、受光部２７ｂは、投光部２７ａが放射した光が物体で反射された光を受光する。距離計測部２７は、投光部２７ａが光を放射してから受光部２７ｂが光を受光するまでの時間差により、物体までの距離を計測する。投光部２７ａは、所定の角度範囲内で光の投光方向を走査させるようにしてもよい。これにより、表示面１ａの全域に対して投光部２７ａからの光を放射することができる。

表示部２の表示面１ａに異常２ｐがある場合、その異常２ｐが異物であれば、投光部２７ａからの光を反射する。よって、距離計測部２７から表示面１ａまでの距離は予めわかっているため、異常検出部３５は、距離計測部２７で計測された距離を用いることで、物体が表示面１ａ上の異物であるか否かを正確に検出することができる。

このように、第７の実施形態では、物体までの距離を光学的に検出する距離計測部２７を設けるため、表示面１ａ上に異常２ｐがあるか否かを簡易かつ精度良く検出できる。

なお、投光部２７ａが光を投光してから、受光部２７ｂが光を受光するまでの時間により、物体までの距離を計測する代わりに、それぞれ異なる画角の撮影を行う複数のカメラを設けて、これら複数のカメラの撮影画像に基づいて、物体までの距離を計測してもよい。

（第８の実施形態）
上述した第１～第７の実施形態では、電子機器１内の撮像部４を被写体の撮影を行うために用いる例を示したが、撮像部４は指紋検出、虹彩検出、網膜検出、静脈検出、生体形状検出等のバイオメトリック認証用途に用いることができる。生体の検出対象によって、適切な焦点距離が異なるため、検出対象に合わせた焦点距離のレンズを設けるとともに、プリズムや光源などを最適化することにより、種々の生体情報の検出に第１～第７の実施形態の電子機器１を適用することができる。

（第９の実施形態）
第９の実施形態による電子機器１は、カメラモジュール３の光学系５が第１～第８の実施形態とは異なるものである。

図２０は第９の実施形態による電子機器１に搭載されるカメラモジュール３の撮像部４の断面構造を示す図である。図２０の撮像部４は、単一のレンズ又は単一のレンズを光軸方向に並べたレンズ群ではなく、マイクロレンズアレイ６４を有する。

より詳細には、図２０の撮像部４は、筐体６３の底面に沿って配置される光電変換部４ａと、光電変換部４ａの上方に配置されるマイクロレンズアレイ６４と、隣接するマイクロレンズ６５の間に配置される複数の遮光体６６と、マイクロレンズアレイ６４の上方に配置される導光板６７とを有する。図２０の撮像部４は、上述した第１～第８の実施形態のいずれにも適用可能である。

（第１０の実施形態）
上述した第１～第９の実施形態で説明した構成を備えた電子機器１の具体的な候補としては、種々のものが考えられる。例えば、図２１は第１～第９の実施形態の電子機器１をカプセル内視鏡５０に適用した場合の平面図である。図２１のカプセル内視鏡５０は、例えば両端面が半球状で中央部が円筒状の筐体５１内に、体腔内の画像を撮影するためのカメラ（超小型カメラ）５２、カメラ５２により撮影された画像データを記録するためのメモリ５３、および、カプセル内視鏡５０が被験者の体外に排出された後に、記録された画像データをアンテナ５４を介して外部へ送信するための無線送信機５５を備えている。

また、筐体５１内には、ＣＰＵ（Central Processing Unit）５６およびコイル（磁力・電流変換コイル）５７が設けられている。ＣＰＵ５６は、カメラ５２による撮影、およびメモリ５３へのデータ蓄積動作を制御するとともに、メモリ５３から無線送信機５５による筐体５１外のデータ受信装置（図示せず）へのデータ送信を制御する。コイル５７は、カメラ５２、メモリ５３、無線送信機５５、アンテナ５４および後述する光源５２ｂへの電力供給を行う。

さらに、筐体５１には、カプセル内視鏡５０をデータ受信装置にセットした際に、これを検知するための磁気（リード）スイッチ５８が設けられている。ＣＰＵ５６は、このリードスイッチ５８がデータ受信装置へのセットを検知し、データの送信が可能になった時点で、コイル５７からの無線送信機５５への電力供給を行う。

カメラ５２は、例えば体腔内の画像を撮影するための対物光学系を含む撮像素子５２ａ、体腔内を照明する複数の光源５２ｂを有している。具体的には、カメラ５２は、光源５２ｂとして、例えばLED（Light Emitting Diode）を備えたCMOS（Complementary Metal Oxide Semiconductor）センサやCCD（Charge Coupled Device）等によって構成される。

第１～第９の実施形態の電子機器１における表示部２は、図２１の光源５２ｂのような発光体を含む概念である。図２１のカプセル内視鏡５０では、例えば２個の光源５２ｂを有するが、これらの光源５２ｂを、複数の光源部を有する表示パネルや、複数のＬＥＤを有するＬＥＤモジュールで構成可能である。この場合、表示パネルやＬＥＤモジュールの下方にカメラ５２の撮像部４を配置することで、カメラ５２のレイアウト配置に関する制約が少なくなり、より小型のカプセル内視鏡５０を実現できる。

また、図２２は第１～第９の実施形態の電子機器１をデジタル一眼レフカメラ６０に適用した場合の背面図である。デジタル一眼レフカメラ６０やコンパクトカメラは、レンズとは反対側の背面に、プレビュー画面を表示する表示部２を備えている。この表示部２の表示面とは反対側にカメラモジュール３を配置して、撮影者の顔画像を表示部２の表示面１ａに表示できるようにしてもよい。第１～第９の実施形態による電子機器１では、表示部２と重なる領域にカメラモジュール３を配置できるため、カメラモジュール３を表示部２の額縁部分に設けなくて済み、表示部２のサイズを可能な限り大型化することができる。

図２３Ａは第１～第９の実施形態の電子機器１をヘッドマウントディスプレイ（以下、ＨＭＤ）６１に適用した例を示す平面図である。図２３ＡのＨＭＤ６１は、ＶＲ（Virtual Reality）、ＡＲ（Augmented Reality）、ＭＲ（Mixed Reality）、又はＳＲ（Substituional Reality）等に利用されるものである。現状のＨＭＤは、図２３Ｂに示すように、外表面にカメラ６２を搭載しており、ＨＭＤの装着者は、周囲の画像を視認することができる一方で、周囲の人間には、ＨＭＤの装着者の目や顔の表情がわからないという問題がある。

そこで、図２３Ａでは、ＨＭＤ６１の外表面に表示部２の表示面を設けるとともに、表示部２の表示面の反対側にカメラモジュール３を設ける。これにより、カメラモジュール３で撮影した装着者の顔の表情を表示部２の表示面に表示させることができ、装着者の周囲の人間が装着者の顔の表情や目の動きをリアルタイムに把握することができる。

図２３Ａの場合、表示部２の裏面側にカメラモジュール３を設けるため、カメラモジュール３の設置場所についての制約がなくなり、ＨＭＤ６１のデザインの自由度を高めることができる。また、カメラを最適な位置に配置できるため、表示面に表示される装着者の目線が合わない等の不具合を防止できる。

このように、第１０の実施形態では、第１～第９の実施形態による電子機器１を種々の用途に用いることができ、利用価値を高めることができる。

なお、本技術は以下のような構成を取ることができる。
（１）表示部と、
前記表示部の表示面とは反対側に配置される撮像部と、
前記表示面上の異常を検出する異常検出部と、
前記異常検出部で検出された前記異常が生じた位置を前記表示部に強調表示する表示制御部と、を備える、電子機器。
（２）前記表示制御部は、前記異常の除去を促す情報を前記表示部に表示させる、（１）に記載の電子機器。
（３）前記情報は、前記異常の種類に応じた情報を含む、（２）に記載の電子機器。
（４）前記表示制御部は、前記異常が生じた位置を指し示す指標を前記表示部に表示させる（１）乃至（３）のいずれか一項に記載の電子機器。
（５）それぞれ異なる複数の発光波長で発光させることが可能な表示部と、
前記表示部の表示面とは反対側に配置される撮像部と、
前記複数の発光波長のそれぞれにて前記表示面の少なくとも一部を発光させた状態で前記撮像部にて撮像された複数の画像に基づいて、前記表示面上の異常を検出する異常検出部と、を備える、電子機器。
（６）前記異常検出部は、前記表示面上の前記撮像部の画角と重なる領域を前記複数の発光波長のそれぞれにて発光させた状態で前記撮像部にて撮像された複数の画像に基づいて、前記表示面上の異常を検出する、（５）に記載の電子機器。
（７）表示部と、
前記表示部の表示面とは反対側に配置される撮像部と、
前記表示面上の異常を検出する異常検出部と、
前記異常に基づいて、前記撮像部で撮像された画像を補正する補正処理部と、を備える、電子機器。
（８）前記補正処理部は、前記異常の種類、色、サイズ、位置及び数の少なくとも一つの情報に基づいて、前記撮像部で撮像された画像を補正する、（７）に記載の電子機器。
（９）前記異常の種類を判別する異常判別部を備え、
前記補正処理部は、前記撮像部で撮像された画像に対して、前記異常判別部で判別された前記異常の種類に応じた補正処理を施す、（８）又は（９）に記載の電子機器。
（１０）前記補正処理は、エッジ強調処理、歪み補正処理及び傷補正処理の少なくとも一つを含む、（９）に記載の電子機器。
（１１）前記異常の種類、色、サイズ、位置及び数の少なくとも一つの情報と、前記補正処理部が補正を行う前後の画像と、に基づいて学習させた、前記撮像部で撮像された画像を前記異常の情報に基づいて補正するモデルを生成するモデル生成部を備え、
前記補正処理部は、学習済みの前記モデルに対して、前記撮像部で撮像された画像と、前記異常の情報とを与えて、前記撮像部で撮像された画像を補正する、（７）乃至（１０）のいずれか一項に記載の電子機器。
（１２）前記補正処理部による補正が有効か否かを判定する補正判定部と、
前記補正処理部による補正が有効でないと判定された場合に、前記撮像部で撮像された画像と前記異常の情報とを情報処理装置に送信するとともに、前記情報処理装置で補正された画像を受信する画像通信部と、
前記情報処理装置で補正された画像を出力する出力部と、を備える、（７）乃至（１１）のいずれか一項に記載の電子機器。
（１３）前記撮像部は、それぞれ異なる画角の撮影を行う複数のカメラを有し、
前記補正処理部は、前記複数のカメラで撮影された複数の画像に基づいて、前記撮像部で撮像された画像から前記異常を除去する、（７）乃至（１２）のいずれか一項に記載の電子機器。
（１４）前記撮像部は、
前記表示部を介して入射された光を光電変換する複数の光電変換部を有し、
前記複数の光電変換部のうち少なくとも一つは、位相差情報を検出可能であり、
前記異常検出部は、前記位相差情報に基づいて、前記異常を検出する、（１）乃至（１３）のいずれか一項に記載の電子機器。
（１５）前記撮像部は、
前記表示部を介して入射された光を光電変換する複数の光電変換部と、
前記複数の光電変換部のうち少なくとも一つの光入射側に配置される複数の偏光素子と、を有し、
前記異常検出部は、前記複数の偏光素子で偏光されて前記光電変換部で光電変換された偏光情報に基づいて、前記異常を検出する、（１）乃至（１３）のいずれか一項に記載の電子機器。
（１６）前記複数の偏光素子は、それぞれ異なる偏光状態を検出する複数種類の偏光素子を含む、（１５）に記載の電子機器。
（１７） 前記撮像部は、
前記表示部を介して入射された光を光電変換する複数の光電変換部と、
前記複数の光電変換部に被写体光を結像させるマイクロレンズアレイと、を有する、（１）乃至（１６）のいずれか一項に記載の電子機器。
（１８）前記撮像部で撮像される被写体までの距離を検出する距離検出部を備え、
前記異常検出部は、前記距離検出部で検出された距離に基づいて、前記異常を検出する、（１）乃至（１３）のいずれか一項に記載の電子機器。
（１９）前記撮像部は、それぞれ異なる画角の撮影を行う複数のカメラを有し、
前記距離検出部は、前記複数のカメラの撮影画像に基づいて、前記距離を検出する、（１８）に記載の電子機器。
（２０）前記撮像部で撮像された画像に基づいて、前記表示面に接触された指の指紋を検出する指紋検出部を備える、（１）乃至（１９）のいずれか一項に記載の電子機器。

本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。

１ 電子機器、１ａ 表示面、１ｂ ベゼル、２ 表示部、２ｂ 保護フィルム、２ｃ ポリイミド基板、２ｄ 表示層、２ｅ バリア層、２ｆ タッチセンサ層、２ｇ 粘着層、２ｈ 円偏光板、２ｉ 光学粘着シート、２ｐ 異常、２ｑ 指標、２ｒ フィルム、３ カメラモジュール、４ 撮像部、４ａ 光電変換部、５ 光学系、１１ 半導体基板、１２ 素子分離層、１３ 平坦化層、１４ カラーフィルタ層、１５ オンチップレンズ、１６ 読み出し回路、１７ 層間絶縁膜、２１ 撮像装置、２２ アプリケーションプロセッサ、２３ 映像信号生成部、２４ Ａ／Ｄ変換部、２５ 表示制御部、３１ Ａ／Ｄ変換部、３２ 信号処理部、３２ａ クランプ部、３２ｂ カラー出力部、３２ｃ 欠陥補正部、３２ｄ リニアマトリックス部、３２ｅ ガンマ補正部、３２ｆ 輝度クロマ信号生成部、３２ｇ ノイズリダクション部、３２ｈ エッジ強調部、３３ 撮像制御部、３４ 露光調整部、３５ 異常検出部、３６ 出力部

Claims (16)

1. 表示部と、
   前記表示部の表示面とは反対側に配置される撮像部と、
   前記表示面上の異常を検出する異常検出部と、
   前記異常検出部で検出された前記異常が生じた位置を前記表示部に強調表示する表示制御部と、を備え、
   前記撮像部は、
   前記表示部を介して入射された光を光電変換する複数の光電変換部と、
   前記複数の光電変換部のうち少なくとも一つの光入射側に配置される複数の偏光素子と、を有し、
   前記異常検出部は、前記複数の偏光素子で偏光されて前記光電変換部で光電変換された偏光情報に基づいて、前記異常を検出する、電子機器。
2. 前記表示制御部は、前記異常の除去を促す情報を前記表示部に表示させる、請求項１に記載の電子機器。
3. 前記情報は、前記異常の種類に応じた情報を含む、請求項２に記載の電子機器。
4. 前記表示制御部は、前記異常が生じた位置を指し示す指標を前記表示部に表示させる請求項１乃至３のいずれか一項に記載の電子機器。
5. それぞれ異なる複数の発光波長で発光させることが可能な表示部と、
   前記表示部の表示面とは反対側に配置される撮像部と、
   前記複数の発光波長のそれぞれにて前記表示面の少なくとも一部を発光させた状態で前記撮像部にて撮像された複数の画像に基づいて、前記表示面上の異常を検出する異常検出部と、を備え、
   前記撮像部は、
   前記表示部を介して入射された光を光電変換する複数の光電変換部と、
   前記複数の光電変換部のうち少なくとも一つの光入射側に配置される複数の偏光素子と、を有し、
   前記異常検出部は、前記複数の偏光素子で偏光されて前記光電変換部で光電変換された偏光情報に基づいて、前記異常を検出する、電子機器。
6. 前記異常検出部は、前記表示面上の前記撮像部の画角と重なる領域を前記複数の発光波長のそれぞれにて発光させた状態で前記撮像部にて撮像された複数の画像に基づいて、前記表示面上の異常を検出する、請求項５に記載の電子機器。
7. 表示部と、
   前記表示部の表示面とは反対側に配置される撮像部と、
   前記表示面上の異常を検出する異常検出部と、
   前記異常に基づいて、前記撮像部で撮像された画像を補正する補正処理部と、を備え、
   前記撮像部は、
   前記表示部を介して入射された光を光電変換する複数の光電変換部と、
   前記複数の光電変換部のうち少なくとも一つの光入射側に配置される複数の偏光素子と、を有し、
   前記異常検出部は、前記複数の偏光素子で偏光されて前記光電変換部で光電変換された偏光情報に基づいて、前記異常を検出する、電子機器。
8. 前記補正処理部は、前記異常の種類、色、サイズ、位置及び数の少なくとも一つの情報に基づいて、前記撮像部で撮像された画像を補正する、請求項７に記載の電子機器。
9. 前記異常の種類を判別する異常判別部を備え、
   前記補正処理部は、前記撮像部で撮像された画像に対して、前記異常判別部で判別された前記異常の種類に応じた補正処理を施す、請求項８に記載の電子機器。
10. 前記補正処理は、エッジ強調処理、歪み補正処理及び傷補正処理の少なくとも一つを含む、請求項９に記載の電子機器。
11. 前記異常の種類、色、サイズ、位置及び数の少なくとも一つの情報と、前記補正処理部が補正を施す前後の画像と、に基づいて学習させた、前記撮像部で撮像された画像を前記異常の情報に基づいて補正するモデルを生成するモデル生成部を備え、
    前記補正処理部は、学習済みの前記モデルに対して、前記撮像部で撮像された画像と、前記異常の情報とを与えて、前記撮像部で撮像された画像を補正する、請求項７乃至１０のいずれか一項に記載の電子機器。
12. 前記補正処理部による補正が有効か否かを判定する補正判定部と、
    前記補正処理部による補正が有効でないと判定された場合に、前記撮像部で撮像された画像と前記異常の情報とを情報処理装置に送信するとともに、前記情報処理装置で補正された画像を受信する画像通信部と、
    前記情報処理装置で補正された画像を出力する出力部と、を備える、請求項７乃至１１のいずれか一項に記載の電子機器。
13. 前記撮像部は、それぞれ異なる画角の撮影を行う複数のカメラを有し、
    前記補正処理部は、前記複数のカメラで撮影された複数の画像に基づいて、前記撮像部で撮像された画像から前記異常を除去する、請求項７乃至１２のいずれか一項に記載の電子機器。
14. 前記複数の偏光素子は、それぞれ異なる偏光状態を検出する複数種類の偏光素子を含む、請求項１乃至１３のいずれか一項に記載の電子機器。
15. 前記撮像部は、
    前記表示部を介して入射された光を光電変換する複数の光電変換部と、
    前記複数の光電変換部に被写体光を結像させるマイクロレンズアレイと、を有する、請求項１乃至１４のいずれか一項に記載の電子機器。
16. 前記撮像部で撮像された画像に基づいて、前記表示面に接触された指の指紋を検出する指紋検出部を備える、請求項１乃至１５のいずれか一項に記載の電子機器。