JP2012141691A - 映像処理装置 - Google Patents

Abstract

【課題】撮影装置で撮影した画像情報に基づいて、画像情報の状態を判定する技術を提供する。
【解決手段】移動体に搭載された撮影装置の映像情報を処理する映像処理方法であって、前記撮影装置にて撮影した映像情報から分析対象を検出し、前記分析対象の情報に基づいて、前記映像情報の状態判定を行い、前記判定結果を出力する。なお、前記分析対象の情報は、分析対象の検出継続時間を検出することや所定期間内に検出した前記分析対象の検出継続時間の統計量を算出することでも良い。
【選択図】図１

Description

本発明は、移動体に備えられた撮像装置の映像を処理する技術に関する。

車載カメラで撮影した映像に対して、所定の処理を行うことにより、ドライバの視覚による確認をサポートする技術がある。

特開２００７−００１３３３号公報 特開２０００−２０７５６３号公報

しかしながら、車載カメラのみをセンサとして用いたシステムの課題として、外部環境や車載カメラの状態に依っては、視覚による確認のサポートとして十分に機能しないことがあった。例えば、真っ暗な夜道では、一般的な可視光によるカメラのみをセンサとして利用した場合、注意を払うべき対象物が自車周囲に存在しても、真っ暗なため対象物として映らず、ドライバは注意すべき対象物が何も無い、と誤って判断する場合がある。

また、車載カメラに汚れ等が付着した場合も正しいサポートを提供することが出来ず、ドライバが誤って判断する可能性がある。

この問題を解決するために、従来は、照度センサをはじめ、外部環境やカメラ状態を認識する他のセンサで情報を収集し、システムが正常に動作する状態かどうかを判断している。しかし、車載カメラ以外のセンサを用いることになり、装置構成が複雑になるといった問題がある。

そこで本発明は、撮影装置で撮影した映像情報に基づいて、映像情報の状態を判定する技術の提供を課題とする。

本発明の映像処理装置は、
移動体に搭載された撮影装置の映像情報を処理する装置であって、
前記撮影装置にて撮影した映像情報から分析対象を検出する分析対象検出部と、
前記分析対象検出部で検出された分析対象の情報に基づいて、映像情報の状態判定を行う状態判定部と、
前記判定結果を出力する出力制御部と、
を備える。

また、本発明の映像処理方法は、
移動体に搭載された撮影装置の映像情報を処理する方法であって、
前記撮影装置にて撮影した映像情報から分析対象を検出するステップと、
前記分析対象の情報に基づいて、前記映像情報の状態判定を行うステップと、
前記判定結果を出力するステップと、
をコンピュータが実行する。

また、上記課題を解決するため、本発明は、上記映像処理方法をコンピュータに実行させるための映像処理プログラムであっても良い。更に、この映像処理プログラムをコンピュータが読み取り可能な記録媒体に記録しても良い。コンピュータに、この記録媒体の不具合情報管理プログラムを読み込ませて実行させることにより、その機能を提供させることができる。

ここで、コンピュータが読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータから読み取ることができる記録媒体をいう。このような記録媒体の内コンピュータから取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、CD-ROM、CD-R/W、DVD、DAT、８mmテープ、メモリカード等がある。

また、コンピュータに固定された記録媒体としてハードディスクやＲＯＭ（リードオンリーメモリ）等がある。

本発明によれば、撮影装置で撮影した映像情報に基づいて、映像情報の状態を判定する技術を提供できる。

本発明の映像処理装置の機能ブロック図 本発明の映像処理方法の説明図 実施形態２の映像処理装置の機能ブロック図 実施形態２の映像処理方法の説明図 本発明の不具合情報管理装置を採用したＡＶＮ一体機の構成を示すブロック図変形例の説明図 接近物を検出する処理の説明図 自車両に備えられた撮影装置が前方の車両を撮影した例を示す図 図７の映像情報から抽出した特徴点を示す模式図 位置５１Bから前方の車両を撮影した映像情報の例を示す図 接近物である前方の車両を矩形で囲んで強調表示した例を示す図 特徴点が数個未満のフレームが続いた場合を示す図 サポート機能を提供できない旨のメッセージの出力例を示す図 一定の領域に同じ特徴点が検出された場合の説明図 一定の領域に同じ特徴点が検出された場合の説明図 サポート機能を提供できない旨のメッセージの出力例を示す図 特徴点が所定時間以上止まっている場合の説明図 特徴点が所定時間以上止まっている場合の説明図 サポート機能を提供できない旨のメッセージの出力例を示す図 特徴点の継続時間が短い場合の例を示す図 特徴点の継続時間が短い場合の例を示す図 サポート機能を提供できない旨のメッセージの出力例を示す図

以下、図面を参照して本発明を実施するための形態について説明する。以下の実施形態の構成は例示であり、本発明は実施形態の構成に限定されない。

〈実施形態１〉
図１は、本実施形態における映像処理装置１０の概略構成図である。図１に示すように、映像処理装置１０は、分析対象検出部１、状態判定部２、出力制御部３を備え、撮影装
置５で撮影した映像情報を処理し、映像処理部４を介して表示装置１１３に表示させる。これにより映像処理装置１０は死角部分の表示や死角から追い抜く二輪車のように接近してくる物体を強調表示する等、ドライバの視覚による確認をサポートする。

また、本実施形態１の映像処理装置１０は、撮影装置５で撮影した映像情報の状態を判定し、この判定結果を出力する。これにより例えば、撮影装置５が故障した場合や、暗過ぎて撮影できない場合など、正しくサポート出来ない時に警告を発することで、信頼性を向上させている。

撮影装置５は、移動体（本実施形態では車両）に搭載されたカメラであり、移動体の周囲を撮影して映像処理部４や分析対象検出部１等に映像情報を入力する。

映像処理部４は、撮影装置５や映像処理装置１０から入力された映像情報（画像データ）を表示装置１１３に表示させるため、所定の映像信号に変換する等の処理を行う。

分析対象検出部１は、前記撮影装置５にて撮影した映像情報からノイズや特徴点といった分析対象を検出する。

本実施形態の分析対象検出部１は、特徴点（分析対象）検出部１１と、特徴点（分析対象）観測部１２と、分析対象特定部１３を有している。

特徴点検出部１１は、前記撮影装置５より入力される映像情報から特徴点を検出する。特徴点観測部１２は、前記特徴点の異なるフレーム間での位置の変動を算出する。分析対象特定部１３は、特徴点観測部１２で算出される位置の変動から分析対象の動きの向きを特定する。

状態判定部２は、分析対象検出部１で検出された分析対象の情報に基づいて、例えば自車両に接近してくる物体を検出する。出力制御部３は状態判定部２で検出した自車両に接近してくる物体を強調表示するための当該物体の映像上の位置等を示す映像情報を作成し、この映像情報を映像処理部４に送り、映像処理部４にて当該映像情報に基づき撮影装置５にて撮影した映像上に強調表示する。表示装置１１３に表示させてドライバの視覚によるサポートに資する。なお、出力制御部３による出力は、表示装置１１３に対する表示出力に限らず、音声出力や、他のコンピュータへの送信、記憶媒体への書き込み、そしてこれ等の組み合わせであっても良い。

図６−図１０は、接近物を検出する処理の説明図である。図６において、撮影装置５は、その撮影レンズの光軸５xを自車両５１の前方に向けて、自車両５１の天井部内側に設
置されている。

図７は、自車両５１に備えられた撮影装置５が位置５１Aから撮影した映像情報の例で
あり、映像情報内に前方の車両５２を捉えている例を示している。

分析対象検出部１の特徴点検出部１１は、映像情報を画像処理して分析対象としての特徴点を抽出する。なお、特徴点を抽出するアルゴリズムは、Harrisオペレータや、モラベック（Moravec）のコーナー検出アルゴリズム、SUSANオペレータ等、任意のアルゴリズムを採用してよい。図７の映像情報から抽出した特徴点を図８に模式的に示す。特徴点検出部１１は、各特徴点の座標を求めれば良く、特徴点を表示する必要は無いが、図８では説明のため、特徴点を円で囲んだ×印で模式的に示した。

そして、自車両５１に備えられた撮影装置５が前方の車両５２との相対的な位置５１B
から撮影した映像情報の例を図９に示した。このように前方の車両５２と接近すると、前方の車両上の特徴点の位置が変化する。特徴点観測部１２は、変化した各特徴点の位置を求め、分析対象特定部１３がこの特徴点の位置の変化に基づいて接近物を検出する。即ち、分析対象特定部１３は、特徴点５a−５dが、図８と比べて図９では画像の下方へ移動すると共に、各特徴点５a−５dの間、例えば特徴点５ｂ−５ｃの間５２bが長くなったこと
から、接近物であることを検出する。出力制御部３は、この接近物の特徴点を囲む矩形を当該映像情報に合成することにより、接近物を強調表示させる。図１０は、接近物である前方の車両５２を矩形５３で囲んで強調表示した例を示している。

なお、本実施形態では、分析対象として特徴点を用いる例を示したが、分析対象は、これに限らず、映像情報から輪郭を抽出し、この輪郭を構成する各線分や各線分で囲む面などを分析対象としても良い。

また、状態判定部２は、分析対象検出部１で検出された分析対象の情報に基づいて、映像情報の状態判定を行う。出力制御部３は、この状態判定部２の判定結果を出力する。即ち、撮影装置５による撮影が困難なほど照度が落ちていないか、撮影装置５が故障していないか等、映像情報の有効性が低下してドライバの視覚によるサポートが行えないことを報知する。

図１に示した本実施形態の映像処理装置１０は、上記各部１〜４の機能を専用のハードウェアで実現している。ここでハードウェアは、例えば、ＦＰＧＡ［Field Programmable
Gate Array］、ＡＳＩＣ［Application Specific Integrated Circuit］、ＬＳＩ［Large Scale Integration］といった回路を備えても良い。また、当該ハードウェアは、ＩＣ
［Integrated Circuit］、ゲートアレイ、論理回路、信号処理回路、アナログ回路といった基本的な回路を備えても良い。

論理回路としては、例えば、ＡＮＤ回路（論理積回路）、ＯＲ回路（論理和回路）、ＮＯＴ回路（否定回路）、ＮＡＮＤ回路（否定的論理積回路）、ＮＯＲ回路（否定的論理和回路）、フリップフロップ回路、カウンタ回路がある。信号処理回路には、信号値に対し、例えば、加算、乗算、除算、反転、積和演算、微分、積分を実行する回路が、含まれていてもよい。アナログ回路には、例えば、信号値に対して、増幅、加算、乗算、微分、積分を実行する回路が、含まれていてもよい。

なお、映像処理装置１０は、汎用のプロセッサ（ＣＰＵ）を備えたコンピュータであり、ＣＰＵがソフトウェア（映像処理プログラム）に従って処理を実行することにより、上記各部１〜４の機能を実現する構成であっても良い。

〈映像処理方法〉
図２は、上記構成の映像処理装置１０が実行する映像処理方法の説明図である。
車両のイグニッションキーがＯＮ又はＡＣＣ位置となり、電力が供給されると、先ず、撮影装置５が撮影を開始し、分析対象検出部１が映像情報を受信し、分析対象、本例では特徴点を求める（ステップ１０）。特徴点の検出方法としては、ｈａｒｒｉｓオペレータなどが知られているが、これに限らない。例えば、輪郭を抽出する方法でも良い。

次に特徴点観測部１２は、特徴点検出部１１で検出した特徴点の個数をカウントしてｆｐ（ｔ）とし、分析対象特定部１３は、この個数ｆｐ（ｔ）が所定の閾値ｔｈ３未満である時間をｔとし、この時間ｔが所定の閾値ｔｈ４以上続くか否かを判定する（ステップＳ２０）。ここでｔｈ３は例えば１〜１０個、ｔｈ４は例えば５〜２０フレームである。即ち、図８に示すように、特徴点が１０個を超えた状態が２０フレーム以上続いた場合、映像情報は正常である。

一方、上記条件ｆｐ（ｔ）＜ｔｈ３，ｔ≧ｔｈ４を満たした場合、即ち図１１に示すように、特徴点がｔｈ３未満のフレームが２０フレーム以上続いた場合、状態判定部２はカメラの故障か照度が低いと判定し（ステップ２５）、出力制御部３は映像処理部４に通知して映像情報の入力を停止すると共に、図１２に示すように視覚による確認のサポート機能を提供できない旨のメッセージを表示装置１１３に表示させるなど、ドライバに対するメッセージを出力する（ステップ２５）。

次に、分析対象特定部１３は、ある一定の領域に同じ特徴点が検出されるか、又はある一定の領域に一切特徴点が検出されないかを判定する（ステップ３０）。即ち、変化の無い領域があれば、撮影装置５のレンズに汚れや雨滴、雪などの物質が付着していると判定する。分析対象特定部１３は、例えば図１３に示すフレームと、この図１３に示したフレームから所定時間後に撮影した図１４に示すフレームとを比較した場合、特徴点６a−６fが同じ領域で検出されたと判定し、この領域が汚れ等が付着していると判定する。

この条件を満たした場合、即ち汚れ等の遮蔽物の付着により、撮影できない領域があると判定し、出力制御部３は映像処理部４に通知して映像の入力を停止すると共に、図１５に示すように視覚による確認のサポート機能を提供できない旨のメッセージを表示装置１１３に表示させるなど、ドライバに対するメッセージを出力する（ステップ３５）。

特徴点観測部１２は、車速パルス等の速度情報及び車両の移動方向をＥＣＵやナビゲーション装置から受信し、自車速度が所定値ｖ以上か否かを判定する（ステップ４０）。

自車速度が所定値ｖ以上の場合、分析対象特定部１３は、特徴点が所定時間以上止まっているか否かを判定する（ステップ５０）。ここで、単に特徴点が止まっているか否かだけでなく、分析対象特定部１３が特徴点の移動速度と移動方向も求め、特徴点の移動速度と移動方向が自動車の移動と対応していなければ撮影装置５の故障と判定しても良い。分析対象特定部１３は、例えば図１６に示すフレームと、この図１６に示したフレームから所定時間後に撮影した図１７に示すフレームとを比較した場合、特徴点７a−７f等に移動がなく、撮影装置５の故障と判定する。

この条件を満たした場合、即ち車両が動いているのに映像が止まっている場合、撮影装置５が壊れていると判定し、出力制御部３は映像処理部４に通知して映像処理を停止すると共に、図１８に示すように視覚による確認のサポート機能を提供できない旨のメッセージを表示装置１１３に表示させるなど、ドライバに対するメッセージを出力する（ステップ５５）。なお、ステップ４０で自車速度がｖ未満だった場合、ステップ５０の判定を行わずにステップ６０へ移行する。このように、自車速度を判定条件に入れることで誤検出を防止しつつカメラ故障を検出できる。

尚、ステップ４０はなくても実現可能である。その場合、誤判定の可能性が増えることになるが、速度条件なしに誤判定を防止するのであれば、特徴点が止まっているか判定するための所定時間をより長くしたり、特徴点が所定時間以上止まっている場合にカメラ故障と仮判定し、この仮判定が所定回数以上連続した場合にカメラ故障と判定するといった方法が考えられる。

次に特徴点観測部１２は、ある特徴点が検出された場合に、その継続時間をｔ１とし、継続時間ｔ１が所定値ｔｈ１未満の特徴点が過去Ｔフレームの間にｔｈ２個以上検出されたか否かを判定する（ステップ６０）。ここでｔ１は例えば１〜１０フレーム、ｔｈ２は例えば５〜２０個、Ｔは例えば１０〜２０フレームである。

尚、特徴点の継続とは次の通りである。即ち、物体の動きに伴い特徴点も移動するが、例えば３０ｆｐｓといった或る程度の速さのフレームレートで連続するフレームの間ではその動きの方向や範囲は限られている。換言すれば、同一物体の特徴点である限り、前回のフレームと今回のフレーム間で想定される以上に位置が変化することはありえない。そのため、フレーム間で特徴点の位置を比較し、今回のフレームの特徴点が前回のフレームの特徴点から想定される所定範囲内に検出されると同一対象物の特徴点が継続していると判断する。このように特徴点のフレーム間での連続性が継続している状態を特徴点の継続という。

例えば、図１９は特徴点８ａ〜８ｋが検出されたフレームを示した図であり、図２０は、図１９に示したフレームから所定フレーム後であって特徴点８ｂ，８ｇ，８ｈ及び９ａ〜９ｉが検出されたフレームを示している。なお、図１９，２０における破線の円は、図１９のフレームで検出された特徴点８ａ〜８ｋの移動が想定される所定範囲（例えば特徴点を中心とする所定半径の円）をそれぞれ示している。
分析対象特定部１３は、例えば図１９に示すフレームと、図２０に示すフレームとを比較した場合、図１９のフレームで検出した特徴点８ａ〜９ｋについて、それぞれ移動が想定される所定範囲（破線の円）をそれぞれ設定する。そして、分析対象特定部１３は、図２０のフレームにおいて前記所定範囲内に検出された特徴点８ｂ，８ｇ，８ｈについては連続性があるため継続する特徴点と判断し、特徴点９ａ〜９ｉは連続性がないため継続しない特徴点としてカウントする。

この条件を満たした場合、即ち非常に短い時間で消える特徴点が多い場合、照度が低く暗ノイズを特徴点として誤検知している、又は撮影装置５が壊れていると判定し、出力制御部３は映像処理部４に通知して映像情報の入力を停止すると共に、図２１に示すように視覚による確認のサポート機能を提供できない旨のメッセージを表示装置１１３に表示させるなど、ドライバに対するメッセージを出力する（ステップ６５）。

そして、ステップ６０の条件を満たさなければ、即ち映像情報が有効であれば、映像処理装置１０にて映像情報を処理して図１０に示すように視覚による確認のサポートを行う（ステップ７０）。

以上のように、本実施形態１によれば、撮影装置５の撮影情報から分析対象物を求めて所定条件と比較することにより、撮影情報の有効性を容易に判定できる。また、本実施形態１では、特徴点を検出して自車両への接近物を検出するために設けられている分析対象検出部１を兼用して撮影情報の有効性を判定しているため、装置構成が複雑になることもない。

〈実施形態２〉
図３は、実施形態２の映像処理装置の機能ブロック図、図４は、実施形態２の映像処理方法の説明図である。本実施形態２では、分析対象検出部１がエッジ強度分布算出部１４を備え、状態判定部２が、ステップ２１，６１（において、照度が低いか否かをエッジ強度分布を用いて判定した構成が前述の実施形態１と異なっており、その他の構成は同じである。

エッジ強度分布算出部１４が撮影情報からエッジ強度分布を算出すると、状態判定部２は、このエッジ強度分布が閾値ｔｈ５以下か否かを判定する（ステップ２１）。なお、エッジ強度分布が閾値以下とは、エッジ強度の分布をとり、その評価関数（例えば分散など）の出力が閾値以下ということである。

この条件を満たした場合、即ちエッジ強度分布が低く、輪郭が明確に撮影できない場合
、状態判定部２はカメラ５の故障か照度が低いと判定し（ステップ２５）、出力制御部３は映像処理部４に通知して映像処理を停止すると共に、視覚による確認のサポート機能を提供できない旨の表示をするなど、ドライバに対するメッセージを出力する（ステップ２５）。

また、ステップ６０にて、継続時間ｔ１＜所定値を満たす特徴点が過去Ｔフレームの間にｔｈ２個以上検出された場合、エッジ強度分布算出部１４が撮影情報からエッジ強度分布を算出し、状態判定部２は、このエッジ強度分布が閾値ｔｈ６以下か否かを判定する（ステップ６１）。

この条件を満たした場合、即ちエッジ強度分布が低く、輪郭が明確でない場合、状態判定部２はカメラ５の故障か照度が低いと判定する（ステップ６５）。一方、ステップ６１の条件を満たさない場合、即ち照度の低下が許容できる場合、映像処理部４にて映像情報を処理して視覚による確認のサポートを行う（ステップ７０）。

なお、ステップ２１では、映像情報が真っ暗か否かの判定を行うため閾値ｔｈ５を低く（例えばゼロに）設定するのが良い。このため、例えばｔｈ５＜ｔｈ６とする。

以上のように、本実施形態においても、撮影装置５の撮影情報から分析対象物を求めて所定条件と比較することにより、撮影情報の有効性を容易に判定できる。

〈システム構成〉
図５は、本発明の映像処理装置を備えた車載用オーディオ・ビジュアル・ナビゲーション一体機（以降、ＡＶＮ一体機と称する）について説明する。

１００は、ＡＶＮ一体機の各部或いは接続された外部機器からの信号、また使用者の操作に基づく各操作部からの操作指示信号等の入力を受け、それら信号に基づきＡＶＮ一体機の各部、或いは外部機器を統括的に制御する制御部で、例えばマイクロコンピュータ（マイコン）により構成され、ＲＯＭ等のメモリに記憶されたプログラムに従い動作する。

１０１は、外部記憶媒体の読み書き部（即ち読み込み部を含む）であり、コネクタに接続された外部記憶媒体からの情報の読み取り、及び外部記憶媒体への情報の書き込みを行う。なお、外部記憶媒体としては、メモリカードや、ＵＳＢメモリ等が用いられる。

１０２は、アンテナにより受信された放送波から、特定の周波数の放送波を選択受信し、復調して当該放送の音声信号を出力するラジオ受信部であり、同調回路、復調・復号回路等により構成される。ラジオ受信部１０２は制御部１００からの制御信号により、そのオン／オフ、受信周波数の選択（選局）等の各種動作が制御される。

１０３は、セレクタ１１３を介して受信した放送波から、特定の周波数の放送波を選択受信し、復調して当該放送の音声信号および画像信号を出力するテレビジョン（ＴＶ）受信部で、同調回路、復調回路（データ取得部）、フレーム管理回路、復号回路等により構成される。ＴＶ受信部１０３は制御部１００からの制御信号により、そのオン／オフ、受信周波数の選択（選局）等の各種動作が制御される。

１０４は、ディスクに記憶されているデータをピックアップにより読込み、読込んだデータに基づく音声信号、画像信号（例えばDVDやBD（Blu-ray Disc）の場合）の出力を行
うディスク再生部で、光学ピックアップ（データ取得部）、ピックアップ・ディスク駆動機構、ピックアップ・ディスク駆動機構の制御回路、フレーム管理回路、復号回路等により構成される。そして、ディスク再生部１０４は制御部１００からの制御信号により、そ
のオン／オフ、読込み位置の指定等の各種動作が制御される。

１０５は、磁気記録媒体であるハードディスク（ＨＤ）にＭＰ３ファイル等の音楽データやＪＰＥＧファイル等の画像データ、ＭＰＥＧ４等の動画データ、ナビゲーション用の地図データ等が記憶され、記憶された各種データから所望のデータを読み出して出力するＨＤ再生部であり、ＨＤドライブ、当該ＨＤドライブからデータを読み取るデータ取得回路、フレーム管理回路、復号回路等により構成される。そして、ＨＤ再生部１０５は制御部１００からの制御信号により、そのオン／オフ、読み出すデータの選択等の各種動作が制御される。

１３０は、地図上に自車位置や目的地までの経路を表示したり、交差点等で音声等により右左折等の進行方向案内を行い、また後述するＶＩＣＳ情報受信部１０６から交通情報、ＧＰＳ情報受信部１０７から自車位置情報を入手して表示したりして、目的地までの経路案内を行うナビゲーション部で、ナビゲーションの為に利用される地図情報を記憶するハードディスク（ＨＤ）、各種演算処理を行うＣＰＵ、各種処理のためにデータを記憶するＲＡＭ等のメモリ等から構成され、制御部１００からの制御信号に従って、そのオン／オフ、各種動作が制御される。

１０６は、交通情報通信システム（ＶＩＣＳ（登録商標））に係る交通情報を受信し、受信した交通情報を出力するＶＩＣＳ情報受信部で、交通情報通信システムからのデータを受信する受信機（ＦＭ受信機，電波ビーコン受信機，光ビーコン受信機）、受信したデータを復号する復号回路等から構成される。１０７は、ＧＰＳ（登録商標）衛星からのＧＰＳ信号に基づき自車位置を検出し、検出した現在地情報を出力するＧＰＳ情報受信部で、ＧＰＳ信号を受信するＧＰＳ信号受信回路、受信したＧＰＳ信号に基づき自車位置を算出する演算部から構成される。

５は、車両の周囲を撮影し、動画データ（映像情報及び音声情報）を映像処理部４を含む外部音声／映像入力部１１８を介して入力するカメラである。カメラ５で撮影した映像情報は、分配回路１０８、画像調整回路１０９、画像出力部１１２を介して表示部１１３に表示され、駐車アシスト等に利用される。また、カメラ５で撮影した動画データは、ドライブレコーダ等のために分配回路１０８を介してＨＤ再生部１０５内のＨＤドライブ或いはメモリ１１５に記録されても良い。

なお、カメラ５は、一台に限らず、必要に応じて複数台設けても良い。カメラ５の設置位置としては、車両の前方、後方、側方、斜め後方（即ちドライバーの死角）、車内等を撮影する位置が挙げられる。カメラ５を複数備える場合、それぞれのカメラ５と映像処理装置１０を一対一に接続しても良いし、複数のカメラ５から一つの映像情報を選択して一台の映像処理装置１０に入力する構成であっても良い。

外部音声／映像入力部１１８は、カメラ５や映像処理装置１０から入力された映像情報を表示装置１１３に表示させるため、所定の映像信号に変換する等の処理を行う。

映像処理装置１０は、前述の如く、カメラ５にて撮影した映像情報から特徴点等の分析対象を検出し、検出された分析対象に基づいて接近する物体を判別する。これにより例えば、前方の車両との距離が近づいたことを検出し、前方の車両を強調表示させることや、死角から接近する二輪車を検出し、当該二輪車を強調表示すること等、ドライバの視覚による確認をサポートする。

また、映像処理装置１０は、カメラ５にて撮影した映像情報から特徴点等の分析対象を検出し、検出された分析対象に基づいて映像情報の状態を判別する。これにより例えば、
カメラ５の故障や、カメラ５のレンズの汚れ、露光不足等で適切な画像情報が得られない場合に、前述のサポートが行えない旨のメッセージを外部音声／映像入力部１１８を介して表示装置１１３に表示させたり、スピーカ１１１から音声出力させたりする。

１０８は、制御部１００の制御信号により、出力することが指定された各種ソース（外部記憶媒体再生部１０１、ラジオ受信部１０２、ＴＶ受信部１０３、ディスク再生部１０４、ＨＤ再生部１０５及びナビゲーション部１３０、カメラ５の映像信号を処理した映像処理部４）の音声信号と映像信号を音声調整回路１１０及び画像調整回路１０９に出力する分配回路であり、リレーあるいはスイッチングトランジスタ等の電子回路で構成されたスイッチ群で構成される。

１０９は、制御部１００の制御信号により、入力された画像信号に対し、輝度や色調、コントラストなどを調整し、調整した各画像信号を出力する画像調整回路で、画像データを記憶するメモリ、画像データを演算処理するデジタルシグナルプロセサ等の演算回路等により構成される。

１１０は、制御部１００の制御信号により、入力された音声信号に対し、音量、音声を調整し、調整した音声信号を出力する音声調整回路で、音声データを記憶するメモリ、画像データを演算処理するデジタルシグナルプロセサ等の演算回路、トランジスタ・抵抗・コンデンサ・コイル等により構成される増幅・減衰回路や共振回路等により構成される。１１１は、音声調整回路１１０により入力された音声信号を、音声出力するスピーカである。

１１２は、画像調整部から入力された映像信号と、制御部１００から表示部１１３に表示させる表示画像信号とを入力して画像合成等の処理を施し、当該処理を施した画像信号に基づき表示部１１３を駆動する画像出力部で、例えば、演算処理により画像処理を行なう画像用に特化された演算処理回路である画像ASIC、画像処理・出力用に画像データを記憶するビデオメモリ、画像出力用ビデオメモリに記憶された画像データに基づき表示部１１３を駆動する画像駆動回路等で構成される。

表示部１１３は、タッチパネル１３１、液晶パネル１３２、及びバックライト１３２を備える。画像出力部１１２からの映像信号によって液晶パネル１３２に映像が描画され、これをバックライト１３３が背後から照明することで動画等の映像が表示される。また、表示部１１３は、操作メニュー等を液晶パネル１３２で表示し、ユーザがこの操作メニューに触れて選択する操作を液晶パネル１３２に重畳させたタッチパネル１３１で検出し、検出した操作信号を制御部１００に入力する。

尚、表示部１１３には、液晶パネル以外のフラットパネルディスレイ、例えば有機ＥＬディスプレイパネル、プラズマディスプレイパネル、冷陰極フラットパネルディスプレイ等を用いることもできる。

１１４は、装置の使用者が各種操作を行うため操作部で、例えば、押釦スイッチ、回転操作スイッチ、ジョイスティック等により構成される。１１５は、各種データや制御プログラムを記憶するメモリ（記憶媒体）で、例えばＨＤＤ（Hard Disk Drive）や、書換え
可能なフラッシュメモリ等により構成される。

１１６は、自動車にインストルメントパネル等に設置されたＡＶＮ一体機本体から離れた場所、例えば運転席と助手席間のひじ掛け付近や、ステアリングホイールに設置され、使用者による入力操作の操作状態を出力する遠隔操作部(リモコン)で、本例では操作部の回転操作、傾動操作、押圧操作を検出する。尚、このような遠隔操作部は、回転操作量・
方向に応じた信号を出力するロータリエンコーダ、感圧センサにより構成され傾動操作方向に応じた信号を出力するジョイスティック等の傾動センサ、押圧操作によりオンオフ状態が変化する押圧スイッチにより構成される。リモコン１１６で検出した操作信号は、リモコン送受信部１１７に送られ、制御部１００に入力される。

１２０は、ＥＴＣ（登録商標：Electronic Toll Collection）システムにおいて、ＥＴＣレーン側の端末と通信して料金を自動で支払うＥＴＣ車載器である。

１００ 制御部
１０１ 読み書き部
１０ 映像処理装置
１ 分析対象検出部
２ 状態判定部
３ 出力制御部
４ 映像処理部
５ 撮影装置
１１３ 表示装置

Claims (11)

1. 移動体に搭載された撮影装置の映像情報を処理する映像処理装置であって、
   前記撮影装置にて撮影した映像情報から分析対象を検出する分析対象検出部と、
   前記分析対象検出部で検出された分析対象の情報に基づいて、映像情報の状態判定を行う状態判定部と、
   前記判定結果を出力する出力制御部と、
   を備えることを特徴とする映像処理装置。
2. 前記分析対象検出部が、分析対象の検出継続時間を検出することを特徴とする請求項１に記載の映像処理装置。
3. 前記状態判定部が、所定期間内に検出した前記分析対象の検出継続時間の統計量を算出する、ことを特徴とする請求項２に記載の映像処理装置。
4. 前記分析対象検出部は、特徴点検出部と特徴点観測部とを備え、前記特徴点検出部が前記撮影装置より入力される映像情報から特徴点を検出し、前記特徴点観測部が前記特徴点の異なるフレーム間での位置の変動を算出することを特徴とする請求項３に記載の映像処理装置。
5. 前記特徴点観測部は、前記特徴点検出部にて検出される特徴点の個数と予め定めた閾値とを比較し、前記特徴点の個数が閾値以下の状態が所定時間続いた場合に、撮影装置が故障している、又は、照度が低い、と判定すること、を特徴とする請求項４に記載の映像処理装置。
6. 前記特徴点観測部が、一定の領域に同じ特徴点を検出すること、又は、一定の領域に特徴点が検出されないことを検出した場合に、前記状態判定部は、前記撮影装置のレンズに汚れが付着していると判定すること、を特徴とする請求項４又は５に記載の映像処理装置。
7. 前記特徴点観測部より特徴点の動きが無いことを検出した場合に、前記状態判定部は、撮影装置が故障していると判断する、ことを特徴とする請求項４乃至６の何れかに記載の映像処理装置。
8. 前記移動体の速度情報に基づき、前記移動体が所定の速度以上で走行していることを検出し、前記特徴点観測部によって前記分析対象の移動と対応する特徴点の動きが無いことを検出した場合に、前記状態判定部は、撮影装置が故障していると判断することを特徴とする請求項７に記載の映像処理装置。
9. 前記分析対象検出部は、前記映像情報からエッジ強度分布を算出するエッジ強度分布算出部を備え、
   前記状態判定部が、前記エッジ強度分布に基づき周囲照度を判定する、ことを特徴とする請求項１乃至８の何れかに記載の映像処理装置。
10. 移動体に搭載された撮影装置の映像情報を処理する映像処理方法であって、
    前記撮影装置にて撮影した映像情報から分析対象を検出するステップと、
    前記分析対象の情報に基づいて、前記映像情報の状態判定を行うステップと、
    前記判定結果を出力するステップと、
    をコンピュータが実行する映像処理方法。
11. 移動体に搭載された撮影装置の映像情報を処理する映像処理プログラムであって、
    前記撮影装置にて撮影した映像情報から分析対象を検出するステップと、
    前記分析対象の情報に基づいて、前記映像情報の状態判定を行うステップと、
    前記判定結果を出力するステップと、
    をコンピュータに実行させるための映像処理プログラム。

Images