JP6080751B2 - 映像処理装置、映像処理システムおよび映像処理方法 - Google Patents

Description

この発明は、映像に含まれる対象物に関連情報を付加して表示させる映像処理装置、映像処理システムおよび映像処理方法に関するものである。

従来より、カメラ等により取得した映像に含まれる対象物に、当該対象物を強調する関連情報を付加して表示させる装置が期待されることがある。
例えば、特許文献１には、予め収録されている動画中のターゲット（対象物）にアンカー（関連情報）を設定する装置において、すべてのフレームに対してアンカーを設定する作業工数削減のため、基準となるフレームのターゲットに対してアンカーを設定し、他のフレームのターゲットについては、設定したアンカーをもとに補間により自動的にアンカーが設定されるようにしたことが記載されている。

特開平１１−３２８４３３号公報

しかしながら、例えば、自動車等の車両を運転中のドライバーに対して、危険な場所を歩いている歩行者がいることを警告するために、カメラ等により取得した映像の中の歩行者をリアルタイムで強調表示させたい場合には、特許文献１のような従来の技術を適用することはできず、すべてのフレームに対して関連情報（枠など）を設定しなければならないため、手間と負荷がかかるという課題があった。

また、既に収録されている映像の場合であっても、それらの映像を再生中にリアルタイムで強調表示させたい対象物があった場合には、特許文献１のような従来の技術を適用することはできず、やはりすべてのフレームに対して関連情報（枠など）を設定しなければならないため、手間と負荷がかかるという課題があった。

この発明は、上記のような課題を解決するためになされたものであり、カメラ等により取得した映像に含まれる対象物を、負荷を少なくしつつリアルタイムで強調表示させることができる映像処理装置、映像処理システムおよび映像処理方法を提供することを目的とする。

上記目的を達成するため、この発明は、対象物を含む映像を表示装置に表示させる映像処理装置において、前記映像から画像を取得する画像取得部と、前記画像取得部により取得された画像を画像処理するか推定処理するかをフレームごとに判定する処理判定部と、前記処理判定部により画像処理するフレームであると判定された場合に、前記画像取得部により取得された画像を認識して、前記対象物の位置および領域の大きさを示す関連情報を生成する処理を行う画像処理部と、前記処理判定部により推定処理するフレームであると判定された場合に、前記画像処理部により生成された過去のフレームの関連情報に基づいて、前記関連情報が生成されていない対象物の位置および領域の大きさを示す関連情報を推定して、当該推定した関連情報を生成する推定処理部と、前記画像処理部または前記推定処理部により生成された関連情報をフレームごとに前記対象物に付加して前記表示装置に表示させる表示制御部とを備え、前記処理判定部が前記画像処理を行うと判断するフレームは、一定の画像処理周期で設定されており、前記処理判定部は、前記対象物の種類、位置、移動方向、動作状態のうちの少なくとも１つを判定し、当該判定結果に対応して前記画像処理周期を自動的に変化させることを特徴とする。

この発明によれば、カメラ等により取得した映像に含まれる対象物を、リアルタイムで強調表示させることができ、かつ、その際の処理負荷およびコストを大幅に削減することができる。

実施の形態１における映像処理システムの構成を示すブロック図である。 実施の形態１における映像処理装置の処理を示すフローチャートである。 実施の形態１の推定処理部におけるタグ推定方法の一例を示す説明図である。 実施の形態１の推定処理部におけるタグ推定方法の別の一例を示す説明図である。 実施の形態１の推定処理部におけるタグ推定方法のさらに別の一例を示す説明図である。 実施の形態２における映像処理システムの構成を示すブロック図である。 実施の形態２における映像処理装置の処理を示すフローチャートである。 実施の形態３における映像処理システムの構成を示すブロック図である。 実施の形態３における映像処理装置の処理を示すフローチャートである。 実施の形態４における映像処理システムの構成を示すブロック図である。 実施の形態４における映像処理装置の処理を示すフローチャートである。 実施の形態５における映像処理システムの構成を示すブロック図である。 実施の形態５における映像処理装置の処理を示すフローチャートである。 実施の形態６における映像処理システムの構成を示すブロック図である。 実施の形態６における映像処理装置の処理を示すフローチャートである。

以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
図１は、この発明の実施の形態１における映像処理システムの構成を示すブロック図である。この映像処理システムは、対象物を含む映像を表示装置１０に表示させる映像処理装置１００と、表示装置１０とを備えている。この発明では、この映像処理装置１００が自動車等の車両に搭載され、車両に関する映像を表示装置１０に表示させる場合を例に説明する。

また、映像処理装置１００は、画像取得部２、時間制御部３、画像記憶部４、表示制御部５、処理判定部６、画像処理部７、関連情報記憶部８、推定処理部９を備え、映像取得装置（カメラ）１から取得した映像を処理して、表示装置１０に表示させる装置である。

映像取得装置（カメラ）１は、車載用カメラ等であり、所望の映像を取得する。
画像取得部２は、映像取得装置（カメラ）１が取得した映像から、一定時間ごとに画像情報を取得する。この画像取得周期は、時間制御部３から一定周期にて送信される画像取得命令によって制御される。また、取得した画像は、画像記憶部４に記憶される。

時間制御部３は、画像の取得タイミングを制御するものであり、画像取得部２に対して画像取得命令を送信して画像取得の指示を行う。
画像記憶部４は、画像取得部２から送信された画像を記憶する記憶部である。ここで記憶された画像は、表示制御部５に送信され、表示装置１０に表示される。また、処理判定部６により画像処理を行いフレームであると判定されている場合には画像処理部７に送信され、対象物の画像認識処理が行われる。

表示制御部５は、取得した画像をタグ情報（関連情報）とともに表示装置１０に表示させる制御部である。画像記憶部４より送信された画像を表示装置１０に表示させるとともに、画像処理部７の画像認識処理または推定処理部９のタグ推定処理によって生成されたタグ情報（関連情報）を関連情報記憶部８から受信して画像に付加し、表示装置１０に表示させる。
ここで、タグ情報（関連情報）とは、映像に含まれる移動物体や人物等の対象物の位置および領域を示す情報のことである。

処理判定部６は、画像取得部２により取得された画像が画像処理を行うフレームであるかタグ推定処理を行うフレームであるかをフレームごとに判定する。画像記憶部４より記憶完了通知を受けたタイミングで、画像処理部７または推定処理部９のいずれかに処理実行命令を通知する。

画像処理部７は、画像取得部２により取得された画像に対して対象物の画像認識処理を行い、当該対象物の位置および領域を示すタグ情報（関連情報）を生成する。処理判定部６によって画像処理を行うフレームであると判定された場合に、その通知を受けて、画像記憶部４に記憶された画像を取得し画像認識処理を行い、タグ情報（関連情報）を生成する。処理の結果得られたタグ情報（関連情報）は、関連情報記憶部８に記憶され、さらに表示制御部５に送信された後、取得画像とともに表示装置１０に表示される。

関連情報記憶部８は、画像認識処理またはタグ情報推定処理によって生成されたタグ情報（関連情報）を記憶する記憶部である。画像処理部７または推定処理部９において生成されて送信されたタグ情報（関連情報）を記憶する。また、推定処理部９がタグ推定を行う際、記憶された過去のタグ情報（関連情報）を推定のリファレンスとして送信する役割も担う。

推定処理部９は、過去のフレームから生成されたタグ情報（関連情報）に基づいてタグ情報推定処理を行い、タグ情報（関連情報）が生成されていない対象物の位置および領域を示すタグ情報（関連情報）を推定して、その推定したタグ情報（関連情報）を自動的に生成する。処理判定部６によってタグ推定を行うフレームであると判定された場合に、その通知を受けて、関連情報記憶部８に記憶された過去のタグ情報（関連情報）に基づいて、タグ情報（関連情報）が生成されていない対象物のタグ情報（関連情報）を推定処理によって生成する。処理の結果得られたタグ情報（関連情報）は、関連情報記憶部８に記憶され、さらに表示制御部５に送信された後、取得画像とともに表示装置１０に表示される。

表示装置１０は、表示制御部５からの指示に基づいて、取得画像をタグ情報（関連情報）とともに表示する装置である。この発明のように、映像処理装置１００が自動車等の車両に搭載される場合には、表示装置１０としては、例えば、カーナビゲーション画面や、ヘッドアップディスプレイなどが挙げられる。

ここで、映像処理装置１００の処理について、図２に示すフローチャートを用いて説明する。
図２は、この実施の形態１における映像処理装置１００の処理を示すフローチャートである。

まず初めに、時間制御部３が画像処理部に対して画像の取得命令を通知する（ステップＳＴ１）。ここでは、一定時間の周期にて、この画像の取得命令が通知される。
画像取得の指示（命令）を受けた画像取得部２は、映像取得装置（カメラ）１で取得された映像から画像情報を取得し（ステップＳＴ２）、取得した画像データを画像記憶部４に送信する。この結果、画像取得部２で取得された画像が画像記憶部４に記憶される（ステップＳＴ３）。

画像記憶部４は、記憶が完了すると画像記憶完了通知を処理判定部６に対して送信し、完了通知を受けた処理判定部６は、その画像に対して対象物の画像認識処理を行うか、タグの推定処理を行うかを判定する（ステップＳＴ４）。例えば、最初の３フレームは画像認識処理を行い、その後１０フレームはタグ推定処理を行い、その後、再び１フレームは画像認識処理、１０フレームはタグ推定処理で１フレームは画像認識処理とし、これを繰り返すなど、一定間隔で画像認識処理を行う方式とすればよい。

例えば最初のフレームであった場合など、処理判定部６により画像認識処理を行うと判定された場合（ステップＳＴ４のＹＥＳの場合）には、画像処理部７が処理判定部６から画像処理実行命令の通知を受け、画像記憶部４から取得した画像に対して対象物の画像認識処理を行う（ステップＳＴ５）。これにより得られた対象物のタグ情報（関連情報）は、関連情報記憶部８に送信されて記憶される（ステップＳＴ６）。

そして、表示制御部５は、画像記憶部４から取得した画像データと、関連情報記憶部８から取得したタグ情報（関連情報）とを合わせて、表示装置１０に表示させる（ステップＳＴ７）。表示形式としては、画像にタグ情報（関連情報）を示す枠などをオーバーレイ表示させる等が挙げられる。

一方、例えば４フレームに入った場合など、ステップＳＴ４の判定処理において、処理判定部６によりタグ推定処理を行うと判定された場合（ステップＳＴ４のＮＯの場合）には、推定処理部９が処理判定部６からタグ情報推定処理実行命令の通知を受け、関連情報記憶部８に記憶されている過去フレームのタグ情報（関連情報）を取得して参照する（ステップＳＴ１１）。

その後、過去のタグ情報（関連情報）から、最適なタグ推定方法を選択して決定する（ステップＳＴ１２）。具体的なタグ推定方法については後述する。
そして、選定した推定方法にてタグの推定生成処理を行う（ステップＳＴ１３）。推定処理によって生成されたタグ情報（関連情報）は、画像認識処理の場合と同様に関連情報記憶部８に送信されて記憶され（ステップＳＴ６）、その後の処理（ステップＳＴ７）も同様である。

ここで、ステップＳＴ１２におけるタグ推定方法について、図３を用いて説明する。
図３は、推定処理部９におけるタグ推定方法の一例を示す説明図である。なお、ここでは、表示装置１０に表示された対象物について説明するために、最初の３フレームは画像認識処理、その後５フレームはタグ推定処理、再び１フレームが画像認識処理でその後の５フレームはタグ推定処理とし、あとはこの「１フレームが画像認識処理でその後５フレームがタグ推定処理」というのを繰り返す場合を例に、説明する。

すなわち、第１フレームから第３フレームは画像認識処理、第４フレームから第８フレームはタグ推定処理、第９フレームは画像認識処理、第１０〜第１４フレームはタグ推定処理、第１５フレームは画像認識処理、第１６フレームから第２０フレームはタグ推定処理、・・・という規則が予め設定されているものとし、処理判定部６はこれにしたがってそのフレームの画像が画像認識処理を行うものであるかタグ推定処理を行うものであるかを判定する。

なお、タグ推定処理では、過去（過去フレーム）のタグ情報からタグ推定を行うため、最初の第１フレームのタグ情報のみから第２フレームのタグ情報を推定することはできないので、最初の３フレームは画像認識処理を行って対象物の位置および領域を決定することとして説明するが、最初の２フレームだけ画像認識処理を行うこととするか、最初の４フレーム以上連続して画像認識処理を行うこととするかは、任意に設定すればよい。

図３（ａ）は、第１フレーム目の画像を示しており、映像取得装置（カメラ）１が取得した映像から、画像取得部２が歩行者（対象物）２０の画像を右端に取得した結果、その歩行者（対象物）２０に画像認識処理により生成されたタグ情報（関連情報）２１が付加されて表示装置１０に表示された状態を示している。

このとき、これは最初のフレーム（第１フレーム）であることから画像認識処理を行うと判定され、画像処理部７が画像認識処理を行った結果、対象物２０の位置および領域を示す情報として、タグ情報（関連情報）２１が生成され、図３（ａ）に示すように、取得した画像データに、タグ情報（関連情報）２１が付加されて、表示装置１０に表示される。

第２フレーム目、第３フレーム目についても、同様に画像認識処理が行われ、図３（ｂ）、（ｃ）に示すように、タグ情報（関連情報）２１が生成され、表示装置１０に表示される。

そして、第４フレーム目になると、処理判定部６によりタグ推定処理を行うフレームであると判定され、過去のフレーム、すなわち、図３（ａ）〜（ｃ）に示す第１フレームから第３フレームまでのタグ情報（関連情報）２１を参照して、過去のフレームに付加されたタグ情報（関連情報）の座標（位置）と領域の大きさから対象物２０の移動量と大きさの変化量を求めた結果、対象物２０は直線的に移動していると判断し、推定方法として「直線推定」を選択する。

そして、その１フレーム分の対象物２０の移動量と大きさの変化量を求め、その移動量や変化量を加算していくことで、図３（ｄ）に示すように、対象物２０についての第４フレーム目のタグ推定処理により生成された推定タグ情報（推定関連情報）２２をリアルタイムで生成することができる。

なお、この「直線推定」という推定方法は、次のフレームのタグ情報（関連情報）を、少なくとも２つ以上の過去のフレームから生成されたタグ情報（関連情報）に基づいて直線的に推定する方法であり、特に対象物が画面上を横移動するような場合に有効である。

第５フレーム目〜第８フレーム目についても、同様にタグ推定処理が行われ、図３（ｅ）〜（ｈ）に示すように、推定タグ情報（推定関連情報）２２がリアルタイムで生成され、表示装置１０に表示される。

その後、第９フレーム目には、また画像認識処理が行われて、図３（ｉ）に示すように、タグ情報（関連情報）２１が生成されて表示装置１０に表示され、第１０フレーム目〜第１４フレーム目にはタグ推定処理が行われ、図３（ｊ）に示すように、推定タグ情報（推定関連情報）２２がリアルタイムで生成されて表示装置１０に表示される。その後も、１フレームだけ画像認識処理を行うと、続く５フレームはタグ推定処理が行われ、これが繰り返される。

また、対象物が遠くの方（奥の方）から手前に向かってくるような場合には、別の推定方法が選択される。
図４は、推定処理部９におけるタグ推定方法の別の一例を示す説明図である。この場合にも、最初の３フレームは画像認識処理を行って対象物の位置および領域を決定することとし、続く５フレームはタグ推定処理、再び１フレームは画像認識処理、続く５フレームはタグ推定処理を行い、これを繰り返すものとして説明する。

図４（ａ）は、第１フレーム目の画像を示しており、映像取得装置（カメラ）１が取得した映像から、画像取得部２が車両（対象物）３０の画像を左端一番奥（画面の左上部）に取得した結果、その車両（対象物）３０にその位置および領域を示すタグ情報（関連情報）３１が付加されて表示装置１０に表示された状態を示している。

このとき、これは最初のフレーム（第１フレーム）であることから画像認識処理を行うと判定され、画像処理部７が画像認識処理を行った結果、対象物３０の位置および領域を示すタグ情報（関連情報）３１が生成され、図４（ａ）に示すように、取得した画像データに、画像認識処理により生成されたタグ情報（関連情報）３１が付加されて、表示装置１０に表示される。

第２フレーム目、第３フレーム目についても、同様に画像認識処理が行われ、図４（ｂ）、（ｃ）に示すように、タグ情報（関連情報）３１が生成され、表示装置１０に表示される。

第４フレーム目になると、処理判定部６によりタグ推定処理を行うフレームであると判定され、過去のフレーム、すなわち、図４（ａ）〜（ｃ）に示す第１フレームから第３フレームまでのタグ情報（関連情報）３１を参照して、過去のフレームに付加されたタグ情報（関連情報）の座標（位置）と領域の大きさから対象物３０の移動量と大きさの変化量を求めた結果、対象物３０が遠方では移動量が少なく領域の大きさが小さく、手前では移動量が大きく領域の大きさも大きいことから、対象物３０は曲線的に移動していると判断し、推定方法として「曲線推定」を選択する。

そして、その１フレーム分の対象物３０の移動量と大きさの変化量を求め、その移動量や変化量を加算していくことで、図４（ｄ）に示すように、対象物３０についての第４フレーム目のタグ推定処理により生成された推定タグ情報（推定関連情報）３２をリアルタイムで生成することができる。

なお、この「曲線推定」という推定方法は、次のフレームのタグ情報（関連情報）を、少なくとも３つ以上の過去のフレームから生成されたタグ情報（関連情報）に基づいて曲線的に推定する方法であり、特に対象物が画面上を奥から手前や手前から奥に移動するような場合に有効である。また、曲線推定方法としては、スプライン曲線による推定などが挙げられる。

第５フレーム目〜第８フレーム目についても、同様にタグ推定処理が行われ、推定タグ情報（推定関連情報）３２がリアルタイムで生成され、表示装置１０に表示される。その後も、図３において説明した場合と同様に、１フレームは画像認識処理を行い、続く５フレームはタグ推定処理を行う、という動作を繰り返すが、ここでは図４（ｅ）、（ｆ）に示すように、第５フレームと第６フレームまでとし、残りの図示および説明については省略する。

さらに、例えば対象物が歩行者であり、図３に示す場合と同様に横方向に移動する場合には、通常はその手足の動作によってタグ情報（関連情報）の領域の幅が周期的に変化すると考えられる。そこで、この変化によるタグ情報（関連情報）の大きさの変化まで考慮した場合について説明する。
図５は、推定処理部９におけるタグ推定方法のさらに別の一例を示す説明図である。

この場合には、最初の１フレーム目と同じ大きさのタグ情報（関連情報）が画像認識される第５フレーム目までは画像認識処理を行って対象物の位置および領域を決定することとし、続く７フレームはタグ推定処理、再び１フレームは画像認識処理、続く７フレームはタグ推定処理を行い、これを繰り返すものとして説明する。なお、何フレームごとに画像認識処理を行い、何フレーム分はタグ推定処理を行えばよいかについては、予め任意に設定してもよいし、過去の結果から設定されるようにしてもよい。

図５（ａ）は、第１フレーム目の画像を示しており、映像取得装置（カメラ）１が取得した映像から、画像取得部２が歩行者（対象物）４０の画像を右端に取得した結果、その歩行者（対象物）４０にその位置および領域を示すタグ情報（関連情報）４１が付加されて表示装置１０に表示された状態を示している。

このとき、これは最初のフレーム（第１フレーム）であることから画像認識処理を行うと判定され、画像処理部７が画像認識処理を行った結果、対象物４０の位置および領域を示すタグ情報（関連情報）４１が生成され、図５（ａ）に示すように、取得した画像データに、画像認識処理により生成されたタグ情報（関連情報）４１が付加されて、表示装置１０に表示される。

第２フレーム目〜第５フレーム目についても、同様に画像認識処理が行われ、図５（ｂ）〜（ｅ）に示すように、タグ情報（関連情報）４１が生成され、表示装置１０に表示される。

この際、タグ情報（関連情報）の位置の移動は直線的であるのに、大きさは変化していることから、さらに第１フレーム目と同じ大きさのタグ情報（関連情報）４１が得られるまで画像認識処理が行われる。なお、第１フレーム目で対象物４０が歩行者であることが画像認識されたことにより、その歩行者（対象物）４０のタグ情報（関連情報）の大きさが変化すると考えられることから、第１フレーム目と同じ領域のタグ情報（関連情報）が得られるまで画像認識処理を行うことにしてもよい。

その後、第６フレーム目になると、処理判定部６によりタグ推定処理を行うフレームであると判定され、過去のフレーム、すなわち、図５（ａ）〜（ｅ）に示す第１フレームから第５フレームまでのタグ情報（関連情報）４１を参照して、過去のフレームに付加されたタグ情報（関連情報）の座標（位置）と領域の大きさから対象物４０の移動量と大きさの変化量を求めた結果、対象物３０は大きさの変化を伴いながら直線的に移動していると判断し、推定方法として「領域幅変化を伴う直線推定」を選択する。

そして、その１フレーム分の対象物４０の移動量と大きさの変化量を求め、その移動量や変化量を加算していくことで、図５（ｆ）〜図５（ｌ）に示すように、対象物４０についての第６フレーム目〜第１２フレーム目までのタグ推定処理により生成された推定タグ情報（推定関連情報）４２をリアルタイムで生成することができる。
なお、この「領域幅変化を伴う直線推定」という推定方法は、特に対象物が領域変化を伴いながら画面上を横方向に移動するような場合に有効である。

その後も、図３において説明した場合と同様に、１フレームは画像認識処理を行い、図５（ｍ）に示すように画像認識処理を行ってタグ情報（関連情報）４１が生成されて表示装置１０に表示され、続く７フレームはタグ推定処理を行う、という動作を繰り返すが、ここでは残りの図示および説明については省略する。

なお、このように、推定方法として複数の方式が考えられるが、対象物の種類、位置、移動方向、動作状態のうちの少なくとも１つに対応して、推定処理部９が、推定方法を自動的に変化させて選択する方式としてもよい。また、対象物の種類や位置、移動方向、動作状態のうちの少なくとも１つに対応して、処理判定部６が、画像処理周期（画像認識処理を行う周期）を自動的に変化させる方式としてもよい。

例えば、対象物が歩行者、特に幼児であった場合には、その行動が予測しにくいため、画像認識処理周期を短く（画像認識処理を行う回数を多く）設定することや、画面奥から手前に向かってくる対象物の場合には曲線推定方式を選択し、さらに、曲線推定時は直線推定時よりも推定の信頼性が低下すると考えられるため、推定周期を短く（タグ推定処理を行う回数を少なく）設定する等してもよい。

このように、いずれの推定方法や画像処理周期とした場合であっても、数フレームごとに１回は対象物についての画像認識処理を行うものの、他の大半のフレームについての対象物のタグ情報（関連情報）を、過去に画像認識処理を行って生成されたタグ情報（関連情報）に基づいて推定することにより、画像認識処理を行わなくてもリアルタイムで自動的にタグ情報（関連情報）を生成することができ、かつ、画像認識処理による手間や負荷およびコストを大幅に削減して、ドライバーに対して前方を歩行者が横切っていることや遠くの方から近づいてくる車両があることなどの注意喚起や警告を促すことが可能となる。

以上のように、この実施の形態１によれば、カメラ等により取得した映像に含まれる対象物を、リアルタイムで自動的に強調表示させることができ、かつ、その際の処理負荷およびコストを大幅に削減することができる。

実施の形態２．
図６は、この発明の実施の形態２における映像処理システムの構成を示すブロック図である。なお、実施の形態１で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。この実施の形態２の映像処理システムは、対象物を含む映像を表示装置１０に表示させる映像処理装置２００と、表示装置１０とを備えており、映像処理装置２００は、実施の形態１の映像処理装置１００の構成に、さらに環境情報取得部１４を備えるものである。

環境情報取得部１４は、車両の運転情報を取得するためのＣＡＮバス１１および車両情報取得部１０１、雨滴、温度、湿度など車両の周囲環境情報を取得するためのセンサ類１２およびセンサ情報取得部１０２、道路情報や施設情報、時間情報など車両のナビ情報を取得するためのカーナビゲーションシステム１３およびナビ情報取得部１０３を備えており、車両の運転情報、周囲環境情報、ナビ情報のうちの少なくとも１つを取得する。

そして、環境情報取得部１４により取得された情報（車両の運転情報、周囲環境情報、ナビ情報のうちの少なくとも１つ）に対応して、処理判定部６が画像処理周期を自動的に変化させたり、推定処理部９が推定方法を自動的に変化させたりするものである。

ここで、この実施の形態２の映像処理装置２００における処理について、図７に示すフローチャートを用いて説明する。
図７は、この実施の形態２における映像処理装置２００の処理を示すフローチャートである。

まず初めに、ステップＳＴ２１〜ＳＴ２３の処理については、実施の形態１における図２のステップＳＴ１〜ＳＴ３の処理と同じであるので、説明を省略する。
その後、処理判定部６は、環境情報取得部１４から各種環境情報を取得する（ステップＳＴ２４）。ここで取得可能な情報としては、ＣＡＮバス１１から取得した車速、加速度、エンジン回転数、シフトレバー、舵角、ワイパー、ライトなどの車両操作情報、各種センサ１２から取得した気温、湿度、雨量などの環境情報、カーナビゲーションシステム１３から取得した道路情報、施設情報、時刻情報などのナビ情報が挙げられる。

処理判定部６は、これらの環境情報に基づいて画像認識処理周期を設定し（ステップＳＴ２５）、さらに、画像認識処理を行うか、タグの推定処理を行うかを判定する（ステップＳＴ２６）。

その後のステップＳＴ２７〜ＳＴ２９の処理と、ステップＳＴ３１〜ＳＴ３３の処理については、実施の形態１における図２のステップＳＴ５〜ＳＴ７と、ステップＳＴ１１〜ＳＴ１３と同じであるので、説明を省略するが、ステップＳＴ３２における推定方法の選択処理についても、ステップＳＴ２４で取得した環境情報に基づいて最適な推定方法を自動選択する点が異なる。

例えば、取得した車両情報から、車両がカーブ運転中であると判断された場合には、対象物の動作が推定しにくいと考えられるため、画像認識処理を行う周期を短くし（タグ推定処理を行う回数を少なくし）、また、対象物の移動方向も相対的に変化するため、曲線推定方式を選択することで、タグ情報（関連情報）の信頼性を高められると考えられる。

一方、低速直進時には、安全性が高く、また、対象物の動作が推定しやすいと考えられるため、画像認識処理を行う周期を長くし（タグ推定処理を行う回数を多くし）、直線推定方式を選択することで、映像処理装置２００の処理負荷を削減可能であると考えられる。

また、ナビ情報より取得した現在時刻から、夜間であることが判明した場合や、雨滴センサ情報より雨量が多いことが判明した場合などには、画像認識処理を行う周期を短く（タグ推定処理を行う回数を少なく）することで、タグ情報（関連情報）の信頼性を高められると考えられる。

以上のように、この実施の形態２によれば、実施の形態１と同様の効果に加え、画像認識処理を行う付加をより適切に削減でき、また、タグ推定処理の精度を適切に向上させることが可能となる。

実施の形態３．
図８は、この発明の実施の形態３における映像処理システムの構成を示すブロック図である。なお、実施の形態１，２で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。この実施の形態３の映像処理システムは、対象物を含む映像を表示装置１０に表示させる映像処理装置３００と、表示装置１０とを備えており、映像処理装置３００は、実施の形態２の映像処理装置２００の構成において、推定処理部９から画像処理部７への画像処理命令が可能となっている点が異なっている。

そして、推定処理部９におけるタグ情報（関連情報）を推定して生成する推定処理の後に、さらにその推定して生成されたタグ情報（関連情報）に対して画像処理を行うことにより、タグ情報（関連情報）の精度をより高めるものである。

ここで、この実施の形態３の映像処理装置３００における処理について、図９に示すフローチャートを用いて説明する。
図９は、この実施の形態３における映像処理装置３００の処理を示すフローチャートである。

まず初めに、ステップＳＴ２１〜ＳＴ２６の処理については、実施の形態２における図７に示すフローチャートのステップＳＴ２１〜ＳＴ２６の処理と同じであるので、説明を省略する。

そして、ステップＳＴ２６における、対象物の画像認識処理を行うかタグの推定処理を行うかの判定において、画像認識処理を行うと判断した場合（ステップＳＴ２６のＹＥＳの場合）については、以降の処理も実施の形態２と同様であるが、タグの推定処理を行うと判断した場合（ステップＳＴ２６のＮＯの場合）については、実施の形態２と異なり、以下の手順で処理を行う。

タグの推定処理を行うと判断した場合（ステップＳＴ２６のＮＯの場合）は、過去のフレームのタグ情報（関連情報）を参照し（ステップＳＴ３１）、最適なタグ推定方法を選択して決定（ステップＳＴ３２）した後、選定した推定方法にてタグ領域の推定処理を行う（ステップＳＴ３３）。

その後、推定されたタグ領域の周辺のみに限定して、対象物の画像認識処理を行い（ステップＳＴ２７）、最終的なタグ領域を決定する。以降の処理（ステップＳＴ２８およびＳＴ２９）については、実施の形態２のステップＳＴ２８およびＳＴ２９と同様である。

この処理によって、対象物の位置や大きさ（領域）をより正確に推定することが可能となる。また、この処理では、タグ推定処理を行うフレームにおいても、画像認識処理を行うことになるが、毎フレームの画面全体に対して画像認識処理を行う場合よりも、処理負荷を軽減することができる。

なお、この実施の形態３では、実施の形態２における処理に加え、推定処理部９により推定したタグ情報（関連情報）が生成された後に、さらにその推定して生成されたタグ情報（関連情報）に対して画像認識処理を行うことにより、タグ情報（関連情報）の精度をより高めるものとして説明したが、実施の形態１における処理に加えて、上記のように行ってもよいことは言うまでもない。

以上のように、この実施の形態３によれば、実施の形態１，２と同様の効果に加え、対象物の位置や大きさ（領域）をより正確に推定することが可能となる。

実施の形態４．
図１０は、この発明の実施の形態４における映像処理システムの構成を示すブロック図である。なお、実施の形態１〜３で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。この実施の形態４の映像処理システムは、対象物を含む映像を表示装置１０に表示させる映像処理装置４００と、表示装置１０とを備えており、映像処理装置４００は、実施の形態１の映像処理装置１００の構成に、さらに操作制御部１７を備えるものである。また、予め収録された映像を対象としてタグ情報の推定処理を行うものである。なお、この発明では、予め収録された映像は、車両に関する映像である場合を例に説明する。

そのため、画像取得部２が取得する画像も、カメラ等の映像取得装置１ではなく、予め収録された動画データ１５であり、例えばＰＣ上で映像（動画）を再生するとともに、その再生中にリアルタイムで対象物にタグ情報（関連情報）を付加して表示装置１０に表示させるものである。この場合、表示装置１０は、例えばＰＣ画面などである。

また、操作デバイス１６は、マウスやキーボード、ジョイスティック、タッチパネルなど、ユーザからの操作を受けて操作制御部１７へ操作命令を行うものである。
操作制御部１７は、操作デバイス１６を介してユーザからの操作命令を受け、時間制御部３、処理判定部６へ画像取得周期設定や画像認識処理周期設定を行う。

ここで、この実施の形態４の映像処理装置４００における処理について、図１１に示すフローチャートを用いて説明する。
図１１は、この実施の形態４における映像処理装置４００の処理を示すフローチャートである。

まず初めに、ユーザ操作による操作デバイス１６からの操作命令を受けると、操作制御部１７は、時間制御部３への画像取得周期の通知、および、処理判定部６への画像認識処理周期の通知を行い、それら周期が設定される（ステップＳＴ４１）。
以降のステップＳＴ４２〜ＳＴ４８の処理およびステップＳＴ５１〜ＳＴ５３の処理については、実施の形態１における図２に示すフローチャートのステップＳＴ１〜ＳＴ７の処理およびステップＳＴ１１〜ＳＴ１３の処理を同じであるので、説明を省略する。

以上のように、この実施の形態４によれば、予め収録された映像を用いる場合であっても、最初に画像取得周期や画像認識処理の周期を設定しておくことにより、その映像（動画）を再生中にリアルタイムで注目させたい対象物にタグ情報（関連情報）を付加して表示させることができるので、例えばデモや展示などの際に、注目して欲しい対象物を効果的に強調表示させることができたり、ドライブレコーダに保存された映像（動画）から事故の解析を行う場合などにも、その解析作業中にリアルタイムで対象物にタグ情報（関連情報）を付加して表示させることができるので、効率的に解析処理を行うことができる。

実施の形態５．
図１２は、この発明の実施の形態５における映像処理システムの構成を示すブロック図である。なお、実施の形態１〜４で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。この実施の形態５の映像処理システムは、対象物を含む映像を表示装置１０に表示させる映像処理装置５００と、表示装置１０とを備えており、映像処理装置５００は、実施の形態４の映像処理装置４００の構成に、さらに環境情報取得部１８を備えるものである。なお、実施の形態４と同様に、予め収録された映像を対象としてタグ情報の推定処理を行うものである。

記録された環境情報（環境情報記録部）１１０は、動画データ１５と同期して記録された環境情報であり、車両の運転情報が記録された車両操作データ１１１、雨滴、温度、湿度センサなどにより車両の周囲環境情報が記録されたセンサデータ１１２、カーナビから道路情報、施設情報、時間情報などの車両のナビ情報が記録されたカーナビデータ１１３が記録されている。

環境情報取得部１８は、動画データ１５と同期して記録された環境情報（環境情報記録部）１１０から、車両操作データ、センサデータ、カーナビデータなど、車両の運転情報、周囲環境情報、ナビ情報のうちの少なくとも１つを取得し、その環境情報を処理判定部６へ送信する。

そして、環境情報取得部１８により取得された情報（車両の運転情報、周囲環境情報、ナビ情報のうちの少なくとも１つ）に対応して、処理判定部６が画像処理周期を自動的に変化させたり、推定処理部９が推定方法を自動的に変化させたりするものである。

ここで、この実施の形態５の映像処理装置５００における処理について、図１３に示すフローチャートを用いて説明する。
図１３は、この実施の形態５における映像処理装置５００の処理を示すフローチャートである。

まず初めに、ステップＳＴ６１〜ＳＴ６４の処理については、実施の形態４における図１１のステップＳＴ４１〜ＳＴ４４の処理と同じであるので、説明を省略する。
その後、処理判定部６は、環境情報取得部１８から環境情報を取得する（ステップＳＴ６５）。ここで取得可能な情報としては、車速、加速度、エンジン回転数、シフトレバー、舵角、ワイパー、ライトなどの車両操作情報、気温、湿度、雨量などの環境情報、道路情報、施設情報、時刻情報などのナビ情報が挙げられる。

処理判定部６は、これらの環境情報に基づいて画像認識処理周期を設定し（ステップＳＴ６６）、さらに、画像認識処理を行うか、タグの推定処理を行うかを判定する（ステップＳＴ６７）。

その後のステップＳＴ６８〜ＳＴ７０の処理と、ステップＳＴ７１〜ＳＴ７３の処理については、実施の形態４における図１１のステップＳＴ４６〜ＳＴ４８と、ステップＳＴ５１〜ＳＴ５３と同じであるので、説明を省略するが、ステップＳＴ７２における推定方法の選択処理についても、ステップＳＴ６５で取得した環境情報に基づいて最適な推定方法を自動選択する点が異なる。

例えば、取得した車両情報から、車両がカーブ運転中であると判断された場合には、対象物の動作が推定しにくいと考えられるため、画像認識処理を行う周期を短くし（タグ推定処理を行う回数を少なくし）、また、対象物の移動方向も相対的に変化するため、曲線推定方式を選択することで、タグ情報（関連情報）の信頼性を高められると考えられる。

一方、低速直進時には、安全性が高く、また、対象物の動作が推定しやすいと考えられるため、画像認識処理を行う周期を長くし（タグ推定処理を行う回数を多くし）、直線推定方式を選択することで、映像処理装置５００の処理負荷を削減可能であると考えられる。

また、ナビ情報より取得した現在時刻から、夜間であることが判明した場合や、雨滴センサ情報より雨量が多いことが判明した場合などには、画像認識処理を行う周期を短く（タグ推定処理を行う回数を少なく）することで、タグ情報（関連情報）の信頼性を高められると考えられる。

以上のように、この実施の形態５によれば、実施の形態４と同様の効果に加え、画像認識処理を行う付加をより適切に削減でき、また、タグ推定処理の精度を適切に向上させることが可能となる。

実施の形態６．
図１４は、この発明の実施の形態６における映像処理システムの構成を示すブロック図である。なお、実施の形態１〜５で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。この実施の形態６の映像処理システムは、対象物を含む映像を表示装置１０に表示させる映像処理装置６００と、表示装置１０とを備えており、映像処理装置６００は、実施の形態５の映像処理装置５００の構成において、推定処理部９から画像処理部７への画像処理命令が可能となっている点が異なっている。

そして、推定処理部９におけるタグ情報（関連情報）を推定して生成する推定処理の後に、さらにその推定して生成されたタグ情報（関連情報）に対して画像処理を行うことにより、タグ情報（関連情報）の精度をより高めるものである。

ここで、この実施の形態６の映像処理装置６００における処理について、図１５に示すフローチャートを用いて説明する。
図１５は、この実施の形態６における映像処理装置６００の処理を示すフローチャートである。

まず初めに、ステップＳＴ６１〜ＳＴ６７の処理については、実施の形態５における図１３に示すフローチャートのステップＳＴ６１〜ＳＴ６７の処理と同じであるので、説明を省略する。

そして、ステップＳＴ６６における、対象物の画像認識処理を行うかタグの推定処理を行うかの判定において、画像認識処理を行うと判断した場合（ステップＳＴ６７のＹＥＳの場合）については、以降の処理も実施の形態５と同様であるが、タグの推定処理を行うと判断した場合（ステップＳＴ６７のＮＯの場合）については、実施の形態５と異なり、以下の手順で処理を行う。

タグの推定処理を行うと判断した場合（ステップＳＴ６７のＮＯの場合）は、過去のフレームのタグ情報（関連情報）を参照し（ステップＳＴ７１）、最適なタグ推定方法を選択して決定（ステップＳＴ７２）した後、選定した推定方法にてタグ領域の推定処理を行う（ステップＳＴ７３）。

その後、推定されたタグ領域の周辺のみに限定して、対象物の画像認識処理を行い（ステップＳＴ６８）、最終的なタグ領域を決定する。以降の処理（ステップＳＴ６９およびＳＴ７０）については、実施の形態５のステップＳＴ６９およびＳＴ７０と同様である。

この処理によって、対象物の位置や大きさ（領域）をより正確に推定することが可能となる。また、この処理では、タグ推定処理を行うフレームにおいても、画像認識処理を行うことになるが、毎フレームの画面全体に対して画像認識処理を行う場合よりも、処理負荷を軽減することができる。

なお、この実施の形態６では、実施の形態５における処理に加え、推定処理部９により推定したタグ情報（関連情報）が生成された後に、さらにその推定して生成されたタグ情報（関連情報）に対して画像認識処理を行うことにより、タグ情報（関連情報）の精度をより高めるものとして説明したが、実施の形態４における処理に加えて、上記のように行ってもよいことは言うまでもない。

以上のように、この実施の形態６によれば、実施の形態４，５と同様の効果に加え、対象物の位置や大きさ（領域）をより正確に推定することが可能となる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１ 映像取得装置（カメラ）、２ 画像取得部、３ 時間制御部、４ 画像記憶部、５ 表示制御部、６ 処理判定部、７ 画像処理部、８ 関連情報記憶部、９ 推定処理部、１０ 表示装置、１１ ＣＡＮバス、１２ センサ類（各種センサ）、１３ カーナビゲーションシステム、１４，１８ 環境情報取得部、１５ 動画データ、１６ 操作デバイス、１７ 操作制御部、２０，３０，４０ 対象物、２１，３１，４１ 画像認識処理により生成されたタグ情報（関連情報）、２２，３２，４２ タグ推定処理により生成された推定タグ情報（推定関連情報）、１００，２００，３００，４００，５００，６００ 映像処理装置、１０１ 車両情報取得部、１０２ センサ情報取得部、１０３ ナビ情報取得部、１１０ 記録された環境情報（環境情報記録部）、１１１ 車両操作データ、１１２ センサデータ、１１３ カーナビデータ。

Claims (8)

1. 対象物を含む映像を表示装置に表示させる映像処理装置において、
   前記映像から画像を取得する画像取得部と、
   前記画像取得部により取得された画像を画像処理するか推定処理するかをフレームごとに判定する処理判定部と、
   前記処理判定部により画像処理するフレームであると判定された場合に、前記画像取得部により取得された画像を認識して、前記対象物の位置および領域の大きさを示す関連情報を生成する処理を行う画像処理部と、
   前記処理判定部により推定処理するフレームであると判定された場合に、前記画像処理部により過去のフレームから生成された前記関連情報に基づいて、前記関連情報が生成されていない対象物の位置および領域の大きさを示す関連情報を推定して、当該推定した前記関連情報を生成する推定処理部と、
   前記画像処理部または前記推定処理部により生成された前記関連情報をフレームごとに前記対象物に付加して前記表示装置に表示させる表示制御部と
   を備え、
   前記処理判定部が前記画像処理を行うと判断するフレームは、一定の画像処理周期で設定されており、
   前記処理判定部は、前記対象物の種類、位置、移動方向、動作状態のうちの少なくとも１つを判定し、当該判定結果に対応して前記画像処理周期を自動的に変化させる
   ことを特徴とする映像処理装置。
2. 前記推定処理部は、前記関連情報が生成されていない対象物の位置および領域を示す関連情報を、少なくとも２つ以上の前記過去のフレームの前記関連情報に基づいて直線的に推定するか、または、少なくとも３つ以上の前記過去のフレームの前記関連情報に基づいて曲線的に推定するか、という推定方法を決定する
   ことを特徴とする請求項１記載の映像処理装置。
3. 前記推定処理部は、前記対象物の種類、位置、移動方向、動作状態のうちの少なくとも１つに対応して、前記推定方法を自動的に変化させる
   ことを特徴とする請求項２記載の映像処理装置。
4. 前記映像処理装置は、車両に関する映像を前記表示装置に表示させるものであり、
   前記車両の運転情報、前記車両の周囲環境情報、前記車両のナビ情報のうちの少なくとも１つを取得する環境情報取得部をさらに備え、
   前記処理判定部は、さらに前記環境情報取得部により取得された情報に対応して、前記画像処理周期を自動的に変化させる
   ことを特徴とする請求項１記載の映像処理装置。
5. 前記映像処理装置は、車両に関する映像を前記表示装置に表示させるものであり、
   前記車両の運転情報、前記車両の周囲環境情報、前記車両のナビ情報のうちの少なくとも１つを取得する環境情報取得部をさらに備え、
   前記推定処理部は、前記環境情報取得部により取得された情報に対応して、前記推定方法を自動的に変化させる
   ことを特徴とする請求項２記載の映像処理装置。
6. 前記画像処理部は、前記推定処理部により前記推定した前記関連情報が生成された後に、前記推定して生成された前記関連情報に対して画像認識処理を行う
   ことを特徴とする請求項１から請求項５のうちのいずれか１項記載の映像処理装置。
7. 対象物を含む映像を表示装置に表示させる映像処理装置と前記表示装置とを備える映像処理システムにおいて、
   前記映像から画像を取得する画像取得部と、
   前記画像取得部により取得された画像を画像処理するか推定処理するかをフレームごとに判定する処理判定部と、
   前記処理判定部により画像処理するフレームであると判定された場合に、前記画像取得部により取得された画像を認識して、前記対象物の位置および領域の大きさを示す関連情報を生成する処理を行う画像処理部と、
   前記処理判定部により推定処理するフレームであると判定された場合に、前記画像処理部により過去のフレームから生成された前記関連情報に基づいて、前記関連情報が生成されていない対象物の位置および領域の大きさを示す関連情報を推定して、当該推定した前記関連情報を生成する推定処理部と、
   前記画像処理部または前記推定処理部により生成された前記関連情報をフレームごとに前記対象物に付加して前記表示装置に表示させる
   表示制御部と
   を備え、
   前記処理判定部が前記画像処理を行うと判断するフレームは、一定の画像処理周期で設定されており、
   前記処理判定部は、前記対象物の種類、位置、移動方向、動作状態のうちの少なくとも１つを判定し、当該判定結果に対応して前記画像処理周期を自動的に変化させる
   ことを特徴とする映像処理システム。
8. 対象物を含む映像を表示装置に表示させる映像処理装置と前記表示装置とを備えるシステムの映像処理方法において、
   画像取得部が、前記映像から画像を取得するステップと、
   処理判定部が、前記画像取得部により取得された画像を画像処理するか推定処理するかをフレームごとに判定するステップと、
   画像処理部が、前記処理判定部により画像処理するフレームであると判定された場合に、前記画像取得部により取得された画像を認識して、前記対象物の位置および領域の大きさを示す関連情報を生成する処理を行うステップと、
   推定処理部が、前記処理判定部により推定処理するフレームであると判定された場合に、前記画像処理部により過去のフレームから生成された前記関連情報に基づいて、前記関連情報が生成されていない対象物の位置および領域の大きさを示す関連情報を推定して、当該推定した前記関連情報を生成するステップと、
   表示制御部が、前記画像処理部または前記推定処理部により生成された前記関連情報をフレームごとに前記対象物に付加して前記表示装置に表示させる
   ステップと
   を備え、
   前記処理判定部が前記画像処理を行うと判断するフレームは、一定の画像処理周期で設定されており、
   前記処理判定部は、前記対象物の種類、位置、移動方向、動作状態のうちの少なくとも１つを判定し、当該判定結果に対応して前記画像処理周期を自動的に変化させる
   ことを特徴とする映像処理方法。

Images