JP7161981B2 - 対象追跡手段の切り替えが可能な対象追跡プログラム、装置及び方法 - Google Patents

Description

本発明は、対象を含み得る画像によって当該対象を追跡する技術に関する。

現在、監視カメラや車載カメラ等の普及に伴い、このようなカメラで撮影され生成された映像データを収集し、そこから新たな情報を創出する技術が注目されている。例えば、監視カメラ映像データから所定対象の移動軌跡に係る情報を生成したり、車載カメラ映像データから運転支援情報や自動運転実施のための制御管理情報を生成したりする技術の開発が盛んに進められている。

ここで特に、所定対象を識別しつつ追跡する技術については、その認識精度を向上させたり、所定対象を取り違えることなく把握し続けたりするといった課題の解決が重要となる。

この点、例えば特許文献１には、レーダセンサやカメラ等を用いて先行車の位置情報データを取得し、このデータの誤差に基づき、先行車走行軌跡算出のために保存され利用される先行車の位置情報データの距離の範囲（バッファリング範囲Ｄ）を決定して、そのバッファリング範囲Ｄに基づいて決定された先行車の位置情報データの保存時期（バッファリングのタイミング）に先行車の位置情報データを保存し、保存された先行車の位置情報データのうちのバッファリング範囲Ｄ内の位置情報データを用いて、先行車の走行軌跡を算出する先行車走行軌跡算出装置が開示されている。

ここで、この先行車走行軌跡算出装置によれば、先行車の位置情報データのバッファリングの範囲Ｄとタイミングとを適切に設定することによって、演算負荷を過大にせずに、走行軌跡の算出精度の低下を防止できるとされている。

また、特許文献２には、カメラ等の車両検知用センサによる検知データより前方地点を通過しようとする車両を検知するとともに車両識別情報を付与し、車両が前方地点から後方地点を通過するまでの間、車両識別情報を付与した状態を保持して車両を追跡し、車両が前方地点に進入する際に前部カメラの画像データより取得した前部ナンバープレート情報と、車両識別情報とを対応付けて保持し、車両が後方地点に進入する際に、同様に、後部ナンバープレート情報と車両識別情報とを対応付けて保持し、車両識別情報を比較して、同一の車両識別情報が付与されている前部ナンバープレート情報および後部ナンバープレート情報を対応付けるナンバープレート情報取得装置が開示されている。

さらに、特許文献３には、映像中の複数の人物の映像内における座標を決定し、映像中の人物が密集している領域として集団領域を特定し、ある人物の映像内における座標を追跡し、また、ある人物の集団領域における座標及び着衣に記載された数字に基づいて、ある人物の集団領域における座標の軌跡を決定する人物追跡装置が開示されている。ここで、この人物追跡装置は、精度良く人物を追跡するのに有効であるとされている。

特開２０１６－２０６９７６号公報 国際公開第２００８／０１０３０８号 国際公開第２０１６／１３９９０６号

以上に説明したように従来、所定対象を認識し追跡する技術においては、例えば特許文献１に記載された先行車走行軌跡算出装置のように、レーダセンサやカメラ等の所定の対象検出手段を用いて得られたデータを解析することが基本となっている。

また従来、例えば特許文献２及び３に記載された技術のように、車両に付与されたナンバープレートや人物の着衣に記載された数字（例えば背番号）を認識して、対象（自動車や人間）の追跡を行う技術も存在している。

しかしながら、追跡対象の特定部分であるナンバープレートや背番号等は、追跡対象との相対的な位置関係や、追跡対象の向き・姿勢によっては、レーダセンサやカメラ等の所定手段では「見る」ことのできない状況も少なからず発生する。例えば、追い越し車線を走行しつつまさに追い越しを行っている自動車が追跡対象である場合、追跡用のカメラが例え追跡する側の車両の側方に設置されていたとしても、当該カメラによってそのナンバープレートを認識することは非常に困難となる。

また、追い越しを行ったこの自動車が、そのまま前方を遠ざかっていった場合、ナンバープレートの認識はやはり困難となり、追跡精度の問題が生じてしまう。

そこで、本発明は、追跡対象の状況に応じて、より適切な追跡を実施することが可能な対象追跡プログラム、装置及び方法を提供することを目的とする。

本発明によれば、移動可能な対象を含み得る画像によって当該対象を追跡するコンピュータを機能させるプログラムであって、
当該画像における当該対象の特定部分であって、文字、数字及び記号のうちの少なくとも１つを含む特定部分を、当該文字、数字及び記号のうちの少なくとも１つを読み取ることによって識別可能な第１の識別器を用いて、当該対象を追跡可能な第１の対象追跡手段と、
当該画像における当該対象に係る画素情報から当該対象を識別可能な、画像認識用の機械学習アルゴリズムによって構成された第２の識別器を用いて、当該対象を追跡可能な第２の対象追跡手段と、
第１の対象追跡手段による当該対象の追跡が不能となった又は所定の短時間後に不能になると予測された際、第２の対象追跡手段に対し当該対象の追跡を実施させる対象追跡切り替え手段と
してコンピュータを機能させる対象追跡プログラムが提供される。

さらに、本発明によれば、移動可能な対象を含み得る画像によって当該対象を追跡するコンピュータを機能させるプログラムであって、
当該画像は、撮影範囲の互いに異なる複数のカメラのいずれかによって生成され、
当該画像における当該対象の特定部分を識別可能な第１の識別器を用いて、当該対象を追跡可能な第１の対象追跡手段と、
当該画像における当該対象に係る画素情報から当該対象を識別可能な第２の識別器を用いて、当該対象を追跡可能な第２の対象追跡手段と、
第１の対象追跡手段による当該対象の追跡が不能となった又は所定の短時間後に不能になると予測された際、第２の対象追跡手段に対し当該対象の追跡を実施させる対象追跡切り替え手段と、
１つのカメラによって生成された当該画像による当該対象の追跡が不能となった又は所定の短時間後に不能になると予測された際、当該対象を追跡可能とする画像又は追跡するのに適した画像であって、別のカメラによって生成された当該画像を取得する画像取得手段と
してコンピュータを機能させ、
対象追跡切り替え手段は、当該別のカメラによって生成された当該画像に基づく第１の対象追跡手段による当該対象の追跡が不能である又は所定の短時間後に不能になると予測された際、第２の対象追跡手段に対し、当該別のカメラによって生成された当該画像に基づき当該対象の追跡を実施させる
ことを特徴とする対象追跡プログラムが提供される。
ここで、この本発明による対象追跡プログラムの一実施形態として、対象追跡切り替え手段は、第２の対象追跡手段により、あるカメラによって生成された当該画像に基づく当該対象の追跡が実施されてきた場合に、当該あるカメラとは別のカメラによって生成された当該画像において第１の対象追跡手段による当該対象の追跡が可能となった若しくは所定の短時間後に可能になると予測された際、又は当該あるカメラによって生成された当該画像において第２の対象追跡手段による当該対象の追跡が不能となった若しくは所定の短時間後に不能になると予測された際、第１の対象追跡手段に対し、当該あるカメラとは別のカメラによって生成された当該画像に基づき当該対象の追跡を実施させることも好ましい。

また、上記の実施形態において、当該カメラは、それぞれ前方、右側方、左側方及び後方を撮影可能な、１つの移動体に設けられた４つのカメラであり、当該対象の特定部分は、当該対象である他の移動体に対応付けられた文字、数字、記号及び図形のうちの少なくとも１つを含む表示体であってこの他の移動体に係る情報を特定するための表示体であることも好ましい。

さらに、上記の４つのカメラを用いた実施形態において、第１の対象追跡手段は、後方を撮影可能な当該カメラによって生成された画像における他の移動体の前に設置された表示体の位置から、後方から接近するこの他の移動体を追跡し、
第２の対象追跡手段は、右側方又は左側方を撮影可能な当該カメラによって生成された画像におけるこの他の移動体に係る画素情報から、接近して右側方又は左側方から追い越しをかけるこの他の移動体を追跡し、
第１の対象追跡手段は、前方を撮影可能な当該カメラによって生成された画像におけるこの他の移動体の後ろに設置された表示体の位置から、追い越しを終えて前方に現れたこの他の移動体を追跡することも好ましい。

また、本発明によれば、移動可能な対象を含み得る画像によって当該対象を追跡するコンピュータを機能させるプログラムであって、
当該画像における当該対象の特定部分を識別可能な第１の識別器を用いて、当該対象を追跡可能な第１の対象追跡手段と、
当該画像における当該対象に係る画素情報から当該対象を識別可能な第２の識別器を用いて、当該対象を追跡可能な第２の対象追跡手段と、
当該画像において検出される当該対象に係るバウンディングボックスの当該画像内での位置に基づいて、当該画像における当該対象を追跡可能な第３の対象追跡手段と、
第１の対象追跡手段による当該対象の追跡が不能となった又は所定の短時間後に不能になると予測された際、第２の対象追跡手段に対し当該対象の追跡を実施させ、第２の対象追跡手段によって当該対象の追跡が実施されてきた場合に、第２の対象追跡手段による当該対象の追跡が、当該対象の画素情報に係る領域が所定以上に小さくなったために不能となった際、第３の対象追跡手段に対し当該対象の追跡を実施させる対象追跡切り替え手段と
してコンピュータを機能させることを特徴とする対象追跡プログラムが提供される。

ここで、上記の第３の対象追跡手段を包含する対象追跡プログラムにおいて、当該画像は、１つの移動体に設けられた前方を撮影可能なカメラによって生成され、第３の対象追跡手段は、当該画像において検出される他の移動体に係るバウンディングボックスの当該画像内での位置に基づいて、この１つの移動体を追い越した後にその前方の先へ遠ざかる他の移動体を追跡することも好ましい。
さらに、以上に述べた本発明による対象追跡プログラムにおいて、対象追跡切り替え手段は、第２の対象追跡手段によって当該対象の追跡が実施されてきた場合に、第１の対象追跡手段による当該対象の追跡が可能となった若しくは所定の短時間後に可能になると予測された際、又は第２の対象追跡手段による当該対象の追跡が不能となった若しくは所定の短時間後に不能になると予測された際、第１の対象追跡手段に対し当該対象の追跡を実施させることも好ましい。

本発明によれば、また、移動可能な対象を含み得る画像によって当該対象を追跡する装置であって、
当該画像における当該対象の特定部分であって、文字、数字及び記号のうちの少なくとも１つを含む特定部分を、当該文字、数字及び記号のうちの少なくとも１つを読み取ることによって識別可能な第１の識別器を用いて、当該対象を追跡可能な第１の対象追跡手段と、
当該画像における当該対象に係る画素情報から当該対象を識別可能な、画像認識用の機械学習アルゴリズムによって構成された第２の識別器を用いて、当該対象を追跡可能な第２の対象追跡手段と、
第１の対象追跡手段による当該対象の追跡が不能となった又は所定の短時間後に不能になると予測された際、第２の対象追跡手段に対し当該対象の追跡を実施させる対象追跡切り替え手段と
を有する対象追跡装置が提供される。

本発明によれば、さらに、移動可能な対象を含み得る画像によって当該対象を追跡するコンピュータにおける対象追跡方法であって、
当該画像における当該対象の特定部分であって、文字、数字及び記号のうちの少なくとも１つを含む特定部分を、当該文字、数字及び記号のうちの少なくとも１つを読み取ることによって識別可能な第１の識別器を用いて、当該対象を追跡するステップと、
第１の識別器による当該対象の追跡が不能となった又は所定の短時間後に不能になると予測された際、当該画像における当該対象に係る画素情報から当該対象を識別可能な、画像認識用の機械学習アルゴリズムによって構成された第２の識別器を用いて、当該対象を追跡するステップと
を有する対象追跡方法が提供される。

本発明の対象追跡プログラム、装置及び方法によれば、追跡対象の状況に応じて、より適切な追跡を実施することができる。

本発明による対象追跡サーバ及び画像データ提供クライアントを備えた対象追跡システムの一実施形態を説明するための模式図及び機能ブロック図である。 本発明に係る第１の対象追跡部による対象追跡処理の一実施形態を説明するための模式図である。 本発明に係る第３の対象追跡部による対象追跡処理の一実施形態を説明するための模式図である。 本発明による対象追跡方法の一実施形態を説明するための模式図である。

以下、本発明の実施形態について、図面を用いて詳細に説明する。

［対象追跡システム］
図１は、本発明による対象追跡サーバ及び画像データ提供クライアントを備えた対象追跡システムの一実施形態を説明するための模式図及び機能ブロック図である。

図１に示した本実施形態の対象追跡システムは、
（ａ）移動可能なクライアントである少なくとも１つの端末２０と、
（ｂ）端末２０から画像データを取得可能なサーバであるクラウドサーバ１と
を有し、このクラウドサーバ１において、取得された画像データから、所定の対象が識別され追跡されるのである。

ここで上記（ａ）の端末２０は、本実施形態において、通信機能を有するドライブレコーダであり自動車２内に設置されている。また端末２０は、本実施形態においては自動車２に設置された、撮影範囲の互いに異なる４つのカメラ、すなわち、
自動車２の前方（自動車２の直進時進行方向）を撮影可能な前方カメラ２０２ｃ、
自動車２の後方を撮影可能な後方カメラ２０２ａ、
自動車２の右側方を撮影可能な右側方カメラ２０２ｂ、及び
自動車２の左側方を撮影可能な左側方カメラ２０２ｄ
と有線又は無線で接続されており、例えば自動車２の周囲３６０度の状況をこれらのカメラで撮影して画像（映像）データを生成し、自身に設けられたメモリやストレージに保存することができるものとなっている。

さらに、端末２０は、例えば携帯電話通信網やインターネット等を介してクラウドサーバ１と無線通信接続が可能となっており、各カメラの撮影によって生成し保存している画像（映像）データの一部又は全部を、適宜又は指示に応じてクラウドサーバ１へ送信することもできるのである。

一方、上記（ｂ）のクラウドサーバ１は、端末２０から、移動可能な追跡対象（例えば、図１の追い越しを行っている自動車３）を含み得る画像（データ）を取得し、当該画像によって追跡対象（自動車３）を追跡する装置となっており、
（Ａ）当該画像における追跡対象（自動車３）の「特定部分」（例えばナンバープレート）を識別可能な第１の識別器を用いて、当該画像における追跡対象（自動車３）を追跡可能な第１の対象追跡部１１４と、
（Ｂ）当該画像における追跡対象（自動車３）に係る画素情報から追跡対象（自動車３）を識別可能な第２の識別器を用いて、当該画像における追跡対象（自動車３）を追跡可能な第２の対象追跡部１１５と、
（Ｃ）第１の対象追跡部１１４による追跡対象（自動車３）の追跡が不能又は不適となった際、第２の対象追跡部１１５に対し追跡対象（自動車３）の追跡を実施させる対象追跡切り替え部１１３と
を有することを特徴としている。

ここで、上記（Ａ）の「特定部分」（例えばナンバープレート）は、追跡対象（例えば自動車３）との相対的な位置関係や、追跡対象（自動車３）の向き・姿勢によっては、追跡用としてその撮影画像を使用しているカメラでは「見る」ことのできない状況も少なからず発生する。

例えば、追い越し車線を走行しつつまさに追い越しを行っている自動車３が追跡対象であって、特定部分が車両の前後に取り付けられたナンバープレートである場合、追跡用に使用しているカメラが例え、端末２０の搭載された自動車２の右側方カメラ２０２ｂであっても、当該カメラによってそのナンバープレートを認識することは非常に困難となる。さらに言えば、追い越しをかけ終わった自動車３が、そのまま自動車２の前方を遠ざかっていった場合、追跡用に使用しているカメラが例え前方カメラ２０２ｃであっても、ナンバープレートの認識はやはり困難となってしまう。

これに対し、クラウドサーバ１は、上記（Ｃ）にあるように、第１の対象追跡部１１４による追跡対象（例えば自動車３）の追跡が不能又は不適となった際、第２の対象追跡部１１５に対し追跡対象（自動車３）の追跡を実施させることができるのである。

ここで、第２の対象追跡部１１５による対象追跡処理は、追跡対象（自動車３）に係る画素情報から追跡対象（自動車３）を識別可能な第２の識別器を用いるものであり、「特定部分」（例えばナンバープレート）の識別による追跡処理と比較すると通常、より処理負担の大きいものとなる。しかしながら、追跡対象（自動車３）との相対的位置関係の変化や、追跡対象（自動車３）の向き・姿勢の変化に対する処理のロバスト性はより高くなっている。

例えば、「特定部分」としてのナンバープレートは「見る」ことができない状況でも、追跡対象としての自動車３は「見る」ことができる場合は少なからず発生するのであり、この自動車３に係る画像部分（画素値データ）が所定以上取得できさえすれば、第２の対象追跡部１１５は、対象追跡処理を実施することが可能となっている。

以上説明したように、クラウドサーバ１は、追跡対象（例えば自動車３）の状況に応じて、より適切な追跡を実施することが可能となっており、例えば、追跡対象の「特定部分」（例えばナンバープレート）の識別が不能又は困難となっても、対象追跡処理を続行することができるのである。

なお、上記（Ｃ）における「追跡が不能又は不適」とは、後に詳細に説明するが、追跡対象の特定部分の識別処理が実際に不能又は困難である状況を含むものとする。

また、上記（Ａ）の「特定部分」も、ナンバープレートに限定されるものではなく、例えば、追跡対象が自動車である場合、車体に付与されたエンブレムやロゴマークを特定部分とすることも可能である。さらに、追跡対象が競技者（人物）である場合、着衣に付された番号（例えば背番号）の記載部分を「特定部分」とすることもできる。この点例えば、追跡対象の「特定部分」は、文字、数字、記号及び図形のうちの少なくとも１つを含む部分であって、上記（Ａ）の第１の識別器として、当該文字、数字、記号及び図形のうちの少なくとも１つを識別可能なものを採用することも好ましい。さらに、このような「特定部分」を備えたものならば種々のものが、追跡対象として設定可能となっているのである。

また、端末２０に接続されるカメラも当然、上述したような４つのカメラに限定されるものではなく、４つ以外の個数のカメラであってもよい。また例えば、広角レンズや魚眼レンズ等を備えた広画角のカメラを１つ又は２つ以上採用することも可能である。

さらに、端末２０も当然に、自動車２に設置された車載装置（ドライブレコーダ）に限定されるものではなく、例えば自転車や鉄道車両、さらにはロボットやドローン等の他の移動体に設置された又は搭乗した装置であってもよい。また、１つ以上のカメラを搭載した例えばＨＭＤ（Head Mounted Display）やグラス型端末等のウェアラブル端末とすることもできる。この場合、例えばユーザが歩きながら撮影し生成した画像データがクラウドサーバ１へ上げられることになる。さらに、移動可能でない端末、例えば通信機能を備えた固定カメラ装置、例えば道路沿いに設置された交通状況監視カメラとすることも可能である。

［対象追跡サーバの機能構成］
図１に示した機能ブロック図によれば、対象追跡サーバであるクラウドサーバ１は、通信インタフェース１０１と、プロセッサ・メモリとを有する。ここで、このプロセッサ・メモリは、本発明による対象追跡プログラムの一実施形態を保存しており、また、コンピュータ機能を有していて、この対象追跡プログラムを実行することによって、対象追跡処理を実施する。

またこのことから、本発明による対象追跡サーバとして、本クラウドサーバ１に代えて、本発明による対象追跡プログラムを搭載した、例えば非クラウドのサーバ装置、パーソナル・コンピュータ（ＰＣ）、ノート型若しくはタブレット型コンピュータ、又はスマートフォン等を採用することも可能となる。

また例えば、端末２０に本発明による対象追跡プログラムを搭載し、当該端末２０を本発明による対象追跡サーバとすることもできる。さらに、本発明による対象追跡サーバを、端末２０とともに自動車２に設置する実施形態も可能となるのである。

また、上記のプロセッサ・メモリは、カメラ指定部１１１ａを含む画像取得部１１１と、対象追跡切り替え部１１３と、第１の対象追跡部１１４と、第２の対象追跡部１１５と、第３の対象追跡部１１６と、追跡結果総合部１１７と、送受信制御部１１８とを有する。またさらに、対象検出部１１２を有していてもよい。なお、これらの機能構成部は、プロセッサ・メモリに保存された対象追跡プログラムの機能と捉えることができる。また、図１におけるクラウドサーバ１の機能構成部間を矢印で接続して示した処理の流れは、本発明による対象追跡方法の一実施形態としても理解される。

同じく図１の機能ブロック図において、画像取得部１１１は、端末２０から通信インタフェース１０１及び送受信制御部１１８を介して受信された映像（画像）データを取得し管理する。ここで画像取得部１１１は、当該映像データを、ＭＰＥＧ等の規格に基づき圧縮符号化された映像ストリームの形で受け取ってもよい。この場合、当該映像ストリームを伸張（デコード）し、原映像ストリームを構成する画像データ群として管理することになる。

また、画像取得部１１１のカメラ指定部１１１ａは、後に詳細に説明するが、対象追跡切り替え部１１３から切り替え通知（追跡手段変更通知）を受け取った際、この通知に基づいて、いずれのカメラ（の画像データ）を選択すべきかを指定するカメラ指定情報を生成し、当該カメラ指定情報を端末２０へ送信させる。ここで、カメラ指定部１１１ａは、端末２０に接続された各カメラ（図１では４つのカメラ２０２ａ～２０２ｄの各々）の撮影向きや、互いの位置関係に係る情報を予め知得していて、当該情報に基づいてカメラ指定情報を生成することも好ましい。

このようなカメラ指定情報を端末２０へ通知することによって、画像取得部１１１は、１つのカメラによって生成された画像データによる追跡対象の追跡が不能又は不適となった際、当該追跡対象を追跡可能とする（又は追跡するのに適した）画像データであって、別のカメラによって生成された画像データを取得することも可能となるのである。

ここで、画像取得部１１１は、端末２０に接続された各カメラの画像データを全て取得する形態も可能ではあるが、そうではなく、その都度カメラ指定情報で指定したカメラによって生成された画像データのみを取得することも好ましい。これにより、端末２０からのデータ送信負担が軽減され、また、クラウドサーバ１側での画像データ保存・管理負担も軽減可能となる。

対象検出部１１２は、画像取得部１１１から取得された画像データにおいて追跡対象を検出する。具体的には、周知の機械学習を用いた物体検出技術を用いて追跡対象検出処理を実施することができる。例えば、画像データ内の各小画像領域に対し、追跡対象検出用に学習された物体検出器を用いて「追跡対象らしさ」を示すスコアを算出し、当該スコアの最も高い小画像領域を追跡対象領域に決定してもよい。

また、ここで決定される追跡対象領域は、例えば、物体検出器によって検出された追跡対象の画像部分に対し各辺が外接している外接矩形の領域、すなわちバウンディングボックス（bounding box）であることも好ましい。勿論当然に、他の形状の対象領域を設定することも可能である。

また、このような物体検出器として、例えば非特許文献：Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, Alexander C. Berg, “SSD: single shot multibox detector”, European Conference on Computer Vision, Computer Vision-ECCV 2016, ２０１６年, ２１～３７頁に記載されたものを使用することができる。

なお変更態様として、端末２０が、追跡対象検出処理の機能（図１の対象検出部２１３）を有し、追跡対象検出結果の情報（例えば、バウンディングボックスの大きさ及び画像内位置に係る情報）を画像データとともにクラウドサーバ１へ送信することとしてもよい。この場合、クラウドサーバ１は、上記の対象検出部１１２を省略することができる。

同じく図１の機能ブロック図において、対象追跡切り替え部１１３は、
（ア）第１の対象追跡部１１４による追跡対象の追跡が不能又は不適となった際、第２の対象追跡部１１５に対し追跡対象の追跡を実施させたり、
（イ）第２の対象追跡部１１５によって追跡対象の追跡が実施されてきた場合に、第１の対象追跡部１１４による追跡対象の追跡が可能又は適切となった際、第１の対象追跡部１１４に対し追跡対象の追跡を実施させたり
することができる。

また本実施形態において、対象追跡切り替え部１１３は、上記（ア）の場合に、第１の対象追跡部１１４による追跡対象（例えば、追い越しを行っている自動車３）の追跡が不能又は不適である画像データの生成元となるカメラ（例えば、後方カメラ２０２ａ）から、当該追跡対象を追跡可能とする画像、又は追跡するのに適した画像を生成し得る別のカメラ（例えば、右側方カメラ２０２ｂ）への切り替えを指定する切り替え通知（追跡手段変更通知）を、カメラ指定部１１１ａへ出力する。

これにより、対象追跡切り替え部１１３は、切り替えられた別のカメラ（右側方カメラ２０２ｂ）によって生成された画像に基づく第１の対象追跡部１１４による追跡対象の追跡が不能又は不適であっても、第２の対象追跡部１１５に対し当該追跡対象の追跡を実施させることができるのである。

さらに本実施形態において、対象追跡切り替え部１１３は、上記（イ）の場合に、第２の対象追跡部１１５による追跡対象の追跡が実施されてきた画像データの生成元となるカメラ（例えば、右側方カメラ２０２ｂ）から、第１の対象追跡部１１４による当該対象の追跡が可能又は適切となっている画像データを生成し得る別のカメラ（例えば、前方カメラ２０２ｃ）への切り替えを指定する切り替え通知（追跡手段変更通知）を、カメラ指定部１１１ａへ出力する。

これにより、対象追跡切り替え部１１３は、第２の対象追跡部１１５によって追跡対象の追跡が実施されてきた場合に、切り替えられた別のカメラ（前方カメラ２０２ｃ）によって生成された画像において第１の対象追跡部１１４による当該追跡対象の追跡が可能又は適切となった際に、第１の対象追跡部１１４に対し当該追跡対象の追跡を実施させることができるのである。

なお、上記（ア）における「追跡が不能又は不適」とは、追跡対象の特定部分の識別処理が実際に不能又は困難である状況、例えば所定以上の識別精度が得られなかったり、当該特定部分領域の所定割合以上が画像から消失したり（画像外へはみ出たり）した状況とすることもできるが、または、１つのカメラ（例えば、後方カメラ２０２ａ）に係る画像内における追跡対象（例えば、自動車３）の追跡状況（その画像内位置や移動速度・向き）から、直ちに（所定の短時間後には）別のカメラ（例えば、右側方カメラ２０２ｂ）に係る画像内の方へ移動することが予測される状況としてもよい。

ちなみに、当該特定部分領域が、例えば後方カメラ２０２ａに係る画像においてその右辺に向けて消失する（はみ出る）場合、対象追跡切り替え部１１３は、例えば右側方カメラ２０２ｂへの切り替えを指定する切り替え通知（追跡手段変更通知）をカメラ指定部１１１ａへ出力することができる。一方、左辺に向けて消失する（はみ出る）場合、例えば左側方カメラ２０２ｄへの切り替えを指定する切り替え通知（追跡手段変更通知）を出力してもよい。

さらに、上記（イ）における「追跡が可能又は適切」とは、現在追跡に用いている画像において、追跡対象の特定部分の識別処理が可能となる状況とすることもでき、または、切り替えられる新たなカメラ（例えば、前方カメラ２０２ｃ）に係る画像において、追跡対象の特定部分の識別処理が可能となる（ことが見込まれる）状況とすることもできる。

同じく図１の機能ブロック図において、第１の対象追跡部１１４は、追跡対象の特定部分を識別可能な第１の識別器を用いて当該追跡対象を追跡する対象追跡手段である。ここで、この特定部分は文字、数字、記号及び図形のうちの少なくとも１つを含む部分であり、第１の識別器は当該文字、数字、記号及び図形のうちの少なくとも１つを識別可能であるものとすることができる。

さらにより具体的に、特定部分は、（追跡元の移動体（自動車２）とは別の）追跡対象である移動体（自動車３）に対応付けられた文字、数字、記号及び図形のうちの少なくとも１つを含む表示体であって当該移動体（自動車３）に係る情報を特定するための表示体、例えばナンバープレートであることも好ましい。第１の対象追跡部１１４は、例えば周囲に同種の移動体が多数存在する場合であっても、個々を特定し判別可能にするこのような表示体を特定部分とすることによって、追跡対象をより確実に識別し、対象を取り違える等の追跡失敗の発生を抑制することが可能となるのである。

図２は、第１の対象追跡部１１４による対象追跡処理の一実施形態を説明するための模式図である。

図２に示した実施形態によれば、第１の対象追跡部１１４は、前方を走行している自動車３の後部に設けられた後部ナンバープレート３１を追跡対象の特定部分として、
（ａ）画像取得部１１１より取得された、前方カメラ２０２ｃに係る画像における自動車３相当の追跡対象領域から、後部ナンバープレート３１に係る画像領域を、パターン認識手法等によって取り出し、
（ｂ）取り出した後部ナンバープレート３１に係る画像領域を第１の識別器への入力とし、第１の識別器から識別結果として、後部ナンバープレート３１に記載されたナンバープレート情報を出力させて、このナンバープレート情報に対し１つの追跡対象ＩＤ（識別子）を紐づけ、
（ｃ）以後、刻々と取得される画像において出力されるナンバープレート情報が、当初、追跡対象ＩＤを紐づけたナンバープレート情報と一致する場合に、当該ナンバープレート情報は同一の追跡対象である（同一の追跡対象ＩＤを有する）自動車３に係るものと判断し、刻々と取得される画像における後部ナンバープレート３１に係る画像領域の画像内位置を、刻々の自動車３の位置として保存し、追跡を行う
のである。

ここで、第１の識別器は、入力として受け取った画像領域に対し、ＯＣＲ（Optical Character Reader）技術といった公知のテキスト（文字データ）認識技術や文字読み取り技術による処理を施し、当該画像領域に含まれるテキストに係る情報（例えば文字データ列）を出力するものとすることができる。ちなみに、第１の対象追跡部１１４は、特定部分（ナンバープレート）に係る画像領域の大きさやその大きさの変化の速度から、追跡対象（自動車３）と自車（自動車２）との距離や、追跡対象（自動車３）の接近／離反速度を推定する機能を有していることも好ましい。これにより、例えば急接近したり車間を詰めたりする危険走行車両を特定することも可能となるのである。

以上に説明したような第１の対象追跡部１１４による対象追跡処理は、この後説明する第２の対象追跡部１１５での処理と比較して処理負担がより小さく、特にリアルタイムで識別・追跡を実施するのにより好適である。したがって本実施形態では、対象追跡切り替え部１１３（図１）は、その追跡が可能又は適切である限りにおいて、第１の対象追跡部１１４による対象追跡処理を採用することがデフォルトとなっている。

図１に示した機能ブロック図に戻って、第２の対象追跡部１１５は、画像取得部１１１より取得された画像における追跡対象（例えば、自動車３）の追跡対象領域の画素情報から追跡対象（自動車３）を識別可能な第２の識別器を用いて、取得された画像における追跡対象（自動車３）を追跡する対象追跡手段である。

ここで、第２の識別器は、画像認識用に広く使用されているディープニューラルネットワーク（ＤＮＮ，Deep Neural Network）や、ＳＶＭ（Support Vector machine）、さらにはランダムフォレスト（Random Forest）等、画像データが入力されて識別結果（例えば、推定される"クラス"及びそのスコア（確からしさ））が出力される様々な種別の機械学習アルゴリズムによって構成することができる。

第２の対象追跡部１１５は、刻々と取得される画像において、第２の識別器を用い、所定以上の確からしさをもって追跡対象（自動車３）であると推定される追跡対象領域を決定し、そのように決定された追跡対象領域の画像内位置（例えば、追跡対象領域下辺の中点位置）を、刻々の自動車３の位置として保存し、追跡を行うのである。

ちなみに、第２の対象追跡部１１５は、第２の識別器の学習機能を備えていることも好ましい。具体的には、第２の識別器を構成する学習モデルを構築するための学習データを生成・管理し、次いで管理している（十分な量の）学習データを用いて、所定の追跡対象（例えば、自動車）を識別するための学習モデルを生成するのである。なお、学習データは具体的に、入力となる追跡対象領域に対し、正解ラベル（例えば、クラス"自動車"）を付与することによって生成される。

ここで、複数の追跡対象（例えば自動車、人力移動体や人間等）に対応すべく、当該追跡対象毎の学習データが生成され、さらに、これらの学習データによって当該追跡対象毎の学習モデルが生成されることも好ましい。この場合、第２の対象追跡部１１５は、複数の追跡対象のそれぞれを識別可能な複数の第２の識別器を所有し、各追跡対象についての識別結果を並行して出力することも可能となるのである。

また、これらの追跡対象の各々は、第１の識別器によって識別可能な「特定部分」を有していることも好ましい。この場合、第１の対象追跡部１１４は、これらの追跡対象の「特定部分」のそれぞれを識別可能な複数の第１の識別器を所有し、各追跡対象についての識別結果を並行して出力してもよい。さらにこの場合、対象追跡切り替え部１１３は、当該追跡対象毎に、第１の対象追跡部１１４及び第２の対象追跡部１１５のうちのいずれを使用するかを適宜決定し、各追跡対象の好適な追跡処理を継続して且つ並行して実施することも好ましい。

いずれにしても、以上に説明したような第２の対象追跡部１１５による対象追跡処理は、第１の対象追跡部１１４での処理と比較すると、追跡対象との相対的位置関係の変化や、追跡対象の向き・姿勢の変化に対する処理のロバスト性がより高くなっている。

例えば、追跡対象の特定部分としてのナンバープレートは「見る」ことができない状況でも、追跡対象としての自動車３は「見る」ことができる場合は少なからず発生するのであり、この自動車３に係る画像部分（画素値データ）が所定以上取得できさえすれば、第２の対象追跡部１１５は、対象追跡処理を実施することができるのである。

同じく図１に示した機能ブロック図において、第３の対象追跡部１１６は、画像取得部１１１より取得された画像において検出される、追跡対象（例えば、自動車３）のバウンディングボックス（bounding box，追跡対象領域）の画像内位置に基づいて、当該追跡対象の追跡を行う対象追跡手段である。

ここで好適な一実施形態として、対象追跡切り替え部１１３は、第２の対象追跡部１１５によって追跡対象の追跡が実施されてきた場合に、追跡対象の画素情報に係る領域（例えば、自動車３のバウンディングボックス）が所定以上に小さくなったため、第２の対象追跡部１１５による追跡対象（自動車３）の追跡が不能又は不適となった際、第３の対象追跡部１１６に対し追跡対象（自動車３）の追跡を引き続き実施させるのである。

いずれにしても、この第３の対象追跡部１１６による対象追跡処理は、第２の対象追跡部１１５での処理と比較すると、追跡対象の識別精度は劣るものの、より少ない画素情報、すなわちより小さいバウンディングボックスをもって、追跡処理を実施することができるのである。

図３は、第３の対象追跡部１１６による対象追跡処理の一実施形態を説明するための模式図である。

図３に示した実施形態では当初、第２の対象追跡部１１５が、前方カメラ２０２ｃに係る画像を用い、追い越しを終えて前方を遠ざかっていく自動車３の追跡を実施している。しかしながら、自動車３がより遠ざかっていくに従い、自動車３のバウンディングボックス（追跡対象領域）がより小さくなり、ついに、第２の識別器は、所定以上の確からしさ（スコア）をもって自動車３を識別することができなくなってしまう。

ここで、このような状態を捉えた対象追跡切り替え部１１３は、対象追跡処理の主体を、第２の対象追跡部１１５から第３の対象追跡部１１６に切り替え、これを受けて第３の対象追跡部１１６は、図３に示すように、自動車３のバウンディングボックスを用いて自動車３の追跡を引き続き実施するのである。

第３の対象追跡部１１６は具体的に、各時刻における自動車３のバウンディングボックスＢ３の画像内位置、本実施形態ではボックス下辺の中点pの画像内位置座標値(u,v)を算出して、一連の中点pが描く線分を、自動車３の軌跡として管理するのである（図３には、時刻t0での中点p0と時刻t1（＞t0）での中点p1との様子が示されている）。

このように、第３の対象追跡部１１６によれば、第２の対象追跡部１１５によっては追跡ができなくなった追跡対象をも、引き続き追跡することが可能となるのである。

図１に示した機能ブロック図に戻って、追跡結果総合部１１７は、第１～３の対象追跡部１１４、１１５及び１１６の各々から出力される追跡処理結果を取りまとめて、例えば追跡対象ＩＤ毎に、追跡対象のクラスと、追跡期間内の各時刻における、追跡対象の画像内位置情報（又は実空間での値に変換された位置情報）とを対応付けた情報である対象追跡結果情報を生成する。

ここで、生成された対象追跡結果情報は、送受信制御部１１８及び通信インタフェース１０１を介し、外部の情報処理装置、例えば端末２０へ送信されることも好ましい。また、クラウドサーバ１内で、所定のアプリケーション・プログラムによって利用されるようにしてもよい。

［画像データ提供クライアントの機能構成］
同じく図１に示した機能ブロック図によれば、端末２０は、通信インタフェース２０１と、後方カメラ２０２ａと、右側方カメラ２０２ｂと、前方カメラ２０２ｃと、左側方カメラ２０２ｄと、ディスプレイ（ＤＰ）２０３と、プロセッサ・メモリとを有する。なお、これらのカメラは外部のデバイスであって、端末２０と接続されたものであってもよい。ここで、このプロセッサ・メモリは、本発明に係る画像データ提供プログラムの一実施形態を保存しており、また、コンピュータ機能を有していて、この画像データ提供プログラムを実行することによって、画像データ提供処理を実施する。

またこのことから、本発明に係る画像データ提供クライアントとして、ドライブレコーダである本端末２０に代えて、本発明に係る画像データ提供プログラムを搭載した他の車載情報処理装置や、さらにはカメラを備えたスマートフォン、ノート型若しくはタブレット型コンピュータ、又はパーソナル・コンピュータ（ＰＣ）等を採用することも可能となる。また、ドライブレコーダとＷｉ-Ｆｉ（登録商標）やBluetooth（登録商標）等で通信接続された端末、例えばスマートフォンを本画像データ提供クライアントとしてもよい。

さらに、プロセッサ・メモリは、映像生成部２１１と、カメラ画像選択部２１２と、提示情報生成部２１４と、送受信制御部２１５とを有する。また、対象検出部２１３を更に有していてもよい。なお、これらの機能構成部は、プロセッサ・メモリに保存された画像データ提供プログラムの機能と捉えることができる。また、図１における端末２０の機能構成部間を矢印で接続して示した処理の流れは、本発明に係る画像データ提供方法の一実施形態としても理解される。

同じく図１の機能ブロック図において、映像生成部２１１は、本実施形態において自動車２に設置された後方カメラ２０２ａ、右側方カメラ２０２ｂ、前方カメラ２０２ｃ、及び左側方カメラ２０２ｄと接続されており、これらの４つのカメラから出力された撮影データに基づいて画像（映像）データを生成し、保存・管理する。本実施形態において端末２０はドライブレコーダであり、映像生成部２１３はデフォルトの設定として、少なくとも自動車２の走行時は常に、車外の状況を撮影した撮影データをこれらの４つのカメラから取得し、画像（映像）データを生成している。

カメラ画像選択部２１２は、
（ａ）クラウドサーバ１から通信インタフェース２０１及び送受信制御部２１５を介してカメラ指定情報を受け取り、
（ｂ）映像生成部２１１で生成された画像（映像）データの中から、当該カメラ指定情報で指定されたカメラに係る画像（映像）データを選択し、
（ｃ）選択した画像（映像）データを、送受信制御部２１５及び通信インタフェース２０１を介してクラウドサーバ１へ送信させる。

ここで、選択された画像（映像）データは、ＭＰＥＧ等の規格に基づき圧縮符号化された映像ストリームとして送信されてもよい。

対象検出部２１３は、クラウドサーバ１の対象検出部１１２と同様の対象検出処理を実施する機能手段であるが、クラウドサーバ１が対象検出部１１２を備えている場合には省略可能な手段となっている。

提示情報生成部２１４は、クラウドサーバ１から配信された対象追跡結果情報を、通信インタフェース２０１及び送受信制御部２１５を介して取得し、例えば搭載している周辺状況監視プログラムに取り込ませて提示情報を生成させ、この提示情報をディスプレイ２０３に表示させることができる。

例えば、提示情報生成部２１４は、ディスプレイ２０５に表示した道路マップ上に、後方から急接近してきた、さらには追い越しをかけてきた自動車３の軌跡を、強調表示してユーザに通知してもよい。またその際、自動車３と自車（自動車２）との距離を併せて表示することも好ましい。さらに、クラウドサーバ１が対象追跡結果情報と併せて、追跡対象に係るナンバープレート情報も配信する場合において、提示情報生成部２１４は、強調表示された自動車３の軌跡の位置に自動車３の自動車登録番号を表示し、また、これらの情報を記録して保存・管理してもよい。

［対象追跡方法］
図４は、本発明による対象追跡方法の一実施形態を説明するための模式図である。ここで、本実施形態では、端末２０を備えた走行中の自動車２に対し、その後方から自動車３が接近してきて追い越しを行い、さらに自動車３は、この追い越し後に自動車２と同じ車線に入って、その後、自動車２の前方を遠ざかっていくものとする。

図４によれば当初、第１の対象追跡部１１４が、後方カメラ２０２ａに係る画像に含まれる自動車３の前部ナンバープレートの画像部分に基づいて、自動車３の追跡処理を実施している。ここで、第１の対象追跡部１１４は、当該画像部分から生成されたナンバープレート情報に対し１つの追跡対象ＩＤを紐づけた上で追跡を行っている。

次いで、対象切り替え部１１３は、この第１の対象追跡部１１４から、「当該画像部分が当該画像からその右辺へ向けて消失した（画像外へ出た）との情報」、又は「所定の短時間後に消失する（画像外へ出る）ことが予測されるとの情報」を受け取って、これに基づき、対象追跡の実施主体を、第１の対象追跡部１１４から第２の対象追跡部１１５へ切り替える。

また、対象切り替え部１１３はさらに、切り替え通知（追跡手段変更通知）をカメラ指定部１１１ａへ出力し、追跡に使用する画像に係るカメラを、後方カメラ２０２ａから右側方カメラ２０２ｂへ切り替えさせる。その結果この後、第２の対象追跡部１１５が、右側方カメラ２０２ｂに係る画像に含まれた自動車３に係る画素情報に基づいて、自動車３の追跡処理を実施することになる。

ここで好適な変更態様として、対象切り替え部１１３は、上述した「所定の短時間後に消失することが予測されるとの情報」に基づいて、第２の対象追跡部１１５による追跡処理を開始し、次いで、上述した「当該画像部分が当該画像からその右辺へ向けて消失したとの情報」に基づいて、第１の対象追跡部１１４による追跡処理を停止させることも好ましい。このように、第１の対象追跡部１１４と第２の対象追跡部１１５とを並行して動作させる期間を設けることにより、この期間において第２の対象追跡部１１５は当初、後方カメラ２０２ａに係る画像の画素情報に基づいて対象追跡処理を実施して、第１の対象追跡部１１４の使用している追跡対象ＩＤをそのまま引き継ぐことができる。またさらに、この後右側方カメラ２０２ｂに係る画像の画素情報に基づいた対象追跡処理を開始する際、両カメラに係る画素情報の識別結果をマッチングすることによって、当初引き継いだ追跡対象ＩＤを、よりスムーズに継続して使用することも可能となるのである。

なお、第２の対象追跡部１１５は、自動車３の前部ナンバープレートの画像部分が画面から消失した（画像外へ出た）タイミング及びその画像内位置に基づき、側方カメラ２０２ｂに係る画像において自動車３が出現する（又は存在している）時点及びその画像内位置を予測し、次いで、当該時点及び位置に出現した（又は存在している）自動車３の対象画像領域（バウンディングボックス）に対し、第１の対象追跡部１１４から引き継いだ追跡対象ＩＤを付与した上で、自動車３の追跡を続行することも好ましい。

その後、対象切り替え部１１３は、この第２の対象追跡部１１４から、自動車３に係る画像領域が当該画像からその左辺へ向けて消失した（画像外へ出た）との情報、又は所定の短時間後に消失する（画像外へ出る）ことが予測されるとの情報を受け取り、これに基づき、
（ａ）切り替え通知（追跡手段変更通知）をカメラ指定部１１１ａへ出力し、追跡に使用する画像に係るカメラを、右側方カメラ２０２ｂから前方カメラ２０２ｃへ切り替えさせ、さらに、
（ｂ）対象追跡の実施主体を、第２の対象追跡部１１５から第１の対象追跡部１１４へ切り替える。

その結果この後、第１の対象追跡部１１４が、追い越しを終えて前方に現れた自動車３の（前方カメラ２０２ｃに係る画像に含まれる）後部ナンバープレートの画像部分に基づいて、自動車３の追跡処理を実施することになる。ここで、第１の対象追跡部１１４は、（過去に生成して保存しておいた）１つの追跡対象ＩＤを紐づけたナンバープレート情報と一致するナンバープレート情報が生成されたのを受け、過去に紐づけたものと同一の追跡対象ＩＤをこのナンバープレート情報に紐づけて、自動車３の追跡を続行することも好ましい。

次いで、自動車３が自動車２の前方において先に進行し自動車２を引き離す中で、対象切り替え部１１３は、この第１の対象追跡部１１４から、後部ナンバープレートの画像部分が小さくなって当該画像部分に基づく（所定精度以上の）対象追跡処理ができなくなった旨の情報を受け取って、これに基づき、対象追跡の実施主体を、第１の対象追跡部１１４から第２の対象追跡部１１５へ切り替える。その結果この後、第２の対象追跡部１１５が、前方カメラ２０２ｃに係る画像に含まれた自動車３に係る画素情報に基づいて、自動車３の追跡処理を実施することになる。

次いで、自動車３が自動車２の前方においてさらに遠ざかる中で、対象切り替え部１１３は、この第２の対象追跡部１１５から、自動車３のバウンディングボックスが小さくなって自動車３に係る画素情報に基づく（所定精度以上の）対象追跡処理ができなくなった旨の情報を受け取って、これに基づき、対象追跡の実施主体を、第２の対象追跡部１１５から第３の対象追跡部１１６へ切り替える。その結果この後、第３の対象追跡部１１６が、前方カメラ２０２ｃに係る画像に含まれた自動車３のバンディングボックスの画像内位置に係る情報に基づいて、自動車３の追跡処理を実施するのである。

ここで、第３の対象追跡部１１６は、刻々に取得される画像において、バウンディングボックスの画像内位置の変化分が所定範囲内である場合に、それらのバウンディングボックスを同一の追跡対象に係るものと判断して追跡を行うことも好ましい。

以上説明したように、クラウドサーバ１は、自動車２を追い越して前方へ遠ざかる自動車３を、その状況の変化に応じて適切な対象追跡手段を選択することにより、一貫して確実に追跡することができるのである。

以上、詳細に説明したように、本発明によれば、追跡対象を含み得る画像によって当該追跡対象を追跡する場合において、当該追跡対象の状況に応じて、より適切な追跡を実施することが可能となっており、例えば、追跡対象の特定部分（例えばナンバープレート）の識別が不能又は困難となっても、対象追跡処理を続行することができるのである。

ちなみに、本発明の構成及び方法は、例えば、膨大な量の映像データ伝送が可能となる５Ｇ（第５世代移動通信システム）を利用して、多数の自動運転車、自律ドローンや、自律ロボット等からの高解像度映像データをサーバへアップロードさせ、各々の周囲の状況をより確実且つ的確に把握することによって、それらの自動／自律運転を高い精度でサポートしたり、さらには周囲の状況に係る新サービスを創出して配信したりすることにも大いに貢献するものと考えられる。

以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲内での種々の変更、修正及び省略は、当業者によれば容易に行うことができる。以上に述べた説明はあくまで例示であって、何ら制約を意図するものではない。本発明は、特許請求の範囲及びその均等物によってのみ制約される。

１ クラウドサーバ（画像データ取得サーバ）
１０１、２０１ 通信インタフェース
１１１ 画像取得部
１１１ａ カメラ指定部
１１２、２１３ 対象検出部
１１３ 対象追跡切り替え部
１１４ 第１の対象追跡部
１１５ 第２の対象追跡部
１１６ 第３の対象追跡部
１１７ 追跡結果総合部
１１８、２１５ 送受信制御部
２、３ 自動車
２０ 端末
２０２ａ 後方カメラ
２０２ｂ 右側方カメラ
２０２ｃ 前方カメラ
２０２ｄ 左側方カメラ
２０３ ディスプレイ（ＤＰ）
２１１ 映像生成部
２１２ カメラ画像選択部
２１４ 提示情報生成部

Claims (10)

1. 移動可能な対象を含み得る画像によって当該対象を追跡するコンピュータを機能させるプログラムであって、
   当該画像における当該対象の特定部分であって、文字、数字及び記号のうちの少なくとも１つを含む特定部分を、当該文字、数字及び記号のうちの少なくとも１つを読み取ることによって識別可能な第１の識別器を用いて、当該対象を追跡可能な第１の対象追跡手段と、
   当該画像における当該対象に係る画素情報から当該対象を識別可能な、画像認識用の機械学習アルゴリズムによって構成された第２の識別器を用いて、当該対象を追跡可能な第２の対象追跡手段と、
   第１の対象追跡手段による当該対象の追跡が不能となった又は所定の短時間後に不能になると予測された際、第２の対象追跡手段に対し当該対象の追跡を実施させる対象追跡切り替え手段と
   してコンピュータを機能させることを特徴とする対象追跡プログラム。
2. 移動可能な対象を含み得る画像によって当該対象を追跡するコンピュータを機能させるプログラムであって、
   当該画像は、撮影範囲の互いに異なる複数のカメラのいずれかによって生成され、
   当該画像における当該対象の特定部分を識別可能な第１の識別器を用いて、当該対象を追跡可能な第１の対象追跡手段と、
   当該画像における当該対象に係る画素情報から当該対象を識別可能な第２の識別器を用いて、当該対象を追跡可能な第２の対象追跡手段と、
   第１の対象追跡手段による当該対象の追跡が不能となった又は所定の短時間後に不能になると予測された際、第２の対象追跡手段に対し当該対象の追跡を実施させる対象追跡切り替え手段と、
   １つのカメラによって生成された当該画像による当該対象の追跡が不能となった又は所定の短時間後に不能になると予測された際、当該対象を追跡可能とする画像又は追跡するのに適した画像であって、別のカメラによって生成された当該画像を取得する画像取得手段と
   してコンピュータを機能させ、
   前記対象追跡切り替え手段は、当該別のカメラによって生成された当該画像に基づく第１の対象追跡手段による当該対象の追跡が不能である又は所定の短時間後に不能になると予測された際、第２の対象追跡手段に対し、当該別のカメラによって生成された当該画像に基づき当該対象の追跡を実施させる
   ことを特徴とする対象追跡プログラム。
3. 前記対象追跡切り替え手段は、第２の対象追跡手段により、あるカメラによって生成された当該画像に基づく当該対象の追跡が実施されてきた場合に、当該あるカメラとは別のカメラによって生成された当該画像において第１の対象追跡手段による当該対象の追跡が可能となった若しくは所定の短時間後に可能になると予測された際、又は当該あるカメラによって生成された当該画像において第２の対象追跡手段による当該対象の追跡が不能となった若しくは所定の短時間後に不能になると予測された際、第１の対象追跡手段に対し、当該あるカメラとは別のカメラによって生成された当該画像に基づき当該対象の追跡を実施させることを特徴とする請求項２に記載の対象追跡プログラム。
4. 当該カメラは、それぞれ前方、右側方、左側方及び後方を撮影可能な、１つの移動体に設けられた４つのカメラであり、当該対象の特定部分は、当該対象である他の移動体に対応付けられた文字、数字、記号及び図形のうちの少なくとも１つを含む表示体であって前記他の移動体に係る情報を特定するための表示体であることを特徴とする請求項３に記載の対象追跡プログラム。
5. 第１の対象追跡手段は、後方を撮影可能な当該カメラによって生成された当該画像における当該他の移動体の前に設置された表示体の位置から、後方から接近する前記他の移動体を追跡し、
   第２の対象追跡手段は、右側方又は左側方を撮影可能な当該カメラによって生成された当該画像における前記他の移動体に係る画素情報から、接近して右側方又は左側方から追い越しをかける前記他の移動体を追跡し、
   第１の対象追跡手段は、前方を撮影可能な当該カメラによって生成された当該画像における前記他の移動体の後ろに設置された表示体の位置から、追い越しを終えて前方に現れた前記他の移動体を追跡する
   ことを特徴とする請求項４に記載の対象追跡プログラム。
6. 移動可能な対象を含み得る画像によって当該対象を追跡するコンピュータを機能させるプログラムであって、
   当該画像における当該対象の特定部分を識別可能な第１の識別器を用いて、当該対象を追跡可能な第１の対象追跡手段と、
   当該画像における当該対象に係る画素情報から当該対象を識別可能な第２の識別器を用いて、当該対象を追跡可能な第２の対象追跡手段と、
   当該画像において検出される当該対象に係るバウンディングボックスの当該画像内での位置に基づいて、当該画像における当該対象を追跡可能な第３の対象追跡手段と、
   第１の対象追跡手段による当該対象の追跡が不能となった又は所定の短時間後に不能になると予測された際、第２の対象追跡手段に対し当該対象の追跡を実施させ、第２の対象追跡手段によって当該対象の追跡が実施されてきた場合に、第２の対象追跡手段による当該対象の追跡が、当該対象の画素情報に係る領域が所定以上に小さくなったために不能となった際、第３の対象追跡手段に対し当該対象の追跡を実施させる対象追跡切り替え手段と
   してコンピュータを機能させることを特徴とする対象追跡プログラム。
7. 当該画像は、１つの移動体に設けられた前方を撮影可能なカメラによって生成され、
   第３の対象追跡手段は、当該画像において検出される他の移動体に係るバウンディングボックスの当該画像内での位置に基づいて、前記１つの移動体を追い越した後にその前方の先へ遠ざかる前記他の移動体を追跡する
   ことを特徴とする請求項６に記載の対象追跡プログラム。
8. 前記対象追跡切り替え手段は、第２の対象追跡手段によって当該対象の追跡が実施されてきた場合に、第１の対象追跡手段による当該対象の追跡が可能となった若しくは所定の短時間後に可能になると予測された際、又は第２の対象追跡手段による当該対象の追跡が不能となった若しくは所定の短時間後に不能になると予測された際、第１の対象追跡手段に対し当該対象の追跡を実施させることを特徴とする請求項１から７のいずれか１項に記載の対象追跡プログラム。
9. 移動可能な対象を含み得る画像によって当該対象を追跡する装置であって、
   当該画像における当該対象の特定部分であって、文字、数字及び記号のうちの少なくとも１つを含む特定部分を、当該文字、数字及び記号のうちの少なくとも１つを読み取ることによって識別可能な第１の識別器を用いて、当該対象を追跡可能な第１の対象追跡手段と、
   当該画像における当該対象に係る画素情報から当該対象を識別可能な、画像認識用の機械学習アルゴリズムによって構成された第２の識別器を用いて、当該対象を追跡可能な第２の対象追跡手段と、
   第１の対象追跡手段による当該対象の追跡が不能となった又は所定の短時間後に不能になると予測された際、第２の対象追跡手段に対し当該対象の追跡を実施させる対象追跡切り替え手段と
   を有することを特徴とする対象追跡装置。
10. 移動可能な対象を含み得る画像によって当該対象を追跡するコンピュータにおける対象追跡方法であって、
    当該画像における当該対象の特定部分であって、文字、数字及び記号のうちの少なくとも１つを含む特定部分を、当該文字、数字及び記号のうちの少なくとも１つを読み取ることによって識別可能な第１の識別器を用いて、当該対象を追跡するステップと、
    第１の識別器による当該対象の追跡が不能となった又は所定の短時間後に不能になると予測された際、当該画像における当該対象に係る画素情報から当該対象を識別可能な、画像認識用の機械学習アルゴリズムによって構成された第２の識別器を用いて、当該対象を追跡するステップと
    を有することを特徴とする対象追跡方法。

Images