JP7632248B2 - 車両撮影システムおよび車両撮影方法 - Google Patents

Description

本開示は、車両撮影システムおよび車両撮影方法に関する。

運転が好きなユーザは、自身の走行中の車両の外観を撮影したいという欲求を有し得る。ユーザは、撮影した画像を、たとえばソーシャル・ネットワーキング・サービス（以下、「ＳＮＳ」と記載する）に投稿（アップロード）することで多くの人に見てもらうことができる。しかし、ユーザが自身による運転中に走行中の車両の外観を撮影することは困難である。そこで、走行中の車両の外観を撮影するサービスが提案されている。

たとえば特開２０１９－１２１３１９号公報（特許文献１）は車両撮影支援装置を開示する。車両撮影支援装置は、撮影装置により撮影された画像に車両のナンバープレートのナンバーが写っている場合に、当該画像に当該車両が写っていると判定し、当該撮影をＳＮＳに投稿する。

特開２０１９－１２１３１９号公報 特開２０１９－１８００２４号公報

可動式のカメラを用いて撮影対象の車両の走行中の様子を撮影することが考えられる。車両がよく引き立つ（いわゆるＳＮＳ映えする）動画を撮影するためには、可動式のカメラをどのように移動させればよいかが課題となり得る。

本開示は上記課題を解決するためになされたものであり、本開示の目的は、車両の走行中を様子を撮影する際に、可動式のカメラを適切に移動させることである。

（１）本開示のある局面に従う車両撮影システムは、車両を撮影する第１のカメラと、車両の走行中の様子を撮影可能な可動式の第２のカメラと、第１および第２のカメラを制御するコントローラとを備える。コントローラは、第１のカメラにより撮影された画像データから車両の特徴量を抽出し、特徴量に基づいて、第２のカメラの位置、向きおよび速度のうちの少なくとも１つを制御する。

上記（１）の構成によれば、第１のカメラにより撮影された画像データから抽出され車両の特徴量を用いることによって、第２のカメラの位置および速度を当該車両に応じて決定し、第２のカメラを適切に移動させることができる。

（２）コントローラは、車両の走行位置または走行方向を特徴量として抽出し、車両の走行位置または走行方向に基づいて、第２のカメラの位置および向きのうちの少なくとも一方を制御する。

（３）コントローラは、車両のボディサイズを特徴量として抽出し、車両のボディサイズに基づいて、第２のカメラの位置および向きのうちの少なくとも一方を制御する。

（４）コントローラは、車両の走行速度を特徴量として抽出し、車両の走行速度に基づいて、第２のカメラの速度を制御する。

（５）コントローラは、車両のボディサイズ、ボディ形状またはボディ色を特徴量として抽出し、車両のボディサイズ、ボディ形状またはボディ色に基づいて、第２のカメラの速度を制御する。

（６）コントローラは、車両のボディサイズを特徴量として抽出し、車両のボディサイズに基づいて、第２のカメラのズーム倍率をさらに制御する。

（７）本開示の他の局面に従うコンピュータによる車両撮影方法は、第１および第２のステップを含む。第１のステップは、第１のカメラにより撮影された画像データから、車両の特徴量を抽出するステップである。第２のステップは、可動式の第２のカメラの位置、向きおよび速度のうちの少なくとも１つを、特徴量に基づいて制御するステップである。

上記（７）の方法によれば、上記（１）の構成と同様に、第２のカメラの位置または速度が車両の特徴量に応じて決定されるので、第２のカメラを適切に移動させることができる。

本開示によれば、車両の走行中を様子を撮影する際に、可動式のカメラを適切に移動させることができる。

本開示の実施の形態に係る車両撮影システムの全体構成を概略的に示す図である。 固定式カメラシステムの典型的なハードウェア構成を示すブロック図である。 可動式カメラシステムの典型的なハードウェア構成を示すブロック図である。 サーバの典型的なハードウェア構成を示すブロック図である。 実施の形態１における固定式カメラシステムおよび可動式カメラシステムによる車両撮影の様子を示す第１の図（斜視図）である。 実施の形態１における固定式カメラシステムおよび可動式カメラシステムによる車両撮影の様子を示す第２の図（上面図）である。 識別動画の１フレームの一例を示す図である。 鑑賞動画の１フレームの一例を示す図である。 実施の形態１における固定式カメラシステムおよび可動式カメラシステムの機能的構成を示す機能ブロック図である。 サーバの機能的構成を示す機能ブロック図である。 実施の形態１における車両の撮影処理の処理手順を示すフローチャートである。 実施の形態２における固定式カメラシステムおよび可動式カメラシステムによる車両撮影の様子を示す第１の図（斜視図）である。 実施の形態２における固定式カメラシステムおよび可動式カメラシステムによる車両撮影の様子を示す第２の図（上面図）である。 実施の形態２における固定式カメラシステムおよび可動式カメラシステムの機能的構成を示す機能ブロック図である。

以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付して、その説明は繰り返さない。

［実施の形態１］
＜システム構成＞
図１は、本開示の実施の形態１に係る車両撮影システムの全体構成を概略的に示す図である。車両撮影システム１００は、固定式カメラシステム１と、可動式カメラシステム２と、サーバ３とを備える。固定式カメラシステム１と可動式カメラシステム２とサーバ３とは、ネットワークＮＷを介して互いに通信可能に接続されている。

固定式カメラシステム１および可動式カメラシステム２は、たとえば、サーキットなどの道路近傍に設置され、当該道路を走行中の車両９（図５参照）を撮影する。図１では、固定式カメラシステム１および可動式カメラシステム２が１台ずつ示されているが、車両撮影システム１００は、２以上の固定式カメラシステム１を備えてもよいし、２以上の可動式カメラシステム２を備えてもよい。

サーバ３は、たとえば、車両撮影サービスを提供する事業者の自社サーバである。サーバ３は、クラウドサーバ管理会社が提供するクラウドサーバであってもよい。サーバ３は、固定式カメラシステム１および可動式カメラシステム２を用いて撮影された動画からユーザが鑑賞するための画像（以下、「鑑賞画像」とも記載する）を生成し、生成された鑑賞画像をユーザに提供する。鑑賞画像は、一般的には静止画であるが、短い動画であってもよい。ユーザは、多くの場合、車両９のドライバであるが、特に限定されない。

図２は、固定式カメラシステム１の典型的なハードウェア構成を示すブロック図である。固定式カメラシステム１は、コントローラ１１と、固定式カメラ１２と、通信インターフェイス（ＩＦ）１３とを備える。コントローラ１１は、プロセッサ１１１と、メモリ１１２とを含む。固定式カメラシステム１の構成要素はバス等によって互いに接続されている。

プロセッサ１１１は、固定式カメラシステム１の全体的な動作を制御する。メモリ１１２は、いずれも図示しないが、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）と、フラッシュメモリとを含む。メモリ１１２は、プロセッサ１１１により実行されるプログラム（オペレーティングシステムおよびアプリケーションプログラム）と、そのプログラムで使用されるデータ（マップ、テーブル、数式、パラメータなど）とを記憶する。また、メモリ１１２は、固定式カメラシステム１により撮影された動画を一時的に格納する。

固定式カメラ１２は、本実施の形態では、車両９に設けられたナンバープレートのナンバーを認識可能な動画（以下、「識別動画」とも記載する）を撮影する。固定式カメラ１２は、偏光レンズ付の高感度タイプのカメラであることが好ましい。

通信ＩＦ１３は、可動式カメラシステム２およびサーバ３との通信を行うためのインターフェイスである。通信ＩＦ１３は、たとえば４Ｇ（Generation）または５Ｇに準拠する通信モジュールである。

図３は、可動式カメラシステム２の典型的なハードウェア構成を示すブロック図である。可動式カメラシステム２は、固定式カメラ１２に代えて可動式カメラ２２を備える点において、固定式カメラシステム１（図２参照）と異なる。それ以外の構成は共通である。

可動式カメラ２２は、鑑賞画像の生成に用いられる動画（以下、「鑑賞動画」とも記載する）を撮影する。可動式カメラ２２も固定式カメラ１２と同様に、偏光レンズ付の高感度タイプのカメラであることが好ましい。

なお、固定式カメラ１２は、本開示に係る「第１のカメラ」に相当する。可動式カメラ２２は、本開示に係る「第２のカメラ」に相当する。「第１のカメラ」が固定式であることは一例に過ぎず、「第１のカメラ」および「第２のカメラ」の両方が可動式であってもよい。

図４は、サーバ３の典型的なハードウェア構成を示すブロック図である。サーバ３は、プロセッサ３１と、メモリ３２と、入力装置３３と、ディスプレイ３４と、通信ＩＦ３５とを備える。メモリ３２は、ＲＯＭ３２１と、ＲＡＭ３２２と、ＨＤＤ（Hard Disk Drive）３２３とを含む。サーバ３の構成要素はバス等によって互いに接続されている。

プロセッサ３１は、サーバ３における各種演算処理を実行する。メモリ３２は、プロセッサ３１により実行されるプログラムと、そのプログラムで使用されるデータとを記憶する。また、メモリ３２は、サーバ３による画像処理に使用されるデータを格納したり、サーバ３により画像処理されたデータを格納したりする。入力装置３３は、サーバ３の管理者の入力を受け付ける。入力装置３３は、典型的にはキーボード、マウスである。ディスプレイ３４は様々な情報を表示する。通信ＩＦ３５は、固定式カメラシステム１および可動式カメラシステム２との通信を行うためのインターフェイスである。

＜車両撮影の様子＞
図５は、実施の形態１における固定式カメラシステム１および可動式カメラシステム２による車両撮影の様子を示す第１の図（斜視図）である。図６は、実施の形態１における固定式カメラシステム１および可動式カメラシステム２による車両撮影の様子を示す第２の図（上面図）である。

図５および図６を参照して、実施の形態１では、固定式カメラシステム１（固定式カメラ１２）は、ナンバープレートを撮影可能な方向から識別動画を撮影する。この例では、車両９のほぼ正面から識別動画が撮影される。

可動式カメラシステム２（可動式カメラ２２）は、車両９を追従しながら、車両９がよく引き立つ（いわゆるＳＮＳ映えする）鑑賞動画を撮影する。この例では、可動式カメラシステム２はステージ８０１上に設置されている。これにより、可動式カメラシステム２は、回転可能（すなわち、撮影するアングルを変更可能）に構成されている。また、可動式カメラシステム２は、ステージ８０１上で高さを調整可能（後述するように、撮影するポジションを変更可能）に構成されている。

図７は、識別動画の１フレームの一例を示す図である。図６および図７に示すように、識別動画には複数台の車両９（９１，９２）が写る場合がある。以下、複数台車両のうち撮影対象の車両（鑑賞画像を撮影しようとしている車両）を「対象車両」と記載し、それ以外の車両から区別する。

図８は、鑑賞動画の１フレームの一例を示す図である。この例では、対象車両である車両９１は交差点を右折し、対象車両でない車両９２は交差点を直進する。可動式カメラシステム２は、車両９１の右折に伴って、撮影するポジション（垂直方向の高さ）およびアングル（水平方向に対してカメラを傾ける角度）を変更することによって、車両９が交差点を右折する様子の鑑賞動画を撮影する。

なお、鑑賞動画に関しては、対象車両（ここでは車両９１）のナンバープレートが写っていることは要求されない。しかし、対象車両のナンバープレートが鑑賞動画に写っていてもよい。

車両９（対象車両を含む）は、図５～図８に示したような四輪車に限られず、たとえば二輪車（バイク）であってもよい。二輪車のナンバープレートは後方にしか取り付けられていない。したがって、ナンバープレートを撮影できない状況が生じやすく、どの車両が対象車両かを特定しにくい。

＜機能的構成＞
図９は、実施の形態１における固定式カメラシステム１および可動式カメラシステム２の機能的構成を示す機能ブロック図である。固定式カメラシステム１は、撮影部４１と、通信部４２と、演算処理部４３とを含む。演算処理部４３は、車両抽出部４３１と、ナンバー認識部４３２と、マッチング処理部４３３と、対象車両選択部４３４と、特徴量抽出部４３５とを含む。

撮影部４１は、ナンバー認識部４３２がナンバープレートのナンバーを認識可能な識別動画を撮影する。撮影部４１は、識別動画を車両抽出部４３１に出力する。撮影部４１は、図２の固定式カメラ１２に対応する。

通信部４２は、ネットワークＮＷを介して可動式カメラシステム２の通信部５１（後述）およびサーバ３の通信部６２（後述）と双方向の通信を行う。通信部４２は、サーバ３から対象車両のナンバーを受信する。また、通信部４２は、識別動画から抽出された特徴量（後述）を可動式カメラシステム２およびサーバ３に送信する。通信部４２は図２の通信ＩＦ１３に対応する。

車両抽出部４３１は、識別動画から車両（対象車両に限らず、車両全般）を抽出する。この処理を「車両抽出処理」とも記載する。車両抽出処理には、たとえば、ディープラーニング（深層学習）などの機械学習の技術により生成された学習済みモデルを用いることができる。車両抽出部４３１は、識別動画のうち車両が抽出された動画（車両を含むフレーム）をナンバー認識部４３２に出力するとともにマッチング処理部４３３に出力する。

ナンバー認識部４３２は、車両抽出部４３１により車両が抽出された動画からナンバープレートのナンバーを認識する。この処理にもディープラーニングなどの機械学習の技術により生成された学習済みモデルを用いることができる。ナンバー認識部４３２は、認識したナンバーをマッチング処理部４３３に出力する。また、ナンバー認識部４３２は、認識したナンバーを通信部４２に出力する。これにより、各車両のナンバーがサーバ３に送信される。

マッチング処理部４３３は、車両抽出部４３１により抽出された車両と、ナンバー認識部４３２により認識されたナンバーとを対応付ける。この処理を「マッチング処理」とも記載する。具体的には、再び図７を参照して、２台の車両９１，９２が抽出され、かつ、２つのナンバー８１，８２が認識された状況を例に説明する。マッチング処理部４３３は、ナンバー毎に、ナンバーと車両との間の距離（フレーム上でのナンバーの座標と車両の座標との間の距離）を算出する。そして、マッチング処理部４３３は、ナンバーと、そのナンバーとの間の距離が短い車両とをマッチングする。この例では、ナンバー８１と車両９１との間の距離の方がナンバー８１と車両９２との間の距離よりも短いので、マッチング処理部４３３は、ナンバー８１と車両９１とを対応付ける。同様にして、マッチング処理部４３３は、ナンバー８２と車両９２とを対応付ける。マッチング処理部４３３は、マッチング処理の結果（ナンバーが対応付けられた車両）を対象車両選択部４３４に出力する。

対象車両選択部４３４は、マッチング処理によってナンバーが対応付けられた車両のなかから、ナンバーが対象車両のナンバー（サーバ３から受信したもの）に一致する車両を対象車両として選択する。対象車両選択部４３４は、対象車両として選択された車両を特徴量抽出部４３５に出力する。

特徴量抽出部４３５は、対象車両を含む動画を解析することで対象車両の特徴量を抽出する。より具体的には、特徴量抽出部４３５は、対象車両の走行状態（走行位置、走行速度、走行方向など）を抽出したり、対象車両の外観（ボディ形状、ボディ色、ボディサイズなど）を抽出したりする。また、特徴量抽出部４３５は、対象車両の特徴量を通信部４２に出力する。これにより、対象車両の特徴量が可動式カメラシステム２およびサーバ３に送信される。

可動式カメラシステム２は、通信部５１と、撮影部５２と、演算処理部５３とを含む。演算処理部５３は、撮影制御部５３１と、動画バッファ５３２と、動画切り出し部５３３とを含む。

通信部５１は、ネットワークＮＷを介して固定式カメラシステム１の通信部４２およびサーバ３の通信部６２（後述）と双方向の通信を行う。通信部５１は、固定式カメラシステム１から、識別動画から抽出された特徴量（後述）を受信する。また、通信部５１は、可動式カメラシステム２により撮影された鑑賞動画をサーバ３に送信する。通信部５１は図３の通信ＩＦ２３に対応する。

撮影部５２は、撮影制御部５３１による制御に従って、鑑賞画像の生成に用いられる鑑賞動画を撮影する。撮影部５２は、鑑賞動画を動画バッファ５３２に出力する。撮影部５２は、図３の可動式カメラ２２に対応する。

撮影制御部５３１は、撮影部５２の移動（可動式カメラ２２の位置および速度）を制御する。撮影制御部５３１は、ポジション決定部５３１Ａと、アングル決定部５３１Ｂと、回転速度決定部５３１Ｃと、サイズ調整部５３１Ｄとを含む。

ポジション決定部５３１Ａは、特徴量抽出部４３５により抽出された対象車両の走行位置、走行方向およびボディサイズに基づいて、可動式カメラ２２により対象車両を撮影するポジション（高さ）を決定する。たとえば、ポジション決定部５３１Ａは、対象車両が大型車両である場合には、対象車両が小型車両（二輪車など）である場合と比べて、ポジションを高くする。これにより、鑑賞動画中の対象車両の垂直方向の位置を適切な位置に設定できる。

アングル決定部５３１Ｂは、特徴量抽出部４３５により抽出された対象車両の走行位置、走行方向およびボディサイズに基づいて、可動式カメラ２２により対象車両を撮影するアングル（ローアングル、ハイアングルなど）を決定する。たとえば、対象車両が可動式カメラ２２の近くで曲がる場合には、アングル決定部５３１Ｂは、（低いポジションから）ローアングルを選択して迫力および臨場感がある鑑賞動画を撮影できる。一方、対象車両が可動式カメラ２２から遠ざかる方向に進行する場合には、アングル決定部５３１Ｂは、（高いポジションから）ハイアングルを選択して対象車両の走行の一連の様子を表す鑑賞動画を撮影できる。

回転速度決定部５３１Ｃは、特徴量抽出部４３５により抽出された対象車両の走行位置および走行速度に基づいて、可動式カメラ２２の回転速度を決定する。言い換えると、回転速度決定部５３１Ｃは、対象車両を追跡するように可動式カメラ２２を制御する。回転速度決定部５３１Ｃは、対象車両の走行速度を事前に取得しておくことで、対象車両の鑑賞動画が撮影可能になる初期のタイミング（対象車両が可動式カメラ２２の撮影範囲内に入ったタイミング）から適切な速度で可動式カメラ２２を回転させて対象車両を追跡できる。

回転速度決定部５３１Ｃは、特徴量抽出部４３５により抽出された対象車両の外観（ボディサイズ、ボディ形状またはボディ色など）に基づいて、可動式カメラ２２の回転速度を決定してもよい。回転速度決定部５３１Ｃは、対象車両の外観を事前に取得しておくことで、対象車両を他の車両から区別し、より正確に対象車両を追跡できる。

サイズ調整部５３１Ｄは、特徴量抽出部４３５により抽出された対象車両のボディサイズに基づいて、可動式カメラ２２により対象車両を撮影するサイズ（ズーム倍率など）を調整する。これによっても、鑑賞動画中の対象車両を適切なサイズに設定できる。

なお、撮影制御部５３１がポジション決定部５３１Ａ、アングル決定部５３１Ｂ、回転速度決定部５３１Ｃおよびサイズ調整部５３１Ｄのうちのいずれか１つだけ、いずれか２つだけ、または、いずれか３つだけを含んでもよい。つまり、撮影制御部５３１は、特徴量抽出部４３５により抽出された特徴量に基づいて、可動式カメラ２２の位置（ポジション）、向き（アングル）および速度（回転速度）のうちの１つまたは２つのみを決定してもよい。

動画バッファ５３２は、鑑賞動画を一時的に記憶する。動画バッファ５３２は、代表的にはリングバッファ（循環バッファ）であって、１次元配列の先頭と末尾とが論理的に連結された環状の記憶領域を有する。新たに撮影された鑑賞動画は、記憶領域に格納可能な所定の時間分だけ動画バッファ５３２に記憶される。当該所定の時間を超えた分の古い鑑賞動画は、動画バッファ５３２から自動的に消去される。

動画切り出し部５３３は、動画バッファ５３２に記憶された鑑賞動画から、対象車両が撮影されるタイミングを含む所定の時間幅（たとえば数秒間～数十秒間）の動画を切り出す。動画切り出し部５３３は、切り出された鑑賞動画を通信部５１に出力する。これにより、対象車両を含む鑑賞動画がサーバ３に送信される。なお、動画切り出し部５３３は、特徴量抽出部４３５により抽出された特徴量を用いて鑑賞動画中の対象動画を特定した上で、対象車両を含む鑑賞動画を切り出してもよい。

図１０は、サーバ３の機能的構成を示す機能ブロック図である。サーバ３は、記憶部６１と、通信部６２と、演算処理部６３とを含む。記憶部６１は、画像記憶部６１１と、登録情報記憶部６１２とを含む。演算処理部６３は、車両抽出部６３１と、対象車両特定部６３２と、画像加工部６３３と、アルバム作成部６３４と、ウェブサービス管理部６３５と、カメラシステム管理部６３６とを含む。

画像記憶部６１１は、サーバ３による演算処理の結果、得られる鑑賞画像を格納する。より具体的には、画像記憶部６１１は、画像加工部６３３による加工前後の画像を記憶するとともに、アルバム作成部６３４により作成されたアルバムを格納する。

登録情報記憶部６１２は、車両撮影サービスに関する登録情報を記憶している。登録情報は、車両撮影サービスの提供を申し込んだユーザの個人情報と、そのユーザの車両情報とを含む。ユーザの個人情報は、たとえば、ユーザの識別番号（ＩＤ）、氏名、生年月日、住所、電話番号、メールアドレスなどに関する情報を含む。ユーザの車両情報は、車両のナンバープレートのナンバーに関する情報を含む。車両情報は、たとえば、車種、年式、ボディ形状（セダン型、ワゴン型、ワンボックス型など）、ボディ色、ボディサイズなどに関する情報をさらに含んでもよい。

通信部６２は、ネットワークＮＷを介して固定式カメラシステム１の通信部４２および可動式カメラシステム２の通信部５１（図９参照）と双方向の通信を行う。通信部６２は、対象車両のナンバーを固定式カメラシステム１に送信する。また、通信部６２は、固定式カメラシステム１から対象車両の特徴量を受信したり、可動式カメラシステム２から対象車両を含む鑑賞動画を受信したりする。通信部４２は図４の通信ＩＦ３５に対応する。

車両抽出部６３１は、鑑賞動画から車両（対象車両に限らず、車両全般）を抽出する。この処理には、固定式カメラシステム１の車両抽出部４３１による車両抽出処理と同様に、学習済みモデルを用いることができる。車両抽出部６３１は、鑑賞動画のうち車両が抽出された動画（車両を含むフレーム）を対象車両特定部６３２に出力する。

対象車両特定部６３２は、車両抽出部６３１により抽出された車両のなかから、対象車両の特徴量（すなわち、走行位置、走行速度、走行方向などの走行状態、および、ボディ形状、ボディ色、ボディサイズなどの外観）に基づいて対象車両を特定する。この処理にもディープラーニングなどの機械学習の技術により生成された学習済みモデルを用いることができる。対象車両特定部６３２によって対象車両が特定されることで鑑賞画像が生成される。鑑賞画像は、通常は複数の画像（時間的に連続した複数のフレーム）を含む。対象車両特定部６３２は、鑑賞画像を画像加工部６３３に出力する。

画像加工部６３３は鑑賞画像を加工する。たとえば、画像加工部６３３は、複数の画像のなかから最も写真映りがよい画像（いわゆるベストショット）を選択する。そして、画像加工部６３３は、選択された画像に対して様々な画像補正（トリミング、色補正、歪み補正など）を行う。画像加工部６３３は、加工済みの鑑賞画像をアルバム作成部６３４に出力する。

アルバム作成部６３４は、加工済みの鑑賞画像を用いてアルバムを作成する。アルバム作成には公知の画像解析技術（たとえば、スマートホンで撮影された画像からフォトブック、スライドショーなどを自動で作成する技術）を用いることができる。アルバム作成部６３４は、アルバムをウェブサービス管理部６３５に出力する。

ウェブサービス管理部６３５は、アルバム作成部６３４により作成されたアルバムを用いたウェブサービス（たとえばＳＮＳに連携可能なアプリケーション）を提供する。これにより、ユーザは、作成されたアルバムを鑑賞したり、アルバム内の所望の画像をＳＮＳに投稿したりすることができる。なお、ウェブサービス管理部６３５は、サーバ３とは別のサーバに実装されてもよい。

カメラシステム管理部６３６は、固定式カメラシステム１を管理（監視および診断）する。カメラシステム管理部６３６は、管理下の固定式カメラシステム１または可動式カメラシステム２に何らかの異常（カメラ故障、通信不具合など）が発生した場合に、そのことをサーバ３の管理者に通知する。これにより、管理者が該当のカメラシステムの点検、修理などの対応を取ることができる。カメラシステム管理部６３６もウェブサービス管理部６３５と同様に、別サーバとして実装され得る。

＜処理フロー＞
図１１は、本実施の形態における車両の撮影処理の処理手順を示すフローチャートである。このフローチャートは、たとえば予め定められた条件成立時または所定の周期毎に実行される。図中、左側に固定式カメラシステム１による処理を示し、中央に可動式カメラシステム２による処理を示し、右側にサーバ３による処理を示す。各ステップは、コントローラ１１、コントローラ２１またはプロセッサ３１によるソフトウェア処理により実現されるが、ハードウェア（電気回路）により実現されてもよい。以下、ステップをＳと略す。

Ｓ１１において、固定式カメラシステム１は、識別動画に対して車両抽出処理を実行することで車両を抽出する。さらに、固定式カメラシステム１は、車両が抽出された識別動画からナンバーを認識する（Ｓ１２）。固定式カメラシステム１は、認識されたナンバーをサーバ３に送信する。

サーバ３は、固定式カメラシステム１からナンバーを受信すると、登録情報を参照することで、受信したナンバーが登録済みのナンバーであるかどうか（つまり、固定式カメラシステム１により撮影された車両が車両撮影サービスの提供を申し込んだユーザの車両（対象車両）であるかどうか）を判定する。受信したナンバーが登録済みのナンバー（対象車両のナンバー）である場合、サーバ３は、対象車両のナンバーを固定式カメラシステム１に送信するとともに、鑑賞動画を要求する（Ｓ３１）。

Ｓ１３において、固定式カメラシステム１は、認識動画における各車両と各ナンバーとのマッチング処理を実行する。そして、固定式カメラシステム１は、ナンバーが対応付けられた車両のなかから、対象車両のナンバーと同じナンバーが対応付けられた車両を対応車両として選択する（Ｓ１４）。さらに、固定式カメラシステム１は、対象車両の特徴量（走行状態および外観）を抽出し、抽出された特徴量を可動式カメラシステム２およびサーバ３に送信する（Ｓ１５）。

可動式カメラシステム２は、固定式カメラシステム１から特徴量を受信すると、可動式カメラ２２の位置（ポジション）、向き（アングル）および速度（回転速度）を決定する（Ｓ２１）。図９にて説明したように、可動式カメラシステム２は、対象車両の走行位置、走行方向、ボディサイズなどに基づいて、可動式カメラ２２により対象車両を撮影するポジションおよびアングルを決定できる。可動式カメラシステム２は、対象車両の走行位置、走行速度および／または外観に基づいて、可動式カメラ２２の回転速度を決定できる。可動式カメラシステム２は、対象車両のボディサイズに基づいて、可動式カメラ２２により対象車両を撮影するサイズ（ズーム倍率など）を調整できる。

Ｓ２２において、可動式カメラシステム２は、Ｓ２１にて決定された位置、向きおよび速度で可動式カメラ２２を制御しながら鑑賞画像を撮影する。そして、可動式カメラシステム２は、撮影された鑑賞動画のなかから対象車両を含む部分を切り出してサーバ３に送信する。

Ｓ３２において、サーバ３は、可動式カメラシステム２から受信した鑑賞動画に対して所定の処理を実行することで鑑賞画像を生成する。サーバ３による鑑賞画像生成のための処理については図１０にて詳細に説明したため、説明は繰り返さない。

以上のように、実施の形態１においては、２台のカメラシステム（固定式カメラシステム１および可動式カメラシステム２）が設けられている場合に、一方の固定式カメラシステム１により撮影された画像データ（識別動画）から抽出された特徴量に基づいて、もう一方の可動式カメラシステム２の位置（ポジション）、向き（アングル）および速度（回転速度）が決定される。固定式カメラシステム１による識別動画から抽出された特徴量を用いることによって、可動式カメラシステム２の位置、向きおよび速度を対象車両に応じて決定し、可動式カメラシステム２を適切に移動させることができる。

なお、本実施の形態では、固定式カメラシステム１と可動式カメラシステム２とが画像処理等の演算処理を分担して実行する例について説明した。この例では、固定式カメラシステム１のコントローラ１１および可動式カメラシステム２のコントローラ２１の両方が本開示に係る「コントローラ」に相当する。しかし、コントローラ１１，２１のうちのいずれか一方が演算処理を担当してもよい。また、当該演算処理の一部または全部を外部のサーバ３が担当してもよい。つまり、本開示に係る「コントローラ」の実体が固定式カメラシステム１にあるか可動式カメラシステム２にあるか外部（サーバ３）にあるかは特に限定されない。

［実施の形態２］
実施の形態１では、可動式カメラシステム２が回転可能に構成されている例について説明した。実施の形態２においては、可動式カメラシステム２が移動可能（並進可能）に構成されている例について説明する。

＜車両撮影の様子＞
図１２は、実施の形態２における固定式カメラシステム１および可動式カメラシステム２による車両撮影の様子を示す第１の図（斜視図）である。図１３は、実施の形態２における固定式カメラシステム１および可動式カメラシステム２による車両撮影の様子を示す第２の図（上面図）である。

図１２および図１３を参照して、実施の形態２でも実施の形態１と同様に、固定式カメラシステム１は、ナンバープレートを撮影可能な方向（たとえば正面方向）から識別動画を撮影する。一方、可動式カメラシステム２Ａはレール８０２上に設置されている。これにより、可動式カメラシステム２Ａは、並進可能、すなわち、レール８０２上を移動しながら車両９の真横から鑑賞動画を撮影可能に構成されている。また、可動式カメラシステム２Ａは、レール８０２上で高さ（ポジション）を調整可能に構成されている。

なお、図１２および図１３には、道路に平行な方向に延在する１本の直線状のレール８０２が示されている。しかし、レール８０２の形状および本数は、撮影しようとする鑑賞動画に応じて適宜設定される。レール８０２は、道路に交わる方向に延在していてもよい。２以上のレール８０２が設置されていてもよい。また、レール８０２の設置自体が必須ではない。可動式カメラシステム２Ａは、ラジコンカー、ドローンなどの移動体に設置されていてもよい。

＜機能的構成＞
図１４は、実施の形態１における固定式カメラシステム１および可動式カメラシステム２Ａの機能的構成を示す機能ブロック図である。固定式カメラシステム１は、実施の形態１における固定式カメラシステム１（図９参照）と同等である。可動式カメラシステム２Ａは、撮影制御部５３１に代えて撮影制御部５３４を含む点において、実施の形態１における可動式カメラシステム２と異なる。撮影制御部５３４は、ポジション決定部５３４Ａと、アングル決定部５３４Ｂと、距離決定部５３４Ｃと、移動速度決定部５３４Ｄとを含む。

ポジション決定部５３４Ａは、ポジション決定部５３１Ａと同様に、特徴量抽出部４３５により抽出された対象車両の特徴量（たとえば走行位置、走行方向およびボディサイズ）に基づいて、可動式カメラ２２により対象車両を撮影するポジション（高さ）を決定する。

アングル決定部５３４Ｂは、アングル決定部５３１Ｂと同様に、特徴量抽出部４３５により抽出された対象車両の特徴量（たとえば走行位置、走行方向およびボディサイズ）に基づいて、可動式カメラ２２により対象車両を撮影するアングル（ローアングル、ハイアングルなど）を決定する。

距離決定部５３４Ｃは、特徴量抽出部４３５により抽出された対象車両の走行位置および走行方向に基づいて、可動式カメラ２２により対象車両を撮影する距離（可動式カメラ２２から対象車両までの距離）を決定する。たとえば、対象車両の走行経路が２以上に分かれている場合（対象車両が交差点に進入する場合など）に、複数の走行経路の各々に可動式カメラ２２が設置されているときには、どの可動式カメラ２２を用いて、どのような位置から対象車両を撮影するかを決定することが求められる。距離決定部５３４Ｃは、対象車両の走行位置および走行方向に基づいて、撮影に使用する可動式カメラ２２を選択し、その可動式カメラ２２をどの位置に移動させればよいかを決定する。距離決定部５３４Ｃは、たとえば、対象車両の走行位置に近く、かつ、対象車両の走行方向に移動可能な可動式カメラ２２を選択し、その可動式カメラ２２を対象車両の走行位置（走行推定位置であってもよい）の近くへと移動させる。これにより、対象車両に対して適切な距離に存在する可動式カメラ２２を用いて対象車両を撮影できる。

移動速度決定部５３４Ｄは、特徴量抽出部４３５により抽出された対象車両の走行速度に基づいて、可動式カメラ２２の移動速度（並進速度）を決定する。言い換えると、移動速度決定部５３４Ｄは、対象車両を追跡（先導であってもよい）するように可動式カメラ２２を制御する。移動速度決定部５３４Ｄは、対象車両の走行速度を事前に取得しておくことで、対象車両の鑑賞動画が撮影可能になる初期のタイミング（対象車両が可動式カメラ２２の撮影範囲内に入ったタイミング）から適切な移動速度で可動式カメラ２２を移動させて対象車両を追跡できる。

移動速度決定部５３４Ｄは、特徴量抽出部４３５により抽出された対象車両の外観（ボディサイズ、ボディ形状またはボディ色など）に基づいて、可動式カメラ２２の移動速度を決定してもよい。移動速度決定部５３４Ｄは、対象車両の外観を事前に取得しておくことで、対象車両を他の車両から区別し、より正確に対象車両を追跡できる。

図示しないが、撮影制御部５３４がサイズ調整部（サイズ調整部５３１Ｄと同様のもの）を含んでもよい。これにより、可動式カメラ２２により対象車両を撮影するサイズ（ズーム倍率など）を調整できる。

なお、撮影制御部５３４がポジション決定部５３４Ａ、アングル決定部５３４Ｂ、距離決定部５３４Ｃおよび移動速度決定部５３４Ｄのうちのいずれか１つだけ、いずれか２つだけ、または、いずれか３つだけを含んでもよい。つまり、撮影制御部５３４は、特徴量抽出部４３５により抽出された特徴量に基づいて、可動式カメラ２２の位置（ポジション、距離）、向き（アングル）および速度（移動速度）のうちの１つまたは２つのみを決定してもよい。

実施の形態２における車両の撮影処理の処理手順を示すフローチャートは、実施の形態１における車両の撮影処理の処理手順を示すフローチャート（図１１参照）と同様であるため、詳細な説明は繰り返さない。

以上のように、実施の形態２においては、２台のカメラシステム（固定式カメラシステム１および可動式カメラシステム２Ａ）が設けられている場合に、一方の固定式カメラシステム１により撮影された画像データ（識別動画）から抽出された特徴量に基づいて、もう一方の可動式カメラシステム２Ａの位置（ポジション、距離）、向き（アングル）および速度（移動速度）が決定される。固定式カメラシステム１による識別動画から抽出された特徴量を用いることによって、可動式カメラシステム２Ａの位置、向きおよび速度を対象車両に応じて決定し、可動式カメラシステム２Ａを適切に移動させることができる。

なお、実施の形態１，２では、識別動画に対するナンバー認識によって対象車両が選択されると説明したが、対象車両の選択手法はこれに限定されない。対象車両は、対象車両の通信情報（対象車両に搭載された通信機の識別情報）に基づいて選択されてもよいし、対象車両の位置情報（ＧＰＳ（Global Positioning System）によって特定される対象車両の緯度および経度）に基づいて選択されてもよい。

今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１００ 車両撮影システム、１ 固定式カメラシステム、１１ コントローラ、１１１ プロセッサ、１１２ メモリ、１２ 固定式カメラ、１３ 通信ＩＦ、２ 可動式カメラシステム、２１ コントローラ、２１１ プロセッサ、２１２ メモリ、２２ 可動式カメラ、２３ 通信ＩＦ、３ サーバ、３１ プロセッサ、３２ メモリ、３２１ ＲＯＭ、３２２ ＲＡＭ、３２３ ＨＤＤ、３３ 入力装置、３４ ディスプレイ、３５ 通信ＩＦ、４１ 撮影部、４２ 通信部、４３ 演算処理部、４３１ 車両抽出部、４３２ ナンバー認識部、４３３ マッチング処理部、４３４ 対象車両選択部、４３５ 特徴量抽出部、５１ 通信部、５２ 撮影部、５３ 演算処理部、５３１，５３４ 撮影制御部、５３１Ａ，５３４Ａ ポジション決定部、５３１Ｂ，５３４Ｂ ポジション決定部、５３１Ｃ 回転速度決定部、５３１Ｄ サイズ調整部、５３４Ｃ 距離決定部、５３４Ｄ 移動速度決定部、５３２ 動画バッファ、５３３ 動画切り出し部、６１ 記憶部、６１１ 画像記憶部、６１２ 登録情報記憶部、６２ 通信部、６３ 演算処理部、６３１ 車両抽出部、６３２ 対象車両特定部、６３３ 画像加工部、６３４ アルバム作成部、６３５ ウェブサービス管理部、６３６ カメラシステム管理部、８０１ ステージ、８０２ レール、８１，８２ ナンバー、９，９１，９２ 車両、ＮＷ ネットワーク。

Claims (7)

1. 車両を撮影する第１のカメラと、
   前記車両の走行中の様子を撮影可能な可動式の第２のカメラと、
   前記第１および第２のカメラを制御するコントローラとを備え、
   前記コントローラは、
   前記第１のカメラにより撮影された画像データから、前記車両の走行位置および走行方向を含む前記車両の特徴量を抽出し、
   前記車両の走行位置および走行方向に基づいて、前記第２のカメラの位置および向きを制御し、
   前記第２のカメラの位置は、ハイポジションおよびローポジションを含み、
   前記第２のカメラの向きは、ハイアングルおよびローアングルを含み、
   前記コントローラは、
   前記車両が前記第２のカメラの近くで曲がる場合には、前記ローポジションおよび前記ローアングルを選択する一方で、
   前記車両が前記第２のカメラから遠ざかる方向に進行する場合には、前記ハイポジションおよび前記ハイアングルを選択する、車両撮影システム。
2. 前記コントローラは、
   前記車両のボディサイズを前記特徴量としてさらに抽出し、
   前記車両のボディサイズに基づいて、前記第２のカメラの位置および向きのうちの少なくとも一方を制御する、請求項１に記載の車両撮影システム。
3. 前記第２のカメラは、レール上を並進可能に構成され、
   前記コントローラは、
   前記車両の走行速度を前記特徴量としてさらに抽出し、
   前記車両の走行速度に基づいて、前記第２のカメラの並進速度を制御する、請求項１に記載の車両撮影システム。
4. 前記車両撮影システムは、前記第２のカメラを複数備え、
   前記複数の第２のカメラは、
   前記車両の走行方向に移動可能であり、かつ、前記車両の走行位置に近いカメラと、
   前記車両の走行方向に移動可能であり、かつ、前記近いカメラと比べて、前記車両の走行位置から遠いカメラとを含み、
   前記コントローラは、前記近いカメラおよび前記遠いカメラのうち、前記近いカメラが前記車両の走行位置に近付くように、前記近いカメラを制御する、請求項３に記載の車両撮影システム。
5. 前記コントローラは、
   前記車両のボディサイズ、ボディ形状またはボディ色を前記特徴量としてさらに抽出し、
   前記車両のボディサイズ、ボディ形状またはボディ色に基づいて、前記第２のカメラの速度を制御する、請求項１に記載の車両撮影システム。
6. 前記コントローラは、
   前記車両のボディサイズを前記特徴量としてさらに抽出し、
   前記車両のボディサイズに基づいて、前記第２のカメラのズーム倍率をさらに制御する、請求項１に記載の車両撮影システム。
7. コンピュータによる車両撮影方法であって、
   第１のカメラにより撮影された画像データから、車両の走行位置および走行方向を含む前記車両の特徴量を抽出するステップと、
   可動式の第２のカメラの位置および向きを、前記車両の走行位置および走行方向に基づいて制御するステップとを含み、
   前記第２のカメラの位置は、ハイポジションおよびローポジションを含み、
   前記第２のカメラの向きは、ハイアングルおよびローアングルを含み、
   前記制御するステップは、
   前記車両が前記第２のカメラの近くで曲がる場合には、前記ローポジションおよび前記ローアングルを選択するステップと、
   前記車両が前記第２のカメラから遠ざかる方向に進行する場合には、前記ハイポジションおよび前記ハイアングルを選択するステップとを含む、車両撮影方法。

Images