JP2021190801A - 記録制御装置、および記録システム - Google Patents

Abstract

【課題】映像を適切に保存すること。【解決手段】記録制御装置は、車両に設置されたカメラが撮影した少なくとも車外を撮影した撮影データを取得する撮影データ取得部と、車両の走行経路における流行情報を取得する流行情報取得部と、撮影データに関連付けられた位置情報と、流行情報に含まれる被写体の位置情報とに基づいて、撮影データから被写体を含むハイライトを検出する検出部と、ハイライトに関するハイライトデータと位置情報とを関連付けて記録部に記録する記録制御部と、を備える。【選択図】図２

Description

本発明は、記録制御装置、および記録システムに関する。

車両で旅行などをする場合に、ドライブレコーダなどの端末装置を用いて車外または車内の画像を撮像して、思い出を画像で記録する技術がある。

例えば、特許文献１には、旅の思い出などを比較的容易にユーザに振り返らせることができる技術が開示されている。

特開２０１９−８６３７２号公報

車両で旅行などをする際に、車外の景色や、車内の盛り上がりの様子は、刻々と変化する。そのため、楽しい思い出を適切に残せるように、旅行などの所定の期間において、盛り上がったシーンをハイライトとして検出し、ハイライトの映像をまとめて保存することのできる技術が望まれている。

本発明は、映像を適切に保存することのできる記録制御装置、および記録システムを提供することを目的とする。

本発明の一態様に係る記録制御装置は、車両に設置されたカメラが撮影した少なくとも車外を撮影した撮影データを取得する撮影データ取得部と、前記車両の走行経路における流行情報を取得する流行情報取得部と、前記撮影データに関連付けられた位置情報と、前記流行情報に含まれる被写体の位置情報とに基づいて、前記撮影データから前記被写体を含むハイライトを検出する検出部と、前記ハイライトに関するハイライトデータと位置情報とを関連付けて記録部に記録する記録制御部と、を備える。

本発明の一態様に係る記録システムは、本発明の一態様に係る記録制御装置と、ハイライトデータに対するユーザからの評価を受け付ける端末装置と、を含む。

本発明によれば、映像を適切に保存することができる。

図１は、実施形態に係る記録システムの構成を説明するための図である。 図２は、実施形態に係る記録装置の構成の一例を示すブロック図である。 図３は、実施形態に係るサーバ装置の構成の一例を示すブロック図である。 図４は、ユーザ端末の構成の一例を示すブロック図である。 図５は、実施形態に係る記録制御装置の処理の流れの一例を示すフローチャートである。 図６は、記録部に一時的に記録されている撮影データを説明するための図である。 図７は、一時的に記録されている撮影データからハイライトデータを検出する方法を説明するための図である。 図８は、実施形態の変形例に係る記録制御装置の処理の流れの一例を示すフローチャートである。 図９は、ハイライトを検出する方法を説明するための図である。 図１０は、タイムラプス画像を生成する方法を説明するための図である。 図１１は、実施形態に係るハイライトを検出する条件を調整する処理の流れを示すフローチャートである。

以下、添付図面を参照して、本発明に係る実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではなく、また、実施形態が複数ある場合には、各実施形態を組み合わせて構成するものも含む。また、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

［記録システム］
図１を用いて、実施形態に係る記録システムの構成について説明する。図１は、実施形態に係る記録システムの構成を説明するための図である。

図１に示すように、記録システム１は、記録装置１０と、サーバ装置２０と、を含む。記録装置１０と、サーバ装置２０と、ユーザ端末３０とは、例えば、無線のネットワークＮＷを介して、通信可能に接続されている。

記録装置１０は、ユーザの車両に搭載される。記録装置１０は、車両の車室内および車両の車外の様子を撮影し、撮影した撮影データを記録する。記録装置１０は、車両の車室内の乗員の盛り上がりなどをハイライトとして検出し、検出されたハイライトに関するハイライトデータを生成し、そのハイライトデータを、ネットワークＮＷを介して、サーバ装置２０に記録する。ハイライトデータは、静止画データであってもよいし、動画データであってもよい。記録装置１０は、例えば、ドライブレコーダである。

サーバ装置２０は、記録装置１０から受け付けたハイライトデータを記録する。サーバ装置２０は、ハイライトデータに対する評価に関する評価情報を、ユーザから受け付ける。サーバ装置２０は、ユーザから受け付けた評価情報を記録装置１０に送信する。サーバ装置２０は、例えば、ＰＣ（Personal Computer）である。

ユーザ端末３０は、ユーザの所有する端末装置である。ユーザは、ユーザ端末３０によりサーバ装置２０に記録されたハイライトデータを視聴することができる。ユーザは、ユーザ端末３０によりサーバ装置２０に記録されたハイライトデータを評価し、その評価結果をサーバ装置２０に送信することができる。ユーザ端末３０は、スマートフォン、ＰＣ、タブレット端末などが例示されるが、これに限定されない。

［記録装置］
図２を用いて、実施形態に係る記録装置の構成について説明する。図２は、実施形態に係る記録装置の構成の一例を示すブロック図である。

図２に示すように、記録装置１０は、カメラ１１、記録部１２と、表示部１３と、操作部１４と、ＧＮＳＳ（Global Navigation Satellite System）信号受信部１５と、通信部１６と、ＣＡＮ（Controller Area Network）インターフェース部１７と、制御部（記録制御装置）１００とを備える。

カメラ１１は、車室内および車外を撮影する。カメラ１１は、車外の風景を撮影する。カメラ１１は、車室内の乗員を撮影する。カメラ１１は、例えば、車両を中心に全周囲方向の映像を撮影する。カメラ１１は、車両を中心に全周囲方向を撮影するように、車室内に配置されている。カメラ１１は、例えば、車両を中心に全周囲方向を撮影する全天周カメラで構成される。カメラ１１は、複数のカメラで構成されてもよい。カメラ１１は、例えば、車両の前方を撮影する前方カメラ、後方を撮影する後方カメラ、左側方を撮影する左側方カメラ、右側方を撮像する右側方カメラで構成されてもよい。カメラ１１は、撮影した撮影データを撮影データ取得部１２０に出力する。カメラ１１は、光学系と、ＣＣＤ（Charge Coupled Device）イメージセンサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子とを有する。カメラ１１は、ＦＩＲ（Far Infrared）カメラまたはＩＲ（Infrared）カメラで構成されてもよい。

記録部１２は、各種のデータを記録する。記録部１２は、撮影データを一時的に記録する。一時的に記録される撮影データは、一時記録データとも呼ばれる。記録部１２は、例えば、撮影データがファイル化されたループ記録データを記録する。一つのファイルの記録時間は、例えば、５秒であるがこれに限定されない。例えば、一つのファイルの記録時間は、１０秒でもよいし、６０秒でもよい。一つのファイルの記録時間は、ユーザの任意に設定してもよい。記録部１２は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリなどの半導体メモリ素子、またはハードディスク、ソリッドステートドライブなどの記憶装置で実現することができる。記録部１２は、例えば、ＳＤ（Secure Digital）カードメモリなどのユーザが持ち運び可能な記録媒体であってもよい。

表示部１３は、種々の映像を表示する。表示部１３は、例えば、記録部１２が記録している撮影データを表示する。表示部１３は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどを含むディスプレイである。

操作部１４は、記録装置１０に対する種々の操作を受け付ける。操作部１４は、例えば、記録部１２に記録された撮影データからハイライトに関するハイライトデータを生成させるための操作を受け付ける。操作部１４は、受け付けた操作に応じた操作信号を操作制御部１２３に出力する。操作部１４は、例えば、物理的なスイッチや、表示部１３に設けられたタッチパネルで実現することができる。

ＧＮＳＳ信号受信部１５は、ＧＮＳＳ衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機などで構成される。ＧＮＳＳ信号受信部１５は、受信したＧＮＳＳ信号を位置情報取得部１２４に出力する。

通信部１６は、外部の装置との間で信号を入出力する通信回路である。通信部１６は、サーバ装置２０との間で情報の送受信を行う。

ＣＡＮインターフェース部１７は、ＣＡＮを介して各種の車両情報を取得するためのインターフェースである。車両情報は、例えば、車両が走行しているか、車両が停車しているか否かに関する情報を含む。ＣＡＮインターフェース部１７は、取得した車両情報を車両情報取得部１２６に出力する。

制御部１００は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、図示しない記憶部に記憶されたプログラム（例えば、本開示に係るプログラム）がＲＡＭ等を作業領域として実行されることにより実現される。また、制御部１００は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。制御部１００は、ソフトウェアと、ハードウェアとの組み合わせで実現されてもよい。

制御部１００は、撮影データ取得部１２０と、記録制御部１２１と、表示制御部１２２と、操作制御部１２３と、位置情報取得部１２４と、通信制御部１２５と、車両情報取得部１２６と、流行情報取得部１２７、人物認識部１２８と、景色認識部１２９と、判定部１３０と、検出部１３１と、検出条件調整部１３２と、を備える。撮影データ取得部１２０と、記録制御部１２１と、表示制御部１２２と、操作制御部１２３と、位置情報取得部１２４と、通信制御部１２５と、車両情報取得部１２６と、人物認識部１２８と、景色認識部１２９と、判定部１３０と、検出部１３１と、検出条件調整部１３２とは、バス１１０を介して、互いに接続されている。

撮影データ取得部１２０は、外部から各種の撮影データを取得する。撮影データ取得部１２０は、例えば、カメラ１１から車両の車外または車室内を撮影した撮影データを取得する。撮影データ取得部１２０は、撮影データに加えて、カメラ１１または他の位置に配置された図示しないマイクロフォンが取得した音声データを含んだ撮影データを取得してもよい。

記録制御部１２１は、種々のデータを記録部１２に保存する。記録制御部１２１は、例えば、撮影データをファイル化し、ループ記録データとして記録部１２に一時的に記録させる制御を行う。記録制御部１２１は、位置情報取得部１２４で取得された車両の位置情報をループ記録データに関連付けて、記録部１２に記録する。車両の位置情報は、撮影データのファイルと多重化する形で関連付けてもよい。記録制御部１２１は、ループ記録データのうち、ハイライトデータを、記録部１２に記録する。記録制御部１２１は、通信部１６を介して、ハイライトデータをサーバ装置２０の記録部２２に記録する制御を行ってもよい。

表示制御部１２２は、種々の映像を表示部１３に表示させる。表示制御部１２２は、表示部１３に映像信号を出力することで、表示部１３に映像を表示させる。表示制御部１２２は、例えば、記録部１２に記録されている撮影データまたは上書き禁止記録データに関する映像信号を表示部１３に出力することで、表示部１３に映像を表示させる。

操作制御部１２３は、操作部１４からユーザなどから受け付けた操作に関する操作信号を受け付ける。操作制御部１２３は、例えば、撮影データからハイライトを検出するための操作信号を受け付ける。操作制御部１２３は、受け付けた操作信号に応じた制御信号を人物認識部１２８、景色認識部１２９、判定部１３０、および検出部１３１に出力する。

位置情報取得部１２４は、ＧＮＳＳ信号受信部１５からＧＮＳＳ信号を取得する。位置情報取得部２４は、ＧＮＳＳ信号に基づいて、車両の現在位置を算出する。位置情報取得部１２４は、車両の現在位置として、例えば、緯度と経度で指定される座標や高度、移動方向などを算出する。

通信制御部１２５は、通信部１６を介した通信を制御する。通信制御部１２５は、通信部１６を介してサーバ装置２０と通信を行う。

車両情報取得部１２６は、ＣＡＮインターフェース部１７から車両情報を取得する。車両情報は、車速に関する情報を含む。すなわち、車両情報取得部１２６は、車速に関する情報を取得する。車両情報取得部１２６は、車両情報から車両のエンジンなどの動力がオフとなったこと、アクセサリ電源がオフとなったこと、パーキングブレーキが選択されたことを示す情報を取得する。すなわち、車両情報取得部１２６は、車両情報に基づいて、走行しているか否かを判定したり、車両が停止しているか否かを判定したりする。

流行情報取得部１２７は、流行に関する流行情報を取得する。流行情報取得部１２７は、カメラ１１が撮影した撮影データの位置に関する流行情報を取得する。流行情報取得部１２７は、例えば、ＳＮＳ（Social Network Service）などから流行情報を取得する。流行情報取得部１２７は、例えば、ＳＮＳから所定数以上の投稿数があるスポット、所定数以上の高評価を得たスポット、閲覧数が急上昇しているスポットなどを流行情報として取得する。スポットには、例えば、レストラン、商品の販売店、名所、史跡、観光地、公共施設、宿泊施設などが含まれ得るが、これに限定されない。スポットには、例えば、ＳＮＳで話題となっている場所であってもよい。流行情報取得部１２７は、流行情報を文字、静止画、動画などの各種の形式で取得してもよい。流行情報取得部１２７は、例えば、観光に関する観光情報を発信するｗｅｂサイトなどから流行情報を取得してもよい。

人物認識部１２８は、撮影データ取得部１２０が取得した車室内の撮影データから車両の乗員を認識する。人物認識部１２８は、撮影データに画像処理を実行し、乗員の状態を認識する。人物認識部１２８は、例えば、乗員の輪郭を認識する。人物認識部１２８は、乗員の輪郭から、乗員の顔の向き、視線の方向、姿勢、および顔の表情などを認識する。人物認識部１２８による認識方法は、周知の認識処理の技術を用いればよく、特に限定されない。例えば、人物認識部１２８は、図示しない辞書データを用いて、乗員の各種の状態を認識してもよい。人物認識部１２８は、認識結果を判定部１３０に出力する。

人物認識部１２８は、撮影データから乗員が盛り上がっている状態を認識する。具体的には、人物認識部１２８は、撮影データから乗員が盛り上がっている表情を認識する。例えば、人物認識部１２８は、乗員の驚いている表情、笑っている表情、および微笑んでいる表情などを認識する。この場合、人物認識部１２８は、乗員の目の輪郭、口の輪郭などに基づいて、各表情を認識する。例えば、人物認識部１２８は、乗員の口の開き具合を認識し、乗員が歌っていることを認識してもよい。例えば、人物認識部１２８は、車室内の子供の表情、例えば、笑顔などを認識してもよい。

人物認識部１２８は、撮影データに音声が含まれている場合には、撮影データの音声に基づいて、乗員が盛り上がっていることを認識してもよい。人物認識部１２８は、例えば、大きな声、驚いた声、笑い声などの認識することで、乗員が盛り上がっていることを認識してもよい。

人物認識部１２８は、カメラ１１がＦＩＲカメラおよびＩＲカメラなどで構成されている場合には、ＦＩＲカメラおよびＩＲカメラによる測定結果に基づいて、車両の乗員が盛り上がっている状態を認識してもよい。この場合、人物認識部１２８は、乗員の体温、および心拍数などに基づいて、車両の乗員が盛り上がっている状態を認識してもよい。人物認識部１２８は、例えば、その他の図示しない生体センサが取得した乗員の各種の生体情報に基づいて、状態を認識してもよい。

景色認識部１２９は、撮影データ取得部１２０が取得した車外の撮影データから車外の景色を認識する。景色認識部１２９は、撮影データに画像処理を実行し、車外の風景を認識する。景色認識部１２９は、例えば、図示しない辞書データに基づいて、車外の建築物、動物、植物、山などの自然の景観を認識する。景色認識部１２９は、例えば、撮影データの輝度情報などに基づいて、海岸、夕焼け、星空などを認識してもよい。景色認識部１２９による認識方法は、周知の認識処理の技術を用いればよく、特に限定されない。景色認識部１２９は、認識結果を判定部１３０に出力する。

景色認識部１２９は、位置情報取得部１２４が取得した現在の位置情報に基づいて車外の景色を認識してもよい。例えば、景色認識部１２９は、現在の位置情報に基づいて、観光スポットであることを認識してもよい。例えば、景色認識部１２９は、現在の位置情報と、撮影データとに基づいて、観光名所を認識してもよい。例えば、景色認識部１２９は、ＳＮＳなどから現在位置の周辺に関する情報を取得し、現在の位置の周辺に存在する、世間で話題となっている店舗（例えば、レストラン）やスポットを認識してもよい。

判定部１３０は、人物認識部１２８による認識結果と、景色認識部１２９による認識結果との少なくとも一方に基づいて、周辺情報を判定する。周辺情報は、車両の車外の景色と、車室内の様子とを含む情報を意味する。判定部１３０は、人物認識部１２８による認識結果と、景色認識部１２９による認識結果との少なくとも一方に基づいて、周辺情報が変化したか否かを判定する。

判定部１３０は、例えば、人物認識部１２８により車両の乗員が盛り上がっていると認識された場合に、周辺情報が変化したと判定する。判定部１３０は、人物認識部１２８により車両の乗員が盛り上がっていると認識された場合に、周辺情報の変化として、盛り上がりの度合いを判定してもよい。例えば、判定部１３０は、乗員のうち、盛り上がっている人数に基づいて、盛り上がりの度合いを判定してもよい。判定部１３０は、盛り上がっている人数が多いほど、盛り上がりの度合いが高いと判定する。例えば、判定部１３０は、乗員のうち、盛り上がっている人数の割合に基づいて、盛り上がりの度合いを判定してもよい。判定部１３０は、盛り上がっている人数の割合が高いほど、盛り上がりの度合いが高いと判定する。判定部１３０は、例えば、乗員の声の大きさに基づいて、盛り上がりの度合いを判定してもよい。

判定部１３０は、例えば、景色認識部１２９により車外に建築物、動物、植物、山などの自然の景観が認識された場合に、周辺情報が変化したと判定する。例えば、判定部１３０は、車両の走行中に景色認識部１２９により動物が認識された場合に、周辺情報が変化したと判定する。判定部１３０は、例えば、車両の走行中に海岸、夕焼け、星空などが認識された場合に、周辺情報が変化したと判定する。判定部１３０は、例えば、景色認識部１２９により観光スポット、観光名所、世間で話題となっている店舗やスポットが認識された場合に、周辺情報が変化したと判定する。判定部１３０は、例えば、位置情報取得部１２４が取得した位置情報と、外部から取得した地図情報とに基づいて、車外が撮影スポットである場合に周辺情報が変化したと判定する。

検出部１３１は、撮影データ取得部１２０が取得した撮影データと、流行情報取得部１２７が取得した流行情報に基づいて、撮影データに含まれるハイライトを検出する。具体的には、検出部１３１は、撮影データに関連付けられた位置情報と、流行情報に含まれる各スポットの位置情報に基づいて、ハイライトを検出する。検出部１３１は、判定部１３０による判定結果に基づいて、撮影データに含まれるハイライトを検出する。ハイライトは、ユーザにとって旅の思い出として記録する価値の高いシーンを意味する。検出部１３１は、判定部１３０が周辺情報の変化を検出したとき、周辺情報の変化をハイライトとして検出する。

検出部１３１は、例えば、判定部１３０が、車室内が盛り上がっていると判定した場合、盛り上がっている様子が分かる車室内の撮影データをハイライトとして検出する。検出部１３１は、例えば、判定部１３０が、車室内が所定以上盛り上がっていると判定した場合にのみ、撮影データから車室内の盛り上がりをハイライトとして検出してもよい。

検出条件調整部１３２は、流行情報取得部１２７が流行情報を取得する検出条件を調整する。検出条件調整部１３２は、通信部１６を介して入力されたユーザの評価に基づいて、流行情報を取得する検出条件を調整する。検出条件調整部１３２は、例えば、流行情報に基づいて検出されたハイライトデータに対するユーザの評価が高かった場合には、その流行情報に含まれている被写体を流行情報として引き続き検出されるように維持する。検出条件調整部１３２は、例えば、流行情報に基づいて検出されたハイライトデータに対するユーザの評価が低かった場合には、その流行情報に含まれている被写体を流行情報として検出され難くなるように調整する。

［サーバ装置］
図３を用いて、実施形態に係るサーバ装置の構成について説明する。図３は、実施形態に係るサーバ装置の構成の一例を示すブロック図である。

図３に示すように、サーバ装置２０は、通信部２１と、記録部２２と、制御部２３と、を備える。

通信部２１は、外部の装置との間で信号を入出力する通信回路である。通信部２１は、記録装置１０およびユーザ端末３０との間で情報の送受信を行う。

記録部２２は、各種のデータを記録する。記録部２２は、記録装置１０から受信したハイライトデータを記録する。すなわち、記録部２２は、流行情報を含むハイライトデータを記録する。記録部２２は、例えば、ＲＡＭ、フラッシュメモリなどの半導体メモリ素子、またはハードディスク、ソリッドステートドライブなどの記憶装置で実現することができる。

制御部２３は、例えば、ＣＰＵやＭＰＵ等によって、図示しない記憶部に記録されたプログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部２３は、コントローラであり、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されてもよい。制御部２３は、ソフトウェアと、ハードウェアとの組み合わせで実現されてもよい。

制御部２３は、通信制御部２３１と、記録制御部２３２と、評価受付部２３３と、を備える。

通信制御部２３１は、通信部２１を介した通信を制御する。通信制御部２３１は、通信部２１を介して記録装置１０およびユーザ端末３０と通信を行う。

記録制御部２３２は、各種のデータを記録部２２に記録する。記録制御部２３２は、記録装置１０から受信したハイライトデータを記録部２２に記録する。

評価受付部２３３は、ユーザ端末３０から通信部２１を介してハイライトデータに対する評価を受け付ける。評価受付部２３３は、ユーザ端末からハイライトデータに対する高評価および低評価を受け付ける。評価受付部２３３は、ハイライトデータに対する評価を記録装置１０に出力する。

［ユーザ端末］
図４を用いて、実施形態に係るユーザ端末の構成について説明する。図４は、ユーザ端末の構成の一例を示すブロック図である。

図４に示すように、ユーザ端末３０は、通信部３１と、操作部３２と、出力部３３と、表示部３４と、記録部３５と、制御部３６と、を備える。

通信部３１は、外部の装置との間で信号を入出力する通信回路である。通信部３１は、サーバ装置２０との間で情報の送受信を行う。通信部３１は、ＳＮＳとの間で情報の送受信を行う。

操作部３２は、ユーザ端末３０に対する種々の操作を受け付ける。操作部３２は、例えば、サーバ装置２０に保存されているハイライトデータを再生するための操作を受け付ける。操作部３２は、再生されたハイライトデータに対する評価を入力した操作を受け付ける。操作部３２は、サーバ装置２０から受信したハイライトデータをＳＮＳに送信するための操作を受け付ける。例えば、ユーザは、操作部３２を操作して、再生されたハイライトデータに対して高評価および低評価などを受け付ける。操作部３２は、受け付けた操作に応じた操作信号を操作制御部３６２に出力する。操作部３２は、例えば、物理的なスイッチや、表示部３４に設けられたタッチパネルで実現することができる。

出力部３３は、各種の情報を出力する。出力部３３は、音声を出力する。出力部３３は、例えば、再生されたハイライトデータの音声を出力する。出力部３３は、例えば、スピーカで実現することができる。

表示部３４は、種々の映像を表示する。表示部３４は、例えば、再生されたハイライトデータを表示する。表示部３４は、例えば、液晶ディスプレイまたは有機ＥＬディスプレイなどを含むディスプレイである。

記録部３５は、各種のデータを記録する。記録部３５は、例えば、サーバ装置２０から受信したハイライトデータを記録してもよい。記録部３５は、例えば、ＲＡＭ、フラッシュメモリなどの半導体メモリ素子、またはハードディスク、ソリッドステートドライブなどの記憶装置で実現することができる。

制御部３６は、例えば、ＣＰＵやＭＰＵ等によって、図示しない記憶部に記録されたプログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部２３は、コントローラであり、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されてもよい。制御部２３は、ソフトウェアと、ハードウェアとの組み合わせで実現されてもよい。

制御部３６は、通信制御部３６１と、操作制御部３６２と、出力制御部３６３と、表示制御部３６４と、記録制御部３６５と、を備える。

通信制御部３６１は、通信部３１を介した通信を制御する。通信制御部３６１は、通信部３１を介してサーバ装置２０と通信を行う。

操作制御部３６２は、操作部３２からユーザなどから受け付けた操作に関する操作信号を受け付ける。操作制御部３６２は、例えば、操作部３２からハイライトデータを再生させるための操作信号を受け付ける。操作制御部３６２は、例えば、操作部３２からハイライトデータに対する評価を入力した操作信号を受け付ける。

出力制御部３６３は、出力部３３への音声の出力を制御する。出力制御部３６３は、例えば、制御信号を出力部３３に出力することで、ハイライトデータの音声を出力部３３から出力させる。

表示制御部３６４は、表示部３４の表示を制御する。表示制御部３６４は、例えば、制御信号を表示部３４に出力することで、ハイライトデータの映像を表示部３４に表示させる。

記録制御部３６５は、各種のデータを記録部３５に記録する。記録制御部３６５は、例えば、サーバ装置２０から受信したハイライトデータを記録部３５に記録する。

［記録制御装置の処理］
図５を用いて、実施形態に係る記録制御装置の処理について説明する。図５は、実施形態に係る記録制御装置の処理の流れの一例を示すフローチャートである。

制御部１００は、操作情報を受け付ける（ステップＳ１００）。具体的には、操作制御部１２３は、ハイライトを検出する所定期間を指定するための操作信号を受け付ける。例えば、操作制御部１２３は、今日一日のハイライトを検出するための操作信号や、旅行をしていた所定期間のハイライトを検出するための操作信号を受け付ける。そして、ステップＳ１１０に進む。

制御部１００は、一時記録データを取得する（ステップＳ１１０）。具体的には、記録制御部１２１は、ステップＳ１００で指定された期間の一時的に記録されている撮影データを記録部１２から取得する。そして、ステップＳ１２０に進む。

図６は、記録部１２に一時的に記録されている撮影データを説明するための図である。図６に示すように、撮影データは、データファイルＤ１、データファイルＤ２、データファイルＤ３、データファイルＤ４、データファイルＤ５、・・・、といったように撮影データをファイル化して記録部１２に一時記録データとしてループ記録している。記録制御部１２１は、指定された期間に応じた期間のデータファイルを記録部１２から取得する。

制御部１００は、流行情報を取得する（ステップＳ１２０）。具体的には、流行情報取得部１２７は、ＳＮＳなどから車両の走行経路（位置情報）に対応する流行情報を取得する。そして、ステップＳ１３０に進む。

制御部１００は、一時記録データからハイライトを検出する（ステップＳ１３０）。具体的には、検出部１３１は、流行情報に基づいて、一時記録データからハイライトを含むハイライトデータを検出する。流行情報に基づくハイライトデータは車外を撮影した撮影データからなるが、検出部１３１で車室内の盛り上がりを検出した場合、盛り上がっている様子が分かる車室内の撮影データをハイライトデータに含めてもよい。そして、ステップＳ１４０に進む。

図７は、一時的に記録されている撮影データからハイライトデータを検出する方法を説明するための図である。図７に示すように、撮影データは、データファイルＤ１１、データファイルＤ１２、データファイルＤ１３、データファイルＤ１４、データファイルＤ１５、・・・、を含むとする。例えば、流行情報取得部１２７は、車両の走行経路における流行情報として「レストランＡ」と、ＳＮＳで話題となっている「地点Ｂ」を取得したとする。この際、流行情報取得部１２７は、「レストランＡ」と、「地点Ｂ」との位置情報を取得する。この場合、検出部１３１は、「レストランＡ」の位置情報が関連付けられているデータファイルＤ１１と、「地点Ｂ」の位置情報が関連付けられているデータファイルＤ１３とをハイライトデータとして検出する。これにより、「レストランＡ」と、「地点Ｂ」とを含むデータファイルをハイライトデータとして検出することができる。

制御部１００は、検出されたハイライトを記録する（ステップＳ１４０）。具体的には、記録制御部１２１は、検出部１３１によって検出されたハイライトデータを記録部１２またはサーバ装置２０の記録部２２に記録する。そして、ステップＳ１５０に進む。

制御部１００は、処理を終了するか否かを判定する（ステップＳ１５０）。制御部１００は、例えば、処理を終了する旨の操作を受け付けた場合や、電源がオフとなった場合に処理を終了すると判定する。処理を終了すると判定された場合（ステップＳ１５０；Ｙｅｓ）、図５の処理を終了する。処理を終了しないと判定された場合（ステップＳ１５０；Ｎｏ）、ステップＳ１００に進む。

上述のとおり、本実施形態では、流行情報を取得し流行情報に含まれる被写体を含む撮影データをハイライトデータとして記録することができる。これにより、本実施形態は、世間で流行しているレストランなどの映像を自動的に検出することができる。その結果、ユーザは、世間で流行しているものや自分の知らない流行に触れることができる。

［変形例］
次に、実施形態に係る変形例について説明する。上述した実施形態では、撮影データの位置情報と、流行情報の位置情報とに基づいてハイライトを検出していたが、本発明はこれに限定されない。本発明は、例えば、位置情報と関連付けられたハイライトデータを記録している場合には、その位置を車両で通過した際の撮影データをハイライトとして検出、記録してもよい。

図８を用いて、実施形態の変形例に係る記録制御装置の処理について説明する。図８は、実施形態の変形例に係る記録制御装置の処理の流れの一例を示すフローチャートである。

ステップＳ２００およびステップＳ２１０の処理は、ぞれぞれ、図５に図示のステップＳ１００およびステップＳ１１０と同一の処理なので、説明を省略する。

制御部１００は、位置情報が関連付けられたハイライトデータが記録されているか否かを判定する（ステップＳ２２０）。具体的には、検出部１３１は、サーバ装置２０の記録部２２に位置情報が関連付けられたハイライトデータが記録されているか否かを判定する。位置情報が関連付けられたハイライトデータが記録されていると判定された場合（ステップＳ２２０；Ｙｅｓ）、ステップＳ２３０に進む。位置情報が関連付けられたハイライトデータが記録されていないと判定された場合（ステップＳ２２０；Ｎｏ）、ステップＳ２５０に進む。

ステップＳ２２０でＹｅｓと判定された場合、制御部１００は、位置情報に基づいて、ハイライトを検出する（ステップＳ２３０）。具体的には、検出部１３１は、サーバ装置２０の記録部２２にハイライトデータと位置情報とが関連付けて記録されている場合には、車両がハイライトを検出した地点を通過した際の撮影データをハイライトとして検出する。そして、ステップＳ２４０に進む。

図９は、検出部１３１が位置情報に基づいて、ハイライトを検出する方法を説明するための図である。図９に示すように、撮影データは、データファイルＤ２１、データファイルＤ２２、データファイルＤ２３、データファイルＤ２４、データファイルＤ２５、・・・、を含むとする。例えば、サーバ装置２０の記録部２２には、「地点Ｃ」のハイライトデータが位置情報と関連付けられて記録されたとする。この場合、検出部１３１は、「地点Ｃ」の位置情報が関連付けられているデータファイルＤ２１と、データファイルＤ２３と、データファイルＤ２５とをハイライトデータとして検出する。これにより、ハイライトして検出された地点を含むデータファイルを過去にさかのぼってハイライトデータとして検出することができる。

ステップＳ２４０およびステップＳ３００の処理は、それぞれ、図５に図示のステップＳ１４０およびステップＳ１５０の処理と同一なので、説明を省略する。

ステップＳ２２０でＮｏと判定された場合、制御部１００は、取得された撮影データから車外の風景を認識する（ステップＳ２５０）。具体的には、景色認識部１２９は、車外の風景の認識処理を実行する。そして、ステップＳ２６０に進む。

制御部１００は、周辺情報に変化が有るか否かを判定する（ステップＳ２６０）。具体的には、判定部１３０は、景色認識部１２９の認識結果に基づいて、周辺情報に変化が有るか否かを判定する。周辺情報に変化があると判定された場合（ステップＳ２６０；Ｙｅｓ）、ステップＳ２７０に進む。周辺情報に変化がないと判定された場合（ステップＳ２６０；Ｎｏ）、ステップＳ３００に進む。

ステップＳ２６０でＹｅｓと判定された場合、制御部１００は、周辺情報が変化した地点を含むハイライトを検出する（ステップＳ２７０）。具体的には、検出部１３１は、ハイライトを含むデータファイルをハイライトデータとして検出する。そして、ステップＳ２８０に進む。

制御部１００は、位置情報を取得する（ステップＳ２８０）。具体的には、位置情報取得部１２４は、検出部１３１によってハイライトデータの位置の位置情報を取得する。そして、ステップＳ２９０に進む。

制御部１００は、ハイライトと、位置情報とを関連付けて記録する（ステップＳ２９０）。具体的には、記録制御部１２１は、検出部１３１が検出したハイライトデータと、位置情報取得部１２４が取得した位置情報を関連付けて、サーバ装置２０の記録部２２に記録する。そして、ステップＳ３００に進む。

なお、本実施形態の変形例では、記録部１２に記録されている一時記録データからタイムラプス画像を生成してもよい。具体的には、検出部１３１は、同一地点における異なる時間に撮影された撮影データをハイライトデータとして検出する。そして、記録制御部１２１は、検出部１３１が検出したハイライトデータを時系列順に繋ぎ合わせることでタイムラプス画像を生成する。

図１０は、タイムラプス画像を生成する方法を説明するための図である。図１０には、地点Ｄにおけるハイライトデータである、データファイル３０Ａ、データファイル３０Ｂ、データファイル３０Ｃ、データファイル３０Ｄ、データファイル３０Ｅ、・・・、が示されている。データファイル３０Ａ〜データファイル３０Ｅは、同一の地点を異なる時点で撮影されたデータファイルである。この場合、記録制御部１２１は、データファイル３０Ａ、データファイル３０Ｂ、データファイル３０Ｃ、データファイル３０Ｄ、データファイル３０Ｅ、・・・、の時系列の順に繋ぎ合わせて一つのタイムラプス画像を生成する。ユーザは、タイムラプス画像を視聴することで、ハイライトとして検出された地点の時間変化を把握することができる。

［検出条件調整処理］
次に、流行情報に含まれる被写体の検出条件を調整する方法について説明する。本実施形態では、ユーザは、流行情報に基づいて検出されたハイライトを含むハイライトデータを視聴することができる。ここで、ユーザごとに趣向は異なるため、保存されたハイライトデータがユーザの好みではないことも想定される。本実施形態では、ユーザの好みに合わせて流行情報に含まれる被写体の検出条件を調整することができる。

図１１を用いて、実施形態に係るハイライトを検出する条件を調整する処理について説明する。図１１は、実施形態に係るハイライトを検出する条件を調整する処理の流れを示すフローチャートである。

制御部１００は、ハイライトの評価を受け付けたか否かを判定する（ステップＳ４００）。具体的には、検出条件調整部１３２は、通信部１６を介してサーバ装置２０からハイライトデータの評価を受け付けたか否かを判定する。評価を受け付けたと判定された場合（ステップＳ４００；Ｙｅｓ）、ステップＳ４１０に進む。評価を受け付けていないと判定された場合（ステップＳ４００；Ｎｏ）、ステップＳ４４０に進む。

ステップＳ４００でＹｅｓと判定された場合、制御部１００は、評価は高評価であるか否かを判定する（ステップＳ４１０）。具体的には、検出条件調整部１３２は、ハイライトデータに対する評価が高評価であるか否かを判定する。高評価であると判定された場合（ステップＳ４１０；Ｙｅｓ）、ステップＳ４２０に進む。低評価であると判定された場合（ステップＳ４１０；Ｎｏ）、ステップＳ４３０に進む。

ステップＳ４１０でＹｅｓと判定された場合、制御部１００は、被写体の検出条件の閾値を下げる（ステップＳ４２０）。具体的には、検出条件調整部１３２は、流行情報に含まれる被写体の検出条件の閾値を下げることで、高評価を得たハイライトデータに類似する被写体を含む撮影データをハイライトとして検出し易くする。より具体的には、例えばレストランを含むハイライトデータの評価が高かった場合には、被写体としてレストランを含む撮影データをハイライトとして検出し易くする。

ステップＳ４１０でＮｏと判定された場合、制御部１００は、被写体の検出条件の閾値を上げる（ステップＳ４３０）。具体的には、検出条件調整部１３２は、流行情報に含まれる被写体の検出条件の閾値を上げることで低評価を得たハイライトデータに類似する被写体を含む撮影データをハイライトとして検出し難くする。

制御部１００は、処理を終了するか否かを判定する（ステップＳ４４０）。制御部１００は、例えば、処理を終了する旨の操作を受け付けた場合や、電源がオフとなった場合に処理を終了すると判定する。処理を終了すると判定された場合（ステップＳ４４０；Ｙｅｓ）、図１１の処理を終了する。処理を終了しないと判定された場合（ステップＳ４４０；Ｎｏ）、ステップＳ４００に進む。

以上、本発明の実施形態を説明したが、これら実施形態の内容により本発明が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換または変更を行うことができ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で置き換えたものもまた本発明の態様として有効である。

１ 記録システム
１０ 記録装置
１１ カメラ
１２，２２，３５ 記録部
１３，３４ 表示部
１４，３２ 操作部
１５ ＧＮＳＳ信号受信部
１６，２１，３１ 通信部
１７ ＣＡＮインターフェース部
２０ サーバ装置
３０ ユーザ端末
２３，３６ 制御部
１００ 制御部（記録制御装置）
１１０ バス
１２０ 撮影データ取得部
１２１，２３２ 記録制御部
１２２，３６４ 表示制御部
１２３，３６２ 操作制御部
１２４ 位置情報取得部
１２５，２３１，３６１ 通信制御部
１２６ 車両情報取得部
１２７ 流行情報取得部
１２８ 人物認識部
１２９ 景色認識部
１３０ 判定部
１３１ 検出部
１３２ 検出条件調整部
２３３ 評価受付部
３６３ 出力制御部
３６５ 記録制御部

Claims (5)

1. 車両に設置されたカメラが撮影した少なくとも車外を撮影した撮影データを取得する撮影データ取得部と、
   前記車両の走行経路における流行情報を取得する流行情報取得部と、
   前記撮影データに関連付けられた位置情報と、前記流行情報に含まれる被写体の位置情報とに基づいて、前記撮影データから前記被写体を含むハイライトを検出する検出部と、
   前記ハイライトに関するハイライトデータと位置情報とを関連付けて記録部に記録する記録制御部と、
   を備える、記録制御装置。
2. 前記検出部は、前記記録部に前記ハイライトデータと位置情報とが関連付けて記録されている場合には、前記車両が前記ハイライトを検出した地点を通過した際の前記撮影データをハイライトとして検出する、
   請求項１に記載の記録制御装置。
3. 前記撮影データから前記車両の車外の景色を認識する景色認識部と、
   前記景色認識部の認識結果に基づいて、前記車両の車外の周辺情報の変化を判定する判定部と、
   前記撮影データから前記車両の車室内にいる人物を認識する人物認識部と、を備え、
   前記判定部は、前記人物認識部の認識結果に基づいて、前記車両の車室内の周辺情報の変化を判定し、
   前記検出部は、前記判定部により前記車両の車外の周辺情報に所定以上の変化があると判定された場合または前記判定部により前記車両の車室内の周辺情報に所定以上の変化があると判定された場合の少なくとも一方に基づいて、前記撮影データからハイライトを検出する、
   請求項１または２に記載の記録制御装置。
4. 前記ハイライトデータに対するユーザの評価に基づいて、前記検出部が前記被写体を検出する条件を調整する調整情報を生成する検出条件調整部を備える、
   請求項１から３のいずれか１項に記載の記録制御装置。
5. 請求項１から４のいずれか１項に記載の記録制御装置と、
   ハイライトデータに対するユーザからの評価を受け付ける端末装置と、を含む、
   記録システム。

Images