JP6471359B2 - 認識データ生成装置、画像認識装置および認識データ生成方法 - Google Patents

Description

本開示は、映像コンテンツを認識するための認識データ生成装置、画像認識装置および認識データ生成方法に関する。

クラウドを介してコンテンツを認識する技術を利用する通信サービスが提案されている。この技術を用いれば、入力された映像を認識し、この映像に関連する付加情報を通信ネットワークを介して取得して、取得した付加情報を映像コンテンツと共に表示画面に表示するテレビジョン受信装置（以下、「テレビ」と略記する）を実現することができる。入力された映像を認識する技術は、「ＡＣＲ（Ａｕｔｏｍａｔｉｃ Ｃｏｎｔｅｎｔ Ｒｅｃｏｇｎｉｔｉｏｎ）」と呼ばれている。

ＡＣＲに、フィンガープリント技術が用いられることがある。特許文献１および特許文献２は、フィンガープリント技術を開示する。この技術では、映像内の画像フレームに映る顔等の輪郭を検知し、検知した輪郭に基づいてフィンガープリントを生成し、生成したフィンガープリントをデータベースに蓄積されたデータと照合する。

米国特許出願公開第２０１０／０３１８５１５号明細書 米国特許出願公開第２００８／０３１０７３１号明細書

本開示は、画像認識の精度を上げつつ画像認識に係る処理を低減できる認識データ生成装置、画像認識装置および認識データ生成方法を提供する。

本開示における認識データ生成装置は、画像取得部と、データ生成部と、を備える。画像取得部は、映像コンテンツを構成するフレームシーケンスに含まれる複数の画像フレームを取得する。データ生成部は、画像取得部によって取得された複数の画像フレームのフレーム間における画像の変化に基づいて、映像コンテンツを表す認識データであって、映像コンテンツを認識する際のフィンガープリントとして用いられる認識データ、を生成する。

本開示における画像認識装置は、上述の認識データ生成装置と、取得部と、照合部と、を備える。取得部は、複数の映像コンテンツのそれぞれを表す複数の認識データを取得する。照合部は、データ生成部で生成された認識データを、取得部によって取得された複数の認識データと照合する。

本開示における認識データ生成方法は、映像コンテンツを構成するフレームシーケンスに含まれる複数の画像フレームを取得する画像取得ステップと、取得した複数の画像フレームのフレーム間における画像の変化に基づいて、映像コンテンツを表す認識データであって、映像コンテンツを認識する際のフィンガープリントとして用いられる認識データを生成する生成ステップと、を含む。

本開示における認識データ生成装置は、画像認識の精度を上げつつ、画像認識に係る処理を低減できる。

図１は、実施の形態１におけるコンテンツ認識システムの一構成例を示すブロック図である。 図２は、実施の形態１における受信装置の一構成例を示すブロック図である。 図３は、実施の形態１における映像抽出部で抽出される各フレームレートの画像フレームと静的領域との関係の一例を模式的に示す図である。 図４は、実施の形態１における映像抽出部で抽出される各フレームレートの画像フレームと動的領域との関係の一例を模式的に示す図である。 図５は、実施の形態１におけるフィンガープリント生成部の一構成例を示すブロック図である。 図６は、実施の形態１におけるコンテンツ認識システムが備える受信装置の一動作例を示すフローチャートである。 図７は、実施の形態１における画像認識の処理の一例を示すフローチャートである。 図８は、実施の形態１における認識データを生成するときの処理の一例を示すフローチャートである。 図９は、実施の形態１における認識データの生成処理過程における画像フレームの変化の一例を模式的に示す図である。 図１０は、実施の形態１における画像フレーム間の変化量の算出処理の一例を示すフローチャートである。 図１１は、実施の形態１における画像フレームのダウンスケール変換処理の一例を模式的に示す図である。 図１２は、実施の形態１における画像フレーム間の変化量の算出処理の一例を模式的に示す図である。 図１３は、実施の形態１における静的フィンガープリントの生成処理の一例を示すフローチャートである。 図１４は、実施の形態１における画像フレーム間の変化量に基づいて生成される静的フィンガープリントの一例を模式的に示す図である。 図１５は、実施の形態１における動的フィンガープリントの生成処理の一例を示すフローチャートである。 図１６Ａは、実施の形態１における動的フィンガープリントが生成されない画像フレームの一例を模式的に示す図である。 図１６Ｂは、実施の形態１における画像フレーム間の変化量に基づいて生成される動的フィンガープリントの一例を模式的に示す図である。 図１７は、実施の形態１における認識データの照合処理の一例を示すフローチャートである。 図１８は、実施の形態１における静的フィンガープリントの照合処理の一例を模式的に示す図である。 図１９は、実施の形態１における動的フィンガープリントの照合処理の一例を模式的に示す図である。 図２０は、実施の形態１における映像コンテンツの認識条件の一例を示す図である。 図２１は、実施の形態１における映像コンテンツの照合処理の一例を模式的に示す図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明、および実質的に同一の構成に対する重複説明等を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成要素については同じ符号を付している。

（実施の形態１）
［１−１．コンテンツ認識システム］
まず、本実施の形態におけるコンテンツ認識システムについて、図１を用いて説明する。

図１は、実施の形態１におけるコンテンツ認識システム１の一構成例を示すブロック図である。

図１に示すように、コンテンツ認識システム１は、広告主２と、放送局３と、ＳＴＢ（Ｓｅｔ Ｔｏｐ Ｂｏｘ）４と、受信装置１０と、サーバ装置２０と、広告サーバ装置３０と、を備える。

広告主２は、コマーシャルメッセージ（ＣＭ）等の広告用の映像コンテンツ（以下、「広告コンテンツ」とも記載する）を生成するように構成された生成装置である。広告主２は、広告コンテンツ（図１には、「広告」と記す）を放送局３およびサーバ装置２０に送信する。広告主２は、例えばインターネット等の通信ネットワーク１０５を介して、放送局３およびサーバ装置２０に広告コンテンツを送信する。

放送局３は、映像コンテンツを映像信号に変換してテレビジョン放送信号（以下、単に「放送信号」とも記す）として放送するように構成された送信装置である。映像コンテンツは、例えば、無線または有線の放送または通信によって放送される放送コンテンツであり、テレビ番組等の番組コンテンツと、ＣＭ等の広告用の映像コンテンツ（以下、「広告コンテンツ」と記す）と、が含まれる。番組コンテンツと広告コンテンツとは、時間の経過に伴って互いに切り替わる。

ＳＴＢ４は、放送局３から放送される放送信号を受信し、受信した放送信号に基づく映像信号等を出力するように構成されたチューナ・デコーダである。ＳＴＢ４は、放送局３から放送された放送信号の中から、ユーザの指示に基づいて選局された放送チャンネルを受信する。そして、受信した放送チャンネルの映像コンテンツをデコードし、デコードした映像コンテンツを、通信路を介して受信装置１０に出力する。なお、通信路は、例えば、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、等である。

受信装置１０は、例えばテレビ等の映像受信装置である。受信装置１０は、通信ネットワーク１０５を介してサーバ装置２０および広告サーバ装置３０と接続されている。受信装置１０は、受信した映像コンテンツのフレームシーケンスから複数の画像フレームを抽出し、抽出した画像フレームに対して画像認識を行うように構成されている。受信装置１０は、サーバ装置２０から、画像認識に用いる複数の認識データを予め取得して保持している。受信装置１０は、画像認識の結果に基づいて広告サーバ装置３０から付加情報を取得し、取得した付加情報を、映像コンテンツと共に実質的にリアルタイムで表示画面に表示する。

なお、画像フレームは、映像コンテンツを構成するピクチャである。画像フレームには、プログレッシブ方式におけるフレームや、インターレース方式におけるフィールド、等が含まれる。

サーバ装置２０は、例えば、Ｗｅｂサーバである。サーバ装置２０は、広告主２から送信された広告コンテンツを取得し、取得した広告コンテンツを解析することで、その広告コンテンツに対応する認識データを生成するように構成されている。認識データは、広告コンテンツを表すデータ（ハッシュ値）であって、広告コンテンツの認識を行う際にフィンガープリントとして用いられるデータである。具体的には、認識データは、画像フレーム間の画像の変化に基づいて生成されるフィンガープリントである。サーバ装置２０は、例えば、広告主２が生成する全ての広告コンテンツを取得し、それら全ての広告コンテンツのそれぞれに対応するフィンガープリントを生成し、生成したフィンガープリントを記憶部に蓄積する。

広告サーバ装置３０は、例えば、Ｗｅｂサーバである。広告サーバ装置３０は、受信装置１０で行われる画像認識の結果に関連する付加情報を、受信装置１０に配信するように構成されている。広告サーバ装置３０は、例えば、様々な商品の広告を保持して配信する広告配信サーバである。

なお、本実施の形態では、サーバ装置２０と広告サーバ装置３０とは、それぞれが互いに独立したＷｅｂサーバであるものとするが、１台のＷｅｂサーバにサーバ装置２０および広告サーバ装置３０が含まれていてもよい。

以下、受信装置１０、サーバ装置２０および広告サーバ装置３０の各構成について、説明する。

［１−１−１．受信装置］
まず、本実施の形態における受信装置１０について、図１を参照しながら図２を用いて説明する。

図２は、実施の形態１における受信装置１０の一構成例を示すブロック図である。なお、図２は、受信装置１０の主要なハードウェア構成を示している。

図１に示すように、受信装置１０は、映像受信部１１と、映像抽出部１２と、付加情報取得部１３と、映像出力部１４と、画像認識部１００と、を備える。より詳細には、図２に示すように、受信装置１０は、さらに、制御部１５と、操作信号受信部１６と、ＨＴＴＰ（Ｈｙｐｅｒ Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）送受信部１７と、を備える。

制御部１５は、受信装置１０が備える各構成要素を制御するように構成された処理部である。制御部１５は、不揮発性メモリ、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、揮発性メモリ、を備えている。不揮発性メモリは、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等であり、プログラム（アプリケーションプログラム、等）を格納している。ＣＰＵは、そのプログラムを実行するように構成されている。揮発性メモリは、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等であり、ＣＰＵが動作しているときの一時的な作業領域として使用される。

操作信号受信部１６は、操作部（図示せず）から出力される操作信号を受信するように構成された回路である。操作信号は、受信装置１０を操作するためにユーザが操作部（例えば、リモートコントローラ。以下、「リモコン」と記す）を操作することで、その操作部から出力される信号である。なお、操作部が、ジャイロセンサを有するリモコンである場合、操作信号受信部１６は、そのリモコンから出力されるリモコン自身の物理的な動きに関する情報（ユーザがリモコンを、振る、傾ける、向きを変える、等したときの動きを示す信号）を受信するように構成されていてもよい。

ＨＴＴＰ送受信部１７は、通信ネットワーク１０５を介してサーバ装置２０および広告サーバ装置３０と通信するように構成されたインターフェイスである。ＨＴＴＰ送受信部１７は、例えば、ＩＥＥＥ８０２．３の規格に適合する有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）用の通信アダプタである。

ＨＴＴＰ送受信部１７は、サーバ装置２０から通信ネットワーク１０５を介して送信されるフィンガープリント、等を取得する。取得したフィンガープリントは、制御部１５を介して画像認識部１００に出力される。また、ＨＴＴＰ送受信部１７は、例えば、広告サーバ装置３０から通信ネットワーク１０５を介して送信される付加情報を取得する。取得した付加情報は、制御部１５を介して付加情報格納部１８に格納される。

映像受信部１１は、映像コンテンツを受信するように構成された受信回路およびデコーダ（図示せず）、を有する。映像受信部１１は、例えば、操作信号受信部１６で受信された操作信号に基づき、受信する放送チャンネルの選局や外部から入力される信号の選択、等を行う。映像受信部１１が受信する映像コンテンツには、広告コンテンツが含まれる。

図２に示すように、映像受信部１１は、映像入力部１１ａと、第１外部入力部１１ｂと、第２外部入力部１１ｃと、を備える。

映像入力部１１ａは、例えばアンテナ（図示せず）で受信される放送信号（図２には、「ＴＶ放送信号」と記す）等の、外部から送信されてくる映像信号を入力するように構成された回路である。

第１外部入力部１１ｂおよび第２外部入力部１１ｃは、ＳＴＢ４および映像信号記録再生装置（図示せず）等の外部機器から送信されてくる映像信号（図２には、「外部入力信号」と記す）を入力するように構成されたインターフェイスである。第１外部入力部１１ｂは、例えば、ＨＤＭＩ（登録商標）端子であり、ＨＤＭＩ（登録商標）に適合したケーブルによってＳＴＢ４に接続されている。

映像抽出部１２は、映像受信部１１によって受信された広告コンテンツを構成するフレームシーケンスから、所定のフレームレートで複数の画像フレームを抽出する。例えば、広告コンテンツのフレームレートが６０ｆｐｓ（Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）である場合に、映像抽出部１２は、３０ｆｐｓ、または２０ｆｐｓ、または１５ｆｐｓ、といったフレームレートで複数の画像フレームを抽出する。なお、後段の画像認識部１００が６０ｆｐｓの映像を処理可能な処理能力を持っていれば、映像抽出部１２は、広告コンテンツのフレームシーケンスを構成する全ての画像フレームを抽出してもよい。

映像出力部１４は、映像受信部１１によって受信された映像コンテンツを表示画面に出力するように構成された表示制御回路である。表示画面は、例えば、液晶表示装置や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）等のディスプレイである。

付加情報取得部１３は、情報を取得する回路および通信インターフェイスとして動作する。付加情報取得部１３は、画像認識部１００による画像認識の結果に基づいて、広告サーバ装置３０から付加情報を取得するように構成されている。付加情報取得部１３は、付加情報格納部１８と、付加情報表示制御部１９と、を備える。

付加情報格納部１８は、付加情報を格納するように構成された記憶装置である。付加情報格納部１８は、例えば、フラッシュメモリ等の不揮発性記憶素子である。付加情報格納部１８は、広告サーバ装置３０から取得した付加情報に加え、ＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）等の番組メタ情報を保持してもよい。

付加情報表示制御部１９は、広告サーバ装置３０から取得した付加情報を、映像受信部１１で受信した映像コンテンツ（例えば、広告コンテンツ）に重畳するように構成されている。付加情報表示制御部１９は、広告コンテンツに含まれる各画像フレームに付加情報を重畳して重畳画像を生成し、生成した重畳画像を映像出力部１４に出力する。映像出力部１４が重畳画像を表示画面に出力することで、表示画面には、付加情報が重畳された広告コンテンツが表示される。

画像認識部１００の詳細は、後述する。

［１−１−２．サーバ装置］
次に、サーバ装置２０について説明する。

サーバ装置２０は、広告主２から送信される広告コンテンツを取得し、取得した広告コンテンツに対応する認識データを生成する。

図１に示すように、サーバ装置２０は、コンテンツ受信部２１と、フィンガープリントＤＢ（Ｄａｔａ Ｂａｓｅ）２２と、フィンガープリント生成部１１０と、を備える。なお、図２のサーバ装置２０には、フィンガープリントＤＢ２２のみを示し、コンテンツ受信部２１およびフィンガープリント生成部１１０は省略している。

コンテンツ受信部２１は、受信回路およびデコーダを備え、広告主２から送信される広告コンテンツを受信するように構成されている。コンテンツ受信部２１は、例えば、広告主２が生成して送信する全ての広告コンテンツを受信する。コンテンツ受信部２１は、受信した広告コンテンツを、フィンガープリント生成部１１０に出力する。

フィンガープリント生成部１１０は、広告コンテンツ毎にフィンガープリントを生成するように構成されている。フィンガープリント生成部１１０は、広告コンテンツを構成するフレームシーケンスの、画像フレーム間の変化に基づいて、フィンガープリントを生成する。なお、サーバ装置２０が備えるフィンガープリント生成部１１０は、例えば、受信装置１０の画像認識部１００が備えるフィンガープリント生成部１１０と実質的に同じ構成および動作であってもよい。フィンガープリント生成部１１０の詳細は、図５を用いて後述する。

フィンガープリントＤＢ２２は、広告コンテンツ毎に、広告コンテンツを表す情報とフィンガープリントとを互いに対応付けたデータベースである。フィンガープリントＤＢ２２では、例えば、複数の広告コンテンツを互いに識別するための識別情報（例えば、コンテンツＩＤ（ＩＤｅｎｔｉｆｉｅｒ））と、フィンガープリントと、が互いに対応付けられている。サーバ装置２０は、新たな広告コンテンツがコンテンツ受信部２１で受信される毎に、フィンガープリント生成部１１０で新たなフィンガープリントを生成してフィンガープリントＤＢ２２を更新する。

フィンガープリントＤＢ２２は、サーバ装置２０が備える記憶装置（例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等）に記憶されている。なお、フィンガープリントＤＢ２２は、サーバ装置２０の外部に設置された記憶装置に記憶されていてもよい。

サーバ装置２０は、通信部（図示せず）を備え、その通信部および通信ネットワーク１０５を介して、受信装置１０と通信することが可能である。例えば、サーバ装置２０は、受信装置１０から送信される要求（フィンガープリントＤＢ２２を求める要求）をその通信部を介して受信し、受信したその要求に応じてフィンガープリントＤＢ２２を受信装置１０に送信する。なお、サーバ装置２０は、フィンガープリントＤＢ２２が更新されたときに、フィンガープリントＤＢ２２の更新情報を、通信部を介して受信装置１０に送信してもよい。

［１−１−３．広告サーバ装置］
次に、広告サーバ装置３０について説明する。

広告サーバ装置３０は、広告主２から送信される広告コンテンツに関する付加情報を配信するように構成されたＷｅｂサーバである。図１に示すように、広告サーバ装置３０は、付加情報ＤＢ３１を備える。

付加情報ＤＢ３１は、広告コンテンツ毎に、広告コンテンツを表す情報と付加情報とを互いに対応付けたデータベースである。付加情報ＤＢ３１では、例えば、コンテンツＩＤと付加情報とが互いに対応付けられている。

付加情報ＤＢ３１は、広告サーバ装置３０が備える記憶装置（例えば、ＨＤＤ）に記憶されている。なお、付加情報ＤＢ３１は、広告サーバ装置３０の外部に設置された記憶装置に記憶されていてもよい。

付加情報は、例えば、広告コンテンツ内に表示される物（例えば、広告対象の商品、等）の属性を示す情報である。付加情報は、例えば、商品の仕様、販売店（例えば、販売店の住所、ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）、電話番号、等）、製造者、使用方法、効能、等の商品に関する情報である。

［１−２．画像認識部］
続いて、本実施の形態における画像認識部１００について説明する。

画像認識部１００は、画像認識装置の一例であり、映像コンテンツの認識（例えば、ＡＣＲ）を行うように構成された処理部である。映像コンテンツは、映像抽出部１２が抽出する複数の画像フレームを含んでおり、画像認識部１００による画像認識の対象である。画像認識部１００は、例えば、集積回路等で実現することができる。

図１に示すように、画像認識部１００は、フィンガープリント生成部１１０と、フィンガープリント取得部１２０と、照合部１３０と、出力部１４０と、を備える。なお、図２の画像認識部１００には、フィンガープリント生成部１１０およびフィンガープリント取得部１２０のみを示し、照合部１３０および出力部１４０は省略している。

フィンガープリント生成部１１０は、認識データ生成回路の一例である。フィンガープリント生成部１１０は、映像コンテンツを認識する際に用いられる認識データを生成するように構成されている。具体的には、フィンガープリント生成部１１０は、映像コンテンツを構成するフレームシーケンスに含まれる複数の画像フレームを取得し、取得した画像フレームのフレーム間における画像の変化に基づいて認識データを生成する。認識データは、例えば、フィンガープリントである。フィンガープリント生成部１１０の詳細は、図５を用いて後述する。

フィンガープリント取得部１２０は、取得部の一例である。フィンガープリント取得部１２０は、複数の映像コンテンツのそれぞれに対応した複数の認識データを取得する。具体的には、フィンガープリント取得部１２０は、複数の映像コンテンツのそれぞれに対応するフィンガープリントをサーバ装置２０から取得する。取得された複数のフィンガープリントは、フィンガープリント生成部１１０で生成された映像コンテンツのフィンガープリントとの照合に使用される。

なお、フィンガープリント取得部１２０は、記憶部（図示せず）を備えていてもよい。その場合、フィンガープリント取得部１２０は、複数のフィンガープリントを予めサーバ装置２０から取得して記憶部に保持しておくことができる。したがって、照合部１３０は、フィンガープリント生成部１１０によってフィンガープリントが生成された後、直ちに、生成されたフィンガープリントの照合を開始することができる。

照合部１３０は、フィンガープリント生成部１１０で生成された認識データであるフィンガープリントを、フィンガープリント取得部１２０によってサーバ装置２０から取得され記憶部に格納された複数のフィンガープリントと照合する。

より具体的には、照合部１３０は、フィンガープリント生成部１１０で生成されたフィンガープリントに含まれる静的フィンガープリントおよび動的フィンガープリントのそれぞれを、フィンガープリント取得部１２０によってサーバ装置２０から取得された複数の認識データと照合する。そして、照合部１３０は、サーバ装置２０から取得された複数の認識データの中から、静的フィンガープリントまたは動的フィンガープリントに類似する認識データを選定し、選定された認識データに対応する情報を照合結果として出力する。例えば、照合部１３０は、フィンガープリント生成部１１０で生成された認識データに含まれる１以上の静的フィンガープリントおよび１以上の動的フィンガープリントのうちの少なくとも２つが類似する認識データを選定し、その認識データに対応する情報を照合結果として出力する。

なお、静的フィンガープリント、動的フィンガープリント、照合部１３０、の動作の詳細は、後述する。

出力部１４０は、照合部１３０から受け取った照合結果に基づいて、映像受信部１１が受信した映像コンテンツを示す情報を画像認識の結果として出力する。画像認識の結果は、例えば、映像受信部１１が受信した映像コンテンツを示すコンテンツＩＤである。

なお、照合部１３０が、フィンガープリント生成部１１０で生成されたフィンガープリントに類似するフィンガープリントを、フィンガープリント取得部１２０で取得された複数のフィンガープリントから見つけることができなかった場合、すなわち、映像コンテンツに対応するコンテンツを検出できず画像認識できなかった場合、出力部１４０は、何も出力しない。あるいは、出力部１４０は、画像認識できなかったことを示す情報を画像認識の結果として出力してもよい。

［１−３．フィンガープリント生成部］
次に、本実施の形態におけるフィンガープリント生成部１１０について説明する。

フィンガープリント生成部１１０は、認識データ生成装置の一例である。フィンガープリント生成部１１０は、映像コンテンツを構成するフレームシーケンスにおける静的領域および動的領域の少なくとも一方に基づいて、フィンガープリントを生成するように構成されている。フィンガープリント生成部１１０は、例えば集積回路等で実現することができる。

以下、まず静的領域および動的領域について、図３および図４を用いて説明する。

図２の映像抽出部１２は、映像コンテンツを構成するフレームシーケンスから、所定のフレームレートで複数の画像フレームを抽出するように構成されている。このフレームレートは、画像認識部１００における処理能力等に基づいて設定される。本実施の形態では、放送局３から放送される映像コンテンツのフレームレートが６０ｆｐｓであり、映像抽出部１２が、３０ｆｐｓ、２０ｆｐｓ、１５ｆｐｓの３つのフレームレートで画像フレームを抽出するときの動作例を説明する。なお、映像抽出部１２は、複数のフレームレートで画像フレームを抽出するわけではない。図３、図４は、抽出するフレームレートが異なるときの動作例を示しているに過ぎない。図３、図４に示す例では、映像抽出部１２は、３０ｆｐｓ、または２０ｆｐｓ、または１５ｆｐｓ、のいずれかのフレームレートで画像フレームを抽出する。

［１−３−１．静的領域］
静的領域とは、２つの画像フレーム間で画像の変化量が、あらかじめ定められた閾値（以下、「第１閾値」と記す）よりも少ない領域のことである。静的領域は、例えば、画像中の背景または動きや変化の少ない被写体が占める領域、等である。静的領域は、画像フレーム間で画像の変化量を算出することにより決定される。

図３は、実施の形態１における映像抽出部１２で抽出される各フレームレートの画像フレームと静的領域との関係の一例を模式的に示す図である。

図３に一例として示す放送映像の映像コンテンツは、映像に大きな変化がない同一のシーンが９フレームで構成されている。映像内では、２人の被写体が動いているが、背景は動いていない。

図３に示すように、映像抽出部１２が３０ｆｐｓ、２０ｆｐｓ、１５ｆｐｓのいずれのフレームレートで画像フレームを抽出したとしても、各フレームレートにおいて決定される静的領域は、互いに類似し、かつ、放送される６０ｆｐｓの映像コンテンツにおいて決定される静的領域に類似する。

このことから、画像フレームを抽出する際のフレームレートが３０ｆｐｓ、２０ｆｐｓ、１５ｆｐｓのいずれであっても、映像抽出部１２で抽出される画像フレームにおいて決定される静的領域と、放送される映像コンテンツにおいて決定される静的領域と、を互いに照合することで、映像コンテンツの認識が可能であることが分かる。静的領域は、画像フレームにおいて背景および動きや変化の小さい被写体等が占める領域であり、所定の期間（例えば、数秒間）は画像フレーム内に存在する可能性が高い領域である。したがって、静的領域を用いることで、高精度な認識が可能になる。

本実施の形態では、放送される映像コンテンツにおける静的領域は、サーバ装置２０によって予め決定されている。したがって、受信装置１０は、映像抽出部１２で抽出される画像フレームに基づき決定される静的領域を、サーバ装置２０から取得する静的領域に照合することで、受信中の映像コンテンツを認識することができる。

［１−３−２．動的領域］
動的領域とは、２つの画像フレーム間で画像の変化量が、あらかじめ定められた閾値（以下、「第２閾値」と記す）より大きい領域のことである。動的領域は、例えば、シーンの切り替わり時に大きな画像の変化が発生する領域、等である。

図４は、実施の形態１における映像抽出部１２で抽出される各フレームレートの画像フレームと動的領域との関係の一例を模式的に示す図である。

図４に一例として示す映像コンテンツは、シーンの切り替えを含んでいる。図４に示す映像コンテンツは、時間の経過とともに切り替わる第１〜第３の３つのシーンを含んでいる。第１のシーンは画像フレームＡ００１〜Ａ００３を含み、第２のシーンは画像フレームＡ００４〜Ａ００６を含み、第３のシーンは画像フレームＡ００７〜Ａ００９を含む。

動的領域は、画像フレーム間で画像の変化量を算出することにより決定される。

図４に示す例では、３０ｆｐｓ、２０ｆｐｓ、１５ｆｐｓのいずれの場合においても、映像抽出部１２で抽出される複数の画像フレームには、３つのシーンのそれぞれの画像フレームが含まれている。このため、時間的に隣り合う２つの画像フレーム間で画像の変化量を算出すると、シーンの切り替わりの前後の画像フレームで大きな変化量が算出される。なお、図４には、一例として、第１のシーンから第２のシーンへの切り替わりにおける動的領域を示す。

例えば、図４の３０ｆｐｓにおいて、第１のシーンと第２のシーンとの切り替わりは、画像フレームＡ００３と画像フレームＡ００５である。したがって、図４の３０ｆｐｓでは、動的領域は、画像フレームＡ００３と画像フレームＡ００５との間で発生する。同様に、図４の２０ｆｐｓでは、動的領域は、画像フレームＡ００１と画像フレームＡ００４との間で発生し、図４の１５ｆｐｓでは、動的領域は、画像フレームＡ００１と画像フレームＡ００５との間で発生する。

一方、放送される６０ｆｐｓの映像コンテンツにおいて、第１のシーンと第２のシーンの切り替わりは、画像フレームＡ００３と画像フレームＡ００４である。したがって、放送される映像コンテンツでは、動的領域は、画像フレームＡ００３と画像フレームＡ００４との間で発生する。

すなわち、放送される６０ｆｐｓの映像コンテンツにおける動的領域と、映像抽出部１２によって抽出される３０ｆｐｓ、２０ｆｐｓ、１５ｆｐｓのそれぞれにおける動的領域とは、図４に示すように、互いに類似している。

このように、映像抽出部１２が３０ｆｐｓ、２０ｆｐｓ、１５ｆｐｓのいずれのフレームレートで画像フレームを抽出したとしても、各フレームレートのそれぞれで決定される動的領域は、互いに類似し、かつ、放送される６０ｆｐｓの映像コンテンツにおいて決定される動的領域に類似する。

このことから、画像フレームを抽出する際のフレームレートが３０ｆｐｓ、２０ｆｐｓ、１５ｆｐｓのいずれであっても、映像抽出部１２で抽出される画像フレームに基づき決定される動的領域と、放送される映像コンテンツにおいて決定される動的領域と、を互いに照合することで、映像コンテンツの認識が可能であることが分かる。動的領域は、シーンの切り替わり等により大きな画像の変化が発生した領域であり、特徴的な画像の変化が起きた領域である。したがって、動的領域を用いることで、高精度な認識が可能になる。また、特徴的な画像の変化に基づいて認識が行われるので、認識に必要なフレーム数を従来に比べて削減することができ、認識に係る処理を高速にすることができる。

本実施の形態では、放送される映像コンテンツにおける動的領域は、サーバ装置２０によって予め決定されている。したがって、受信装置１０は、映像抽出部１２で抽出される画像フレームに基づき決定される動的領域を、サーバ装置２０から取得する動的領域に照合することで、受信中の映像コンテンツを認識することができる。

［１−３−３．構成］
次に、本実施の形態におけるフィンガープリント生成部１１０について、図５を用いて説明する。

図５は、実施の形態１におけるフィンガープリント生成部１１０の一構成例を示すブロック図である。

図５に示すように、フィンガープリント生成部１１０は、画像取得部１１１と、データ生成部１１２と、を備える。

画像取得部１１１は、映像抽出部１２によって抽出された複数の画像フレームを取得する。

データ生成部１１２は、画像取得部１１１によって取得された複数の画像フレームのフレーム間における画像の変化に基づいて、認識データとしてフィンガープリントを生成する。フィンガープリントは、フレーム間の画像の変化量が第１閾値より小さい静的領域に基づいた静的フィンガープリント、および、フレーム間の画像の変化量が第２閾値より大きい動的領域に基づいた動的フィンガープリント、の少なくとも一方を含む。なお、第１閾値の値および第２閾値の値によっては、静的フィンガープリントおよび動的フィンガープリントがともに生成されない場合がある。この場合、フィンガープリントは、静的フィンガープリントおよび動的フィンガープリントのいずれも含まない。

データ生成部１１２は、スケール変換部２１０と、差分算出部２２０と、決定部２３０と、生成部２４０と、を備える。

スケール変換部２１０は、画像取得部１１１によって取得された複数の画像フレームのそれぞれに対してスケール変換を実行する。具体的には、スケール変換部２１０は、グレースケール変換およびダウンスケール変換を各画像フレームに対して実行する。

グレースケール変換とは、カラー画像をグレースケール画像に変換することである。スケール変換部２１０は、画像フレームの各画素が有する色情報を輝度値に変換することで、カラー画像をグレースケール画像に変換する。本開示は、この変換手法を限定しない。例えば、スケール変換部２１０は、各画素からＲＧＢの１つの要素を抽出し、それを、対応する画素の輝度値に変換してもよい。なお、輝度値は、画素の明るさを示す数値であり、画素値の一例である。あるいは、スケール変換部２１０は、ＮＴＳＣ系加重平均法または単純平均法、等を利用して輝度値を算出してもよい。

ダウンスケール変換とは、１つの画像フレームを構成する画素の数を、元の画素数から、より少ない画素数に変換することである。スケール変換部２１０は、ダウンスケール変換を実行して、画像フレームの画像を、より少ない画素数で構成される画像に変換する。本開示は、この変換手法を限定しない。例えば、スケール変換部２１０は、各画像を、それぞれが複数の画素を含む複数のブロックに分割し、領域毎に１つの数値を算出することで、ダウンスケール変換を行ってもよい。このとき、スケール変換部２１０は、領域毎に、輝度値の平均値や中間値等を算出して、その領域の明るさを表す数値としてもよい。

なお、本実施の形態では、スケール変換部２１０は、グレースケール変換およびダウンスケール変換の両方を行うものとするが、本開示は何らこの構成に限定されない。スケール変換部２１０は、これらのいずれか一方のみを行ってもよく、あるいは、いずれも行わなくてもよい。すなわち、データ生成部１１２は、スケール変換部２１０を備えなくてもよい。

差分算出部２２０は、画像取得部１１１によって取得された複数の画像フレームのそれぞれから、画像変化フレームを生成する。画像変化フレームは、時間的に隣り合う２つの画像フレーム（例えば、時間的に連続する２つの画像フレーム）間の輝度値の差分を算出することで、生成される。したがって、画像変化フレームは、時間的に隣り合う２つの画像フレーム間の輝度値の変化量（以下、「輝度変化値」と記す）を示している。なお、輝度変化値は、画素変化値の一例であり、画素値の一例である輝度値の変化量を示す値である。差分算出部２２０は、スケール変換部２１０によってグレースケール変換およびダウンスケール変換が行われた画像フレームを用いて、画像変化フレームを生成する。

決定部２３０は、静的領域決定部２３１と、動的領域決定部２３２と、を備える。

決定部２３０は、差分算出部２２０で生成された画像変化フレームの各輝度変化値の絶対値を、第１閾値および第２閾値と比較する。そして、輝度変化値の絶対値が第１閾値より小さい静的領域、および、輝度変化値の絶対値が第２閾値より大きい動的領域、の少なくとも一方を決定する。具体的には、決定部２３０は、画像変化フレームの各輝度変化値の絶対値をそれぞれ算出し、その絶対値が第１閾値より小さいか否かの判定と、その絶対値が第２閾値より大きいか否かの判定と、をそれぞれ実行することで、静的領域および動的領域を決定する。

なお、輝度変化値の絶対値の算出は、差分算出部２２０で行われてもよい。

第１閾値および第２閾値は、予め定められた数値が設定され、輝度変化値の取りうる範囲に基づいて決定される。例えば、第１閾値および第２閾値は、輝度変化値の絶対値の最大値の０％〜２０％の範囲で定められる。具体的な一例を挙げると、輝度変化値の絶対値の最大値が２５５である場合、第１閾値は「１」であり、第２閾値は「２０」である。なお、これらの数値は単なる一例に過ぎない。各閾値は適切に設定されることが望ましい。第１閾値と第２閾値とは、互いに同じ数値でもよく、互いに異なる数値でもよい。また、第２閾値は、第１閾値より大きい数値であることが望ましいが、第２閾値が第１閾値より小さい数値であってもよい。

決定部２３０が備える静的領域決定部２３１は、画像変化フレームの輝度変化値の絶対値のそれぞれを第１閾値と比較し、その絶対値が第１閾値より小さいか否かを判定することで、静的領域を決定する。例えば、第１閾値が「１」である場合、静的領域決定部２３１は、輝度変化値が「０」の領域を静的領域とする。輝度変化値が「０」の領域は、時間的に隣り合う２つの画像フレーム間で輝度値が実質的に変化していない領域、である。

決定部２３０が備える動的領域決定部２３２は、画像変化フレームの輝度変化値の絶対値のそれぞれを第２閾値と比較し、その絶対値が第２閾値より大きいか否かを判定することで、動的領域を決定する。例えば、第２閾値が「２０」である場合、動的領域決定部２３２は、輝度変化値の絶対値が「２１」以上の領域を動的領域とする。輝度変化値の絶対値が「２１」以上の領域は、時間的に隣り合う２つの画像フレーム間で輝度値が２１以上変化した領域、である。

なお、静的領域決定部２３１および動的領域決定部２３２は、スケール変換部２１０でグレースケール変換およびダウンスケール変換が行われた画像フレームに基づく画像変化フレームの輝度変化値の絶対値を、判定に用いる。

生成部２４０は、静的フィンガープリント生成部２４１と、動的フィンガープリント生成部２４２と、を備える。

静的フィンガープリント生成部２４１は、静的領域決定部２３１から出力される静的領域が、画像変化フレーム内のあらかじめ定められた割合（以下、「第１割合」と記す）以上を占めるか否かを判定する。そして、静的フィンガープリント生成部２４１は、静的領域が第１割合以上の場合に、静的領域に基づき以下のようにして静的フィンガープリントを生成する。そうでなければ、静的フィンガープリントを生成しない。静的フィンガープリント生成部２４１は、画像変化フレーム内に占める静的領域の範囲が大きい場合、言い換えると、時間的に隣り合う２つの画像フレーム間で画像の変化が少ない場合に、静的フィンガープリントを生成する。

静的フィンガープリント生成部２４１は、画像変化フレームの生成に用いた２つの画像フレームの一方を静的領域でフィルタリングして静的フレームを生成する。このフィルタリングについては後述する。そして、静的フィンガープリント生成部２４１は、生成した静的フレームを、静的フィンガープリントとする。静的フレームは、画像変化フレームの生成に用いた２つの画像フレームの一方の静的領域の輝度値を含み、かつ、静的領域以外の領域の輝度値が一定値（例えば、「０」）であるフレームである。静的フレームの詳細は後述する。

動的フィンガープリント生成部２４２は、動的領域決定部２３２から出力される動的領域が、画像変化フレーム内のあらかじめ定められた割合（以下、「第２割合」と記す）以上を占めるか否かを判定する。そして、動的フィンガープリント生成部２４２は、動的領域が第２割合以上の場合に、動的領域に基づき以下のようにして動的フィンガープリントを生成する。そうでなければ、動的フィンガープリントを生成しない。動的フィンガープリント生成部２４２は、画像変化フレーム内に占める動的領域の範囲が大きい場合、言い換えると、時間的に隣り合う２つの画像フレーム間で画像の変化が多い場合に、動的フィンガープリントを生成する。

動的フィンガープリント生成部２４２は、画像変化フレームを動的領域でフィルタリングして動的フレームを生成する。このフィルタリングについては後述する。そして、動的フィンガープリント生成部２４２は、生成した動的フレームを、動的フィンガープリントとする。動的フレームは、画像変化フレームの動的領域の輝度値を含み、かつ、動的領域以外の領域の輝度値が一定値（例えば、「０」）であるフレームである。動的フレームの詳細は後述する。

なお、第１割合および第２割合には、予め定められた数値が設定される。例えば、第１割合および第２割合は、２０％〜４０％の範囲で定められる。具体的な一例を挙げると、第１割合および第２割合は、それぞれ３０％である。なお、これらの数値は単なる一例に過ぎない。第１割合および第２割合は、適切に設定されることが望ましい。第１割合と第２割合とは、互いに同じ数値でもよく、互いに異なる数値でもよい。

以上の構成により、フィンガープリント生成部１１０は、画像フレーム毎に、静的フィンガープリントおよび動的フィンガープリントのいずれか一方を生成する。もしくは、いずれも生成しない。すなわち、フィンガープリント生成部１１０は、映像コンテンツからＮ個の画像フレームを取得した場合、静的フィンガープリントおよび動的フィンガープリントを合わせて最大でＮ−１個含むフィンガープリントを生成する。

なお、連続する同一のシーンで生成される各静的フィンガープリントは、互いに類似する可能性が高い。したがって、静的フィンガープリント生成部２４１は、連続する複数の画像フレームが同一のシーンを映したものである場合、同一のシーンから生成される複数の静的フィンガープリントから、１つの静的フィンガープリントを選択して出力してもよい。

［１−４．動作］
次に、本実施の形態におけるコンテンツ認識システム１の動作を、図６〜図２１を用いて説明する。なお、サーバ装置２０は、複数の映像コンテンツのフィンガープリントを予め生成し、生成したフィンガープリントとコンテンツＩＤとを互いに対応付けたフィンガープリントＤＢ２２を保持しているものとする。

［１−４−１．全体の動作］
まず、本実施の形態におけるコンテンツ認識システム１の全体の動作について、図６を用いて説明する。

図６は、実施の形態１におけるコンテンツ認識システム１が備える受信装置１０の一動作例を示すフローチャートである。

映像受信部１１が映像コンテンツを受信すると、映像抽出部１２は、映像コンテンツを構成するフレームシーケンスから、予め定められたフレームレートで複数の画像フレームを抽出する（ステップＳ１）。

画像認識部１００は、映像抽出部１２で抽出された複数の画像フレームを取得し、取得した複数の画像フレームのフレーム間の変化に基づいて、画像認識を行う（ステップＳ２）。画像認識の処理の詳細は、図７を用いて後述する。

画像認識部１００は、ステップＳ２において画像認識ができたときは画像認識の結果を出力し、画像認識ができないときは画像認識の結果を出力しない（ステップＳ３）。

ステップＳ３で画像認識部１００から画像認識の結果が出力されたとき（ステップＳ３のＹｅｓ）、付加情報取得部１３は、その画像認識の結果に基づいて広告サーバ装置３０から付加情報を取得する（ステップＳ４）。そして、映像出力部１４は、取得した付加情報を映像コンテンツに重畳して出力する。

ステップＳ３で画像認識部１００から画像認識の結果が出力されないとき（ステップＳ３のＮｏ）、受信装置１０の処理はステップＳ１に戻り、ステップＳ１の画像フレームの抽出、およびステップＳ２の画像認識が繰り返される。受信装置１０では、映像コンテンツに対応するコンテンツが検出されないときに、画像認識部１００から画像認識の結果が出力されず、ステップＳ３でＮｏとなる。

ステップＳ４の後は、映像コンテンツが終了したか否かが判定される（ステップＳ５）。具体的には、映像受信部１１が映像コンテンツを取得できるか否か、すなわち、受信装置１０に映像コンテンツが入力されているか否か、によってステップＳ５の判定がなされる。

ステップＳ５で映像コンテンツが終了したと判定された場合（ステップＳ５のＹｅｓ）、コンテンツ認識システム１の処理は終了する。映像受信部１１が映像コンテンツを取得できないとき（受信装置１０に映像コンテンツが入力されないとき）に、ステップＳ５でＹｅｓと判定され、コンテンツ認識システム１の処理は終了する。

ステップＳ５で映像コンテンツは終了していないと判定された場合（ステップＳ５のＮｏ）、すなわち、受信装置１０への映像コンテンツの入力が継続していれば、コンテンツ認識システム１の処理はステップＳ１に戻り、ステップＳ１以降の一連の処理が繰り返される。

［１−４−２．画像認識］
次に、本実施の形態における画像認識部１００の動作について、図７を用いて説明する。

図７は、実施の形態１における画像認識の処理の一例を示すフローチャートである。図７のフローチャートは、図６のステップＳ２で実行される処理の概要を示している。

画像認識部１００のフィンガープリント生成部１１０は、ステップＳ１で映像コンテンツのフレームシーケンスから抽出された複数の画像フレームにおける、画像フレーム間の画像の変化に基づいて、認識データを生成する（ステップＳ１０）。なお、図７には、ステップＳ１０を「フレームシーケンシャル認識データ生成」と記す。ステップＳ１０の詳細は、図８を用いて後述する。

次に、画像認識部１００の照合部１３０は、ステップＳ１０でフィンガープリント生成部１１０が生成した認識データを、フィンガープリント取得部１２０によってサーバ装置２０から取得された複数の認識データと照合する（ステップＳ２０）。なお、図７には、ステップＳ２０を「フレームシーケンシャル認識データ照合」と記す。ステップＳ２０の詳細は、図１７を用いて後述する。

［１−４−３．フレームシーケンシャル認識データ生成］
次に、本実施の形態で認識データが生成されるときの処理の詳細を、図８〜図１６Ｂを用いて説明する。

まず、認識データを生成するときの処理の概要を、図８を用いて説明する。

図８は、実施の形態１における認識データを生成するときの処理の一例を示すフローチャートである。図８のフローチャートは、図７のステップＳ１０で実行される処理の概要を示している。

まず、フィンガープリント生成部１１０は、ステップＳ１で抽出された複数の画像フレームから、画像フレーム間の画像の変化量を算出する（ステップＳ１００）。画像の変化量の算出の詳細は、図１０〜図１２を用いて後述する。

次に、フィンガープリント生成部１１０は、静的フィンガープリントを生成する（ステップＳ１１０）。

フィンガープリント生成部１１０は、画像変化フレームに基づいて静的領域を決定し、決定した静的領域に基づいて静的フィンガープリントを生成する。静的フィンガープリントの生成の詳細は、図１３、図１４を用いて後述する。

次に、フィンガープリント生成部１１０は、動的フィンガープリントを生成する（ステップＳ１２０）。

フィンガープリント生成部１１０は、画像変化フレームに基づいて動的領域を決定し、決定した動的領域に基づいて動的フィンガープリントを生成する。動的フィンガープリントの生成の詳細は、図１５、図１６Ａ、１６Ｂを用いて後述する。

なお、ステップＳ１１０における静的フィンガープリントの生成処理と、ステップＳ１２０における動的フィンガープリントの生成処理とは、どちらが先に実行されてもよく、あるいは、互いに並列に実行されてもよい。

ここで、認識データの生成処理過程における画像フレームの変化について、図９に一例を挙げて説明する。

図９は、実施の形態１における認識データの生成処理過程における画像フレームの変化の一例を模式的に示す図である。

なお、図９には、ステップＳ１で抽出された複数の画像フレーム（ａ）と、後述するステップＳ１０１でグレースケール変換された画像フレーム（ｂ）と、後述するステップＳ１０２でダウンスケール変換された画像フレーム（ｃ）と、後述するステップＳ１０３で算出された変化量（ｄ）と、ステップＳ１１０、ステップＳ１２０で生成されたフィンガープリント（ｅ）と、を模式的に示す。

まず、図９の画像フレーム（ａ）に、図６に示したステップＳ１で、９つの画像フレームＡ００１〜Ａ００９が映像コンテンツから抽出されたときの例を示す。図９に示す例では、画像フレームＡ００１〜Ａ００９のそれぞれは、第１のシーン〜第３のシーンの３つのシーンのいずれかに含まれる。画像フレームＡ００１〜Ａ００３は第１のシーンに含まれ、画像フレームＡ００４〜Ａ００６は第２のシーンに含まれ、画像フレームＡ００７〜Ａ００９は第３のシーンに含まれる。画像フレームＡ００１〜Ａ００９は、いわゆるカラー画像であり、色情報を含んでいる。

次に、図９の画像フレーム（ｂ）に、図６のステップＳ１で抽出された９つの画像フレームＡ００１〜Ａ００９のそれぞれに対して、後述する図１０のステップＳ１０１でグレースケール変換が行われたときの例を示す。これにより、画像フレームＡ００１〜Ａ００９に含まれる色情報は、画素毎に輝度値に変換される。

次に、図９の画像フレーム（ｃ）に、後述する図１０のステップＳ１０１でグレースケール変換された９つの画像フレームＡ００１〜Ａ００９のそれぞれに対して、後述する図１０のステップＳ１０２でダウンスケール変換が行われたときの例を示す。これにより、画像フレームを構成する画素数が削減される。なお、図９の画像フレーム（ｃ）には、１つの画像フレームが５ブロック×５ブロックの２５個のブロックに分割されたときの例を示す。これは、１つの画像フレームを構成する画素の数を２５個にダウンスケールした、と言い換えることができる。図９の画像フレーム（ｃ）に示す各ブロックの輝度値は、各ブロックを構成する複数の画素の輝度値から算出される。各ブロックの輝度値は、ブロック毎に、ブロックを構成する複数の画素の輝度値の平均値や中間値等を算出することで、算出できる。

なお、図９の画像フレーム（ｃ）において、各ブロックの濃淡は、輝度値の大小に対応している。輝度値が大きいほどそのブロックをより濃く、輝度値が小さいほどそのブロックをより薄く、示している。

次に、図９の変化量（ｄ）に、後述する図１０のステップＳ１０２でダウンスケール変換された９つの画像フレームＡ００１〜Ａ００９から、後述する図１０のステップＳ１０３で８つの画像変化フレームＢ００１〜Ｂ００８が生成されたときの例を示す。ステップＳ１０３では、時間的に隣り合う２つの画像フレーム間で輝度値の変化量（すなわち、輝度変化値）を算出することで、１つの画像変化フレームが生成される。ステップＳ１０３では、例えば、ダウンスケール変換された画像フレームＡ００１と画像フレームＡ００２とから画像変化フレームＢ００１が生成される。

なお、図９の変化量（ｄ）において、画像変化フレームを構成する各ブロックの濃淡は、画像変化フレームの輝度変化値、すなわち、ダウンスケール変換された２つの画像フレーム間の輝度値の変化量、に対応している。輝度値の変化量が大きいほどそのブロックをより濃く、輝度値の変化量が小さいほどそのブロックをより薄く、示している。

次に、図９のフィンガープリント（ｅ）に、後述する図１０のステップＳ１０３で生成された８つの画像変化フレームＢ００１〜Ｂ００８から、合計で５つの静的フィンガープリントおよび動的フィンガープリントが生成されたときの例を示す。

図９に示す例では、画像変化フレームＢ００１と画像変化フレームＢ００２とは、共に、同一のシーンに含まれる画像フレームＡ００１〜Ａ００３から生成される。このため、画像変化フレームＢ００１と画像変化フレームＢ００２とは互いに類似する。したがって、ステップＳ１１０では、画像変化フレームＢ００１と画像変化フレームＢ００２から、１つの静的フィンガープリントＣ００２を生成することができる。画像変化フレームＢ００４と画像変化フレームＢ００５、および、画像変化フレームＢ００７と画像変化フレームＢ００８、についても同様である。

一方、図９に示す例では、画像変化フレームＢ００３は、シーンの切り替わりとなる２つの画像フレームＡ００３、Ａ００４から生成される。したがって、ステップＳ１２０では、画像変化フレームＢ００３から、１つの動的フィンガープリントＤ００３を生成することができる。画像変化フレームＢ００６も同様である。

図９に示す例では、このようにして画像フレームＡ００１〜Ａ００９から生成された映像コンテンツのフィンガープリントは、３つの静的フィンガープリントＣ００２、Ｃ００５、Ｃ００８と、２つの動的フィンガープリントＤ００３、Ｄ００６と、を有する。

このように、生成された映像コンテンツのフィンガープリントは、１以上の静的フィンガープリントおよび１以上の動的フィンガープリントのうちの、少なくとも２つを含む。映像コンテンツのフィンガープリントは、２以上の静的フィンガープリントだけで構成されてもよく、２以上の動的フィンガープリントだけで構成されてもよく、あるいは、１以上の静的フィンガープリントおよび１以上の動的フィンガープリントで構成されてもよい。

なお、図９のフィンガープリント（ｅ）において、静的フィンガープリントまたは動的フィンガープリントを構成する各ブロックの濃淡は、そのブロックの輝度値の大小に対応する。

［１−４−４．スケール変換および変化量の算出］
次に、本実施の形態で画像フレーム間の変化量を算出するときの処理の詳細を、図１０〜図１２を用いて説明する。

図１０は、実施の形態１における画像フレーム間の変化量の算出処理の一例を示すフローチャートである。図１０のフローチャートは、図８のステップＳ１００で実行される処理の概要を示している。

図１１は、実施の形態１における画像フレームのダウンスケール変換処理の一例を模式的に示す図である。

図１２は、実施の形態１における画像フレーム間の変化量の算出処理の一例を模式的に示す図である。

図１０のフローチャートを説明する。まず、図５に示したスケール変換部２１０は、抽出された複数の画像フレームのグレースケール変換を行う（ステップＳ１０１）。

スケール変換部２１０は、抽出された複数の画像フレームの１つと、その画像フレームに時間的に隣り合う画像フレームとをそれぞれグレースケールに変換する。なお、本実施の形態では、抽出された１つの画像フレームを「フレーム９１」とし、フレーム９１に時間的に隣り合う画像フレームを「フレーム９２」とする。スケール変換部２１０は、例えば、ＮＴＳＣ系加重平均法に基づいて、フレーム９１、９２の色情報を輝度値に変換する。

なお、本実施の形態では、フレーム９１の直後の画像フレームをフレーム９２とする。しかし、本開示は何らこの構成に限定されない。フレーム９２は、フレーム９１の直前の画像フレームでもよい。あるいは、フレーム９２は、フレーム９１の２フレーム以上前の画像フレームでもよく、または、フレーム９１の２フレーム以上後の画像フレームでもよい。

次に、スケール変換部２１０は、グレースケール変換された２つの画像フレームのダウンスケール変換を行う（ステップＳ１０２）。

図１１は、画像フレームＡ００３、Ａ００４をダウンスケール変換する例を示している。図１１に示す例では、画像フレームＡ００３がフレーム９１に相当し、画像フレームＡ００４がフレーム９２に相当する。

例えば、図１１に示すように、スケール変換部２１０は、画像フレームＡ００３を、５ブロック×５ブロックの２５個のブロックに分割する。図１１に示す例では、各ブロックは、９画素×９画素の８１個の画素を含んでいるものとする。例えば、画像フレームＡ００３の左上のブロックは、図１１に示すように、「７７」、「９５」などの輝度値を有する８１個の画素から構成されている。なお、これらの数値は単なる一例に過ぎず、本開示は何らこれらの数値に限定されるものではない。

スケール変換部２１０は、例えば、ブロック毎に、各ブロックに含まれる複数の画素の輝度値の平均値を算出することで、そのブロックを表す輝度値を算出する。図１１に示す例では、画像フレームＡ００３の左上のブロックを構成する８１個の画素の輝度値の平均値を算出することで、「１０３」という値が算出される。このようにして算出された値（平均値）が、左上のブロックを表す輝度値である。スケール変換部２１０は、このようにして、画像フレームＡ００３を構成する全てのブロックのそれぞれに関して、各ブロックを表す輝度値を算出する。

これにより、画像フレームを構成する画素数を、ブロックの数に変換（すなわち、ダウンスケール）することができる。図１１に示す例では、４５画素×４５画素の画素数を有する画像フレームを、５ブロック×５ブロックの２５個のブロックで構成された画像フレームにダウンスケール変換している。これは、４５画素×４５画素の画素数を有する画像フレームを、５画素×５画素の画素数を有する画像フレームにダウンスケール変換した、と言い換えることができる。

図１１に示す例では、ダウンスケール後の画像フレームＡ００３は、「１０３」、「１００」などの平均値を含む２５個のブロックで構成されている。これは、ダウンスケール後の画像フレームＡ００３は、「１０３」、「１００」等の輝度値を有する２５個の画素で構成される、と言い換えてもよい。画像フレームＡ００４も同様にダウンスケール変換される。なお、本実施の形態では、ダウンスケール変換後の画像フレームを構成する各ブロックを「画素」と表現し、ブロック毎に算出される輝度の平均値を「ダウンスケール変換後の画像フレームの画素の輝度値」と表現する場合がある。

次に、図５に示した差分算出部２２０は、ダウンスケール変換後のフレーム９１とフレーム９２との間で輝度値の差分を算出して、輝度値の差分（すなわち、輝度変化値）で構成された画像変化フレームを生成する（ステップＳ１０３）。

例えば、図１２に示す例では、差分算出部２２０は、ダウンスケール変換後のフレーム９１を構成する各画素の輝度値と、ダウンスケール変換後のフレーム９２を構成する各画素の輝度値と、の差分をそれぞれ算出する。このとき、差分算出部２２０は、同じ位置の画素同士で輝度値の差分を算出する。例えば、差分算出部２２０は、画像フレームＡ００３の左上の輝度値「１０３」から、画像フレームＡ００４の左上の輝度値「８９」を減算して、画像変化フレームＢ００３の左上の輝度変化値「１４」を算出する。

このようにして、差分算出部２２０は、ダウンスケール変換後の２つの画像フレーム間で、全画素（すなわち、全ブロック）について輝度値の差分を算出し、画像変化フレームを生成する。図１２に示す例では、ダウンスケール変換後の画像フレームＡ００３、Ａ００４から画像変化フレームＢ００３が生成される。

［１−４−５．静的フィンガープリントの生成］
次に、本実施の形態で静的フィンガープリントを生成するときの処理の詳細を、図１３、図１４を用いて説明する。

図１３は、実施の形態１における静的フィンガープリントの生成処理の一例を示すフローチャートである。図１３のフローチャートは、図８のステップＳ１１０で実行される処理の概要を示している。

図１４は、実施の形態１における画像フレーム間の変化量に基づいて生成される静的フィンガープリントの一例を模式的に示す図である。

まず、図５に示した静的領域決定部２３１が静的領域を決定する（ステップＳ１１１）。

静的領域決定部２３１は、画像変化フレームの輝度変化値の絶対値を算出し、その絶対値を第１閾値と比較する。そして、輝度変化値の絶対値が第１閾値より小さいか否かを判定し、輝度変化値の絶対値が第１閾値より小さい領域を静的領域とする。こうして、静的領域が決定される。輝度変化値の絶対値は、時間的に隣り合う２つの画像フレーム間における輝度値の変化量である。

例えば、第１閾値が「１」に設定されていれば、静的領域決定部２３１は、画像変化フレームの輝度変化値が「０」である領域、すなわち、時間的に隣り合う２つの画像フレーム間で輝度値が実質的に変化していない領域、を静的領域とする。この設定の場合、図１４に示す例では、画像変化フレームＢ００２で輝度変化値として「０」が記入された１３個のブロックが静的領域になる。

次に、図５に示した静的フィンガープリント生成部２４１は、ステップＳ１１１で決定された静的領域でフレーム９１をフィルタリングして、静的フレームを生成する（ステップＳ１１２）。

このフィルタリングとは、フレーム９１を構成する各ブロックの輝度値に対して、次の処理を施すことである。ステップＳ１１１で決定された静的領域に関してはその静的領域に該当するフレーム９１のブロックの輝度値をそのまま使用し、静的領域以外のブロックに関しては輝度値を一定値（例えば、「０」）にする。

フレーム９１をフィルタリングすることで生成される静的フレームは、図１４に示す例では、静的フレームＣ００２である。静的フレームＣ００２では、画像変化フレームＢ００２で輝度変化値が「０」となったブロック（静的領域）に関してはフレーム９１の輝度値がそのまま用いられ、静的領域以外のブロックに関しては輝度値が「０」になる。

次に、静的フィンガープリント生成部２４１は、ステップＳ１１１で決定された静的領域の割合を算出して第１割合と比較し、静的領域の割合が第１割合以上であるか否かを判定する（ステップＳ１１３）。

静的フィンガープリント生成部２４１は、画像変化フレームを構成するブロックの総数に対する、ステップＳ１１１で静的領域とされたブロックの数、に基づき静的領域の割合を算出する。図１４に示す画像変化フレームＢ００２の例では、画像変化フレームを構成するブロックの総数は２５であり、静的領域のブロックの数は１３であるので、静的領域の割合は５２％となる。したがって、第１割合が例えば３０％であれば、図１４に示す例では、ステップＳ１１３でＹｅｓと判定される。

ステップＳ１１３において静的領域の割合は第１割合以上であると判定された場合（ステップＳ１１３のＹｅｓ）、静的フィンガープリント生成部２４１は、ステップＳ１１２で生成された静的フレームを静的フィンガープリントとして保存する（ステップＳ１１４）。

図１４に示す例では、ステップＳ１１３でＹｅｓと判定された場合、静的フレームＣ００２が、静的フィンガープリントＣ００２として、受信装置１０が有する記憶装置（例えば、画像認識部１００の内部メモリ等、図示せず）に保存される。

ステップＳ１１３において静的領域の割合は第１割合未満であると判定された場合（ステップＳ１１３のＮｏ）、静的フィンガープリント生成部２４１は、ステップＳ１１２で生成された静的フレームを保存せずに破棄する（ステップＳ１１５）。したがって、ステップＳ１１３でＮｏと判定された場合、静的フィンガープリントは生成されない。

なお、図１３のフローチャートでは、ステップＳ１１２においてフィルタリングを行って静的フレームを生成した後に、ステップＳ１１３において静的フレームを保存するか否かの判定を行う動作例を説明したが、本開示は何らこの処理順序に限定されない。例えば、ステップＳ１１１において静的領域を決定した後に、ステップＳ１１３を実行し、ステップＳ１１３でＹｅｓと判定されたときに、ステップＳ１１２を実行して静的フレームを生成し、続くステップＳ１１４でその静的フレームを静的フィンガープリントとして保存する、ように各処理の順番が設定されてもよい。

［１−４−６．動的フィンガープリントの生成］
次に、本実施の形態で動的フィンガープリントを生成するときの処理の詳細を、図１５、図１６Ａ、１６Ｂを用いて説明する。

図１５は、実施の形態１における動的フィンガープリントの生成処理の一例を示すフローチャートである。

図１６Ａは、実施の形態１における動的フィンガープリントが生成されない画像フレームの一例を模式的に示す図である。

図１６Ｂは、実施の形態１における画像フレーム間の変化量に基づいて生成される動的フィンガープリントの一例を模式的に示す図である。

まず、図５に示した動的領域決定部２３２が動的領域を決定する（ステップＳ１２１）。

動的領域決定部２３２は、画像変化フレームの輝度変化値の絶対値を算出し、その絶対値を第２閾値と比較する。そして、輝度変化値の絶対値が第２閾値より大きいか否かを判定し、輝度変化値の絶対値が第２閾値より大きい領域を動的領域とする。こうして、動的領域が決定される。

例えば、第２閾値が「２０」に設定されていれば、画像変化フレームにおいて輝度変化値の絶対値が「２１」以上のブロックが動的領域となる。この設定の場合、図１６Ａに示す例では、画像変化フレームＢ００２において輝度変化値として「２１」以上または「−２１」以下の数値が記入された２個のブロックが動的領域になり、図１６Ｂに示す例では、画像変化フレームＢ００３において輝度変化値として「２１」以上または「−２１」以下の数値が記入された１１個のブロックが動的領域になる。

次に、図５に示した動的フィンガープリント生成部２４２は、ステップＳ１２１で決定された動的領域で画像変化フレームをフィルタリングして、動的フレームを生成する（ステップＳ１２２）。

このフィルタリングとは、画像変化フレームを構成する各ブロックの輝度変化値に対して、次の処理を施すことである。ステップＳ１２１で決定された動的領域に関してはその動的領域に該当するブロックの輝度変化値をそのまま使用し、動的領域以外のブロックに関しては輝度変化値を一定値（例えば、「０」）にする。

画像変化フレームをフィルタリングすることで生成される動的フレームは、図１６Ａに示す例では動的フレームＤ００２であり、図１６Ｂに示す例では動的フレームＤ００３である。動的フレームＤ００２、Ｄ００３では、画像変化フレームＢ００２、Ｂ００３で輝度変化値が「２１」以上または「−２１」以下となったブロック（動的領域）に関しては画像変化フレームＢ００２、Ｂ００３の輝度変化値がそのまま用いられ、動的領域以外のブロックに関しては輝度変化値が「０」になる。

なお、画像変化フレームに対するステップＳ１２１、ステップＳ１２２の処理は、例えば、輝度変化値の絶対値が第２閾値以下であるブロックに関して、その輝度変化値を「０」に置き換える、という一括した処理で実行することができる。

次に、動的フィンガープリント生成部２４２は、ステップＳ１２１で決定された動的領域の割合を算出して第２割合と比較し、動的領域の割合が第２割合以上であるか否かを判定する（ステップＳ１２３）。

動的フィンガープリント生成部２４２は、画像変化フレームを構成するブロックの総数に対する、ステップＳ１２１で動的領域とされたブロックの数、に基づき動的領域の割合を算出する。図１６Ａに示す画像変化フレームＢ００２の例では、画像変化フレームを構成するブロックの総数は２５であり、動的領域のブロックの数は２であるので、動的領域の割合は８％となる。図１６Ｂに示す画像変化フレームＢ００３の例では、画像変化フレームを構成するブロックの総数は２５であり、動的領域のブロックの数は１１であるので、動的領域の割合は４４％となる。したがって、第２割合が例えば３０％であれば、図１６Ａに示す例では、ステップＳ１２３でＮｏと判定され、図１６Ｂに示す例では、ステップＳ１２３でＹｅｓと判定される。

ステップＳ１２３において動的領域の割合は第２割合以上であると判定された場合（ステップＳ１２３のＹｅｓ）、動的フィンガープリント生成部２４２は、ステップＳ１２２で生成された動的フレームを動的フィンガープリントとして保存する（ステップＳ１２４）。

一方、動的領域の割合は第２割合未満であると判定された場合（ステップＳ１２３のＮｏ）、動的フィンガープリント生成部２４２は、ステップＳ１２２で生成された動的フレームを保存せずに破棄する（ステップＳ１２５）。したがって、ステップＳ１２３でＮｏと判定された場合、動的フィンガープリントは生成されない。

図１６Ｂに示す例では、ステップＳ１２３でＹｅｓと判定された動的フレームＤ００３が、動的フィンガープリントＤ００３として、受信装置１０が有する記憶装置（例えば、画像認識部１００の内部メモリ等、図示せず）に保存される。

図１６Ａに示す例では、ステップＳ１２３でＮｏと判定された動的フレームＤ００２は、保存されずに破棄される。

なお、図１５のフローチャートでは、ステップＳ１２２においてフィルタリングを行って動的フレームを生成した後に、ステップＳ１２３において動的フレームを保存するか否かの判定を行う動作例を説明したが、本開示は何らこの処理順序に限定されない。例えば、ステップＳ１２１において動的領域を決定した後に、ステップＳ１２３を実行し、ステップＳ１２３でＹｅｓと判定されたときに、ステップＳ１２２を実行して動的フレームを生成し、続くステップＳ１２４でその動的フレームを動的フィンガープリントとして保存する、ように各処理の順番が設定されてもよい。

［１−４−７．フレームシーケンシャル認識データ照合］
次に、本実施の形態において認識データの照合を実行するときの処理の詳細を、図１７〜図２１を用いて説明する。

図１７は、実施の形態１における認識データの照合処理の一例を示すフローチャートである。図１７のフローチャートは、図７のステップＳ２０で実行される処理の概要を示している。

図１８は、実施の形態１における静的フィンガープリントの照合処理の一例を模式的に示す図である。

図１９は、実施の形態１における動的フィンガープリントの照合処理の一例を模式的に示す図である。

図２０は、実施の形態１における映像コンテンツの認識条件の一例を示す図である。図２０には、一例として、５つの認識条件（ａ）〜（ｅ）を示す。

図２１は、実施の形態１における映像コンテンツの照合処理の一例を模式的に示す図である。

［１−４−７−１．静的フィンガープリントの類似度］
図１７のフローチャートを説明する。図１および図２に示した照合部１３０は、静的フィンガープリントの類似度を算出する（ステップＳ２００）。

照合部１３０は、フィンガープリント生成部１１０で生成されたフィンガープリントに含まれる静的フィンガープリントを、フィンガープリント取得部１２０によってサーバ装置２０から取得された複数のフィンガープリントのそれぞれに含まれる静的フィンガープリント（以下、「データベースに含まれる静的フィンガープリント」とも記す）と照合する。そして、照合部１３０は、フィンガープリント生成部１１０で生成された静的フィンガープリントと、データベースに含まれる複数の静的フィンガープリントのそれぞれとの類似度を算出する。なお、サーバ装置２０から取得された複数のフィンガープリントは、サーバ装置２０のフィンガープリントＤＢ２２に蓄積されたフィンガープリントである。

照合部１３０は、静的領域の一致度合いを、類似度として算出する。具体的には、照合部１３０は、フィンガープリント生成部１１０で生成された静的フィンガープリントの静的領域の位置と、フィンガープリント取得部１２０により取得された静的フィンガープリントの静的領域の位置と、を互いに比較する。そして、照合部１３０は、両者が互いに一致する領域（ブロック）の数を計数し、両者が一致する領域が静的フィンガープリント内に占める割合を、類似度として算出する。

なお、本実施の形態では、両者が互いに一致するか否かを、静的領域か否かだけで判断し、各ブロックの輝度値は考慮しないものとする。照合部１３０は、互いに同じ位置にあるブロックがともに静的領域であれば、それぞれのブロックの輝度値が互いに異なっていても、両者は一致する、と判定する。

照合部１３０で行われる類似度の算出処理の一例を、図１８に具体例を示して、説明する。

図１８に示す静的フィンガープリントＣ００２は、フィンガープリント生成部１１０で生成された静的フィンガープリントである。また、図１８に示す静的フィンガープリントＣ００Ｘは、フィンガープリント取得部１２０によってサーバ装置２０から取得された静的フィンガープリントである。なお、図１８では、静的フィンガープリントＣ００２を「認識データに含まれる静的フィンガープリント」と記し、静的フィンガープリントＣ００Ｘを「データベースに含まれる静的フィンガープリント」と記す。

図１８に示す例では、静的フィンガープリントＣ００２が有する静的領域のブロックの数と、静的フィンガープリントＣ００Ｘが有する静的領域のブロックの数は、ともに１３であり同数である。しかし、位置に若干の違いがある。静的フィンガープリントＣ００２と静的フィンガープリントＣ００Ｘとの間で、静的領域のブロックの位置が互いに一致するのは、静的フィンガープリント内の２５個のブロックのうち、上から１段目の５つと、上から２段目の１つ（輝度値が「１２８」のブロック）と、上から５段目の５つの、合計で１１のブロックである。ここでは静的フィンガープリントを構成するブロックの総数は２５であるので、照合部１３０は、１１／２５＝４４％を算出し、算出した４４％を、静的フィンガープリントＣ００２と静的フィンガープリントＣ００Ｘとの類似度とする。

そして、照合部１３０は、算出した類似度を予め定められた静的閾値と比較し、その比較の結果に基づき類似判定を行う。照合部１３０は、算出した類似度が静的閾値以上であれば「類似する」と判定し、算出した類似度が静的閾値未満であれば「類似しない」と判定する。上述の例では、静的閾値が例えば４０％に設定されていれば、照合部１３０は、静的フィンガープリントＣ００２と静的フィンガープリントＣ００Ｘとは類似する、と判定する。なお、この静的閾値の数値は、単なる一例に過ぎず、適切に設定されることが望ましい。

なお、本実施の形態では、静的フィンガープリントの類似度を算出する際に、静的フィンガープリントを構成する各ブロックが有する輝度値は考慮しない、と説明したが、本開示は何らこの構成に限定されない。照合部１３０は、静的フィンガープリントの類似度を算出する際に、静的フィンガープリントを構成する各ブロックが有する輝度値を用いてもよい。例えば、照合部１３０は、２つの静的フィンガープリントを照合する際に、位置だけでなく輝度値も互いに一致するブロックの数を計数して静的フィンガープリントの類似度を算出してもよい。あるいは、照合部１３０は、正規化相互相関マッチング（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）を利用して、静的フィンガープリントの類似度を算出してもよい。

［１−４−７−２．動的フィンガープリントの類似度］
次に、照合部１３０は、動的フィンガープリントの類似度を算出する（ステップＳ２１０）。

照合部１３０は、フィンガープリント生成部１１０で生成されたフィンガープリントに含まれる動的フィンガープリントを、フィンガープリント取得部１２０によってサーバ装置２０から取得された複数のフィンガープリントのそれぞれに含まれる動的フィンガープリント（以下、「データベースに含まれる動的フィンガープリント」とも記す）と照合する。そして、照合部１３０は、フィンガープリント生成部１１０で生成された動的フィンガープリントと、データベースに含まれる複数の動的フィンガープリントのそれぞれとの類似度を算出する。

照合部１３０は、動的領域の一致度合いを、類似度として算出する。具体的には、照合部１３０は、フィンガープリント生成部１１０で生成された動的フィンガープリントの動的領域の位置および輝度変化値の符号と、フィンガープリント取得部１２０により取得された動的フィンガープリントの動的領域の位置および輝度変化値の符号と、を互いに比較する。そして、照合部１３０は、両者が互いに一致する領域（ブロック）の数を計数し、両者が一致する領域が動的フィンガープリント内に占める割合を、類似度として算出する。

なお、本実施の形態では、両者が互いに一致するか否かを、動的領域か否か、および輝度変化値の符号、で判断し、各ブロックの輝度変化値の数値は考慮しないものとする。照合部１３０は、互いに同じ位置にあるブロックがともに動的領域であり、かつ輝度変化値の符号が互いに同じであれば、それぞれのブロックの輝度変化値の数値が互いに異なっていても、両者は一致する、と判定する。

照合部１３０で行われる類似度の算出処理の一例を、図１９に具体例を示して、説明する。

図１９に示す動的フィンガープリントＤ００３は、フィンガープリント生成部１１０で生成された動的フィンガープリントである。また、図１９に示す動的フィンガープリントＤ００Ｘは、フィンガープリント取得部１２０によってサーバ装置２０から取得された動的フィンガープリントである。なお、図１９では、動的フィンガープリントＤ００３を「認識データに含まれる動的フィンガープリント」と記し、動的フィンガープリントＤ００Ｘを「データベースに含まれる動的フィンガープリント」と記す。

図１９に示す例では、動的フィンガープリントＤ００３が有する動的領域のブロックの数は１１であり、動的フィンガープリントＤ００Ｘが有する動的領域のブロックの数は８である。そして、動的フィンガープリントＤ００３と動的フィンガープリントＤ００Ｘとの間で、動的領域のブロックの位置および輝度変化値の符号が互いに一致するのは、動的フィンガープリント内の２５個のブロックのうち、上から１段目の２つと、上から２段目の２つと、上から５段目の１つの、合計で５つのブロックである。ここでは動的フィンガープリントを構成するブロックの総数は２５であるので、照合部１３０は、５／２５＝２０％を算出し、算出した２０％を、動的フィンガープリントＤ００３と動的フィンガープリントＤ００Ｘとの類似度とする。

そして、照合部１３０は、算出した類似度を予め定められた動的閾値と比較し、その比較の結果に基づき類似判定を行う。照合部１３０は、算出した類似度が動的閾値以上であれば「類似する」と判定し、算出した類似度が動的閾値未満であれば「類似しない」と判定する。上述の例では、動的閾値が例えば３０％に設定されていれば、照合部１３０は、動的フィンガープリントＤ００３と動的フィンガープリントＤ００Ｘとは類似しない、と判定する。

なお、この動的閾値の数値は、単なる一例に過ぎず、適切に設定されることが望ましい。また、上述した静的閾値と、この動的閾値とは、互いに同じ数値に設定されてもよく、あるいは、互いに異なる数値に設定されてもよい。

このように、照合部１３０は、ステップＳ２００で算出した類似度に基づく静的フィンガープリントに関する類似判定と、ステップＳ２１０で算出した動的フィンガープリントに関する類似判定とを、それぞれ実行する。

なお、本実施の形態では、動的フィンガープリントの類似度を算出する際に、動的フィンガープリントを構成する各ブロックが有する輝度変化値の大きさは考慮しない、と説明したが、本開示は何らこの構成に限定されない。照合部１３０は、動的フィンガープリントの類似度を算出する際に、動的フィンガープリントを構成する各ブロックが有する輝度変化値の絶対値を用いてもよい。例えば、照合部１３０は、２つの動的フィンガープリントを照合する際に、位置および符号に加え輝度変化値の絶対値も互いに一致するブロックの数を計数して動的フィンガープリントの類似度を算出してもよい。あるいは、照合部１３０は、静的フィンガープリントの類似度を算出するときと同様に、動的領域のブロックの位置のみを用いて動的フィンガープリントの類似度を算出してもよい。あるいは、照合部１３０は、正規化相互相関マッチングを利用して、動的フィンガープリントの類似度を算出してもよい。

なお、ステップＳ２００における静的フィンガープリントの類似度の算出処理と、ステップＳ２１０における動的フィンガープリントの類似度の算出処理とは、どちらが先に実行されてもよく、あるいは、双方が並列に実行されてもよい。

［１−４−７−３．コンテンツ認識］
次に、照合部１３０は、フィンガープリントの類似判定の結果に基づき、映像コンテンツの認識を行う（ステップＳ２２０）。

照合部１３０は、静的フィンガープリントの類似判定の結果と、動的フィンガープリントの類似判定の結果と、所定の認識条件と、に基づいて、映像コンテンツの認識を行う。照合部１３０は、上述したように、フィンガープリント生成部１１０で生成されたフィンガープリントに含まれる静的フィンガープリントおよび動的フィンガープリントのそれぞれと、フィンガープリント取得部１２０によってサーバ装置２０から取得された複数のフィンガープリントとを照合する。そして、照合部１３０は、その照合の結果と所定の認識条件とに基づき、フィンガープリント取得部１２０で取得された複数のフィンガープリントから１つのフィンガープリントを選定し、選定したフィンガープリントに対応する情報を照合結果として出力する。

認識条件は、静的フィンガープリントおよび動的フィンガープリントの少なくとも一方に基づいて定められた条件である。認識条件の一例を、図２０に示す。なお、図２０に示す認識条件は、所定の期間において用いられる条件である。この所定の期間とは、予め定められたフレーム数の期間である。所定の期間は、例えば、１０フレーム以下の期間である。

すなわち、照合部１３０は、所定の期間にフィンガープリント生成部１１０で生成された静的フィンガープリントおよび動的フィンガープリントのそれぞれを、フィンガープリント取得部１２０で取得された静的フィンガープリントおよび動的フィンガープリントと照合する。

なお、ここでのフレーム数は、画像変化フレームのフレーム数のことである。したがって、実際の期間は、所定の期間として定められたフレーム数に、映像抽出部１２に設定された抽出フレームレートとコンテンツのフレームレートとに基づく係数（例えば、図３、４に示す例では、３０ｆｐｓであれば「２」、２０ｆｐｓであれば「３」、１５ｆｐｓであれば「４」、等）を乗じたものに相当する。なお、このフレーム数を、画像変化フレームのフレーム数としてもよく、あるいはフィンガープリントの数としてもよい。

なお、以下の説明において、「類似する」とは、上述した類似判定において「類似する」と判定されたことを示す。

図２０に一例として示す認識条件（ａ）〜（ｅ）は、以下の通りである。
（ａ）静的フィンガープリントおよび動的フィンガープリントの少なくとも１つが類似する。
（ｂ）静的フィンガープリントおよび動的フィンガープリントの少なくとも２つが類似する。
（ｃ）静的フィンガープリントの少なくとも１つが類似し、動的フィンガープリントの少なくとも１つが類似する。
（ｄ）静的フィンガープリントまたは動的フィンガープリントが２回連続して類似する。
（ｅ）静的フィンガープリントまたは動的フィンガープリントが３回連続して類似する。

照合部１３０は、例えば認識条件（ａ）に基づいて照合処理を行う場合は、以下のように判断する。照合部１３０は、上述した類似判定において、静的フィンガープリントおよび動的フィンガープリントの少なくとも１つに対して「類似する」との判定がなされた場合に、映像コンテンツを認識できた、と判断する（ステップＳ２３０のＹｅｓ）。そうでなければ、照合部１３０は、映像コンテンツを認識できなかった、と判断する（ステップＳ２３０のＮｏ）。

照合部１３０は、例えば所定の期間が３フレームに設定されていれば、画像変化フレームの３フレームの期間に、以下の処理を実行する。照合部１３０は、フィンガープリント生成部１１０で生成されたフィンガープリントに含まれる静的フィンガープリントおよび動的フィンガープリントに対して上述の類似判定を行う。そして、それらのうちの少なくとも１つに「類似する」との判定がなされたフィンガープリントがあれば、照合部１３０は、映像コンテンツを認識できた、と判断する。そして、照合部１３０は、そのフィンガープリントに対応する情報を照合結果として出力する。

また、照合部１３０は、例えば認識条件（ｂ）に基づいて照合処理を行う場合は、以下のように判断する。照合部１３０は、上述した類似判定において、静的フィンガープリントおよび動的フィンガープリントの少なくとも２つに対して「類似する」との判定がなされた場合に、映像コンテンツを認識できた、と判断する（ステップＳ２３０のＹｅｓ）。そうでなければ、照合部１３０は、映像コンテンツを認識できなかった、と判断する（ステップＳ２３０のＮｏ）。

なお、この認識条件（ｂ）には、静的フィンガープリントが２つ以上「類似する」と判定される場合、動的フィンガープリントが２つ以上「類似する」と判定される場合、静的フィンガープリントが１つ以上「類似する」と判定されかつ動的フィンガープリントが１つ以上「類似する」と判定される場合、が含まれる。

照合部１３０は、例えば所定の期間が５フレームに設定されていれば、画像変化フレームの５フレームの期間に、以下の処理を実行する。照合部１３０は、フィンガープリント生成部１１０で生成されたフィンガープリントに含まれる静的フィンガープリントおよび動的フィンガープリントに対して上述の類似判定を行う。そして、それらのうちの少なくとも２つに「類似する」との判定がなされたフィンガープリントがあれば、照合部１３０は、映像コンテンツを認識できた、と判断する。そして、照合部１３０は、そのフィンガープリントに対応する情報を照合結果として出力する。

また、照合部１３０は、例えば認識条件（ｃ）に基づいて照合処理を行う場合は、以下のように判断する。照合部１３０は、上述した類似判定において、静的フィンガープリントの少なくとも１つおよび動的フィンガープリントの少なくとも１つに対して「類似する」との判定がなされた場合に、映像コンテンツを認識できた、と判断する（ステップＳ２３０のＹｅｓ）。そうでなければ、照合部１３０は、映像コンテンツを認識できなかった、と判断する（ステップＳ２３０のＮｏ）。

照合部１３０は、例えば所定の期間が５フレームに設定されていれば、画像変化フレームの５フレームの期間に、以下の処理を実行する。照合部１３０は、フィンガープリント生成部１１０で生成されたフィンガープリントに含まれる静的フィンガープリントおよび動的フィンガープリントに対して上述の類似判定を行う。そして、静的フィンガープリントの少なくとも１つと動的フィンガープリントの少なくとも１つとに「類似する」との判定がなされたフィンガープリントがあれば、照合部１３０は、映像コンテンツを認識できた、と判断する。そして、照合部１３０は、そのフィンガープリントに対応する情報を照合結果として出力する。

なお、この認識条件には、類似すると判定されるフィンガープリントの数に関する条件に加え、静的フィンガープリントおよび動的フィンガープリントの順序に関する条件が加えられてもよい。

また、照合部１３０は、例えば認識条件（ｄ）に基づいて照合処理を行う場合は、以下のように判断する。照合部１３０は、上述した類似判定において、静的フィンガープリントまたは動的フィンガープリントが２回連続して「類似する」と判定された場合に、映像コンテンツを認識できた、と判断する（ステップＳ２３０のＹｅｓ）。そうでなければ、照合部１３０は、映像コンテンツを認識できなかった、と判断する（ステップＳ２３０のＮｏ）。

なお、この認識条件（ｄ）は、以下の意味である。フィンガープリント生成部１１０において生成される時間的に連続したフィンガープリントが、２回以上連続して「類似する」と判定される。これには、２回以上連続して生成された静的フィンガープリントが２回以上連続して「類似する」と判定される場合と、２回以上連続して生成された動的フィンガープリントが２回以上連続して「類似する」と判定される場合と、互いに切り替わりながら連続して生成された静的フィンガープリントおよび動的フィンガープリントが２回以上連続して「類似する」と判定される場合と、が含まれる。

照合部１３０は、例えば所定の期間が５フレームに設定されていれば、画像変化フレームの５フレームの期間に、以下の処理を実行する。照合部１３０は、フィンガープリント生成部１１０によって生成されたフィンガープリントに含まれる静的フィンガープリントおよび動的フィンガープリントに対して上述の類似判定を行う。そして、静的フィンガープリントまたは動的フィンガープリントが２回連続して「類似する」と判定されたフィンガープリントがあれば、照合部１３０は、映像コンテンツを認識できた、と判断する。そして、照合部１３０は、そのフィンガープリントに対応する情報を認識結果として出力する。

また、照合部１３０は、例えば認識条件（ｅ）に基づいて照合処理を行う場合は、以下のように判断する。照合部１３０は、上述した類似判定において、静的フィンガープリントまたは動的フィンガープリントが３回連続して「類似する」と判定された場合に、映像コンテンツを認識できた、と判断する（ステップＳ２３０のＹｅｓ）。そうでなければ、照合部１３０は、映像コンテンツを認識できなかった、と判断する（ステップＳ２３０のＮｏ）。

なお、この認識条件（ｅ）は、以下の意味である。フィンガープリント生成部１１０において生成される時間的に連続したフィンガープリントが、３回以上連続して「類似する」と判定される。これには、３回以上連続して生成された静的フィンガープリントが３回以上連続して「類似する」と判定される場合と、３回以上連続して生成された動的フィンガープリントが３回以上連続して「類似する」と判定される場合と、互いに切り替わりながら連続して生成された静的フィンガープリントおよび動的フィンガープリントが３回以上連続して「類似する」と判定される場合と、が含まれる。

照合部１３０は、例えば所定の期間が８フレームに設定されていれば、画像変化フレームの８フレームの期間に、以下の処理を実行する。照合部１３０は、フィンガープリント生成部１１０によって生成されたフィンガープリントに含まれる静的フィンガープリントおよび動的フィンガープリントに対して上述の類似判定を行う。そして、静的フィンガープリントまたは動的フィンガープリントが３回連続して「類似する」と判定されたフィンガープリントがあれば、照合部１３０は、映像コンテンツを認識できた、と判断する。そして、照合部１３０は、そのフィンガープリントに対応する情報を認識結果として出力する。

なお、上述した認識条件においては、「類似する」と判定されるフィンガープリントの数、または、連続して「類似する」と判定されるフィンガープリントの数、を多くすることで、照合（コンテンツ認識）の精度を高めることができる。

照合部１３０が認識条件（ｅ）に基づいて照合処理を行う場合の動作の一例を、図２１に模式的に示す。この場合、照合部１３０は、静的フィンガープリントまたは動的フィンガープリントが３回連続で類似することを認識条件とする。

例えば、サーバ装置２０のフィンガープリントＤＢ２２から取得されたコンテンツ００Ｘのフィンガープリントが、静的フィンガープリントＡ、動的フィンガープリントＢ、静的フィンガープリントＣ、動的フィンガープリントＤ、静的フィンガープリントＥ、の順番で並んでいたとする。なお、図２１には、それぞれを、「静的Ａ」、「動的Ｂ」、「静的Ｃ」、「動的Ｄ」、「静的Ｅ」、と記す。

このとき、映像受信部１１で受信された映像コンテンツから生成されるフィンガープリントが、静的フィンガープリントＡ、動的フィンガープリントＢ、静的フィンガープリントＣの順番で並んでいたとする。なお、図２１には、それぞれを、「静的Ａ」、「動的Ｂ」、「静的Ｃ」、と記す。

この例では、照合部１３０は、上述した類似判定において、静的フィンガープリントＡ、動的フィンガープリントＢ、静的フィンガープリントＣ、のそれぞれに対して、「類似する」の判定結果を出す。すなわち、照合部１３０は、３回連続で「類似する」と判定する。

これにより、照合部１３０は、映像受信部１１で受信された映像コンテンツのフィンガープリントは、サーバ装置２０から取得されたコンテンツ００Ｘのフィンガープリントに類似する、と判定する。すなわち、照合部１３０は、映像受信部１１で受信された映像コンテンツはコンテンツ００Ｘである、と認識する。そして、照合部１３０は、コンテンツ００Ｘを示す情報（コンテンツ００Ｘのフィンガープリントに対応する情報）を照合結果として出力する。

照合部１３０で映像コンテンツを認識でき、照合部１３０から照合結果が出力されたとき（ステップＳ２３０でＹｅｓ）は、出力部１４０は、照合部１３０から受け取った照合結果に基づく画像認識の結果を付加情報取得部１３に出力する（ステップＳ２４０）。この画像認識の結果は、フィンガープリント取得部１２０によってサーバ装置２０から取得された複数のフィンガープリントの中の１つのフィンガープリントに対応する映像コンテンツを示す情報であって、映像受信部１１で受信された映像コンテンツのフィンガープリントに類似すると判定されたフィンガープリントに対応する映像コンテンツを示す情報である。この映像コンテンツを示す情報は、例えばコンテンツＩＤであるが、本開示はこの情報を限定しない。映像コンテンツを特定できる情報であればどのような情報であってもよい。

照合部１３０で映像コンテンツを認識できず、照合部１３０から照合結果が出力されないとき（ステップＳ２３０でＮｏ）、受信装置１０の処理はステップＳ１に戻り、ステップＳ１以降の一連の処理が繰り返される。

［１−５．効果等］
以上のように、本実施の形態において、認識データ生成装置は、画像取得部と、データ生成部と、を備える。画像取得部は、映像コンテンツを構成するフレームシーケンスに含まれる複数の画像フレームを取得する。データ生成部は、画像取得部によって取得された複数の画像フレームのフレーム間における画像の変化に基づいて、映像コンテンツを表す認識データであって、映像コンテンツを認識する際のフィンガープリントとして用いられる認識データ、を生成する。

また、本実施の形態において、画像認識装置は、認識データ生成装置と、取得部と、照合部と、を備える。取得部は、複数の映像コンテンツのそれぞれを表す複数の認識データを取得する。照合部は、データ生成部で生成された認識データを、取得部によって取得された複数の認識データと照合する。

なお、フィンガープリント生成部１１０は認識データ生成装置の一例である。画像取得部１１１は画像取得部の一例である。フィンガープリントは認識データの一例である。データ生成部１１２はデータ生成部の一例である。画像認識部１００は画像認識装置の一例である。フィンガープリント取得部１２０は取得部の一例である。照合部１３０は照合部の一例である。

この構成により、画像フレーム間の画像の変化に基づいて認識データ（フィンガープリント）が生成されるので、画像認識の精度を上げつつ画像認識に係る処理を低減できる。例えば、フレーム間の画像の変化は、差分の算出等の比較的負荷の軽い処理で実行可能である。一方、従来技術では、画像フレームの照合等に輪郭検知などの比較的負荷の重い処理が必要である。したがって、本開示によれば、従来技術に比べて処理を低減してフィンガープリントを生成することができる。

その認識データ生成装置において、データ生成部は、フレーム間の画像の変化量が第１閾値より小さい静的領域に基づいた静的フィンガープリント、および、フレーム間の画像の変化量が第２閾値より大きい動的領域に基づいた動的フィンガープリント、の少なくとも一方を含む認識データを生成してもよい。

例えば、静的領域は、画像フレームにおいて背景および動きや変化の小さい被写体等が占める領域である。すなわち、連続した画像フレームにおいて、静的領域の被写体は、動きや変化が相対的に少ない。したがって、静的領域を特定して画像認識を行うことで、画像認識の精度を高めることが可能になる。動的領域は、シーンの切り替わり等に生じる比較的大きな画像の変化が発生した領域である。すなわち、動的領域は、特徴的な画像の変化が起きる領域であるので、動的領域を特定して画像認識を行うことで、画像認識の精度を高めることが可能になる。また、動的領域が発生するフレームは相対的に少ないので、画像認識に必要なフレーム数を従来に比べて削減することができる。

その認識データ生成装置において、データ生成部は、差分算出部と、決定部と、生成部２４０と、を備えてもよい。差分算出部は、画像取得部によって取得された複数の画像フレームのうち、時間的に隣り合う２つの画像フレーム間の画素値の差分を画素変化値として算出することで、画像変化フレームを生成してもよい。決定部は、画像変化フレーム内の画素変化値の絶対値が第１閾値より小さい静的領域、および、画像変化フレーム内の画素変化値の絶対値が第２閾値より大きい動的領域の少なくとも一方を決定してもよい。生成部は、決定部によって決定された静的領域および動的領域の少なくとも一方に基づいて、静的フィンガープリントおよび動的フィンガープリントの少なくとも一方を生成してもよい。

なお、差分算出部２２０は差分算出部の一例である。決定部２３０は決定部の一例である。生成部２４０は生成部の一例である。

その認識データ生成装置において、生成部は、静的領域が画像変化フレーム内の第１割合以上を占める場合に、静的領域に基づいて静的フィンガープリントを生成してもよい。

これにより、背景および動きや変化の少ない被写体を適切に抽出することが可能になる。

その認識データ生成装置において、生成部は、２つの画像フレームの一方を静的領域でフィルタリングして静的フレームを生成し、生成した静的フレームを静的フィンガープリントとしてもよい。

これにより、画像フレーム内の静的領域以外の領域の輝度値を例えば「０」にする等して、静的フィンガープリントの情報量を削減することができる。

その認識データ生成装置において、生成部は、動的領域が画像変化フレーム内の第２割合以上を占める場合に、動的領域に基づいて動的フィンガープリントを生成してもよい。

これにより、シーンの切り替わり等の大きな画像の変化が起きたことを適切に抽出することが可能になる。

その認識データ生成装置において、生成部は、画像変化フレームを動的領域でフィルタリングして動的フレームを生成し、生成した動的フレームを動的フィンガープリントとしてもよい。

これにより、画像フレーム内の動的領域以外の領域の輝度変化値を例えば「０」にする等して、動的フィンガープリントの情報量を削減することができる。

この画像認識装置において、データ生成部は、フレーム間の画像の変化量が第１閾値より小さい静的領域に基づいた１以上の静的フィンガープリント、および、フレーム間の画像の変化量が第２閾値より大きい動的領域に基づいた１以上の動的フィンガープリントの少なくとも２つを含む認識データを生成してもよい。照合部は、データ生成部で生成された認識データに含まれる静的フィンガープリントおよび動的フィンガープリントのそれぞれを、取得部によって取得された複数の認識データと照合することで、静的フィンガープリントまたは動的フィンガープリントに類似する認識データを選定し、選定された認識データに対応する情報を照合結果として出力してもよい。

なお、データ生成部１１２は、データ生成部の一例である。

これにより、背景および動きや変化の小さい被写体を適切に抽出することが可能になる。また、シーンの切り替わり等の大きな画像の変化が起きたことを適切に抽出することが可能になる。

この画像認識装置において、照合部は、データ生成部で生成された認識データに含まれる静的フィンガープリントおよび動的フィンガープリントの少なくとも２つに類似する認識データを選定し、選定された認識データに対応する情報を照合結果として出力してもよい。

これにより、静的フィンガープリントおよび動的フィンガープリントの少なくとも２つの判定結果を用いて画像認識を行うことができるので、画像認識の精度をより高めることができる。

また、本実施の形態において、認識データ生成方法は、映像コンテンツを構成するフレームシーケンスに含まれる複数の画像フレームを取得する画像取得ステップと、取得した複数の画像フレームのフレーム間における画像の変化に基づいて、映像コンテンツを表す認識データであって、映像コンテンツを認識する際のフィンガープリントとして用いられる認識データ、を生成する生成ステップと、を含む。

これにより、画像認識に係る処理をより低減できる。

なお、これらの包括的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭ等の記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略等を行った実施の形態にも適用できる。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下、他の実施の形態を例示する。

実施の形態１では、映像コンテンツの認識に、静的フィンガープリントと動的フィンガープリントとの両方を用いる構成例を示したが、本開示は何らこの構成に限定されない。静的フィンガープリントと動的フィンガープリントとのいずれか一方のみを用いて映像コンテンツの認識が行われてもよい。例えば、図８のフローチャートにおいて、ステップＳ１１０およびステップＳ１２０のいずれか一方のみが行われてもよい。フィンガープリント生成部１１０は、例えば、静的領域決定部２３１および動的領域決定部２３２のいずれか一方のみを備える構成であってもよい。また、フィンガープリント生成部１１０は、例えば、静的フィンガープリント生成部２４１および動的フィンガープリント生成部２４２のいずれか一方のみを備える構成であってもよい。

実施の形態１では、広告コンテンツを画像認識する動作例を説明したが、画像認識の対象は何ら広告コンテンツに限定されない。受信装置１０で行う画像認識の対象は、例えば、ドラマやバラエティなどの番組コンテンツであってもよい。この場合、受信装置１０は、付加情報として、例えば、出演者自身のプロフィール、出演者が身につけている衣服、出演者が訪れた場所、等に関する情報を取得して映像に重畳し、表示画面に表示することができる。

サーバ装置２０は、番組コンテンツ等の、広告コンテンツ以外の映像コンテンツに対応するフィンガープリントを生成してもよい。フィンガープリントＤＢ２２は、番組コンテンツに対応するフィンガープリントを、コンテンツＩＤに対応付けて保持してもよい。

実施の形態１において、各構成要素は、専用のハードウェアで構成されてもよく、あるいは、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリ等の記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、実施の形態の受信装置を実現するソフトウェアは、次のようなプログラムである。

すなわち、当該プログラムは、認識データ生成方法をコンピュータに実行させるためのプログラムであって、認識データ生成方法は、映像コンテンツを構成するフレームシーケンスに含まれる複数の画像フレームを取得する画像取得ステップと、取得した複数の画像フレームのフレーム間における画像の変化に基づいて、映像コンテンツを表す認識データであって、映像コンテンツを認識する際のフィンガープリントとして用いられる認識データを生成する生成ステップと、を含む。

また、上記のプログラムを、記録媒体に記録して頒布または流通させてもよい。例えば、頒布されたプログラムを装置類にインストールして、装置類のプロセッサに実行させることで、装置類に各種処理を行わせることが可能となる。

また、上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等を含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、ＲＯＭからＲＡＭにコンピュータプログラムをロードし、ロードしたコンピュータプログラムにしたがって演算等の動作をすることにより、システムＬＳＩは、その機能を達成する。

また、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等から構成されるコンピュータシステムである。ＩＣカードまたはモジュールには、上記の超多機能ＬＳＩが含まれてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有してもよい。

また、本開示は、コンピュータプログラムまたはデジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−Ｒａｙ Ｄｉｓｃ（登録商標））、半導体メモリ等に記録したもので実現してもよい。さらに、これらの記録媒体に記録されているデジタル信号で実現してもよい。

また、本開示におけるコンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネット等のネットワーク、データ放送、等を経由して伝送してもよい。

また、本開示は、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号を、ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施してもよい。

また、実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、通信ネットワークを利用して映像コンテンツの認識を行う認識データ生成装置、画像認識装置および認識データ生成方法に適用可能である。具体的には、テレビ等の映像受信装置、またはサーバ装置等に、本開示は適用可能である。

１ コンテンツ認識システム
２ 広告主
３ 放送局
４ ＳＴＢ
１０ 受信装置
１１ 映像受信部
１１ａ 映像入力部
１１ｂ 第１外部入力部
１１ｃ 第２外部入力部
１２ 映像抽出部
１３ 付加情報取得部
１４ 映像出力部
１５ 制御部
１６ 操作信号受信部
１７ ＨＴＴＰ送受信部
１８ 付加情報格納部
１９ 付加情報表示制御部
２０ サーバ装置
２１ コンテンツ受信部
２２ フィンガープリントＤＢ
３０ 広告サーバ装置
３１ 付加情報ＤＢ
９１，９２ フレーム
１００ 画像認識部
１１０ フィンガープリント生成部
１１１ 画像取得部
１１２ データ生成部
１２０ フィンガープリント取得部
１３０ 照合部
１４０ 出力部
２１０ スケール変換部
２２０ 差分算出部
２３０ 決定部
２３１ 静的領域決定部
２３２ 動的領域決定部
２４０ 生成部
２４１ 静的フィンガープリント生成部
２４２ 動的フィンガープリント生成部

Claims (3)

1. 映像コンテンツを構成するフレームシーケンスに含まれる複数の画像フレームを取得する画像取得部と、
   前記画像取得部によって取得された前記複数の画像フレームのフレーム間における画像の変化に基づいて、前記映像コンテンツを表す認識データであって、前記映像コンテンツを認識する際のフィンガープリントとして用いられる認識データを生成するデータ生成部と、を備え、
   前記データ生成部は、
   前記画像取得部によって取得された前記複数の画像フレームのうち、時間的に隣り合う２つの画像フレーム間の画素値の差分を画素変化値として算出することで、画像変化フレームを生成する差分算出部と、
   前記画像変化フレーム内の画素変化値の絶対値が第１閾値より小さい静的領域、および、前記画像変化フレーム内の画素変化値の絶対値が第２閾値より大きい動的領域、の少なくとも一方を決定する決定部と、
   前記決定部によって決定された前記静的領域が前記画像変化フレーム内の第１割合以上を占める場合に、前記静的領域に基づいて静的フィンガープリントを生成する生成部と、を備える、
   認識データ生成装置。
2. 映像コンテンツを構成するフレームシーケンスに含まれる複数の画像フレームを取得する画像取得部と、
   前記画像取得部によって取得された前記複数の画像フレームのフレーム間における画像の変化に基づいて、前記映像コンテンツを表す認識データであって、前記映像コンテンツを認識する際のフィンガープリントとして用いられる認識データを生成するデータ生成部と、を備え、
   前記データ生成部は、
   前記画像取得部によって取得された前記複数の画像フレームのうち、時間的に隣り合う２つの画像フレーム間の画素値の差分を画素変化値として算出することで、画像変化フレームを生成する差分算出部と、
   前記画像変化フレーム内の画素変化値の絶対値が第１閾値より小さい静的領域、および、前記画像変化フレーム内の画素変化値の絶対値が第２閾値より大きい動的領域、の少なくとも一方を決定する決定部と、
   前記決定部によって決定された前記動的領域が前記画像変化フレーム内の第２割合以上を占める場合に、前記動的領域に基づいて動的フィンガープリントを生成する生成部と、 を備える
   認識データ生成装置。
3. 請求項１に記載の認識データ生成装置と、
   複数の映像コンテンツのそれぞれを表す複数の認識データを取得する取得部と、
   前記データ生成部で生成された認識データを、前記取得部によって取得された前記複数の認識データと照合する照合部と、を備え、
   前記認識データ生成装置の前記照合部は、前記データ生成部で生成された前記認識データに含まれる前記静的フィンガープリントを、前記取得部によって取得された前記複数の認識データと照合することで、前記静的フィンガープリントに類似する認識データを選定し、選定された前記認識データに対応する情報を照合結果として出力する、
   画像認識装置。

Images