JP2017163181A - 動画編集装置およびプログラム - Google Patents

Abstract

【課題】動画から利用者の嗜好に合致した要約情報を生成する際に、複数の単語や概念等に基づいて要約情報を生成した場合と比較して、より利用者が希望する様々な分野の事象が含まれた多様性のある要約情報を生成可能とする。【解決手段】動画ベクトル情報格納部３４は、動画データ取得部３１により取得された動画データを、動画ベクトル情報算出部３３により算出された動画ベクトル情報とともに格納する。区間選択部３５は、嗜好情報入力部３２により入力された嗜好情報に基づいて、動画ベクトル情報格納部３４に格納された動画データの複数の区間の中から、嗜好情報に合致した区間を前記選択区間数指定部３７により指定された区間の数だけ選択する。要約情報生成部３６は、区間選択部３５により選択された区間の動画に基づいて、動画内容を表した要約情報を生成する。【選択図】図３

Description

本発明は、動画編集装置およびプログラムに関する。

特許文献１には、コンテンツの中から数種類の典型的な要約コンテンツを自動生成し、ユーザの興味にあった要約コンテンツの選定を可能とするコンテンツ要約システムが開示されている。

特許文献２には、映像情報に含まれる複数のイベントのそれぞれについて、属性情報とキーワードに基づいて重要度を算出して、重要度が高い順に映像情報のシーンを選択してつなぎ合わせて要約情報を作成するコンテンツ情報編集装置が開示されている。

特許文献３には、再生中の動画像から抽出する下位メタ情報から上位メタ情報を算出し、再生中の動画像の上位メタ情報と、再生中の動画像以外の他の動画像の上位メタ情報に基づいてスコアを算出して、算出されたスコアに基づいて推薦動画像一覧を作成して再生中の動画像の再生終了後に出力するコンテンツ推薦方法が開示されている。

特開２００２−２５９７２０号公報 特開２００４−１２６８１１号公報 特開２０１１−２１７２０９号公報

ある動画に基づいて、利用者の嗜好に合致したダイジェスト動画等の要約情報を生成するような場合、利用者の嗜好情報を取得して、その嗜好情報に合致した区間やフレームのみを抜き出して要約情報を生成することが考えられる。

しかし、このような方法によりダイジェスト動画等の要約情報を生成すると、利用者の嗜好情報における特定の属性に合致した場面や画像ばかりが抽出された要約情報が生成されてしまう可能性がある。

本発明の目的は、動画から利用者の嗜好に合致した要約情報を生成する際に、複数の単語や概念等に基づいて要約情報を生成した場合と比較して、より利用者が希望する様々な分野の事象が含まれた多様性のある要約情報を生成可能な動画編集装置およびプログラムを提供することである。

［動画編集装置］
請求項１に係る本発明は、動画データを、当該動画データを分割した区間毎に各事象が含まれる確度を前記事象毎にそれぞれ示した動画属性情報とともに格納する格納手段と、
要約情報に含めたい各事象の係数と、要約情報に含めたい前記各事象の上位概念の係数を嗜好情報として入力する入力手段と、
前記入力手段により入力された嗜好情報に基づいて、前記格納手段に格納された動画データの複数の区間の中から、当該嗜好情報に合致した区間を選択する選択手段と、
前記選択手段により選択された区間の動画に基づいて、当該動画内容を表した要約情報を生成する生成手段とを備えた動画編集装置である。

請求項２に係る本発明は、動画データをその内容に応じて複数の区間に分割して、分割した区間毎に画像処理を行って前記各事象が含まれる確度をそれぞれ算出することにより前記動画属性情報を算出する算出手段をさらに備えた請求項１記載の動画編集装置である。

請求項３に係る本発明は、前記区間選択手段が、前記嗜好情報のうちの各事象の係数と前記動画属性情報における各事象の確度とから下位概念の合致度を前記区間毎に算出し、前記嗜好情報のうちの上位概念の係数と、当該上位概念に含まれる各事象の係数と前記動画属性情報における各事象の確度とを乗算した値のうちの最大値とから上位概念の合致度を前記区間毎に算出し、前記下位概念の合致度と前記上位概念の合致度とから、当該区間の嗜好情報との合致度を計算して、計算された合致度が最も大きい区間を選択し、選択した当該区間における確度が大きな値となっている事象に対応する係数と、当該事象を含む上位概念の係数とを小さくなるように変更した後、再度残りの区間に対して嗜好情報との合致度を順次計算することにより、入力された嗜好情報に合致した区間を選択する請求項１または２項記載の動画編集装置である。

請求項４に係る本発明は、前記区間選択手段が、動画データを分割した複数の区間の中から、予め設定された数の区間を無作為に選択し、無作為に選択された各区間における前記事象毎の確度のうち最も大きな値を選択して当該事象の確度とすることにより統合動画属性情報を生成し、前記嗜好情報のうちの上位概念の係数と、当該上位概念に含まれる各事象の係数と前記動画属性情報における各事象の確度とを乗算した値のうちの最大値とから上位概念の合致度を算出し、予め設定された数の区間を無作為に選択する処理を繰り返して、算出された上位概念の合致度が最大になる区間の組み合わせを、前記嗜好情報に合致した区間として選択する請求項１または２項記載の動画編集装置である。

請求項５に係る本発明は、前記生成手段が、前記区間選択手段により選択された区間をつなぎ合わせた要約動画を要約情報として生成する請求項１から４のいずれか１項記載の動画編集装置である。

請求項６に係る本発明は、前記生成手段が、前記区間選択手段により選択された区間からフレーム画像を取り出した複数の要約画像を要約情報として生成する請求項１から４のいずれか１項記載の動画編集装置である。

請求項７に係る本発明は、前記選択手段により選択される区間の数を指定する指定手段をさらに備えた請求項１から６のいずれか１項記載の動画編集装置である。

[プログラム]
請求項８に係る本発明は、動画データを、当該動画データを分割した区間毎に各事象が含まれる確度を前記事象毎にそれぞれ示した動画属性情報とともに格納する格納ステップと、
要約情報に含めたい各事象の係数と、要約情報に含めたい前記各事象の上位概念の係数を嗜好情報として入力する入力ステップと、
前記入力ステップにおいて入力された嗜好情報に基づいて、前記格納ステップにおいて格納された動画データの複数の区間の中から、当該嗜好情報に合致した区間を選択する選択ステップと、
前記選択ステップにより選択された区間の動画に基づいて、当該動画内容を表した要約情報を生成する生成ステップとをコンピュータに実行させるためのプログラムである。

請求項１に係る本発明によれば、動画から利用者の嗜好に合致した要約情報を生成する際に、複数の単語や概念等に基づいて要約情報を生成した場合と比較して、より利用者が希望する様々な分野の事象が含まれた多様性のある要約情報を生成可能な動画編集装置を提供することができる。

請求項２に係る本発明によれば、動画データから動画属性情報を算出することが可能な動画編集装置を提供することができる。

請求項３に係る本発明によれば、上位概念の異なる多様な区間を選択して要約情報を生成することが可能な動画編集装置を提供することができる。

請求項４に係る本発明によれば、上位概念の異なる多様な区間を選択して要約情報を生成することが可能な動画編集装置を提供することができる。

請求項５に係る本発明によれば、選択された複数の区間をつなぎ合わせた要約動画を生成することが可能な動画編集装置を提供することができる。

請求項６に係る本発明によれば、選択された複数の区間をつなぎ合わせた要約画像を生成することが可能な動画編集装置を提供することができる。

請求項７に係る本発明によれば、動画を分割した複数の区間の中から選択する区間の数を指定することが可能な動画編集装置を提供することができる。

請求項８に係る本発明によれば、動画から利用者の嗜好に合致した要約情報を生成する際に、複数の単語や概念等に基づいて要約情報を生成した場合と比較して、より利用者が希望する様々な分野の事象が含まれた多様性のある要約情報を生成可能なプログラムを提供することができる。

本発明の一実施形態の旅行情報提供システムのシステム構成を示す図である。 本発明の一実施形態における端末装置２１のハードウェア構成を示すブロック図である。 本発明の一実施形態における端末装置２１の機能構成を示すブロック図である。 動画ベクトル情報算出部３３における動画ベクトル情報の算出処理について説明するためのフローチャートである。 動画ベクトル情報算出部３３により算出されるＮ次元の動画ベクトル情報の具体例を示す図である。 本発明の一実施形態の旅行情報提供システムにおける上位概念と下位概念（事象）との関係例を説明するための図である。 ユーザの嗜好情報を入力する際に表示される入力画面例を示す図である。 ユーザの嗜好情報を入力する際に表示される入力画面例を示す図である。 ユーザの嗜好情報を入力する際に表示される入力画面例を示す図である。 図７〜図９に示すような画面例を介して取得された嗜好情報の一例を示す図である。 下位概念のスコアと上位概念のスコアの算出方法を説明するための図である。 下位概念のスコア、上位概念のスコアおよび動画スコアの具体的な算出式を示す図である。 具体的な値を用いて、下位概念のスコア、上位概念のスコア、動作スコアを具体的に算出した算出例を示す図である。 区間選択部３５による第１の区間選択処理を説明するためのフローチャートである。 区間選択部３５が、事象の係数と上位概念の係数を変更する際の具体例を説明するための図である。 区間選択部３５において選択順に並び替えられた区間の具体例を示す図である。 要約情報生成部３６により生成される要約情報の生成例を示す図である。 区間選択部３５による第２の区間選択処理を説明するためのフローチャートである。 第２の区間選択処理を具体的に説明するための図である。 区間１、６、７が選択された場合の様子を説明するための図である。

次に、本発明の実施の形態について図面を参照して詳細に説明する。

図１は本発明の一実施形態の旅行情報提供システムの構成を示すシステム図である。

本発明の一実施形態の旅行情報提供システムは、図１に示されるように、インターネット等のネットワーク３０により接続されたサーバ装置１０、および端末装置２１〜２３により構成される。ここで、サーバ装置１０は、旅行情報動画を提供しており、例えば各地の観光協会等により運営されている。

また、端末装置２２、２３は、それぞれ一般ユーザであるユーザＡ、Ｂのパーソナルコンピュータであり、ネットワーク３０を介してサーバ装置１０にアクセスして旅行動画を閲覧することが可能な構成となっている。

また、端末装置２１は、例えば旅行情報提供業者等により運営された旅行情報提供サイトに設置されており、サーバ装置１０から提供される旅行情報動画の中からユーザＡ、Ｂの嗜好情報に合致したものを選択して、選択した動画をユーザＡ、Ｂの嗜好に合わせてそれぞれダイジェスト動画やダイジェスト画像等の要約情報に編集した後にユーザＡ、Ｂに提供する動画編集装置である。

なお、図１では、説明を簡単にするために旅行情報動画を提供するサーバ装置１０が１台しか示されていないが、実際には数多くのサーバ装置が存在する。また、図１には、ユーザも２人のユーザＡ、Ｂしか示されていないが、実際には数多くのユーザが旅行情報提供システムを利用している。

次に、本実施形態の旅行情報提供システムにおいて動画編集装置として機能する端末装置２１のハードウェア構成を図２に示す。

端末装置２１は、図２に示されるように、ＣＰＵ１１、メモリ１２、ハードディスクドライブ（ＨＤＤ）等の記憶装置１３、ネットワーク３０を介して外部の装置等との間でデータの送信及び受信を行う通信インタフェース（ＩＦ）１４、タッチパネル又は液晶ディスプレイ並びにキーボードを含むユーザインタフェース（ＵＩ）装置１５を有する。これらの構成要素は、制御バス１６を介して互いに接続されている。

ＣＰＵ１１は、メモリ１２または記憶装置１３に格納された制御プログラムに基づいて所定の処理を実行して、端末装置２１の動作を制御する。なお、本実施形態では、ＣＰＵ１１は、メモリ１２または記憶装置１３内に格納された制御プログラムを読み出して実行するものとして説明したが、当該プログラムをＣＤ−ＲＯＭ等の記憶媒体に格納してＣＰＵ１１に提供することも可能である。

図３は、上記の制御プログラムが実行されることにより実現される端末装置２１の機能構成を示すブロック図である。

本実施形態の端末装置２１は、図３に示されるように、動画データ取得部３１と、嗜好情報入力部３２と、動画ベクトル情報算出部３３と、動画ベクトル情報格納部３４と、区間選択部３５と、要約情報生成部３６、選択区間数指定部３７とを備えている。

動画データ取得部３１は、例えばサーバ装置１０により提供されている旅行情報動画等の動画データを、ネットワーク３０を介して取得する。

嗜好情報入力部３２は、要約情報に含めたい各事象の係数と、要約情報に含めたい各事象の上位概念の係数を嗜好情報として入力する。

ここで、本実施形態では、要約情報を作成する編集対象の動画が旅行情報動画であるため、各事象としては、例えば、ゴルフ、テニス、乗馬、いちご狩り、ラーメン、蕎麦、すし、城、神社、寺、世界遺産等の各種項目が設定されている。

また、各事象の上位概念とは、例えば、ゴルフ、テニス、乗馬、いちご狩りという事象に対しては、上位概念としてアクティビティーという項目が設定されており、ラーメン、蕎麦、すしという事象に対しては、上位概念として、グルメという項目が設定されており、城、神社、寺、世界遺産という事象に対しては、上位概念として観光名所という項目が設定されている。

なお、この嗜好情報の詳細については後述する。

動画ベクトル情報算出部３３は、動画データ取得部３１により取得された動画データに基づいて、その動画データに、動画データの内容を示す各事象が含まれる確度（度合い）を事象毎にそれぞれ示した動画ベクトル情報（動画属性情報）を算出する。

具体的には、動画ベクトル情報算出部３３は、動画データをその内容に応じて複数の区間に分割して、分割した区間毎に画像処理を行って各事象が含まれる確度を算出することにより動画ベクトル情報を算出する。

動画ベクトル情報格納部３４は、動画データ取得部３１により取得された動画データを、動画ベクトル情報算出部３３により算出された動画ベクトル情報とともに格納する。

選択区間数指定部３７は、動画データから要約情報を生成する際に、区間選択部３５により選択される区間の数を指定する。例えば、選択区間数指定部３７は、動画データが８つの区間に分割される場合、その８つの区間の中から選択する区間の数として３という値を入力する。

区間選択部３５は、嗜好情報入力部３２により入力された嗜好情報に基づいて、動画ベクトル情報格納部３４に格納された動画データの複数の区間の中から、嗜好情報に合致した区間を前記選択区間数指定部３７により指定された区間の数だけ選択する。

要約情報生成部３６は、区間選択部３５により選択された区間の動画に基づいて、動画内容を表した要約情報を生成する。

例えば、要約情報生成部３６は、区間選択部３５により選択された区間をつなぎ合わせたダイジェスト動画（要約動画）を要約情報として生成するようにしても良い。また、要約情報生成部３６は、区間選択部３５により選択された区間からフレーム画像を取り出した複数のダイジェスト画像（要約画像）を要約情報として生成するようにしても良い。

なお、区間選択部３５が、動画データを分割した複数の区間の中から、ユーザの嗜好情報に合致した区間を選択する方法としては様々な方法がある。

例えば、区間選択部３５は、嗜好情報入力部３２により入力された嗜好情報のうちの各事象の係数と動画ベクトル情報における各事象の確度とから下位概念のスコア（下位概念の合致度）を、分割された区間毎に算出し、嗜好情報のうちの上位概念の係数と、その上位概念に含まれる各事象の係数と動画ベクトル情報における各事象の確度とを乗算した値のうちの最大値とから上位概念のスコア（上位概念の合致度）を区間毎に算出する。そして、区間選択部３５は、下位概念のスコアと上位概念のスコアとから、その区間の嗜好情報との動画スコア（合致度）を計算して、計算された動画スコアが最も大きい区間を選択し、選択した当該区間における確度が大きな値となっている事象に対応する係数と、当該事象を含む上位概念の係数とを小さくなるように変更した後、再度残りの区間に対して嗜好情報との合致度を順次計算することにより、入力された嗜好情報に合致した区間を選択する（第１の区間選択方法）。

また、別の区間選択方法を用いる場合には、区間選択部３５は、動画データを分割した複数の区間の中から、予め設定された数の区間をランダム（無作為）に選択し、ランダムに選択された各区間における事象毎の確度のうち最も大きな値を選択してその事象の確度とすることにより統合動画ベクトル情報を生成し、嗜好情報のうちの上位概念の係数と、その上位概念に含まれる各事象の係数と動画ベクトル情報における各事象の確度とを乗算した値のうちの最大値とから上位概念のスコア（上位概念の合致度）を算出し、予め設定された数の区間をランダムに選択する処理を繰り返して、算出された上位概念のスコアが最大になる区間の組み合わせを、嗜好情報に合致した区間として選択するようにしても良い（第２の区間選択方法）。

次に、本実施形態の旅行情報提供システムにおける端末装置２１の動作について図面を参照して詳細に説明する。

まず、図４のフローチャートを参照して、動画ベクトル情報算出部３３における動画ベクトル情報の算出処理について説明する。

動画ベクトル情報算出部３３は、動画データ取得部３１により取得された動画の内容を解析して、内容のまとまり毎に１つの区間とすることにより、この動画を複数の区間に分割する（ステップＳ１０１）。

ここで、動画を複数の区間に分割する方法としては、一般的に用いられている方法を利用することができる。例えば、画像の特徴量を抽出して、抽出された特徴量が大幅に変化する点を境として動画を複数区間に分割するような方法を用いることができる。また、下記に示す論文に記載された方法を用いることができる。

John S. Boreczky and Lawrence A. Rowe, “Comparison of video shot boundary detection techniques”, J. Electron. Imaging. 5(2), p122-128 (Apr 01, 1996).

次に、動画ベクトル情報算出部３３は、オブジェクト検出、画像認識、シーン認識、動き解析等の方法を用いて、分割した各区間の動画に含まれる各事象をそれぞれ検出して、区間毎の動画ベクトル情報を算出する（ステップＳ１０２）。

ここで、事象検出を行う際には、各区間をさらに小区間に分割して、各小区間について事象検出処理を行って、全小区間の検出値のうちの最大値をその区間の最終的な検出値とする。ここで、それぞれの小区間は互いに重なることもある。

また、この事象検出では、構造解析を区間中の各フレームについて行い、最良構図となる瞬間を中心とした検出結果を最終的な検出値とする。

なお、この事象検出では、前景背景解析を行って、前景に対してオブジェクト検出を行い、背景に対してシーン認識を行って事象検出するようにしても良い。

ここで、確度を検出する事象がＮ個ある場合には、算出される動画ベクトル情報はＮ次元のベクトル情報となる。

次に、上記のようにして算出されるＮ次元の動画ベクトル情報の具体例を図５に示す。

この図５では、ある動画データを８つの区間に分割して区間１〜８毎に、Ｎ個の事象それぞれの確度（０〜１）が算出された場合が示されている。ただし、動画データを分割する区間の数は８に限定されるものではない。

そして、確度を検出する事象としては、事象１（おすし）、事象２（そば）、事象３（スキューバダイビング）、事象４（ゴルフ）、事象５（乗馬）、・・・・、事象Ｎ（城）というＮ個の事象が設定されている。

ここで、Ｎ個の事象それぞれの確度とは、その事象が動画に含まれている確からしさの度合いを示す値であり、数値が高いほどこの事象が動画に含まれている可能性が高いことが示されている。

そして、この８つの区間毎にそれぞれＮ次元の動画ベクトル情報が算出されている。例えば、区間１については、（０．１９６、０．１７９、０．１９５、０．４１２、０．１３４、・・・、０．３１２）というＮ次元の動画ベクトル情報が生成される。

つまり、この動画ベクトル情報は、分割された区間毎に各事象が含まれている確度を示す情報となっている。

この図５を参照すると、例えば、事象１（おすし）の確度が区間６で「０．７２３」と大きな値となっており、区間６の動画は、おすしを食べている動画、またはおすしを紹介している動画等のおすしに何等かの関係がある動画である可能性が高いことを示している。

次に、本実施形態の旅行情報提供システムにおける上位概念と下位概念（事象）との関係例について図６を参照して説明する。

図６に示した例では、下位概念である事象１（おすし）、事象２（そば）に対して、上位概念として上位概念１（グルメ）という項目が設定されている。また、下位概念である事象３（スキューバダイビング）、事象４（ゴルフ）、事象５（乗馬）に対して、上位概念として上位概念２（アクティビティー）という項目が設定されている。

なお、１つの上位概念について、常に下位概念である事象が複数設定されている必要はなく、上位概念３（ショッピング）と事象６（ショッピング）のように１つの上位概念に１つの事象のみが設定されているような場合もあり得る。また、１つの事象が複数の上位概念に含まれるような場合もあり得る。例えば、「城」という事象が「観光名所」という上位概念に含まれるとともに、「歴史」という上位概念に含まれるような設定とすることも可能である。

ここで、ｗ１１、ｗ１２、ｗ２３、ｗ２４、ｗ２５、ｗ３６、・・・・、ｗ_MNは、それぞれ、あるユーザにおける事象１〜Ｎに対する嗜好の度合いを示す係数である。また、Ｗ１、Ｗ２、Ｗ３、・・・・、Ｗ_Mは、それぞれ、あるユーザの上位概念１〜Ｍに対する嗜好の度合いを示す係数である。

つまり、各事象の係数ｗ１１、ｗ１２、ｗ２３、ｗ２４、ｗ２５、ｗ３６、・・・・、ｗ_MNのうち、要約情報に含めたい事象に対応する係数を大きく設定すれば、その事象が含まれるダイジェスト動画等の要約情報が生成されるようになる。また、各上位概念の係数Ｗ１、Ｗ２、Ｗ３、・・・・、Ｗ_Mのうち、要約情報に含めたい上位概念に対応する係数を大きく設定すれば、その上位概念に属する事象が含まれる要約情報が生成される確率が高くなる。

次に、嗜好情報入力部３２が、端末装置２２、２３等からユーザＡ、Ｂの嗜好情報を入力する際に表示する入力画面例を図７〜図９を参照して説明する。

ここでは、例えば、ユーザＡ、Ｂが旅行情報提供サイトにユーザ登録を行う際のアンケートにおいて、ユーザＡ、Ｂの旅行についての嗜好を調べて嗜好情報を生成する場合を用いて説明する。

先ず、嗜好情報入力部３２では、図７に示すような画面を表示して、ユーザの旅行目的としてどのような項目を重視するかを質問して、各項目を重視する度合いを入力してもらう。図７に示した画面例では、「アクティビティー」の項目が他の項目ようにも重視する旅行目的として設定されているのが分かる。

次に、嗜好情報入力部３２では、図８に示すような画面を表示して、「グルメ」という上位概念に含まれる下位概念である各事象について、旅行中に食べたいかどうかの度合い入力してもらう。

また、同様にして、嗜好情報入力部３２では、図９に示すような画面を表示して、「アクティビティー」という上位概念に含まれる下位概念である各事象について、旅行中にやってみたい項目の度合い入力してもらう。図９に示した画面例では、「ゴルフ」の項目が他の項目よりも重視する旅行目的として設定されているのが分かる。

そして、順次他の上位概念の項目についてもユーザに対するアンケートが行われて、そのユーザの嗜好情報の取得が行われる。

嗜好情報入力部３２は、図７〜図９に示したような画面表示を行ってユーザから旅行についての嗜好情報を取得して、上位概念の係数Ｗ１、Ｗ２、・・・、Ｗ_N、および下位概念である事象の係数ｗ１１、ｗ１２、ｗ２３、・・・・、ｗ_MNを嗜好情報として設定する。

このようにして図７〜図９に示すような画面例を介して取得される嗜好情報の一例を図１０に示す。

図１０では、上位概念の係数として、上位概念１（グルメ）についての係数Ｗ１が「０．３」、上位概念２（アクティビティー）についての係数Ｗ２が「０．９」と設定されている。つまり、このユーザは、旅行目的として食事よりもアクティビティーを重視しており、このユーザに提供する旅行情報としては、アクティビティーが含まれる情報を優先して提供するような設定がされていることになる。

また、図１０では、下位概念（事象）の係数として、事象１（おすし）についての係数Ｗ１１が「０．５」、事象２（そば）についての係数Ｗ１２が「０．６」、事象３（スキューバダイビング）についての係数Ｗ２３が「０．０」、事象４（ゴルフ）についての係数Ｗ２４が「０．８」と設定されている。つまり、このユーザは、おすしやそばの旅行情報も希望しているが、これらのグルメ関係の旅行情報よりもゴルフの旅行情報を希望しているため、このような値が設定されている。

なお、嗜好情報入力部３２は、上記で説明したようにユーザの入力内容に基づいて嗜好情報を入力するのではなく、そのユーザのＳＮＳ（Social Networking Service）等への書き込み内容に基づいて、自動的に嗜好情報を取得して、上位概念の係数や各事象の係数と入力するようにしても良い。

次に、この図１０に示したような嗜好情報が設定された場合に、区間選択部３５が、下位概念のスコア、上位概念のスコアおよび動画スコアを算出する処理を図１１〜図１３を参照して説明する。

まず、下位概念のスコアと上位概念のスコアの算出方法について図１１を参照して説明する。なお、この図１１では、区間１についての下位概念のスコアと上位概念のスコアを算出する方法を説明している。

図１１に示すように、区間選択部３５は、図５に示したような各区間のＮ次元の動画ベクトル情報（Ｓ１、Ｓ２、Ｓ３、・・・・、Ｓ_N）と、図１０に示したような下位概念である事象の係数ｗ１１、ｗ１２、ｗ２３、・・・・、ｗ_MNとから下位概念のスコアを算出する。

また、区間選択部３５は、Ｎ次元の動画ベクトル情報（Ｓ１、Ｓ２、Ｓ３、・・・・、Ｓ_N）と、図１０に示したような事象の係数ｗ１１、ｗ１２、ｗ２３、・・・・、ｗ_MNと、上位概念の係数Ｗ１、Ｗ２、・・・、Ｗ_Nとから上位概念のスコアを算出する。

そして、区間選択部３５は、下位概念のスコアと上位概念のスコアとから、動画データと嗜好情報との合致度を示す動画スコアを計算する。

次に、下位概念のスコア、上位概念のスコアおよび動画スコアの具体的な算出式を図１２に示す。

まず、下位概念のスコアは、図１２の式（１）に示すように、動画ベクトル情報（Ｓ１、Ｓ２、Ｓ３、・・・・、Ｓ_N）と、各事象の係数ｗ１１、ｗ１２、ｗ２３、・・・・、ｗ_MNとを乗算して、その累積値を演算することにより求められる。

具体的には、下位概念は、Ｓ１・ｗ１１＋Ｓ２・ｗ１２＋Ｓ３・ｗ２３＋・・・＋Ｓ_N・ｗ_MNを演算することにより求められる。

そして、上位概念のスコアは、図１２の式（２）に示すように、各上位概念のカテゴリー毎に、動画ベクトル情報の各事象の確度の値と各事象の係数とを乗算した値のうちの最大値と、その上位概念のカテゴリーの係数とを乗算して、それぞれの上位概念毎に得られた値を累積することにより求められる。

例えば、上位概念１（グルメ）については、先ずｍａｘ（Ｓ１・ｗ１１、Ｓ２・ｗ１２）により、Ｓ１・ｗ１１、Ｓ２・ｗ１２のうちの最大値を求める。例えば、ここではＳ１・ｗ１１が最大値であった場合、この値に上位概念１の係数Ｗ１を乗算したＷ１・Ｓ１・ｗ１１が上位概念１についての値となる。そして、この値をそれぞれの上位概念毎に求めて、それらを累積したものが上位概念のスコアとなる。

また、動画スコアは、図１２の式（３）に示すように、下位概念のスコアと上位概念のスコアにそれぞれｐ、（１−ｐ）を乗算してその結果を加算することにより算出される。なお、ここでｐの値は、０≦ｐ≦１となっている。つまり、このｐの値は上位概念のスコアと下位概念のスコアのうちどちらを優先するかを設定する値であり、ｐの値が大きいほど下位概念のスコアを優先し、ｐの値が小さいほど上位概念のスコアを優先することになる。

この図１２に示した算出式に、図５に示した動画情報ベクトル例における区間１の値や、図１０に示した係数値を代入して、下位概念のスコア、上位概念のスコア、動作スコアを具体的に算出した算出例を図１３に示す。なお、図１３では、動画スコアを算出する際のｐの値を０．４とした場合が示されている。

図１３の式（１）に示されるように、下位概念のスコアとして、０．１９６×０．５＋０．１７９×０．６＋・・・・＋０．３１２×０．２＝２０．１２４という値が算出されているのが分かる。

また、図１３の式（２）に示されるように、上位概念のスコアとして、０．３×０．１７９×０．６＋０．９×０．４１２×０．８＋・・・・＋０．２×０．３１２×０．２＝３０．８０６という値が算出されているのが分かる。

そして、図１３の式（３）に示されるように、動画スコアとして、０．４×２０．１２４＋０．６×３０．８０６≒２６．５３３という値が算出されているのが分かる。

そして、区間選択部３５は、このような動画スコアの算出を、動画データ取得部３１により取得された旅行情報動画の区間毎に算出し、算出された値に基づいて要約情報に含める区間を選択する。

次に、上記のようにして区間選択部３５により実行される区間選択方法についてフローチャートを参照して説明する。

最初に、図１４のフローチャートを参照して、区間毎に動画スコアを算出して、算出した動画スコアが最も大きい区間を選択するとともに、事象の係数、上位概念の係数を変更して、次の区間を順次選択する第１の区間選択方法について説明する。

まず、区間選択部３５は、選択対象の各区間に対して、上位概念のスコア、下位概念のスコアを算出し（ステップＳ２０１）、算出された上位概念のスコア、下位概念のスコアから各区間の動画スコアをそれぞれ算出する（ステップＳ２０２）。

そして、区間選択部３５は、算出された動画スコアが最大の区間を１つ選択する（ステップＳ２０３）。

次に、区間選択部３５は、動画ベクトル情報を算出する際に用いた、各事象の係数と各上位概念の係数の中から、変更する係数を選択して、その係数の値を例えば０．５を乗算することにより小さな値となるように変更する（ステップＳ２０４）。

具体的には、区間選択部３５は、例えば各事象の係数と各上位概念の係数のうち、選択した区間における確度が大きかった事象に対応する係数およびその事象の上位概念の係数を変更する。

このように係数を変更する際の具体例を図１５に示す。図１５では、事象４（ゴルフ）についての係数および、その事象４（ゴフル）の上位概念２（アクティビティー）の係数を変更する場合が示されている。図１５を参照すると、事象４（ゴルフ）の係数が０８から０．４に変更され、上位概念２（アクティビティー）の係数が０．９から０．４５に変更されているのが分かる。

そして、区間選択部３５は、未選択の区間がある場合（ステップＳ２０５においてｙｅｓ）、その未選択の区間に対してステップＳ２０１〜Ｓ２０４の処理を繰り返す。例えば、区間１を選択した場合、区間選択部３５は、残りの区間２〜８に対して同様の処理を実行する。

そして、区間選択部３５は、全ての区間についての処理が終了すると（ステップＳ２０５においてｎｏ）、各区間の選択順を出力し（ステップＳ２０６）、選択順が予め設定された順位以内の区間を、嗜好情報に合致した区間として選択する（ステップＳ２０７）。

このようにして選択順に並び替えられた区間の具体例を図１６に示す。図１６に示した区間のリストでは、区間１、６、７、４、５、２、８、３という順番で各区間が選択された例が示されている。

ここで、例えば、上位３つの区間を要約情報に含める区間として選択する場合、区間１、６、７の３つの区間が区間選択部３５により選択されることになる。

そして、このような区間の選択が行われた場合に要約情報生成部３６により生成される要約情報の生成例を図１７に示す。

図１７では、要約情報に含める区間として区間１、６、７が選択されているため、例えば区間１、６、７の動画を結合することによりダイジェスト動画（要約動画）が生成される場合が示されている。

また、図１７には、この区間１、６、７のフレーム画像を抜き出すことにより、旅行情報動画からダイジェスト画像（要約画像）が生成される様子が示されている。

次に、図１８のフローチャートを参照して、動画データを分割した複数の区間の中からランダムに複数の区間を選択して、その複数の区間の組の動画ベクトル情報から統合動画ベクトル情報を生成して、その統合動画ベクトル情報の上位概念のスコアが大きな値となるような複数の区間の組を見つけることにより、要約情報に含める区間を選択するようにした第２の区間選択方法について説明する。

まず、区間選択部３５は、前区間の中から予め設定された数分の区間をランダムに選択する（ステップＳ３０１）。例えば、選択区間数指定部３７により、要約情報に含める区間の数として３区間が指定されている場合、８つの区間の中から３つの区間が選択される。

次に、区間選択部３５は、選択された３つの区間のそれぞれの事象の確度のうち最大値を選択して統合動画ベクトル情報を生成する（ステップＳ３０２）。

例えば、図１９に示すように、ランダムに選択された３つの区間が区間１、５、８だった場合、事象毎に確度の最大値を選択することにより統合動画ベクトル情報が生成される。

そして、区間選択部３５は、生成された統合動画ベクトル情報に基づいて上位概念のスコアを算出する（ステップＳ３０３）。ここで、上位概念スコアの算出方法は、図１２の式（２）に示した算出方法と同一である。

そして、区間選択部３５は、算出された上位概念スコアの値が、過去に算出された値より大きい場合には、その値を格納するとともに、その区間の組の情報を保存する（ステップＳ３０４）。逆に、算出された上位概念スコアの値が過去の最大値よりも小さい場合には、区間選択部３５は、その上位概念のスコアの値や区間の組の情報を廃棄する。

そして、このステップＳ３０１〜Ｓ３０４の処理を設定された回数、例えば１００回繰り返し（ステップＳ３０５）、その後保存されている区間の組の情報を出力する（ステップＳ３０６）。

この図１８のフローチャートに示した第２の区間選択方法では、ランダムに選択された複数の区間において、事象の確度の値異なる事象で大きくなっている区間の組ほど、算出される上位概念のスコアが大きくなる。

特に、上位概念のスコアの算出では、上位概念毎に、事象の確度と事象の係数とを乗算した値の最大値のみが選択される。そのため、上位概念が異なる事象において確度の値が大きくなっているような区間の組ほど、算出される上位概念のスコアが大きくなる。

例えば、図２０に示すように、区間１、６、７が選択された場合、区間６において事象１（おすし）の確度が０．７２３と大きな値となり、区間１において事象４（ゴルフ）の確度が０．４１２と大きな値となっている。

そのため、図２０に示したような区間の組み合わせがランダムに選択された場合、算出される上位概念のスコアも大きな値となる。

この結果、複数の区間をランダムに選択して、その区間の動画ベクトル情報から最大値のみを選択して統合動画ベクトル情報を生成して、上位概念のスコアを算出して、この上位概念のスコアが大きくなるような区間の組を見つけるようにすることにより、同じ事象の確度ばかりが大きい区間だけでなく、ユーザの嗜好情報において係数が大きく設定されている様々な事象の確度が大きい区間の組が選択されることになる。

なお、上記実施形態では、旅行情報についての動画データを複数区間に分割して、分割された複数区間の中から嗜好情報に合致した区間を選択して要約情報を生成する場合を用いて説明したが、本発明はこれに限定されるものではなく、旅行情報動画以外の他の動画データから要約情報を生成する場合でも同様に本発明を適用することができるものである。

１０ サーバ装置
１１ ＣＰＵ
１２ メモリ
１３ 記憶装置
１４ 通信インタフェース（ＩＦ）
１５ ユーザインタフェース（ＵＩ）装置
１６ 制御バス
２１〜２３ 端末装置
３０ ネットワーク
３１ 動画データ取得部
３２ 嗜好情報入力部
３３ 動画ベクトル情報算出部
３４ 動画ベクトル情報格納部
３５ 区間選択部
３６ 要約情報生成部
３７ 選択区間数指定部

Claims (8)

1. 動画データを、当該動画データを分割した区間毎に各事象が含まれる確度を前記事象毎にそれぞれ示した動画属性情報とともに格納する格納手段と、
   要約情報に含めたい各事象の係数と、要約情報に含めたい前記各事象の上位概念の係数を嗜好情報として入力する入力手段と、
   前記入力手段により入力された嗜好情報に基づいて、前記格納手段に格納された動画データの複数の区間の中から、当該嗜好情報に合致した区間を選択する選択手段と、
   前記選択手段により選択された区間の動画に基づいて、当該動画内容を表した要約情報を生成する生成手段と、
   を備えた動画編集装置。
2. 動画データをその内容に応じて複数の区間に分割して、分割した区間毎に画像処理を行って前記各事象が含まれる確度をそれぞれ算出することにより前記動画属性情報を算出する算出手段をさらに備えた請求項１記載の動画編集装置。
3. 前記区間選択手段は、前記嗜好情報のうちの各事象の係数と前記動画属性情報における各事象の確度とから下位概念の合致度を前記区間毎に算出し、前記嗜好情報のうちの上位概念の係数と、当該上位概念に含まれる各事象の係数と前記動画属性情報における各事象の確度とを乗算した値のうちの最大値とから上位概念の合致度を前記区間毎に算出し、前記下位概念の合致度と前記上位概念の合致度とから、当該区間の嗜好情報との合致度を計算して、計算された合致度が最も大きい区間を選択し、選択した当該区間における確度が大きな値となっている事象に対応する係数と、当該事象を含む上位概念の係数とを小さくなるように変更した後、再度残りの区間に対して嗜好情報との合致度を順次計算することにより、入力された嗜好情報に合致した区間を選択する請求項１または２項記載の動画編集装置。
4. 前記区間選択手段は、動画データを分割した複数の区間の中から、予め設定された数の区間を無作為（ランダム）に選択し、無作為に選択された各区間における前記事象毎の確度のうち最も大きな値を選択して当該事象の確度とすることにより統合動画属性情報を生成し、前記嗜好情報のうちの上位概念の係数と、当該上位概念に含まれる各事象の係数と前記動画属性情報における各事象の確度とを乗算した値のうちの最大値とから上位概念の合致度を算出し、予め設定された数の区間を無作為に選択する処理を繰り返して、算出された上位概念の合致度が最大になる区間の組み合わせを、前記嗜好情報に合致した区間として選択する請求項１または２項記載の動画編集装置。
5. 前記生成手段は、前記区間選択手段により選択された区間をつなぎ合わせた要約動画を要約情報として生成する請求項１から４のいずれか１項記載の動画編集装置。
6. 前記生成手段は、前記区間選択手段により選択された区間からフレーム画像を取り出した複数の要約画像を要約情報として生成する請求項１から４のいずれか１項記載の動画編集装置。
7. 前記選択手段により選択される区間の数を指定する指定手段をさらに備えた請求項１から６のいずれか１項記載の動画編集装置。
8. 動画データを、当該動画データを分割した区間毎に各事象が含まれる確度を前記事象毎にそれぞれ示した動画属性情報とともに格納する格納ステップと、
   要約情報に含めたい各事象の係数と、要約情報に含めたい前記各事象の上位概念の係数を嗜好情報として入力する入力ステップと、
   前記入力ステップにおいて入力された嗜好情報に基づいて、前記格納ステップにおいて格納された動画データの複数の区間の中から、当該嗜好情報に合致した区間を選択する選択ステップと、
   前記選択ステップにより選択された区間の動画に基づいて、当該動画内容を表した要約情報を生成する生成ステップと、
   をコンピュータに実行させるためのプログラム。