JPH10232884A

JPH10232884A - 映像ソフトウェア処理方法及び映像ソフトウェア処理装置

Info

Publication number: JPH10232884A
Application number: JP9304862A
Authority: JP
Inventors: Toru Fukuda; 徹福田; Haruki Tsuchiya; 治紀槌屋
Original assignee: MEDIA RINKU SYST KK
Current assignee: MEDIA RINKU SYST KK
Priority date: 1996-11-29
Filing date: 1997-10-20
Publication date: 1998-09-02

Abstract

(57)【要約】【課題】ドラマ等、映像ソフトウェアの全体像を例え
ば５分間で的確に把握可能とする。【解決手段】画像、音、字幕コードその他、映像ソフ
トウェア構成データが変化する位置に着目し、例えばＤ
ＶＤに収録された２時間ドラマの内容を、当該各変化し
た位置付近を代表する各代表画像の集合（要約）で表現
する。これを１画面づつ所望の間隔でコマ送り表示す
る。本発明では、音、文字、画像の変化や出現、画像の
差分などを検出し、前記代表する画面抽出の動機とす
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は映像ソフトウェア処
理方法及び映像ソフトウェア処理装置に関し、詳しく
は、例えばＤＶＤ（デジタルビデオディスク）に収録さ
れた２時間ドラマの内容から、的確な代表画像を抽出
し、例えば１画面数秒づつ順に静止表示することで、当
該映像ソフトウェアの全体を、例えば５分間等の短時間
で、高速且つ的確に把握可能にする為の映像ソフトウェ
ア処理方法、及び映像ソフトウェア処理装置に関する。

【０００２】始めに用語の使い方について断っておく。
先ず、本明細書に於て映像ソフトウェアとは、ＤＶＤ収
納映像、デジタルＴＶ（テレビジョン）放送、地上波Ｔ
Ｖ放送、インターネットやパソコンで利用される映像フ
ァイル、コンピュータグラフィック、映画などを言い、
ＤＶＤ、ハードディスク、磁気テープ、フィルムその
他、そのデータ形式や媒体の形式如何に拘らず、或る程
度の数の画像（フレーム）の連続で、被写体の動きや、
情景、その場の雰囲気、その他を視聴者（利用者）に訴
える為のもの全てをいう（或る程度としたのは、４コマ
漫画などを除く意。）。

【０００３】また本明細書に於て、各請求項を始めとし
て何箇所かでは、例えば「位置の情報」と「位置情報」
というように、間に「の」の字が有るか無いかの違いの
みの言葉を何個か使用している。これは、前後の関係で
語呂を良くし読みやすくする為に使い分けただけのこと
で、意味は同じである。判り切ったことかも知れないが
念のため断っておく。「シーン」と「カット」、「視聴
者」と「利用者」、「画像」と「静止画」、「画面」等
についても同様とする。更に、用語は適宜略して使用す
ることがある。例えば、映像ソフトウェアを「映像ソフ
ト」と、本発明に係る処理を含む動作を「エッセンスプ
レイ」と、その処理により生成される要約物を「エッセ
ンス」、「ビデオエッセンス」或いは「ＶＥ」というよ
うに言うことがある。

【０００４】

【従来の技術】現代社会はマルチメデイア時代に向かっ
ている。これらの時代を支える情報産業には下記のよう
なものがある。情報１次産業＝作家、新聞記者、カメラマン等（情報生
産）情報２次産業＝出版・新聞社、レコード会社、放送局等
（情報加工）情報３次産業＝書店、新聞配達、レンタルビデオ等（情
報流通）情報の加工・流通では自動化が進展している。このた
め、情報生産に携わる人々が増大しつつある。

【０００５】こうした情報産業を支えるのがエレクトロ
ニクス産業で、情報産業の高度化に貢献するさまざまな
ハードやソフトが提供されつつある。この結果として、
以下のような状況が生み出される。・情報生産者が増え、玉石混交のコンテンツが大量に生
産される。・マルチチャンネルＴＶ、ＤＶＤ等、新メディアの開発
による映像情報洪水。・個人の情報摂取時間には限界があり、対応しきれなく
なる。

【０００６】またテレビジョンの変貌もある（楽しむか
ら探すへ）。即ち、・チャンネルが少ない時代は家族全員で共通の映像を楽
しんでいた。今は、・マルチチャンネル時代であり、自分が見たい映像を探
すパーソナル化が進み、テレビ雑誌による番組選択、ザ
ッピング（リモコンによるチャンネルの頻繁な切り替
え）、マルチ画面の利用が盛んになって来ている。

【０００７】ところで、映像は時間の流れに沿って見る
もので、これを見るのには、それなりの時間をとる必要
がある。しかし、上述したようなのような世の中の動き
の中で、映像に対する時間節約の現状を見てみると、・ビデオでタイムシフト・・・見たい時、（暇な時）に
その録画を見る。・ビデオで時間短縮・・・・・早送り、ダイジェストプ
レイで要点を見る。・２画面ビデオ・・・・・・・スポーツと音楽を同時
に楽しむ。一方を再生しつつ他方を受信する。などの対応が見られる（ビデオ：本来は「映像」の意で
あるが、ここでは、ビデオデッキや録画のこと、或いは
これらを使用することを指す）。

【０００８】上述のとおり、映像は時間消費的である。
しかし、人間の時間は限られている。もし映像の要点を
どこででも簡単に短い時間で把握することが出来れば、
多くの映像の中から自分の本当に見たい映像（作品、番
組その他）のみを選択し、ゆっくりと自分のペースで見
ることが出来る。このような願望は、マルチメディア時
代と言われる以前からも存在した。従来は、その目的の
ため、上述の早送りなどが利用されてきた。また近年で
は、上記ダイジェストプレイと言われる機能を搭載した
ビデオデッキ、即ち、約１．５〜２倍の早送り画面に、
通常の再生速度の音を併せて再生し、通常の約半分の時
間で内容を知ることが出来る機能を搭載したものも市販
されている。

【０００９】

【発明が解決しようとする課題】しかし、前記早送り、
ダイジェストプレイ等、従来の手法は、何れも煩雑で視
聴者（利用者）にとって極めて不満足なものであった。
即ち、これら従来の手法は、例えばダイジェストプレイ
によれば音こそ通常の速度で再生可能であるものの、画
面は全て早送りであった。このため、映像はブレて見に
くく、しかもそれが当該映像ソフトのポイントを表わす
ものかどうかを視聴者自身が判断しなければならないか
ら、目を皿のようにして画面に注目しつつ（ダイジェス
トプレイの場合は耳の方にも）、早送り、再生、レビュ
ー、一時停止、といった操作を頻繁に行なわなければな
らなかった。この手法では、特定のシーン（カット、場
面）だけ見つけ出したいなら兎も角、映像ソフトの全体
像を掴もうとするには、目も神経もかなり疲れる。

【００１０】また、前述のように、大量の映像情報が供
給されるようになりつつある、或いは先端技術の時代に
なって来つつあると言われても、そのことによって人間
の能力や自由な時間が大幅に増えて行くという訳ではな
い。この為、・忙しいのでゆっくり映像ソフトを見ていられない。・大量の映像ソフトの中から見たいものを素早く取り出
したい。・自分のペースで短い時間に自由に多くの映像ソフトを
見たい。という新たな要求も出てきている。

【００１１】本発明の目的は、このような人間の時間節
約ニーズに答え、従来の手法と異なる新たな手法で、映
像ソフトの全体の的確な把握を可能にする手法を提供す
ることにある。

【００１２】

【課題を解決するための手段】上記目的達成のため本発
明では、画像、音、字幕その他の映像ソフトウェア構成
データの少なくとも一つについて、その状態が変化する
位置を検出し、該検出された位置の情報に基いて、前記
映像ソフトウェアから幾つかの代表画像を抽出し、前記
映像ソフトウェアの要約を生成する（請求項１）。ま
た、画像、音、字幕その他の映像ソフトウェア構成デー
タの少なくとも一つについて、その状態が変化する位置
を検出し、該検出された位置の情報を、幾つかの代表画
像からなる前記映像ソフトウェアの要約を生成する為の
位置情報として、前記映像ソフトウェアに付加する（請
求項２）。

【００１３】また、画像、音、字幕その他の映像ソフト
ウェア構成データの少なくとも一つについて、その状態
が変化する位置であるとして前記映像ソフトウェアに付
加されている位置の情報を読み出し、該位置情報に基い
て、前記映像ソフトウェアから幾つかの代表画像を抽出
し、該映像ソフトウェアの要約を生成する（請求項
３）。また、画像、音、字幕その他の映像ソフトウェア
構成データの少なくとも一つについて、その状態が変化
する位置を検出し、該検出された位置に係る幾つかの代
表画像を抽出し、要約として前記映像ソフトウェアに付
加する（請求項４）。

【００１４】また、画像、音、字幕その他の映像ソフト
ウェア構成データの少なくとも一つについて、その状態
が変化する位置を検出し、該位置に係る代表画像として
抽出し、前記映像ソフトウェアに付加されている要約を
読み出して、順次再生する（請求項５）。また、請求項
１、請求項３又は請求項５の何れかに記載の映像ソフト
ウェア処理方法に於て、前記生成された要約、或いは付
加されていた要約の再生時、視聴者から命令があった場
合、当該再生していた代表画像を抽出した位置付近から
当該映像ソフトウェアを通常状態で再生する（請求項
６）。また、請求項１、請求項３、請求項５又は請求項
６の何れかに記載の映像ソフトウェア処理方法に於て、
通常状態での映像ソフトウェアの再生時、視聴者から命
令があった場合、該位置付近から当該映像ソフトウェア
の要約生成を実行する（請求項７）。。

【００１５】また、画像、音、字幕その他の映像ソフト
ウェア構成データの少なくとも一つについて、その状態
が変化する位置を検出する位置検出手段と、該検出され
た位置の情報に基いて、前記映像ソフトウェアから幾つ
かの代表画像を抽出し、前記映像ソフトウェアの要約を
生成する要約生成手段とを備える（請求項８）。また、
画像、音、字幕その他の映像ソフトウェア構成データの
少なくとも一つについて、その状態が変化する位置を検
出する位置検出手段と、該検出された位置の情報を、前
記映像ソフトウェアの要約を生成する為の位置情報とし
て、前記映像ソフトウェアに付加する位置情報付加手段
とを備える（請求項９）。

【００１６】画像、音、字幕その他の映像ソフトウェア
構成データの少なくとも一つについて、その状態が変化
する位置であるとして前記映像ソフトウェアに付加され
ている位置の情報を読み出す位置情報読み出し手段と、
該位置情報に基いて前記映像ソフトウェアの要約を生成
する要約生成手段とを備える（請求項１０）。また、画
像、音、字幕その他の映像ソフトウェア構成データの少
なくとも一つについて、その状態が変化する位置を検出
する位置検出手段と、該検出された位置の情報に基い
て、前記映像ソフトウェアから幾つかの代表画像を抽出
し、該代表画像を要約として前記映像ソフトウェアに付
加する画像付加手段とを備える（請求項１１）。

【００１７】また、画像、音、字幕その他の映像ソフト
ウェア構成データの少なくとも一つについて、その状態
が変化する位置を検出し、該検出された位置の情報に基
いて、前記映像ソフトウェアから抽出され、要約として
前記映像ソフトウェアに付加されている代表画像を順次
再生する再生手段を備える（請求項１２）。また、請求
項８、請求項１０又は請求項１２の何れかに記載の映像
ソフトウェア処理装置に於て、前記生成された要約、或
いは付加されていた要約の再生時、視聴者から命令があ
った場合、当該再生していた代表画像を抽出した位置の
付近から当該映像ソフトウェアを通常状態で再生する再
生手段を備える（請求項１３）。また、請求項８、請求
項１０、請求項１２又は請求項１３の何れかに記載の映
像ソフトウェア処理装置に於て、通常状態での映像ソフ
トウェア再生時、視聴者から命令があった場合、当該再
生していた位置付近から前記要約生成を実行する要約手
段を備える（請求項１４）。

【００１８】また、請求項１乃至請求項７の何れか一に
記載の映像ソフトウェア処理方法に於て、各カットを代
表する夫々のカット代表画像のヒストグラムについて多
次元空間内での距離を算出し、該距離が近いもの同士を
纏めてグループを形成し、該各グループを代表する各位
置を抽出することで、前記構成データの状態が変化する
位置の検出を実行する（請求項１５）。

【００１９】そして、請求項８乃至請求項１４の何れか
一に記載の映像ソフトウェア処理装置に於て、各カット
を代表する夫々の画像のヒストグラムについて多次元空
間内での距離を算出する距離算出手段と、該距離が近い
もの同士を纏めてグループ化するグループ化手段と、該
各グループを代表する位置を検出するグループ代表検出
手段とで、前記位置検出手段を実現する（請求項１
６）。

【００２０】（作用）即ち本願発明では、画像、音、字
幕コードその他、当該映像ソフト構成データが変化をす
る位置に着目し、例えばＤＶＤに収録された２時間ドラ
マの内容を、当該各変化位置付近を代表する各画像の集
合（要約）で表現することとし、具体的には、これを１
画面数秒づつ順次静止表示して（コマ送り表示して）、
例えば５分間で当該ドラマ等の全体像を的確に把握出来
るようにする。本発明では、音、文字、画像の特徴など
をさまざまに利用し、またコンピュータによる画像処理
技術を利用して、この要約をつくりだす。このシステム
を利用すると、例えば図２の３０分の長さの「ちびまる
こちゃん」の映像ソフトＶＳは、その右に示される何枚
かの画像ＶＤと字幕ＣＰからなる要約に纏められる（な
お図２の絵は、漫画「ちびまるこちゃん」から引
用。）。

【００２１】

【発明の実施の形態】以下、本発明の詳細を説明する。
理解を容易にするため、先ず図１に示す実施の形態の一
例であるエッセンスプレーヤ１０について説明し、その
後、本発明の種々の展開について説明をする。即ち、エ
ッセンスプレーヤ１０は、デジタルビデオプレーヤ２０
に接続して使用され、カット判別記憶部１、字幕判別記
憶部４、画面合成部５、ハードディスク６、ＣＰＵ２、
ＲＯＭ３、及び操作ユニット７、ディスプレイ８等を備
えている。

【００２２】各部の機能は以下のとおりである。字幕判別記憶部４：字幕（キャプション）を判別し、切
り出す。字幕が出現する位置の情報（タイミング情報）
をカット判別記憶部１に送る。字幕はこの位置の情報と
共に、ハードディスク６（またはＲＡＭ）に保存され
る。カット判別記憶部１：字幕の出現する位置の情報を受
け、それに対応するカット（シーン）の所定位置から、
静止画を取り出す（静止画＝一つの画面（１フレー
ム）。請求項にいう代表画像にあたる。）。静止画には
アドレスが付けられ、ハードディスク（またはＲＡＭ）
に保存される。

【００２３】また、所定位置とは、例えば図３のＰＣの
如き位置（シーン中央）をいう。シーンが切り替えられ
て少し経って、そのシーンを代表する画面（画像）が出
現することが多いと推定し、ここでは、シーン中央を所
定位置に挙げたが、ジャンルによってその特徴的画像の
出現位置は異なるから、この所定位置は任意に定める。
視聴者或いは映像ソフト製作者が一度要約抽出を試行
し、その結果を見て所定位置を決めても良い。

【００２４】ハードディスク６：字幕、静止画及び代表
画像再生中に視聴者が切り抜き指定したカット映像が記
憶される。ＣＰＵ２、ＲＯＭ３：ＲＯＭ３及びハードディスク６に
格納されたプログラムに従い、ＣＰＵ２が本発明に係る
処理を実行する。

【００２５】操作ユニット７：下記各種ボタンを備えて
いる。 EP/NP エッセンスプレイとノーマルプレイの切り替え FWD エッセンスプレイ中、次画面送り BK 〃前画面戻り CUT 〃ハードディスク６への切り抜き保存ディスプレイ８：映像ソフトまたは代表画面（要約）の
表示。

【００２６】静止画と字幕には、その元となった映像の
位置情報、及びこれら相互の関係を示す情報とが付さ
れ、リンクが張られる（情報相互の関連づけが行なわれ
る）。位置情報は、例えばＤＶＤの格納アドレス、先頭
から数えた画像（フレーム）の番号、先頭からそこまで
の通常再生時間などで表現される。これに基いて、例え
ば、上記 EP/NP ボタンによるエッセンスプレイとノー
マルプレイの切り替え動作、及び当該静止画抽出位置付
近の１画面または所望長さの連続画面の切り抜き保存が
実行される。

【００２７】なお、エッセンスプレイとノーマルプレイ
の切り替え動作は、例えば、静止画＋字幕の再生（エッ
センスプレイ）から、利用者が見たいカットが見つかっ
たら、その命令に従い、そのカット位置からノーマルプ
レイ（通常の再生）に移る為の処理、或いは、ノーマル
プレイ中に、利用者の命令に従って、その位置から静止
画＋字幕の再生処理に移行するという形でも実行され
る。また、エッセンス利用者は、自分が字幕を読むスピ
ードに合わせ、画面送りの速度を調節して見ることがで
きる。

【００２８】エッセンスプレイ中にCUTボタンを押され
たときは、それに対応する１画面或いは所望長さのシー
ン（カット）が映像データとしてハードディスク６に保
存される。この画像データにはファイル名が付される。
字幕からテキストが取り出せるときは、それをファイル
名とするのも良い。そうすれば後で検索しやすい。また
順にファイルを指定することにより、保存されたシーン
を自由に繋いで編集可能にしておくのも良い。

【００２９】字幕は文字コードで映像ソフトに添付され
ている場合と、映像そのものとして画像データの中に組
み込まれている場合とがある。前者の場合は、当該媒体
の格納フォーマットに従って、その文字コードを読み出
せば良い。その出現位置（タイミングデータ）も当該格
納位置に関連して容易に把握できる。字幕だけでもスト
ーリーは理解出来るから、取り出した字幕データをそれ
ぞれ１枚づつの静止画に仕立て、字幕だけの要約とする
のも面白い。

【００３０】映像そのものとして画像中に字幕が組み込
まれている場合には、近年その精度が上がって来た漢字
ＯＣＲの手法を用い、字幕の有無を検出する。画面中に
何か文字がある、という程度の認識が出来れば十分であ
るから、例えば、一般に字幕表示位置とされる、画像の
下部とか両端部分に着目し、その画像を粗い解像度で捉
え、そこから何らかの文字が読取れるかどうかで、字幕
の有無を判別すれば良い。

【００３１】以下、映像の種類毎に、映像、カット、字
幕の関係を例示する。［１］従来の字幕付き映画従来の字幕付き映画は、フィルムに字幕が焼き付けてあ
る。従ってその処理方法は上述したようになり、Ｃ＝カ
ット（シーン），Ｓ＝字幕，Ｇ＝静止画又は短い動画と
すると、夫々の関係は、例えば下記のようになる。映像＝Ｃ1＋Ｃ2＋Ｃ3＋・・・・・・・・・・Ｃx カットは数秒〜数十秒で、その中に字幕がついている場
合と字幕なしの場合がある。字幕は１カットに１回の場
合と数回の場合がある。カット字幕（スーパーインポーズ）Ｃ1 Ｓ11＋Ｓ12 Ｃ2 ０Ｃ3 Ｓ31＋Ｓ32＋Ｓ33 ・・・・・・Ｃx Ｓx1＋Ｓx2＋Ｓx3＋Ｓx4

【００３２】この場合、エッセンス画像の抽出は、例え
ば以下の如く行なう。 1.字幕を判別し取り出す。 2.字幕を表示順に列べる。Ｓ11＋Ｓ12、Ｓ31＋Ｓ32＋Ｓ33、・・・Ｓx1＋Ｓx2＋Ｓ
x3＋Ｓx4 3.各カットで最初に字幕が表示された位置の静止画を１
枚切り出す。Ｃ1 Ｇ1 Ｃ2 − Ｃ3 Ｇ3 ・・・・・・Ｃx Ｇx 4.静止画と字幕とに夫々アドレスを持たせ、ハードディ
スク６に保存する。

【００３３】これらとエッセンスプレイとの関係は、以
下の如くである。 1.ＤＶＤやデジタルビデオで通常再生映像を見ていると
きに、エッセンスプレイボタン（EP/NP ボタン）を押す
ことにより、静止画と字幕が表示される。 2.例えばＣ3のカットをプレイ中に、エッセンスプレイ
ボタンを押すと、Ｇ3＋Ｓ31 が表示され、次ページボタン（FWD ボタン）を押すこと
により、Ｇ3＋Ｓ32、Ｇ3＋Ｓ33・・・Ｇx＋Ｓx1、Ｇx＋Ｓx2・・
・とエッセンス画面が順次表示される。また戻りボタン
（BK）を押すと１画面前に戻ることができる。 3.エッセンスプレイ中にノーマルプレイボタン（EP/NP
ボタン）を押すと、そのカットの初めから通常の映像を
見ることができる。 4.エッセンスプレイ中に切り抜きボタン（CUT）を押す
と、そのカットの映像をハードディスク６に保存するこ
とができる。

【００３４】［２］映像＋字幕（画像形式の字幕） (１) 映像と字幕の構成。映像と字幕が別の画面として構成され、再生時に合成表
示されるものもある。この場合の関係は下記のようにな
る。映像＝Ｃ1＋Ｃ2＋Ｃ3＋・・・・・・・・・・Ｃx 字幕＝Ｓ1＋Ｓ2＋Ｓ3＋・・・・・・・・・・Ｓy カット字幕（スーパーインポーズ）Ｃ1 Ｓ1＋Ｓ2 Ｃ2 ０Ｃ3 Ｓ3＋Ｓ4＋Ｓ5 ・・・・・・Ｃx Ｓy

【００３５】（２）エッセンス画像の抽出方法 1.字幕を表示順に列べる。Ｓ1、Ｓ2、Ｓ3、Ｓ4・・・Ｓy 2.各カットで最初に字幕が表示された静止画を１枚切り
出す。Ｃ1 Ｇ1 Ｃ2 − Ｃ3 Ｇ3 ・・・ − ・・Ｃx Ｇx 3.静止画と字幕にそれぞれアドレスを持たせ記憶装置に
保存する。

【００３６】（３）エッセンスプレイ 1.ＤＶＤやデジタルビデオで映像を見ているときに、エ
ッセンスプレイボタンを押すことにより、静止画と字幕
が表示される。 2.例えばＣ3のカットをプレイ中に、エッセンスプレイ
ボタンを押すと、Ｇ3＋Ｓ3 が表示され、次ページボタンを押すことによりＧ3＋Ｓ4、Ｇ3＋Ｓ5・・・とエッセンス画面を見ていくことができる。戻りボタン
を押すと１画面前に戻ることができる。 3.エッセンスプレイ中にノーマルプレイボタンを押す
と、そのカットの初めから通常の映像を見ることができ
る。 4.エッセンスプレイ中に切り抜きボタンを押すと、その
カットの映像を記憶装置に保存することができる。

【００３７】［３］映像＋字幕（テキストデータ）字幕が画像データでなくテキストデータの場合、テキス
トデータを一旦画像に展開して字幕にし、再生時に映像
と合成表示する。この場合も、字幕が表示されるカット
が指定されているので、映像から字幕判別の必要がな
い。［２］のときと同様にエッセンスプレイ処理、操作
が行える。

【００３８】以上、実施の形態例について説明をした。
本発明は更に広範な形式で実施できる。以下、これらに
ついて詳述する。なお項目番号は、ここから改めて付け
る。先ず、ＶＥは原映像から抽出するものである。そこ
で原映像の特性の把握と、そこからどのような要約映像
をつくりだせるかということが問題になる。先ずこの点
から説明する。

【００３９】１．原映像（マルチメデイア・データ）の
要素ＶＥを抽出するための原映像は、ＤＶＤ、テレビ、ビデ
オ、パソコンなどに使われるマルチメデイア映像であ
り、大きく分けると次の２種類がある。１）ストリーム映像映画、ビデオなど、従来から存在する映像のこと。一定
の流れに従って変化する。２）リンク映像（ハイパージャンプ映像）近年、ゲームなどで使用されている映像で、ユーザーの
選択により、リンク先が変り、ストーリー展開が変化す
る映像。ＶＥはこれら２種類の何れも対象にするが、現
在は、「ストリーム映像」の方が多数なので、当面、こ
ちらが対象になる。

【００４０】これら映像ソフトには、以下のような要素
が含まれている。１）文字コード（ＴＣ）文字コードは画面の説明として、難聴者のために必須と
なる。これから製作されるマルチメデイアデータの多く
に含まれるようになる。２）イメージ文字（ＴＩ）文字として見えるが、文字コードになっていないもの。
この種の文字は、自然の映像ではなく文字であるかどう
かを知ることができれば利用できる。この処理は、前述
の如く既存の文字認識手法で行なえる。

【００４１】３）静止画像（Ｓ）画面に一定時間静止した映像として表示されるもの。Ｔ
Ｖなどにおける動画映像の中で変化のないもの、または
パソコンなどに利用される静止画ファイルである。４）動画映像（Ｄ）映画、ビデオなどの映像そのもので、連続した多数のフ
レームで被写体の動きなどを表わすもの。ＴＶの場合に
は１秒間に３０枚の画像になる。画面の動きが早いと一
枚の静止画では解像度が低下することがある。その場合
は、静止画に替え、１秒ほどの動画映像を切り出す。こ
れも請求項にいう「代表画像」に含むものとする。

【００４２】５）音（Ａ）・音には、音声とそれ以外の音とがある。・音声は人間の声であり、はっきりした意味のあるもの
である（広義には、「音声」には全ての「音」が含まれ
るが、ここでは、一応、前述の如き狭義で使用する（厳
密な区別はしていない））。・「それ以外の音」には、例えば、音楽、効果音、周囲
の音などがある。音声とそれ以外の音とは、マルチメデ
ィアデータではあらかじめ分離されて格納されるのこと
が多い。

【００４３】２．ＶＥの構成ＶＥの構成要素としては、上記マルチメデイア要素を全
て利用可能である。しかし、短時間にこれを見るために
は、静止画と文字とを使い、必要に応じて短い動画映像
を使用するのが効果的である。１）静止画・・・・ユーザーは、これをページめくりす
るようにして見る。２）文字・・・・・文字コードデータがある場合にはこ
れを表示する。イメージ文字がある場合にはこれを画面
に貼り付ける。画面に静止させるか、例えば左右に流れ
るように表示すると良い。３）動画映像・・・ユーザがページ送りすると開始され
る。４）音・・・・・・ユーザがページ送りすると開始され
る。ページ送りが早いときは出力しなくて良いであろ
う。

【００４４】３．ＶＥを見る場合のユーザーの操作１）ユーザーはＶＥを本のページをめくるようにしてみ
る。２）ひとつのページは静止画または動画である。３）ページには音がついていて、ユーザーがそのページ
を開けば、前述のように音の出力が行われる（繰り返し
もできる）。４）自動めくりモードも用意しておくと良い。例えば、
静止画のとき、視聴者が設定した間隔、例えば数秒ごと
に自動的に次のページに進むようにすると良い。動画映
像はページが開かれるとすぐに動き出し、終了すると次
のページへ進むようにすると良い。再生速度を上げると
音声は聞き取りにくいから、音の出力は効果音を中心に
する方が良いであろう。５）原映像へのリンク（ハイパージャンプ）ＶＥを見ていてその原映像を見たくなったら、ボタンを
押す。これだけで原映像にリンクされ、もう一度押すと
またＶＥに戻ることもできる。

【００４５】４．ユーザーが設定出来るパラメータＶＥを利用するときに、ユーザーが設定できるパラメー
タとして、例えば下記のようなものが考えられる。１）要約率の大きさ２）自動めくり／手動めくり３）要約の手法（代表画像抽出の動機）デフォルトの要約法を定めておくのも良い。それ以外に
も視聴者が選択出来るようにしておくのが良い。複数の
動機を使って、例えば人の声が存在する位置と、歓声の
上がった位置の両方のついて代表画像を抽出しても構わ
ない。

【００４６】［動機の例］・シーンの切り替わり・一定時間ごとの周期的切り出し・拍手、歓声などの音のクライマックスの切り出しビデオなどにＶＥボタンをつけると、ユーザーはこのボ
タンを押してＶＥ映像をすぐに取り出せるようになる。
パソコンではＶＥボタンをクリックすると、ＶＥ映像の
ぱらぱらめくりができる。

【００４７】５．ＶＥの抽出方法ＶＥの抽出には、マルチメデイアとしての情報の総合的
な関係を利用する。静止画や動画映像を取り出すタイミ
ングの発見に、動画映像の状態、音、文字などの情報を
利用する。先に述べたことと重複するが、整頓の意味で
改めて説明すると、ＶＥを抽出する方法として、例えば
次のような手法が考えられる。

【００４８】１）先頭画面の切り出し原映像の開始時の画面をタイトル（代表画面）として単
純に切り出す（抽出する）。２）周期的切り出し一定時間ごとの周期的な画面の切り出し（要約率に応じ
て１０秒おきなど）。３）カットの切り出しひとつのシーンをとりだし、そこから１枚の静止画を切
り出す。４）字幕の切り出し画面の一部に字幕があればこれを静止画として切り出
す。

【００４９】５）音声のあるシーンの切り出し音声のないシーンを飛ばして、音声のあるシーンのみを
切り出す。６）文字パターン画面文字情報が画面に明示されたシーン（パターン表示な
ど）を１代表画面として切り出す。７）クライマックス拍手、大歓声など音声が大きくなったクライマックス時
の短時間の動画映像を切り出す。

【００５０】６．想定される対象とＶＥの抽出各種ストリーム映像について、ＶＥの具体的抽出動機
（要素の変化位置）を例示すれば以下のようになる。映像のジャンルＶＥ抽出動機ニュースパターン（フリップ）のあるシーンドラマ字幕のあるシーン音声のあるシーンドキュメンタリー音声のあるシーン英会話字幕のあるシーンスポーツ拍手、歓声の上がるシーンとその周辺（音声クライマックス）アニメ字幕のあるシーン長く静止しているシーン音声のあるシーンＴＶショッピング字幕のあるシーン（価格などの情報が見える）歌番組音楽の始まるシーン（音声から判別）教育番組パターンのあるシーンバラエテイショー歓声の上がるシーンオーケストラ音楽のスタートシーン（周期的抽出）天気予報静止したシーン（パターン（フリップ）＝文字や画を書いた板のことで、ＴＶで話し手などが使用する。）

【００５１】７．要約率要約率＝ＶＥを標準の速度の自動めくりで見る時間／原
映像を見るのに要する時間である。ＶＥを利用すると、原映像の表示時間の１／１
０〜１／３０の時間（要約率）でその内容を見ることが
出来る。

【００５２】ＶＥを見るのに必要な時間はユーザーの操
作に依存する。ユーザーはゆっくりとページをめくるよ
うに見てもいいし、素早く映像を送って見てもよいし、
また自動ページめくりで見てもよい。自動めくりの場合
で、２時間（１２０分）の原映像から抽出されるＶＥ
は、おおよそ４〜１２分程度になる。

【００５３】８．ＶＥの実現形態ＶＥ技術の実現形態は、例えば、以下の各種が考えられ
る。１）映像ソフトへの付加ＶＥが標準化された場合には、どのような映像にも、一
般的にＶＥが標準的に付加されることになる。映像ソフ
ト制作側は、制作段階でＶＥのデータを付加するように
する。

【００５４】２）ハードへの組み込みＶＥは、様々なハード（装置）に組み込むことも出来
る。専用ＬＳＩチップとして生産し、販売しても良い。３）ＶＥをソフトとして利用するＶＥ技術をコンピュータソフトウェアとして実現し、パ
ソコンなどに組み込んで実行する。利用者はオプション
により、さまざまな映像に対してＶＥを使いわけること
ができる。インターネットからの映像の取り出し時など
にも利用できる。

【００５５】本発明は、更にマルチ・メディア以外の既
存の映像ソフトに対しても適用できる。以下、それらに
ついて説明する。先ず、最終的に取り出される要約映像
は以下のように構成される。（１）静止画像（２）短い動画映像（３）文字（映画の字幕にあたる）（４）音

【００５６】（１）原映像の入力装置通常の映像取り込装置、例えばビデオデッキ、レーザデ
ィスク用デッキなどを利用する。（２）要約処理の方法１）簡便法・原画像がＮ枚の画像で構成され、これからＭ枚の画像
を抽出して要約を生成するとするならば、Ｎ／Ｍ枚ごと
に映像を静止画としてとりだす。これは最も単純な方法
である。・音は、無音部分を取り除き、音声が言葉になっている
部分をとりだす。言葉になっている部分と音楽、騒音
（轟音）などは周波数分析により比較的判別可能であ
る。取り出される静止画の映像の付近にある音声のみを
とりだす。・文字データが与えられている場合には、静止画付近に
表示される文字を取り出して、静止画に重ね合わせる。

【００５７】２）差分法（シーン切り替えタイミングの
発見）これは、時間的に大きな変化をする映像を見つけ出し
（シーンの切り替えなど）、これに注目して映像を取り
出すものである。・シーンが切り替わったら、次にシーンが切り替わるま
での時間を調べ、その中間の時刻の画面を静止画として
とりだす（図３ＰＣの位置）。あるいは、そのシーン切
り替えが生じる中間の部分のある時間幅に相当する動画
像を要約画像としてとりだす。・文字の扱いマルチメディア・データの場合には、取り出した静止画
像／動画像の付近にある文字を「文字データ」から取り
出して、静止画にスーパーインポーズする。そうでない
ときは字幕を判別して表示する。・音声の扱い取り出した静止画像／動画像の付近にある音声を「音声
データ」から取り出して、静止画が映っているあいだそ
の音声を一回だけ、またはくりかえし出力する。

【００５８】画像の処理方法としては以下のような手法
を利用できる。１）ピクセルの集約処理映像は２次元的な広がりとして例えば３００ｘ２６０と
いうような点の集まりである。それぞれの点に色がつい
ている。テレビの映像ではこのような映像が１秒間に３
０枚必要である。この映像のピクセル構成は、この後の
処理に対して通常は多すぎるので、ピクセルの集約化を
行う。例えば４ｘ４の点で集約すれば、原映像は１／１
６のデータ量にすることができる。８ｘ８で取り出せ
ば、１／６４に集約できる。

【００５９】このようにすると、ズームアップ／ダウンのときゆっくりと変化する画像に対しても、小さい変化を切り捨てる効果を持つ。この
ような前処理を行った上で夫々の値、ａ（ｔ,ｘ,ｙ）をとりだす。但し、ｔ：時刻ｘ，ｙ：集約した映像の
座標ａ：その点（ｘ，ｙ）の色の値であり、ａ＝Ｒ＋
Ｇ＋Ｂなどとするのが一般的である（Ｒ，Ｇ，Ｂは３原
色情報の値）。

【００６０】２）時間方向の集約化処理時間的に変化する映像データは、そのまま扱うには冗長
であり、またムダも多い。そこで、前記前処理を行なっ
た各点のデータａ（ｔ,ｘ,ｙ）に対して、以下の何れか
の処理をする。（１）周期的なサンプリング（２）映像の時間的な差分比較処理一枚の画像のデータを構成する上記各点のデータ、ａ
（ｔ，ｘ，ｙ）について、時間的な差分を求める。ｄ（ｔ，ｘ，ｙ）＝ａ（ｔ，ｘ，ｙ）−ａ（ｔ−△ｔ，
ｘ，ｙ）但し、△ｔ：適宜の時間幅

【００６１】画像全体（ｘ，ｙ）についてこの値を集計
する。式で表わせば、

【数１】となる。これは、時間的に△ｔだけ隣り合う２枚の画像
の間の変化量（差分）を示している。

【００６２】ここで値が大きい順に、Ｄａ（ｔ）をＮ個
とりだす。このようにして取り出したＮ個のＤａ（ｔ）
の例を図３に示す。値が大きい位置、即ち映像の差分が
大きい位置であるＣＳ１，ＣＳ２は、そこで画像に大き
な変化があること、即ちそこでシーンが切り替わってい
る可能性が高いことを表わしている。そこで、このＣＳ
１とＣＳ２の間を一つのシーンと考え、この中から１枚
の代表画像を抽出する。ジャンルによって異なるが、シ
ーンを端的に表わす静止画は、一般にシーン中央付近に
ある。そこで、この図３の例では、シーンの中間位置Ｐ
Ｃを当該代表画面を取り出す位置としている。

【００６３】なお映像ソフトを構成する各フレームにつ
いて、例えば夫々の中央付近の水平走査線１本分の画像
データに着目して画像と画像の間の変化の度合い（シー
ンの切り替わり）を検出するようにしても良い。具体的
には、例えば、この水平走査線１本分の画像データを、
Ｎ個の区間に分け、夫々の区間について平均値を求め
る。そして、各区間毎に、その前の画像の当該区間の平
均値との差分を求める。この差分を各フレーム毎に総和
し、その値が大きくなっている位置、即ち、図３のＣＳ
１、或いはＣＳ２に当たる位置を求め、これを上記同様
のシーンの切り替え位置であるとする。

【００６４】要約映像は次のような特徴をもつ。ユーザーが好きな時間のタイミングでページをめく
るようにして見ることができる。静止画の場合には単純である。動画の場合には、ある部分がひとつのページ内で短
い時間に動画として表示され、指示により繰り返して見
ることができる。

【００６５】以下、変形例について説明する。先ず、要
約再生の際、それを構成する代表画面を１度に４つ、デ
ィスプレイに表示しても良い（代表画面４つを合成し、
１画面にして表示する）。代表画像は、もともと１つの
映像ソフトから出発している。従って夫々は相互に関連
を持っており（ストーリーを持っており）、これらが複
数個、一度に画面に表示されても、視聴者は容易にその
内容を感得出来る。従って、例えばＮ枚の代表画像を一
度に画面表示したとすれば、単純には、１枚づつ静止表
示のときのＮ分の一の時間で、当該要約を再生すること
が出来る。また、映像ソフトにストーリーがあることに
鑑みれば、寧ろ一度に複数代表画像を表示する形式の方
が、一つ一つ再生する形式より内容を感得しやすいかも
知れない。

【００６６】本発明は専用の装置において実現してもよ
いし、アプリケーションプログラムの一つとしてハード
ディスク等に格納しておき、必要に応じて呼出してコン
ピュータ上でも実施しても良い。フロッピーデイスクな
どに格納して配布することも出来る。専用チップを製作
してパソコンに組み込んだり、ＤＶＤプレーヤ、ゲーム
プレーヤに組み込んだり、ＶＴＲに組み込んだりするの
も良い。パソコン等で実施する場合、画面上、或いはキ
ーボードに、実施の形態例の「EP/NP」ボタン等を割り
付けると良い。

【００６７】一つの映像ソフトに複数の要約を付加して
おき、視聴者が選択視聴出来るようにしても良い。例え
ば、字幕の出現位置を動機とした要約と、歓声の上がる
位置を動機とする要約の二つを、当該映像ソフトに付加
しておくのも良い。この処理は、位置情報を映像ソフト
に付加する実施の形態に対しても適用出来る。また、位
置の情報と要約画像の双方を映像ソフトに付加しておく
のも良い。こうすると位置情報から当該要約を生成する
機能が付けられていない通常の映像ソフト再生装置（Ｄ
ＶＤプレーヤ、ビデオデッキなど）でも、要約再生が出
来る。

【００６８】代表画面（要約）又は位置の情報が付加さ
れた映像ソフトは、ＤＶＤ、ビデオテープの如き独立し
た媒体で伝達出来るほか、電波、ネットワーク、個別通
信線その他の媒体を介しても伝達することが出来る。こ
の際、当該代表画面抽出位置付近の種々のデータ（字
幕、音等）も併せて伝達し、視聴者の選択で再生可能に
しても良い。視聴者や管理者が選択した動機に基いて、
映像ソフトから代表画像を抽出し、これらを、ハードデ
ィスクやビデオテープ等、適宜の記憶媒体に集積してお
くのも良い。こうすると、映像ライブラリー等に於て、
目標とする映像ソフトの検索が、的確、且つ容易に実施
できる。個人が所有する映像ソフトの管理にも活用でき
る。

【００６９】他の実施の形態例３０を図４〜図１０に示
す。この実施の形態例３０は、請求項１５の映像ソフト
ウェア処理方法及び請求項１６の映像ソフトウェア処理
装置についての一つの実施の形態例であり、主としてＣ
ＰＵ２，ＲＯＭ３上で実現される。

【００７０】例えばドラマに於て、或る場所（背景）に
於て演技が行なわれ、カットが変って他の一つ或いは幾
つかの場所でそれに続く演技が行なわれ、また元の場所
に戻って演技が続けられるということは多い。要約は、
それを構成する代表画像の数が適切であり、しかもそれ
らが多面的に夫々異なる場面を表現している方が当該映
像ソフトの内容を感得しやすい。

【００７１】図４〜図１０に示したこの実施の形態例３
０は、このような要望に応え得るもので、各カットから
取り出したカット代表画像について夫々そのヒストグラ
ムを作成し、これらヒストグラムの多次元空間内での距
離の遠近という視点から、各ヒストグラム、即ち各カッ
ト代表画像の近似性を求め、近似するもの、即ち前記距
離が近いものを同じグループに纏めていく処理を繰り返
して、これら多数のカット代表画像を、適宜数、例えば
数十のグループに集約し、この各グループから代表画像
を取り出すという処理を実行する。

【００７２】これにより、各代表画像の内容は、当該映
像ソフトの異なった夫々の場面を表す多面的なものとな
り、また、その数も適宜数に絞られる。また、ここで実
施される各画面についての類似性判断は、映像ソフトの
画面が一般的に備えている性質、即ち、カットが変ると
そのヒストグラムの分布（波形、包絡線）がそこで目に
見えて変化する、という性質を利用したものなので、そ
の映像ソフトのジャンルが何であるかに拘らず、画一
的、機械的に実施できるという利点がある。

【００７３】以下、この図４〜図１０に示す実施の形態
例３０について説明をする。見出しの番号はこの実施の
形態例の説明で改めて付ける。１）カットの切り出し。映像ソフトは、多数のカットから成り立っている。一つ
のカットは数秒から数十秒の長さである。カットが変化
する境界では、各フレームのデータが大きく変化する。
これを検出する方法としては、先に説明した実施の形態
例での判別法も一つであるが、ここでは、これに有効で
ある各フレーム（画像）のヒストグラム（映像ヒストグ
ラム）（Ｈ）を利用する手法を用いる。

【００７４】ヒストグラムの例を図５に示す。このヒス
トグラムはヒストグラム作成部３１で作成する。横軸に
各画像の各ピクセルの色（Ｒ，Ｇ，Ｂ）の情報、或いは
輝度や色合い（Ｙ，Ｕ，Ｖ）をプロットし、縦軸に一つ
の画像中での、その色等のピクセルの出現頻度（そのピ
クセル数）をプロットする。図５の例では、横軸に輝度
Ｙを２５６段階でとり、縦軸に、その輝度Ｙを持つピク
セルの発生頻度（ピクセル数）を示している。処理の簡
素化のためには、横軸を１０〜２０段階に区分して、図
６に示すように纏めて表現するのが便利である。

【００７５】ヒストグラムは映像の持つ特性を簡潔に表
現出来るので、様々に有効利用出来る。ここでは先ず前
述のとおりカットの判別に利用する。即ち、差分算出部
３２により、各ヒストグラムＨ（ｔ）の差分Ｈａを求
め、その変化が大きいところを検出する。この差分が大
きい位置がカットの切替り位置を表わす。

【００７６】式で表わすと、Ｈ（ｔ）＝Ｈ（ｔ、ｙ１，ｙ２，ｙ３，…，ｙＮ）但し、Ｈ（ｔ）：時刻ｔのフレームのヒストグラムｙｎ：第ｎ区分の色または色や明るさ情報の頻度
（ｎ＝１、２、…、Ｎ。Ｎ＝横軸の区分数。）

【００７７】ΔＨａ＝Ｈ（ｔ＋１）−Ｈ（ｔ）＝Σ ｙ_n（ｔ＋１）−ｙ_n（ｔ）（構成要素の差の絶対値の和）となる。図に表わすと、
例えば図７のようになる。ここから一定値以上の変化の
あるところを取り出せばカットの切り替わりを検出でき
る。

【００７８】２）カット代表ヒストグラムの抽出。連続する映像、例えば１時間のドラマの連続した各画像
を幾つものカットに切り出したので、次に代表ヒストグ
ラム抽出部３３により、各カットの代表的なヒストグラ
ム（Ｈｓ：代表ヒストグラム）を作る。これには、例え
ばカット内の初めの時刻のフレーム、中央付近の時刻の
フレーム、終り時刻のフレームを取り出してヒストグラ
ムを作成する。１カットの全体のヒストグラムについて
の時間平均を作成しこれを代表にしても良い。

【００７９】これを式で表わすと、Ｈｓ＝Ｈｓ（ｙｓ１，ｙｓ２，ｙｓ３，…，ｙｓＮ）但し、Ｈｓ：カットｓの代表ヒストグラム（ｓ＝１，
２，…，Ｓ）ｙｓｎ：第ｎ区分の色又は色や明るさ情報の頻度（ｎ＝
１，２，…，Ｎ）となる。（そのカットの代表画面やカ
ットの時間に亘る平均）

【００８０】３）カット代表ヒストグラムの近似度算
出。次に、代表ヒストグラム間距離算出部３４で、各カット
代表ヒストグラムＨｓ間の距離Ｄｓｔを算出する（ｓ，
ｔ＝１，２，３，…，Ｓ）。距離Ｄｓｔは、或るカット
ｓの代表ヒストグラムと、別のカットｔの代表ヒストグ
ラムとの間の距離であり、この値（Ｄｓｔ）は、夫々の
ヒストグラムの対応する各区分ｙｓｎ同士間の差の絶対
値又は二乗値の合計として求められる。式で表わすと、

【数２】である。カット代表ヒストグラムの数がｓ個の場合、こ
のようにして求められるそれら各代表ヒストグラム間の
距離Ｄｓｔの数は、リーグ戦での試合数と同じで、ｓ×
（ｓ−１）÷２個である。

【００８１】４）グループ化。つぎに、カット間距離Ｄｓｔの小さなもの同士をとりま
とめて、適当な数（Ｍ）のグループにする。この処理
は、グループ化処理部３６で行なう。この処理には各種
数学的手法が利用できるが、最も単純なのは以下のよう
な方法である。先ずＤｓｔのうちで最小の距離にあるカ
ット代表ヒストグラムｓとｔとを求める。そしてこのｓ
とｔを一つのグループにする。次に、残りの距離Ｄｓｔ
の中から最小の距離を持つｓとｔの組合わせを見つけて
グループにする。

【００８２】当初は全カットの数に対応したｓ個のヒス
トグラムが独立に存在し、グループもこれと同じ数のｓ
個存在する。ここで、グループ化の操作を１回行なう
と、グループが一つ減少する。従って、このグループ化
操作をＳ−Ｍ回繰り返せば、グループの数はＭ個にな
る。これにより、各カットの代表ヒストグラムｓ個を図
８に示すような適切な数（Ｍ）のグループに纏めること
が出来る。

【００８３】５）各グループの代表画像抽出。グループの区分けが完了したら各グループから代表画像
を抽出する。この処理は代表画像抽出部３７で実行す
る。この場合、夫々のグループから一つランダムにグル
ープ代表画像を選んでも構わないし、厳密にするなら、
グループの重心Ｈｇ（図８のｘ記号）を求め、この重心
Ｈｇに最も近いものを代表画像とする。

【００８４】重心Ｈｇを求めるには、先ずそのグループ
に属することになった各ヒストグラムについて夫々のｙ
ｓｎの値を平均する。式で表わせば、であり、

【数３】

【数４】と表わされる。

【００８５】そして各々のヒストグラムｊとグループ重
心Ｈｇとの間の距離を求める。この距離が最小になるヒ
ストグラム、即ちもっともグループ重心に近いヒストグ
ラムの画像を、そのグループの代表画像として取り出
す。これら代表画像は、その儘集合させ要約にしてもよ
い。ここまでの流れを纏めれば図９のようになる。

【００８６】この実施の形態例ではグループ化処理を行
なった。従って、その処理結果を代表画像の抽出に反映
させると、一層的確に原映像ソフトの内容を表現する要
約が生成出来る。具体的には要約に含まれる夫々の画像
に優先度を付け、この優先度に応じて下記の如く代表画
像の選択を行なう。

【００８７】１）グループに含まれるカット（代表ヒス
トグラム）の数の反映。グループを構成するカットの数が多い、即ち一本の映像
ソフトの中で類似の画像なりカットなりが何度も出て来
る場合、そのグループはその映像ソフトの中で存在意義
が大きいと考えられる。そこで、このようなものについ
ては、代表画像を一つだけ取り出すのではなく、頻度に
比例した数の代表画像を取り出すことにするのが効果的
と考えられる。この場合、取り出されたものが近似して
いては代表画像を複数にした意味が薄れる感じがする。
従ってこのときは、なるべく距離の遠いものを選んで複
数取り出すと良い。

【００８８】２）カットの合計時間の反映。グループを構成しているヒストグラムの母体である各カ
ットの持続時間の合計が長い場合も、そのグループも映
像ソフトの中で存在意義が大きいと考えられる。そこで
これらの優先度を高くするために、グループ毎のカット
の合計時間数に比例して幾つかの代表画像を取り出すの
も効果的である。３）頻度の低いカットの無視。グループを構成するカットの数が少なければそのグルー
プを無視し、その代表画像を要約に採用しないことも考
えられる。

【００８９】代表画像の表示についても二つほど工夫が
ある。先ず、これらは大きな画面上に分散して配置して
同時に多数表示するようにしても良い。言わば「鳥獣戯
画」の如き表現形式である。こうすると、要約を時間的
にではなく、空間的に把握することが出来るようにな
る。そして、この空間的に配置された代表画像の一つを
クリックすると、その代表画像が動画として動きだすよ
うにするのも良く、そこで更にダブルクリックすれば、
そのカットから原映像ソフトが再生されるようにするの
も良い。

【００９０】このとき、上記１），２），３）のような
観点から、各代表画像の表示の大きさに重み付けを行な
うと判りやすい。即ち図１０に示すように、そのグルー
プに属するヒストグラムが多いもの、或いはそのカット
の持続時間の合計が多いものは表示面積を大きくし、且
つ中央に配置する。こうすると、視聴者はその映像ソフ
トの言わばさわりを一瞥で感得出来る。なお、最初の実
施の形態例についての変形例は、ここに説明した実施例
にも当てはまる。

【００９１】

【発明の効果】以上説明したように、本発明によれば、
視聴者が欲する映像ソフト構成データに着目し、映像の
要約を自動的に抽出することができる。視聴者は、それ
を自由に自分のペースで短時間のうちに見ることがで
き、当該映像ソフトの全体像を、簡単、かつ正確に把握
することが出来る。これにより、簡単に大量の映像にア
クセスできるようになる。

【００９２】また、要約映像は、原映像に比較すればか
なり小さいデータ量になり、通信や携帯端末にも適する
ものと成り得る。将来、光ファイバー高速通信網、大容
量メモリー、高速ＣＰＵのおかげでデータ量そのものは
問題にならなくなるとも思われるが、情報量自体が小さ
いことは、同じ通信手段でより沢山の種類の情報を伝達
することが出来るという利点がある。また高速通信網へ
の移行期でも、容易に実施出来るという利点もある。

【図面の簡単な説明】

【図１】実施の形態例を示すブロック図。

【図２】原映像ソフトウェアと抽出した要約（代表画
面）の例を示す説明図。

【図３】各画像データ間の差分の例を示すグラフ。

【図４】他の実施の形態例を示すブロック図。

【図５】１枚の画像のヒストグラムの例を示すグラフ。

【図６】簡素化したヒストグラムの例を示すグラフ。

【図７】ヒストグラムの差分の例を示すグラフ。

【図８】ｎ次元空間での各カット（ヒストグラム）のグ
ループ化の例を示す概念図。

【図９】他の実施の形態例に於ける要約生成のプロセス
を示す概念図。

【図１０】空間配置の要約表示例を示す平面図。

【符号の説明】

１…カット判別記憶部２…ＣＰＵ３…ＲＯＭ４…字幕判別記
憶部５…画面合成部６…ハードディ
スク７…操作ユニット８…ディスプレ
イ１０…エッセンスプレーヤ２０…ＤＶＤプ
レーヤ３０…他の実施の形態例３１…ヒストグ
ラム作成部３２…差分算出部３３…代表ヒス
トグラム抽出部３４…代表ヒストグラム間距離算出部３６…グループ
化処理部３７…代表画像抽出部

Claims

【特許請求の範囲】

【請求項１】画像、音、字幕その他の映像ソフトウェ
ア構成データの少なくとも一つについて、その状態が変
化する位置を検出し、該検出された位置の情報に基い
て、前記映像ソフトウェアから幾つかの代表画像を抽出
し、前記映像ソフトウェアの要約を生成することを特徴
とする映像ソフトウェア処理方法。
【請求項２】画像、音、字幕その他の映像ソフトウェ
ア構成データの少なくとも一つについて、その状態が変
化する位置を検出し、該検出された位置の情報を、幾つ
かの代表画像からなる前記映像ソフトウェアの要約を生
成する為の位置情報として、前記映像ソフトウェアに付
加することを特徴とする映像ソフトウェア処理方法。
【請求項３】画像、音、字幕その他の映像ソフトウェ
ア構成データの少なくとも一つについて、その状態が変
化する位置であるとして前記映像ソフトウェアに付加さ
れている位置の情報を読み出し、該位置情報に基いて、
前記映像ソフトウェアから幾つかの代表画像を抽出し、
該映像ソフトウェアの要約を生成することを特徴とする
映像ソフトウェア処理方法。
【請求項４】画像、音、字幕その他の映像ソフトウェ
ア構成データの少なくとも一つについて、その状態が変
化する位置を検出し、該検出された位置に係る幾つかの
代表画像を抽出し、要約として前記映像ソフトウェアに
付加することを特徴とする映像ソフトウェア処理方法。
【請求項５】画像、音、字幕その他の映像ソフトウェ
ア構成データの少なくとも一つについて、その状態が変
化する位置を検出し、該位置に係る代表画像として抽出
し、前記映像ソフトウェアに付加されている要約を読み
出して、順次再生することを特徴とする映像ソフトウェ
ア処理方法。
【請求項６】前記生成された要約、或いは付加されて
いた要約の再生時、視聴者から命令があった場合、当該
再生していた代表画像を抽出した位置付近から当該映像
ソフトウェアを通常状態で再生することを特徴とする請
求項１、請求項３又は請求項５の何れかに記載の映像ソ
フトウェア処理方法。
【請求項７】通常状態での映像ソフトウェアの再生
時、視聴者から命令があった場合、該位置付近から当該
映像ソフトウェアの要約生成を実行することを特徴とす
る請求項１、請求項３、請求項５又は請求項６の何れか
に記載の映像ソフトウェア処理方法。
【請求項８】画像、音、字幕その他の映像ソフトウェ
ア構成データの少なくとも一つについて、その状態が変
化する位置を検出する位置検出手段と、該検出された位
置の情報に基いて、前記映像ソフトウェアから幾つかの
代表画像を抽出し、前記映像ソフトウェアの要約を生成
する要約生成手段とを備えたことを特徴とする映像ソフ
トウェア処理装置。
【請求項９】画像、音、字幕その他の映像ソフトウェ
ア構成データの少なくとも一つについて、その状態が変
化する位置を検出する位置検出手段と、該検出された位
置の情報を、前記映像ソフトウェアの要約を生成する為
の位置情報として、前記映像ソフトウェアに付加する位
置情報付加手段とを備えたことを特徴とする映像ソフト
ウェア処理装置。
【請求項１０】画像、音、字幕その他の映像ソフトウ
ェア構成データの少なくとも一つについて、その状態が
変化する位置であるとして前記映像ソフトウェアに付加
されている位置の情報を読み出す位置情報読み出し手段
と、該位置情報に基いて前記映像ソフトウェアの要約を
生成する要約生成手段とを備えたことを特徴とする映像
ソフトウェア処理装置。
【請求項１１】画像、音、字幕その他の映像ソフトウ
ェア構成データの少なくとも一つについて、その状態が
変化する位置を検出する位置検出手段と、該検出された
位置の情報に基いて、前記映像ソフトウェアから幾つか
の代表画像を抽出し、該代表画像を要約として前記映像
ソフトウェアに付加する画像付加手段とを備えたことを
特徴とする映像ソフトウェア処理装置。
【請求項１２】画像、音、字幕その他の映像ソフトウ
ェア構成データの少なくとも一つについて、その状態が
変化する位置を検出し、該検出された位置の情報に基い
て、前記映像ソフトウェアから抽出され、要約として前
記映像ソフトウェアに付加されている代表画像を順次再
生する再生手段を備えたことを特徴とする映像ソフトウ
ェア処理装置。
【請求項１３】前記生成された要約、或いは付加され
ていた要約の再生時、視聴者から命令があった場合、当
該再生していた代表画像を抽出した位置の付近から当該
映像ソフトウェアを通常状態で再生する再生手段を備え
たことを特徴とする請求項８、請求項１０又は請求項１
２の何れかに記載の映像ソフトウェア処理装置。
【請求項１４】通常状態での映像ソフトウェア再生
時、視聴者から命令があった場合、当該再生していた位
置付近から前記要約生成を実行する要約手段を備えたこ
とを特徴とする請求項８、請求項１０、請求項１２又は
請求項１３の何れかに記載の映像ソフトウェア処理装
置。
【請求項１５】各カットを代表する夫々のカット代表
画像のヒストグラムについて多次元空間内での距離を算
出し、該距離が近いもの同士を纏めてグループを形成
し、該各グループを代表する各位置を抽出することで、
前記構成データの状態が変化する位置の検出を実行する
ことを特徴とする請求項１乃至請求項７の何れか一に記
載の映像ソフトウェア処理方法。
【請求項１６】各カットを代表する夫々の画像のヒス
トグラムについて多次元空間内での距離を算出する距離
算出手段と、該距離が近いもの同士を纏めてグループ化
するグループ化手段と、該各グループを代表する位置を
検出するグループ代表検出手段とで、前記位置検出手段
を実現することを特徴とする請求項８乃至請求項１４の
何れか一に記載の映像ソフトウェア処理装置。