JPH099202A - 索引生成方法、索引生成装置、索引付け装置、索引付け方法、ビデオ議事録生成方法、フレーム編集方法及びフレーム編集装置 - Google Patents
索引生成方法、索引生成装置、索引付け装置、索引付け方法、ビデオ議事録生成方法、フレーム編集方法及びフレーム編集装置Info
- Publication number
- JPH099202A JPH099202A JP8142477A JP14247796A JPH099202A JP H099202 A JPH099202 A JP H099202A JP 8142477 A JP8142477 A JP 8142477A JP 14247796 A JP14247796 A JP 14247796A JP H099202 A JPH099202 A JP H099202A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- video
- frames
- preview
- icon
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
(57)【要約】
【課題】 ビデオ場面内の高レベルのオブジェクトを利
用し、ビデオレコードの内容ベースの索引付けを実現す
る。 【解決手段】 フレームをサーチして見つけたニュース
アイコン３２０をビデオラベル１として記憶される。画
像内容を利用する場合、ニュースアイコン３２０の画像
内容に類似した画像内容を持つフレームがビデオラベル
１に索引付けされる。ニュースアイコン３２０はポニー
の絵を含むので、少なくともポニーの一部を含むフレー
ム４０６〜４１２が、そのビデオラベルに索引付けされ
る。アイコン３２０のテキスト内容（ＰＯＮＹ ＴＡＬ
Ｅ）や関連した音声内容も、索引付けすべきフレームの
類似判定に利用できる。
用し、ビデオレコードの内容ベースの索引付けを実現す
る。 【解決手段】 フレームをサーチして見つけたニュース
アイコン３２０をビデオラベル１として記憶される。画
像内容を利用する場合、ニュースアイコン３２０の画像
内容に類似した画像内容を持つフレームがビデオラベル
１に索引付けされる。ニュースアイコン３２０はポニー
の絵を含むので、少なくともポニーの一部を含むフレー
ム４０６〜４１２が、そのビデオラベルに索引付けされ
る。アイコン３２０のテキスト内容（ＰＯＮＹ ＴＡＬ
Ｅ）や関連した音声内容も、索引付けすべきフレームの
類似判定に利用できる。
Description
【０００１】
【発明の属する分野】本発明は、ビデオレコーディング
技術に係り、特に、ビデオレコードの索引生成、索引付
け及び編集のための技術に関する。
技術に係り、特に、ビデオレコードの索引生成、索引付
け及び編集のための技術に関する。
【０００２】
【従来の技術】ビデオ技術は、テレビニュースビデオや
デスクトップテレビ会議のような応用分野でビデオデー
タベースが一般的になるほど進歩した。しかし、ビデオ
データベースの発展に伴い、ビデオデータベースから特
定のビデオ部分を検索するための、より一層効率的な方
法の必要性が増してきた。ビデオデータベースに対する
現在の検索方法の多くは、タイムスタンプ法を利用す
る。タイムスタンプ法では、人がある特定のビデオ部分
の日時を知っていれば、そのビデオ部分を検索すること
ができる。しかしながら、人はビデオ部分の内容につい
ては多少知っていたとしても、日時を知らないことが多
い。したがって、内容ベースのビデオ索引付け方法に対
する関心が高まっている。
デスクトップテレビ会議のような応用分野でビデオデー
タベースが一般的になるほど進歩した。しかし、ビデオ
データベースの発展に伴い、ビデオデータベースから特
定のビデオ部分を検索するための、より一層効率的な方
法の必要性が増してきた。ビデオデータベースに対する
現在の検索方法の多くは、タイムスタンプ法を利用す
る。タイムスタンプ法では、人がある特定のビデオ部分
の日時を知っていれば、そのビデオ部分を検索すること
ができる。しかしながら、人はビデオ部分の内容につい
ては多少知っていたとしても、日時を知らないことが多
い。したがって、内容ベースのビデオ索引付け方法に対
する関心が高まっている。
【０００３】既存の内容ベースの索引付け方法の中に
は、低レベル又は中間レベルのオブジェクト、例えば画
素または画素領域に類似（similarity）手法を適用する
ものがある。例えば、ある画素ベースの方法は、まず各
フレームを、輝度レベル毎の画素数を表すヒストグラム
に変換する。そして、そのヒストグラムに対し相関関数
のような類似手法を適用することにより、２フレームが
「一致する」か判定する。画素領域ベースの方法は、ま
ず、各フレームをいくつかの均一輝度レベルの画素領域
の形で表現し、次に、その表現をエンコードし、最後
に、エンコードされた表現に対し相似手法を適用する。
しかし、低レベル又は中間レベルのオブジェクトの認識
よりも、ビデオ場面内の高レベルのオブジェクトを直接
的に検索できるほうが好ましいかもしれない。例えば、
ユーザーが「赤いスポーツ車を含む全フレームの一覧表
を作成せよ」というような高レベルな照会を使ってビデ
オデータベースに照会できると効率的であろう。このよ
うな方法はブロードなコンテキストでは未だ無理である
が、コンテキストが限定されるとしても高レベルオブジ
ェクト認識を提供できれば望ましい。
は、低レベル又は中間レベルのオブジェクト、例えば画
素または画素領域に類似（similarity）手法を適用する
ものがある。例えば、ある画素ベースの方法は、まず各
フレームを、輝度レベル毎の画素数を表すヒストグラム
に変換する。そして、そのヒストグラムに対し相関関数
のような類似手法を適用することにより、２フレームが
「一致する」か判定する。画素領域ベースの方法は、ま
ず、各フレームをいくつかの均一輝度レベルの画素領域
の形で表現し、次に、その表現をエンコードし、最後
に、エンコードされた表現に対し相似手法を適用する。
しかし、低レベル又は中間レベルのオブジェクトの認識
よりも、ビデオ場面内の高レベルのオブジェクトを直接
的に検索できるほうが好ましいかもしれない。例えば、
ユーザーが「赤いスポーツ車を含む全フレームの一覧表
を作成せよ」というような高レベルな照会を使ってビデ
オデータベースに照会できると効率的であろう。このよ
うな方法はブロードなコンテキストでは未だ無理である
が、コンテキストが限定されるとしても高レベルオブジ
ェクト認識を提供できれば望ましい。
【０００４】ビデオデータベースの発展によってもたら
されたもう一つのことは、より効率的なビデオ編集方法
の必要性が増大したことである。ビデオデータベースの
利用により、ビデオ編集時にフィルムを物理的に切って
つなぐ必要は殆どなくなった。物理的に切ってつなぐの
ではなく、フレームを加工すべくコンピュータにコマン
ドを入力することにより、データベースに格納されてい
るビデオをコンピュータ上で電子的に編集することがで
きる。しかし、場合によっては、このような方法による
ビデオ編集は非現実的であったり、好ましくないかもし
れない。例えば、編集者はビデオが格納されているデー
タベースの近くに現実にいることができないかもしれな
いし、あるいは、編集者はコンピュータシステム又は適
当なソフトウエアを利用できないかもしれない。したが
って、編集者が、データベースに直接アクセスせずに、
データベースに格納されているビデオを効率的に編集で
きる編集手法を提供することが望まれる。特に、編集者
に、編集すべきフレームを表すハードコピーに編集コマ
ンドを手描きすることによるビデオ編集機能を提供し、
編集記号が記入されたハードコピーが自動的に解釈され
ることによって、その後に、また望むならば別の場所
で、ビデオが編集できると望ましい。
されたもう一つのことは、より効率的なビデオ編集方法
の必要性が増大したことである。ビデオデータベースの
利用により、ビデオ編集時にフィルムを物理的に切って
つなぐ必要は殆どなくなった。物理的に切ってつなぐの
ではなく、フレームを加工すべくコンピュータにコマン
ドを入力することにより、データベースに格納されてい
るビデオをコンピュータ上で電子的に編集することがで
きる。しかし、場合によっては、このような方法による
ビデオ編集は非現実的であったり、好ましくないかもし
れない。例えば、編集者はビデオが格納されているデー
タベースの近くに現実にいることができないかもしれな
いし、あるいは、編集者はコンピュータシステム又は適
当なソフトウエアを利用できないかもしれない。したが
って、編集者が、データベースに直接アクセスせずに、
データベースに格納されているビデオを効率的に編集で
きる編集手法を提供することが望まれる。特に、編集者
に、編集すべきフレームを表すハードコピーに編集コマ
ンドを手描きすることによるビデオ編集機能を提供し、
編集記号が記入されたハードコピーが自動的に解釈され
ることによって、その後に、また望むならば別の場所
で、ビデオが編集できると望ましい。
【０００５】
【発明が解決しようとする課題】よって、本発明の目的
は、以上に述べた従来技術の不十分な点を改善し、また
上述の要求に応えるため、新たな索引生成、索引付け、
ビデオ議事録生成及びフレーム編集の手段を提供するこ
とにある。
は、以上に述べた従来技術の不十分な点を改善し、また
上述の要求に応えるため、新たな索引生成、索引付け、
ビデオ議事録生成及びフレーム編集の手段を提供するこ
とにある。
【０００６】
【課題を解決するための手段】本発明によれば、音声及
び映像の内容を持つレコードの索引を生成する方法及び
装置が提供される。索引は複数のラベルからなる。レコ
ードは複数のフレームからなる。それらフレーム中の若
干数のフレームには、少なくとも複数のアイコン中の一
つがそれぞれ含まれる。この索引生成方法は、１）複数
のアイコンを使って複数のラベルを生成するステップ、
２）フレーム中で、複数のアイコン中の一つを含まない
各フレームを、その内容が複数のラベル中の一つに割り
当てられたアイコンの内容と一致するならば、そのラベ
ルに索引付けするステップからなる。
び映像の内容を持つレコードの索引を生成する方法及び
装置が提供される。索引は複数のラベルからなる。レコ
ードは複数のフレームからなる。それらフレーム中の若
干数のフレームには、少なくとも複数のアイコン中の一
つがそれぞれ含まれる。この索引生成方法は、１）複数
のアイコンを使って複数のラベルを生成するステップ、
２）フレーム中で、複数のアイコン中の一つを含まない
各フレームを、その内容が複数のラベル中の一つに割り
当てられたアイコンの内容と一致するならば、そのラベ
ルに索引付けするステップからなる。
【０００７】また、本発明によれば、人間の情動（affe
ct）を利用して、少なくとも１人の人間を描写している
映像内容を持つレコードの索引付けをする方法及び装置
も提供される。レコードは複数のフレームを持ち、それ
らフレーム中の若干数のフレームはそれぞれ、人間の複
数の情動中の一つを含んでいる。この方法は、１）複数
フレーム中のどのフレームがある情動を含んでいるか調
べるステップ、２）ある情動を描写するフレームをそれ
ぞれ、複数ラベル中の１つのラベル（１フレームにつき
１つ）として格納するステップ、３）フレーム中で、あ
る情動を描写する各フレーム毎に、そのフレームより生
成されたラベルに、そのフレームに対応する他のフレー
ムそれぞれを索引付けするステップからなる。
ct）を利用して、少なくとも１人の人間を描写している
映像内容を持つレコードの索引付けをする方法及び装置
も提供される。レコードは複数のフレームを持ち、それ
らフレーム中の若干数のフレームはそれぞれ、人間の複
数の情動中の一つを含んでいる。この方法は、１）複数
フレーム中のどのフレームがある情動を含んでいるか調
べるステップ、２）ある情動を描写するフレームをそれ
ぞれ、複数ラベル中の１つのラベル（１フレームにつき
１つ）として格納するステップ、３）フレーム中で、あ
る情動を描写する各フレーム毎に、そのフレームより生
成されたラベルに、そのフレームに対応する他のフレー
ムそれぞれを索引付けするステップからなる。
【０００８】また、本発明によれば、テレビ電子会議の
レコードのビデオ議事録を生成する方法も提供される。
テレビ電子会議には複数の参加者がいる。レコードは複
数のフレームを持ち、それらフレーム中の若干数のフレ
ームはそれぞれ、参加者中の１人による複数の有意な動
きの中の一つの動きを描写する。この方法は、１）フレ
ーム中で、有意な動きを表す各フレームを複数のラベル
中の一つとして格納するステップ（有意な動きを表す各
フレームより一つのラベルが生成される）、２）フレー
ム中で、ある有意な動きを描写する各フレーム毎に、そ
のフレームから生成されたラベルに、そのフレームに対
応する他フレーム中の各フレームを索引付けするステッ
プからなる。
レコードのビデオ議事録を生成する方法も提供される。
テレビ電子会議には複数の参加者がいる。レコードは複
数のフレームを持ち、それらフレーム中の若干数のフレ
ームはそれぞれ、参加者中の１人による複数の有意な動
きの中の一つの動きを描写する。この方法は、１）フレ
ーム中で、有意な動きを表す各フレームを複数のラベル
中の一つとして格納するステップ（有意な動きを表す各
フレームより一つのラベルが生成される）、２）フレー
ム中で、ある有意な動きを描写する各フレーム毎に、そ
のフレームから生成されたラベルに、そのフレームに対
応する他フレーム中の各フレームを索引付けするステッ
プからなる。
【０００９】本発明によれば、記録されたニュース放送
の映像索引を生成する方法も提供される。記録されたニ
ュース放送は一定のプレビュー場面（footage）と関連
付けられている。記録されたニュース放送は複数のニュ
ースフレームからなる。プレビュー場面は複数のプレビ
ューフレームからなる。ニュースフレームとプレビュー
フレームは両方とも音声及び映像の内容を持つ。索引は
複数のラベルからなる。この方法は、１）プレビューフ
レームをメモリに格納するステップ、２）プレビューフ
レーム中で、プレビュー場面内で所定回数以上繰り返さ
れる各プレビューフレームを識別するステップ、３）プ
レビューフレーム中で、プレビュー場面内で所定回数以
上繰り返される各プレビューフレームから複数のラベル
を生成するステップからなる。
の映像索引を生成する方法も提供される。記録されたニ
ュース放送は一定のプレビュー場面（footage）と関連
付けられている。記録されたニュース放送は複数のニュ
ースフレームからなる。プレビュー場面は複数のプレビ
ューフレームからなる。ニュースフレームとプレビュー
フレームは両方とも音声及び映像の内容を持つ。索引は
複数のラベルからなる。この方法は、１）プレビューフ
レームをメモリに格納するステップ、２）プレビューフ
レーム中で、プレビュー場面内で所定回数以上繰り返さ
れる各プレビューフレームを識別するステップ、３）プ
レビューフレーム中で、プレビュー場面内で所定回数以
上繰り返される各プレビューフレームから複数のラベル
を生成するステップからなる。
【００１０】本発明によれば、ビデオレコードの複数の
フレームを編集する方法及び装置も提供される。それら
フレームはそれぞれ、静的ディスプレイ上に表示され
る。この方法は、１）静的ディスプレイを調べてユーザ
により手描きされた編集記号を探すステップ、２）静的
ディスプレイ上に手描きされた編集記号を認識するステ
ップ、３）編集コマンドを表す編集記号の表に基づい
て、静的ディスプレイ上に手描きされた編集記号それぞ
れを、複数の編集コマンド中の一つのコマンドに関連付
けるステップ、４）静的ディスプレイ上に手書きされた
編集記号に関連付けられた編集コマンドに従ってビデオ
レコードのフレームを修正するステップからなる。
フレームを編集する方法及び装置も提供される。それら
フレームはそれぞれ、静的ディスプレイ上に表示され
る。この方法は、１）静的ディスプレイを調べてユーザ
により手描きされた編集記号を探すステップ、２）静的
ディスプレイ上に手描きされた編集記号を認識するステ
ップ、３）編集コマンドを表す編集記号の表に基づい
て、静的ディスプレイ上に手描きされた編集記号それぞ
れを、複数の編集コマンド中の一つのコマンドに関連付
けるステップ、４）静的ディスプレイ上に手書きされた
編集記号に関連付けられた編集コマンドに従ってビデオ
レコードのフレームを修正するステップからなる。
【００１１】本発明の上記特徴及び他の特徴は、添付図
面及び以下の詳細な説明から明らかになろう。
面及び以下の詳細な説明から明らかになろう。
【００１２】
【発明の実施の形態】以下、本発明による内容ベースの
ビデオ索引付け及び編集方法について説明する。以下の
記述においては、説明用に、本発明を十分理解できるよ
う多くの具体例が提示される。しかし、それらの具体例
によらずに本発明を実施し得ることは当業者には明白で
あろう。他方、周知の構造及び装置は、本発明をいたず
らに難解にしないためブロック図として表される。
ビデオ索引付け及び編集方法について説明する。以下の
記述においては、説明用に、本発明を十分理解できるよ
う多くの具体例が提示される。しかし、それらの具体例
によらずに本発明を実施し得ることは当業者には明白で
あろう。他方、周知の構造及び装置は、本発明をいたず
らに難解にしないためブロック図として表される。
【００１３】以下の記述において、”ビデオ”なる用語
が頻繁に使用される。本明細書において、”ビデオ”な
る用語は、連続して素早く表示されると被写体の動きや
他のアニメーションを表現する、関連した画像の時間順
シーケンスと定義される。このようなシーケンスは普
通、動画と呼ばれる。
が頻繁に使用される。本明細書において、”ビデオ”な
る用語は、連続して素早く表示されると被写体の動きや
他のアニメーションを表現する、関連した画像の時間順
シーケンスと定義される。このようなシーケンスは普
通、動画と呼ばれる。
【００１４】図１は本発明が実施されるコンピュータシ
ステム１を示す。このコンピュータシステム１は中央処
理装置（ＣＰＵ）１０、メモリ２０、データ記憶装置３
（例えば磁気ディスク、ＣＤ−ＲＯＭ）、プリンタ４
０、デジタルビデオチップ（ＤＶＣ）５０、ビデオモニ
ター６０、キーボード７０、マウス８０、スキャナ９
０、ビデオ入力装置（ＶＩＵ）１００をシステムバス１
１０により結合してなる。ＶＩＵ１００は、図３に示さ
れるように、ビデオソースであるレーザーディスクプレ
イヤー１２０、ビデオカメラ１４０及びビデオカセット
レコーダー（ＶＣＲ）１３０、又は信号ＲＳを送出する
リモートソースよりビデオデータを受け取るフレームグ
ラバー（grabber）１５０を含む。このリモートソース
は、例えば、ＲＦソース（テレビケーブル又はアンテナ
等）又はＩＳＤＮソースである。メモリ２０は、図２に
示されるように、個別のフレームにフォーマットされた
ビデオデータを記憶する。図３において、フレームグラ
バー１５０はＶＣＲ１３０、ビデオカメラ１４０、レー
ザーディスクプレイヤー１２０又はリモートソースより
ビデオデータを受け取り、そのデータを個々のフレーム
にフォーマットし、フォーマットしたビデオデータをシ
ステムバス１１０を介してメモり２０へ与える。本発明
は、データ記憶装置３０に格納されたソフトウエアコー
ドによって実施されても、図１にＤＶＣ５０として示さ
れている専用チップにより実施されてもよい。以下にさ
らに述べるように、マウス８０は、ライトペン、スタイ
ラス、トラックボール等の他の同等なカーソル制御装置
で置き換えられてもよい。また、タッチスクリーンを持
つモニターを用いることにより、モニター６０とマウス
８０の特定機能が結合されてもよい。
ステム１を示す。このコンピュータシステム１は中央処
理装置（ＣＰＵ）１０、メモリ２０、データ記憶装置３
（例えば磁気ディスク、ＣＤ−ＲＯＭ）、プリンタ４
０、デジタルビデオチップ（ＤＶＣ）５０、ビデオモニ
ター６０、キーボード７０、マウス８０、スキャナ９
０、ビデオ入力装置（ＶＩＵ）１００をシステムバス１
１０により結合してなる。ＶＩＵ１００は、図３に示さ
れるように、ビデオソースであるレーザーディスクプレ
イヤー１２０、ビデオカメラ１４０及びビデオカセット
レコーダー（ＶＣＲ）１３０、又は信号ＲＳを送出する
リモートソースよりビデオデータを受け取るフレームグ
ラバー（grabber）１５０を含む。このリモートソース
は、例えば、ＲＦソース（テレビケーブル又はアンテナ
等）又はＩＳＤＮソースである。メモリ２０は、図２に
示されるように、個別のフレームにフォーマットされた
ビデオデータを記憶する。図３において、フレームグラ
バー１５０はＶＣＲ１３０、ビデオカメラ１４０、レー
ザーディスクプレイヤー１２０又はリモートソースより
ビデオデータを受け取り、そのデータを個々のフレーム
にフォーマットし、フォーマットしたビデオデータをシ
ステムバス１１０を介してメモり２０へ与える。本発明
は、データ記憶装置３０に格納されたソフトウエアコー
ドによって実施されても、図１にＤＶＣ５０として示さ
れている専用チップにより実施されてもよい。以下にさ
らに述べるように、マウス８０は、ライトペン、スタイ
ラス、トラックボール等の他の同等なカーソル制御装置
で置き換えられてもよい。また、タッチスクリーンを持
つモニターを用いることにより、モニター６０とマウス
８０の特定機能が結合されてもよい。
【００１５】本発明は、テレビニュース放送の音声映像
レコードに適用可能である。図４は、あるテレビ局によ
る放送の数時間分の時間割を示す。この放送はメインニ
ュース放送２００で終わる。このメインニュース放送２
００の前に、番組Ａ、番組Ｂ及び番組Ｃのような様々な
番組（放送）２１０が組み入れられている。各番組２１
０の間に、コマーシャル２１２が差し込まれている。さ
らに、各番組２１０の前に、約１０秒から３０秒までの
長さで、ニュースアンカー（ニュースを伝える人）が
「１１時のニュースの時間です ．．．」で始まる言い
回しを話すことが特徴の、短いニュースプレビュー２１
４がある。メインニュース放送２００の前には、アンカ
ーによるヘッドライン２１６のアナウンスもある。
レコードに適用可能である。図４は、あるテレビ局によ
る放送の数時間分の時間割を示す。この放送はメインニ
ュース放送２００で終わる。このメインニュース放送２
００の前に、番組Ａ、番組Ｂ及び番組Ｃのような様々な
番組（放送）２１０が組み入れられている。各番組２１
０の間に、コマーシャル２１２が差し込まれている。さ
らに、各番組２１０の前に、約１０秒から３０秒までの
長さで、ニュースアンカー（ニュースを伝える人）が
「１１時のニュースの時間です ．．．」で始まる言い
回しを話すことが特徴の、短いニュースプレビュー２１
４がある。メインニュース放送２００の前には、アンカ
ーによるヘッドライン２１６のアナウンスもある。
【００１６】ニュースビデオは、一定の高レベルのオブ
ジェクトを容易に認識できる比較的狭いコンテキストを
提供する。さて、図５に、ニュース放送のフレーム３０
０が示されている。このフレーム３００は高レベルのオ
ブジェクト、すなわちニュースアイコン３２０、アンカ
ー３３０及びニュースロゴ３４０からなっている。ニュ
ースアイコン３２０は、その後に続くニュースのテーマ
を絵で示すものである。これらの高レベル・オブジェク
トは、ニュースビデオのコンテキストに頻出し、また、
フレーム内の予測可能な位置に出現するため、比較的簡
単に検出できる。その検出は、一般に、各オブジェクト
に関連した大体のオブジェクト領域（ＲＯＲ）３１０を
サーチすることによりなされる。ビデオ索引付けの分野
で周知の多くのオブジェクト検出法が存在するが、その
いずれかにより検出を行うことができる。
ジェクトを容易に認識できる比較的狭いコンテキストを
提供する。さて、図５に、ニュース放送のフレーム３０
０が示されている。このフレーム３００は高レベルのオ
ブジェクト、すなわちニュースアイコン３２０、アンカ
ー３３０及びニュースロゴ３４０からなっている。ニュ
ースアイコン３２０は、その後に続くニュースのテーマ
を絵で示すものである。これらの高レベル・オブジェク
トは、ニュースビデオのコンテキストに頻出し、また、
フレーム内の予測可能な位置に出現するため、比較的簡
単に検出できる。その検出は、一般に、各オブジェクト
に関連した大体のオブジェクト領域（ＲＯＲ）３１０を
サーチすることによりなされる。ビデオ索引付けの分野
で周知の多くのオブジェクト検出法が存在するが、その
いずれかにより検出を行うことができる。
【００１７】ニュースアイコン 第１の実施例は、ニュースビデオの索引付けのためにニ
ュースアイコンを利用する。これは、ニュース放送の重
要なテーマの前に関連したニュースアイコンが出るのが
普通であり、このニュースアイコンは通常、図５に示す
ようにアンカー３３０の顔の隣に表示されるとの仮定に
基づいている。図６は、フレーム４０１〜４１６からな
るニュースビデオのフレームシーケンスを表している。
フレーム４０１，４０２，４０５はそれぞれニュースア
イコン３２０を描写しているが、このニュースアイコン
はポニーを描写するとともにテキスト”ＰＯＮＹ ＴＡ
ＬＥ”を含む。ニュースアイコン３２０はフレーム４０
６〜４１２に描写されるポニーに関するニュースに関連
している。同様に、フレーム４０３，４０４は、帽子を
かぶった男を描写したニュースアイコン３２１を含んで
いる。このニュースアイコン３２１はフレーム４１４〜
４１６の内容に関連している。本発明によれば、ニュー
スアイコンを探すため、入手できるニュース場面（すな
わちフレーム４０４〜４１６）がサーチされる。見つか
った各ニュースアイコンは”ビデオラベル”に選ばれ、
これに他のフレームが索引付けされる。本記述におい
て、索引付けとは、一定のフレームの音声、映像又はそ
の両方の内容と特定のビデオラベルとの間に、そのビデ
オラベルを参照することにより、ある決まった方法でそ
の内容を検索できるような対応関係を作ることと定義さ
れる。ビデオラベルはテキストのサーチに利用されるキ
ーワードに類似している。
ュースアイコンを利用する。これは、ニュース放送の重
要なテーマの前に関連したニュースアイコンが出るのが
普通であり、このニュースアイコンは通常、図５に示す
ようにアンカー３３０の顔の隣に表示されるとの仮定に
基づいている。図６は、フレーム４０１〜４１６からな
るニュースビデオのフレームシーケンスを表している。
フレーム４０１，４０２，４０５はそれぞれニュースア
イコン３２０を描写しているが、このニュースアイコン
はポニーを描写するとともにテキスト”ＰＯＮＹ ＴＡ
ＬＥ”を含む。ニュースアイコン３２０はフレーム４０
６〜４１２に描写されるポニーに関するニュースに関連
している。同様に、フレーム４０３，４０４は、帽子を
かぶった男を描写したニュースアイコン３２１を含んで
いる。このニュースアイコン３２１はフレーム４１４〜
４１６の内容に関連している。本発明によれば、ニュー
スアイコンを探すため、入手できるニュース場面（すな
わちフレーム４０４〜４１６）がサーチされる。見つか
った各ニュースアイコンは”ビデオラベル”に選ばれ、
これに他のフレームが索引付けされる。本記述におい
て、索引付けとは、一定のフレームの音声、映像又はそ
の両方の内容と特定のビデオラベルとの間に、そのビデ
オラベルを参照することにより、ある決まった方法でそ
の内容を検索できるような対応関係を作ることと定義さ
れる。ビデオラベルはテキストのサーチに利用されるキ
ーワードに類似している。
【００１８】ニュースアイコンをサーチした後、周知の
類似法を使って残りのフレームをビデオラベルに索引付
けする。利用し得る類似法の例は、相関関数又は主要成
分分析である。そして、各ビデオラベル（ニュースアイ
コン）を拡大して表すアイコンサマリーが生成される。
図７はアイコンサマリー３４５の一例であり、これはビ
デオラベル３５０〜３５９を表し、その中のビデオラベ
ル３５０，３５１はそれぞれニュースアイコン３２０，
３２１に相当する。このアイコンサマリー３４５はプリ
ンタ４０を用いてハードコピーに印刷したり、モニター
６０に表示したり、あるいはその両方をすることができ
る。
類似法を使って残りのフレームをビデオラベルに索引付
けする。利用し得る類似法の例は、相関関数又は主要成
分分析である。そして、各ビデオラベル（ニュースアイ
コン）を拡大して表すアイコンサマリーが生成される。
図７はアイコンサマリー３４５の一例であり、これはビ
デオラベル３５０〜３５９を表し、その中のビデオラベ
ル３５０，３５１はそれぞれニュースアイコン３２０，
３２１に相当する。このアイコンサマリー３４５はプリ
ンタ４０を用いてハードコピーに印刷したり、モニター
６０に表示したり、あるいはその両方をすることができ
る。
【００１９】図８はニュースアイコンに基づいてニュー
スビデオを索引付けする方法６００を示すフローチャー
トである。図６と図８を参照し、方法６００をフレーム
４０１〜４１６に関連して説明する。まず、サーチすべ
きビデオの最初のフレームがメモリ２０より取り出され
る（ステップ６０２）。ニュースアイコンがないかフレ
ーム４０１をサーチすると（ステップ６０４）、ニュー
スアイコン３２０がフレーム４０１で検出される。そこ
で、ニュースアイコン３２０はビデオラベル３５０とし
てメモリ２０に格納される（ステップ６１８）。つい
で、残りのフレーム４０２〜４１６について、その内容
がニュースアイコン３２０の内容と一致するか周知の類
似法により調べられる（ステップ６２０〜６２４）。あ
るフレームの内容がニュースアイコン３２０の内容と一
致すると、そのフレームはビデオラベル３５０（すなわ
ちニュースアイコン３２０）に索引付けされる。図６を
参照すると、ニュースアイコン３２０はポニーの絵を含
んでいるので、類似法を適用すると、少なくともポニー
の一部を表しているフレーム４０６〜４１２はニュース
アイコン３２０の内容との高い類似度が割り当てられる
ことになろう。フレーム４０２〜４１６のそれぞれに類
似法が適用された後、別のニュースアイコンが存在する
か調べるためフレーム４０１〜４１６が再びサーチされ
る。フレーム４０３を調べた時に、帽子をかぶった男を
表すニュースアイコン３２１が検出され、ビデオラベル
３５１として格納される。再び、類似法が利用され、そ
の結果、帽子をかぶった男を表すフレーム４１４〜４１
６にニュースアイコン３２１の内容との高い類似度が割
り当てられる。結果として、フレーム４０６〜４１２は
ニュースアイコン３２０に対応するビデオラベル３５０
に索引付けされ、その一方、フレーム４１４〜４１６は
ニュースアイコン３２１に対応するビデオラベル３５１
に索引付けされる。
スビデオを索引付けする方法６００を示すフローチャー
トである。図６と図８を参照し、方法６００をフレーム
４０１〜４１６に関連して説明する。まず、サーチすべ
きビデオの最初のフレームがメモリ２０より取り出され
る（ステップ６０２）。ニュースアイコンがないかフレ
ーム４０１をサーチすると（ステップ６０４）、ニュー
スアイコン３２０がフレーム４０１で検出される。そこ
で、ニュースアイコン３２０はビデオラベル３５０とし
てメモリ２０に格納される（ステップ６１８）。つい
で、残りのフレーム４０２〜４１６について、その内容
がニュースアイコン３２０の内容と一致するか周知の類
似法により調べられる（ステップ６２０〜６２４）。あ
るフレームの内容がニュースアイコン３２０の内容と一
致すると、そのフレームはビデオラベル３５０（すなわ
ちニュースアイコン３２０）に索引付けされる。図６を
参照すると、ニュースアイコン３２０はポニーの絵を含
んでいるので、類似法を適用すると、少なくともポニー
の一部を表しているフレーム４０６〜４１２はニュース
アイコン３２０の内容との高い類似度が割り当てられる
ことになろう。フレーム４０２〜４１６のそれぞれに類
似法が適用された後、別のニュースアイコンが存在する
か調べるためフレーム４０１〜４１６が再びサーチされ
る。フレーム４０３を調べた時に、帽子をかぶった男を
表すニュースアイコン３２１が検出され、ビデオラベル
３５１として格納される。再び、類似法が利用され、そ
の結果、帽子をかぶった男を表すフレーム４１４〜４１
６にニュースアイコン３２１の内容との高い類似度が割
り当てられる。結果として、フレーム４０６〜４１２は
ニュースアイコン３２０に対応するビデオラベル３５０
に索引付けされ、その一方、フレーム４１４〜４１６は
ニュースアイコン３２１に対応するビデオラベル３５１
に索引付けされる。
【００２０】しばしば、一定のフレームの映像内容それ
自体は、ニュースに関連したニュースアイコンの内容と
はっきりとは関係がない。そのような場合、フレームの
映像内容だけを調べる類似法では、そのフレームを適当
なニュースアイコンに索引付けすることができないであ
ろう。しかし、そのようなフレームに関連した音声内容
は、普通は、視聴者にとってニュースのテーマの映像内
容と結びついている。実際には、音声内容はニュースア
イコン中のテキストと密接に対応した言葉を含んでいる
であろう。したがって、ここで述べる方法は、映像だけ
でなく、ニュースビデオに関連した音声、それと利用で
きるならばテキストも利用する。テキストは、聴力障害
者のための字幕もしくはクローズド・キャプション（Ｃ
losedＣaption）サービス及びニュースワイヤ（newswir
e）サービスを提供するためにしばしば利用される。し
たがって、ビデオの任意のフレームは３つの形態、つま
り映像、音声及びテキストを持つ可能性がある。類似法
の利用により、あるフレーム中の映像のポニー（ＣV）
が検出されなかったときは、音声とテキストが内容一致
を検出するための補助的な基準として用いられる。
自体は、ニュースに関連したニュースアイコンの内容と
はっきりとは関係がない。そのような場合、フレームの
映像内容だけを調べる類似法では、そのフレームを適当
なニュースアイコンに索引付けすることができないであ
ろう。しかし、そのようなフレームに関連した音声内容
は、普通は、視聴者にとってニュースのテーマの映像内
容と結びついている。実際には、音声内容はニュースア
イコン中のテキストと密接に対応した言葉を含んでいる
であろう。したがって、ここで述べる方法は、映像だけ
でなく、ニュースビデオに関連した音声、それと利用で
きるならばテキストも利用する。テキストは、聴力障害
者のための字幕もしくはクローズド・キャプション（Ｃ
losedＣaption）サービス及びニュースワイヤ（newswir
e）サービスを提供するためにしばしば利用される。し
たがって、ビデオの任意のフレームは３つの形態、つま
り映像、音声及びテキストを持つ可能性がある。類似法
の利用により、あるフレーム中の映像のポニー（ＣV）
が検出されなかったときは、音声とテキストが内容一致
を検出するための補助的な基準として用いられる。
【００２１】図９は、フレーム７０１〜７０７と、ポニ
ーを描写するニュースアイコン３２０を示す。ここで、
方法６００により、ニュースアイコン３２０の内容Ｃと
一致するものを探すためにサーチが行われているとす
る。ニュースアイコン３２０はポニーの絵を含んでいる
ので、ポニーを表しているフレーム７０１〜７０７のど
の映像内容も”Ｃv”として表現できる。同様に、フレ
ーム７０１〜７０７に関連した音声内容中に発せられる
単語”ＰＯＮＹ”は”ＣA”により表現できる。フレー
ム７０１〜７０７のテキスト内容中に出現する単語”Ｐ
ＯＮＹ”を”ＣT”により表現できる。図９のフレーム
７０１〜７０７のどれにもＣV，ＣA又はＣTが存在する
ということは、それらフレーム中に映像、音声又はテキ
ストの”ＰＯＮＹ”がそれぞれ存在することを意味す
る。よって、図９において、フレーム７０１，７０２，
７０７はポニーの映像のみならず、”ＰＯＮＹ”及び／
又は”ＴＡＬＥ”なる単語の音声及びテキストを含んで
いる。フレーム７０４，７０５はポニーの映像だけを含
んでいるのに対し、フレーム７０６は”ＰＯＮＹ”もし
くは”ＴＡＬＥ”又はその両方の単語の音声だけを含ん
でいる。
ーを描写するニュースアイコン３２０を示す。ここで、
方法６００により、ニュースアイコン３２０の内容Ｃと
一致するものを探すためにサーチが行われているとす
る。ニュースアイコン３２０はポニーの絵を含んでいる
ので、ポニーを表しているフレーム７０１〜７０７のど
の映像内容も”Ｃv”として表現できる。同様に、フレ
ーム７０１〜７０７に関連した音声内容中に発せられる
単語”ＰＯＮＹ”は”ＣA”により表現できる。フレー
ム７０１〜７０７のテキスト内容中に出現する単語”Ｐ
ＯＮＹ”を”ＣT”により表現できる。図９のフレーム
７０１〜７０７のどれにもＣV，ＣA又はＣTが存在する
ということは、それらフレーム中に映像、音声又はテキ
ストの”ＰＯＮＹ”がそれぞれ存在することを意味す
る。よって、図９において、フレーム７０１，７０２，
７０７はポニーの映像のみならず、”ＰＯＮＹ”及び／
又は”ＴＡＬＥ”なる単語の音声及びテキストを含んで
いる。フレーム７０４，７０５はポニーの映像だけを含
んでいるのに対し、フレーム７０６は”ＰＯＮＹ”もし
くは”ＴＡＬＥ”又はその両方の単語の音声だけを含ん
でいる。
【００２２】マルチモーダル（multi-modal)の内容検出
法の概要が図１０のフローチャートに示されている。ま
ず、あるフレームにポニーの映像が存在するか判定する
ために類似法が適用される（ステップ８０２）。その結
果、対象フレームの映像内容とニュースアイコンの映像
内容との間の類似度を表す値ＳVが生成される。この類
似度ＳVがある閾値を超えるときには（ステップ８０
４）、内容は一致する（ステップ８０６）。この場合、
今調べているフレームはニュースアイコンに対応すると
思われるので、そのフレームは対応したビデオラベルに
索引付けされる（ステップ８０６）。類似度ＳVが閾値
を超えないときには（ステップ８０４)、調べているフ
レームの音声内容が、任意の既存のスピーチ・テキスト
変換方法によってテキストに変換される（ステップ８０
７）。次に、対象フレームの変換された音声内容及びす
べてのテキスト内容がニュースアイコンに含まれるすべ
てのテキストと比較されることにより、音声の類似度Ｓ
A及びテキストの類似度ＳTがそれぞれ決まる（ステップ
８０８）。必要ならば、ＳA，ＳTを生成する際の比較
は、対象フレームの音声及びテキストの内容がニュース
アイコンのすべてのテキストとだけでなく、ニュースア
イコンを含むフレームの全ての音声内容（テキストへ変
換された）又はテキスト内容と比較されるように拡張し
てもよい。例えば、ニュースアイコン自体がテキストを
全く含まない場合に、ニュースアイコンを含むフレーム
の音声内容（テキストに変換された）又はテキスト内容
を利用できる。
法の概要が図１０のフローチャートに示されている。ま
ず、あるフレームにポニーの映像が存在するか判定する
ために類似法が適用される（ステップ８０２）。その結
果、対象フレームの映像内容とニュースアイコンの映像
内容との間の類似度を表す値ＳVが生成される。この類
似度ＳVがある閾値を超えるときには（ステップ８０
４）、内容は一致する（ステップ８０６）。この場合、
今調べているフレームはニュースアイコンに対応すると
思われるので、そのフレームは対応したビデオラベルに
索引付けされる（ステップ８０６）。類似度ＳVが閾値
を超えないときには（ステップ８０４)、調べているフ
レームの音声内容が、任意の既存のスピーチ・テキスト
変換方法によってテキストに変換される（ステップ８０
７）。次に、対象フレームの変換された音声内容及びす
べてのテキスト内容がニュースアイコンに含まれるすべ
てのテキストと比較されることにより、音声の類似度Ｓ
A及びテキストの類似度ＳTがそれぞれ決まる（ステップ
８０８）。必要ならば、ＳA，ＳTを生成する際の比較
は、対象フレームの音声及びテキストの内容がニュース
アイコンのすべてのテキストとだけでなく、ニュースア
イコンを含むフレームの全ての音声内容（テキストへ変
換された）又はテキスト内容と比較されるように拡張し
てもよい。例えば、ニュースアイコン自体がテキストを
全く含まない場合に、ニュースアイコンを含むフレーム
の音声内容（テキストに変換された）又はテキスト内容
を利用できる。
【００２３】再び図９を参照する。ニュースアイコン３
２０は単語”ＰＯＮＴＹ ＴＡＬＥ”を含んでいるの
で、ビデオ場面をサーチして同様内容を探す時に、対応
フレームの音声及びテキストは単語”ＰＯＮＹ”及び単
語”ＴＡＬＥ”と一致比較されることになろう。そし
て、各フレームの映像、音声及びテキスト内容の類似度
ＳV，ＳA，ＳTに重み値ＷV，ＷA，ＷTがそれぞれ割り当
てられる（ステップ８１０）。よって、重み付けした類
似度を結合することにより、ニュースアイコンの内容と
対象フレームの内容との全体的な類似度を決定すること
ができ、この全体的類似度が閾値と比較される（ステッ
プ８１０）。全体的類似度が所定の閾値を超えないとき
には、一致が検出されず対象フレームはニュースアイコ
ンに対応したビデオラベルに索引付けされない（ステッ
プ８１２）。閾値を超えたときには、一致が検出され、
対象フレームはニュースアイコンを表すビデオラベルに
索引付けされる（ステップ８０６）。
２０は単語”ＰＯＮＴＹ ＴＡＬＥ”を含んでいるの
で、ビデオ場面をサーチして同様内容を探す時に、対応
フレームの音声及びテキストは単語”ＰＯＮＹ”及び単
語”ＴＡＬＥ”と一致比較されることになろう。そし
て、各フレームの映像、音声及びテキスト内容の類似度
ＳV，ＳA，ＳTに重み値ＷV，ＷA，ＷTがそれぞれ割り当
てられる（ステップ８１０）。よって、重み付けした類
似度を結合することにより、ニュースアイコンの内容と
対象フレームの内容との全体的な類似度を決定すること
ができ、この全体的類似度が閾値と比較される（ステッ
プ８１０）。全体的類似度が所定の閾値を超えないとき
には、一致が検出されず対象フレームはニュースアイコ
ンに対応したビデオラベルに索引付けされない（ステッ
プ８１２）。閾値を超えたときには、一致が検出され、
対象フレームはニュースアイコンを表すビデオラベルに
索引付けされる（ステップ８０６）。
【００２４】情緒的索引付け 以下に述べる方法は”情緒的（affective）索引付け”
と呼ばれる。この方法は、人は話している時や話を聞い
ている時に様々な身振りをしたり、表情を変えたり、声
の大きさを変えたり、あるいは、それらの振る舞いを同
時にしがちであることを利用する。これらの振る舞い
は”情動（affects）”と呼んでよいであろう。ここ
で、”情動”とは、自分の気分や他人に対する反応を示
し、あるいは人の話の内容と密接に対応する人の動作又
は反応のことである。ある音声映像レコードに一定の情
動が存在するということは、その情動が現れるフレーム
のすぐ後に有意な情報が来るということを暗示する。よ
って、情緒的索引付けにおいては、音声映像レコードに
捕捉された人の情動が識別されてレコードの索引付けに
利用されるが、これについて以下に詳細に述べる。
と呼ばれる。この方法は、人は話している時や話を聞い
ている時に様々な身振りをしたり、表情を変えたり、声
の大きさを変えたり、あるいは、それらの振る舞いを同
時にしがちであることを利用する。これらの振る舞い
は”情動（affects）”と呼んでよいであろう。ここ
で、”情動”とは、自分の気分や他人に対する反応を示
し、あるいは人の話の内容と密接に対応する人の動作又
は反応のことである。ある音声映像レコードに一定の情
動が存在するということは、その情動が現れるフレーム
のすぐ後に有意な情報が来るということを暗示する。よ
って、情緒的索引付けにおいては、音声映像レコードに
捕捉された人の情動が識別されてレコードの索引付けに
利用されるが、これについて以下に詳細に述べる。
【００２５】情緒的索引付けは、１人の話者のレコード
の索引付けに利用できる。しかし、情緒的索引付けは、
二人以上の参加者間のテレビ電子会議のレコードに適用
された時に特に効果的であろう。つまり、情緒的索引付
けをテレビ電子会議の索引付けに用いると、その会議
の”ビデオ議事録”に相当する映像索引を得られる。映
像レコードに関連した音声レベルの変化の検出や２つの
ビデオフレーム間の相対的動き（表情の変化や身振り
等）の検出のための技術には、いくつもの公知の手法が
存在している。そのような手法の詳細は、本発明を理解
する目的には重要ではないので、ここでは説明しない。
そのような公知の手法の一つが、上に述べたような情動
を含んでいる電子会議ビデオのフレームを識別するため
に使用される。そして、そのようなフレームはビデオラ
ベルとして用いられ、これに残りのフレームが索引付け
される。そして、ビデオラベルとして利用されるフレー
ムを表す図７に示したものと同様なサマリー(summary）
が、ハードコピーとして又はモニター６０上に生成され
る。このサマリーは電子会議の”ビデオ議事録”として
利用できる。すなわち、このサマリーは、文書の”議事
録”が会議や集会の記録を提供するために一般に利用さ
れるのと同じような方法で、電子会議の重要な瞬間や出
来事を提供する。
の索引付けに利用できる。しかし、情緒的索引付けは、
二人以上の参加者間のテレビ電子会議のレコードに適用
された時に特に効果的であろう。つまり、情緒的索引付
けをテレビ電子会議の索引付けに用いると、その会議
の”ビデオ議事録”に相当する映像索引を得られる。映
像レコードに関連した音声レベルの変化の検出や２つの
ビデオフレーム間の相対的動き（表情の変化や身振り
等）の検出のための技術には、いくつもの公知の手法が
存在している。そのような手法の詳細は、本発明を理解
する目的には重要ではないので、ここでは説明しない。
そのような公知の手法の一つが、上に述べたような情動
を含んでいる電子会議ビデオのフレームを識別するため
に使用される。そして、そのようなフレームはビデオラ
ベルとして用いられ、これに残りのフレームが索引付け
される。そして、ビデオラベルとして利用されるフレー
ムを表す図７に示したものと同様なサマリー(summary）
が、ハードコピーとして又はモニター６０上に生成され
る。このサマリーは電子会議の”ビデオ議事録”として
利用できる。すなわち、このサマリーは、文書の”議事
録”が会議や集会の記録を提供するために一般に利用さ
れるのと同じような方法で、電子会議の重要な瞬間や出
来事を提供する。
【００２６】図１１は、電子会議ビデオを索引付けして
ビデオ議事録を生成する本方法９００の概要を示す。ま
ず、一つのフレームがメモリ２０より取り出される（ス
テップ９０２）。取り出されたフレームは、公知の検出
手法によって、情動の存在を検出するためサーチされる
（ステップ９０４）。本方法９００において探索される
情動は被写体である人間の何らかの動きであるが、前に
言及したように音声レベルの有意な変化を識別するよう
に探索を拡張することも容易であろう。ある有意な動き
が見つかると（ステップ９０６）、それが見つかったフ
レームがビデオラベルとして利用される（ステップ９１
０）。データファイルの最後のフレームまで達していな
ければ（ステップ９１４）、次のフレームが取り出され
（ステップ９１６）、有意な動きがないか調べられる
（ステップ９０４）。このフレームとその前のフレーム
との間に意味のある変化が検出されなければ、すなわち
有意な動きが検出されなければ（ステップ９０６）、そ
のフレームは最も最近選ばれたビデオラベルに索引付け
される（ステップ９１２）。しかし、そのフレームが新
たな有意な動きを含んでいるときには、その有意な動き
を含むフレームから新たなビデオラベルが生成される
（ステップ９１０）。したがって、異なった有意な動き
を含む２つのフレームの間にある全てのフレームは、そ
の２フレーム中の一つ目のフレームより作られたビデオ
ラベルに索引付けされる。フレーム全部がビデオラベル
の生成のために利用されるか、あるいはビデオラベルに
索引付けされたならば、ビデオラベルのサマリーが電子
会議のビデオ”議事録”として生成される（ステップ９
１８）。
ビデオ議事録を生成する本方法９００の概要を示す。ま
ず、一つのフレームがメモリ２０より取り出される（ス
テップ９０２）。取り出されたフレームは、公知の検出
手法によって、情動の存在を検出するためサーチされる
（ステップ９０４）。本方法９００において探索される
情動は被写体である人間の何らかの動きであるが、前に
言及したように音声レベルの有意な変化を識別するよう
に探索を拡張することも容易であろう。ある有意な動き
が見つかると（ステップ９０６）、それが見つかったフ
レームがビデオラベルとして利用される（ステップ９１
０）。データファイルの最後のフレームまで達していな
ければ（ステップ９１４）、次のフレームが取り出され
（ステップ９１６）、有意な動きがないか調べられる
（ステップ９０４）。このフレームとその前のフレーム
との間に意味のある変化が検出されなければ、すなわち
有意な動きが検出されなければ（ステップ９０６）、そ
のフレームは最も最近選ばれたビデオラベルに索引付け
される（ステップ９１２）。しかし、そのフレームが新
たな有意な動きを含んでいるときには、その有意な動き
を含むフレームから新たなビデオラベルが生成される
（ステップ９１０）。したがって、異なった有意な動き
を含む２つのフレームの間にある全てのフレームは、そ
の２フレーム中の一つ目のフレームより作られたビデオ
ラベルに索引付けされる。フレーム全部がビデオラベル
の生成のために利用されるか、あるいはビデオラベルに
索引付けされたならば、ビデオラベルのサマリーが電子
会議のビデオ”議事録”として生成される（ステップ９
１８）。
【００２７】この索引付け方法９００は、アテンション
・ドリブン（attention-driven）索引付けと呼ばれる別
種の索引付けと組み合わせることもできる。アテンショ
ン・ドリブン索引付けは、テレビ電子会議における二人
以上の参加者による有意な動きは、しばしば有意な情報
のやり取りと時間的に密接に関連しているという事実に
基づくものである。テレビ電子会議は、別々の参加者に
焦点を合わせた複数のカメラを使って記録されるであろ
う。したがって、図１２に複数のソースによる電子会議
のビデオが同時に表示された画面９５０を示す。図１２
において、ウインドウ９６１〜９６４はそれぞれ記録し
た参加者９６５〜９６８の映像を表示する。アテンショ
ン・ドリブン索引付けによれば、参加者９６５〜９６８
の１人１人について、その動きの大きさと方向を示す動
きベクトルが周期的に計算される。ある時点における二
人以上の参加者に関連した動きベクトル間の類似度が高
ければ、それら参加者による”同調した（coherent）動
き”を意味する。（２つ以上のソースに関連した）２つ
以上の同時点のビデオフレームにおける同調した動きの
発生が、残りのフレームを索引付けするために利用され
る。つまり、その同調した動きと一致するウインドウ９
６１，９６２，９６３又は９６４に表された同時点フレ
ームのどれからビデオラベルを生成してもよい。ビデオ
ラベルのサマリーは、前述の方法により生成できる。
・ドリブン（attention-driven）索引付けと呼ばれる別
種の索引付けと組み合わせることもできる。アテンショ
ン・ドリブン索引付けは、テレビ電子会議における二人
以上の参加者による有意な動きは、しばしば有意な情報
のやり取りと時間的に密接に関連しているという事実に
基づくものである。テレビ電子会議は、別々の参加者に
焦点を合わせた複数のカメラを使って記録されるであろ
う。したがって、図１２に複数のソースによる電子会議
のビデオが同時に表示された画面９５０を示す。図１２
において、ウインドウ９６１〜９６４はそれぞれ記録し
た参加者９６５〜９６８の映像を表示する。アテンショ
ン・ドリブン索引付けによれば、参加者９６５〜９６８
の１人１人について、その動きの大きさと方向を示す動
きベクトルが周期的に計算される。ある時点における二
人以上の参加者に関連した動きベクトル間の類似度が高
ければ、それら参加者による”同調した（coherent）動
き”を意味する。（２つ以上のソースに関連した）２つ
以上の同時点のビデオフレームにおける同調した動きの
発生が、残りのフレームを索引付けするために利用され
る。つまり、その同調した動きと一致するウインドウ９
６１，９６２，９６３又は９６４に表された同時点フレ
ームのどれからビデオラベルを生成してもよい。ビデオ
ラベルのサマリーは、前述の方法により生成できる。
【００２８】プレビュー索引付け 本発明による３番目の方法は、図４に示したプレビュー
場面２１４を利用する。この方法の基礎となっているの
は、プレビュー場面２１４が概して数時間にわたりメイ
ンニュース放送２００に先行して繰り返されるものであ
ること、したがって、頻繁に繰り返されるフレームが、
他のフレームが索引付けされるビデオラベルとして利用
される、ということである。このビデオラベルは、プレ
ビュー場面２１４又はメインニュース放送（場面）２０
０、あるいは、その両方の他のフレームの索引付けに利
用することができる。
場面２１４を利用する。この方法の基礎となっているの
は、プレビュー場面２１４が概して数時間にわたりメイ
ンニュース放送２００に先行して繰り返されるものであ
ること、したがって、頻繁に繰り返されるフレームが、
他のフレームが索引付けされるビデオラベルとして利用
される、ということである。このビデオラベルは、プレ
ビュー場面２１４又はメインニュース放送（場面）２０
０、あるいは、その両方の他のフレームの索引付けに利
用することができる。
【００２９】図１３は、プレビュー場面２１４を使って
メインニュース放送２００を索引付けする方法１１００
の概要を示すフローチャートである。あるプレビューフ
レームが公知の類似法により残りのプレビュー場面と比
較される（ステップ１１０４）。そして、内容”一致”
の数が所定の閾値と比較される（ステップ１１０６）。
その一致数が閾値を超えたならば、そのフレームはビデ
オラベルとして利用される（ステップ１１０８）。その
フレームに関連し、かつそのフレームのすぐ後に続くテ
キスト又は音声をセーブし、そのビデオラベルに索引付
けすることができる。次に、メインニュース放送（場
面）２００のフレームが、ビデオラベルとして利用され
たプレビューフレームと内容が一致するか調べられ、前
に述べたやり方で索引付けされる（ステップ１１１０〜
１１２０）。最後に、メインニュース放送２００の全て
のフレームが索引付けされた後、プレビューフレームを
代表するビデオラベルのサマリーが生成される（ステッ
プ１１２４）。
メインニュース放送２００を索引付けする方法１１００
の概要を示すフローチャートである。あるプレビューフ
レームが公知の類似法により残りのプレビュー場面と比
較される（ステップ１１０４）。そして、内容”一致”
の数が所定の閾値と比較される（ステップ１１０６）。
その一致数が閾値を超えたならば、そのフレームはビデ
オラベルとして利用される（ステップ１１０８）。その
フレームに関連し、かつそのフレームのすぐ後に続くテ
キスト又は音声をセーブし、そのビデオラベルに索引付
けすることができる。次に、メインニュース放送（場
面）２００のフレームが、ビデオラベルとして利用され
たプレビューフレームと内容が一致するか調べられ、前
に述べたやり方で索引付けされる（ステップ１１１０〜
１１２０）。最後に、メインニュース放送２００の全て
のフレームが索引付けされた後、プレビューフレームを
代表するビデオラベルのサマリーが生成される（ステッ
プ１１２４）。
【００３０】ビデオの編集 本発明は、編集者が、フレームシーケンスのハードコピ
ー上に編集記号を手描きすることによって、索引付けの
済んだビデオを編集したり検索したりできるようにする
手法も包含する。図７に戻り、アイコンサマリー３４５
は、コンピュータシステムにより、紙片又はスキャナ９
０に読み取らせることが可能な他の材料に出力される。
あるいは、アイコンサマリー３４５をモニタ６０に表示
させるだけでもよい。ユーザーがサマリー３４５内のビ
デオラベル３５１に関連した映像及び音声を視聴したい
と思ったとする。そこで、ユーザーはビデオラベル３５
１を囲む円５０１を手描きする。このマークを記入した
サマリーはスキャナ９０に送り込まれ、そこでデジタイ
ズされてメモリ２０にロードされる。サマリー３４５が
モニタ６０に表示されるだけの場合には、ユーザーは、
ライトペンやタッチスクリーンモニタを利用できるな
ら、それを使ってビデオラベルを囲む円を手描きしてよ
い。コンピュータシステム１は、記号認識論理を使って
手描き記号５０１をユーザに選択されたものと解釈し、
それに対応した記録ビデオ部分を検索して再生する。コ
ンピュータシステム１は、各ビデオラベルのハードコピ
ー上のＸ−Ｙ座標値を予め記憶しているため、各手描き
記号から適切なビデオラベルを知ることができる。ある
いは、ハードコピーのサイドチャネル（すなわち余白）
に、ハードコピー上の各ビデオラベルの物理的位置を判
断する手段として２次元バーコード又は同様の識別模様
を設けてもよい。
ー上に編集記号を手描きすることによって、索引付けの
済んだビデオを編集したり検索したりできるようにする
手法も包含する。図７に戻り、アイコンサマリー３４５
は、コンピュータシステムにより、紙片又はスキャナ９
０に読み取らせることが可能な他の材料に出力される。
あるいは、アイコンサマリー３４５をモニタ６０に表示
させるだけでもよい。ユーザーがサマリー３４５内のビ
デオラベル３５１に関連した映像及び音声を視聴したい
と思ったとする。そこで、ユーザーはビデオラベル３５
１を囲む円５０１を手描きする。このマークを記入した
サマリーはスキャナ９０に送り込まれ、そこでデジタイ
ズされてメモリ２０にロードされる。サマリー３４５が
モニタ６０に表示されるだけの場合には、ユーザーは、
ライトペンやタッチスクリーンモニタを利用できるな
ら、それを使ってビデオラベルを囲む円を手描きしてよ
い。コンピュータシステム１は、記号認識論理を使って
手描き記号５０１をユーザに選択されたものと解釈し、
それに対応した記録ビデオ部分を検索して再生する。コ
ンピュータシステム１は、各ビデオラベルのハードコピ
ー上のＸ−Ｙ座標値を予め記憶しているため、各手描き
記号から適切なビデオラベルを知ることができる。ある
いは、ハードコピーのサイドチャネル（すなわち余白）
に、ハードコピー上の各ビデオラベルの物理的位置を判
断する手段として２次元バーコード又は同様の識別模様
を設けてもよい。
【００３１】さて、図１４を参照する。ユーザーは拡大
したフレーム１２０１〜１２１６の時間順シーケンスを
表した紙上の（又はモニタ６０に表示された）フレーム
ディスプレイ１２００を手に入れることができる。ユー
ザは、このフレームシーケンスのフレーム１２０２〜１
２０４とフレーム１２１３〜１２１６を削除する編集を
したいとする。さらに、ユーザはフレーム１２０５をフ
レーム１２０１で置き換えたいとする。しかして、ユー
ザは削除すべきフレームの上に削除記号１２１７を、ま
た、フレーム１２０１，１２０５の上に切り取り／貼り
付け記号１２１８を手書きする。つぎに、この記号が記
入されたフレームディスプレイはスキャナ９０に送り込
まれ、そこでデジタイズされて用意された論理により解
釈される。そして、解釈された編集コマンドに基づい
て、図１５に示すように編集されたビデオシーケンス１
２２０が生成される。
したフレーム１２０１〜１２１６の時間順シーケンスを
表した紙上の（又はモニタ６０に表示された）フレーム
ディスプレイ１２００を手に入れることができる。ユー
ザは、このフレームシーケンスのフレーム１２０２〜１
２０４とフレーム１２１３〜１２１６を削除する編集を
したいとする。さらに、ユーザはフレーム１２０５をフ
レーム１２０１で置き換えたいとする。しかして、ユー
ザは削除すべきフレームの上に削除記号１２１７を、ま
た、フレーム１２０１，１２０５の上に切り取り／貼り
付け記号１２１８を手書きする。つぎに、この記号が記
入されたフレームディスプレイはスキャナ９０に送り込
まれ、そこでデジタイズされて用意された論理により解
釈される。そして、解釈された編集コマンドに基づい
て、図１５に示すように編集されたビデオシーケンス１
２２０が生成される。
【００３２】図１６は、フレームディスプレイを表すハ
ードコピー（又はモニタ６０）上にユーザが手描きする
ことができる編集記号の表を示す。当該技術分野におい
て周知の標準的な記号認識法を手描き記号の認識に利用
できる。図１６の編集記号表を使って行うことができる
編集機能の例は、フレームを削除すること、フレームを
切り取って貼り付けること、フレームを切り取って挿入
すること、指定角度だけフレームを左又は右に回転させ
ること、フレームをぼけさせたり鮮明化すること、及
び、選んだＲＢＧ値のブランクフレームを生成すること
である。図１６に示した編集記号表は、それが全てとい
うわけではなく、本発明の範囲を逸脱しない範囲で、他
の編集機能を含むよう容易に拡張できることは明白であ
ろう。
ードコピー（又はモニタ６０）上にユーザが手描きする
ことができる編集記号の表を示す。当該技術分野におい
て周知の標準的な記号認識法を手描き記号の認識に利用
できる。図１６の編集記号表を使って行うことができる
編集機能の例は、フレームを削除すること、フレームを
切り取って貼り付けること、フレームを切り取って挿入
すること、指定角度だけフレームを左又は右に回転させ
ること、フレームをぼけさせたり鮮明化すること、及
び、選んだＲＢＧ値のブランクフレームを生成すること
である。図１６に示した編集記号表は、それが全てとい
うわけではなく、本発明の範囲を逸脱しない範囲で、他
の編集機能を含むよう容易に拡張できることは明白であ
ろう。
【００３３】表１は図１６に示した編集記号表により実
行可能な編集機能をまとめたものである。
行可能な編集機能をまとめたものである。
【００３４】
【表１】
【００３５】図１７及び図１８は、図１６に示した編集
コマンドのいくつかを、別のフレームディスプレイ１４
００に適用した例を表している。図１８及び図１９は、
編集コマンドを解釈実行して得られる出力（編集後のフ
レーム）を示す。図１７において、記号１４１４がフレ
ーム１４０１の上に描かれているが、これは”左４５度
回転”コマンドを意味する。したがって、フレーム１４
０１の画像を左に４５度回転したものが図１８に見え
る。フレーム１４０２〜１４０４及びフレーム１４０９
〜１４１２の上に別の記号１４１５が描かれており、そ
れらフレームを新たな（別の）ファイルにセーブすべき
ことを指示している。しかして、図１９に示す新たなフ
ァィルは、フレーム１４０２〜１４０４，１４０９〜１
４１２と同じフレーム１４３１〜１４３７を含む。フレ
ーム１４０５の上には”２００％拡大”コマンドを意味
する編集記号が描かれている。フレーム１４０６の上に
は５０％縮小”コマンドを意味する編集記号１４１６が
描かれている。編集コマンドを組み合わせることができ
ることは、フレーム１４０６，１４０８に関して示す通
りである。フレーム１４０６からフレーム１４０８まで
矢印が描かれているが、フレーム１４０６の縮小結果を
フレーム１４０８にスーパーインポーズする（貼り付け
る）ことを指示する。その結果は図１８に見られる。
コマンドのいくつかを、別のフレームディスプレイ１４
００に適用した例を表している。図１８及び図１９は、
編集コマンドを解釈実行して得られる出力（編集後のフ
レーム）を示す。図１７において、記号１４１４がフレ
ーム１４０１の上に描かれているが、これは”左４５度
回転”コマンドを意味する。したがって、フレーム１４
０１の画像を左に４５度回転したものが図１８に見え
る。フレーム１４０２〜１４０４及びフレーム１４０９
〜１４１２の上に別の記号１４１５が描かれており、そ
れらフレームを新たな（別の）ファイルにセーブすべき
ことを指示している。しかして、図１９に示す新たなフ
ァィルは、フレーム１４０２〜１４０４，１４０９〜１
４１２と同じフレーム１４３１〜１４３７を含む。フレ
ーム１４０５の上には”２００％拡大”コマンドを意味
する編集記号が描かれている。フレーム１４０６の上に
は５０％縮小”コマンドを意味する編集記号１４１６が
描かれている。編集コマンドを組み合わせることができ
ることは、フレーム１４０６，１４０８に関して示す通
りである。フレーム１４０６からフレーム１４０８まで
矢印が描かれているが、フレーム１４０６の縮小結果を
フレーム１４０８にスーパーインポーズする（貼り付け
る）ことを指示する。その結果は図１８に見られる。
【００３６】図２０は、異なった編集記号が描かれた別
のフレームディスプレイ１５００を表している。図２１
は、その結果として出力されるフレームシーケンス１５
２０を示している。記号１５１８がフレーム１５０１〜
１５０３の上に描かれ、フレーム１５０１を現在位置か
ら切り取ってフレーム１５０３の前に挿入することを指
示している。別の記号１５１９がフレーム１５０４，１
４０７，１５１０の上に描かれ、フレーム１５０４をコ
ピーしてフレーム１５１０の前に挿入することを指示し
ている。
のフレームディスプレイ１５００を表している。図２１
は、その結果として出力されるフレームシーケンス１５
２０を示している。記号１５１８がフレーム１５０１〜
１５０３の上に描かれ、フレーム１５０１を現在位置か
ら切り取ってフレーム１５０３の前に挿入することを指
示している。別の記号１５１９がフレーム１５０４，１
４０７，１５１０の上に描かれ、フレーム１５０４をコ
ピーしてフレーム１５１０の前に挿入することを指示し
ている。
【００３７】なお、コマンドの結合を可能にするために
は、数学の場合と同様に、コマンドの優先順を管理する
ためのルールセットを開発しなければならない。例え
ば、”全ての拡大縮小コマンドは他のどのコマンドより
も先に実行すべき”といったルールが適用されるかもし
れない。特定の用途又はユーザーのニーズに合わせるた
め特有の優先順ルールを開発してもよい。
は、数学の場合と同様に、コマンドの優先順を管理する
ためのルールセットを開発しなければならない。例え
ば、”全ての拡大縮小コマンドは他のどのコマンドより
も先に実行すべき”といったルールが適用されるかもし
れない。特定の用途又はユーザーのニーズに合わせるた
め特有の優先順ルールを開発してもよい。
【００３８】よって、以上に説明した編集記号表とその
対応方法は、編集者に、データベースに格納されている
ビデオを、そのデータベースを直接的にアクセスせず、
効率的に編集できる編集技法を提供する。つまり、編集
者は、編集したいフレームを表すハードコピーに編集コ
マンドを手描きすることによりビデオ編集が可能であ
り、その記入したハードコピーを自動的に解釈させるこ
とにより、その後に、希望するならば別の場所で、ビデ
オを編集することができる。
対応方法は、編集者に、データベースに格納されている
ビデオを、そのデータベースを直接的にアクセスせず、
効率的に編集できる編集技法を提供する。つまり、編集
者は、編集したいフレームを表すハードコピーに編集コ
マンドを手描きすることによりビデオ編集が可能であ
り、その記入したハードコピーを自動的に解釈させるこ
とにより、その後に、希望するならば別の場所で、ビデ
オを編集することができる。
【００３９】特定の実施例に関連して本発明を説明した
が、特許請求の範囲に記載された本発明の精神と範囲か
ら逸脱することなく、様々な変形と変更をしてもよいこ
とは明白であろう。よって、本明細書及び図面は、本発
明を説明するためのものであって、本発明の限定を意図
したものではないと考えるべきである。
が、特許請求の範囲に記載された本発明の精神と範囲か
ら逸脱することなく、様々な変形と変更をしてもよいこ
とは明白であろう。よって、本明細書及び図面は、本発
明を説明するためのものであって、本発明の限定を意図
したものではないと考えるべきである。
【００４０】
【発明の効果】以上に詳細に説明した如く、本発明によ
れば、ニュース放送に見られるニュースアイコン等のよ
うな、ビデオ場面内の高レベルのオブジェクトであるア
イコンや、ニュース放送のメインニュースの前に繰り返
されるプレビューフレームを利用して、ニュース放送等
のレコードの内容ベースの索引生成及び索引付けを行う
ことができる。フレームの映像のほかに音声及び／又は
テキストの情報を索引生成及び索引付けに利用すること
により、映像だけでは索引付けが困難なフレームに関し
ても適切な索引付けが可能になる。人間の情動を利用す
ることにより、人間を描写するビデオレコードの索引生
成及び索引付けが可能になり、また、テレビ電子会議レ
コードの”ビデオ議事録”を得ることができる。ビデオ
レコードの編集したいフレームを紙等に表したフレーム
ディスプレイに編集記号を記入するだけで、ビデオデー
タベースにアクセスすることなく、簡単にフレーム編集
を行うことができるようになる、等々の多くの効果を得
られる。
れば、ニュース放送に見られるニュースアイコン等のよ
うな、ビデオ場面内の高レベルのオブジェクトであるア
イコンや、ニュース放送のメインニュースの前に繰り返
されるプレビューフレームを利用して、ニュース放送等
のレコードの内容ベースの索引生成及び索引付けを行う
ことができる。フレームの映像のほかに音声及び／又は
テキストの情報を索引生成及び索引付けに利用すること
により、映像だけでは索引付けが困難なフレームに関し
ても適切な索引付けが可能になる。人間の情動を利用す
ることにより、人間を描写するビデオレコードの索引生
成及び索引付けが可能になり、また、テレビ電子会議レ
コードの”ビデオ議事録”を得ることができる。ビデオ
レコードの編集したいフレームを紙等に表したフレーム
ディスプレイに編集記号を記入するだけで、ビデオデー
タベースにアクセスすることなく、簡単にフレーム編集
を行うことができるようになる、等々の多くの効果を得
られる。
【図１】本発明の一実施例を実現するコンピュータシス
テムを示すブロック図である。
テムを示すブロック図である。
【図２】ビデオデータのフレームを格納するメモリの説
明図である。
明図である。
【図３】ビデオデータのフレームをバスへ転送するため
のビデオ入力ユニット（ＶＩＵ）を示すブロック図であ
る。
のビデオ入力ユニット（ＶＩＵ）を示すブロック図であ
る。
【図４】テレビ放送局によるテレビ放送の数時間分の時
間割りを示す図である。
間割りを示す図である。
【図５】ニュース放送の一つのフレームを示す図であ
る。
る。
【図６】ニュースビデオのフレームシーケンスを示す図
である。
である。
【図７】ビデオラベルを表すアイコンサマリーを示す図
である。
である。
【図８】ニュースアイコンに基づきニュースビデオを索
引付けする方法を示すフローチャートである。
引付けする方法を示すフローチャートである。
【図９】ビデオフレームのシーケンス、及び、それらフ
レームの内容と比較されるニュース・アイコンを示す図
である。
レームの内容と比較されるニュース・アイコンを示す図
である。
【図１０】マルチモードの内容検出を映像、音声及びテ
キストに基づいて行う方法を示すフローチャートであ
る。
キストに基づいて行う方法を示すフローチャートであ
る。
【図１１】電子会議ビデオを索引付けして電子会議のビ
デオ議事録を生成する方法を示すフローチャートであ
る。
デオ議事録を生成する方法を示すフローチャートであ
る。
【図１２】テレビ電子会議に用いられる、４人の参加者
を描写しているビデオディスプレイを示す図である。
を描写しているビデオディスプレイを示す図である。
【図１３】プレビュー場面を利用してニュースビデオを
索引付けする方法の概要を示すフローチャートである。
索引付けする方法の概要を示すフローチャートである。
【図１４】編集コマンドが手描きされたビデオフレーム
のシーケンスを表すフレームディスプレイを示す図であ
る。
のシーケンスを表すフレームディスプレイを示す図であ
る。
【図１５】図１４に示された手描き編集コマンドに従っ
て編集されたビデオフレームの出力シーケンスを示す図
である。
て編集されたビデオフレームの出力シーケンスを示す図
である。
【図１６】フレームディスプレイ上に手描きできる編集
記号の表を示す図である。
記号の表を示す図である。
【図１７】編集コマンドが手描きされたビデオフレーム
のシーケンスを表すフレームディスプレイを示す図であ
る。
のシーケンスを表すフレームディスプレイを示す図であ
る。
【図１８】図１７に示した手描き編集コマンドに従って
生成されたビデオフレームの出力シーケンスを示す図で
ある。
生成されたビデオフレームの出力シーケンスを示す図で
ある。
【図１９】図１７に示した手描き編集コマンドに従って
生成されたビデオフレームの出力シーケンスを示す図で
ある。
生成されたビデオフレームの出力シーケンスを示す図で
ある。
【図２０】編集コマンドが手描きされたビデオフレーム
のシーケンスを表すフレームディスプレイを示す図であ
る。
のシーケンスを表すフレームディスプレイを示す図であ
る。
【図２１】図２０に表した手描き編集コマンドに従って
編集されたビデオフレームの出力シーケンスを示す図で
ある。
編集されたビデオフレームの出力シーケンスを示す図で
ある。
１ コンピュータシステム １０ 中央処理装置（ＣＰＵ） ２０ メモリ ３０ データ記憶装置 ４０ プリンタ ５０ デジタルビデオチップ（ＤＶＣ） ６０ ビデオモニタ ７０ キーボード ８０ マウス ９０ スキャナ １００ ビデオ入力装置（ＶＩＵ） １１０ システムバス １２０ レーザーディスクプレイヤー １３０ ビデオカセットレコーダー（ＶＣＲ） １４０ ビデオカメラ １５０ フレームグラバー ２００ メインニュース放送（場面） ２１０ 番組 ２１２ コマーシャル ２１４ ニュースプレビュー（場面） ２１６ ヘッドライン ３００ フレーム ３１０ オブジェクト領域 ３２０ ニュースアイコン ３３０ アンカー ３４０ ニュースロゴ ４０４〜４１６ フレーム ３４５ アイコンサマリー ３５０〜３５９ ビデオラベル ７０１〜７０７ フレーム ９６１〜９６４ ウインドウ ９６５〜９６８ 参加者 １２００ フレームディスプレイ １２０１〜１２１６ フレーム １２１７〜１２１８ 編集記号 １３０１〜１３１３ 編集記号 １４００ フレームディスプレイ １４０１〜１４１２ フレーム １４１４から１４１６ 編集記号 １５００ フレームディスプレイ １５０１〜１５１６ フレーム １５１８，１５１９ 編集記号
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｆ 15/62 Ｐ
Claims (68)
- 【請求項１】 映像内容を持つレコードの索引を生成す
る方法であって、索引は複数のラベルからなり、レコー
ドは複数のフレームからなり、その中の若干数のフレー
ムはそれぞれ少なくとも複数のアイコン中の一つのアイ
コンを含み、 アイコンを利用して複数のラベルを生成するステップ、
及び複数のフレーム中の一つのフレームの内容が複数の
ラベル中の一つのラベルに関連したアイコンの内容と一
致するときに、該一つのフレームを該一つのラベルに索
引付けするステップ、を含む索引生成方法。 - 【請求項２】 請求項１記載の索引生成方法において、
レコードはテレビニュース放送のレコードであり、若干
数のアイコンはニュースアイコンであり、かつ、レコー
ドは音声内容を持つ、ことを特徴とする索引生成方法。 - 【請求項３】 ラベルからなるアイコンサマリーを生成
するステップをさらに含むことを特徴とする請求項２記
載の索引生成方法。 - 【請求項４】 該一つのフレームの内容と複数のアイコ
ン中の一つのアイコンの内容との間の類似度を測定する
ステップをさらに含み、該一つのフレームの内容と該一
つのラベルに関連した該アイコンの内容とが一致するの
は、該フレームの内容と該アイコンの内容との間の類似
度が所定の閾値を超える場合であることを特徴とする請
求項２記載の索引生成方法。 - 【請求項５】 テレビニュース放送の映像音声レコード
の映像索引を生成する方法であって、索引は複数のビデ
オラベルからなり、レコードは音声及び映像の内容を持
つ複数のフレームからなり、 （ａ）複数のフレームをサーチし、あるニュースアイコ
ンを探すステップ、 （ｂ）該ニュースアイコンが見つかったときに、該ニュ
ースアイコンを複数のビデオラベル中の一つのビデオラ
ベルとして格納するステップ、 （ｃ）該ニュースアイコンを含むフレームの後に続く各
フレームの内容と該ニュースアイコンの内容との間の類
似度を測定するステップ、 （ｄ）該類似度に基づいて、どのフレームが該ニュース
アイコンと一致するか判定するステップ、 （ｅ）該ニュースアイコンと一致する各フレームを該ビ
デオラベルに索引付けするステップ、及び （ｆ）ニュースアイコンを含まないフレームのほぼ全部
が一つのビデオラベルに索引付けされるよう、前記
（ａ）から（ｅ）のステップを繰り返して複数のビデオ
ラベルを生成するステップ、を含む索引生成方法。 - 【請求項６】 ビデオラベルからなるアイコンサマリー
を生成するステップをさらに含む請求項５記載の索引生
成方法。 - 【請求項７】 請求項５記載の索引生成方法において、
索引付けのステップ（ｅ）は該ニュースアイコンと一致
する各フレームの音声及び映像の内容を該ビデオラベル
に関連付けるステップを含むことを特徴とする索引生成
方法。 - 【請求項８】 請求項５記載の索引生成方法において、
類似度は相関手法により測定されることを特徴とする索
引生成方法。 - 【請求項９】 請求項５記載の索引生成方法において、
類似度はフレームの映像内容に基づくことを特徴とする
索引生成方法。 - 【請求項１０】 請求項９記載の索引生成方法におい
て、類似度はさらにフレームの音声内容にも基づくこと
を特徴とする索引生成方法。 - 【請求項１１】 請求項１０記載の索引生成方法におい
て、ニュースアイコンはテキスト内容を持ち、類似度を
測定するステップ（ｃ）は、フレームの音声内容をテキ
ストに変換するステップ、及び、該テキストをニュース
アイコンのテキスト内容と比較して類似度の音声成分を
決定するステップを含むことを特徴とする索引生成方
法。 - 【請求項１２】 請求項９記載の索引生成方法におい
て、類似度はさらにフレームのテキスト内容にも基づく
ことを特徴とする索引生成方法。 - 【請求項１３】 請求項１２記載の索引生成方法におい
て、ニュースアイコンはテキスト内容を持ち、各フレー
ムの類似度を測定するステップ（ｃ）はフレームのテキ
スト内容をニュースアイコンのテキスト内容と比較して
類似度のテキスト成分を決定するステップを含むことを
特徴とする索引生成方法。 - 【請求項１４】 音声映像レコードの映像索引を生成す
る装置であって、索引は複数のラベルからなり、レコー
ドは映像内容を持つ複数のフレームからなり、 フレームをサーチし、あるアイコンを探す手段、 該アイコンを見つけたときに該アイコンを複数のラベル
中の一つのラベルとして格納する手段、 該アイコンを含むフレームの後に続く各フレームの内容
と該アイコンの内容との間の類似度を測定する手段、 該類似度に基づいて、どのフレームが該アイコンと一致
するか判定する手段、及び該アイコンと一致する各フレ
ームを該ビデオラベルに索引付けする手段、を具備する
索引生成装置。 - 【請求項１５】 請求項１４記載の索引生成装置におい
て、音声映像レコードはテレビニュース放送のレコード
であり、アイコンはニュースアイコンであることを特徴
とする索引生成装置。 - 【請求項１６】 ラベルからなるアイコンサマリーを生
成する手段をさらに有することを特徴とする請求項１４
記載の索引生成装置。 - 【請求項１７】 請求項１４記載の索引生成装置におい
て、索引付けの手段は複数のフレーム中で該アイコンと
一致する各フレームの音声及び映像の内容を該ラベルに
関係付ける手段を含むことを特徴とする索引生成装置。 - 【請求項１８】 請求項１４記載の索引生成装置におい
て、類似度はフレームの映像内容に基づくことを特徴と
する索引生成装置。 - 【請求項１９】 請求項１８記載の索引生成装置におい
て、類似度はさらにフレームの音声内容にも基づくこと
を特徴とする索引生成装置。 - 【請求項２０】 請求項１９記載の索引生成装置におい
て、アイコンはテキスト内容を持ち、類似度を測定する
手段は、フレームの音声内容をテキストに変換する手
段、及び、該テキストをアイコンのテキスト内容と比較
して類似度の音声成分を決定する手段を含むことを特徴
とする索引生成装置。 - 【請求項２１】 請求項１８記載の索引生成装置におい
て、類似度はさらにフレームのテキスト内容にも基づく
ことを特徴とする索引生成装置。 - 【請求項２２】 請求項２１記載の索引生成装置におい
て、アイコンはテキスト内容を持ち、類似度を測定する
手段は、フレームのテキスト内容をアイコンのテキスト
内容と比較して類似度のテキスト成分を決定する手段を
含むことを特徴とする索引生成装置。 - 【請求項２３】 テレビニュース放送の音声映像レコー
ドを索引付けする装置であって、 音声及び映像の内容を持つ複数のフレームを格納するメ
モリを有し、その複数フレーム中の若干数のフレームは
少なくとも複数のニュースアイコン中の一つのアイコン
を含み、かつ複数のニュースアイコンから複数のビデオ
ラベルを生成し、複数のフレーム中で、複数のニュース
アイコン中の一つのニュースアイコンを含まない各フレ
ームの内容と、複数のニュースアイコン中の各ニュース
アイコンの内容との一致比較をし、複数のフレーム中
で、複数のニュースアイコン中の一つのニュースアイコ
ンの内容と一致した内容を持つ各フレームを、そのニュ
ースアイコンに相当するビデオラベルに索引付けする、
該メモリに接続されたプロセッサロジックを有する索引
付け装置。 - 【請求項２４】 請求項２３記載の索引付け装置におい
て、プロセッサロジックがラベルからなるアイコンサマ
リーを作ることを特徴とする索引付け装置。 - 【請求項２５】 １人以上の人間を描写する映像内容を
持つレコードを索引付けする方法であって、レコードは
複数のフレームからなり、そのフレーム中の若干数のフ
レームはそれぞれ少なくとも１人の人間に関する複数の
情動中の一つの情動を含み、 どのフレームがある情動を含むか判定するステップ、 複数のフレーム中で、ある情動を描写する各フレーム、
複数のラベル中の一つのラベルとして、ただし１フレー
ムにつき１ラベルとして、記憶するステップ、及び複数
のフレーム中で、ある情動を描写する各フレームについ
て、該情動を描写するフレームに対応する他のフレーム
それぞれを、該情動を描写するフレームから生成された
ラベルに索引付けするステップを含む索引付け方法。 - 【請求項２６】 請求項２５記載の索引付け方法におい
て、複数の情動は少なくとも１人の人間による複数の有
意な動きを含むことを特徴とする索引付け方法。 - 【請求項２７】 請求項２５記載の索引付け方法におい
て、レコードはさらに音声内容を含み、レコードの各フ
レームは音声レベルを持ち、複数の情動に複数のフレー
ム中の一つのフレームの音声レベルの有意な変化が含ま
れることを特徴とする索引付け方法。 - 【請求項２８】 請求項２５記載の索引付け方法におい
て、複数のラベル中の各ラベルは、ある情動を含む複数
のフレーム中の一つのフレームに相当することを特徴と
する索引付け方法。 - 【請求項２９】 複数のラベルからなるサマリーを生成
するステップをさらに含むことを特徴とする請求項２５
の索引付け方法。 - 【請求項３０】 請求項２５記載の索引付け方法におい
て、索引付けのステップは、ある情動を含む各フレーム
に関し、そのフレームに、その後に続くフレーム中のど
れが一致するか判定するステップを含むことを特徴とす
る索引付け方法。 - 【請求項３１】 請求項２５記載の索引付け方法におい
て、判定のステップは、ある情動を含む第１のフレーム
の後に続くフレームをサーチして別の情動を含む第２の
フレームを探すステップ、及び、該第２のフレームが見
つかったときに該第１のフレームと該第２のフレームと
の間のフレームを該第１のフレームに相当するラベルに
索引付けし、また、該第２のフレームが見つからないと
きには該第１のフレームの後に続くフレームを該ラベル
に索引付けするステップを含むことを特徴とする索引付
け方法。 - 【請求項３２】 請求項２５記載の索引付け方法におい
て、判定のステップは、情動を含むフレームの内容と、
該フレームの後に続くフレームの内容との間の類似度を
測定するステップ、及び、該類似度に基づいて、どのフ
レームが該情動を含むフレームと一致するか判定するス
テップを含むことを特徴とする索引付け方法。 - 【請求項３３】 請求項３２記載の索引付け方法におい
て、類似度はフレームの映像内容に基づくことを特徴と
する索引付け方法。 - 【請求項３４】 複数の参加者間の音声映像電子会議の
レコードのビデオ議事録を生成する方法であって、レコ
ードは映像内容を持つ複数のフレームからなり、 （ａ）複数のフレームをサーチして１人以上の参加者に
よる第１の有意な動きを探すステップ、 （ｂ）該第１の有意な動きを含むフレームが見つかった
ときに、該フレームを一つのビデオラベルとして記憶す
るステップ； （ｃ）該第１の有意な動きを含むフレームの後に続くフ
レームの中で、該第１の有意な動きを含むフレームと一
致する各フレームを、該ビデオラベルに索引付けするス
テップ、及び （ｄ）複数のフレームのほぼ全部が一つのビデオラベル
に索引付けされるよう、前記（ａ）から（ｃ）のステッ
プを繰り返して複数のビデオラベルを生成するステッ
プ、を含むビデオ議事録生成方法。 - 【請求項３５】 請求項３４記載のビデオ議事録生成方
法であって、ステップ（ｂ）でビデオラベルとして記憶
されたフレームからなるアイコンサマリーを生成するス
テップをさらに含むことを特徴とするビデオ議事録生成
方法。 - 【請求項３６】 請求項３４記載のビデオ議事録生成方
法であって、有意な動きを含むフレームの後に続くフレ
ームのどれが、該有意な動きを含むフレームと一致する
か判定するステップをさらに含むことを特徴とするビデ
オ議事録生成方法。 - 【請求項３７】 請求項３４記載のビデオ議事録生成方
法において、有意な動きが参加者の二人以上の同調した
動きであることを特徴するビデオ議事録生成方法。 - 【請求項３８】 参加者の１人の動きをそれぞれ示す複
数の動きベクトルを計算するステップ、 該動きベクトル中の２以上のベクトル間の類似度を測定
するステップ、及び該動きベクトル中の２以上のベクト
ル間の類似度が所定の閾値を超えたときに同調した動き
を検出するステップをさらに含む請求項３７記載のビデ
オ議事録生成方法。 - 【請求項３９】 １人以上の人間を描写する映像内容を
持つレコードを索引付けする装置であって、レコードは
複数のフレームを持ち、それらフレーム中の若干数のフ
レームはそれぞれ該人間の複数の情動中の一つの情動を
描写し、 フレームを記憶するメモリ；及び複数の情動を含むフレ
ームを見つけ出してそれらフレームから複数のラベルを
生成し、情動を含まないフレームのほぼ全てを、それら
フレームと情動を含むフレームとの間の一致関係により
ラベルに索引付けする、該メモリと結合されたプロセッ
サロジックを具備する索引付け装置。 - 【請求項４０】 請求項３９記載の索引付け装置におい
て、プロセッサロジックがさらにラベルからなるサマリ
ーを生成することを特徴とする索引付け装置。 - 【請求項４１】 記録されたニュース放送の映像索引を
生成する方法であって、索引は複数のラベルからなり、
記録されたニュース放送は複数のニュースフレームを含
み、かつ複数のプレビューフレームからなるプレビュー
場面と関連付けられ、プレビューフレーム及びニュース
フレームは音声映像内容を持ち、 複数のプレビューフレームをメモリに格納するステッ
プ、 複数のプレビューフレーム中で、プレビュー場面内で内
容的にみて実質的に所定回数以上繰り返される各プレビ
ューフレームを識別するステップ、 複数のプレビューフレーム中で、プレビュー場面内で所
定回数以上繰り返される各プレビューフレームから複数
のラベルを生成するステップ、及び複数のニュースフレ
ーム中で、前記繰り返されるプレビューフレームの一つ
と実質的に同一の各ニュースフレームを前記繰り返され
るプレビューフレームに対応するラベルに索引付けする
ステップ、を含む索引生成方法。 - 【請求項４２】 ラベルの映像サマリーを生成するステ
ップをさらに含むことを特徴とする請求項４１記載の索
引生成方法。 - 【請求項４３】 複数のプレビューフレーム中で、プレ
ビュー場面内で所定回数以上繰り返される選択された一
つのプレビューフレームと実質的に同一の各プレビュー
フレームを、該選択された一つのプレビューフレームに
対応したラベルに索引付けするステップをさらに含むこ
とを特徴とする請求項４１記載の索引生成方法。 - 【請求項４４】 記録されたニュース放送の映像索引を
生成する方法であって、索引は複数のビデオラベルから
なり、記録されたニュース放送は複数のニュースフレー
ムを含み、かつ複数のプレビューフレームからなるプレ
ビュー場面に対応し、プレビューフレーム及びニュース
フレームは音声映像内容を持ち、 （ａ）複数のプレビューフレーム中の一つのプレビュー
フレームを選択するステップ、 （ｂ）該選択されたプレビューフレームと実質的に同一
のプレビューフレームの数を計数するステップ、 （ｃ）該選択されたプレビューフレームと実質的に同一
のプレビューフレームの数が所定数を超えた場合に、該
選択さたプレビューフレームを複数のビデオラベル中の
一つのビデオラベルとして記憶するステップ、及び （ｄ）複数のプレビューフレームのほぼ全てが前記ステ
ップ（ａ）により選択されるよう、前記（ａ）から
（ｃ）のステップを繰り返して複数のビデオラベルを生
成するステップ、を含む索引生成方法。 - 【請求項４５】 複数のプレビューフレーム中のどのプ
レビューフレームが選択されたプレビューフレームと実
質的に同一であるか判定するステップをさらに含むこと
を特徴とする請求項４４記載の索引生成方法。 - 【請求項４６】 請求項４５記載の索引生成方法におい
て、判定のステップがプレビューフレームの映像内容に
基づくことを特徴とする索引生成方法。 - 【請求項４７】 請求項４６記載の索引生成方法におい
て、判定のステップがさらにプレビューフレームの音声
内容にも基づくことを特徴とする索引生成方法。 - 【請求項４８】 請求項４６記載の索引生成方法におい
て、プレビューフレームはテキスト内容を持ち、判定の
ステップがさらにプレビューフレームのテキスト内容に
も基づくことを特徴とする索引生成方法。 - 【請求項４９】 複数のビデオラベルからなるサマリー
を生成するステップをさらに含むことを特徴とする請求
項４４記載の索引生成方法。 - 【請求項５０】 複数のプレビューフレーム中の選択さ
れたプレビューフレームと内容が実質的に同一の各プレ
ビューフレームをビデオラベルに索引付けするステップ
をさらに含むことを特徴とする請求項４４記載の索引生
成方法。 - 【請求項５１】 記録されたニュース放送の映像索引を
生成する装置であって、索引は複数のラベルからなり、
記録されたニュース放送は複数のニュースフレームを含
み、かつ複数のプレビューフレームからなるプレビュー
場面に対応し、プレビューフレーム及びニュースフレー
ムは音声映像内容を持ち、 （ａ）複数のプレビューフレーム中の一つのプレビュー
フレームを選択する手段、 （ｂ）該選択されたプレビューフレームと実質的に同一
のプレビューフレームの数を計数する手段、 （ｃ）該選択されたプレビューフレームと実質的に同一
のプレビューフレームの数が所定数を超えるか判定する
手段、 （ｄ）該選択されたプレビューフレームと実質的に同一
のフレームの数が該所定数を超えた場合に、該選択さた
プレビューフレームを複数のビデオラベル中の一つのビ
デオラベルとして記憶する手段、及び （ｅ）複数のプレビューフレームのほぼ全てが前記ステ
ップ（ａ）により選択されるよう、前記（ａ）から
（ｃ）のステップを繰り返して複数のラベルを生成する
手段、を具備する索引生成装置。 - 【請求項５２】 複数のラベルからなるサマリーを生成
する手段をさらに含むことを特徴とする請求項５１記載
の索引生成装置。 - 【請求項５３】 複数のプレビューフレーム中で、該選
択されたプレビューフレームと実質的に同一の各プレビ
ューフレームを該ラベルに索引付けする手段をさらに含
むことを特徴とする請求項５１記載の索引生成装置。 - 【請求項５４】 記録されたニュース放送の映像索引を
生成する装置であって、索引は複数のラベルからなり、
記録されたニュース放送は複数のニュースフレームを含
み、かつ複数のプレビューフレームからなるプレビュー
場面と関連付けられ、プレビューフレーム及びニュース
フレームは音声映像内容を持ち、 複数のプレビューフレームを格納するメモリ；及び複数
のプレビューフレーム中で、プレビュー場面内で所定回
数以上繰り返される各プレビューフレームを識別し、識
別した各プレビューフレームから複数のビデオラベルを
生成する、該メモリと結合されたプロセッサロジックを
具備する索引生成装置。 - 【請求項５５】 ビデオレコードの複数のフレームを編
集する方法であって、フレームはそれぞれフレームディ
スプレイに表され、 フレームディスプレイ上にユーザにより手描きされた編
集記号が存在するかフレームディスプレイを調べるステ
ップ、 フレームディスプレイに描かれた編集記号を認識するス
テップ、 編集コマンドを表す編集記号の表に基づき、フレームデ
ィスプレイに描かれた編集記号のそれぞれを複数の編集
コマンド中の一つの編集コマンドに関連付けるステッ
プ、及びフレームディスプレイに描かれた編集記号に関
連付けられた編集コマンドに従ってビデオレコードのフ
レームを修正するステップを含むフレーム編集方法。 - 【請求項５６】 編集記号表を提供するステップをさら
に含むことを特徴とする請求項５５記載のフレーム編集
方法。 - 【請求項５７】 請求項５５記載のフレーム編集方法に
おいて、フレームディスプレイは実質的に紙様の物に表
示されることを特徴とするフレーム編集方法。 - 【請求項５８】 請求項５５記載のフレーム編集方法に
おいて、フレームディスプレイはビデオモニタに表示さ
れ、編集記号はカーソル制御装置を利用してフレームデ
ィスプレイ上に描かれることを特徴とするフレーム編集
方法。 - 【請求項５９】 請求項５８記載のフレーム編集方法に
おいて、ビデオモニタはタッチスクリーンを持ち、編集
記号は該タッチスクリーンを用いて該タッチスクリーン
上に描かれることを特徴とするフレーム編集方法。 - 【請求項６０】 ビデオレコードの複数のフレームを編
集する装置であって、フレームはそれぞれフレームディ
スプレイに表され、 フレームディスプレイ上にユーザにより手描きされた編
集記号が存在するかフレームディスプレイを調べる手
段、 フレームディスプレイに描かれた編集記号を認識する手
段、 編集コマンドを表す編集記号の表に基づき、フレームデ
ィスプレイに描かれた編集記号のそれぞれを複数の編集
コマンド中の一つの編集コマンドに関連付ける手段、及
びフレームディスプレイに描かれた編集記号に関連付け
られた編集コマンドに従ってビデオレコードのフレーム
を修正する手段を具備するフレーム編集装置。 - 【請求項６１】 編集記号表を提供する手段をさらに有
することを特徴とする請求項６０記載のフレーム編集装
置。 - 【請求項６２】 請求項６０記載のフレーム編集装置に
おいて、フレームディスプレイは実質的に紙様の物に表
示されることを特徴とするフレーム編集装置。 - 【請求項６３】 請求項６０記載のフレーム編集装置に
おいて、フレームディスプレイはビデオモニタに表示さ
れ、編集記号はそれをフリーハンドで描くためのカーソ
ル制御装置を利用してフレームディスプレイに描かれる
ことを特徴とするフレーム編集装置。 - 【請求項６４】 請求項６３記載のフレーム編集装置に
おいて、ビデオモニタはタッチスクリーンを持ち、編集
記号はタッチスクリーンに線描具を物理的に当てること
によりタッチスクリーン上に描かれることを特徴とする
フレーム編集装置。 - 【請求項６５】 ビデオレコードの複数のフレームを編
集する装置であって、フレームはそれぞれフレームディ
スプレイ上に視覚的に表され、 フレームディスプレイを格納するメモリ、 該メモリと結合され、フレームディスプレイを受け取り
それを該メモリに供給する入力装置、及びフレームディ
スプレイ上にユーザにより手描きされた編集記号が存在
するかフレームディスプレイを調べ、フレームディスプ
レイ上に描かれた編集記号を認識し、編集記号の表に基
づいてフレームディスプレイ上に描かれた編集記号それ
ぞれを複数の編集コマンド中の一つの編集コマンドに関
連付け、フレームディスプレイに手描きされた編集記号
に関連付けられた編集コマンドに従ってビデオレコード
のフレームを修正する、該メモリと結合されたプロセッ
サロジックを具備するフレーム編集装置。 - 【請求項６６】 請求項６５記載のフレーム編集装置に
おいて、入力装置はフレームディスプレイを入力してデ
ジタイズするスキャナであり、編集記号はスキャナがフ
レームディスプレイを入力する前にフレームディスプレ
イに描かれることを特徴とするフレーム編集装置。 - 【請求項６７】 フレームの内容と、ニュースアイコン
を含むあるフレームの内容との間の第２の類似度を測定
するステップ（ｃ）(１）をさらに含み、どのフレーム
がニュースアイコンと一致するか判定するステップ
（ｄ）はさらに該第２の類似度にも基づくことを特徴と
する請求項５記載の索引生成方法。 - 【請求項６８】 フレームの内容と、アイコンを含むあ
るフレームの内容との間の第２の類似度を測定する手段
をさらに含み、どのフレームがアイコンと一致するか判
定する手段はさらに該第２の類似度に基づいてどのフレ
ームがアイコンと一致するか判定することを特徴とする
請求項１４記載の索引生成装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US49415895A | 1995-06-23 | 1995-06-23 | |
| US08/494158 | 1995-06-23 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH099202A true JPH099202A (ja) | 1997-01-10 |
| JP3608758B2 JP3608758B2 (ja) | 2005-01-12 |
Family
ID=23963286
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14247796A Expired - Fee Related JP3608758B2 (ja) | 1995-06-23 | 1996-06-05 | 索引生成方法、索引生成装置、索引付け装置、索引付け方法、ビデオ議事録生成方法、フレーム編集方法及びフレーム編集装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3608758B2 (ja) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10214270A (ja) * | 1997-01-29 | 1998-08-11 | Fuji Xerox Co Ltd | 情報蓄積装置および情報蓄積再生装置 |
| JPH11261909A (ja) * | 1998-03-12 | 1999-09-24 | Toshiba Corp | マルチメディアデータ処理装置および方法，記録媒体 |
| JPH11260041A (ja) * | 1998-03-11 | 1999-09-24 | Nippon Telegr & Teleph Corp <Ntt> | マンガ型映像編集方法及び装置ならびに該編集方法を記録した記録媒体 |
| JP2001309282A (ja) * | 2000-04-20 | 2001-11-02 | Sony Corp | 放送番組記録方法及び放送番組記録装置及び放送番組記録再生装置 |
| GB2371194A (en) * | 2000-10-06 | 2002-07-17 | Canon Kk | Indicating image processing status |
| KR100422699B1 (ko) * | 2001-05-22 | 2004-03-12 | 엘지전자 주식회사 | 비디오 콘텐트의 재생 제어방법과 장치 |
| KR100438269B1 (ko) * | 2001-03-23 | 2004-07-02 | 엘지전자 주식회사 | 뉴스 비디오 브라우징 시스템에서 앵커 샷 자동 검출 방법 |
| JP2005277445A (ja) * | 2004-03-22 | 2005-10-06 | Fuji Xerox Co Ltd | 会議映像処理装置、会議映像処理方法およびプログラム |
| JP2011109292A (ja) * | 2009-11-16 | 2011-06-02 | Canon Inc | 撮像装置、その制御方法及びプログラム並びに記憶媒体 |
| CN102547213A (zh) * | 2011-12-23 | 2012-07-04 | 南京超然科技有限公司 | 一种用于视频会议系统的视频成像预览方法 |
| JP2013093860A (ja) * | 2012-11-26 | 2013-05-16 | Yamaha Corp | 番組記録装置 |
| WO2016098466A1 (ja) * | 2014-12-18 | 2016-06-23 | 株式会社Ｃｙｇａｍｅｓ | 情報処理プログラム、及び情報処理方法 |
| CN110826471A (zh) * | 2019-11-01 | 2020-02-21 | 腾讯科技（深圳）有限公司 | 视频标签的标注方法、装置、设备及计算机可读存储介质 |
-
1996
- 1996-06-05 JP JP14247796A patent/JP3608758B2/ja not_active Expired - Fee Related
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10214270A (ja) * | 1997-01-29 | 1998-08-11 | Fuji Xerox Co Ltd | 情報蓄積装置および情報蓄積再生装置 |
| JPH11260041A (ja) * | 1998-03-11 | 1999-09-24 | Nippon Telegr & Teleph Corp <Ntt> | マンガ型映像編集方法及び装置ならびに該編集方法を記録した記録媒体 |
| JPH11261909A (ja) * | 1998-03-12 | 1999-09-24 | Toshiba Corp | マルチメディアデータ処理装置および方法，記録媒体 |
| JP2001309282A (ja) * | 2000-04-20 | 2001-11-02 | Sony Corp | 放送番組記録方法及び放送番組記録装置及び放送番組記録再生装置 |
| GB2371194A (en) * | 2000-10-06 | 2002-07-17 | Canon Kk | Indicating image processing status |
| GB2371194B (en) * | 2000-10-06 | 2005-01-26 | Canon Kk | Image processing apparatus |
| KR100438269B1 (ko) * | 2001-03-23 | 2004-07-02 | 엘지전자 주식회사 | 뉴스 비디오 브라우징 시스템에서 앵커 샷 자동 검출 방법 |
| KR100422699B1 (ko) * | 2001-05-22 | 2004-03-12 | 엘지전자 주식회사 | 비디오 콘텐트의 재생 제어방법과 장치 |
| US7809792B2 (en) | 2004-03-22 | 2010-10-05 | Fuji Xerox Co., Ltd. | Conference information processing apparatus, and conference information processing method and storage medium readable by computer |
| CN100425071C (zh) * | 2004-03-22 | 2008-10-08 | 富士施乐株式会社 | 会议信息处理装置和方法 |
| JP2005277445A (ja) * | 2004-03-22 | 2005-10-06 | Fuji Xerox Co Ltd | 会議映像処理装置、会議映像処理方法およびプログラム |
| JP2011109292A (ja) * | 2009-11-16 | 2011-06-02 | Canon Inc | 撮像装置、その制御方法及びプログラム並びに記憶媒体 |
| CN102547213A (zh) * | 2011-12-23 | 2012-07-04 | 南京超然科技有限公司 | 一种用于视频会议系统的视频成像预览方法 |
| JP2013093860A (ja) * | 2012-11-26 | 2013-05-16 | Yamaha Corp | 番組記録装置 |
| JP2016116196A (ja) * | 2014-12-18 | 2016-06-23 | 株式会社Ｃｙｇａｍｅｓ | 情報処理プログラム、及び情報処理方法 |
| WO2016098466A1 (ja) * | 2014-12-18 | 2016-06-23 | 株式会社Ｃｙｇａｍｅｓ | 情報処理プログラム、及び情報処理方法 |
| KR20170096017A (ko) * | 2014-12-18 | 2017-08-23 | 가부시키가이샤 사이게임스 | 정보 처리 프로그램, 및 정보 처리 방법 |
| CN107251550A (zh) * | 2014-12-18 | 2017-10-13 | Cy游戏公司 | 信息处理程序和信息处理方法 |
| US10384125B2 (en) | 2014-12-18 | 2019-08-20 | Cygames, Inc. | Information processing program and information processing method |
| CN107251550B (zh) * | 2014-12-18 | 2020-03-27 | Cy游戏公司 | 信息处理程序和信息处理方法 |
| CN110826471A (zh) * | 2019-11-01 | 2020-02-21 | 腾讯科技（深圳）有限公司 | 视频标签的标注方法、装置、设备及计算机可读存储介质 |
| CN110826471B (zh) * | 2019-11-01 | 2023-07-14 | 腾讯科技（深圳）有限公司 | 视频标签的标注方法、装置、设备及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3608758B2 (ja) | 2005-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3758754B2 (ja) | 情報蓄積再生装置および情報蓄積再生方法 | |
| US6803925B2 (en) | Assembling verbal narration for digital display images | |
| US8363058B2 (en) | Producing video and audio-photos from a static digital image | |
| US7139767B1 (en) | Image processing apparatus and database | |
| CA2202540C (en) | System and method for skimming digital audio/video data | |
| JP3185505B2 (ja) | 会議録作成支援装置 | |
| WO2021035223A1 (en) | Automatic data extraction and conversion of video/images/sound information from a board-presented lecture into an editable notetaking resource | |
| US20240135973A1 (en) | Video segment selection and editing using transcript interactions | |
| US20080235564A1 (en) | Methods for converting electronic content descriptions | |
| JP3608758B2 (ja) | 索引生成方法、索引生成装置、索引付け装置、索引付け方法、ビデオ議事録生成方法、フレーム編集方法及びフレーム編集装置 | |
| CN107633241A (zh) | 一种全景视频自动标注和追踪物体的方法和装置 | |
| JP2002057981A (ja) | データストリームにアクセスするインタフェース、データストリームへのアクセス用検索の形成方法、データストリームアクセス方法及びノートからビデオにアクセスするためのデバイス | |
| JPH10214270A (ja) | 情報蓄積装置および情報蓄積再生装置 | |
| CN110505498B (zh) | 视频的处理、播放方法、装置及计算机可读介质 | |
| US20240126994A1 (en) | Transcript paragraph segmentation and visualization of transcript paragraphs | |
| JP4192703B2 (ja) | コンテンツ処理装置、コンテンツ処理方法及びプログラム | |
| CN115484474B (zh) | 视频剪辑处理方法、装置、电子设备及存储介质 | |
| US20130094697A1 (en) | Capturing, annotating, and sharing multimedia tips | |
| GB2635831A (en) | Face-aware speaker diarization for transcripts and text-based video editing | |
| KR20230095432A (ko) | 텍스트 서술 기반 캐릭터 애니메이션 합성 시스템 | |
| JP6203188B2 (ja) | 類似画像検索装置 | |
| US10347299B2 (en) | Method to automate media stream curation utilizing speech and non-speech audio cue analysis | |
| Amir et al. | Automatic generation of conference video proceedings | |
| JP2005267278A (ja) | 情報処理システム及び情報処理方法、並びにコンピュータ・プログラム | |
| JP7133367B2 (ja) | 動画編集装置、動画編集方法、及び動画編集プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041005 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041008 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071022 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081022 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081022 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091022 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101022 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111022 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121022 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131022 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |