JP2000350156A - 動画像情報の記憶方法及びこれを記録した記録媒体 - Google Patents

動画像情報の記憶方法及びこれを記録した記録媒体

Info

Publication number
JP2000350156A
JP2000350156A JP11162035A JP16203599A JP2000350156A JP 2000350156 A JP2000350156 A JP 2000350156A JP 11162035 A JP11162035 A JP 11162035A JP 16203599 A JP16203599 A JP 16203599A JP 2000350156 A JP2000350156 A JP 2000350156A
Authority
JP
Japan
Prior art keywords
moving image
storing
frame
recording medium
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP11162035A
Other languages
English (en)
Inventor
Takafumi Miyatake
孝文 宮武
Akio Nagasaka
晃朗 長坂
Takehiro Fujita
武洋 藤田
Shigeki Nagaya
茂喜 長屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP11162035A priority Critical patent/JP2000350156A/ja
Priority to US09/572,627 priority patent/US6925245B1/en
Publication of JP2000350156A publication Critical patent/JP2000350156A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】 【課題】 本発明の目的は、画像や音響の内容から重要
性を判断して代表画像を決定することで、代表画像だけ
から所望のシーンを素早く検索可能とする、動画像情報
の記憶方法および記憶媒体の提供にある。 【解決手段】 動画像を記憶する第１の手段と、動画像
をかたまり毎に区切りその先頭のフレーム番号を抽出す
る第２の手段と、区切られた動画像中で特徴量が最大と
なるフレームのフレーム番号を抽出する第３の手段と、
第２の手段および第３の手段で抽出されたフレーム番号
を第１の手段に格納する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、動画像情報の検索
分野に係り、動画像の検索を素早く行える動画像情報の
記憶方法および記憶媒体を提供する。
【０００２】
【従来の技術】近年、計算機の高速化と大容量化を背景
にして、従来は扱えなかった映画やビデオなどの動画像
情報を扱うことのできるデータベースシステムやプレゼ
ンテーションツールが注目されている。しかしながら、
膨大な情報量を有する動画像情報の中から必要な部分だ
けを探したり、それを加工したりするのは、ユーザにと
って手間のかかる作業である。そこで、計算機による作
業負担軽減方法として、例えば、情報処理学会論文誌 V
ol.33、 No.4、 「カラービデオ映像における自動索引
付け法と物体探索法」や特開平4-111181「動画像の変化
点検出方法」等で示された方法がある。これは、動画像
をシーン単位に自動的に分割し、各シーンの先頭画像の
一覧を作成して記憶し、それを書籍の索引のように用い
ることで、動画像の検索や編集の一助とする方法であ
る。これによれば、動画像の中身が一覧上で一目で把握
できるので所望の場面が見つかりやすく、また、シーン
という区切れのよい単位で扱えるので大まかな編集が簡
単にできる。
【０００３】
【発明が解決しようとする課題】しかしながら、上記の
方法では、一つのシーンを代表する画像をシーンの先頭
画像や末尾画像または中間画像など時間的に固定して選
択するのみで、シーン中の重要性を考慮して代表画像と
して選択したわけではない。たとえば、ニュース映像で
は、字幕が付加されたり、フラッシュがたかれたところ
が重要な画像と考えられる。またスポーツ映像などで
は、画像のみならず歓声が大きくあがったところの画像
が重要と考えられる。その他、クローズアップされた人
物の画像や大勢が撮影された画像なども重要な画像の候
補となりうる。しかしながら、従来の代表画像の選択方
法は画像や音響の内容を判断していない。そのため、ユ
ーザが代表画像の一覧表から所望のシーンを探そうとし
ても、代表画像から提供される情報が不足するため、代
表画像だけでは探すことができない。通常ユーザは確認
のためシーンを動画として再生してみる必要がでてくる
ため検索に時間がかかる。
【０００４】本発明の目的は、画像や音響の内容から重
要性を判断して代表画像を決定することで、代表画像だ
けから所望のシーンを素早く検索可能とする、動画像情
報の記憶方法および記憶媒体の提供にある。
【０００５】
【課題を解決するための手段】上記の課題を解決するた
めに、動画像を記録媒体に記憶する第１のステップと、
動画像をかたまり毎に区切り、その先頭のフレーム番号
を抽出する第２のステップと、区切られた動画像中で特
徴量が最大となるフレーム画像のフレーム番号を抽出す
る第３のステップと、該第２のステップおよび該第３の
ステップで抽出されたフレーム番号を該記録媒体に格納
するステップを有する。
【０００６】上記の第２のステップにおいて、かたまり
毎への区切り方は、動画像全体を均等なフレーム数で区
切るようにするか、動画像のシーン変化毎に区切るよう
にする。
【０００７】上記の第３のステップにおける特徴量は画
像データまたは音響データから算出する。そして画像デ
ータから算出される特徴量は、画面内の輝度の総和、画
面内の特定色の総数、画面内のエッジの総和のいずれか
１つ以上を利用する。また音響データから算出される特
徴量は、個々のフレーム内に附随した音響データの絶対
値の総和を利用する。
【０００８】また、第１のステップにおける記録媒体
は、磁気ディスク、コンパクトディスク、デジタルビデ
オディスク、フラッシュメモリ等のランダムアクセス可
能な媒体である。
【０００９】
【発明の実施の形態】以下、本発明の１実施例を詳細に
説明する。
【００１０】図１は、本発明を実現するためのシステム
構成の概略ブロック図の一例である。１はＣＲＴ等のデ
ィスプレイ装置であり、コンピュータ４の出力画面を表
示する。コンピュータ４に対する命令は、キーボードや
ポインティングデバイス等の入力装置５を使って行うこ
とができる。１０の動画像再生装置は、光ディスクやビ
デオデッキ等である。動画像再生装置から出力される映
像信号は、逐次、３のＡ／Ｄ変換器によってデジタル画
像データに変換され、コンピュータに送られる。コンピ
ュータ内部では、デジタル画像データは、インタフェー
ス８を介してメモリ９に入り、メモリ９に格納された動
画像インセクシングプログラム9-1に従って、ＣＰＵ７
によって処理される。１０が扱う動画像の各フレーム
に、動画像の先頭から順に番号（フレーム番号）が割り
付けられている場合には、フレーム番号を制御線２によ
って動画像再生装置に送ることで、当該場面の動画像が
再生される。処理の必要に応じて、各種情報を６の外部
情報記憶装置に蓄積することができる。6-1は動画像デ
ータ、6-2は代表画像のフレーム番号等のインデックス
データ、6-3は動画像閲覧プログラムである。
【００１１】以上の動画像記憶装置のシステム構成にお
いて、本実施例では、動画像インデクシングプログラム
9-1によって、動画像再生装置１０からの動画像を１フ
レームずつ、メモリ９に入力する。入力した動画像は、
デイスプレィ１に表示する。さらに動画像中のフレーム
画像の特徴量を求めてデイスプレィ１に動画像とともに
表示する。そして、入力した動画像のシーン変わりを検
出した時点で、シーン毎に特徴量が最大となるフレーム
をそのシーンの代表画像とし、アイコン画像を作成し、
デイスプレィ１上に一覧表にして表示する。以上の処理
中に得た、シーン変化情報や代表画像の情報は動画像と
ともに外部情報記憶装置６に格納する。さらに動画像閲
覧プログラム6-3を外部情報記憶装置６に格納する。こ
れにより、動画像やインデックス情報が格納された外部
情報記憶装置をコンピュータ４から外して、別のコンピ
ュータと接続しても、閲覧用のプログラムをインストー
ルすることなく、動画を閲覧することができる。また場
合によっては、閲覧用のプログラムの他、編集用のプロ
グラムを外部情報記憶装置６に格納することで、使い勝
手をさらに向上させることもできる。
【００１２】尚、本実施例では動画像は、ＶＴＲやＤＶ
Ｄなどの動画像再生装置から入力しているが、チューナ
を利用したテレビ放送の動画像、ビデオカメラからの動
画像、さらにハードディスクなどの外部情報記憶装置に
格納された動画像であってもよい。
【００１３】また、動画像データを持ち運ぶ場合が多い
用途の場合は、光ディスク(コンパクトディスク)、デジ
タルビデオディスク、フラッシュメモリなど着脱可能な
記録媒体が読み書きできる外部情報記憶装置を用いる。
【００１４】図２は、図１で示したディスプレィ上での
本発明の画面表示の一実施例である。ウィンドウ２０は
動画像インデクシングプログラム9-1により表示され
る。ウィンドウ２０の中のウィンドウ２1は動画像表示
ウィンドウ、ウィンドウ２２は特徴量表示ウィンドウ、
ウィンドウ２３は代表画像表示ウィンドウである。また
チェックボタン24-1、24-2、24-3、24-4はフレーム画像
から抽出する特徴量の種類を選択するために使用され
る。チェックボタン24-1がチェックされると、動画像イ
ンデクシングプログラム9-1はフレーム画像の輝度を特
徴量として抽出する。同様にしてチェックボタン24-2が
チェックされると、色を特徴量として抽出し、チェック
ボタン24-3がチェックされると、エッジを特徴量として
抽出し、チェックボタン24-4がチェックされると、音を
特徴量として抽出する。これらのチェックボタンは複数
の選択が可能である。抽出した特徴量はフレーム毎にウ
ィンドウ２２にグラフ22-1として表示する。これらの特
徴量は動画像のかたまり毎に最大値が計算され、最大と
なるフレーム画像を動画像のかたまりの代表画像とす
る。動画像のかたまりは直方体23-1とかたまりの先頭フ
レーム番号23-2で表現する。直方体23-1の奥行きがかた
まりのフレーム数を示し、抽出された代表画像23-3は縮
小後、そのフレーム番号に応じた直方体の適切な奥行き
上に配置して表示する。尚、動画像をかたまり毎に区切
る方法はシーン変化が発生したフレームを検出して区切
ったり、あるいは予め定めたフレーム数毎に区切る。
【００１５】以上のようにして抽出した代表画像の一覧
表はユーザの興味のある視点で動画を閲覧するのに好適
となる。たとえば輝度が最大となる代表画像の一覧に
は、ニュース番組などでのフラッシュがたかれたシーン
が含まれやすくなり、重要なシーンが簡単に探せる。ま
た肌色などが最大となる代表画像の一覧では人物のクロ
ーズアップシーンが含まれやすくなる。そしてエッジが
最大となる代表画像の一覧では、字幕のあるシーンが含
まれやすくなるので、文字情報がよく使われる番組の閲
覧がすばやく行えるようになる。さらに、音が最大とな
る代表画像の一覧では、スポーツ番組などで歓声が大き
くなったハイライトシーンを探すのに好適となる。
【００１６】図３は外部情報記憶装置６に記録される動
画像データ6-1およびインデックスデータ6-2のデータ構
造である。動画像データ6-1は画像サイズや圧縮形式な
どを記述したヘッダ6-1-1に続いて、ｎ枚のフレーム画
像6-1-3がフレーム番号6-1-2とともに記録される。ま
た、データ6-2はインデックスデータであり、動画像の
かたまりの数を記述するシーン総数6-2-1と各シーンの
内容を記述したシーン構造体6-2-2から構成される。シ
ーン構造体6-2-2は、シーンの先頭フレーム番号6-2-2-
1、シーンのフレーム数6-2-2-2、複数の特徴量に対応す
る代表画像のフレーム番号6-2-2-3から構成される。本
発明では、動画像データ6-1とインデックスデータ6-2は
フレーム番号によって対応づけられているので、インデ
ックスデータを参照して動画をランダムに再生すること
が可能になる。尚、別の実施例としては、フレーム番号
以外にタイムコードを用いることでも同様の効果が得ら
れる。
【００１７】図４は、図１で示したシステム上で実行さ
れる、動画像インデクシングプログラム9-1のフローチ
ャートの一例である。
【００１８】メモリ９に格納された動画像インデクシン
グプログラム9-1は、ＣＰＵ７によって、最初に処理４
０を実行し、図２のウィンドウ２１、２２、２３を初期
状態にするととに、フレーム番号ｆ、シーン番号Ｓを０
にリセットする。次に処理４１でインデクシングの処理
状態を制御する状態変数Statusを０にリセットする。そ
して、 Statusが２になるまで、以下の処理を反復、実
行する。
【００１９】まず、処理４２でボタン２5が押されたか
どうかをチェックする。押された場合処理４３で、状態
変数Statusが０かどうかを判定し、０ならば処理４４で
状態変数を１としてインデクシング開始状態とする。ま
た状態変数Statusが１の場合は処理４５で状態変数Stat
usを２としてインデクシング終了状態とする。
【００２０】次に処理４６で、状態変数Statusが１かど
うか判定し、１の場合、次に述べるインデクシング処理
を実行する。
【００２１】まず、処理４７では、動画像再生装置１０
から動画像を構成するフレーム画像を入力し、メモリ９
に格納する。フレームに付随する音声データも必要に応
じてメモリ９に格納する。そして、処理４８でフレーム
番号ｆを１更新する。尚、動画像再生装置１０からフレ
ーム番号が読み出せる場合は読み出したフレーム番号を
そのまま変数ｆに代入してもよい。そして、処理４９で
入力したフレーム画像をウィンドウ２１に表示するとと
もにフレーム画像を外部情報記憶装置６の動画像データ
6-1として格納する。
【００２２】次に、処理５０で代表画像を決定するため
の特徴量をフレーム画像または音声データの内容から算
出する。尚、この処理の詳細は後で図５を用いて説明す
る。処理５０で算出した特徴量は、処理５１でウィンド
ウ２２にグラフとして描く。
【００２３】最後に、動画像をかたまり毎に区切るため
の処理を行う。まず、処理５２では動画像のシーン変化
を検出する。現在およびそれ以前のフレーム画像との色
ヒストグラム差分から、フレーム画像間の相関を求め、
相関が無くなった時点をシーン変化とする。この処理は
たとえば、発明者らの特開平08-227462「動画像の変化
点検出方法及び装置」が利用できる。次に処理５３でシ
ーン変化があったかどうかを判定し、シーン変化ありの
場合処理５４、５５を実行する。処理５４ではシーン番
号Ｓを１つ更新する。続いて処理５５でインデックスデ
ータを作成し、ウィンドウ２３に表示するとともに、外
部情報記憶装置６へンデックスデータ6-2として格納す
る。尚、この処理の詳細は後で図６を用いて説明する。
一方、シーン変化がない場合は、処理５６でシーン番号
Ｓの代表画像抽出処理を実行する。この処理の詳細は後
で図７を用いて説明する。
【００２４】以上のインデクシング処理の後、処理６０
で状態変数Statusが２かどうか判定し、２であればイン
デクシング処理を終了する。
【００２５】図５は本発明の特徴量算出処理の詳細を示
す。
【００２６】まず処理１００で輝度チェックボタン24-1
が選択された状態か調べ、選択されている場合、処理１
０１を実行する。処理１０１では入力したフレーム画像
の個々の画素の輝度の総和を計算して変数Feature1に記
憶する。
【００２７】次に処理１１０で色チェックボタン24-2が
選択された状態か調べ、選択されている場合、処理１１
１を実行する。処理１１１では入力したフレーム画像に
ついて予め指定された色と同じ色を有する画素の個数を
計数し、それを変数Feature2に記憶する。
【００２８】同様に処理１２０でエッジチェックボタン
24-3が選択された状態か調べ、選択されている場合、処
理１２１を実行する。処理１２１では入力したフレーム
画像について、隣接する画素間の輝度の差分の絶対値を
求め、それらの総和を変数Feature3に記憶する。
【００２９】最後に処理１３０で音チェックボタン24-4
が選択された状態か調べ、選択されている場合、処理１
３１を実行する。処理１３１では入力したフレーム画像
に付随する音声データについて、音の強度をフレーム区
間分加算し、変数Feature4に記憶する。
【００３０】以上の特徴量はフレーム画像の画素数やフ
レーム区間の単純な総和であるが、画素数やフレーム区
間長で正規化した値であっても何ら問題はない。
【００３１】図６は本発明のインデックスデータ作成処
理の詳細を示す。
【００３２】処理２００で、現在のフレーム番号ｆを新
たなシーンＳの先頭フレーム番号Tsとする。そして処理
２１０で、シーンＳの先頭フレーム番号Tsをウィンドウ
２２に表示する。
【００３３】次に処理２２０で、シーンＳと一つ前のシ
ーンＳ−１の先頭フレーム番号の差から、一つ前のシー
ンＳ−１のフレーム数を計算する。その後、処理２３０
で一つ前のシーンＳ−１の代表画像すなわち特徴量が最
大であるフレーム画像を直方体の適切な奥行き上に配置
して、ウィンドウ２３に表示する。そして、処理２３０
で一つ前のシーンＳ−１のインデックスデータを外部情
報記憶装置６に格納する。
【００３４】最後に新たなシーンＳの代表画像を求める
ための初期化処理を行う。
【００３５】まず、処理２５０で輝度チェックボタン24
-1が選択された状態か調べ、選択されている場合、処理
２５１を実行する。処理２５１では変数Feature1を変数
Max Feature1に代入し、現在のフレーム番号ｆを変数Ma
xfno1に代入する。変数Max Feature1は特徴量の最大値
を記憶する変数であり、変数 Maxfno1は最大の特徴量を
有するフレーム番号を記憶する。
【００３６】次に処理２５２で色チェックボタン24-2が
選択された状態か調べ、選択されている場合、処理２５
３を実行する。処理２５３では変数Feature2を変数Max
Feature2に代入し、現在のフレーム番号ｆを変数Maxfno
2に代入する。
【００３７】同様に処理２５４でエッジチェックボタン
24-3が選択された状態か調べ、選択されている場合、処
理２５５を実行する。処理２５５では変数Feature3を変
数MaxFeature3に代入し、現在のフレーム番号ｆを変数M
axfno3に代入する。
【００３８】最後に処理２５６で音チェックボタン24-4
が選択された状態か調べ、選択されている場合、処理２
５７を実行する。処理２５７では変数Feature4を変数Ma
x Feature4に代入し、現在のフレーム番号ｆを変数Maxf
no4に代入する。
【００３９】以上で代表画像を求める初期化処理を終え
る。後はフレーム画像を入力する毎に特徴量の最大値を
更新する処理を行えばよい。この処理は図７を用いて説
明する。
【００４０】図７は本発明の代表画像抽出処理の詳細を
示す。
【００４１】まず、処理３００で輝度チェックボタン24
-1が選択された状態か調べ、選択されている場合、処理
３０１を実行する。処理３０１では変数Feature1が変数
Max Feature1よりも大きいかどうかを判定し、大きい場
合は処理３０２で最大値を更新する。すなわち、変数Fe
ature1をMax Feature1に代入する。そして処理３０３で
代表画像のフレーム番号も更新する。すなわち、フレー
ム番号ｆを変数Maxfno1に代入する。
【００４２】次に処理３１０で色チェックボタン24-2が
選択された状態か調べ、選択されている場合、処理３１
１を実行する。処理３１１では変数Feature2が変数Max
Feature2よりも大きいかどうかを判定し、大きい場合は
処理３１２で最大値を更新する。すなわち、変数Featur
e2をMax Feature2に代入する。そして処理３１３で代表
画像のフレーム番号も更新する。すなわち、フレーム番
号ｆを変数Maxfno2に代入する。
【００４３】同様に処理３２０でエッジチェックボタン
24-3が選択された状態か調べ、選択されている場合、処
理３２１を実行する。処理３２１では変数Feature3が変
数MaxFeature3よりも大きいかどうかを判定し、大きい
場合は処理３２２で最大値を更新する。すなわち、変数
Feature3をMax Feature3に代入する。そして処理３２３
で代表画像のフレーム番号も更新する。すなわち、フレ
ーム番号ｆを変数Maxfno3に代入する。
【００４４】最後に処理３３０で音チェックボタン24-4
が選択された状態か調べ、選択されている場合、処理３
３１を実行する。処理３３１では変数Feature4が変数Ma
x Feature4よりも大きいかどうかを判定し、大きい場合
は処理３３２で最大値を更新する。すなわち、変数Feat
ure4をMax Feature4に代入する。そして処理３３３で代
表画像のフレーム番号も更新する。すなわち、フレーム
番号ｆを変数Maxfno4に代入する。
【００４５】
【発明の効果】本発明によれば、動画像全体をかたまり
毎に区分し、区分された動画像の画像や音響の内容から
特徴量を判定して一つまたは複数の代表画像をインデッ
クスデータとするため、ユーザの視点に応じた、動画像
の閲覧が素早く行える。また本発明では動画像データと
インデックスデータが同一の媒体に格納されているの
で、携帯して別の装置で閲覧しても操作性の劣化はな
い。さらにまた、動画像データとインデックスデータの
他に動画像閲覧プログラムも同一の媒体に格納すること
で、別の装置で閲覧する際、動画像閲覧プログラムを装
置にインストールする煩わしさが生じない。
【図面の簡単な説明】
【図１】本発明を実現するためのシステム構成図の一例
である。
【図２】本発明の画面表示の一例である。
【図３】本発明の外部情報記憶装置に格納されるデータ
の構造の一例である。
【図４】動画像インデクシングプログラムのフローチャ
ートの一例である
【図５】特徴量算出処理の詳細を示すフローチャートの
一例である。
【図６】インデックスデータ作成処理の詳細を示すフロ
ーチャートの一例である。
【図７】代表画像抽出処理の詳細を示すフローチャート
の一例である。
【符号の説明】
１…ディスプレイ、３…A/D変換器、４…コンピュー
タ、５…入力装置、６…外部情報記憶装置、７…ＣＰ
Ｕ、８…インタフェース、９…メモリ、１０…動画像再
生装置、２１…動画像表示ウィンドウ、２２…特徴量表
示ウィンドウ、２３…代表画像表示ウィンドウ。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 藤田 武洋 東京都国分寺市東恋ケ窪一丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 長屋 茂喜 東京都国分寺市東恋ケ窪一丁目280番地 株式会社日立製作所中央研究所内 Ｆターム(参考） 5C052 AA02 AA03 AC08 CC20 5C053 FA23 GB09 HA29 HA32 HA33 JA01 JA12 KA04 KA05 KA24 KA25 LA06

Claims (15)

    【特許請求の範囲】
  1. 【請求項１】動画像を記録媒体に記憶する第１のステッ
    プと、動画像をかたまり毎に区切り、その先頭のフレー
    ム番号を抽出する第２のステップと、区切られた動画像
    中で特徴量が最大となるフレーム画像のフレーム番号を
    抽出する第３のステップと、該第２のステップおよび該
    第３のステップで抽出されたフレーム番号を該記録媒体
    に格納するステップを有することを特徴とする動画像情
    報の記憶方法。
  2. 【請求項２】請求項１記載の動画像情報の記憶方法にお
    いて、上記第２のステップにおけるかたまり毎への区切
    り方は、動画像全体を均等なフレーム数で区切ることを
    特徴とする動画像情報の記憶方法。
  3. 【請求項３】請求項１記載の動画像情報の記憶方法にお
    いて、上記第２のステップにおけるかたまり毎への区切
    り方は、動画像のシーン変化毎に区切ることを特徴とす
    る動画像情報の記憶方法。
  4. 【請求項４】請求項１記載の動画像情報の記憶方法にお
    いて、上記第３のステップにおける特徴量は画像データ
    から算出することを特徴とする動画像情報の記憶方法。
  5. 【請求項５】請求項１記載の動画像情報の記憶方法にお
    いて、上記第３のステップにおける特徴量は音響データ
    から算出することを特徴とする動画像情報の記憶方法。
  6. 【請求項６】請求項４記載の動画像情報の記憶方法にお
    いて、上記画像データから算出される特徴量は、画面内
    の輝度の総和を利用することを特徴とする動画像情報の
    記憶方法。
  7. 【請求項７】請求項４記載の動画像情報の記憶方法にお
    いて、上記画像データから算出される上記特徴量は、画
    面内の特定色の総数を利用することを特徴とする動画像
    情報の記憶方法。
  8. 【請求項８】請求項４記載の動画像情報の記憶方法にお
    いて、上記画像データから算出される特徴量は、画面内
    のエッジの総和を利用することを特徴とする動画像情報
    の記憶方法。
  9. 【請求項９】請求項５記載の動画像情報の記憶方法にお
    いて、上記音響データから算出される特徴量は、個々の
    フレームに附随した音響データの絶対値の総和を利用す
    ることを特徴とする動画像情報の記憶方法。
  10. 【請求項１０】請求項１記載の動画像情報の記憶方法に
    おいて、上記第１のステップで動画像を記憶する記録媒
    体は、磁気ディスクであることを特徴とする動画像情報
    の記憶方法。
  11. 【請求項１１】請求項１記載の動画像情報の記憶方法に
    おいて、上記第１のステップで動画像を記憶する記録媒
    体は、光ディスクであることを特徴とする動画像情報の
    記憶方法。
  12. 【請求項１２】請求項１記載の動画像情報の記憶方法に
    おいて、上記第１のステップで動画像を記憶する記録媒
    体は、デジタルビデオディスクであることを特徴とする
    動画像情報の記憶方法。
  13. 【請求項１３】請求項１記載の動画像情報の記憶方法に
    おいて、上記第１のステップで動画像を記憶する記録媒
    体は、フラッシュメモリであることを特徴とする動画像
    情報の記憶方法。
  14. 【請求項１４】請求項１記載の動画像情報の記憶方法に
    おいて、上記第１のステップで、さらに動画像情報を閲
    覧するプラグラムを上記記録媒体に格納するようにした
    ことを特徴とする動画像情報の記憶方法。
  15. 【請求項１５】動画像を記録媒体に記憶する第１のステ
    ップと、動画像をかたまり毎に区切り、その先頭のフレ
    ーム番号を抽出する第２のステップと、区切られた動画
    像中で特徴量が最大となるフレーム画像のフレーム番号
    を抽出する第３のステップと、該第２のステップおよび
    該第３のステップで抽出されたフレーム番号を該記録媒
    体に格納するステップを有することを特徴とする動画像
    情報の記憶方法が記録された記録媒体。
JP11162035A 1999-06-09 1999-06-09 動画像情報の記憶方法及びこれを記録した記録媒体 Pending JP2000350156A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP11162035A JP2000350156A (ja) 1999-06-09 1999-06-09 動画像情報の記憶方法及びこれを記録した記録媒体
US09/572,627 US6925245B1 (en) 1999-06-09 2000-05-17 Method and medium for recording video information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11162035A JP2000350156A (ja) 1999-06-09 1999-06-09 動画像情報の記憶方法及びこれを記録した記録媒体

Publications (1)

Publication Number Publication Date
JP2000350156A true JP2000350156A (ja) 2000-12-15

Family

ID=15746851

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11162035A Pending JP2000350156A (ja) 1999-06-09 1999-06-09 動画像情報の記憶方法及びこれを記録した記録媒体

Country Status (2)

Country Link
US (1) US6925245B1 (ja)
JP (1) JP2000350156A (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030067133A (ko) * 2002-02-07 2003-08-14 (주)지토 동영상의 자동분할 기술을 응용한 지능형 디지털 영상녹화기 시스템
KR100396580B1 (ko) * 2001-07-16 2003-09-02 삼성에스디에스 주식회사 분산처리를 이용한 동영상 레이블 방법 및 그 장치
JP2004274171A (ja) * 2003-03-05 2004-09-30 Nec Corp オーサリング機能付き信号処理装置及びオーサリングを含む信号処理方法
KR100464075B1 (ko) * 2001-12-28 2004-12-30 엘지전자 주식회사 비디오 하이라이트 자동 생성 방법 및 장치
CN1309250C (zh) * 2001-01-19 2007-04-04 开放电视公司 提供多透视画面即时重放的系统和方法
JP2008242812A (ja) * 2007-03-27 2008-10-09 Casio Comput Co Ltd 画像再生装置及びプログラム
JP2009218900A (ja) * 2008-03-11 2009-09-24 Casio Comput Co Ltd 撮像装置、動画記録再生方法、および、プログラム
JP2010154131A (ja) * 2008-12-24 2010-07-08 Toshiba Corp オーサリング装置およびオーサリング方法
JP2010530702A (ja) * 2007-06-19 2010-09-09 韓國電子通信研究院 ステレオスコピックデータの保存および再生のためのメタデータ構造、およびこれを用いるステレオスコピックコンテンツファイルの保存方法
US8000558B2 (en) 2006-03-27 2011-08-16 Sanyo Electric Co., Ltd. Thumbnail generating apparatus and image shooting apparatus
JP2012165240A (ja) * 2011-02-08 2012-08-30 Sony Corp 動画像処理装置、動画像処理方法、及びプログラム
US8411735B2 (en) 2006-02-17 2013-04-02 Sony Corporation Data processing apparatus, data processing method, and program
US8934550B2 (en) 2006-02-17 2015-01-13 Sony Corporation Data processing apparatus, data processing method, and program for processing image data of a moving image
US11989943B2 (en) 2020-12-28 2024-05-21 Rakuten Group, Inc. Image frame extraction apparatus and image frame extraction method

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7130472B2 (en) * 2002-01-21 2006-10-31 Canon Kabushiki Kaisha Image distribution apparatus, communication terminal apparatus, and control method thereof
JP2004266507A (ja) * 2003-02-28 2004-09-24 Toshiba Corp データ再生装置及び再生出力制御方法
JP2009503981A (ja) * 2005-07-27 2009-01-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マルチメディアマテリアルの即時的なレビューを提供するための方法及び装置
JP4241709B2 (ja) * 2005-10-11 2009-03-18 ソニー株式会社 画像処理装置
JP2012023652A (ja) * 2010-07-16 2012-02-02 Sony Corp 画像処理装置と画像処理方法
JP2017204753A (ja) * 2016-05-11 2017-11-16 富士通株式会社 フレーム抽出方法、動画再生制御方法、プログラム、フレーム抽出装置及び動画再生制御装置
JP7024239B2 (ja) * 2017-07-25 2022-02-24 オムロン株式会社 画像処理システム、画像処理装置および画像処理プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0816610A (ja) * 1994-06-27 1996-01-19 Hitachi Ltd 動画検索システムおよび動画検索データ抽出方法
JPH08212231A (ja) * 1995-02-02 1996-08-20 Hitachi Ltd 字幕検出方法および動画像の代表画像抽出装置
JPH10224736A (ja) * 1997-02-05 1998-08-21 Toshiba Corp 動画像インデックス生成方法および生成装置
JPH1139325A (ja) * 1997-07-22 1999-02-12 Matsushita Electric Ind Co Ltd 類似検索方法及び類似検索システム
JPH11136637A (ja) * 1997-10-24 1999-05-21 Matsushita Electric Ind Co Ltd 代表画像生成装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4698664A (en) * 1985-03-04 1987-10-06 Apert-Herzog Corporation Audio-visual monitoring system
US5164839A (en) * 1988-12-27 1992-11-17 Explore Technology, Inc. Method for handling audio/video source information
JP2863818B2 (ja) 1990-08-31 1999-03-03 工業技術院長 動画像の変化点検出方法
JPH06253255A (ja) 1993-02-25 1994-09-09 Toshiba Corp 映像インデックス表示装置
US5613032A (en) * 1994-09-02 1997-03-18 Bell Communications Research, Inc. System and method for recording, playing back and searching multimedia events wherein video, audio and text can be searched and retrieved
JP3823333B2 (ja) 1995-02-21 2006-09-20 株式会社日立製作所 動画像の変化点検出方法、動画像の変化点検出装置、動画像の変化点検出システム
CN1086498C (zh) * 1995-02-22 2002-06-19 株式会社东芝 信息记录方法,信息重放方法以及信息重放装置
JP3131560B2 (ja) 1996-02-26 2001-02-05 沖電気工業株式会社 動画像処理システムにおける動画像情報検出装置
US6157771A (en) * 1996-11-15 2000-12-05 Futuretel, Inc. Method and apparatus for seeking within audiovisual files
US6625383B1 (en) * 1997-07-11 2003-09-23 Mitsubishi Denki Kabushiki Kaisha Moving picture collection and event detection apparatus
US6567980B1 (en) * 1997-08-14 2003-05-20 Virage, Inc. Video cataloger system with hyperlinked output
KR100636910B1 (ko) * 1998-07-28 2007-01-31 엘지전자 주식회사 동영상검색시스템
US6504990B1 (en) * 1998-11-12 2003-01-07 Max Abecassis Randomly and continuously playing fragments of a video segment
JP4227241B2 (ja) * 1999-04-13 2009-02-18 キヤノン株式会社 画像処理装置及び方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0816610A (ja) * 1994-06-27 1996-01-19 Hitachi Ltd 動画検索システムおよび動画検索データ抽出方法
JPH08212231A (ja) * 1995-02-02 1996-08-20 Hitachi Ltd 字幕検出方法および動画像の代表画像抽出装置
JPH10224736A (ja) * 1997-02-05 1998-08-21 Toshiba Corp 動画像インデックス生成方法および生成装置
JPH1139325A (ja) * 1997-07-22 1999-02-12 Matsushita Electric Ind Co Ltd 類似検索方法及び類似検索システム
JPH11136637A (ja) * 1997-10-24 1999-05-21 Matsushita Electric Ind Co Ltd 代表画像生成装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1309250C (zh) * 2001-01-19 2007-04-04 开放电视公司 提供多透视画面即时重放的系统和方法
KR100396580B1 (ko) * 2001-07-16 2003-09-02 삼성에스디에스 주식회사 분산처리를 이용한 동영상 레이블 방법 및 그 장치
KR100464075B1 (ko) * 2001-12-28 2004-12-30 엘지전자 주식회사 비디오 하이라이트 자동 생성 방법 및 장치
KR20030067133A (ko) * 2002-02-07 2003-08-14 (주)지토 동영상의 자동분할 기술을 응용한 지능형 디지털 영상녹화기 시스템
JP2004274171A (ja) * 2003-03-05 2004-09-30 Nec Corp オーサリング機能付き信号処理装置及びオーサリングを含む信号処理方法
US8934550B2 (en) 2006-02-17 2015-01-13 Sony Corporation Data processing apparatus, data processing method, and program for processing image data of a moving image
US8411735B2 (en) 2006-02-17 2013-04-02 Sony Corporation Data processing apparatus, data processing method, and program
US8000558B2 (en) 2006-03-27 2011-08-16 Sanyo Electric Co., Ltd. Thumbnail generating apparatus and image shooting apparatus
JP2008242812A (ja) * 2007-03-27 2008-10-09 Casio Comput Co Ltd 画像再生装置及びプログラム
JP2010530702A (ja) * 2007-06-19 2010-09-09 韓國電子通信研究院 ステレオスコピックデータの保存および再生のためのメタデータ構造、およびこれを用いるステレオスコピックコンテンツファイルの保存方法
JP2009218900A (ja) * 2008-03-11 2009-09-24 Casio Comput Co Ltd 撮像装置、動画記録再生方法、および、プログラム
JP2010154131A (ja) * 2008-12-24 2010-07-08 Toshiba Corp オーサリング装置およびオーサリング方法
US8184945B2 (en) 2008-12-24 2012-05-22 Kabushiki Kaisha Toshiba Authoring device and authoring method
JP2012165240A (ja) * 2011-02-08 2012-08-30 Sony Corp 動画像処理装置、動画像処理方法、及びプログラム
US11989943B2 (en) 2020-12-28 2024-05-21 Rakuten Group, Inc. Image frame extraction apparatus and image frame extraction method

Also Published As

Publication number Publication date
US6925245B1 (en) 2005-08-02

Similar Documents

Publication Publication Date Title
JP2000350156A (ja) 動画像情報の記憶方法及びこれを記録した記録媒体
US6683649B1 (en) Method and apparatus for creating a multimedia presentation from heterogeneous media objects in a digital imaging device
US6157744A (en) Method and apparatus for detecting a point of change in a moving image
US6317141B1 (en) Method and apparatus for editing heterogeneous media objects in a digital imaging device
EP1971134B1 (en) Information processing apparatus, imaging apparatus, image display control method and computer program
US6487360B1 (en) Method, apparatus, and computer program product for editing moving image and displaying selected groups of representative images of cuts of the moving image such that representative images having a predetermined feature can be distinguished from representative images not having the predetermined feature
JP4778231B2 (ja) ビデオシーケンスに対してインデックス付けするシステムおよび方法
US20130336641A1 (en) Electronic apparatus and image data management method
US7187846B2 (en) Recording apparatus, picture recording apparatus, and method therefor
KR20070090751A (ko) 화상 표시방법 및 동영상 재생장치
KR101440168B1 (ko) 개요 및 리포트를 이미 포함하는 시청각 도큐먼트의 새로운 개요를 생성하기 위한 방법 및 상기 방법을 구현할 수 있는 수신기
US20120026380A1 (en) Image recording/reproduction apparatus, index displaying method by image recording/reproduction apparatus, and computer program
JP2000350165A (ja) 動画像記録再生装置
US8989555B2 (en) Information processor
JP4154012B2 (ja) 画像表示方法を実現するためのプログラムを記録した記録媒体及び画像合成装置
JP2005033276A (ja) 画像再生システム及び画像再生プログラム、並びに画像再生方法
US20040109673A1 (en) Recording and reproducing apparatus and method
JP2006101076A (ja) 動画編集方法、動画編集装置及びプログラム
JPH0779404A (ja) ビデオの代表画像一覧作成方法および装置
JP4667356B2 (ja) 映像表示装置及びその制御方法、プログラム、記録媒体
JPH09284698A (ja) 映像のダイジェスト作成装置および方法
JP2011193386A (ja) 電子機器及び画像処理方法
JPH11239322A (ja) ビデオブラウジング／ビューイングシステム
CN101388989B (zh) 记录设备和方法以及记录介质
KR20020007178A (ko) 영상 신호 기록 재생 장치, 영상 신호 기록 재생 방법, 및기록 매체

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051125

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060323

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060412

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060427

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20060630