JPH06295565A

JPH06295565A - 画像処理方法

Info

Publication number: JPH06295565A
Application number: JP5079280A
Authority: JP
Inventors: Eriko Koda; 恵理子幸田; Yumiko Sugita; 由美子杉田; Shinji Kimura; 信二木村; Shoji Nakamura; 昭次中村; Masanori Honda; 政則本田
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1993-04-06
Filing date: 1993-04-06
Publication date: 1994-10-21

Abstract

(57)【要約】【目的】ビデオテープの編集作業やプラントの監視シ
ステムなどで利用可能な、画像データの検索作業を、多
量のランダムアクセス可能なメモリや高度な画像処理を
必要とせずに実行可能な画像処理方法を提供すること。【構成】第１の記憶媒体に格納された画像データを一
定の間隔で間引いて得た間引き画像データと、該間引き
画像データの前記第１の記憶媒体上の位置情報とをラン
ダムアクセス可能な第２の記憶媒体に格納し、該第２の
記憶媒体上の前記間引き画像データとその位置情報から
前記第１の記憶媒体上の画像データを検索することを特
徴とする画像処理方法。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、情報処理装置上で、ビ
デオテープなどに格納された動画像データから必要なビ
デオ画像(ビデオテープ上の画像)を検索し編集するビデ
オ編集に好適な画像処理方法に関し、特に、ビデオ画像
を一定間隔で間引いてディジタル化した画像を二次記憶
に格納した画像データを利用して、検索したい画像デー
タの位置を決定することを特徴とする画像処理方法に関
する。

【０００２】

【従来の技術】従来、ビデオ画像から編集部分を検索す
る際には、ビデオテープを始めからサーチして、必要な
場面の特定を行う。この方法では、ビデオテープがラン
ダムアクセス不可能なため、早送りや巻き戻しを行わな
ければならず、検索対象となる部分を発見するために時
間がかかるという欠点があった。これに対しては、ビデ
オ画像をハードディスクのようなランダムアクセス可能
な記憶媒体に格納し、必要な場面の検出を行うことも考
えられるが、この場合には、すべての画像を格納するた
めに多くの記憶媒体を必要とし、また、その記憶媒体が
ビデオテープなどより高価であるという問題点があっ
た。上述の問題点を解決する方法としては、例えば、特
開平04-111181号「動画像の変化点検出方法」公報に開示
されている方法がある。この方法は、動画像の各フレー
ムにおいてカラーヒストグラムを含む特徴量を計算し、
直前のフレームとの相関関係を求めて、それと過去のフ
レームの相関関係とを比較して変化率を求めることによ
り、変化率の大きい所を場面の変わり目として検出する
方法である。この方法によれば、場面が変わるごとに画
像データを抽出でき、その静止画を利用して、場面ごと
にビデオ画像の頭出しを行うことが可能になる。

【０００３】

【発明が解決しようとする課題】上記従来技術は、場面
の変わり目を自動的に検出して画像データの頭出しに用
いる方式であるため、画面が大きく変化したときでなけ
れば変わり目として検出されないので、場面の変化があ
まりない動画像データから頭出しに利用するための画像
を検出することは難しい。また、この処理方式は、変化
点抽出のための高度な画像処理を必要とする。従って、
頭出しのために必要なフレームを決定する処理に時間が
かかるという問題を有するものである。更に、この処理
方式では、同じ対象物を終日監視し続けるような監視シ
ステムにおいて、画像データのわずかな変化を検出する
ことが必要であるような場合には、不向きであるという
問題を有するものである。本発明は上記事情に鑑みてな
されたもので、その目的とするところは、従来の技術に
おける上述の如き問題を解消し、ビデオテープの編集作
業やプラントの監視システムなどで利用可能な、画像デ
ータの検索作業を、多量のランダムアクセス可能なメモ
リや高度な画像処理を必要とせずに実行可能な画像処理
方法を提供することにある。

【０００４】

【課題を解決するための手段】本発明の上記目的は、第
１の記憶媒体に格納された画像データを一定の間隔で間
引いて得た間引き画像データと、該間引き画像データの
前記第１の記憶媒体上の位置情報とをランダムアクセス
可能な第２の記憶媒体に格納し、該第２の記憶媒体上の
前記間引き画像データとその位置情報から前記第１の記
憶媒体上の画像データを検索することを特徴とする画像
処理方法によって達成される。

【０００５】

【作用】本発明に係る画像処理方法においては、ビデオ
テープ等の記憶媒体上の画像データを一定間隔で間引い
て、もとの画像データとの対応付けを行いつつランダム
アクセス可能な二次記憶にディジタル画像として格納す
る。そして、この二次記憶上のディジタル画像をビデオ
テープ上での必要部分を決定する際に使用するようにす
る。なお、必要な画像データの選択については、オペレ
ータの判断を待つものとする。本発明に係る画像処理方
法においては、すべての画像データをランダムアクセス
可能な二次記憶に格納するわけではないために膨大なメ
モリを必要とせず、また、特定の画像データ検出のため
にビデオテープを始めから順番にサーチする手間が無く
なり、検出作業時間の短縮を図ることができる。

【０００６】

【実施例】以下、本発明の実施例を図面に基づいて詳細
に説明する。図１は、本発明の一実施例に係るビデオテ
ープ編集装置のハードウェア構成を示すブロック図であ
る。図において、１１は各装置を制御するためのプロセ
ッサであり、プログラムメモリ２０に格納されたプログ
ラムにより動作する。１２，１３はアナログのビデオ画
像を再生，録画するためのビデオ装置で、プロセッサ１
１から早送り，頭出しなどの制御を受ける。１４はビデ
オ画像をアナログ／ディジタル変換するＡ／Ｄコンバー
タであり、ビデオ装置(１)１２から入力された画像を一
定間隔で間引いてディジタル化し、フレームメモリ１５
に格納する。１６はフレームメモリ１５内のディジタル
画像をビデオ装置(１)１２内のビデオテープ上の画像デ
ータと対応付けて格納する二次記憶である。これはラン
ダムアクセス可能なものであり、本実施例ではハードデ
ィスクを用いている。１７はフレームメモリ１５を介し
てのディジタル画像またはビデオ装置(１)１２からのビ
デオ画像を表示する表示装置である。また、１８，１９
はビデオテープ上の画像を間引く時間間隔の入力や表示
装置１７上に表示された静止画像の中から必要なものを
指定するために用いられるポインティング装置と入力装
置であり、ここではそれぞれ、マウスとキーボードを用
いている。

【０００７】図２は、本実施例におけるビデオテープ編
集の処理手順の概要を示したフローチャートである。ス
テップ21では、ビデオ装置(１)１２内のビデオテープに
画像が録画されている時間Ａと、そのビデオ画像をディ
ジタルの静止画として二次記憶１６に格納するときに間
引く時間間隔Ｂと、静止画を格納するときのビデオ画像
の大きさＣと、その静止画を格納する記憶媒体Ｄを入力
装置１９から入力し、指定する。そして、ステップ22
で、上述のステップ21で指定したデータ通りに二次記憶
１６に静止画が格納できるか否かを知るため、残り容量
をチェックする。ここでは、次の式が成り立てばメモリ
容量は足りているものとする。二次記憶１６の残り容量＞(録画時間Ａ/時間間隔Ｂ)×
静止画の大きさＣ×一画素に必要なビット数この式が成り立ち、二次記憶１６にディジタル化した静
止画像が格納可能であると確認されたら、ステップ23
で、ビデオ装置(１)１２内のビデオテープに録画されて
いるアナログ信号を、ステップ21で指定したビデオテー
プ録画時間Ａのうち間隔Ｂごとに間引いた画像をＡ／Ｄ
コンバータ１４でディジタル化し、フレームメモリ１５
を介して二次記憶１６に順次格納する。

【０００８】上述の処理が完了したら、ステップ24およ
びステップ25で、入力装置１９から編集する画像を探す
ために検索するデータを入力し、それに従って二次記憶
１６内に格納された静止画像を表示する。そして、編集
を開始する時間と終了する時間を、ポインティング装置
１８と入力装置１９により順次指定し、メモリ２０内に
格納する。編集部分の指定がすべて終了したら、ステッ
プ26で、指定したデータを用い、ビデオ装置(１)１２内
にあるビデオテープを開始時間に頭出しし、ビデオ装置
(２)１３のテープに録画し、終了時間になったらビデオ
装置(２)１３を一時停止し、ビデオ装置(１)１２で次の
開始時間の頭出しを行う。これをメモリ２０内に格納さ
れた録画開始時間と終了時間のデータが無くなるまで行
い、ビデオテープの編集を行う。図３は、ステップ23の
処理を詳しく説明したのもので、ビデオテープ上のアナ
ログ画像をディジタル画像に変換し、二次記憶に格納す
る動作のフローチャートである。ステップ31で、ビデオ
装置(１)１２に入っているビデオテープの録画部分の頭
出しを行う。そのとき、メモリ２０内に設定したビデオ
テープ用カウンタを初期化する。また、二次記憶に静止
画を格納するためのヘッダ情報として、ビデオテープの
録画時間Ａと間引く時間間隔Ｂと一画面の静止画を格納
するのに必要なメモリ容量を格納する。そして、ステッ
プ32の処理で、Ａ／Ｄコンバータ１４を用い始めのフレ
ームをディジタル化し、フレームメモリ１５に格納す
る。

【０００９】次に、ステップ33では、時間間隔Ｂだけビ
デオテープを進める。その間に、ステップ34で、フレー
ムメモリ１５から二次記憶１６に静止画を格納する。ス
テップ33，ステップ34の処理が終ったら、ステップ35
で、ビデオテープ用カウンタを時間間隔Ｂだけカウント
アップする。ステップ36で、ビデオテープ上の全録画時
間であるＡとビデオテープ用カウンタの値を比較し、Ａ
のほうが大きかった場合には、ステップ32に戻る。この
処理をビデオテープの録画時間Ａが終了するまで繰り返
す。図４は、二次記憶１６内に静止画を格納するときの
データ構造の一例を示す図である。図において、４１は
二次記憶１６内の静止画の格納場所４６を特定するため
のヘッダであり、４２，４３はステップ21で指定された
全録画時間Ａと時間間隔Ｂである。４４は、ステップ21
で指定された静止画を格納する大きさＣに１ドットあた
りのディジタル画像に必要なビット数を掛けたものであ
る。また、ステップ23でディジタル変換された静止画像
が、ポインタ４５が指している場所から順番に格納場所
４６に格納されている。ここで、１フレームあたりの静
止画が必要とするメモリ量は一定なので、ビデオテープ
開始時間からの相対値がわかれば、ヘッダ４１の情報か
ら格納場所４６に格納された静止画を一意に決定するこ
とができる。

【００１０】図５は、ビデオテープの編集を開始する時
間と終了する時間を指定する画面の一例を示す図であ
り、表示装置１７に表示された状況を示している。これ
は、ステップ24，ステップ25の処理を詳しく説明したも
のである。図において、５１は画面の表示例であり、入
力エリア５２に表示するビデオ画像の時間帯を、また、
入力エリア５３に表示する静止画の間隔を、それぞれ、
ポインティング装置１８と入力装置１９を用いて入力す
る。この入力結果に基づいて、表示エリア５４に指定さ
れた静止画を二次記憶１６から読み込み６画面分の画像
を表示する。次に、マウスカーソル５５で、ポインティ
ング装置１８を用い、上述の表示エリア５４に表示され
た６面分の画像の中から、更に細かく見たい時間帯の静
止画を指示することにより、表示例５８に示す画面を表
示する。この画面で前述の動作と同様の操作を繰り返し
行い、更に細かい時間間隔で静止画を表示させる。上述
の入力エリア５３で指定した間隔がステップ21で指定し
た間隔Ｂより細かい場合は、ビデオ装置(１)１２に入っ
ているビデオテープを巻き戻しまたは早送りし、その間
の動画を表示エリア５４に表示する。これらの操作を繰
り返し、必要な動画像の位置を確認し、録画開始時間ま
たは終了時間を決定し、入力エリア５６または５７に入
力装置１９とポインティング装置１８を用いて入力す
る。

【００１１】例えば、ステップ21でビデオテープの録画
時間Ａを３０分、静止画を格納する時間間隔Ｂを５秒と
指定した場合を考える。まず、入力エリア５２で、表示
したい時間帯を１５分から２０分、入力エリア５３で、
時間間隔を１分ごとと指定する(図５(ａ)参照)。これに
より、１５分から１分ごとに静止画を二次記憶１６から
呼出し、１５分，１６分，１７分，１８分，１９分，２
０分の６画面を順番に表示エリア５４に表示する。次
に、１６分の部分を更に詳しくみたいとすれば、１６分
の画像をポインティング装置１８で指定する。そして、
表示例５８の画面に切り替わったら、１６分２０秒から
４５秒の間を５秒ごとに表示するよう、入力エリア５
９，５１０に入力装置１９で指定を行う(図５(ｂ)参
照)。指定通りに５１１に表示されたら、その中から、
編集を行いたい画像付近である２５秒の静止画を５１２
でポインティング装置を使用し指定する。ここで、二次
記憶１６には５秒より細かい単位で静止画が格納されて
いないので、ビデオ装置(１)１２の動画を表示するため
１６分２５秒に頭出しを行う。そして、そこから５秒間
の動画を５１１に表示する。その中から、編集を開始し
たい時間を入力エリア５６に入力する。終了時間につい
ても、これと同じ処理を繰り返して入力エリア５７に入
力する。上述の操作を何度か繰り返し、すべての編集時
間の設定を行う。

【００１２】図６は、図５で指定した録画開始時間また
は終了時間に従い、ビデオ編集を行う処理手順を示した
フローチャートであり、図２中のステップ26を詳細に説
明したものである。ステップ61で、メモリ２０に格納さ
れた編集時間のインデックスの中から１番はじめの録画
開始時間を読み出す。そのデータに従い、ステップ62で
ビデオ装置(１)１２に入っているビデオテープの頭出し
を行う。それが終了したら、ステップ63で、編集後のビ
デオ画像を録画するテープの入ったビデオ装置(２)１３
を録画可能状態にし、ビデオ装置(１)１２を再生し、ダ
ビングを行う。ステップ64では、録画終了時間をメモリ
から読み出し、それとビデオ装置(１)１２のビデオテー
プの時間が等しくなったら、ビデオ装置(２)１３を一時
停止状態にする。上述のステップ62からステップ65の処
理を、メモリ２０内にある編集時間のデータが入ったイ
ンデックスが終了するまで行う。これにより、ステップ
25で指定したデータ通りに編集された動画像が、ビデオ
装置(２)１３内のビデオテープに録画される。以上の処
理により、本発明に係る画像処理方法を使用したビデオ
編集を実施することができる。

【００１３】前述の実施例では、ビデオ編集装置に本発
明を適用した例を示したが、次に、本発明を、ビデオカ
メラから得られた動画像をビデオ装置に記録するような
監視装置にも適用可能であることを示す。図７は、本発
明の他の実施例に係る監視システムのハードウェア構成
を示す図である。図において、記号１１，１２および１
４〜２０は先に示した実施例に用いたと同じ構成要素を
示している。なお、７１は撮影用のカメラである。図８
は、本実施例に係る監視システムの処理手順の概要を示
すフローチャートである。ステップ81では、監視用に録
画するビデオ画像を間引いてディジタル画像として格納
する時間間隔Ｂと、静止画として格納するときの大きさ
Ｃと、その静止画を格納する二次記憶Ｄを指定する。そ
して、ステップ82で、カメラ７１を動作させ、ビデオ装
置(１)１２を録画状態にし、対象物を監視したビデオ画
像を録画する。その間、時間間隔Ｂに従って、間引いた
ビデオ画像をＡ／Ｄコンバータ１４を使いディジタル画
像に変換し、フレームメモリ１５を介して二次記憶１６
に格納する。これを、監視したい時間帯あるいは終日繰
り返し行う。次に、録画されたビデオの参照を行う場合
は、ステップ83で、調査を行いたい期日と時間帯を指定
し、その間の静止画像を二次記憶１６から読み出し、表
示装置１７に表示する。

【００１４】ステップ84では、詳しく調査する時間帯の
静止画をポインティング装置１８または入力装置１９用
い指定し、指定した時間帯の動画をビデオ装置(１)１２
内のビデオテープから呼出し、表示装置１７に表示す
る。図９は、図８中のステップ82の処理を詳しく説明し
たもので、監視用カメラ７１から撮影された画像を、ビ
デオ装置１２内のテープに録画すると同時に、ステップ
81で指定されたデータに従い二次記憶１６にディジタル
画像として格納する処理を示したフローチャートであ
る。ステップ91で、監視用カメラ７１を動作させ、ビデ
オ装置(１)１２で録画する。そのとき、二次記憶１６
に、その日の期日と時間帯を静止画のヘッダ情報として
格納する。次に、ステップ92で、始めの１フレームをＡ
／Ｄコンバータ１４でディジタル画像に変換し、フレー
ムメモリ１５を通して二次記憶１６に格納する。この処
理が終ったら、ステップ93で、メモリ２０内に設定した
ビデオテープの録画時間を計るためのタイムカウンタを
リセットする。そして、ステップ94，ステップ95で、終
了時間になるまでカウンタがステップ81で指定した時間
間隔Ｂになるごとに、ステップ92，ステップ93の処理を
繰り返す。

【００１５】図１０は、ステップ82で二次記憶１６に格
納するビデオ画像のデータ構造の一例を示す図である。
図において、１０１はビデオ画像が録画された絶対時間
の年を、１０２は月を、１０３は日を、１０４は時間
を、１０５は分をそれぞれ示すテーブルである。そし
て、分を示すテーブル１０５には、ディジタル化された
静止画が格納される場所１０６を示すポインタが備えら
れている。静止画は、ステップ81で指定された時間間隔
Ｂごとに大きさＣで格納されており、各画像の使用する
データ量は一定である。よって、これらをたどることに
より、絶対時間を指定するとその時間の静止画像を呼び
出すことができる。図１１は、監視用ビデオテープ上の
調査する時間帯を設定するときの表示画面の一例であ
り、表示装置１７に表示される。これは、ステップ83，
ステップ84の処理を詳しく説明したものである。１１１
は最初の画面の表示例であり、入力エリア１１２に、入
力装置１９とポインティング装置１８を使って調査する
時間帯を絶対時間で指定する。また、入力エリア１１３
には、その時間帯の静止画をどれくらいの時間間隔で表
示するかを指定する。この値に従って、表示エリア１１
４に、二次記憶１６から読み込んだ静止画が６画面分表
示される。

【００１６】その中から詳しく見たい場面を、ポインテ
ィング装置１８を使って１１５で指定する。それに従っ
て、表示画面を１１１から１１６に切り替え、入力エリ
ア１１２および１１３で、新たに静止画を表示する時間
帯を設定する。この操作を繰り返し、必要な画像が録画
されている部分の確定を行う。動画を表示させたい場合
は、１１７でその部分をポインティング装置を用い指定
し、１１８で動画表示を選択する。そして、１１９の画
面に切り替わったら、その時間からどれくらいの間、動
画を表示させたいかを１２０で指定する。これらの指定
に従い、ビデオ装置１２のビデオテープ上に録画された
ビデオ画像の頭出しを行い、その位置から１２０で指定
された時間分だけ、動画を表示エリア１２１に表示す
る。例えば、１１２で「１９９２年１０月１５日１５：
３０」と指定した場合を考える。次に、１５時３０分か
ら２分間隔で表示すると指定すると、１５時３０分，３
２分，３４分，３６分，３８分，４０分の静止画が、二
次記憶１６からフレームメモリ１５に送られ、表示装置
１７に表示画面１１４のように表示される。ここで、必
要な場面がありそうな静止画が１５時３４分にあった
ら、そこをポインティング装置１８でクリックする。こ
れにより、表示画面が１１１から１１６に切り替わるの
で、１５分３４秒から３０秒間隔で静止画を表示するよ
う入力エリア１１３に設定する。

【００１７】この指定により、１５分３４秒から３０秒
ごとに６つの静止画が表示エリア１１５に表示される。
ここで、必要な動画像が１５分３４秒３０秒付近にある
ことが静止画より確認されたら、ポインティング装置１
８でそこを指定し、更に動画を表示するよう１１８で指
定する。次に、表示画面１１９で何分間表示させるかを
指定する画面が表示されるので、１０分間表示するよう
指定すると、ビデオ装置１２内のビデオテープを１９９
２年１０月１５日１５時３５秒に頭出しし、表示エリア
１２１に表示する。以後、再表示させたい場合は１２２
で再表示を、終了したい場合は終了を選択する。この処
理により、必要な部分の動画を表示装置１７に表示する
ことが可能となる。本実施例においては、以上の処理に
より、プラント監視などのような監視作業において、見
たい場面を特定する作業の効率化を図ることが可能にな
る。なお、上記各実施例は本発明の一例を示したもので
あり、本発明はこれに限定されるべきものではないこと
は言うまでもないことである。

【００１８】

【発明の効果】以上、詳細に説明した如く、本発明によ
れば、ビデオテープの編集作業やプラントの監視システ
ムなどで利用可能な、画像データの検索作業を、多量の
ランダムアクセス可能なメモリや高度な画像処理を必要
とせずに実行可能な画像処理方法を実現できるという顕
著な効果を奏するものである。

【図面の簡単な説明】

【図１】本発明の一実施例に係るビデオ編集装置のハー
ドウェア構成図である。

【図２】実施例の動作の概要を示すフローチャートであ
る。

【図３】図２に示したステップ23の詳細を示すフローチ
ャートである。

【図４】静止画を二次記憶に格納するときのデータ構造
である。

【図５】実施例に係るビデオ編集装置の制御画面の表示
例である。

【図６】実施例の動作を示すフローチャートである。

【図７】本発明の他の実施例に係る監視システムのハー
ドウェア構成図である。

【図８】実施例の操作手順のフローチャートである。

【図９】実施例の動作を示すフローチャートである。

【図１０】静止画を二次記憶に格納するときのデータ構
造である。

【図１１】実施例に係る監視システムの制御画面の例で
ある。

【符号の説明】

１１：プロセッサ、１２：ビデオ装置、１３：ビデオ装
置、１４：アナログ／ディジタルコンバータ、１５：フ
レームメモリ、１６：二次記憶装置、１７：表示装置、
１８：ポインティング装置、１９：入力装置、２０：メ
モリ、６１：カメラ。

フロントページの続き (72)発明者中村昭次神奈川県川崎市麻生区王禅寺1099番地株式会社日立製作所システム開発研究所内 (72)発明者本田政則神奈川県川崎市麻生区王禅寺1099番地株式会社日立製作所システム開発研究所内

Claims

【特許請求の範囲】

【請求項１】第１の記憶媒体に格納された画像データ
を一定の間隔で間引いて得た間引き画像データと、該間
引き画像データの前記第１の記憶媒体上の位置情報とを
ランダムアクセス可能な第２の記憶媒体に格納し、該第
２の記憶媒体上の前記間引き画像データとその位置情報
から前記第１の記憶媒体上の画像データを検索すること
を特徴とする画像処理方法。
【請求項２】前記間引き画像データを得るための画像
データの間引き間隔が、前記第２の記憶媒体の残記憶容
量と１画像を記憶するに要する記憶容量，前記第１の記
憶媒体中の全画像数に基づいて決定される時間間隔であ
ることを特徴とする請求項１記載の画像処理方法。
【請求項３】前記第１の記憶媒体が第１のビデオテー
プであり、請求項１または２記載の画像処理方法による
検索結果に基づいて、前記第１のビデオテープ中の必要
画像を第３の記憶媒体である第２のビデオテープに記憶
することを特徴とする画像処理方法。
【請求項４】画像入力装置から送られる画像データを
第１の記憶媒体に格納すると同時に、前記画像データを
一定の間隔で間引いて得た間引き画像データと、該間引
き画像データの前記第１の記憶媒体上の位置情報とをラ
ンダムアクセス可能な第２の記憶媒体に格納し、該第２
の記憶媒体上の前記間引き画像データとその位置情報か
ら前記第１の記憶媒体上の画像データを検索することを
特徴とする画像処理方法。
【請求項５】前記間引き画像データを得るための画像
データの間引き間隔が、前記第２の記憶媒体の残記憶容
量と１画像を記憶するに要する記憶容量，前記第１の記
憶媒体中の全画像数に基づいて決定される時間間隔であ
ることを特徴とする請求項４記載の画像処理方法。
【請求項６】前記画像入力装置がビデオカメラであ
り、また、前記第１の記憶媒体が第１のビデオテープで
あり、請求項４または５記載の画像処理方法による検索
結果に基づいて、前記第１のビデオテープ中の必要画像
を第３の記憶媒体である第２のビデオテープに記憶する
ことを特徴とする画像処理方法。