JPH0589176A - 画像検索装置 - Google Patents

Abstract

(57)【要約】 【目的】 検索の自動化を図り、多量の画像データの中
から目的に沿う画像データを自動的に検索することを可
能とすると共に、目的の画像に関連の高いキーワードと
された画像の洩れのない検索を可能とする。 【構成】 画像データに付加されるキーワードをその記
憶部４４に記憶すると共に、前記キーワード間の関連度
をその記憶部４４に記憶する。検索しようとするキーワ
ードを指定部４６で指定すると、キーワード検索部４８
は、記憶された関連度に基づき、指定キーワードと所定
の関連度を有するキーワードを、前記記憶されたキーワ
ードの中から選択する。指定キーワード及び選択キーワ
ードの付加された画像データを選択し、選択画像データ
を出力部５０の画面に表示する。又、画像データを出力
部５０の画面に表示するに際して、前記指定キーワード
と関連度の高い順に画像データを画面に表示することが
できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像検索装置に係り、
特に、限定された視聴者を対象とする映像作品、例えば
ビジネスニュース等のニュース番組やそのニュース番組
のパッケージソフトを製作する際に用いるのに好適な、
複数の画像データを蓄積し、その画像データの中から目
的に沿う画像データを検索する装置に関する。

【０００２】

【従来の技術】従来、ニュース番組等の映像の製作は、
放送業界等のマスメディアにおいて不特定多数の視聴者
を対象として配信することを目的に行われていた。

【０００３】放送業界では、通常、地上局又は放送衛星
を用いて前記映像番組を送出している。

【０００４】しかしながら、今日、限定された対象に対
する映像の配信の要請が高まり、通信衛星を利用してビ
ジネスニュース番組等のビジネス映像を配信する要請が
生じた。

【０００５】このビジネス映像は次のような特徴を有し
ている。

【０００６】即ち、このビジネス映像は、不特定多数の
視聴者を対象としたマスメディアではなく、通信衛星を
利用して特定の契約者のみに配信するものである。従っ
て、製作費の削減が必要となる。

【０００７】又、通信衛星による即時的な映像収集及び
配信が特徴であり、関連する資料映像の収集と送出ファ
イルの編集を即座に行う必要がある。従って、製作時間
の短縮化が重要となる。

【０００８】更に又、視聴者は限定されたビジネスマン
であり、問題解決のためのより専門的な情報の提供が要
請される。従って、新規な情報に関連した参考となるい
わゆる横の情報を集め、幅を持たせた情報提供が必要と
なる。

【０００９】前記のビシネス映像等の映像番組を製作す
るには、画像（静止画像、及び、動画像）のデータ、音
声のデータ等、多量且つ多種の映像資料が必要となる。

【００１０】なお、静止画像は、静止した各一枚の画像
をいい、その記録媒体には写真原稿がある。又、動画像
は、連続したこま（フレーム）を順次表示して画像に動
きを出したもので、その記録媒体にはビデオテープ、映
画フィルムがある。又、音声は、主に動画像の背景の音
があり、その記録媒体には動画像と同様のビデオテープ
又はオーディオ用テープがある。

【００１１】ここで、前記映像番組の製作に際しては、
蓄積された画像データの中から、映像製作の目的に沿う
データを選択する必要がある。

【００１２】選択の方法としては、画像データの内容を
説明した文章あるいはその画像データに関係が深い単語
（即ちキーワード）を集めた記述（例えばキーワードの
集合）を判断対象とし、これら文章あるいは記述を読ん
で当該画像データの内容を判断したり、又は、これら文
章あるいは記述の中に指定したキーワードがあるか否か
を調べ（キーワード検索）たりして、目的の画像を選択
する検索方法がある。

【００１３】

【発明が解決しようとする課題】しかしながら、前記従
来の検索方法では、次のような種々の欠点があり、多量
の画像データを自動的に、且つ、洩れのないように検索
することができないという問題点があった。

【００１４】即ち、前記画像データの内容を説明した文
章あるいはその画像データに関係が深いキーワードを集
めた記述を読んで選択を行う方法は、それら文章あるい
は記述を人間が読まなければならないため、自動化がで
きない。従って、この方法では、多量の画像データに対
する検索は困難である。

【００１５】又、指定したキーワードが前記文章又は前
記記述中にあるか否かを調べることにより、選択する方
法は、自動化が可能であるが、指定したキーワード以外
はどんなに関係が深くても無視されるため、関係が深い
にもかかわらず別のキーワードが目的の画像に付加され
ている場合には、検索に洩れが生じる。きめ細かな情報
提供を図るには、このようなキーワードの付加された画
像を選択する必要がある。

【００１６】よって、この方法においては、検索の洩れ
を防ぐため、関係が深い全てのキーワードを指定する必
要がある。

【００１７】前記の問題点は、前記のような特定の視聴
者を対象とした映像番組を製作する際の、製作費の削
減、製作時間の短縮化、及び幅広い情報の提供という要
請を実現する障害となっている。

【００１８】本発明は、前記従来の問題点を解消するべ
くなされたもので、多量の画像データの中から目的に沿
う画像データを自動的に検索することができると共に、
洩れのない検索を可能とする画像検索装置を提供するこ
とを課題とする。

【００１９】

【課題を解決するための手段】本発明は、複数の画像デ
ータを蓄積し、その画像データの中から目的に沿う画像
データを検索する装置であって、図１にその要旨を示す
ように画像データに付加されるキーワードを記憶するた
めの手段と、前記キーワード間の関連度を記憶するため
の手段と、検索しようとするキーワードを指定するため
の手段と、記憶された関連度に基づき、指定キーワード
と所定の関連度を有するキーワードを、前記記憶された
キーワードの中から選択するための手段と、指定キーワ
ード及び選択されたキーワードの付加された画像データ
を選択し、選択画像データを画面に表示するための手段
とを備えたことにより、前記課題を解決するものであ
る。

【００２０】又、本発明においては、前記画像データを
画面に表示するための手段を、画像データを前記指定キ
ーワードと関連度の高い順に画面に表示するものにでき
る。

【００２１】

【作用】画像データのキーワード検索において、洩れの
ない検索を行うためには、指定キーワードと共に指定キ
ーワードと所定の関係の深さ（関連度という）のあるキ
ーワードについて検索する必要がある。この検索により
一定範囲の関連性が有る画像を選択することができる。

【００２２】本発明は、このような着想に基づき創案さ
れたものである。

【００２３】本発明においては、画像検索装置におい
て、複数の画像データの中から目的に沿う画像データを
検索するに際し、画像データに付加されるキーワードを
記憶すると共に、キーワード間の関連度を記憶する。検
索時に検索しようとするキーワードが指定された場合、
前記記憶された関連度に基づき、指定キーワードと所定
の関連度を有するキーワードを、前記記憶されたキーワ
ードの中から選択する。指定キーワード及び選択された
キーワードの付加された画像データを選択し、前記画像
データを画面に表示する。

【００２４】本発明によれば、文章やキーワードの集め
られた記述を読んで内容を判断することがなく、キーワ
ードにより検索を行うことができるため、自動化ができ
る。従って、多量の画像データの検索を容易に行い得
る。

【００２５】又、指定したキーワードによる検索のみな
らず、指定キーワードと所定の関連度（例えば高い関連
度）を有する全てのキーワードによる検索を行う。従っ
て、指定キーワードと所定の関連度の全てのキーワード
を指定するという繁雑な処理を行う必要なく該関連度の
キーワードにより検索することができる。よって、検索
者が、検索分野等において指定キーワードとの関連度の
高いキーワードについての知識がない場合でも画像デー
タに選択洩れが生じない。

【００２６】なお、前記指定キーワードと選択キーワー
ドの付加された画像データを、前記指定キーワードと関
連度の高い順に表示すれば、関連度の高いものから順に
画像を見ることができるため、各画像のデータの関係を
考慮しつつ画像の選択を行うことができる。

【００２７】

【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。

【００２８】この実施例は、図１に示すようなキーワー
ドによる画像検索装置であり、図２に示すような構成の
資料映像データベースシステム中に構成される。

【００２９】図２に示すように、この資料映像データベ
ースシステムは、主にデータベース管理装置１０と、デ
ータベース入力・検索・利用端末装置１２とからなり、
静止画像データ、動画像データ、音声（自然音声）及び
音声（ナレーション音声）データ等を一体的に蓄積して
データベースとし、それら蓄積データの検索・利用がで
きるようにされたものである。

【００３０】なお、前記音声データにおいて自然音声デ
ータは動画像のデータの背景音等であり、ナレーション
音声データは、主に静止画像データを言葉により説明す
るナレーションのデータである。これら各音声データの
内容、及び、データベース内への蓄積の詳細は後述す
る。

【００３１】前記データベース管理装置１０は、データ
の蓄積・削除・修正とデータの検索・利用サーバの機能
を持つデータセンターである。なお、前記データベース
管理装置１０の行うデータの蓄積等の内容の詳細は後述
する。

【００３２】前記データベース入力・検索・利用端末装
置１２は、機能から見て４つの部分に分かれている。即
ち、動画像入力部１４、静止画像入力部１６、データベ
ース検索部１８、及び、データベース利用部２０であ
る。

【００３３】前記動画像入力部１４は、ビデオテープレ
コーダ（ＶＴＲ）テープやレーザーディスク（ＬＤ）等
の記憶媒体から後記ビデオ機器１４Ａを介して出力され
る動画像データを、所定の処理を施して前記データベー
ス管理装置１０に入力するためのものである。記録媒体
に動画像データと共に記録される自然音声データは、Ａ
ＤＰＣＭ（適応差分パルス符号）化して前記管理装置１
０に入力する。なお、前記動画像入力部１４における動
画像データの入力の詳細は後述する。

【００３４】前記静止画像入力部１６は、静止画像デー
タを取込むと共に、検索用キー（キーワード）をデータ
ベース管理装置１０に入力するためのものである。又、
画像データに併せて入力するナレーション等の音声デー
タを、表音コード（例えばローマ字表記によるコード）
化して入力する。なお、静止画像入力部１６の静止画像
データの入力の詳細は後述する。

【００３５】前記データベース検索部１８は、データベ
ース内の各データについて後述する検索画面による検索
やキーワードによる検索を行うためのものである。な
お、検索の詳細は後述する。

【００３６】前記データベース利用部２０は、検索した
画像データを、例えば映像番組製作用の素材として利用
するため出力等するものである。例えば静止画像又は動
画像の１こまの画像はビデオプリンタで出力したり、映
像機器の画面に表示したりする。又、検索された動画像
を画面で利用する場合に動画像データがデータベース管
理装置１０内に記録されていれば（主に短時間の動画像
の場合）、それを出力し、又、保管庫の映像記録媒体
（ビデオテープ等）に記録されていれば当該媒体を取り
寄せて当該媒体中データを出力して利用する。

【００３７】ここで、前記データベースシステムは、図
２に示すように、１つのデータベース管理装置１０に対
して、１つのデータベース入力・検索・利用端末装置１
２を設ける他、図３に示すように、１つのデータベース
管理装置１０に対して、前記端末装置１２を複数接続し
て、複数の前記端末装置１２から前記１つのデータベー
ス管理装置１０をアクセスして用いることができる。

【００３８】又、前記端末装置１２は、遠隔地に設置す
ることができる。

【００３９】又、データベース管理装置１０及びデータ
ベース入力・検索・利用端末装置１２間は、例えばデジ
タル転送ネットワークで接続される。但し、動画像デー
タのリアルタイム（即時）の転送が要求される場合、動
画像映像信号はアナログ転送とする。

【００４０】前記データベースシステムの詳細な構成を
図４に示す。

【００４１】図４に示すように、前記データベースシス
テムにおいて、データベース管理部１０は、検索用イン
デックスデータや後述する縮小画像（代表画像に相当、
詳細は後記する）を並べた検索画面のデータ等のデジタ
ルデータを主に格納するための、第１の記憶段１０Ａ
と、動画像又は静止画像のデータをアナログデータとし
て格納するためのビデオディスク１０Ｂと、データベー
ス管理部１０と複数のデータベース入力・検索・利用端
末装置１２とが接続されている場合に、いずれの端末装
置１２からディスク１０Ｂへアナログ画像データを入出
力するかを切換える端末切換器１０Ｃとを有する。

【００４２】なお、データベース管理部１０には、例え
ばファイルサーバの機能を有し、大きなデータ蓄積容量
を有するホストコンピュータを用いることができる。

【００４３】又、前記第１の記憶段１０Ａは、検索画
面、音声データ等の容量が小さく、高いアクセス速度が
要求されるデータを格納する機能を有する。

【００４４】又、前記記憶段１０Ａには、インデックス
データを格納する例えば磁気ディスク（例えば２ギガ
（Ｇ）バイトの容量のもの）装置や検索画面や音声デー
タを格納する光磁気ディスク（例えばディスク１枚当り
５９４メガ（Ｍ）バイトの容量のもの）を用いることが
できる。

【００４５】又、前記ビデオディスク１０Ｂには、ＮＴ
ＳＣコンポジット記録方式の追記型光ディスク装置（例
えば光ディスク１枚当り動画像４８分、静止画８７００
０枚記録できるもの）を用いることができる。これによ
り、アクセス速度が速く、記録密度が高くなる。

【００４６】前記データベース入力・検索・利用端末装
置１２においては、前記各画像入力部１４、１６と、デ
ータベース検索部１８及びデータベース利用部２０がほ
ぼ図４に示すような区分により構成されている。しかし
ながら、構成機器によっては、各部で共用されるものが
あるため、図４に示す区分は概略的な区分構成を示すも
のであり、必要に応じて、他の区分の機器の利用が行わ
れる。なお、このデータベース入力、検索、利用端末装
置１２には、本実施例の各機能を実行可能なワークステ
ーションを用いることができる。

【００４７】前記データベース入力・検索・利用端末装
置１２において、動画像入力部１４は、ＶＴＲやＬＤ等
からなるビデオ機器１４Ａと、当該ビデオ機器１４Ａの
運転、停止を制御して、ビデオ機器１４Ａ中の記録媒体
から動画像データを出力させ、あるいは当該記録媒体に
記録させるためのビデオ機器リモートコントローラ１４
Ｂと、前記ビデオ機器１４Ｃとの自然音声データの入出
力をＡＤＰＣＭ変換して行うための音声コンバータ１４
Ｃと、前記ビデオ機器１４Ａから出力される動画像デー
タ中の１フレーム画像を静止画として一旦記憶するため
の第１のフレームバッファ１４Ｄとを主に有する。

【００４８】又、動画像入力部１４は、画像を入力する
に際し、元の動画像の全てのこま（駒）毎、又は、一定
間隔のこま毎のフレームの画像を第１のフレームバッフ
ァ１４Ｄから取込み、後記画素密度変換器１６Ｃで画素
密度変換して画素の間引きを行い縮小画像を作成する機
能を有している。この縮小画像を後記動画的表示器１８
Ｃが検索画面上で順次連続的に表示させることにより、
動画的表示ができるようになっている。

【００４９】なお、縮小画像を作成するに際して第１の
フレームバッファ１４Ｄ上の静止画再生された画像を例
えば横７６８×縦４８０ドット、且つ、２４ビットフル
カラーのデジタル画像データとし、その後、当該画像デ
ータを間引いて例えば横１２８×縦９６ドット、且つ８
ビット限定色の縮小画像を作成することがきる。又、こ
の縮小画像のうち動画像の内容を最もよく表わすこま又
は任意のこまの画像の縮小画像を代表画像とし、これを
ビットマップディスプレイ１８Ｅ上の画面に縦、横枡目
状に並べる。なお、このように並べた画面を検索画面と
いう。又代表画像は、前記のように１こまの縮小画像か
ら作成するのは１例であり、その他、例えば、複数の画
像の和等をとり縮小して代表画像を作成することができ
る。

【００５０】前記静止画像入力部１６は、例えばビデオ
カメラやスチルカメラからなるビデオ機器１６Ｅと、前
記ビデオ機器１６Ｅから出力される静止画像データを一
旦記憶するための第２のフレームバッファ１６Ｆと、カ
ラー写真原稿等の平面的な静止画像媒体の情報をディジ
タルデータの形で入力するための、例えばフラットスキ
ャナからなるスキャナ１６Ｂと、入力された静止画像デ
ータを画素密度変換して画面上に表示できる形の、例え
ばＮＴＳＣ方式の画像データに変換する画素密度変換器
１６Ｃと、文字、数値、例えばキーワード、ナレーショ
ン音声の言葉（文字入力する）、映像関連情報の文字等
を入力するための例えばキーボードからなる数値文字入
力器１６Ｄと、例えばワードプロセッサからの文字、数
値、例えばキーワード、ナレーション音声の言葉、映像
関連情報の文字等を入力するためのデータ交換器１６Ａ
とを有する。前記縮小画像は、前記動画像のそれと同様
に検索画面に枡目状に並べる。

【００５１】又、前記第２のフレームバッファ１６Ｆ
は、前記第１のフレームバッファ１４Ｄと共通する、又
は、別のフレームバッファを用いることができる。

【００５２】前記データベース検索部１８は、前記ビッ
トマップディスプレイ１８Ｅ上の検索画面の各縮小画像
について、動画像か静止画像かの区別を表示させる区別
表示器１８Ａと、前記検索画面の縮小画像を静止画の状
態で検索画面上に表示させるための静止画表示器１８Ｂ
と、前記検索画面上で動画像の縮小画像を全こま又は一
定間隔のこま（こま落し）により動画的に表示させるた
めの動画表示器１８Ｃと、ビットマップディスプレイ１
８Ｅ上に前記映像関連情報の数値や文字を表示させるた
めの数値・文字表示器１８Ｄと、前記縮小画像の検索画
面上、関連情報等を表示するビットマップディスプレイ
１８Ｅと、前記検索画面上の縮小画像の選択を入力する
ための選択器１８Ｆと、記憶されたキーワードの中から
指定されたキーワードの所定の関連度を有するキーワー
ドを検索するためのキーワード検索部４８とを有する。

【００５３】前記区別表示器１８Ａは例えば動画像デー
タの代表画像を緑色の枠で囲み、静止画像データの代表
画像を赤色の枠で囲んで区別するようにできるものであ
る。

【００５４】又、選択器１８Ｆには前記数値文字入力器
１６Ｄと共通する又は別のキーボードを用いることがで
きる。又、マウスを用いることができる。

【００５５】前記データベース利用部２０には、データ
ベース管理部１０側から送られてきた画像のハードコピ
ーを取るためのビデオプリンタ２０Ａと、映像関連情報
をプリントアウトするためのドットプリンタ２０Ｂとが
設けられる。なお、データベース利用部２０には、図示
しないが、ナレーション音声を音声合成により発生する
音声合成器が設けられている。

【００５６】前記端末装置１２には、各処理プログラム
データの記録や、画像及び音声データのデータベース管
理部１０間との入力又は出力に際してのデータの記録を
行うための第２の記憶段２４が設けられている。

【００５７】ここで前記データベースシステムは、前記
の機能を有するため、データベースとして蓄積する画像
データ等及び記録媒体等が次のような構成になる。

【００５８】動画像データにおいて、比較的長時間の動
画像データの場合、そのデータを記録媒体に記録して保
管庫に保管すると共に、検索画面に表示する代表画像の
縮小画像を第１の記憶段１０Ａにデジタルデータの形で
記録しておき、検索の効率化、迅速化を図るようにして
いる。

【００５９】即ち、記録媒体からビデオ機器１４により
動画像を再生し、動画像の内容をよく表わしている画
像、あるいは任意の画像を代表画像としてフレームバッ
ファ１４Ｄにより抽出する。抽出した画像を、画面に枡
目状（例えば縦１０×横１０程度）に並べられるように
縮小した画像データ（検索画面を構成）を作り、第１の
記憶段１０Ａにファイルとしてデータベース管理装置１
０に記録する。又、元の動画像データの記録されている
記録媒体には、整理番号の付されたラベルを当該記録媒
体ケースに貼り保管する。なお、この検索画面、作成及
び検索の詳細な内容は後述する。

【００６０】又、比較的短時間の動画像データの場合、
ビデオ機器１４Ａで再生し、必要な部分を音声と共にビ
デオディスク１０Ｂへアナログ信号として記録する。こ
れにより高速な検索ができる。

【００６１】又、静止画像データにおいて、前記ビデオ
機器１６Ｅからのビデオ信号（アナログ信号）入力とス
キャナ１６Ｂからの静止画信号デジタル信号入力の双方
に対応して入力することができる。又、検索画面に表示
する代表画像の縮小画像を、第１の記憶段１０Ａにデジ
タルデータの形で記憶しておき、検索の効率化、迅速化
を図るようにしている。アナログ静止画像データについ
ては、ビデオディスク１０Ｂに記録すると共に、第２の
フレームバッファ１６Ｆにも記憶させ、画面上に枡目状
（例えば縦１０×横１０）に並べられるように縮小した
画像データ（検索画面）を作り、第１の記憶段１０Ａに
ファイルとしてデータベース管理装置１０に記憶する。
又、スキャナ１６Ｂ等から入力されたデジタル静止画像
データについては、画素密度変換器１６Ｃで画素密度変
換してＮＴＳＣ方式のデジタル画像データとし、そのデ
ータを第１の記憶段１０Ａに記録すると共に、アナログ
静止画像データと同じく、枡目状に並べられるように縮
小した画像データを作り、第１の記憶段１０Ａにファイ
ルとしてデータベース管理装置１０に記憶する。又、ス
キャナ１６Ｂ中等から入力されたデジタル静止画データ
をフレームバッファ１４Ｄに入力してアナログデータの
形とし、ビデオディスク１０Ｂに記録することができ
る。このように、静止画データをアナログデータの形で
ビデオディスク１０に記録すれば、デジタルデータに比
較してデータ量を削減でき、再生時間が短く、取扱いが
容易となる。

【００６２】音声データのうちナレーション音声データ
については、動画像や静止画像の内容を説明するナレー
ション原稿を、前記数値文字入力器１６Ｄ、又は、デー
タ交換器１６Ａを介して例えばワードプロセッサから文
字（文字コードデータ）入力する。又、当該文字コード
データを表音コードデータに変換して蓄積する。この表
音コードデータにより前記音声合成器でナレーション音
声の再生ができる。この場合、文字コードデータはテロ
ップの表示等に利用するため蓄積する。

【００６３】又、自然音声データについては、自然音声
データは、動画像データと共にビデオディスク１０Ｂに
記憶する。又、ビデオディスク１０Ｂに入力しない場合
で記録が必要な場合は、ＡＤＰＣＭ化して第１の記憶段
１０Ａにファイル化できる。

【００６４】その他、静止画像データ及び動画像データ
について、映像関連情報、即ち撮影者、撮影日等の管理
情報や映像のオリジナル・背景が明確になるような関連
する情報を、各項目最大２００文字程度入力し、検索時
に利用できるようにする。又、動画像データの場合、タ
イムコード等を自動的に記録し、迅速に呼び出せるよう
にする。

【００６５】又、文類・検索の便に供するため画像デー
タにキーワードを付加する。キーワードには画像データ
を直接表わす任意の単語からなるフリーキーワードや、
予め選択され独自の分類で分類されているキーワード中
から適切なものを選ぶようになっている統制キーワード
を選択し又はワードプロセッサ入力して画像データに付
加する。

【００６６】以上のように実施例のデータベースシステ
ムにおいては、静止画像データ、動画像データ、自然音
声データ及びナレーション音声データがデータベースと
して一体化して蓄積されている。

【００６７】図１は、本発明を実施した、キーワードに
よる画像検索装置である。

【００６８】図１の画像検索装置は、前記図２乃至図４
に示すデータベースシステム内に構成されるものであ
る。

【００６９】図１に示すように、このキーワードによる
画像検索装置は、主に、キーワード記憶部４０、キーワ
ード間の関連度入力部４２、キーワード間の関連度記憶
部４４、キーワード指定部４６、キーワード検索部４
８、及び、検索結果出力部５０を備える。

【００７０】このキーワードによる画像検索装置の各構
成部は、次のような機能を有し、又、前記図４に示すデ
ータベースシステム中の構成機器により次のように構成
される。

【００７１】前記キーワード記憶部４０は、前記フリー
キーワードや統制キーワード等の、画像に付加されたそ
の画像に関係が深い単語からなるキーワードを記憶する
ものである。なお、この記憶部４０は、図４に示す主に
第１の記憶段１０Ａで構成される。

【００７２】前記キーワード間の関連度入力部４２は、
キーワード間の関連度（関係の深さを示す度合）を入力
するものである。この関連度は、例えば後に詳述するよ
うにキーワード間の関係の深さで重み付けして定義する
ことができるものである。なお、この入力部は、主に、
前記数値文字入力器１６Ｄあるいはデータ交換器１６Ａ
を介してデータを入力し得るワードプロセッサ（図示省
略）で構成される。

【００７３】前記関連度記憶部４４は、この入力された
キーワード間の関連度を記憶するものである。この記憶
部は、主に、前記第１の記憶段１０Ａで構成される。

【００７４】前記キーワード指定部４６は、検索しよう
とするキーワードを指定するためのものである。このキ
ーワード指定部４６は、主に、前記数値文字入力器１６
Ｄあるいは前記データ交換器１６Ａと接続されるワード
プロセッサで構成される。

【００７５】前記キーワード検索部４８は、前記指定キ
ーワードに基づき、前記指定キーワードと所定の関連度
を有するキーワードを、前記記憶されたキーワードの中
から選択するものである。前記第２の記憶段２４に並設
されている中央処理部２５が相当する。

【００７６】前記検索結果出力部５０は、指定キーワー
ド及び選択されたキーワードに付加された画像データを
出力するものである。この出力画像データは、実施例で
は、検索画面による画像検索装置に入力される。

【００７７】ここで、前記キーワードは、種々の分野
（企業買収、研究開発等の分野）毎に、キーワード間の
関連度を予め与える。この関連度として、例えば図５の
（Ａ）に示すように、関連度を重み付けして０〜１まで
のデータを与える。この場合、関連度が０であればキー
ワード間に関係はない。又、関連度が１であれば、同義
語又は言換えのキーワードであることを意味する。図５
（Ａ）においてキーワードＡとキーワードＡ′は関連度
１であり、ＡとＡ′とは同義語と考えられる。例えば、
「ＯＳ」と「オペレーティングシステム」と「ＯＳ Ｏ
ＰＥＲＡＴＩＮＧＳＹＳＴＥＭ」とは同義語となる。
又、図５（Ａ）においてキーワードＡ及びＢの関連度は
０．８、キーワードＢ及びＣの関連度は０．６、キーワ
ードＢ及びＤの関連度は０．７となる。

【００７８】キーワード関連度の記憶の形式は、前記関
連度が１のキーワードをひとまとめとして、全て同一の
キーワードとして処理するべく、例えば図５（Ｂ）に示
すように、そのひとまとめのキーワード群にキーワード
コードの情報を付与し、このキーワードコードの付され
た一連のキーワードは全て同一のキーワードとして処理
する。従って、例えば図５の（Ｂ）において、Ｂと
Ｂ′、ＣとＣ′等はいずれも同一のキーワードとして処
理されるものである。

【００７９】キーワード間の関連度の情報は、図６の
（Ａ）に示すように、異なるキーワードコードで与えら
れたキーワード間の関連度の情報が記録される。

【００８０】図７は、前記キーワードによる検索装置の
行う検索手順を示すフローチャートである。

【００８１】図７に示すように、この手順においては、
まず、指定されたキーワードのキーワードコードを例え
ば前記図５の（Ｂ）に示すようなキーワードコード情報
から求める（ステップ２０１）。例えば、指定キーワー
ドがキーワードＣならば「００００３」となる。

【００８２】次いで、例えば前記図６の（Ａ）のキーワ
ード関連度の情報から、指定キーワードに関係があるキ
ーワードとその関連度を取出す（ステップ２０２）。例
えば指定キーワードのキーワードコードが「００００
３」（以下、キーワードコードは「」で囲む）ならば、
「０００５２」と「０００２１」とのキーワードコード
を有するキーワードが選択される。又、「００００３」
と「０００５２」との関連度は０．７であり、「０００
０３」と「０００２１」との関連度は０．６である。

【００８３】次いで、取出した関係があるキーワードの
各々に対し、キーワード関連度情報を更に使って、その
関連キーワードに関係があるキーワードとその関連度を
取出す（ステップ２０３）。例えば図６（Ａ）におい
て、「０００２１」のキーワードであれば、「０００３
３」のキーワードが該当し、「０００５２」のキーワー
ドであれば、「０００１８」のキーワードが該当する。

【００８４】この場合、元のキーワード「００００３」
に対する、この取出したキーワードの関連度は、当該キ
ーワードが取出されるまでの関連度を積算したものとす
る。例えば「０００３３」のキーワードならば、「００
００３」と「０００２１」との関連度が０．６、「００
０２１」と「０００３３」との関連度が０．２なので、
「００００３」と「０００３３」との関連度は、０．６
×０．２で０．１２となる。

【００８５】次いで、ステップ２０３で次々に関連する
として取出されたキーワードについて、元のキーワード
「００００３」に対する関連度が一定値以上か否かを判
断する（ステップ２０４）。

【００８６】判断の結果、当該関連度が一定値以上なら
ば、ステップ２０３に戻って、取出したキーワードに対
して、関連するキーワードを求める処理を再度行う。

【００８７】一方、前記関連度が一定値以下と判断され
たならば、その取出されたキーワードに対する処理を終
了する。そして、ステップ２０５に進む。

【００８８】次いで、取出した全ての関連キーワードを
基のキーワード（例えば「００００３」）に対する関連
度順に並べ変え、その後、例えば前記図５（Ｂ）に示す
キーワードとキーワードコードとの対応を使ってキーワ
ードコードから実際のキーワードを取出す（ステップ２
０５）。このように取出した指定キーワードに対する関
連度の高いキーワード、及び、その関連度例を図６
（Ｂ）に示す。

【００８９】次いで、指定キーワードでまず画像を検索
し、次に、関連度順に関連キーワードで画像検索を行う
（ステップ２０６）。図６（Ｂ）のキーワードＷ、Ｘ、
Ｙ、ＺであればＺ、Ｘ、Ｙ、Ｗの順に検索を行う。

【００９０】以上のようにして、キーワードによる画像
検索は終了する。なお、キーワードにより呼出した画像
自体の画面による検索は、後に詳述するように、検索画
面による検索装置で行う。

【００９１】次に、この検索画面による検索装置につい
て説明する。

【００９２】図８は、前記データベースシステムを、画
像データより作成した検索画面で画像の検索を行う検索
画面上による画像検索装置の構成である。

【００９３】図８において画像入力機能には、図２の動
画像入力部１４、データベース管理装置１０が該当し、
画像検索機能は、データベース管理装置１０、データベ
ース検索部１８が該当する。

【００９４】即ち、前記画像入力機能は各こま再生部３
０と、縮小画面作成部３２と、縮小画面記憶部３４とか
らなる。

【００９５】各こま再生部３０は、動画像データの各こ
ま毎の画像を再生し、縮小画像からなる検索画面の作成
記録をするためのものであり、主に、ビデオ機器１４Ａ
及びフレームバッファ１４Ｄからなるものである。又、
縮小画像作成部３２は、検索画面に表示するための縮小
画像を作成するためのものであり、主に画素密度変換器
１６Ｃからなるものである。又、縮小画面記憶部３４は
作成縮小画像を記憶するためのものであり、主に第１の
記憶段１０Ａからなるものである。

【００９６】又、前記画像検索機能は、検索画面で検索
し、該画面中の画像を動画的表示させるためのものであ
り、主に前記記憶部３４と、縮小画像静止画的表示部１
８Ｂと、動画的表示部１８Ｃと、ビットマップディスプ
レイ１８Ｅと、選択手段１８Ｆからなる。これら表示部
１８Ｂ等の内容は前述したので省略する。

【００９７】前記検索画面は、ビットマップディスプレ
イ１８Ｅの表示画面を例えば１０×１０（又は８×１
０）程度に分割し、各分割画面に動画像データ及び静止
画像データのそれぞれの代表画像の縮小画像を順に並べ
て表示するものである。

【００９８】即ち、動画像データの場合、各こま又は一
定間隔のこま（例えば１０こま）毎に縮小画像を作成し
て蓄積し、それを連続的に表示すること（全てのこま、
又はこま落しによる動画的表示）で映像内容を把握でき
るようにする。この動画的表示の際に元の画像のタイム
コードをリアルタイムに表示するようにする。前記のよ
うに、こま落しによる動画的表示をすれば短時間で動画
像データの内容を把握できる。

【００９９】又、静止画像データの場合、その画像その
ものが代表画像となるため、静止画データの縮小画像を
検索画面に表示する。

【０１００】前記のこま落しによる動画的表示のための
縮小画像を作成する手順は、図９に示すようになる。

【０１０１】図９において、ステップ３０１〜３０３は
画像入力者の操作により行う。

【０１０２】まず、ビデオ機器１４Ａによりビデオテー
プ等の記録媒体を再生して動画像の最初と最後の部分を
捜し、そのタイムコードを記録する（ステップ３０
１）。

【０１０３】次いで、検索画面に動画的表示するための
縮小画像を作るこま間隔を決める（ステップ３０２）。

【０１０４】次いで、動画像の最初と最後の部分のタイ
ムコードと縮小画像を作るこま間隔を縮小画像作成部３
２に設定する（ステップ３０３）。

【０１０５】これから以降は、自動的に手順を進める。

【０１０６】即ち、記録媒体を最初のタイムコードの位
置で静止画再生（スチル）させる（ステップ３０４）。

【０１０７】次いで、静止画再生している画像をフレー
ムバッファ１４Ｄに入力して例えば横７６８×縦４８０
ドット（２４ビットのフルカラー画像）でデジタルデー
タ化し、その後、画素密度変換器１６Ｃおいて、例えば
横１２８×縦９６ドット（８ビットの限定色）に間引い
て縮小画像を作成する（ステップ３０５）。

【０１０８】次いで、作成した縮小画像を第１の記憶段
１０Ａに格納する（ステップ３０６）。

【０１０９】次いで、現在静止画再生している位置のこ
まに縮小画像を作るこま間隔を加えた位置のこまが、動
画像データの最後のこまの部分を越えているか否かを判
断する（ステップ３０７）。越えているならば、検索画
面表示用の縮小画像の作成は終了する（ステップ３０
８）。

【０１１０】一方、越えていないならば、記録媒体を縮
小画像を作るこま間隔分早送りして、その位置でスチル
させる（ステップ３０９）。

【０１１１】その後、ステップ３０５に戻って、縮小画
像の作成を再開する。

【０１１２】ところで、静止画像データの縮小画像は静
止画像データを画素密度変換器１６Ｃで画素を間引くこ
とにより作成する。作成縮小画像（これが代表画像とな
る）は、第１の記憶段１０Ａに記憶させる。

【０１１３】又、検索画面に表示する際に静止画像と動
画像の各縮小画像（各代表画像）を任意に並べることが
できる。この場合には、前記区別表示器１８Ａで動画
像、静止画像の識別表示をする。例えば動画像は緑のわ
くで囲み、静止画像は赤のわくで囲むようにをする。

【０１１４】次に、前記のような検索画面による検索を
説明する。

【０１１５】この検索においては、オペレータが分類項
目（文化、スポーツ、事件等）を指定すると、その分類
に含まれる各動画像データが選択される。次いで、その
各画像データの各代表画像の縮小画像が１０×１０程度
の枡目状に並べられた検索画面がビットマップディスプ
レイ１８Ｅの画面に表示される。

【０１１６】図１０は検索画面の表示例を示すものであ
る。

【０１１７】この場合、縮小画像が画面上に並び切れな
い場合には、画面を上方スクロール（スクロールアッ
プ）又は下方スクロール（スクロールダウン）、こま表
示、属性表示、検索終了の指示ができるようになってい
る。このスクロールアップの内容については、後に詳述
する。

【０１１８】図１１は、動画的表示をさせる代表画像を
選択する状態例を示すものである。

【０１１９】前記のように、表示された各縮小画像（代
表画像）の中から、なおその内容を良く知りたい場合に
は、図１１のように、動画的表示をさせようとする代表
画像をカーソルにより選択する。

【０１２０】このカーソルの選択で、図１２に示すよう
に当該選択した画像の位置に順次全てのこま又はこま落
しの縮小画像が連続的に表示され、動画的な表示が行わ
れる。この動画的表示により、動画像データがどのよう
な動きの被写体を写したものか容易に把握できる。な
お、動画的表示中にその画像をカーソルで選択すると動
画的表示が停止する。又、選択する代表画像は１つのみ
ならず複数の代表画像を選択し、その動画像データを動
画的に表示させることができる。

【０１２１】又、代表画像数が多いため、その画像の全
部が表示されていない場合、「スクロールアップ」とい
うアイコンをカーソルで選択すると、表示されている画
像全体が１列分上方に移動し、この移動によって空いた
画面下の横一列分に今まで表示されていなかった別の画
像が表示される。又、「スクロールダウン」というアイ
コンをカーソルで選択すると、表示されている画像全体
を１列分、下方に移動し、スクロールアップすることに
よって画面上から消えていた画像が再び表示される。ス
クロールアップ及びスクロールダウンの方向は図１３に
示すようになる。

【０１２２】又、「こま表示」というアイコンをカーソ
ルで選択し、その後、こま表示させたい代表画像をカー
ソルで選択すると、選択した代表の画像の動画的表示の
ため蓄積されている縮小画像各こまが読込まれ、その蓄
積された全ての縮小画像が画面左側から順番に並べて表
示される。表示の方向は、図１４に示すようになる。こ
のこま表示により、動画像データ中の被写体がどのよう
な動きをしているか、より詳しく知ることができる。な
お、縮小画像はその蓄積された全てを表示することの
他、適宜に間引いて表示することができる。

【０１２３】又、「属性表示」という部分をカーソルで
選択し、その後属性表示させたい代表画像をカーソルで
選択すると、代表画像に対応する元の動画像の保管場
所、撮影日、撮影者等の属性情報が画面上に表示され
る。

【０１２４】本データベースシステムにおいては、前記
のようなキーワードによる検索や検索画面上における縮
小画像による検索の他、次の検索が行える。

【０１２５】即ち、分類された分野毎による検索であ
る。この検索においては、画像をデータ分野別に分類
し、分野毎に取り出すようにする。分類は階層構造を持
ち、各項目を更に１０項目程度に細分化ができる。

【０１２６】又、管理情報による検索ができる。この検
索は、撮影者、撮影日等、映像の管理情報を使って検索
するものである。表示画面の検索は、範囲を指定するこ
とができる。

【０１２７】又、検索の組合せを行うことができる。

【０１２８】即ち、管理情報、フリーキーワード、統制
キーワード、分野別の各検索は、ＡＮＤ・ＯＲオペレー
タを入力できる他、お互いに組合せて用いることができ
る。

【０１２９】又、メタキャラクタを用いることができ
る。

【０１３０】メタキャラクタは、単語の一部を指定する
ことができ、当該メタキャラクタを検索キーに使うこと
により、キーワードの部分位置による広範囲な検索がで
きる。例えばメタキャラクタの指定がスキー○○○（○
○○は自由な文字）であれば例えばスキーウェア、スキ
ーブーツが該当する。

【０１３１】なお、検索のための候補となる画像をビデ
オプリンタ２０Ａでハードコピー出力したり、関連情報
をドットプリンタ２０Ｂで出力することができる。

【０１３２】前記のように、検索して得られた静止画像
データ、動画像データ、音声データ等は、ビデオディス
ク１０Ｂに蓄積されている動画像データは出力要求によ
り、データベース入力・検索・利用端末装置１２のビデ
オ機器１４Ａに送出することができる。この場合、音声
も含めて送ることができる。又、検索画面の元の動画像
データが保管庫中の記録媒体に記録されているものの場
合、ドットプリンタに出力されたテープ管理番号で保管
庫から当該動画像の記録媒体を引き出すことができる。
又、当該テープをビデオ機器１４Ａにセットする際に、
頭出しが行い得るようにすることができる。

【０１３３】又、静止画像を読み出してハードコピー出
力を取ることができる。この際、データベース管理部１
０側から送られてきた静止画像をビデオプリンタ２０Ａ
でカラーハードコピー出力することができる。関連する
ナレーションは音声合成器により、又、自然音声はＡＤ
ＰＣＭデコーダにより音声信号に再現され、出力され
る。

【０１３４】前記実施例においては、静止画像データの
検索と共に動画像データの検索が行えるため、従来各デ
ータ毎に重複して行っていた検索を一括して行うことが
でき、迅速な検索が可能である。

【０１３５】又、代表画像のみによる検索では、代表画
像以外のこま（フレーム）以外の内容の見落しの可能性
があるが、本実施例では、全こま又はこま落しによる動
画的表示をするためこのような見落しがなく、しかも、
動画像の動きを適格に把握することができる。

【０１３６】又、こま落し表示による検索では比較的短
時間で動画像の内容を把握できる。従って、従来、全画
像を再生するのに長時間を要していたが、大幅に時間の
短縮化が図れる。

【０１３７】なお、前記実施例においては、図２又は図
３の概略的に示すデータベースシステム、及び図４に示
す詳細構成のデータベースシステムを例示し、図１のキ
ーワードによる検索装置で本発明に係るキーワードによ
る画像検索システムを実施していた。

【０１３８】しかしながら、これは本発明の実施の態様
の一例であり、他の装置構成で本発明を実施することが
できる。

【０１３９】

【発明の効果】以上説明した通り、本発明によれば、複
数の画像データをキーワードにより検索できるため、検
索の自動化が図れ、多量の画像データの選択を好適に行
うことができる。又、目的の画像に所定の関連度の全て
のキーワードを指定する必要がなく、自動的に所定の範
囲の関連度のものを検索し得るため、検索者が検索する
分野についてあまり知らない場合でも、精度良く検索が
でき、検索の洩れが生じない。

【０１４０】従って、ビジネスニュース等の特定の契約
者のみに配信する映像番組を製作するに際して、製作費
の削減、製作時間の短縮、提供する参考資料の豊富化等
を図ることができる等の優れた効果が得られる。

【図面の簡単な説明】

【図１】図１は、本発明の実施例に係るキーワードによ
る検索装置の構成を示すブロック図である。

【図２】図２は、前記実施例に係るデータベースシステ
ムの全体的な構成を示すブロック図である。

【図３】図３は、前記データベースシステムの応用例を
示すブロック図である。

【図４】図４は、前記データベースシステムの詳細な構
成を示すブロック図である。

【図５】図５は、前記実施例のキーワードによる検索装
置で取扱うキーワードに関するキーワードコード及びキ
ーワード関連度の各データ内容例を示す線図である。

【図６】図６は、同じく、キーワード関連度の各データ
内容例を示す線図である。

【図７】図７は、前記実施例装置の検索手順を示すフロ
ーチャートである。

【図８】図８は、前記データベースシステムで構成され
る検索画面による検索装置の構成を示すブロック図であ
る。

【図９】図９は、前記検索画面検索装置の検索画面作成
手順を示す流れ図である。

【図１０】図１０は、前記作成された検索画面の一例を
示す平面図である。

【図１１】図１１は、前記検索画面上で動画表示された
部分をカーソルで選択する状態例を示す平面図である。

【図１２】図１２は、前記カーソルで選択された画面が
動画表示される状態例を示す平面図である。

【図１３】図１３は、前記検索画面のスクロールアップ
及びスクロールダウンの方向例を示す平面図である。

【図１４】図１４は、前記検索画面における各こま表示
の方向例を示す平面図である。

【符号の説明】

１０…データベース管理装置、 １０Ａ…第１の記憶段、 １０Ｂ…ビデオディスク、 １０Ｃ…端末切換器、 １２…データベース入力・検索・利用端末装置、 １４…動画像入力部、 １４Ａ…ビデオ機器、 １４Ｂ…ビデオ機器リモートコントローラ、 １４Ｃ…音声コンバータ、 １４Ｄ…第１のフレームバッファ、 １６…静止画像入力部、 １６Ａ…データ交換器、 １６Ｂ…スキャナ、 １６Ｃ…画素密度変換器、 １６Ｄ…数値文字入力器、 １６Ｅ…ビデオ機器、 １６Ｆ…第２のフレームバッファ、 １８…データベース検索部、 １８Ａ…識別表示器、 １８Ｂ…縮小画像の静止画的表示器、 １８Ｃ…縮小画像の動画的表示器、 １８Ｄ…数値、文字の表示器、 １８Ｅ…ビットマップディスプレイ、 １８Ｆ…ビットマップディスプレイ上の画像選択器、 ２０…データベース利用部、 ２０Ａ…ドットプリンタ、 ２０Ｂ…ビデオプリンタ、 ３０…各こま再生部、 ３２…縮小画像作成部、 ３４…縮小画像記憶部、 ４０…キーワード記憶部、 ４２…キーワード間の関連度入力部、 ４４…キーワード間の関連度記憶部、 ４６…キーワード指定部、 ４８…キーワード検索部、 ５０…検索結果出力部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 山田 康雄 東京都新宿区市谷加賀町一丁目１番１号 大日本印刷株式会社内

Claims (2)

【特許請求の範囲】
1. 【請求項１】複数の画像データを蓄積し、その画像デー
   タの中から目的に沿う画像データを検索する装置であっ
   て、 画像データに付加されるキーワードを記憶するための手
   段と、 前記キーワード間の関連度を記憶するための手段と、 検索しようとするキーワードを指定するための手段と、 記憶された関連度に基づき、指定キーワードと所定の関
   連度を有するキーワードを、前記記憶されたキーワード
   の中から選択するための手段と、 指定キーワード及び選択されたキーワードの付加された
   画像データを選択し、選択画像データを画面に表示する
   ための手段と、 を備えたことを特徴とする画像検索装置。
2. 【請求項２】請求項１において、 前記画像データを画面に表示するための手段が、画像デ
   ータを前記指定キーワードと関連度の高い順に画面に表
   示するものになっていることを特徴とする画像検索装
   置。