JPH08107492A - 被写体分類装置 - Google Patents

Abstract

(57)【要約】 【目的】 画像情報に含まれる様々な被写体を、動きに
応じて分類できる被写体分類装置を提供する。 【構成】 デジタル化された画像情報を入力して順次記
憶する第一の記憶手段１０１と、第一の記憶手段１０１
によって記憶された画像情報において、第一の状態を示
す第一の画像と、第一の画像と時間的に異なる第二の状
態を示す第二の画像を比較して、二画像のうちの一方の
画像内の各画素について他方の画像内の対応する画素を
求め、画像間での各画素の移動量と移動方向を求める演
算手段１７０と、演算手段１７０の結果に基づいて移動
量と移動方向の値が同一の画素毎に分類する分類手段１
７１とで被写体分類装置を構成した。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画として撮影された
画像情報より、任意の被写体を分類する被写体分類装置
に関する。

【０００２】

【従来の技術】画像処理の１つとして、複数の被写体を
含む場面が動画で撮影された画像情報の中から、特定の
動きをする被写体の画像のみを取り出したい場合があ
る。このような場合、従来の方法ではまず動画による画
像情報（例えばビデオ信号）を再生して、一時停止等の
機能を用いて１画面を表示する。そして、オペレータが
表示された画面内の画像の中から取り出そうとする被写
体を指定して、この部分の画像データをメモリなどに取
り込み、その内容を別の画面に表示していた。

【０００３】例えば、ビデオ信号から得られた１画面に
図３のように被写体Ａと被写体Ｂの２つの被写体が表示
された場合、オペレータは被写体Ａ、Ｂのうち、特定の
動きをしている被写体が被写体Ａだと分かれば、この被
写体Ａが表示されている領域を指定する。そして、その
画像データを既知の方法を用いて取り込み、その被写体
だけをＣＲＴ等の表示手段に表示していた。

【０００４】

【発明が解決しようとする課題】しかし、従来の方法で
は、オペレータが表示された静止画像を見ながら特定の
被写体を指示しなければならず、作業が煩雑であった。
また、図３に示すように特定の動きをする被写体が、周
りの被写体から容易に区別できるときは、その特定の被
写体を指示することは容易であるが、実際は様々な動き
をしている被写体が共存している画像を扱うことが多
い。そのため、似たような動きをしている他の被写体が
ある場合や、抽出したい被写体の一部または複数部にわ
たって余計な被写体が入っている場合には、対象として
いる被写体を指示して抽出するのは非常に困難であっ
た。

【０００５】本発明は、このような問題点を解決するこ
とを目的とする。

【０００６】

【課題を解決するための手段】前記目的を達成するため
に、請求項１記載の発明（第１の発明）ではデジタル化
された画像情報を入力して順次記憶する第一の記憶手段
と、第一の記憶手段によって記憶された画像情報におい
て、第一の状態を示す第一の画像と、第一の画像と時間
的に異なる第二の状態を示す第二の画像を比較して、二
画像のうちの一方の画像内の各画素について他方の画像
内の対応する画素を求め、画像間での各画素の移動量と
移動方向を求める演算手段と、演算手段の結果に基づい
て移動量と移動方向の値が同一の画素毎に分類する分類
手段とで被写体分類装置を構成した。

【０００７】請求項２記載の発明（第２の発明）では、
前記第１の発明の被写体分類装置にさらに、分類された
画素を、同一移動量および移動方向毎に記憶する第二の
記憶手段と、第二の記憶手段に記憶されている分類され
た画素の集合の少なくとも一つを表示する表示手段とを
設けた構成とした。請求項３記載の発明では、第１また
は第２の発明の被写体分類装置にさらに、前記第一の記
憶手段に記憶された画像情報を取り込んで記憶すると共
に、第一の記憶手段から演算手段へ第一の画像が出力さ
れるのに同期して、第一の画像より前に記憶した画像情
報を第二の画像として演算手段に出力する遅延手段を設
けた構成とした。

【０００８】請求項４記載の発明では、第１または第２
の発明の被写体分類装置において、前記第一の記憶手段
に、画像情報を記憶するための複数の記憶領域を設け、
前記演算手段が、前記記憶領域に記憶された画像情報の
中から第一の状態を示す第一の画像と前記第一の画像と
時間的に異なる第二の画像を選択し、これら二画像のう
ちの一方の画像内の各画素について他方の画像内の対応
する画素を求めて両画像間での各画素の移動量と移動方
向を求める構成とした。

【０００９】

【作用】本発明では、画像情報に含まれている時間の異
なる２つの時点における画像をもとに一方の画像内の各
画素について、他方の画像内の対応する画素を求める。
そして、両画像間での各画素の移動量と移動方向を求
め、移動量と移動方向の等しい画素毎に分類する。これ
により、同一の動きをする画素の集合体を特定の動きを
している被写体と見なして、画像情報内の被写体を動き
に応じて分類することができる。そのため、オペレータ
は、分類された被写体から所望の被写体を選択すればよ
い。

【００１０】

【実施例】

［実施例１］図１は、本発明の被写体分類装置の構成を
示すブロック図である。この被写体分類装置は、ビデオ
信号の画像情報から被写体をその動きに応じて分類し、
所望の被写体を抽出するように構成されている。この装
置は、ビデオ信号をデジタル変換するＡ／Ｄ変換器５０
と、デジタル化された画像情報を入力して順次記憶する
第１メモリ１０１と、画像情報内の二つの画像を比較す
るための第２メモリ１０２と、第１メモリ１０１および
第２メモリ１０２に同期信号を出力す同期信号発生装置
１０５と、二つの画像を用いて比較および演算を行う比
較演算回路１７０と、この比較演算回路１７０の結果に
基づき画素を分類する分類回路１７１と、画素を分類毎
に記憶していく第３メモリ１０３と、この第３メモリ１
０３に記憶された内容を表示するモニタ１０４とを備え
ている。以下、この被写体分類装置において被写体を分
類し抽出する過程を説明する。

【００１１】まず、Ａ／Ｄ変換器５０は、ビデオ信号を
入力して、これをＡ／Ｄ変換する。これにより、ビデオ
信号は、１画面が１／３０秒毎の画像を表すデジタルデ
ータに変換される。第１メモリ１０１は、Ａ／Ｄ変換器
５０で変換されたデジタルデータを入力する。この第１
メモリ１０１は、図２に示すような５１２画素×３８４
画素の第１メモリ領域Ｍを有する。第１メモリ１０１
は、入力したデジタルデータを１画面分毎に順次第２メ
モリ１０２と比較演算回路１７０に出力する。なお、第
１メモリ１０１は、周期１／３０秒の垂直同期信号を発
生させる同期信号発生装置１０５から垂直同期信号を入
力し、この同期信号に同期させてデジタルデータを第２
メモリ１０２と比較演算回路１７０に出力する。

【００１２】第２メモリ１０２は、第１メモリ１０１か
ら出力された１画像分のデータを順次入力し記憶する。
第２メモリ１０２は、第１メモリ領域Ｍと同じメモリ領
域を有する。第２メモリ１０２は、第１メモリ１０１と
同様に同期信号発生装置１０５から垂直同期信号を入力
し、第１メモリ１０１から比較演算回路１７０にデジタ
ルデータが出力されるのと同期して、既に記憶している
デジタルデータから同期信号の１周期前に入力したデー
タを比較演算回路１７０に出力する。また、前記同期信
号に同期して、第１メモリ１０１から次の１画像分のデ
ータ（第１メモリ１０１が、比較演算回路１７０に出力
したデータと同じデータ）を入力する。

【００１３】比較演算回路１７０は、ある時点に第２メ
モリ１０２から出力された第１の画像のデータ（以下、
１枚目の画像データという）と第１メモリ１０１から出
力された第２の画像のデータ（以下、２枚目の画像デー
タという）を入力する。このとき、第１メモリ１０１か
ら入力した２枚目の画像データは、第２メモリ１０２か
ら入力した１枚目の画像データに対し、ビデオ信号にお
いて１／３０秒後の画像データを表している。そして、
比較演算回路１７０は、これらの１枚目の画像データと
２枚目の画像データを比較して、２枚目の画像データを
形成する各画素について、１枚目の画像データ内の対応
する画素を求める。その後、両画像間での各画素の移動
量と移動方向を求めるための演算を行う。

【００１４】以下、比較演算回路１７０における比較、
演算過程を説明する。まず、２枚目の画像データにおい
て、画像内のある画素に注目し（以下、注目画素とい
う）、第１メモリ１０１の領域Ｍ内での座標を求める。
そして、この注目画素が１枚目の第２メモリ１０２領域
のどの画素に相当するかを決定する。このとき、前記注
目画素を中心画素とした３×３のマトリクスを設定する
近傍処理を行う。この処理では、２枚目の注目画素と同
じ値（濃淡値）をもつ画素を１枚目の画像データから見
つけるために、中心画素だけでなく近傍の８画素を含む
マトリクスの９画素を用いる。そして、１枚目の画像デ
ータ全ての画素に対してマトリクスの中心画素を順次移
動させながら、このマトリクスの各画素の値が等しいか
否かを比較していく。比較の結果、９画素のマトリクス
内で、ある設定されたしきい値（例えば６画素）を越え
る画素数が等しいことが分かると、１枚目の画像データ
の中心画素と２枚目の画像データの比較対象の画素とが
同一と見なし、その比較対象の画素の第２メモリ１０２
領域内での座標を求める。本実施例では３×３のマトリ
クスを設定したが、図５に示すような画面最外周の画素
を中心画素とする時、図５の斜線部の画素値出力はゼロ
とする。そして、角部や辺に応じてしきい値の設定を変
えて同様の処理を行う。前記近傍処理では、マトリクス
が大きくなるほど計算量は増大する。一般的には、３×
３画素あるいは、５×５画素からなる領域が、近傍処理
の基本として多用されている。比較演算回路１７０は、
２枚目の画像データ内の注目画素の座標とこれに対応す
る１枚目の画像データ内の画素の座標が決定したら、２
つの座標の差分から１枚目と２枚目の画像データ間にお
ける注目画素の移動量と移動方向を求める。そして、比
較演算回路１７０は、上記処理を２枚目の画像データ内
のすべての画素について行い、各画素のデータを分類回
路１７１に出力する。

【００１５】分類回路１７１は、比較演算回路１７０に
よって求められた２枚目の画像データ内のすべての画素
の移動量と移動方向に基づいて、同じ移動量と移動方向
を有する画素毎に分類する。そして、分類した画素のデ
ータを第３メモリ１０３に出力する。第３メモリ１０３
は、分類回路１７１で分類された画素のデータを、その
分類毎に分けて記憶する。この場合、分類して記憶され
た画素のデータの集合体は、特定の動きをしている被写
体を表すことになる。従って、動きに応じて被写体が分
類される。なお、ビデオ信号により順次新しい画像情報
が入力されると、その都度前記比較、演算過程が行わ
れ、分類された被写体のデータが形成される。そのた
め、第３メモリ１０３は、分類された被写体のデータが
新しく形成される度に、前の古いデータを新しいデータ
に置き換えていく。その結果、最終的に最後に得られた
画像とその１周期前の画像の２枚の画像データを用いて
分類された画素のデータのみが第３メモリ１０３に記憶
されて残る。モニタ１０４は、第３メモリ１０３におい
て最終的に記憶された分類の画素データを特定の動きを
する被写体として表示する。その際オペレータは、第３
メモリ１０３内のデータから所望のデータ（被写体）を
モニタ１０４に表示させることができる。

【００１６】以上のように本実施例によれば、図３に示
す被写体Ａのみ抽出したい場合、既に被写体の動き応じ
て分類されたメモリを指示することで、図４に示すよう
に被写体Ａのみを抽出することができる。 ［実施例２］図６は、本発明の第２の実施例の構成を示
すブロック図である。図５において、実施例１と同一の
機能を有する構成要件には、同一の符号を付けてその説
明を省略する。

【００１７】実施例１では、ビデオ信号によって新しい
画像が入力する度に比較および演算を行っていたが、本
実施例では、設定された時間分のビデオ信号を記憶し、
この設定時間の経過後に記憶領域内に記憶された複数枚
の画像情報の中から２枚分の画像データを取り出して比
較および演算を行う。まず、Ａ／Ｄ変換器５０は、予め
設定した時間ビデオ信号を入力してデジタルデータに変
換する。第４メモリ１０６は、Ａ／Ｄ変換器５０から出
力されたデジタルデータを順次入力して１画面毎に記憶
する。比較演算回路５１は、第４メモリ１０６に記憶さ
れた１画面毎のデジタルデータのうち、２画面目以降の
データについて各々１画面前の画像データと比較してい
き、上記実施例１と同様に画像内の画素の移動量と移動
方向を求める演算を行なう。そして、これを１画面目を
除く第４メモリ１０６のすべての画像データについて順
次行い、各画素のデータを分類回路１７１に出力する。

【００１８】以降、図６に示す比較演算回路１７０と分
類回路１７１と第３メモリ１０３、そしてモニタ１０４
については、実施例１と同一の機能を有するので説明を
省略する。本実施例によると、任意の時間を設定しその
時間内で記憶された複数の画像データを用いる。そのた
め、記憶された複数の画像データから比較対象とする２
画面分のデータを任意に選択することができる。従っ
て、比較する２画面分のデータを数画面おきに選ぶこと
も可能となる。この結果、隣合う画面同士で比較するよ
りも２画面の画像データ内における画素の移動量と移動
方向の変化量が大きくなるので、被写体を分類する精度
が上がる。

【００１９】

【発明の効果】本発明の被写体分類装置によれば、画像
データ内の各画素をその移動量と移動方向に応じて分類
することで、画像情報に含まれる様々な被写体を動きに
応じて分類できる。そのため、オペレータは分類された
被写体から所望の被写体を選択すればよい。その結果、
従来のようにオペレータが画像を見て様々な動きをする
被写体の中から、特定の動きをする被写体を指定する必
要がなくなる。また、特定の動きをする被写体を画像情
報から正確に分類し抽出することができる。

【図面の簡単な説明】

【図１】は、本発明の実施例１の構成を表すブロック図
である。

【図２】は、基準メモリ領域を表す図である。

【図３】は、被写体を抽出する前の図である。

【図４】は、被写体を抽出した後の図である。

【図５】は、近傍処理における画像外周部での処理を説
明する図である。

【図６】は、本発明の実施例２の構成を表すブロック図
である。

【符号の説明】

５０ Ａ／Ｄ変換器 １０１ 第１メモリ １０２ 第２メモリ １０３ 第３メモリ １０４ モニタ １０５ 同期信号発生装置 １０６ 第４メモリ １７０ 比較演算回路 １７１ 分類回路

Claims (4)

【特許請求の範囲】
1. 【請求項１】 デジタル化された画像情報を入力して順
   次記憶する第一の記憶手段と、 前記第一の記憶手段によって記憶された画像情報におい
   て、第一の状態を示す第一の画像と、前記第一の画像と
   時間的に異なる第二の状態を示す第二の画像を比較して
   前記二画像のうちの一方の画像内の各画素について他方
   の画像内の対応する画素を求め、両画像間での各画素の
   移動量と移動方向を求める演算手段と、 前記演算手段の結果に基づいて移動量と移動方向の値が
   同一の画素毎に分類する分類手段と、を備えた被写体分
   類装置。
2. 【請求項２】 請求項１記載の被写体分類装置におい
   て、さらに、前記分類手段により分類された画素を、同
   一移動量および移動方向毎に記憶する第二の記憶手段
   と、 前記第二の記憶手段に記憶されている分類された画素の
   集合の少なくとも一つを表示する表示手段を備えたこと
   を特徴とする被写体分類装置。
3. 【請求項３】 請求項１または２記載の被写体分類装置
   において、さらに、前記第一の記憶手段に記憶された画
   像情報を取り込んで記憶すると共に、前記第一の記憶手
   段から演算手段へ前記第一の画像が出力されるのに同期
   して、前記第一の画像より前に記憶した画像情報を前記
   第二の画像として前記演算手段に出力する遅延手段を備
   えたことを特徴とする被写体分類装置。
4. 【請求項４】 請求項１または２記載の被写体分類装置
   において、前記第一の記憶手段は、画像情報を記憶する
   ための複数の記憶領域を有し、前記演算手段は、前記記
   憶領域に記憶された画像情報の中から第一の状態を示す
   第一の画像と前記第一の画像と時間的に異なる第二の画
   像を選択し、これら二画像のうちの一方の画像内の各画
   素について他方の画像内の対応する画素を求めて両画像
   間での各画素の移動量と移動方向を求めることを特徴と
   する被写体分類装置。