JPH06339109A - Scene change detection method, its device and moving picture edit device - Google Patents
Scene change detection method, its device and moving picture edit deviceInfo
- Publication number
- JPH06339109A JPH06339109A JP12716993A JP12716993A JPH06339109A JP H06339109 A JPH06339109 A JP H06339109A JP 12716993 A JP12716993 A JP 12716993A JP 12716993 A JP12716993 A JP 12716993A JP H06339109 A JPH06339109 A JP H06339109A
- Authority
- JP
- Japan
- Prior art keywords
- block
- fixed block
- scene change
- correlation value
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
(57)【要約】
【目的】 画面内部の動きに影響されないでシーン変化
の判定ができるシーン変化検出方法とその装置、及び画
像内容の把握し易いブラウジングや、正確なテープ位置
合わせの可能な動画像編集装置を提供すること。
【構成】 固定ブロック及び移動ブロックを設定するブ
ロック位置設定部11と、前フレームの固定ブロックのヒ
ストグラム及び後フレームの移動ブロックのヒストグラ
ムを算出するヒストグラム算出部12と、それらヒストグ
ラム間の相関値を算出する相関値算出部14と、算出され
た相関値のうち最も高い相関値を固定ブロック毎に求め
るマッチング部15と、求めた相関値のうち高い方からの
所定個数の相関値に基づき、全画面相関値を算出する全
画面相関算出部16と、全画面相関値に基づき、シーン変
化有りと判定するシーン変化判定部17とを備える。
(57) [Summary] [Purpose] A scene change detection method and device that can determine scene changes without being affected by movements inside the screen, and browsing that makes it easy to grasp the image contents, and movies that enable accurate tape positioning. To provide an image editing device. [Structure] A block position setting unit 11 that sets a fixed block and a moving block, a histogram calculation unit 12 that calculates a histogram of a fixed block of a previous frame and a histogram of a moving block of a subsequent frame, and a correlation value between those histograms is calculated. Correlation value calculating unit 14, a matching unit 15 that obtains the highest correlation value among the calculated correlation values for each fixed block, and based on a predetermined number of correlation values from the highest correlation value, the entire screen A full-screen correlation calculation unit 16 that calculates a correlation value and a scene change determination unit 17 that determines that there is a scene change based on the full-screen correlation value are provided.
Description
【0001】[0001]
【産業上の利用分野】本発明は、ビデオテープなどの動
画像の編集に関して、動画像のシーンが大きく変化する
フレームを検出するシーン変化検出方法とその装置、お
よびシーン変化のフレームを用いてブラウジングの表
示、シーン毎の再生・録画・早送り・巻き戻し、動画像
のダイジェスト版の自動生成などを行う動画像編集装置
に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a scene change detecting method and apparatus for detecting a frame in which a scene of a moving image greatly changes, and browsing using the frame of the scene change in editing a moving image such as a video tape. , A playback / recording / fast-forward / rewind for each scene, and automatic generation of a digest version of a moving image.
【0002】[0002]
【従来の技術】近年のビデオカメラの普及、マルチメデ
ィアの動向に伴い、ビデオテープや光ディスクなどの動
画像をユーザが編集する機会が増えている。例えば、T
V番組のダイジェスト版を作成したり、自分で撮影した
テープを必要な部分だけつなぎあわせたり、順序を入れ
替えたりして別のテープにダビングする、などの編集で
ある。2. Description of the Related Art With the spread of video cameras and the trend of multimedia in recent years, there are increasing opportunities for users to edit moving images such as video tapes and optical discs. For example, T
Editing includes creating a digest version of a V program, joining tapes that were shot by myself to only the necessary parts, changing the order, and dubbing to another tape.
【0003】従来、録画などのダイジェスト版を自動的
に作成する方式としては、ユーザが各フレーム画像の重
要度合(優先度)を判断し、優先度がしきい値より高い
フレーム画像をダイジェスト版として記録する方法が提
案されている(例えば特開平3−90968号)。Conventionally, as a method for automatically creating a digest version such as recording, a user judges the importance (priority) of each frame image, and a frame image having a priority higher than a threshold value is used as a digest version. A method of recording has been proposed (for example, JP-A-3-90968).
【0004】しかしながら、ユーザが画像の優先度を判
断するには、テープのどのあたりにどんな画像が記録さ
れているか把握したり、あるいはダイジェストとして記
録する画像の範囲を決めるためにテープの位置合わせを
したりするなどの作業が必要であり、従来の早送り、巻
き戻し、再生などの単純な機能だけでは手間がかかって
いた。However, in order for the user to judge the priority of the image, the position of the tape is adjusted in order to know what kind of image is recorded on which part of the tape or to determine the range of the image to be recorded as a digest. It is necessary to do work such as doing, and conventional simple functions such as fast-forward, rewind, and playback are troublesome.
【0005】そこで、動画像の切れ目(以後シーン変化
と呼ぶ)を見つけてそれを基に、ブラウジングやテープ
の位置合わせの作業を簡単化しようとした装置が提案さ
れている。例えば、特開平2-184181の動画像編集装置
は、動画像の照度や音量・色調などからシーン変化を検
出し、ユーザによるボタン入力操作で次のシーン変化ま
での早送り・再生や前のシーン変化までの巻き戻しなど
を行っている。Therefore, there has been proposed a device that finds a break (hereinafter referred to as a scene change) in a moving image and simplifies the work of browsing and aligning the tape based on the break. For example, the moving image editing apparatus disclosed in Japanese Patent Laid-Open No. 2-184181 detects a scene change based on the illuminance, volume, color tone, etc. of the moving image, and the user inputs a button to fast-forward / play to the next scene or change the previous scene. It is rewinding up to.
【0006】また、映像信号からシーン変化を自動的に
検出する方法としては、例えば特開平3-214364に開示さ
れている方法がある。これは、全画面の輝度レベルのヒ
ストグラムを隣接フレーム間で比較し、ヒストグラム差
分の絶対値の総和が所定の値を越える場合にシーンの変
化有りと判定するものである。Further, as a method for automatically detecting a scene change from a video signal, there is a method disclosed in, for example, Japanese Patent Laid-Open No. 3-214364. This is to compare histograms of luminance levels of all screens between adjacent frames and determine that there is a scene change when the sum of absolute values of histogram differences exceeds a predetermined value.
【0007】また、他のシーン変化検出方法としては、
画面を複数のブロックに分割し、全画面のヒストグラム
ではなく、ブロック毎にヒストグラムを比較する方法も
ある。(例えば 長坂、田中,”カラービデオ映像にお
ける自動索引付け法と物体探索法”,情報処理学会論文
誌 Vol.33, No.4 (1992))。以下、上記手法の動作を簡
単に説明する。As another scene change detecting method,
There is also a method in which the screen is divided into a plurality of blocks and the histogram is compared not for the entire screen but for each block. (For example, Nagasaka, Tanaka, “Automatic indexing method and object searching method in color video images”, IPSJ Journal Vol.33, No.4 (1992)). The operation of the above method will be briefly described below.
【0008】図5は、隣接フレーム間でヒストグラムを
比較するブロックの位置関係を示す図であり、時刻t=
τ及びt=(τ+1)の画像のフレームをそれぞれ16個
のブロックに分割したものである。以後、この16個の
ブロックを固定ブロックと呼び、水平方向に左からX番
目、垂直方向に上からY番目のブロックを(X,Y)固
定ブロックと呼ぶことにする(1≦X,Y≦4 )。ま
た、時刻tのフレームの(X,Y)固定ブロックの色ヒ
ストグラムを hist(t,X,Y,c)と記述する。ただし、
画像中の色は64色種に量子化されており、 hist(t,
X,Y,c)は、ブロック内でc番目の色を持つ画素の数
を示す。FIG. 5 is a diagram showing the positional relationship of blocks for comparing histograms between adjacent frames, at time t =
Each frame of the image of τ and t = (τ + 1) is divided into 16 blocks. Hereinafter, these 16 blocks will be referred to as fixed blocks, and the Xth block from the left in the horizontal direction and the Yth block from the top in the vertical direction will be referred to as the (X, Y) fixed block (1≤X, Y≤. 4). The color histogram of the (X, Y) fixed block of the frame at time t is described as hist (t, X, Y, c). However,
The colors in the image are quantized into 64 color types, and hist (t,
X, Y, c) indicates the number of pixels having the c-th color in the block.
【0009】まず、図5に示すように、2枚のフレーム
のそれぞれ同じ位置の固定ブロックの色ヒストグラムを
比較する。ここではヒストグラムの比較方法としてχ2
検定を用いる。時刻τ のフレームの(X,Y)固定ブロ
ックに関して、以下のように評価値 kai(τ,X,Y)を求
める。First, as shown in FIG. 5, the color histograms of the fixed blocks at the same positions of the two frames are compared. Here, as a histogram comparison method, χ2
Use a test. For the (X, Y) fixed block of the frame at time τ 2, the evaluation value kai (τ, X, Y) is obtained as follows.
【0010】[0010]
【数1】 [Equation 1]
【0011】(数1)により16個の固定ブロックに対
して評価値を求め、次に16個の評価値のうち小さいも
のの8つの評価値の総和を求め、最終評価値Sとする。
簡単のため、最終評価値の導出方法を(数2)のように
書く。The evaluation values are obtained for 16 fixed blocks by (Equation 1), and then the sum of the eight evaluation values of the smaller 16 evaluation values is obtained, and the final evaluation value S is obtained.
For simplicity, the method of deriving the final evaluation value is written as (Equation 2).
【0012】[0012]
【数2】 [Equation 2]
【0013】このようにして求められた最終評価値Sが
所定のしきい値より大きいとき、t=τとt=τ+1の
フレームの間でシーンが変化した、と判定する。When the final evaluation value S thus obtained is larger than a predetermined threshold value, it is determined that the scene has changed between the frames of t = τ and t = τ + 1.
【0014】[0014]
【発明が解決しようとする課題】以上のシーン変化の判
定において、シーン変化のあったフレームだけを過不足
なく検出するには、シーン変化以外の画像変動、例えば
画面内の被写体の移動・変形が起きてもフレーム間の相
関が高い、と判定できるような評価値が必要である。In the above scene change determination, in order to detect just the frames with scene changes without excess or deficiency, image fluctuations other than scene changes, such as movement / deformation of the subject within the screen, are necessary. An evaluation value that can determine that the correlation between frames is high even if it occurs is necessary.
【0015】しかしながら、従来のシーン変化検出方法
には以下の課題がある。However, the conventional scene change detection method has the following problems.
【0016】一方の、全画面のヒストグラムを隣接フレ
ーム間で比較する方法では、全画面のヒストグラムが変
化しない限り、相関が高いと判定されるため、被写体が
移動してもシーン変化有りと誤検出されない範囲が広
い。しかし、被写体の面積変動があったり、物体の存在
した場所から新しい背景が出てきた場合、それが画面の
一部であっても全画面のヒストグラムに少なからず影響
を与えてしまう。その結果、局所的な画像変動でもシー
ン変化ありと誤判定される場合が出てくる。On the other hand, in the method of comparing the histograms of the entire screen between adjacent frames, it is determined that the correlation is high unless the histogram of the entire screen is changed. There is a wide range not to be done. However, if there is a change in the area of the subject or a new background emerges from the place where the object existed, even if it is a part of the screen, it will affect the histogram of the entire screen to some extent. As a result, there are cases where it is erroneously determined that there is a scene change even if there is a local image change.
【0017】もう一方の、画面を分割したブロック毎に
ヒストグラムを比較する方法では、相関の高いブロック
を全体の半分だけ選んで最終的な評価値を計算するた
め、局所的な画像変動のブロックは除外されるためそれ
による影響を受けない。しかし、物体移動の許容範囲が
ブロック内部に限定されるので、例えば画面内で大面積
を占める物体が異ブロックにまたがって移動する場合、
その移動距離が小さくても、相関の低いブロックが多く
なるため、結果的にシーン変化有りと誤判定される可能
性がある。On the other hand, in the method of comparing the histograms for each of the blocks obtained by dividing the screen, only blocks having a high correlation are selected and the final evaluation value is calculated. It is excluded and is not affected by it. However, since the allowable range of object movement is limited to the inside of the block, for example, when an object occupying a large area in the screen moves across different blocks,
Even if the moving distance is small, the number of blocks having low correlation increases, so that it may be erroneously determined that there is a scene change.
【0018】以上のように、従来のシーン変化検出方法
では、画像変動の場合にもシーン変化有りと誤検出する
ため、シーン変化を単位とした動画像編集装置において
ブラウジングやテープの位置合わせなどが正確に行えな
いという課題がある。As described above, in the conventional scene change detection method, since it is erroneously detected that there is a scene change even in the case of an image change, a moving image editing apparatus using the scene change as a unit does not require browsing or tape alignment. There is a problem that it cannot be done accurately.
【0019】本発明は、従来のシーン変化検出方法のこ
のような課題を考慮し、画面内部の動きに影響されない
でシーン変化の判定ができるシーン変化検出方法とその
装置、及び画像内容の把握し易いブラウジングや、正確
なテープ位置合わせの可能な動画像編集装置を提供する
ことを目的とするものである。The present invention takes such problems of the conventional scene change detection method into consideration, and a scene change detection method and its apparatus capable of determining a scene change without being influenced by the movement inside the screen, and grasping the image contents. An object of the present invention is to provide a moving image editing apparatus that enables easy browsing and accurate tape position adjustment.
【0020】[0020]
【課題を解決するための手段】請求項1の本発明は、第
1のフレーム画像を複数の第1固定ブロックに分割し、
また、第2のフレーム画像を、第1固定ブロックの分割
の仕方と同じように、第2固定ブロックに分割し、その
第2固定ブロック毎に、その第2固定ブロックと同じ大
きさの移動ブロックを複数個第2固定ブロック近傍の所
定領域内に、第2固定ブロックと重なり又は重ならない
状態で設定し、第1固定ブロック内の画像に関する所定
の画像情報を算出し、また、その第1固定ブロックに対
応する第2固定ブロックに関する複数個の移動ブロック
内のそれぞれの画像情報を算出し、第1固定ブロックの
画像情報と移動ブロックの画像情報との間の相関値をそ
れぞれ算出し、その算出された相関値の中の最大値を、
その第1固定ブロックのブロック相関値とし、そのブロ
ック相関値を第1固定ブロック全てに対して求め、それ
に基づいて、フレーム画像のシーン変化があるかどうか
を判定するシーン変化検出方法である。According to the present invention of claim 1, the first frame image is divided into a plurality of first fixed blocks,
Also, the second frame image is divided into second fixed blocks in the same manner as the first fixed block is divided, and each second fixed block is a moving block having the same size as the second fixed block. Are set in a predetermined area near the second fixed block so as to overlap or not overlap with the second fixed block, and predetermined image information regarding the image in the first fixed block is calculated. The image information of each of the plurality of moving blocks regarding the second fixed block corresponding to the block is calculated, and the correlation value between the image information of the first fixed block and the image information of the moving block is calculated, and the calculation is performed. The maximum of the correlation values
This is a scene change detection method that determines the block correlation value of the first fixed block, obtains the block correlation value for all the first fixed blocks, and determines whether or not there is a scene change in the frame image based on the block correlation value.
【0021】請求項5の本発明は、第1のフレーム画像
を複数の第1固定ブロックに分割し、また、第2のフレ
ーム画像を、第1固定ブロックの分割の仕方と同じよう
に、第2固定ブロックに分割し、その第2固定ブロック
毎に、その第2固定ブロックと同じ大きさの移動ブロッ
クを複数個第2固定ブロック近傍の所定領域内に、第2
固定ブロックと重なり又は重ならない状態で設定するブ
ロック設定手段と、第1固定ブロック内の画像に関する
所定の画像情報を算出し、また、その第1固定ブロック
に対応する第2固定ブロックに関する複数個の移動ブロ
ック内のそれぞれの画像情報を算出するヒストグラム算
出手段と、第1固定ブロックの画像情報と移動ブロック
の画像情報との間の相関値をそれぞれ算出し、その算出
された相関値の中の最大値を、その第1固定ブロックの
ブロック相関値とし、そのブロック相関値を第1固定ブ
ロック全てに対して求めるブロック相関値算出手段と、
そのブロック相関値算出手段により求められたブロック
相関値に基づき、フレーム画像にシーン変化があるかど
うかを判定するシーン変化判定手段とを備えたシーン変
化検出装置である。According to a fifth aspect of the present invention, the first frame image is divided into a plurality of first fixed blocks, and the second frame image is divided into the first fixed blocks in the same manner as the first fixed block. It is divided into two fixed blocks, and for each of the second fixed blocks, a plurality of moving blocks of the same size as the second fixed block are provided in a predetermined area near the second fixed block.
A block setting means for setting the fixed block so as to overlap or not overlap with the fixed block, predetermined image information about an image in the first fixed block, and a plurality of second fixed blocks corresponding to the first fixed block. Histogram calculating means for calculating each image information in the moving block, and a correlation value between the image information of the first fixed block and the image information of the moving block are respectively calculated, and the maximum correlation value among the calculated correlation values is calculated. A block correlation value calculating means for obtaining a block correlation value for all the first fixed blocks, the value being a block correlation value of the first fixed block,
The scene change detecting device includes a scene change determining unit that determines whether or not there is a scene change in a frame image based on the block correlation value calculated by the block correlation value calculating unit.
【0022】請求項6の本発明は、動画像のフレーム画
像を格納する動画像格納手段と、その格納された画像フ
レームのシーン変化を検出する請求項5のシーン変化検
出装置と、その検出されたシーン変化が生じた動画像の
フレーム位置情報を格納するシーン変化格納手段と、そ
の格納されたフレーム位置情報に応じて、フレーム画像
を表示する動画像表示手段とを備えた動画像編集装置で
ある。According to a sixth aspect of the present invention, there is provided a moving image storage means for storing a frame image of a moving image, a scene change detection device for detecting a scene change of the stored image frame, and the detected scene change device. In a moving image editing apparatus including a scene change storage unit that stores frame position information of a moving image in which a scene change has occurred, and a moving image display unit that displays a frame image according to the stored frame position information. is there.
【0023】[0023]
【作用】本発明は、第1固定ブロック内の画像に関する
所定の画像情報を算出し、また、その第1固定ブロック
に対応する第2固定ブロックに関する複数個の移動ブロ
ック内のそれぞれの画像情報を算出し、第1ブロックの
画像情報と移動ブロックの画像情報との間の相関値をそ
れぞれ算出し、その算出された相関値の中の最大値を、
その第1固定ブロックのブロック相関値とし、そのブロ
ック相関値を第1固定ブロック全てに対して求め、それ
に基づいて、フレーム画像のシーン変化があると判定す
るので、シーン変化の判定における局所的な画像変動の
影響を抑制できる。According to the present invention, the predetermined image information regarding the image in the first fixed block is calculated, and the respective image information within the plurality of moving blocks regarding the second fixed block corresponding to the first fixed block is calculated. Then, the correlation value between the image information of the first block and the image information of the moving block is calculated, and the maximum value among the calculated correlation values is calculated as
The block correlation value of the first fixed block is set, the block correlation value is calculated for all the first fixed blocks, and it is determined that there is a scene change in the frame image based on the block correlation value. The influence of image fluctuation can be suppressed.
【0024】また本発明は、動画像格納手段が動画像の
フレーム画像を格納し、シーン変化検出装置が格納され
た画像フレームのシーン変化を検出し、シーン変化格納
手段が検出されたシーン変化の生じた動画像のフレーム
位置情報を格納し、動画像表示手段が格納されたフレー
ム位置情報に応じて、フレーム画像を表示する。According to the present invention, the moving image storing means stores the frame image of the moving image, the scene change detecting device detects the scene change of the stored image frame, and the scene change storing means detects the detected scene change. The frame position information of the generated moving image is stored, and the moving image display means displays the frame image according to the stored frame position information.
【0025】[0025]
【実施例】以下に、本発明をその実施例を示す図面に基
づいて説明する。DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will be described below with reference to the drawings showing its embodiments.
【0026】図1は、本発明にかかる一実施例のシーン
変化検出装置の機能ブロックを示す図であり、図2は、
本実施例における隣接フレーム間でヒストグラムを比較
するブロックの位置関係を示す図であり(従来例の図5
に対応している)、図3は、本実施例においてヒストグ
ラム計算を行うブロックの中心位置を黒点で示した図で
ある。FIG. 1 is a diagram showing the functional blocks of a scene change detection apparatus according to an embodiment of the present invention, and FIG.
FIG. 7 is a diagram showing a positional relationship of blocks for comparing histograms between adjacent frames in the present embodiment (see FIG.
3), and FIG. 3 is a diagram in which the center position of the block for which the histogram calculation is performed in the present embodiment is shown by a black dot.
【0027】まず、本実施例のシーン変化検出方法につ
いて図2を用いて説明する。本手法は従来手法とは異な
り、t=τのフレームの各固定ブロックと、t=(τ+
1)のフレームの、各固定ブロック周辺にある複数のブ
ロックとの間で相関計算を行う。ただし、ここで周辺と
は、各固定ブロックから上下左右方向に1ブロック分だ
け広げた領域とする。例えば図2は、t=τのフレーム
の(2,3)固定ブロックがt=(τ+1)のフレームで
相関計算を行うブロックの一例を点線の長方形で示して
いる。ここで、太線の大きな長方形は、(2,3)固定
ブロックの周辺領域であり、ブロックが存在し得る範囲
を示している。First, the scene change detection method of this embodiment will be described with reference to FIG. This method differs from the conventional method in that each fixed block of a frame of t = τ and t = (τ +
Correlation calculation is performed between a plurality of blocks around each fixed block in the frame 1). However, the periphery here means an area expanded by one block in the vertical and horizontal directions from each fixed block. For example, FIG. 2 shows an example of a block in which a (2,3) fixed block of a frame of t = τ performs correlation calculation in a frame of t = (τ + 1) by a dotted-line rectangle. Here, a large rectangle with a thick line is a peripheral region of the (2,3) fixed block and indicates a range in which the block can exist.
【0028】このとき、固定ブロックと上記範囲内で存
在し得る全てのブロックとの間で相関計算をする必要は
ないので、相関計算に用いるブロックを所定間隔で間引
く。ここでは、存在範囲内で水平・垂直方向にそれぞれ
1/5V,1/5H(H、Vをそれぞれ1ブロックの水
平、垂直方向の長さとする)の間隔でサンプリングした
標本点を中心位置にもつブロックを選ぶ。例えば図2の
(2,3)固定ブロックと対応するブロックは、121
個(=11×11)となる。以後、t=τのフレームの
(X,Y)固定ブロックと相関計算を行う、t=(τ+
1)のフレームのブロックを(X,Y)固定ブロックに
関する移動ブロックと呼ぶ。At this time, since it is not necessary to calculate the correlation between the fixed block and all the blocks that may exist within the above range, the blocks used for the correlation calculation are thinned out at a predetermined interval. Here, sample points sampled at intervals of ⅕V and ⅕H (H and V are the horizontal and vertical lengths of one block, respectively) in the horizontal and vertical directions within the existing range are located at the center position. Select a block. For example, the block corresponding to the (2,3) fixed block in FIG.
The number is (= 11 × 11). After that, the correlation calculation with the (X, Y) fixed block of the frame of t = τ is performed, and t = (τ +
The block of the frame 1) is called a moving block related to the (X, Y) fixed block.
【0029】以上のようにt=τのフレームの各固定ブ
ロックは、各固定ブロックに関する移動ブロック全てに
対してそれぞれ相関計算を行い、そのうち最も相関が高
い移動ブロックとの相関値を、各固定ブロックに関する
評価値とする。その後の処理は従来手法と同様に、16
個の固定ブロックに関する評価値に基づいて最終評価値
を求め、その最終評価値をシーン変化の判定に利用す
る。As described above, each fixed block of the frame of t = τ is subjected to correlation calculation with respect to all moving blocks related to each fixed block, and the correlation value with the moving block having the highest correlation among them is calculated as the fixed block. The evaluation value of Subsequent processing is the same as in the conventional method.
A final evaluation value is obtained based on the evaluation values of the fixed blocks, and the final evaluation value is used for the scene change determination.
【0030】次に、本発明のシーン変化検出方法を実現
するためのシーン変化検出装置の構成例を図1を用いて
説明する。Next, an example of the structure of a scene change detecting apparatus for realizing the scene change detecting method of the present invention will be described with reference to FIG.
【0031】図1において、10は入力画像信号が入力
されるビデオ信号入力端子、11はヒストグラム計算を
するブロックの位置を出力するブロック位置設定部であ
り、図3の黒点で示される座標を、所定時間間隔で順次
出力する。ただし、図3の黒点は、水平・垂直方向に1
/5H,1/5Vの間隔でサンプリングされており、ブ
ロックの中心座標に対応する。以後、ブロック位置設定
部で設定された位置のブロックをマスクブロック(すな
わち、マスクブロックは、固定ブロック及び移動ブロッ
クの位置に対応して設定されるブロックである)と呼
ぶ。In FIG. 1, 10 is a video signal input terminal to which an input image signal is input, 11 is a block position setting section for outputting the position of a block for histogram calculation, and the coordinates indicated by black dots in FIG. The data is sequentially output at predetermined time intervals. However, the black dots in Fig. 3 are 1 in the horizontal and vertical directions.
It is sampled at intervals of / 5H and 1 / 5V, and corresponds to the center coordinates of the block. Hereinafter, the block at the position set by the block position setting unit is called a mask block (that is, the mask block is a block set corresponding to the positions of the fixed block and the moving block).
【0032】12は、入力された映像信号から、ブロッ
ク位置設定部11で指定されたマスクブロックの色ヒス
トグラムを算出するヒストグラム算出部である。Reference numeral 12 is a histogram calculation unit for calculating a color histogram of the mask block designated by the block position setting unit 11 from the input video signal.
【0033】13は、ヒストグラム算出部12により算
出された固定ブロック内のヒストグラムを記憶するヒス
トグラム蓄積部であり、固定ブロック毎に、直前のフレ
ーム用メモリ(A)と、現在処理中のフレームの一時記
憶用メモリ(B)の2個のメモリを持っている。Reference numeral 13 denotes a histogram accumulating section for storing the histogram in the fixed block calculated by the histogram calculating section 12. For each fixed block, the memory (A) for the immediately preceding frame and the temporary frame of the frame currently being processed are stored. It has two memories, a storage memory (B).
【0034】14は、ヒストグラム蓄積部13に蓄えら
れた直前フレームの固定ブロック内のヒストグラムと、
ヒストグラム算出部12により算出された移動ブロック
のヒストグラムとの間の相関計算を行う相関値算出部で
ある。各固定ブロックに対応して16個のユニットから
なり、マスクブロックが各固定ブロック周辺のブロック
存在範囲内にあるようなユニットだけが相関計算を行
う。ここで相関値は、ヒストグラム差分の絶対値の総和
を用いて計算するものとする。Reference numeral 14 is a histogram in the fixed block of the immediately preceding frame stored in the histogram storage unit 13,
It is a correlation value calculation unit that performs correlation calculation with the histogram of the moving block calculated by the histogram calculation unit 12. Corresponding to each fixed block is composed of 16 units, and only the unit whose mask block is within the block existence range around each fixed block performs the correlation calculation. Here, the correlation value is calculated using the sum of absolute values of the histogram differences.
【0035】15は、相関値算出部14により算出され
た相関値のうち、固定ブロックと最も相関の高いマスク
ブロックとの相関値(ブロック相関値)をそれぞれ出力
するマッチング部であり、固定ブロックに対応して16
個のユニットからなる。Reference numeral 15 denotes a matching unit that outputs the correlation value (block correlation value) between the fixed block and the mask block having the highest correlation among the correlation values calculated by the correlation value calculation unit 14. Corresponding to 16
It consists of individual units.
【0036】16は、マッチング部15から入力された
16個の相関値(ブロック相関値)のうち、相関の高い
方から8個の相関値を選び、その和を全画面相関値とし
て出力する全画面相関算出部である。Reference numeral 16 designates 8 correlation values having the highest correlation among 16 correlation values (block correlation values) input from the matching section 15 and outputs the sum as a full screen correlation value. It is a screen correlation calculation unit.
【0037】17は、所定のしきい値と全画面相関算出
部16の出力を比較し、シーン変化有り、無しを判定す
るシーン変化判定部であり、18は、そのシーン変化判
定部17からの処理結果を出力する出力端子である。Reference numeral 17 is a scene change determination unit that compares the output of the full-screen correlation calculation unit 16 with a predetermined threshold value and determines whether there is a scene change, and 18 is a scene change determination unit 17 from the scene change determination unit 17. This is an output terminal for outputting the processing result.
【0038】ここで、前述のブロック位置設定部11が
ブロック設定手段であり、ヒストグラム算出部12及び
ヒストグラム蓄積部13がヒストグラム算出手段を構成
し、相関値算出部14及びマッチング部15がブロック
相関値算出手段を構成し、全画面相関算出部16及びシ
ーン変化判定部17がシーン変化判定手段を構成してい
る。Here, the block position setting unit 11 described above is a block setting unit, the histogram calculation unit 12 and the histogram accumulation unit 13 constitute a histogram calculation unit, and the correlation value calculation unit 14 and the matching unit 15 are block correlation values. The calculation unit is configured, and the full-screen correlation calculation unit 16 and the scene change determination unit 17 configure the scene change determination unit.
【0039】次に、上記実施例の動作について説明す
る。Next, the operation of the above embodiment will be described.
【0040】今、入力端子10からはt=τのフレーム
に関する映像信号が入力されているものとし、ヒストグ
ラム蓄積部13の直前のフレーム用メモリ(A)には、
t=(τ−1)のフレームに関する固定ブロック内のヒス
トグラムが記録されている状態とする。Now, assuming that the video signal relating to the frame of t = τ is inputted from the input terminal 10, the frame memory (A) immediately before the histogram accumulating section 13 is
It is assumed that the histogram in the fixed block for the frame of t = (τ−1) is recorded.
【0041】まず、ブロック位置設定部11は、図3の
左上の黒点を選びその座標(x0 ,y0 )を出力する。
ヒストグラム算出部12は入力された映像信号を用い
て、(x0,y0)を中心座標とするマスクブロックを設
定し、ブロック内部の色ヒストグラムを算出する。First, the block position setting unit 11 selects the upper left black point in FIG. 3 and outputs its coordinates (x0, y0).
The histogram calculation unit 12 sets a mask block whose center coordinates are (x0, y0) using the input video signal, and calculates a color histogram inside the block.
【0042】次に、ヒストグラム蓄積部13では、ブロ
ック位置設定部11からマスクブロックの位置(x0,
y0)を入力し、16個の固定ブロックのいずれかと位
置が等しいかどうか調べる。位置の等しい固定ブロック
がある場合、その固定ブロックに対応する一時記憶用メ
モリ(B)の内容を更新するため、ヒストグラム算出部
12から出力されるヒストグラムを記録する。今、マス
クブロックの中心座標(x0 ,y0 )は(1,1)固定
ブロックの中心座標と一致するので、(1,1)固定ブ
ロックに対応するヒストグラム蓄積部13の一時記憶用
メモリ(B)の内容が更新される。Next, in the histogram accumulation section 13, the mask block position (x0,
y0) and check if the position is equal to any of the 16 fixed blocks. When there is a fixed block with the same position, the histogram output from the histogram calculation unit 12 is recorded in order to update the contents of the temporary storage memory (B) corresponding to the fixed block. Now, since the central coordinates (x0, y0) of the mask block match the central coordinates of the (1,1) fixed block, the temporary storage memory (B) of the histogram accumulation unit 13 corresponding to the (1,1) fixed block. The content of is updated.
【0043】次に、相関値算出部14は、まずブロック
位置設定部11からマスクブロックの位置(x0,y0)
を入力し、マスクブロックが、周辺のブロック存在範囲
に含まれるような固定ブロックを選ぶ。マスクブロック
位置が(x0,y0)の場合、ブロック存在範囲にマスク
ブロックを含むような固定ブロックは、(1,1)、
(1,2)、(2,1)、(2,2)の4つである。選
ばれた固定ブロックに対応するユニットは、ヒストグラ
ム算出部12からマスクブロックのヒストグラムと、ヒ
ストグラム蓄積部13の直前のフレーム用メモリ(A)
から固定ブロックのヒストグラムを入力し、2つのヒス
トグラム間の相関値を求める。Next, the correlation value calculation unit 14 first receives the mask block position (x0, y0) from the block position setting unit 11.
, And select a fixed block whose mask block is included in the surrounding block existence range. When the mask block position is (x0, y0), the fixed block including the mask block in the block existence range is (1, 1),
There are four (1,2), (2,1), and (2,2). The unit corresponding to the selected fixed block is the histogram of the mask block from the histogram calculation unit 12 and the frame memory (A) immediately before the histogram storage unit 13.
A fixed block histogram is input from and the correlation value between the two histograms is obtained.
【0044】その後、マッチング部15では、固定ブロ
ック毎に相関値算出部14から入力された相関値を記憶
する。Then, the matching unit 15 stores the correlation value input from the correlation value calculation unit 14 for each fixed block.
【0045】以上の処理が終了すると、ブロック位置設
定部11は図3に示すように、別の黒点を選びその座標
(x1,y0)を出力する。ヒストグラム算出部12、ヒ
ストグラム蓄積部13、相関値算出部14は(x0,y
0)の時と同様の処理を行う。そうすると、マッチング
部15では、入力された相関値と、すでに記憶されてい
る相関値とを比較し、相関値の大きい方だけを記憶す
る。初めて相関値が入力されたユニットは、その相関値
を記憶する。When the above processing is completed, the block position setting section 11 selects another black point and outputs its coordinates (x1, y0) as shown in FIG. The histogram calculation unit 12, the histogram accumulation unit 13, and the correlation value calculation unit 14 are (x0, y
Perform the same processing as in (0). Then, the matching unit 15 compares the input correlation value with the already stored correlation value, and stores only the larger correlation value. The unit to which the correlation value is input for the first time stores the correlation value.
【0046】このように、ブロック位置設定部11が出
力するマスクブロックの座標に対して、ヒストグラム算
出部12、ヒストグラム蓄積部13、相関値算出部1
4、マッチング部15の処理を次々に行う。結果とし
て、図3の全ての黒点に対する処理が終了した時点で、
マッチング部15の16個のユニットには、固定ブロッ
クと最も相関の高いマスクブロックとの相関値がそれぞ
れ固定ブロック毎に記憶されていることになる。As described above, with respect to the coordinates of the mask block output by the block position setting unit 11, the histogram calculation unit 12, the histogram storage unit 13, and the correlation value calculation unit 1
4. The processing of the matching unit 15 is performed one after another. As a result, when the processing for all the black dots in FIG. 3 is completed,
In the 16 units of the matching unit 15, the correlation value between the fixed block and the mask block having the highest correlation is stored for each fixed block.
【0047】全ての黒点に対する処理が終了すると、ブ
ロック位置設定部11は、ヒストグラム蓄積部13とマ
ッチング部15に処理終了を知らせる信号を送る。ヒス
トグラム蓄積部13は、処理終了の信号が入力される
と、全ての直前フレーム用メモリ(A)の内容が、対応
する一時記憶用メモリ(B)の値により更新される。When the processing for all the black dots is completed, the block position setting section 11 sends a signal to the histogram accumulating section 13 and the matching section 15 to notify the end of the processing. When the processing end signal is input, the histogram storage unit 13 updates the contents of all the previous frame memories (A) with the corresponding values of the temporary storage memory (B).
【0048】一方、マッチング部15は、全画面相関算
出部16に対して、各固定ブロックに関する相関値を出
力し、全画面相関算出部16は、相関の高い方から8個
の相関値を選び、その和を全画面相関値として出力す
る。On the other hand, the matching section 15 outputs the correlation value for each fixed block to the full screen correlation calculating section 16, and the full screen correlation calculating section 16 selects eight correlation values from the one having the highest correlation. , The sum is output as the full screen correlation value.
【0049】そうすると、シーン変化判定部17では、
所定のしきい値と全画面相関算出部16の出力の全画面
相関値とを比較し、全画面相関値がしきい値より小さい
とき、シーン変化有りと判定し、出力端子18から判定
結果を出力する。Then, in the scene change judging section 17,
A predetermined threshold value is compared with the full-screen correlation value output from the full-screen correlation calculation unit 16. When the full-screen correlation value is smaller than the threshold value, it is determined that there is a scene change, and the determination result is output from the output terminal 18. Output.
【0050】以上が1つのフレームに対する処理であ
る。以後のフレームに対しても同様の処理を行い、順
次、シーン変化があるかどうかの判定結果を出力する。The above is the processing for one frame. The same processing is performed for the subsequent frames, and the determination result as to whether or not there is a scene change is sequentially output.
【0051】以上説明したように、ブロック内のヒスト
グラムの相関を調べる際、同じ位置のブロック同志では
なく、近傍で最も相関が高い位置のブロックとのヒスト
グラムの相関を求めることにより、ブロックの境界付近
で被写体が移動しても相関が高いと判定できる。従っ
て、局所的な画像変動の影響を抑えたままで、シーン変
化ありと判定されないで被写体が移動できる範囲を拡張
することができ、従来のブロック内ヒストグラムを用い
たシーン変化検出方法の、局所的な画像変動の影響が少
ないという利点を保持したまま、シーン変化の誤検出、
検出漏れを減少できる。又、これにより、編集作業を行
う際にシーン変化を正確に見つけることができ、ブラウ
ジングやテープの位置合わせなど編集作業の効率を向上
させることができる。As described above, when investigating the correlation of the histograms in a block, the correlation of the histogram is calculated not with the blocks at the same position but with the block having the highest correlation in the vicinity, so that the vicinity of the block boundary is determined. Therefore, even if the subject moves, it can be determined that the correlation is high. Therefore, it is possible to extend the range in which the subject can move without being determined to have a scene change, while suppressing the influence of local image variation, and to reduce the local change of the scene change detection method using the conventional in-block histogram. False detection of scene changes, while maintaining the advantage of being less affected by image variations
The detection omission can be reduced. Further, this makes it possible to accurately detect a scene change when performing editing work, and improve the efficiency of editing work such as browsing and tape position alignment.
【0052】なお、上記実施例では、ヒストグラムの相
関計算方法として、ヒストグラム差分の絶対値の総和を
用いたが、これに限らず、例えば従来手法で行われてい
るようにχ2検定等を用いてもよい。In the above embodiment, the sum of absolute values of histogram differences is used as the histogram correlation calculation method. However, the present invention is not limited to this. For example, a χ2 test or the like may be used as in the conventional method. Good.
【0053】また、上記実施例では、画像情報として色
レベルのヒストグラムを用いて相関計算を行ったが、こ
れに限らず、例えば輝度レベル等のヒストグラムを用い
ても良い。Further, in the above embodiment, the correlation calculation is performed using the histogram of the color level as the image information, but the present invention is not limited to this, and a histogram of the brightness level or the like may be used.
【0054】また、上記実施例では、固定ブロック近傍
の所定領域である固定ブロックの周辺領域のブロックが
存在し得る範囲を、固定ブロックに隣接する固定ブロッ
クで構成される範囲としたが(図2参照)、領域の範囲
はこれに限定されるものではない。Further, in the above embodiment, the range in which the blocks in the peripheral area of the fixed block, which is the predetermined area near the fixed block, can exist is the range constituted by the fixed blocks adjacent to the fixed block (see FIG. 2). However, the range of the area is not limited to this.
【0055】また、上記実施例では、移動ブロックの設
定を水平・垂直方向にそれぞれ1/5V,1/5Hの間
隔に取ったが、この間隔に限定されるものではない。In the above embodiment, the moving blocks are set at the intervals of 1 / 5V and 1 / 5H in the horizontal and vertical directions, respectively, but the interval is not limited to this.
【0056】また、上記実施例では、全画面相関値を求
めるのに全部(16個)のブロック相関値のうちその半
数(8個)を用いたが、これに限らず、例えば全部、又
は6個等何個を用いてもよい。Further, in the above-described embodiment, half (8) of all (16) block correlation values are used to obtain the full screen correlation value, but the present invention is not limited to this, for example, all or 6. Any number such as an individual may be used.
【0057】また、上記実施例では、画面を16個のブ
ロックに分割したが、分割数はこれに限定されるもので
はない。Although the screen is divided into 16 blocks in the above embodiment, the number of divisions is not limited to this.
【0058】また、上記実施例では、固定ブロックのヒ
ストグラムを前フレームから算出し、移動ブロックのヒ
ストグラムを後フレームから算出する構成としたが、こ
れとは逆に、固定ブロックのヒストグラムを後フレーム
から算出し、移動ブロックのヒストグラムを前フレーム
から算出する構成としてもよい。In the above embodiment, the fixed block histogram is calculated from the previous frame, and the moving block histogram is calculated from the subsequent frame. Conversely, the fixed block histogram is calculated from the subsequent frame. Alternatively, the histogram of the moving block may be calculated from the previous frame.
【0059】また、上記実施例では、第1固定ブロック
のブロック相関値は、求められた、前記第1固定ブロッ
クの画像情報と前記移動ブロックの画像情報との間の相
関値の中の最大値であったが、本発明はこれに限らず、
最大値と2番目に大きい値との平均値等、他の方法で得
た値であってもよい。Further, in the above embodiment, the block correlation value of the first fixed block is the maximum value among the obtained correlation values between the image information of the first fixed block and the image information of the moving block. However, the present invention is not limited to this,
It may be a value obtained by another method such as an average value of the maximum value and the second largest value.
【0060】また、上記実施例では、隣接するフレーム
同士を比較する構成としたが、これに限らず、何個か離
れたフレーム同士を比較するようにしてもよい。Further, in the above-mentioned embodiment, although the configuration is such that adjacent frames are compared with each other, the present invention is not limited to this, and it is also possible to compare several frames apart from each other.
【0061】また、上記実施例では、各処理部を専用の
ハードウェアにより構成したが、これに代えて、同様の
機能をコンピュータを用いてソフトウェア的に実現して
もよい。Further, in the above-mentioned embodiment, each processing unit is constituted by dedicated hardware, but instead of this, the same function may be realized by software using a computer.
【0062】次に、図4に示す本発明におけるシーン変
化検出方法(又は装置)を用いた動画像編集装置の一実
施例について説明する。本実施例の動画像編集装置は、
動画像の映像信号からシーン変化を検出して、シーン変
化とシーン変化の間の一塊の動画像を代表する画像を表
示することにより、ブラウジングの作業を容易にするも
のである。Next, an embodiment of a moving image editing apparatus using the scene change detecting method (or apparatus) of the present invention shown in FIG. 4 will be described. The moving image editing apparatus of this embodiment is
By detecting a scene change from a video signal of a moving image and displaying an image representing a lump of moving images between the scene changes, browsing work is facilitated.
【0063】図4において、動画像記憶部1は、ビデオ
テープ又は光ディスクなどから構成される動画像格納手
段であり、動画像の映像信号や同期信号などが記録され
ている。操作入力部2は、ブラウジング開始、シーン変
化検出開始などの作業の命令をユーザが入力するための
入力装置である。画像出力部3は、ディスプレイなどの
出力装置に画像を表示する動画像表示手段である。シー
ン変化検出部5は、本発明のシーン変化検出方法を用い
て、動画像記憶部1の動画像の映像信号からシーン変化
を検出するシーン変化検出装置である。シーン変化記憶
部6は、シーン変化検出部5からの処理結果を基に、シ
ーンの冒頭のフレーム番号を記憶するシーン変化格納手
段である。制御部4は、前述の動画像記憶部1、操作入
力部2、画像出力部3、シーン変化検出部5、シーン変
化記憶部6の間の信号のやりとりを制御するものであ
る。In FIG. 4, the moving image storage unit 1 is a moving image storage means composed of a video tape, an optical disc, or the like, and stores video signals and synchronizing signals of moving images. The operation input unit 2 is an input device for a user to input a command for work such as browsing start and scene change detection start. The image output unit 3 is a moving image display unit that displays an image on an output device such as a display. The scene change detection unit 5 is a scene change detection device that detects a scene change from a video signal of a moving image in the moving image storage unit 1 using the scene change detection method of the present invention. The scene change storage unit 6 is a scene change storage unit that stores the beginning frame number of the scene based on the processing result from the scene change detection unit 5. The control unit 4 controls the exchange of signals among the moving image storage unit 1, the operation input unit 2, the image output unit 3, the scene change detection unit 5, and the scene change storage unit 6 described above.
【0064】次に、上記実施例の動画像編集装置の動作
について説明する。Next, the operation of the moving image editing apparatus of the above embodiment will be described.
【0065】いま、操作入力部2においてシーン変化検
出開始のボタン入力の信号が検知されると、動画像記憶
部1の全てのシーン変化を検出し、それをシーン変化記
憶部6に蓄える処理が始まる。When the operation input section 2 detects a button input signal for starting the scene change detection, all the scene changes in the moving image storage section 1 are detected and stored in the scene change storage section 6. Begins.
【0066】まず、制御部4は、動画像記憶部1の映像
信号をシーン変化検出部5に伝送する。シーン変化検出
部5では、前述した本発明のシーン変化検出方法を用い
てシーン変化を検出し、その検出結果によりシーン冒頭
のフレーム番号がシーン変化記憶部6に記録される。以
上の処理を動画像記憶部1に記憶されている全てのフレ
ーム、又は指定した範囲のフレームに対して行い、その
中の全てのシーン変化がシーン変化記憶部6に記憶され
た時点で処理を終了する。First, the control unit 4 transmits the video signal of the moving image storage unit 1 to the scene change detection unit 5. The scene change detection unit 5 detects a scene change using the scene change detection method of the present invention described above, and the frame number at the beginning of the scene is recorded in the scene change storage unit 6 based on the detection result. The above processing is performed for all the frames stored in the moving image storage unit 1 or the frames in the specified range, and the processing is performed when all the scene changes therein are stored in the scene change storage unit 6. finish.
【0067】この状態で、操作入力部2でブラウジング
開始のボタン入力の信号が検知されると、シーン冒頭の
画像をディスプレイ上に表示する処理が行われる。ま
ず、制御部4はシーン変化記憶部6で記録されたフレー
ム番号を参照し、動画像記憶部1を制御して対応するフ
レームを検索し、そのフレームの映像信号を画像出力部
3へ伝送する。画像出力部3は、複数の画像がアイコン
の形で同時に表示できるように設定されてあり、伝送さ
れた画像をディスプレイ上に表示する。In this state, when the operation input section 2 detects a button input signal for starting browsing, processing for displaying the image at the beginning of the scene on the display is performed. First, the control unit 4 refers to the frame number recorded in the scene change storage unit 6, controls the moving image storage unit 1 to search for the corresponding frame, and transmits the video signal of the frame to the image output unit 3. . The image output unit 3 is set so that a plurality of images can be simultaneously displayed in the form of an icon, and the transmitted image is displayed on the display.
【0068】以上説明したように、本発明のシーン変化
検出方法で求めた変化点を基に、シーン冒頭の画像を表
示することにより、画像をシーン毎に過不足無く見るこ
とができ、動画像の内容を効率よく簡単に把握すること
が可能になる。すなわち、ブラウジングで同じシーンの
画像が何度も表示されたり、次のシーン冒頭までの早送
りでシーンの変化点を飛ばしてしまう、などの問題が起
きず、効率の良い編集が可能となる。As described above, by displaying the image at the beginning of the scene based on the change point obtained by the scene change detection method of the present invention, the image can be viewed without excess or deficiency for each scene, and the moving image can be viewed. It becomes possible to grasp the contents of efficiently and easily. That is, it is possible to perform efficient editing without problems such as displaying the image of the same scene many times during browsing, skipping the changing point of the scene by fast-forwarding to the beginning of the next scene, and the like.
【0069】なお、上記実施例では、シーン冒頭の画像
だけを表示すると説明したが、これに限らず、例えば、
シーン冒頭から所定時間経過したフレームを選んだり、
シーン期間中の真ん中のフレームを選ぶ等により表示す
るようにしてもよい。In the above embodiment, it was explained that only the image at the beginning of the scene is displayed, but the present invention is not limited to this.
Select a frame that has passed a predetermined time from the beginning of the scene,
It may be displayed by selecting the middle frame during the scene.
【0070】また、上記実施例では、全てのシーン変化
をアイコンの形で同時に表示する方法を説明したが、こ
れに限らず、シーン毎に複数のフレームを選んで、ダイ
ジェストのように順次表示するようにしてもよい。In the above embodiment, the method of simultaneously displaying all the scene changes in the form of icons has been described, but the present invention is not limited to this, and a plurality of frames are selected for each scene and sequentially displayed like a digest. You may do it.
【0071】また、上記実施例では、ブラウジングする
ために、シーンを代表する画像を表示する構成として説
明したが、これに限らず、図4と同様の構成で、シーン
冒頭までの巻き戻し、次のシーンまでの再生・早送りな
どのテープの位置合わせの作業を行う構成としてもよ
い。Further, in the above-described embodiment, the image representing the scene is displayed for browsing. However, the present invention is not limited to this, and the configuration similar to that of FIG. It may be configured to perform tape position adjustment work such as reproduction and fast-forward to the scene.
【0072】[0072]
【発明の効果】以上述べたところから明らかなように本
発明は、画面内部の動きに影響されないでシーン変化の
判定ができるという長所を有する。As is apparent from the above description, the present invention has an advantage that a scene change can be determined without being influenced by the movement inside the screen.
【0073】また本発明は、画像フレームのシーン変化
を検出するシーン変化検出装置を備えた動画像編集装置
であるので、画像内容の把握し易いブラウジングや、正
確なテープ位置合わせができるという利点がある。Further, since the present invention is a moving image editing apparatus equipped with a scene change detecting device for detecting a scene change of an image frame, there is an advantage that it is possible to browse the image contents easily and perform accurate tape position alignment. is there.
【図1】本発明にかかる一実施例のシーン変化検出装置
の機能ブロック図である。FIG. 1 is a functional block diagram of a scene change detection apparatus according to an embodiment of the present invention.
【図2】同実施例における隣接フレーム間でヒストグラ
ムを比較するブロックの位置関係を示す図である。FIG. 2 is a diagram showing a positional relationship of blocks for comparing histograms between adjacent frames in the embodiment.
【図3】同実施例におけるヒストグラム計算を行うブロ
ックの中心位置を黒点で示した図である。FIG. 3 is a diagram showing the center position of a block for which histogram calculation is performed in the same embodiment as a black dot.
【図4】本発明にかかる一実施例の動画像編集装置の構
成を示すブロック図である。FIG. 4 is a block diagram showing a configuration of a moving image editing apparatus according to an embodiment of the present invention.
【図5】従来のシーン変化検出方法における隣接フレー
ム間でヒストグラムを比較するブロックの位置関係を示
す図である。FIG. 5 is a diagram showing a positional relationship of blocks for comparing histograms between adjacent frames in a conventional scene change detection method.
1 動画像記憶部 2 操作入力部 3 画像出力部 4 制御部 5 シーン変化検出部 6 シーン変化記憶部 11 ブロック位置設定部 12 ヒストグラム算出部 13 ヒストグラム蓄積部 14 相関値算出部 15 マッチング部 16 全画面相関算出部 17 シーン変化判定部 1 Moving image storage unit 2 Operation input unit 3 Image output unit 4 Control unit 5 Scene change detection unit 6 Scene change storage unit 11 Block position setting unit 12 Histogram calculation unit 13 Histogram storage unit 14 Correlation value calculation unit 15 Matching unit 16 Full screen Correlation calculation unit 17 Scene change determination unit
Claims (6)
ロックに分割し、また、第2のフレーム画像を、前記第
1固定ブロックの分割の仕方と同じように、第2固定ブ
ロックに分割し、その第2固定ブロック毎に、その第2
固定ブロックと同じ大きさの移動ブロックを複数個前記
第2固定ブロック近傍の所定領域内に、前記第2固定ブ
ロックと重なり又は重ならない状態で設定し、前記第1
固定ブロック内の画像に関する所定の画像情報を算出
し、また、その第1固定ブロックに対応する前記第2固
定ブロックに関する複数個の前記移動ブロック内のそれ
ぞれの前記画像情報を算出し、前記第1固定ブロックの
画像情報と前記移動ブロックの画像情報との間の相関値
をそれぞれ算出し、その算出された相関値からその第1
固定ブロックのブロック相関値を求め、そのブロック相
関値を前記第1固定ブロック全てに対して求め、それに
基づいて、前記フレーム画像のシーン変化があるかどう
かを判定することを特徴とするシーン変化検出方法。1. A first frame image is divided into a plurality of first fixed blocks, and a second frame image is divided into second fixed blocks in the same manner as the first fixed block is divided. Then, for each second fixed block, the second
A plurality of moving blocks having the same size as the fixed block are set in a predetermined area near the second fixed block so as to overlap or not overlap with the second fixed block.
Predetermined image information about the image in the fixed block is calculated, and the image information of each of the plurality of moving blocks related to the second fixed block corresponding to the first fixed block is calculated, and the first image information is calculated. The correlation value between the image information of the fixed block and the image information of the moving block is calculated, and the first correlation value is calculated from the calculated correlation value.
Scene change detection, characterized in that a block correlation value of a fixed block is obtained, the block correlation value is obtained for all the first fixed blocks, and whether or not there is a scene change of the frame image is determined based on the block correlation value. Method.
求められた、前記第1固定ブロックの画像情報と前記移
動ブロックの画像情報との間の相関値の中の最大値であ
ることを特徴とする請求項1記載のシーン変化検出方
法。2. The block correlation value of the first fixed block is
The scene change detection method according to claim 1, wherein the scene change detection method is a maximum value among the obtained correlation values between the image information of the first fixed block and the image information of the moving block.
全てに対して求めた後、前記ブロック相関値のうち高い
方から所定個数を抽出し、その抽出されたブロック相関
値に基づき、全画面に対する相関値を代表する全画面相
関値を求め、その全画面相関値が所定の閾値より低い場
合に、前記フレーム画像のシーン変化があると判定する
ことを特徴とする請求項1、又は2記載のシーン変化検
出方法。3. After obtaining a block correlation value for all of the first fixed blocks, a predetermined number is extracted from the higher one of the block correlation values, and based on the extracted block correlation value, a whole screen is extracted. 3. The full-screen correlation value representing the correlation value is obtained, and when the full-screen correlation value is lower than a predetermined threshold value, it is determined that there is a scene change of the frame image. Scene change detection method.
であることを特徴とする請求項1、又は2記載のシーン
変化検出方法。4. The scene change detection method according to claim 1 or 2, wherein the predetermined image information is a color signal or a luminance signal.
ロックに分割し、また、第2のフレーム画像を、前記第
1固定ブロックの分割の仕方と同じように、第2固定ブ
ロックに分割し、その第2固定ブロック毎に、その第2
固定ブロックと同じ大きさの移動ブロックを複数個前記
第2固定ブロック近傍の所定領域内に、前記第2固定ブ
ロックと重なり又は重ならない状態で設定するブロック
設定手段と、前記第1固定ブロック内の画像に関する所
定の画像情報を算出し、また、その第1固定ブロックに
対応する前記第2固定ブロックに関する複数個の前記移
動ブロック内のそれぞれの前記画像情報を算出するヒス
トグラム算出手段と、前記第1固定ブロックの画像情報
と前記移動ブロックの画像情報との間の相関値をそれぞ
れ算出し、その算出された相関値の中の最大値を、その
第1固定ブロックのブロック相関値とし、そのブロック
相関値を前記第1固定ブロック全てに対して求めるブロ
ック相関値算出手段と、そのブロック相関値算出手段に
より求められたブロック相関値に基づき、前記フレーム
画像にシーン変化があるかどうかを判定するシーン変化
判定手段とを備えたことを特徴とするシーン変化検出装
置。5. The first frame image is divided into a plurality of first fixed blocks, and the second frame image is divided into second fixed blocks in the same manner as the first fixed block is divided. Then, for each second fixed block, the second
Block setting means for setting a plurality of moving blocks having the same size as the fixed block in a predetermined region near the second fixed block in a state of overlapping or not overlapping with the second fixed block, and in the first fixed block. Histogram calculation means for calculating predetermined image information about an image, and calculating the image information of each of the plurality of moving blocks for the second fixed block corresponding to the first fixed block, The correlation value between the image information of the fixed block and the image information of the moving block is calculated, and the maximum value among the calculated correlation values is set as the block correlation value of the first fixed block. A block correlation value calculation means for obtaining a value for all the first fixed blocks, and a block correlation value calculation means for obtaining the block correlation value calculation means. Based on the click correlation value, the scene change detecting device characterized by comprising a scene change judging means for judging whether said frame image is a scene change.
格納手段と、その格納された画像フレームのシーン変化
を検出する請求項5の前記シーン変化検出装置と、その
検出されたシーン変化が生じた動画像のフレーム位置情
報を格納するシーン変化格納手段と、その格納されたフ
レーム位置情報に応じて、前記フレーム画像を表示する
動画像表示手段とを備えたことを特徴とする動画像編集
装置。6. A moving image storage means for storing a frame image of a moving image, the scene change detection device according to claim 5 for detecting a scene change of the stored image frame, and the detected scene change occurs. And a scene change storage unit for storing frame position information of the moving image and a moving image display unit for displaying the frame image according to the stored frame position information. .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12716993A JPH06339109A (en) | 1993-05-28 | 1993-05-28 | Scene change detection method, its device and moving picture edit device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12716993A JPH06339109A (en) | 1993-05-28 | 1993-05-28 | Scene change detection method, its device and moving picture edit device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH06339109A true JPH06339109A (en) | 1994-12-06 |
Family
ID=14953373
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12716993A Pending JPH06339109A (en) | 1993-05-28 | 1993-05-28 | Scene change detection method, its device and moving picture edit device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH06339109A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0637027A3 (en) * | 1993-07-29 | 1995-11-29 | Hewlett Packard Co | Detecting scene cuts in video processing. |
| US5894333A (en) * | 1996-01-30 | 1999-04-13 | Mitsubishi Denki Kabushiki Kaisha | Representative image display method, representative image display apparatus, and motion image search appratus employing the representative image display apparatus |
-
1993
- 1993-05-28 JP JP12716993A patent/JPH06339109A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0637027A3 (en) * | 1993-07-29 | 1995-11-29 | Hewlett Packard Co | Detecting scene cuts in video processing. |
| US5894333A (en) * | 1996-01-30 | 1999-04-13 | Mitsubishi Denki Kabushiki Kaisha | Representative image display method, representative image display apparatus, and motion image search appratus employing the representative image display apparatus |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4727117B2 (en) | Intelligent feature selection and pan / zoom control | |
| EP0729117B1 (en) | Method and apparatus for detecting a point of change in moving images | |
| US7376347B2 (en) | Digital still camera, image reproducing apparatus, face image display apparatus and methods of controlling same | |
| US5801765A (en) | Scene-change detection method that distinguishes between gradual and sudden scene changes | |
| US5638485A (en) | Video signal processing apparatus for processing video signals with different aspect ratios | |
| US5179449A (en) | Scene boundary detecting apparatus | |
| JP4241709B2 (en) | Image processing device | |
| US7433588B2 (en) | Camera control apparatus, camera control method, program and storage medium | |
| JP3230858B2 (en) | Video priority automatic selection method and video digest automatic display device | |
| US8036470B2 (en) | Image processing apparatus, image processing method, and program | |
| EP1035510A2 (en) | Control method and apparatus of monitoring television camera according to photographing conditions of object, and image monitoring and recording apparatus | |
| US7853083B2 (en) | Image processing apparatus and method, program recording medium, and program therefor | |
| JPH11134352A (en) | Moving image display method | |
| US20040246259A1 (en) | Music program contents menu creation apparatus and method | |
| JPH06339109A (en) | Scene change detection method, its device and moving picture edit device | |
| JP4175622B2 (en) | Image display system | |
| JPH07236153A (en) | Cut point detection and cut screen group detection device for moving images | |
| JP3421859B2 (en) | Method and apparatus for detecting motion vector of panoramic image creating apparatus | |
| JP3157928B2 (en) | Video pick-up device | |
| JP3624677B2 (en) | Special effect detection device for moving image and recording medium recording program | |
| JP3067043B2 (en) | Automatic video cutting method | |
| JP3625935B2 (en) | Important image extracting apparatus and important image extracting method for moving images | |
| JP3024574B2 (en) | Video search device | |
| JP7218198B2 (en) | Video playback device, video playback method and program | |
| JPH06333048A (en) | Animation image processor |