JP2000333079A - Background elimination system, background eliminating method, and recording medium storing background eliminating program - Google Patents

Background elimination system, background eliminating method, and recording medium storing background eliminating program

Info

Publication number
JP2000333079A
JP2000333079A JP11139272A JP13927299A JP2000333079A JP 2000333079 A JP2000333079 A JP 2000333079A JP 11139272 A JP11139272 A JP 11139272A JP 13927299 A JP13927299 A JP 13927299A JP 2000333079 A JP2000333079 A JP 2000333079A
Authority
JP
Japan
Prior art keywords
image
background
mask
mask image
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11139272A
Other languages
Japanese (ja)
Other versions
JP3379475B2 (en
Inventor
Mamoru Hashimoto
守 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP13927299A priority Critical patent/JP3379475B2/en
Publication of JP2000333079A publication Critical patent/JP2000333079A/en
Application granted granted Critical
Publication of JP3379475B2 publication Critical patent/JP3379475B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

PROBLEM TO BE SOLVED: To obtain a background eliminating system by which a visually natural background-eliminated image can be obtained by leaving a true background area in existence on the inside of a foreground area as it is in the case of correcting a mask image. SOLUTION: A mask image generating means 101 generates a mask image from an image entered by an image input means 110. Then a distance image generating means 102 generates a distance image corresponding to the mask image. Moreover, a mask image update means 103 refers to the distance image to update the mask image by revising a continuous background area in the mask image consisting of pixels only with a distance below a specified value into a foreground area. Finally a background-eliminated image generating means 104 uses the mask image obtained by the mask image update means 103 to apply mask processing to the input image, thereby obtaining a background eliminated image.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は画像処理に関し、特
にマスク画像中の背景領域において真の背景領域以外の
部分を前景領域に修正することで高品質な背景除去画像
が得られる背景除去システム、背景除去方法および背景
除去用プログラムを記録した記録媒体に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to image processing, and more particularly, to a background removal system capable of obtaining a high-quality background removal image by correcting a portion other than a true background region in a background region in a mask image to a foreground region. The present invention relates to a background removal method and a recording medium that records a background removal program.

【0002】[0002]

【従来の技術】従来、背景除去処理では、キー信号とな
る画像から閾値処理によって画像中の前景領域を切り出
すことがよく行なわれる。たとえば、クロマキーによっ
て背景除去処理を行なう場合、画像信号中の青色成分を
赤色成分・緑色成分の平均と比較して、その差が閾値よ
り大きい場合にはそこを背景とし、閾値以下である場合
は前景とするといった処理が行なわれる。また、あらか
じめ撮影された背景画像と入力画像との差分をとり、閾
値より大きい場合はそこを前景とし、閾値以下である場
合は背景とするといった、いわゆる背景差分による背景
除去も行なわれている。
2. Description of the Related Art Conventionally, in background removal processing, a foreground area in an image serving as a key signal is often cut out by threshold processing. For example, when performing background removal processing by chroma key, the blue component in the image signal is compared with the average of the red component and the green component, and if the difference is larger than the threshold value, it is set as the background. Processing such as setting a foreground is performed. Background subtraction is also performed, in which a difference between a previously captured background image and an input image is obtained, and the difference is set as the foreground when the difference is larger than the threshold, and the background is set when the difference is equal to or smaller than the threshold.

【0003】しかし、クロマキーによって背景除去処理
を行なう際には、衣服や装飾品に青い色のものがあった
場合、そこが背景と誤って判定されることがあり、ま
た、背景差分による背景除去を行なう際には、背景との
輝度差・色差が小さい箇所で前景が背景と誤って判定さ
れることがある。これらの箇所では、本来は前景の映像
が表示されるべきであるが、背景の映像が合成されてし
まう。そこで、この誤判定部分を前景に繰り込むため
に、たとえば特許第2749741号で開示されている
塗りつぶし法が用いられる。この方法では、最も外側の
連結背景領域のみを真の背景とし、それ以外の背景領域
を前景領域に変更することで、上記の誤判定部分を前景
に繰り込むものである。
[0003] However, when performing background removal processing using chroma key, if clothes or ornaments have a blue color, they may be erroneously determined to be the background. Is performed, the foreground may be erroneously determined to be the background at a portion where the luminance difference and the color difference from the background are small. In these places, the foreground image should be displayed, but the background image is synthesized. Therefore, in order to incorporate this erroneously determined portion into the foreground, for example, a painting method disclosed in Japanese Patent No. 2749741 is used. In this method, only the outermost connected background area is set as the true background, and the other background areas are changed to the foreground area, whereby the erroneously determined portion is brought into the foreground.

【0004】[0004]

【発明が解決しようとする課題】ところが上述の方法に
は、たとえば腕と胴との間にできた空間のように、前景
領域の内部にある真の背景領域までもが前景に修正され
てしまい、得られる背景除去画像が視覚的に不自然にな
るという課題があった。その理由は、背景領域のうち最
も外側のもの以外をすべて前景領域に修正してしまうか
らである。
However, in the above-described method, even a true background area inside the foreground area, such as a space formed between the arm and the torso, is corrected to the foreground. However, there is a problem that an obtained background-removed image becomes visually unnatural. The reason is that all of the background area except the outermost one is corrected to the foreground area.

【0005】本発明はこのような背景の下になされたも
ので、前景領域内部にある真の背景領域をそのまま生か
すことで、視覚的に自然な背景除去画像が得られる背景
除去システムを提供することにある。
The present invention has been made under such a background, and provides a background removal system capable of obtaining a visually natural background removal image by utilizing a true background region inside a foreground region as it is. It is in.

【0006】[0006]

【課題を解決するための手段】請求項1に記載の発明
は、入力された動画像から抽出領域を表わすマスク画像
を生成するマスク画像生成手段と、該マスク画像生成手
段によって生成されたマスク画像から距離画像を生成す
る距離画像生成手段と、該距離画像生成手段によって生
成された距離画像を参照して、マスク画像中の連結背景
領域のうち、規定値以下の距離の画素のみを含む領域を
前景領域に更新するマスク画像更新手段と、該マスク画
像更新手段によって更新されたマスク画像を用いて入力
された動画像から背景を除去した画像を生成する背景除
去画像生成手段とを備えたことを特徴とする背景除去シ
ステムを提供する。
According to a first aspect of the present invention, there is provided a mask image generating means for generating a mask image representing an extraction area from an input moving image, and a mask image generated by the mask image generating means. A distance image generating means for generating a distance image from the distance image generating means, and referring to the distance image generated by the distance image generating means, an area including only pixels having a distance equal to or less than a specified value in the connected background area in the mask image. Mask image updating means for updating the foreground area; and background-removed image generating means for generating an image obtained by removing a background from a moving image input using the mask image updated by the mask image updating means. A featured background removal system is provided.

【0007】請求項2に記載の発明は、入力された動画
像から抽出領域を表わすマスク画像を生成する過程と、
該過程によって生成されたマスク画像から距離画像を生
成する過程と、該過程によって生成された距離画像を参
照して、マスク画像中の連結背景領域のうち、規定値以
下の距離の画素のみを含む領域を前景領域に更新する過
程と、該過程によって更新されたマスク画像を用いて入
力された動画像から背景を除去した画像を生成する過程
とを有することを特徴とする背景除去方法を提供する。
According to the second aspect of the present invention, there is provided a process for generating a mask image representing an extraction region from an input moving image,
A step of generating a distance image from the mask image generated by the step; and, by referring to the distance image generated by the step, including only pixels having a distance equal to or less than a specified value in the connected background area in the mask image. A background removing method comprising: updating a region to a foreground region; and generating an image obtained by removing a background from an input moving image using a mask image updated by the process. .

【0008】また請求項3に記載の発明は、入力された
動画像から抽出領域を表わすマスク画像を生成するマス
ク画像生成処理と、該処理によって生成されたマスク画
像から距離画像を生成する距離画像生成処理と、該処理
によって生成された距離画像を参照して、マスク画像中
の連結背景領域のうち、規定値以下の距離の画素のみを
含む領域を前景領域に更新するマスク画像更新処理と、
該処理によって更新されたマスク画像を用いて入力され
た動画像から背景を除去した画像を生成する背景除去画
像生成処理とからなる背景除去処理をコンピュータに実
行させるためのプログラムを記録したことを特徴とする
記録媒体を提供する。
According to a third aspect of the present invention, there is provided a mask image generating process for generating a mask image representing an extraction area from an input moving image, and a distance image for generating a distance image from the mask image generated by the process. Generation processing, with reference to the distance image generated by the processing, in the connected background area in the mask image, a mask image update processing to update an area including only pixels of a distance equal to or less than a specified value to the foreground area,
A program for causing a computer to execute a background removal process including a background removal image generation process for generating an image obtained by removing a background from a moving image input using a mask image updated by the process is characterized by being recorded. Is provided.

【0009】本発明の背景除去システムは、入力された
動画像から抽出領域を表わすマスク画像を生成するマス
ク画像生成手段と、前記マスク画像生成手段によって生
成されたマスク画像から距離画像を生成する距離画像生
成手段と、前記距離画像生成手段によって生成された距
離画像を参照して、マスク画像中の連結背景領域のう
ち、規定値以下の距離の画素のみを含む領域を前景領域
に更新するマスク画像更新手段と、前記マスク画像更新
手段によって更新されたマスク画像を用いて入力された
動画像から背景除去画像を生成する背景除去画像生成手
段とを有する。このような構成を採用し、規定値以下の
大きさの背景領域のみを前景領域に修正することで、本
発明の目的を達成することができる。
A background removal system according to the present invention includes a mask image generating means for generating a mask image representing an extraction area from an input moving image, and a distance for generating a distance image from the mask image generated by the mask image generating means. A mask image for updating, to a foreground area, an area including only pixels having a distance equal to or less than a specified value in the connected background area in the mask image by referring to the distance image generated by the image generating means and the distance image generating means; Updating means; and a background-removed image generating means for generating a background-removed image from a moving image input using the mask image updated by the mask image updating means. The object of the present invention can be achieved by adopting such a configuration and correcting only the background region having a size equal to or smaller than the specified value to the foreground region.

【0010】[0010]

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して詳細に説明する。 <第1の実施形態>図1は本発明の第1の実施形態の構
成を示すブロック図である。この図は、プログラム制御
により動作するコンピュータ(画像処理装置)100
と、画像入力手段(画像入力装置)110と、画像出力
手段(画像出力装置)120とから構成されている。ま
た、コンピュータ(画像処理装置)100は、マスク画
像生成手段101と、距離画像生成手段102と、マス
ク画像更新手段103と、背景除去画像生成手段104
とを含む。
Embodiments of the present invention will be described below in detail with reference to the drawings. <First Embodiment> FIG. 1 is a block diagram showing the structure of a first embodiment of the present invention. This figure shows a computer (image processing apparatus) 100 operated under program control.
And an image input unit (image input device) 110 and an image output unit (image output device) 120. The computer (image processing apparatus) 100 includes a mask image generation unit 101, a distance image generation unit 102, a mask image update unit 103, and a background removal image generation unit 104.
And

【0011】これらの手段は、それぞれ概略つぎのよう
に動作する。マスク画像生成手段101は、画像入力手
段110によって入力された画像に対して、抽出対象の
領域を表わすマスク画像を生成する。距離画像生成手段
102は、マスク画像生成手段101によって生成され
たマスク画像から、領域境界からの距離を画素値として
もつ距離画像を生成する。マスク画像更新手段103
は、距離画像生成手段102によって生成された距離画
像を参照することにより、マスク画像生成手段101に
よって生成されたマスク画像を更新する。背景除去画像
生成手段104は、マスク画像更新手段103によって
更新されたマスク画像を用いて、画像入力手段110に
よって入力された入力画像にマスク処理を行ない、画像
出力手段120に出力する。
Each of these means operates as follows. The mask image generation unit 101 generates a mask image representing an area to be extracted from the image input by the image input unit 110. The distance image generation unit 102 generates a distance image having a distance from an area boundary as a pixel value from the mask image generated by the mask image generation unit 101. Mask image updating means 103
Updates the mask image generated by the mask image generating means 101 by referring to the distance image generated by the distance image generating means 102. Using the mask image updated by the mask image updating unit 103, the background-removed image generating unit 104 performs a mask process on the input image input by the image input unit 110 and outputs the result to the image output unit 120.

【0012】次に、図1及び図2の流れ図を参照して本
実施形態の全体の動作について詳細に説明する。まず、
画像入力手段(画像入力装置)110によって入力画像
を1画面取り込む(図2のステップ201)。取り込ま
れた画像から、マスク画像生成手段101がマスク画像
を生成し(ステップ202)、生成されたマスク画像に
対して距離画像生成手段102がマスク画像の境界から
の距離を画素値としてもつ距離画像を生成する(ステッ
プ203)。
Next, the overall operation of this embodiment will be described in detail with reference to the flowcharts of FIGS. First,
An input image is captured on one screen by the image input means (image input device) 110 (step 201 in FIG. 2). The mask image generation unit 101 generates a mask image from the captured image (step 202), and the distance image generation unit 102 generates a distance image having a distance from the boundary of the mask image as a pixel value with respect to the generated mask image. Is generated (step 203).

【0013】さらに、マスク画像更新手段103は、マ
スク画像生成手段101が生成したマスク画像に対し
て、距離画像生成手段102が生成した距離画像を参照
し、規定値以下の距離の画素のみからなる連結背景領域
を前景領域に更新する(ステップ204)。背景除去画
像生成手段104は、マスク画像更新手段103によっ
て更新されたマスク画像を用いて画像入力手段(画像入
力装置)110によって取り込まれた画像の背景を除去
する(ステップ205)。最後に、画像出力手段(画像
出力装置)120が得られた背景除去画像を出力する
(ステップ206)。取り込んだ画像が最後の画像でな
ければ次の画面の取り込み(ステップ201)に戻り、
最後の画像であった場合は処理を終了する(ステップ2
07)。
Further, the mask image updating means 103 refers to the distance image generated by the distance image generating means 102 with respect to the mask image generated by the mask image generating means 101, and comprises only pixels having a distance equal to or less than a specified value. The connected background area is updated to the foreground area (step 204). The background-removed image generating unit 104 removes the background of the image captured by the image input unit (image input device) 110 using the mask image updated by the mask image updating unit 103 (Step 205). Finally, the image output means (image output device) 120 outputs the obtained background-removed image (step 206). If the captured image is not the last image, the process returns to the capture of the next screen (step 201),
If it is the last image, the process ends (step 2
07).

【0014】<動作の具体例>次に、図3から図9によ
る動作の具体例を説明するための図を参照して本実施形
態の動作を説明する。本実施形態は、画像入力装置・画
像出力装置としてNTSCコンポジット信号が入出力で
きるビデオキャプチャボードおよびモニタディスプレイ
を、コンピュータとして画像処理プロセッサを搭載した
画像処理ボードを用いる。
<Specific Example of Operation> Next, the operation of this embodiment will be described with reference to the drawings for explaining specific examples of the operation according to FIGS. In this embodiment, a video capture board and a monitor display capable of inputting and outputting an NTSC composite signal are used as an image input device and an image output device, and an image processing board equipped with an image processor is used as a computer.

【0015】ビデオキャプチャボードおよび画像処理ボ
ードは、汎用のパーソナルコンピュータによって制御さ
れる。ビデオキャプチャボードに入力されたビデオ信号
は、各フィールドごとまたは各フレームごとの画像デー
タに変換され、画像処理ボードに送られる。また、画像
処理ボードの処理結果が転送されると、それをビデオ信
号に変換して、接続されたモニタに表示する。
The video capture board and the image processing board are controlled by a general-purpose personal computer. The video signal input to the video capture board is converted into image data for each field or each frame and sent to the image processing board. When the processing result of the image processing board is transferred, it is converted into a video signal and displayed on a connected monitor.

【0016】画像処理ボードには、マスク画像生成手段
と距離画像生成手段とマスク画像更新手段と背景除去画
像生成手段とが含まれる。画像処理ボードは、起動時に
ビデオキャプチャボードから送られてきた画像データを
背景画像として保持し、以後ビデオキャプチャボードよ
り送られてきた入力画像データと背景画像との差分画像
を生成し、閾値で二値化することでマスク画像を生成す
る。その際、マスク画像の各画素値は8ビット非負整数
で表現されているものとし、背景領域の値を0、前景領
域の値を128とおく。マスク画像の例を図3に示す。
The image processing board includes a mask image generating means, a distance image generating means, a mask image updating means, and a background removal image generating means. The image processing board holds the image data sent from the video capture board at the time of startup as a background image, and thereafter generates a difference image between the input image data sent from the video capture board and the background image, and uses the threshold value to generate a difference image. By generating a value, a mask image is generated. At this time, each pixel value of the mask image is represented by an 8-bit non-negative integer, the value of the background area is set to 0, and the value of the foreground area is set to 128. FIG. 3 shows an example of the mask image.

【0017】次に、得られたマスク画像から距離画像を
生成する。距離画像の生成は、まず、前後左右に別領域
に属する画素がある場合に、当該画素に対応する距離画
像の画素値を1とおく。次に、上下左右に同領域の画素
値1の画素が存在する場合、当該画素の距離を2とお
く。以下同様に繰り返し、全画素の距離を設定する。図
3のマスク画像に対応する距離画像を図4に示す。次
に、得られた距離画像を参照して、マスク画像を修正す
る。まず、距離画像で規定値以上の値をもつ画素に対応
するマスク画像の画素に対して、64を加算する。
Next, a distance image is generated from the obtained mask image. In the generation of the distance image, first, when there are pixels belonging to different regions in front, rear, left, and right, the pixel value of the distance image corresponding to the pixel is set to 1. Next, when pixels having a pixel value of 1 in the same region exist in the upper, lower, left, and right directions, the distance between the pixels is set to 2. Hereinafter, the same is repeated to set the distances of all the pixels. FIG. 4 shows a distance image corresponding to the mask image of FIG. Next, the mask image is corrected with reference to the obtained distance image. First, 64 is added to the pixels of the mask image corresponding to the pixels having a value equal to or greater than the specified value in the distance image.

【0018】図4のマスク画像に対し、規定値を3とお
いて64を加算した画素を図5の灰色の領域で示す。次
に、64を加算した画素の属する連続背景領域を背景と
して塗りつぶす。塗りつぶす方法にはさまざまなものが
考えられるが、図8と図9を参照して以下の方法を説明
する。マスク画像の背景領域に属する画素のうち、その
周囲8画素の中に64とのAND演算の結果が0になら
ないものがあった場合に当該画素の画素値に64を加算
する処理を、単位処理として行なう。当該画素と周囲8
画素の位置関係を図8に示す。
Pixels obtained by adding 64 to the mask image of FIG. 4 with the specified value set to 3 are shown by gray areas in FIG. Next, the continuous background area to which the pixel to which 64 has been added belongs is painted as the background. There are various painting methods, and the following method will be described with reference to FIGS. A process of adding 64 to the pixel value of a pixel belonging to the background region of the mask image when the result of an AND operation with 64 does not become 0 among 8 pixels around the pixel is a unit process Perform as The pixel and surroundings 8
FIG. 8 shows the positional relationship between the pixels.

【0019】そして、この単位処理を、画面上を走査し
ながら繰り返していく。走査の方法を図9に示す。ま
ず、マスク画像の左上隅の画素から開始して右方向へ順
次繰り返し、右端に来たら下のラインの左端の画素へ移
動するように画面上を走査して行なう(901)。次
に、同様の処理を、マスク画像の右下隅から開始し、左
方向へ順次繰り返し、左端に来たら上のラインの右端の
画素へ移動するように画面上を操作して行なう(90
2)。次に、左下隅から開始して順次上方向へ繰り返し
上端に来たら右のラインの下端の画素へ移動する走査
(903)と、右上隅から開始して順次下方向へ繰り返
し下端に来たら左のラインの上端の画素へ移動する走査
(904)を行なう。
This unit process is repeated while scanning the screen. FIG. 9 shows a scanning method. First, starting from the pixel at the upper left corner of the mask image and sequentially repeating in the right direction, scanning is performed on the screen so as to move to the pixel at the left end of the lower line when reaching the right end (901). Next, the same processing is started from the lower right corner of the mask image, sequentially repeated in the left direction, and operated on the screen so as to move to the rightmost pixel of the upper line when it reaches the left end (90).
2). Next, starting from the lower left corner and sequentially moving upward to the upper end repeatedly (903), scanning is performed to move to the lower end pixel of the right line. (904) to move to the pixel at the upper end of the line.

【0020】さらに、マスク画像の全画素に対して、6
4とのAND演算を行なった結果が0であるものは画素
値を255に、それ以外のものは画素値を0に変更する
ことでマスク画像の修正を終了する。塗りつぶした結果
を図6に、マスク画像の修正結果を図7に示す。最後
に、得られたマスク画像と入力画像との画像間論理積演
算を行なうことで背景除去画像を生成し、ビデオキャプ
チャボードに転送する。ビデオキャプチャボードは、そ
れをNTSC信号に変換して画像をモニタに表示する。
Further, for all pixels of the mask image, 6
If the result of the AND operation with 4 is 0, the pixel value is changed to 255 if the result is 0, and the pixel value is changed to 0 otherwise, thereby completing the correction of the mask image. FIG. 6 shows the result of filling, and FIG. 7 shows the result of correcting the mask image. Finally, a background removal image is generated by performing a logical AND operation between the obtained mask image and the input image, and transferred to the video capture board. The video capture board converts it to an NTSC signal and displays the image on a monitor.

【0021】<第2の実施形態>次に、本発明の第2の
実施形態について図面を参照して説明する。図10を参
照すると、本発明の第2の実施形態は、背景除去プログ
ラムを記録した記録媒体1030を備える。この記録媒
体1030は磁気ディスク、半導体メモリその他の記録
媒体であってよい。背景除去プログラムは記録媒体10
30からコンピュータ(画像処理装置)1000に読み
込まれ、コンピュータ(画像処理装置)1000の動作
を制御する。コンピュータ(画像処理装置)1000
は、背景除去プログラムの制御によって上述した第1の
実施形態におけるコンピュータ(画像処理装置)100
による処理と同一の処理を実行する。
<Second Embodiment> Next, a second embodiment of the present invention will be described with reference to the drawings. Referring to FIG. 10, the second embodiment of the present invention includes a recording medium 1030 on which a background removal program is recorded. This recording medium 1030 may be a magnetic disk, a semiconductor memory, or another recording medium. The background removal program is stored in the recording medium 10.
The image data is read from the computer 30 into a computer (image processing apparatus) 1000 and controls the operation of the computer (image processing apparatus) 1000. Computer (image processing device) 1000
Is a computer (image processing apparatus) 100 according to the first embodiment described above under the control of the background removal program.
Execute the same processing as the processing by.

【0022】以上、本発明の一実施形態の動作を図面を
参照して詳述してきたが、本発明はこの実施形態に限ら
れるものではなく、本発明の要旨を逸脱しない範囲の設
計変更等があっても本発明に含まれる。
The operation of one embodiment of the present invention has been described above in detail with reference to the drawings. However, the present invention is not limited to this embodiment, and a design change or the like may be made without departing from the gist of the present invention. The present invention is also included in the present invention.

【0023】[0023]

【発明の効果】これまでに説明したように、この発明に
よれば、マスク画像の境界からの距離を画素値としても
つ距離画像を利用して、マスク画像の連結背景領域のう
ち、規定値以下の距離の画素のみからなるものを前景に
変更してマスク画像を更新するというように構成されて
いるため、前景領域における小さな抜けを修正するとと
もに、前景領域に存在する真の背景領域を保存すること
ができるという効果が得られる。このため、視覚的に自
然なマスク画像の修正が行なえる。その理由は、指定し
た大きさ以下の背景領域だけを前景領域に変更するため
である。
As described above, according to the present invention, a distance image having a distance from a boundary of a mask image as a pixel value is used to determine a value within a specified value in a connected background area of the mask image. It is configured to update the mask image by changing only the pixels at distances of foreground to the foreground, so that a small omission in the foreground area is corrected and the true background area existing in the foreground area is saved The effect that it can be obtained is obtained. Therefore, a visually natural correction of the mask image can be performed. The reason is that only the background area smaller than the designated size is changed to the foreground area.

【図面の簡単な説明】[Brief description of the drawings]

【図1】 本発明の第1の実施形態の構成を示すブロッ
ク図。
FIG. 1 is a block diagram showing a configuration of a first embodiment of the present invention.

【図2】 第1の実施形態の動作を示す流れ図。FIG. 2 is a flowchart showing the operation of the first embodiment.

【図3】 第1の実施形態の動作の具体例を説明するた
めの図。
FIG. 3 is a view for explaining a specific example of the operation of the first embodiment.

【図4】 第1の実施形態の動作の具体例を説明するた
めの図。
FIG. 4 is a view for explaining a specific example of the operation of the first embodiment.

【図5】 第1の実施形態の動作の具体例を説明するた
めの図。
FIG. 5 is a view for explaining a specific example of the operation of the first embodiment.

【図6】 第1の実施形態の動作の具体例を説明するた
めの図。
FIG. 6 is a view for explaining a specific example of the operation of the first embodiment.

【図7】 第1の実施形態の動作の具体例を説明するた
めの図。
FIG. 7 is a view for explaining a specific example of the operation of the first embodiment.

【図8】 第1の実施形態の動作の具体例を説明するた
めの図。
FIG. 8 is a view for explaining a specific example of the operation of the first embodiment.

【図9】 第1の実施形態の動作の具体例を説明するた
めの図。
FIG. 9 is a view for explaining a specific example of the operation of the first embodiment.

【図10】 本発明の第2の実施形態の構成を示すブロ
ック図。
FIG. 10 is a block diagram showing the configuration of a second embodiment of the present invention.

【符号の説明】[Explanation of symbols]

100…コンピュータ(画像処理装置) 101…マスク画像生成手段 102…距離画像生成手段 103…マスク画像更新手段 104…背景除去画像生成手段 110…画像入力手段(画像入力装置) 120…画像出力手段(画像出力装置) 901…走査方法1 902…走査方法2 903…走査方法3 904…走査方法4 1000…コンピュータ(画像処理装置) 1010…画像入力手段(画像入力装置) 1020…画像出力手段(画像出力装置) 1030…記録媒体 DESCRIPTION OF SYMBOLS 100 ... Computer (image processing apparatus) 101 ... Mask image generation means 102 ... Distance image generation means 103 ... Mask image update means 104 ... Background removal image generation means 110 ... Image input means (image input device) 120 ... Image output means (image Output device) 901 Scanning method 1 902 Scanning method 2 903 Scanning method 3 904 Scanning method 4 1000 Computer (Image processing device) 1010 Image input means (Image input device) 1020 Image output means (Image output device) 1030: Recording medium

───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5B057 CA08 CA16 CB08 CB16 CE09 CF10 5C023 AA06 DA08 5C066 AA13 BA02 CA08 ED00 GB01 KD04 5C082 AA01 AA02 AA27 BA41 CA54 CB01 DA49 DA51 DA87 MM05 MM10  ──────────────────────────────────────────────────の Continued on the front page F term (reference) 5B057 CA08 CA16 CB08 CB16 CE09 CF10 5C023 AA06 DA08 5C066 AA13 BA02 CA08 ED00 GB01 KD04 5C082 AA01 AA02 AA27 BA41 CA54 CB01 DA49 DA51 DA87 MM05 MM10

Claims (3)

【特許請求の範囲】[Claims] 【請求項1】 入力された動画像から抽出領域を表わす
マスク画像を生成するマスク画像生成手段と、 該マスク画像生成手段によって生成されたマスク画像か
ら距離画像を生成する距離画像生成手段と、 該距離画像生成手段によって生成された距離画像を参照
して、マスク画像中の連結背景領域のうち、規定値以下
の距離の画素のみを含む領域を前景領域に更新するマス
ク画像更新手段と、 該マスク画像更新手段によって更新されたマスク画像を
用いて入力された動画像から背景を除去した画像を生成
する背景除去画像生成手段とを備えたことを特徴とする
背景除去システム。
1. A mask image generating means for generating a mask image representing an extraction region from an input moving image, a distance image generating means for generating a distance image from a mask image generated by the mask image generating means, A mask image updating unit for updating a region including only pixels having a distance equal to or less than a specified value to a foreground region in the connected background region in the mask image with reference to the distance image generated by the distance image generating unit; A background removal system comprising: a background removal image generation unit configured to generate an image obtained by removing a background from a moving image input using a mask image updated by an image update unit.
【請求項2】 入力された動画像から抽出領域を表わす
マスク画像を生成する過程と、 該過程によって生成されたマスク画像から距離画像を生
成する過程と、 該過程によって生成された距離画像を参照して、マスク
画像中の連結背景領域のうち、規定値以下の距離の画素
のみを含む領域を前景領域に更新する過程と、 該過程によって更新されたマスク画像を用いて入力され
た動画像から背景を除去した画像を生成する過程とを有
することを特徴とする背景除去方法。
2. A step of generating a mask image representing an extraction region from an input moving image, a step of generating a distance image from the mask image generated by the step, and a step of referring to the distance image generated by the step. And updating, from the connected background area in the mask image, an area including only pixels at a distance equal to or less than a specified value to a foreground area, and a moving image input using the mask image updated in the process. Generating an image from which the background has been removed.
【請求項3】 入力された動画像から抽出領域を表わす
マスク画像を生成するマスク画像生成処理と、 該処理によって生成されたマスク画像から距離画像を生
成する距離画像生成処理と、 該処理によって生成された距離画像を参照して、マスク
画像中の連結背景領域のうち、規定値以下の距離の画素
のみを含む領域を前景領域に更新するマスク画像更新処
理と、 該処理によって更新されたマスク画像を用いて入力され
た動画像から背景を除去した画像を生成する背景除去画
像生成処理とからなる背景除去処理をコンピュータに実
行させるためのプログラムを記録したことを特徴とする
記録媒体。
3. A mask image generation process for generating a mask image representing an extraction region from an input moving image, a distance image generation process for generating a distance image from a mask image generated by the process, and a distance image generation process Mask image updating process of referring to the obtained distance image to update, in the connected background region in the mask image, a region including only pixels having a distance equal to or less than a specified value to a foreground region; and a mask image updated by the processing. A recording medium on which a program for causing a computer to execute a background removal process including a background removal image generation process for generating an image in which a background is removed from a moving image input by using a computer is recorded.
JP13927299A 1999-05-19 1999-05-19 Background removal system, background removal method, and recording medium recording background removal program Expired - Fee Related JP3379475B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP13927299A JP3379475B2 (en) 1999-05-19 1999-05-19 Background removal system, background removal method, and recording medium recording background removal program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP13927299A JP3379475B2 (en) 1999-05-19 1999-05-19 Background removal system, background removal method, and recording medium recording background removal program

Publications (2)

Publication Number Publication Date
JP2000333079A true JP2000333079A (en) 2000-11-30
JP3379475B2 JP3379475B2 (en) 2003-02-24

Family

ID=15241432

Family Applications (1)

Application Number Title Priority Date Filing Date
JP13927299A Expired - Fee Related JP3379475B2 (en) 1999-05-19 1999-05-19 Background removal system, background removal method, and recording medium recording background removal program

Country Status (1)

Country Link
JP (1) JP3379475B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010512879A (en) * 2006-12-19 2010-04-30 アイエムアイ インテリジェント メディカル インプランツ アクチエンゲゼルシャフト Visual aids with 3D image acquisition
CN111753800A (en) * 2020-07-03 2020-10-09 深圳市安法影像技术有限公司 Tunnel entrance detection method and detection device, storage medium and equipment
US20220291139A1 (en) * 2021-03-15 2022-09-15 The Government Of The United States Of America, As Represented By The Secretary Of The Navy Foreign object debris detection

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010512879A (en) * 2006-12-19 2010-04-30 アイエムアイ インテリジェント メディカル インプランツ アクチエンゲゼルシャフト Visual aids with 3D image acquisition
CN111753800A (en) * 2020-07-03 2020-10-09 深圳市安法影像技术有限公司 Tunnel entrance detection method and detection device, storage medium and equipment
US20220291139A1 (en) * 2021-03-15 2022-09-15 The Government Of The United States Of America, As Represented By The Secretary Of The Navy Foreign object debris detection
US12188878B2 (en) * 2021-03-15 2025-01-07 The Government Of The United States Of America, As Represented By The Secretary Of The Navy Foreign object debris detection

Also Published As

Publication number Publication date
JP3379475B2 (en) 2003-02-24

Similar Documents

Publication Publication Date Title
JP2002158893A (en) Image correction apparatus, image correction method, and recording medium
JP2003271125A (en) Device, method and program for image display
JP3731952B2 (en) Information generation apparatus for moving image search
JP4340836B2 (en) Image composition apparatus and image composition program
JP2003150146A (en) Image processor and image processing program
JP2013243610A (en) Image data transmission apparatus, image data reception apparatus, image data transmission system, image data transmission method, image data reception method, transmission image data, and program
US7522189B2 (en) Automatic stabilization control apparatus, automatic stabilization control method, and computer readable recording medium having automatic stabilization control program recorded thereon
JP2921973B2 (en) Image extraction method and image extraction device for specific object
JP3379475B2 (en) Background removal system, background removal method, and recording medium recording background removal program
JP2003224734A (en) Image display device, image processing method, recording medium, and program
JP2010068193A (en) Image processing apparatus, imaging apparatus, image processing method, and program
US20030099396A1 (en) Image processing apparatus, image processing method and recording medium
JP2000306118A (en) Tree texture generating device
JP2021005798A (en) Imaging apparatus, control method of imaging apparatus, and program
JP2003274180A (en) Image processing apparatus, image processing method, printer driver, computer-readable storage medium, and computer program
JP4835713B2 (en) Image processing apparatus and computer program
JP2003348335A (en) Image processing method, image processing apparatus, and image processing program
CN114626979B (en) A face driving method, device, electronic device and storage medium
JP2002095012A (en) Stereo image generating apparatus and method
JPS6314285A (en) Picture blurring processing system
JP3013336B2 (en) Chroma key signal generator
JP2000306091A (en) System and method for removing background and recording medium storing program for background removal
JPH11259640A (en) Image color reduction processing apparatus, method, and information storage medium
JPH10149431A (en) Image processing method
JP2002197453A (en) Image processing device

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20021112

LAPS Cancellation because of no payment of annual fees