WO2007132800A1 - 画像処理装置、カメラ装置および画像処理方法 - Google Patents

画像処理装置、カメラ装置および画像処理方法 Download PDF

Info

Publication number
WO2007132800A1
WO2007132800A1 PCT/JP2007/059838 JP2007059838W WO2007132800A1 WO 2007132800 A1 WO2007132800 A1 WO 2007132800A1 JP 2007059838 W JP2007059838 W JP 2007059838W WO 2007132800 A1 WO2007132800 A1 WO 2007132800A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
change
moving
captured
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2007/059838
Other languages
English (en)
French (fr)
Inventor
Tatsuro Ogawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OPT Corp
Original Assignee
OPT Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OPT Corp filed Critical OPT Corp
Priority to EP07743273A priority Critical patent/EP2034734A4/en
Priority to US12/300,391 priority patent/US8139120B2/en
Publication of WO2007132800A1 publication Critical patent/WO2007132800A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Definitions

  • Image processing apparatus camera apparatus, and image processing method
  • the present invention relates to an image processing device, a camera device, and an image processing method.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal
  • Japanese Unexamined Patent Application Publication No. 2004-271902 is disclosed as a monitoring camera apparatus including an image processing apparatus that performs image processing on a captured image formed on an imaging element such as an Oxide Semiconductor.
  • the profitable surveillance camera device is configured to record the captured video on a video cassette recorder.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2004-271902 (refer to the description of the abstract, etc.)
  • the surveillance camera device When used for, for example, surveillance shooting in an unattended office at night, it can be applied to a subject that does not change over time, such as a stationary object that does not move, such as an office desk. Shooting continues.
  • a subject in an unmanned office is monitored and photographed, the particularly necessary image in the photographed image is an image when there is an abnormality in the monitored photographing range, that is, there is a change.
  • this is an image when there is a change in the subject such as a person entering the shooting range or an illuminator in the shooting range is lit.
  • the captured image is an image of a wide range captured by a wide-angle lens
  • the changed portion is used as an enlarged image, so that the subject
  • an image processing apparatus is a photographed image that is continuously photographed, and is a photographed image of a subject that is imaged on an imaging means by a wide-angle photographing lens.
  • An image processing apparatus that performs image processing includes a moving part detecting unit that detects a moving part of a photographed image due to a change in a subject, and a captured image of the moving part in which movement is detected by the moving part detecting unit.
  • a moving area image cutting means for cutting out an area as a moving area image; and a correction enlarged image generating means for performing correction processing for distortion by the photographing lens and performing enlargement processing on the moving area image, and generating a corrected enlarged image.
  • the image processing apparatus By configuring the image processing apparatus in this way, a corrected enlarged image can be seen with respect to an image of a moving portion of the captured image due to a change in the subject, so the captured image can be captured over a wide range with a wide-angle lens. Even in the case of an image, it is possible to easily confirm the content of the moving part image.
  • the moving area image cutout means cuts out a moving area image for each moving portion when there are a plurality of moving portions.
  • the contents of the image of the moving part can be viewed as a corrected enlarged image for a plurality of moving parts.
  • the moving region image cutting means includes one moving region image including a plurality of moving portions when the plurality of moving portions are within a predetermined distance. It will be cut out.
  • the moving area image cutting-out means transfers the moving part.
  • the amount of movement exceeds a predetermined amount of movement, a moving image area is cut out, and the predetermined amount of movement varies depending on the position of the moving part in the captured image.
  • the detection accuracy of the moving part can be changed according to the position on the image to be captured.
  • the image processing apparatus is a captured image that is continuously captured and is a captured image of a subject that is imaged on an imaging unit by a wide-angle imaging lens.
  • An image processing apparatus that performs image processing includes a change part detection unit that detects a change part of a photographed image due to a change in a subject, and a photographed image of the change part in which the change is detected by the change part detection unit.
  • the changed region image cutting out means cuts out the changed region image for each changed portion.
  • the image processing apparatus By configuring the image processing apparatus with such a configuration, the content of the image of the changed portion can be viewed as a corrected enlarged image for a plurality of changed portions.
  • the change area image cutting means includes one change area image including a plurality of change parts when the plurality of change parts are within a predetermined distance. It will be cut out.
  • the image processing apparatus of the present invention is a photographed image that is continuously photographed, and is a photographed image of a subject that is imaged on an imaging means by a wide-angle photographing lens.
  • An image processing apparatus that performs image processing includes a moving part detecting unit that detects a moving part of a photographed image due to a change in a subject, and a captured image of the moving part in which movement is detected by the moving part detecting unit.
  • Moving region image that cuts out a region as a moving region image Extraction means
  • change part detection means for detecting a change part of the photographed image due to a change in the subject
  • a change area image cutout unit that cuts out an included area as a change area image and a moving area image or a change area image are used to perform distortion correction processing by the taking lens and perform enlargement processing to generate a corrected enlarged image.
  • a corrected enlarged image generating means are used to perform distortion correction processing by the taking lens and perform enlargement processing to generate a corrected enlarged image.
  • a corrected enlarged image can be seen with respect to an image of a moving part of the photographed image due to a change in the subject, so that the photographed image has a wide range by a wide-angle lens. Even if it is a photographed image, the contents of the moving part image can be easily confirmed. In addition, since the corrected enlarged image can be seen for the image of the changed part of the photographed image of the subject, the contents of the image of the changed part can be easily confirmed.
  • the image processing apparatus records the corrected enlarged image in a recording unit.
  • the image processing apparatus records at least one of a frame number or a chapter number of the corrected enlarged image in a recording unit.
  • the camera device of the present invention includes the above-described image processing device.
  • the image processing method of the present invention is a photographed image that is continuously photographed, and is a photographed image of a subject that is imaged on an imaging means by a wide-angle photographing lens.
  • a moving part detecting step for detecting a moving part of a photographed image due to a change in a subject, and an area including a photographed image of the moving part in which movement is detected by the moving part detecting step
  • a moving area image cutting step that cuts out a moving area image, and a corrected enlarged image that generates a corrected enlarged image by performing distortion processing correction processing and enlargement processing on the captured image in the moving area image.
  • An image generation step is a photographed image that is continuously photographed, and is a photographed image of a subject that is imaged on an imaging means by a wide-angle photographing lens.
  • the image processing method of the present invention is a photographed image that is continuously photographed, and is a photographed image of a subject that is imaged on an imaging means by a wide-angle photographing lens.
  • a change part detection step for detecting a change part of a photographed image due to a change in a subject, and a region including a photographed image of the change part in which a change is detected by the change part detection step
  • a change area image cutting step for cutting out the image as a change area image, and a corrected enlarged image that performs correction processing of the distortion distortion of the shooting lens and enlargement processing for the captured image in the change area image to generate a corrected enlarged image.
  • An image generation step for detecting a change part of a photographed image due to a change in a subject, and a region including a photographed image of the change part in which a change is detected by the change part detection step
  • a change area image cutting step for cutting out the image as a change area image, and a corrected enlarged image that performs correction processing of the distortion
  • the image processing method of the present invention is a photographed image that is continuously photographed, and is a photographed image of a subject that is imaged on an imaging means by a wide-angle photographing lens.
  • a moving part detecting step for detecting a moving part of a photographed image due to a change in a subject, and an area including a photographed image of the moving part in which movement is detected by the moving part detecting means
  • a moving area image cutting step for cutting out a moving area image, and a change part detection for detecting a changed part of a captured image due to a change in the subject.
  • a change region image cutting step for cutting out a region including a photographed image of a changed portion whose change has been detected by the changing portion detection means, and a moving region image or a changed region image with a photographic lens.
  • a correction enlarged image generation step for generating a corrected enlarged image.
  • the image processing apparatus of the present invention is a photographed image continuously photographed, and is a photographed image of a subject formed on an imaging means by a photographing lens.
  • a moving part detecting unit that detects a moving part of a photographed image due to a change in a subject, and a region that includes a photographed image of the moving part in which movement is detected by the moving part detecting unit
  • a moving area image cutting means for cutting out the image as a moving area image
  • a correction image generating means for correcting the distortion of the moving area image by a photographing lens and generating a corrected image.
  • the corrected image can be viewed over the moving part of the captured image due to the change in the subject, so that the captured image captured continuously can be viewed.
  • the contents of the moving part image can be easily confirmed from the inside.
  • the image processing apparatus of the present invention is a photographed image that has been continuously photographed, and is a photographed image of a subject formed on an imaging means by a photographing lens.
  • a change part detection unit that detects a change part of a photographed image due to a change in a subject, and a region that includes the photographed image of the change part in which a change is detected by the change part detection unit
  • a change area image extraction means for cutting out the image as a change area image
  • correction image generation means for performing a distortion correction process on the change area image by a photographing lens and generating a correction image.
  • the corrected image can be seen over the image of the changed portion of the captured image due to the change in the subject, so that the captured image captured continuously can be viewed.
  • the contents of the image of the changed part can be easily confirmed from the inside.
  • an image processing apparatus is a photographed image that is continuously photographed, and is a photographed image of a subject that is imaged on an imaging means by a photographing lens.
  • a moving part detecting unit that detects a moving part of a photographed image due to a change in a subject, and a region that includes a photographed image of the moving part in which movement is detected by the moving part detecting unit
  • a moving region image cutting means for cutting out the image as a moving region image
  • a change portion detecting means for detecting a change portion of the photographed image due to a change in the subject, and a photographed image of the change portion where the change is detected by the change portion detection means.
  • Correction area image cutting means for cutting out an area as a change area image, and a correction image that generates a correction image by performing distortion correction processing using a photographic lens on the moving area image or the change area image And further comprising a forming unit.
  • the corrected image can be viewed over the moving image of the captured image due to the change in the subject, so that the captured image captured continuously can be viewed.
  • the contents of the moving part image can be easily confirmed from the inside.
  • the corrected image can be seen from the image of the changed portion of the photographed image of the subject, the contents of the image of the changed portion can be easily confirmed.
  • the changed portion becomes an enlarged image. Therefore, even if the shot image is an image obtained by shooting a wide range with a wide-angle lens, whether or not the subject has changed. Can be easily confirmed, and the contents of the changed part can be easily confirmed.
  • FIG. 1 is a block diagram showing the configuration of an image processing apparatus according to a first embodiment of the present invention, including a camera unit, an HDD, and a monitor.
  • FIG. 2 is a perspective view showing the configuration of the camera unit in FIG. 1.
  • FIG. 3 is a flowchart showing the operation of the image processing apparatus of FIG.
  • FIG. 4 is a diagram showing the contents of a captured image recorded on the HDD shown in FIG. 1.
  • FIG. 5 is a diagram showing an image when a captured image recorded in the HDD shown in FIG. 1 is subjected to image processing by an image processing device and displayed on a monitor.
  • FIG. 6 is a diagram showing the contents of a captured image recorded on the HDD shown in FIG. 1.
  • FIG. 7 is a diagram showing an image when a captured image recorded in the HDD shown in FIG. 1 is subjected to image processing by an image processing device and displayed on a monitor.
  • FIG. 8 is a flowchart showing the operation of the image processing apparatus according to the second embodiment of the present invention.
  • FIG. 9 is a block diagram showing a configuration of a camera apparatus according to a third embodiment of the present invention including an HDD and a monitor.
  • Moving part detector moving part detector
  • Moving region image cutout processing unit moving region image cutout means
  • An image processing apparatus 100 according to a first embodiment of the present invention will be described with reference to FIGS.
  • the image processing method will be described in conjunction with the operation of the image processing apparatus 100.
  • the image processing apparatus 100 is a hard disk drive (hereinafter referred to as HDD) that is a recording means in which a photographed image photographed by the camera unit 200 is recorded. This shows a case where a captured image is read from 0 and used when displayed on the monitor 150.
  • HDD hard disk drive
  • the camera unit 200 includes an exterior casing 210, an optical system 220, an image pickup device 230 as an image pickup unit, and a circuit device 240, which are illustrated by dotted lines in the drawing.
  • the exterior housing 210 has, for example, a small form that presents a flat, substantially rectangular parallelepiped having a height of 3 cm and a height of 1 cm.
  • the optical system 220 includes a photographing lens 221 and a lens barrel 222.
  • the optical system 220 houses the lens barrel 222 in the exterior housing 210 and exposes the photographic lens 221 to the outside of the exterior housing 210.
  • the taking lens 221 is a so-called wide-angle lens having optical characteristics with a wide field angle of 180 degrees.
  • the photographing lens 221 has a front surface on the object light incident side bulging like a normal convex lens, and is close to a flat surface. Therefore, the glass inside the lens is devised, it has a 180 degree field of view, and it can shoot all around the optical axis, that is, all around 360 degrees.
  • An imaging element 230 is disposed at the imaging position of the photographic lens 221.
  • CMOS complementary metal-oxide-semiconductor
  • CCD CCD or other photoelectric element instead of CMOS.
  • the lens barrel 222 is provided with a focus adjustment knob 223.
  • the lens barrel 222 is configured to advance and retreat in the optical axis direction with respect to the imaging element 230 when the pin adjustment knob 223 is picked up with a finger and rotated around the optical axis. Therefore, the position of the photographic lens 221 in the optical axis direction can be adjusted by the focus adjustment knob 223 so that the imaging position of the photographic lens 221 becomes the imaging surface of the imaging device 230.
  • the size of the imaging surface of the imaging element 230 and the imaging lens 221 and the imaging element 230 are such that the image formed by the imaging lens 221 is entirely within the imaging surface of the imaging element 230. And the arrangement is configured. Therefore, a circular image is formed on the imaging surface of the imaging element 230 corresponding to the shape of the photographing lens 221.
  • the camera unit 200 includes a microphone 201, a USB connection unit 202 to which a USB (Univereal Serial Bus) cable as a communication means is connected, and an AV signal output unit 203 that outputs audio and video signals. is doing.
  • Microphone 201 Is to capture.
  • FIG. 1 is a block diagram showing the configuration of image processing apparatus 100 according to the embodiment of the present invention, including camera unit 200.
  • the captured image captured by the camera unit 200 is subjected to image processing in the circuit device 240 and recorded in the HDD 300.
  • the subject light that has passed through the photographic lens 221 forms an image on the imaging surface of the imaging element 230, and an image signal based on this combined image is output from the imaging element 230.
  • the image signal output from the image sensor 230 is input to the circuit device 240.
  • the circuit device 240 includes an image signal processing unit 241, an image compression processing unit 242, a control unit 243, and a memory 244 provided for the control unit 243 constituting the image processing apparatus.
  • the image signal output from the image sensor 230 is input to the image signal processing unit 241.
  • predetermined image processing such as color processing is performed on the image signal from the image sensor 230.
  • the image compression processing unit 242 compresses the image data of the image signal subjected to the image processing by the image signal processing unit 241 and generates compressed image data in which the amount of image data is reduced. To do.
  • the image data compression process is performed using, for example, JPEG (Joint Photographic Experts Group).
  • the control unit 243 is composed of, for example, a CPU (Central Processing Unit) and controls the operation of the camera unit 200.
  • the memory 244 includes a program for operating each unit of the camera unit 200 and a work memory for executing the program.
  • the memory 244 is also used in processing in the image signal processing unit 241 and the image compression processing unit 242.
  • a captured image captured by the camera unit 200 having the above-described configuration is recorded in the HDD 300. Then, the captured image recorded on the HDD 300 is displayed on the monitor 150 via the image processing apparatus 100, and the captured image captured by the camera unit 200 is viewed.
  • the image processing apparatus 100 includes a control unit 110, a memory 111 provided for the control unit 110, a coordinate conversion unit 120, and a memory 121 provided for the coordinate conversion unit 120.
  • the control unit 110 is configured by, for example, a CPU, and displays a captured image read from the HDD 300. It controls the operation of the image processing apparatus 100, including the process of generating video to be displayed on the monitor 150.
  • the control unit 110 includes a change part detection unit 110a as a change part detection unit, a movement part detection unit 110b as a movement part detection unit, a change region image extraction processing unit 110c as a change region image extraction unit, and a movement region image. It has a moving area image cutout processing unit 110d as a cutout unit, a correction / enlarged image generation unit 110e as a corrected enlarged image generation unit, and the like.
  • the coordinate conversion unit 120 performs image processing for generating a video to be displayed on the monitor 150 based on the image data of the captured image from the HDD 300 together with the control unit 110.
  • the coordinate conversion unit 120 converts the coordinate position of the captured image on the imaging surface to the coordinate position of the video on the monitor 150. It has a function.
  • the memory 121 serves as a work memory when image processing is performed using the coordinate conversion unit 120! /.
  • the camera unit 200 records image data of captured images obtained by continuously capturing a subject at a predetermined frame rate such as 16 frames Z seconds or 30 frames Z seconds, for example.
  • a predetermined frame rate such as 16 frames Z seconds or 30 frames Z seconds, for example.
  • the image processing apparatus 100 is playing back a captured image recorded on the HDD 300, and there is a change in the content of the captured image of the captured frame whose shooting time varies, the changed portion of the captured image is included.
  • the image of the area is cut out as a change area image, and the distortion aberration of the photographing lens 221 is corrected and an enlarged corrected enlarged image is displayed on the monitor 150 for the change area image.
  • the image of the area including the moving part is cut out as a moving area image, and the distortion aberration of the photographing lens 221 is corrected for the moving area image.
  • the corrected magnified image enlarged and displayed is displayed on the monitor 150.
  • the camera unit 200 is installed in an unattended office at night to perform surveillance shooting, and image data of the captured image is recorded in the HDD 300.
  • the unattended office in the night which is the subject, is essentially a subject that does not move. For this reason, most of the captured images recorded on the HDD 300 are the same captured image with no movement of the subject.
  • the content of the captured image differs between the captured image before the light is turned on and the captured image after the light is turned on.
  • the content of the captured image differs between the photographed image before the person invades and the photographed image after the intrusion, and the invaded person walks around the office. In such a case, this person is photographed as a moving part in the photographed image.
  • the change part of the captured image is detected as follows. Image information such as brightness level is compared between pixels located at the same position in the captured images of the preceding and following shooting frames. When there are a plurality of pixels having different image information, it can be determined that the image of the combined pixel portion is a changed portion.
  • the pixel information is compared for a group of a plurality of pixels because a change in the pixel due to noise is not treated as a change in the captured image. For example, even if there is no change in the subject, pixel information may change for only one pixel due to noise. This is because such a change in pixel information due to noise is not determined as a change in the subject. For example, if there are changes in the vertical and horizontal pixels of 10 pixels or more, it is determined that there has been a change in the subject and, therefore, a change has occurred in the captured image.
  • the captured images of the frames before and after the time are compared, and it is detected whether or not each captured image has a plurality of pixels in which the image formation positions are different and the distribution of pixel information is approximated. If there are such a plurality of pixels in the captured images of the preceding and following shooting frames, it is determined that the plurality of pixels are moving parts.
  • FIG. 3 is a flowchart showing the flow of image processing.
  • FIG. 4 is a photographed image taken by the camera unit 200 with the room 400, which is an unattended office at night or on holidays, as a subject, and is recorded on the HDD 300.
  • the camera unit 200 is assumed to be provided on the ceiling. Images are taken sequentially in the order of (A),..., (B), (C), (D), (E), (F),.
  • Fig. 5 shows the captured images of Fig. 4 ( ⁇ ) ⁇ ⁇ ⁇ ( ⁇ ) (C) (D) (E) (F) ... recorded on the HDD 300 by the image processing apparatus 100 to the monitor 150.
  • Figure 5 (A) is shown in Figure 4 (A)
  • Figure 5 (B) is shown in Figure 4 (B)
  • Figure 5 (C) is shown in Figure 4 (C)
  • Figure 5 (D) is shown in Figure 4 (D)
  • Figure 5 (E) is shown in Figure 4 (E)
  • Figure 5 (F) is shown in Figure 4 (F). It corresponds to each.
  • the photographing lens 221 has an angle of view of 180 degrees, and can photograph over the entire circumference around the optical axis, that is, the entire circumference of 360 degrees. Then, the size of the imaging surface of the imaging element 230 and the arrangement of the imaging lens 221 and the imaging element 230 are configured so that the entire image formed by the imaging lens 221 fits within the imaging surface of the imaging element 230. ing. Therefore, as shown in FIGS. 4A to 4F, a circular image is formed on the imaging surface of the imaging element 230 in correspondence with the shape of the photographing lens 221.
  • the room 400 is inherently unattended. Therefore, as long as there is no moving object in the room 400 in the HDD 300, as shown in FIG. 4 (A), the captured image Ml of the room 400 including the entrances 401a and 401b, which are stationary objects, is displayed during the shooting time. This means that only the number of frames taken is recorded. The captured image Ml of each frame has different power at the time of shooting. Room 400, that is, there is no moving part in the subject, so the same captured image is captured as multiple captured frames. It is recorded on HDD300 as image Ml.
  • the captured image M2 is captured and recorded on the HDD 300.
  • the photographed image M3 shown in FIG. 4C and the photographed image M4 shown in FIG. 4D are sequentially photographed and recorded in the HDD 300.
  • the power S in the room 400 disappears, and as shown in FIGS. 4E and 4F, the populations 401a and 401b
  • the captured images M5 and M6 in the room 400 including are recorded and recorded on the HDD 300.
  • the captured image M6 is recorded with the number of captured frames during the subsequent recording time.
  • the captured images Ml, M2, M3, M4, M5, and M6 are continuous imaging frames.
  • the captured images recorded on the HDD 300 are read one frame at a time in the order of shooting time (step Sl).
  • the photographed image Ml is read.
  • whether or not there is a changed portion in the captured image Ml is determined by the changed portion detecting unit 110a (step S2). As described above, this determination is made based on the presence or absence of a cluster of pixels having different pixel information as compared with the captured image of the captured frame at an earlier time. Since the photographed image Ml is the photographed image of the first photographed frame, there is no photographed image to be compared, so it is determined that there is no change (No in step S2). Then, the captured image Ml is displayed on the monitor 150 as shown in FIG.
  • the image shown in FIG. 5A displayed on the monitor 150 is an image of the photographed image Ml displayed with the form of the image such as the photographing range as it is. That is, the content captured by the imaging lens 230 by the imaging lens 221 is displayed as it is.
  • an image on the monitor 150 displaying the entire photographing range of the photographing lens 221 will be referred to as a full-range image.
  • the second shooting frame is read.
  • This second shooting frame is still a shooting frame before the person 402 shown in FIG. Therefore, a photographic image Ml having the same subject content as the photographic image Ml in the first photographic frame is read.
  • the change portion detection unit 110a determines whether or not there is a change portion in the captured image Ml of the second shooting frame. That is, the captured image Ml of the first shooting frame and the captured image Ml of the second shooting frame are compared, and the determination is made based on the presence or absence of a cluster of pixels having different pixel information. Since there is no change in the subject of the first and second shooting frames, there is no change in the pixel information of the pixels in the shot images Ml of the first and second shooting frames.
  • the changed part detection unit 110a it is determined that there are no changed parts in the captured images Ml of the first and second shooting frames (No in step S2), and the captured image Ml of the first shooting frame is Similarly, the full range image shown in FIG. [0082] Until the person 402 enters the room 400, there is no change in the captured image Ml of each captured frame, so it is determined that the captured image is not read (step S1) and whether there is a changed portion. (No in step S2), and the display of the full range video (step S3) is repeated on the monitor 150. That is, the entire range video shown in FIG. 5 (A) is continuously displayed on the monitor 150.
  • step S1 when the captured image M2 shown in Fig. 4B is read as a captured image when the person 402 enters the room 400 (step S1), it is determined that the captured image M2 has a changed portion. (Yes in step S2).
  • the captured image M2 is compared with the captured image Ml of the captured frame before the captured frame in which the captured image M2 was captured, the captured image M2 shows that the photographed image Ml is a photographed person who has not been captured 402 Has been filmed.
  • the captured image M2 differs from the captured image Ml in a group of pixel information for the human image portion M2a, which is a pixel portion where the human object 402 is copied. That is, the person image portion M2a force is determined as the changed portion of the captured image M2 (Yes in step S2).
  • step S4 it is determined whether or not the captured image M2 has a moving part. As described above, whether or not there is a moving part in the photographed image M2 is compared with the photographed image Ml that is a photographed image of the photographed frame before the photographed frame where the photographed image M2 is photographed. Judgment is made based on whether there are a plurality of pixels in which the distribution of information approximates and the formation positions of these pixels in the captured image are different. Regarding the captured images Ml and M2, the entrances 401a and 401b are a plurality of pixels that approximate the distribution of pixel information, but are not determined as moving parts because the formation positions in the captured images are not different.
  • the image of the area including the person image portion M2a is cut out as the changed area image M2a 'by the changed area image cutout processing unit 110c (step S5).
  • an image area covering approximately 1Z4 in the circumferential direction of the contour of the photographed image M2 is cut out as a change area image M2a ′.
  • a correction / enlarged image generating unit 1 for the cut out change area image M2a '1 10e corrects the distortion of the photographic lens 221 and enlarges it!
  • the change area image M2a ⁇ is distorted on the monitor 150 and the power is enlarged.
  • Step S3 the correction and enlargement processing of the distortion aberration in the correction / enlarged image generation unit l lOe performs pixel data interpolation processing and the like on the image data of the change area image M2. The same applies to the correction and enlargement processing of all distortion aberrations for other change area images and moving area images described later.
  • the captured image M3 shown in FIG. 4C is read as a captured image of the captured frame following the captured frame in which the captured image M2 was captured (step Sl). Comparing the captured image M3 with the captured image M2, in the captured image M2, the person 402 at the position of the entrance 401a moves in the middle of the room 400 away from the entrance 401a in the captured image M3. The person 402 disappears from the position of the entrance 401a. Therefore, the photographed image M3 is determined by the change part detection unit 110a to have a change part (Yes in step S2! /, Yes).
  • the moving part detection unit 110b determines whether or not there is a moving part in the captured image M3 (step S4). Whether or not there is a moving part in the captured image M3 is determined by comparing the captured image M3 with the captured image M2 of the captured frame before the captured image M3 is captured, and the distribution of pixel information approximates both. Judgment is made based on whether or not there are a plurality of pixels and the formation positions of the plurality of pixels in the captured image are different.
  • the person image portion M3a which is a pixel portion in which the person 402 of the photographed image M3 is photographed, approximates the distribution of pixel information to the person image portion M2a of the photographed image M2, and in the photographed image It is determined that the formation positions are different. Therefore, the person image portion M 3a is determined as a moving portion (Yes in step S4).
  • step S7 the image of the area including the person image portion M3a determined as the moving part is cut out as the moving area image M3a ′ by the moving area image cutout processing unit 110d (step S7).
  • an image area covering approximately 1Z4 in the circumferential direction of the contour of the photographed image M3 is cut out as a moving area image M3a ′.
  • the correction “enlarged image generation unit l lOe corrects the distortion aberration of the photographing lens 221 and performs enlargement processing (step S6), as shown in FIG.
  • the moving area image M3 is displayed as an image with reduced distortion and increased power (step S3
  • a captured image M4 shown in FIG. 4D is read as a captured image of the captured frame following the captured frame in which the captured image M3 was captured (step Sl). Comparing the captured image M4 with the captured image M3, in the captured image M3, the person 402 in the middle of the room 400 moves to the position of the entrance 401b in the captured image M4, and in the middle of the room 400. The person disappears from. Therefore, this captured image M4 is determined to have a changed part in the changed part detecting unit 110a (Yes in step S2).
  • the moving part detection unit 110b determines whether or not there is a moving part in the captured image M4 (step S4). Whether the captured image M4 has a moving part is determined by comparing the captured image M4 with the captured image M3 of the captured frame before the captured image M4 was captured, and the distribution of pixel information approximated to both. Judgment is made based on whether or not there are a plurality of pixels and the formation positions of the plurality of pixels in the captured image are different.
  • the person image portion M4a which is a pixel portion in which the person 402 of the photographed image M4 is photographed, is similar in pixel image distribution to the person image portion M3a of the photographed image M3, and in the photographed image. It is determined that the formation positions are different. Therefore, the person image portion M 4a is determined as a moving portion (Yes in step S4).
  • Step S7 the image of the area including the person image portion M4a determined as the moving part is cut out as the moving area image M4a ′ by the moving area image cutout processing unit lOd.
  • Step S7 an image area covering approximately 1Z4 in the circumferential direction of the contour of the captured image M4 is cut out as a moving area image M4a ′.
  • the correction “enlarged image generation unit 110e corrects distortion aberration of the photographing lens 221 and performs enlargement processing (step S6), as shown in FIG.
  • the moving area image M4 is displayed on the monitor 150 as an image with no distortion and expanded power (step S3).
  • a captured image M5 shown in FIG. 4E is read as a captured image of the captured frame following the captured frame in which the captured image M4 was captured (step Sl).
  • the captured image M5 is compared with the captured image M4, the position of the entrance 401b is determined in the captured image M4.
  • the person 402 who is in the area has gone out of the entrance 401b in the photographed image M5.
  • only the image of the entrance 401b is shown in the entrance 401b portion. That is, in the photographed image M4, the person image portion M4a was shown at the position of the entrance 401b, but not in the photographed image M5. Therefore, the captured image M5 is determined by the changed portion detection unit 110a to have a changed portion (Yes in step S2) G, that is, the shot image M5 is determined to have a changed portion in the portion of the entrance 401b. (Yes in step S2).
  • the moving part detection unit 110b determines whether or not there is a moving part in the captured image M5 (step S4). Whether or not there is a moving part in the captured image M5 is determined by comparing the captured image M5 with the captured image M4 of the captured frame before the captured image M5 is captured, and the distribution of pixel information approximates both. Judgment is made based on whether or not there are a plurality of pixels and the formation positions of the plurality of pixels in the captured image are different.
  • the pixel information distribution is a plurality of pixels that are approximated, but since the formation positions in the captured images are not different, the moving parts It is not judged.
  • the human image portion M4a of the photographed image M4 a plurality of pixels that approximate the distribution of pixel information in this portion does not exist in the photographed image M5. Therefore, it is determined that the captured image M5 has no moving part (No in step S4).
  • the change area image cutout processing unit 110c cuts out the image power change area image M5 of the area of the entrance / exit 401b (step S5).
  • an image region covering approximately the range of 1Z4 in the circumferential direction of the contour of the photographed image M5 is cut out as a change region image M5a ′.
  • the correction' enlarged image generation unit 110e corrects distortion aberration of the photographing lens 221 and performs enlargement processing (step S6), as shown in FIG. 5 (E).
  • the change area image M5 is displayed on the monitor 150 as an image with reduced distortion and increased power (step S3).
  • a captured image M6 shown in Fig. 4F is read as a captured image of the captured frame following the captured frame in which the captured image M5 was captured (step Sl).
  • photograph An image M6 and a captured image M5 are captured images after the person 402 has left the room 400. That is, the photographed image M6 and the photographed image M5 are photographed images of the room 400 that is unattended and has nothing to move, so they are the same photographed image. Therefore, it is determined that there is no changed portion in the photographed image M6 (No in step S2), and the entire range image is displayed on the monitor 150 as shown in FIG. 5 (F).
  • step S1 Until the person 400 enters the room 400 and changes again in the room 400, the captured image M6 of each frame does not change, so the captured image is read (step S1), It is determined that there is no image (No step S2), and the display of the entire range image (step S3) is repeated on the monitor 150. In other words, the entire range video shown in FIG. 5F is continuously displayed on the motor 150.
  • moving area images (moving area images M3, M4, and M4a) are moved in accordance with moving parts (person image parts M3a, M4a) of the captured image. ) Changes the range that is cut out. That is, when the subject has a moving part, the range of the moving area image cut out by the moving area image cutout processing unit 110d changes according to the moving part. Then, on the monitor 150, the image of the moving part of the subject can be viewed as the image of the moving area image that has been subjected to the correction of the distortion aberration of the photographing lens 221 and the enlargement process. Therefore, it is possible to accurately see the image of the subject corresponding to the moving part without missing the movement of the subject.
  • the range cut out as the change area image or the movement area image is appropriately set according to the content of the force subject, etc., in the embodiment described above, with a range of 1Z4 in the circumferential direction of the contour of the photographed image. Set to. For example, if the changing or moving part is small, the area to be cut out as the changing area image or moving area image is reduced. Thus, the enlargement ratio when displayed on the monitor 150 may be increased. Conversely, if the situation around the changed part or the moving part is widely viewed, the range to be cut out as the changed area image or the moving area image may be widened.
  • the change area image or moving area image has the shape of the display surface of the monitor 150 (generally a rectangle with an aspect ratio of 4: 3) with the distortion of the photographic lens 221 corrected. It is preferable to make it.
  • FIG. 6 is a photographed image taken by the camera unit 200 using the room 400 in an unattended office as a subject, similar to FIG. 4, and is recorded on the HDD 300.
  • 4 differs from FIG. 4 in FIG. 4 where the changing portion and moving portion of the room 400 (subject) are one place (person 402 is a person), whereas the subject shown in FIG. The difference is that there are two places (the person 402 is two people) in the changing part and moving part of the (subject). In other words, this shows a case where a plurality of changing parts or moving parts occur in the subject.
  • FIG. 6 images are taken sequentially in the order of FIG. 6 (A),..., (B), (C), (D), (E), (F),.
  • FIG. 7 the captured image of FIG. 6 (A) (B) (C) (D) (E) (F)...
  • the contents of the video when displayed on the monitor 150 are shown.
  • Figure 7 (A) is in Figure 6 (A)
  • 07 (B) is in Figure 6 (B)
  • 07 (C) is in Figure 6 (C)
  • 07 (D) is in Figure 6 (D)
  • 07 (E) corresponds to Fig. 6 (E)
  • Fig. 7 (F) corresponds to Fig. 6 (F).
  • a circular image corresponding to the shape of the photographing lens 221 is formed on the imaging surface of the imaging element 230 as shown in FIGS.
  • Room 400 is inherently unattended. Therefore, as long as there is no moving object in the room 400 in the HDD 300, as shown in FIG. 6 (A), the captured image N1 of the room 400 including the entrances 401a and 401b, which are stationary objects, is displayed during the shooting time. This means that only the number of frames taken is recorded. The captured image N1 of each frame is different at the time of shooting, but because there is no moving part in the room 400, that is, the subject, the captured image contains the same captured image. It is recorded on the HDD 300 as captured images Nl of several shooting frames.
  • the photographed image N2 is taken, It will be recorded on HDD300.
  • a captured image N3 shown in FIG. 6C and a captured image N4 shown in FIG. 6D are sequentially captured and recorded in the HDD 300.
  • the captured images N5 and N6 in the room 400 including 401b are captured and recorded in the HDD 300.
  • the shot image N1 is recorded for the number of frames taken during the shooting time.
  • the captured images Nl, N2, N3, N4, N5, and N6 are continuous imaging frames.
  • the distance that the person 402 moves between successive shooting frames is very small.
  • the actual amount of movement of the person 402 on the captured image between consecutive imaging frames is also small.
  • the amount of movement on the captured image is shown to be large.
  • the captured images recorded on the HDD 300 are read one frame at a time in the order of shooting time (step Sl).
  • the captured image N1 is read out.
  • whether or not there is a changed portion in the captured image N1 is determined by the changed portion detection unit 110a (step S2). Since the photographed image Nl is the first photographed frame, there is no photographed image to be compared, so it is determined that there is no change (No in step S2).
  • the video of the captured image N1 is displayed on the monitor 150 as a full range video as shown in FIG. 7A (step S3).
  • the second shooting frame is read.
  • This second shooting frame is the same as that before the person 402a, 402b entered the room 400 shown in FIG. To do. Therefore, the captured image N1 having the same subject content as the captured image N1 in the first captured frame is read.
  • the change portion detection unit 110a determines whether or not there is a change portion in the captured image N1 of the second shooting frame (step S2). Since there is no change in the subject of the first and second shooting frames, there is no change in the pixel information of the pixels of the shot image N1 of the first and second shooting frames. Therefore, in the changed part detection unit 110a, it is determined that there are no changed parts in the captured images N1 of the first and second captured frames (No in step S2), and the captured image N1 of the first captured frame is Similarly, the full range image shown in FIG.
  • step S1 the captured image is read (step S1), and it is determined that there is no change. (No step S2), and the display of the entire range image (step S3) is repeated on the monitor 150. In other words, the entire range video shown in FIG. 7A is continuously displayed on the monitor 150.
  • the photographed image N2 shown in FIG. 6B is read as a photographed image when the person 402a, 402b enters the room 400 (step S1), the photographed image N2 has a changed portion. Determined (Yes in step S2). Comparing the captured image N2 with the captured image N1 of the captured frame before the captured frame where the captured image N2 was captured, the captured image N2 shows a strong person 402a, 402b is filmed. With respect to the person image portions N2a and N2b, which are pixel portions where the persons 402a and 402b are photographed, the photographed image N2 differs from the photographed image Ml with a group of pixel information. In other words, the person image portion N2a and the person image portion N2b are determined as the changed portion of the captured image N2 (Yes in step S2! /).
  • step S4 it is determined whether or not there is a moving part in the captured image N2 (step S4).
  • the pixel information distribution is a plurality of pixels that are approximated, but because the formation positions in the captured images are different, they are not judged as moving parts. .
  • a plurality of pixels that approximate the distribution of pixel information in this portion does not exist in the photographed image N1. Therefore, it is determined that the captured image N2 has no moving part (step S4 No).
  • step S5 the change area image cutout processing unit 110c performs the change area image cutout process.
  • the changed region image cutout processing unit 110c cuts out the changed region image for each changed portion.
  • the predetermined distance is, for example, a distance at which the changed portion falls within the cutout range of the changed area image.
  • the cutout range of the change area image is set to a range of approximately 1Z4 in the circumferential direction of the contour of the captured image N2.
  • the person image portions N2a and N2b are located in the diameter direction with respect to the circumferential direction of the contour of the captured image N2.
  • the change area image cutout processing unit 110c uses the image of the area including the person image part N2a as the change area image N2a 'and the image of the area including the person image part N2b as the change area image N2b'. Cut out each (step S5).
  • the change area image N2a ′ and the change area image N21 are each cut out as an image area covering a range of approximately 1Z4 in the circumferential direction of the contour of the captured image N2.
  • the correction 'enlarged image generation unit 110e corrects the distortion aberration of the photographing lens 221 and performs an enlargement process (step S6).
  • the change area image N2a ′ and the change area image N2b ′ are displayed on the upper and lower sides of the monitor 150, respectively, as an enlarged image without distortion (step S3).
  • the upper row is an image corresponding to the change area image N2
  • the lower row is an image corresponding to the change area image N21.
  • step S5 when two change parts P and Q occur in the cutout range of the change area image, in step S5, the change area image cutout processing section 11 Oc cuts out an image of an area including these two changed portions P and Q as a changed area image N2. Then, for the change area image N2c, the correction / enlarged image generation unit 110e corrects the distortion aberration of the photographing lens 221 and performs an enlargement process (step S6). Then, as shown in FIG. 7 (G), the change area image N2c ′ is displayed as an image with no distortion and an enlarged force (step S3).
  • a plurality of changed parts are within a distance that falls within the cutout range of the changed area image.
  • multiple change parts are stored in a single change area image so that the change area image is corrected on the monitor 150 so that the overlapping subject parts are not displayed as different images when enlarged.
  • Can do For example, when the change area image is cut out for each of the change area P and the change area Q, and the corrected 'enlarged image for each change area image is displayed up and down like the image in Fig. 7 (B), The same image will be displayed in a wide range of the upper and lower images, and it may feel unsightly. In addition, even though the same part is shown, it is displayed separately on the top and bottom, so each image becomes smaller.
  • Fig. 7 (G) when the change part P and change part Q, which are two change parts, are corrected and enlarged as one change area image, High! ⁇ Can be viewed as a video.
  • the captured image N3 shown in FIG. 6C is read as a captured image of the captured frame following the captured frame in which the captured image N2 was captured (step Sl). Comparing the captured image N3 with the captured image N2, in the captured image N2, the person 402a, 402b forces were at the positions of the entrances 401a, 401b respectively, whereas in the captured image N3, the persons 402a, 402b were respectively The room has moved to the middle of the room 400 away from the entrances 401a and 402b. In addition, the position forces at the entrances 401a and 402b are also disappearing. Therefore, the photographed image N3 is determined by the change portion detection unit 110a to have a change portion (Yes in step S2).
  • the moving part detection unit 110b determines whether or not there is a moving part in the captured image N3 (step S4). Whether or not there is a moving part in the captured image N3 is determined by comparing the captured image N3 with the captured image N2 of the captured frame before the captured image N3 is captured, and the distribution of pixel information approximates both. Judgment is made based on whether or not there are a plurality of pixels and the formation positions of the plurality of pixels in the photographed image are different.
  • the moving area image cut-out processing unit lOd performs a moving area image cut-out process.
  • the moving area image cutout processing unit lOd cuts out a moving area image for each moving part.
  • the predetermined distance is, for example, a distance where the moving part falls within the cutout range of the moving area image.
  • the cutout range of the moving region image is the same as the cutout range of the change region image described above, and the range is approximately 1Z4 in the circumferential direction of the contour of the captured image N3.
  • the person image portions N3a and N3b are located adjacent to each other.
  • the person image portions N3a and N3b are located at a distance that falls within the cutout range of the moving area image. Therefore, the moving region image cutout processing unit lOd cuts out an image of a region including the person image portion N3a and the person image portion N3b as a moving region image N3a ′ W (step S7).
  • the moving area image N3a ′ b ′ is cut out as an image area covering the range of approximately 1Z4 in the circumferential direction of the contour of the captured image N3.
  • the correction'enlarged image generation unit 110e corrects the distortion aberration of the photographing lens 221 and performs enlargement processing (step S6), as shown in FIG. 7 (C).
  • the moving area image N3a ′ W is displayed on the monitor 150 as an enlarged image without distortion (step S3).
  • the moving area image is monitored by storing the plurality of moving parts in one moving area image.
  • the images are divided into upper and lower parts, so that each image becomes smaller.
  • Fig. 7 (C) the person who is two moving parts
  • the image part N3a and the person image part N3b are corrected and enlarged as one moving area image, they can be viewed as a video with a high enlargement ratio.
  • a captured image N4 shown in FIG. 6D is read as a captured image of the captured frame following the captured frame in which the captured image N3 was captured (step Sl). Comparing the captured image N 4 with the captured image N3, in the captured image N3, the person 402a, 402b force is located in the middle of the room 400. In the captured image N4, the images move to the positions of the entrance 401b and the entrance 40 la, respectively. The person disappears from the middle of room 400. Therefore, the photographed image N4 is determined by the change portion detection unit 110a to have a change portion (Yes in step S2! /).
  • the moving part detection unit 110b determines whether or not there is a moving part in the captured image N4 (step S4). Whether or not the captured image N4 has a moving part is determined by comparing the captured image N4 with the captured image N3 of the captured frame before the captured image N4 is captured, and the distribution of pixel information approximates both. Judgment is made based on whether or not there are a plurality of pixels and the formation positions of the plurality of pixels in the captured image are different.
  • the distribution of pixel information of the person image portion N4a that is a pixel portion where the person 402a of the photographed image N4 is captured and the person image portion N3a of the photographed image N3 approximate each other. Further, it is determined that the distribution of pixel information is also approximated for the person image portion N4b, which is a pixel portion where the person 402b is captured, and the person image portion N3b of the captured image N3. In addition to this, it is determined that the formation positions of the person image portion N4a and the person image portion N3a in the captured image are different. Further, it is determined that the formation positions of the person image portion N4b and the person image portion N3b in the captured image are also different. Therefore, the person image portions N4a and N4b are determined as moving portions (Yes in step S4).
  • step S7 the moving region image cutout processing unit 110d performs a moving region image cutout process.
  • this moving area image cutout processing unit 110d as described above, when there are a plurality of moving parts and the moving parts are not within a predetermined distance, the moving area image is cut out for each moving part.
  • the predetermined distance is a distance within which the moving part falls within the clipping range of the moving region image
  • the clipping range of the moving region image is approximately 1Z4 in the circumferential direction of the contour of the captured image N3.
  • the person image portions N4a and N4b are located in the diameter direction with respect to the circumferential direction of the contour of the captured image N4.
  • the moving area image cutout processing unit lOd cuts out an image of an area including the person image portion N4a as a moving area image N4a ′ and an image of an area including the person image portion N4 b as a moving area image N41 ( Step S7).
  • the moving area image N4a ′ and the moving area image N4b ′ are each cut out as an image area covering a range of approximately 1Z4 in the circumferential direction of the contour of the captured image N4.
  • the correction 'enlarged image generation unit 110e corrects the distortion aberration of the photographing lens 221 and performs an enlargement process (step S6).
  • the moving area image N4a ′ and the moving area image N4b ′ are displayed on the upper and lower sides of the monitor 150 as enlarged images without distortion (step S3).
  • the upper row shows the video corresponding to the moving region image N4
  • the lower row shows the video corresponding to the moving region image N41.
  • a captured image N5 shown in FIG. 6E is read as a captured image of the captured frame following the captured frame in which the captured image N4 was captured (step Sl). Comparing the captured image N5 with the captured image N4, in the captured image N4, the person 402a, 402b is at the entrance 401a, 401b. The captured image N5 is! I'm gone. Only the images of the entrances 4 Ola and 401b are shown in the entrances 401a and 401b. That is, in the photographed image N4, the person image portions N4a and N4b are shown in the positions of the entrances 401a and 401b, respectively, but not in the photographed image N5.
  • this captured image N5 is determined to have a changed part in the changed part detection unit 110a (Yes in step S2). That is, it is determined that there is a change in the captured image N5 in the portions of the entrances 4 Ola and 401b (Yes in step S2).
  • the moving part detection unit 110b determines whether or not there is a moving part in the captured image N5 (step S4). Whether or not there is a moving part in the captured image N5 is determined by comparing the captured image N5 and the captured image N4 of the captured frame before the captured image N5 is captured, and the distribution of pixel information approximates both. And there are multiple pixels. Judgment is made based on whether or not the formation positions in the captured image of several pixels are different.
  • the entrances 401a and 401b are a plurality of pixels that are approximated for the distribution of pixel information.
  • the formation positions in the captured images are not different, It is not judged.
  • a plurality of pixels that approximate the distribution of pixel information in this portion does not exist in the photographed image N5.
  • a plurality of pixels that approximate the distribution of pixel information in this portion does not exist in the photographed image N5. Therefore, it is determined that there is no moving part in the photographed image M5 (No in step S4).
  • the image forces of the regions of the entrances 401a and 401b are cut out by the changed region image cutout processing unit 110c as changed region images N5a and N5b, respectively (step S5).
  • the image area covering the range of approximately 1Z4 of the captured image N5 is cut out as the change area images N5a and 5Nb.
  • the correction / enlarged image generation unit 110e corrects distortion aberration of the photographing lens 221 and performs enlargement processing (step S6).
  • the change area image N5a and the change area image N5b are displayed on the upper and lower sides of the monitor 150, respectively, as an enlarged image without distortion (step S3).
  • the upper row is an image corresponding to the change area image N5a
  • the upper row is an image corresponding to the lower force change area image N5b.
  • a captured image N6 shown in Fig. 6 (F) is read as a captured image of the captured frame following the captured frame in which captured image N5 was captured (step Sl).
  • the photographed image N6 and the photographed image N5 are photographed images after the persons 402a and 402b have left the room 400. That is, since the photographed image N6 and the photographed image N5 are photographed images of the room 400 where there is no uninhabited moving object, they are the same photographed image. Therefore, it is determined that there is no changed portion in the captured image N6 (No in step S2), and the entire range video is displayed on the monitor 150 as shown in FIG. 7 (F).
  • step S1 Thereafter, until the person 400 enters the room 400 and changes again in the room 400, the shot image N6 in each shooting frame does not change, so the shot image is read (Step S1), It is determined that there is no change part (step S2 No), and display of the full range video on the monitor 150 (step S3) is repeated. That is, the entire range video shown in FIG. 7F is continuously displayed on the monitor 150.
  • the moving part detection unit 110b in step S4 determines how many pixels the part determined to be a moving part has moved is determined by the accuracy of detecting the moving part. It is set appropriately depending on how much (sensitivity) is set. If the number of pixels judged to have moved is reduced, the accuracy (sensitivity) increases, and if it is increased, the accuracy (sensitivity) decreases.
  • the amount of movement of the subject V per pixel is greater than that of a distant subject. Also big. Therefore, when shooting a distant subject, increase the detection accuracy (sensitivity) of the moving part, and when shooting a subject at a short distance, decrease the detection precision (sensitivity) of the moving part.
  • the image captured by the wide-angle imaging lens 221 has a higher imaging magnification on the center side than on the peripheral side of the image. Therefore, if the distance between the subject of the image on the peripheral side and the center of the image from the taking lens 221 is equal, the amount of movement of the subject for one pixel is the subject on the peripheral side of the subject on the central side. It is larger than the amount of movement. Therefore, the detection accuracy (sensitivity) of the moving part may be higher on the peripheral side than on the central side.
  • the predetermined distance between the change portions which is a criterion for determining whether or not a plurality of change portions can be included in one change area image
  • it may be as follows. For example, if two change partial forces fit in one change area image but are located opposite to both sides of this area, if these change parts are placed in one change area image, It becomes impossible to see the image on the side opposite to the side where the changed part is facing. Therefore, in such a case, by cutting out each changed portion as a changed region image, it is possible to see each changed image and its surrounding image.
  • the predetermined distance between the moving parts which is a criterion for determining whether or not a plurality of moving parts can be included in one moving area image
  • the plurality of moving parts are similar to those in the above-described embodiment.
  • the determination is not limited to whether it fits within one moving area image. For example, if two moving parts fit within one moving area image but are located on opposite sides of this area, as described above, these moving parts are displayed as one moving area image. If it falls within the image, it will not be possible to see the image on the side opposite to the side where the moving part is facing. Therefore, in such a case, by cutting out each moving part as a moving area image, it is possible to see the video of the peripheral part of each moving image.
  • the shooting frame rate when the shooting frame rate is set to a relatively high shooting frame rate, such as 16 frames / second or 30 frames / second, and the shot images are continuously played back in the order of the shooting frames. It is played back as a so-called movie.
  • the photographing frame rate may be set to be as small as, for example, one frame Z.
  • the shooting frame rate may be reduced.
  • the image processing apparatus 100 does not include the moving part detection unit 110b and the moving area image cutout processing unit lOd, and performs the image processing shown in the flowchart of FIG. It may be.
  • the flowchart shown in FIG. 8 is obtained by omitting steps S4 and S7 related to detection of a moving part and extraction processing for the moving part in the flowchart shown in FIG. Other places
  • the rationale (step) is the same as in Figure 3. Therefore, a detailed description is omitted, and an outline of the operation is described below.
  • step S1 The captured image is read (step S1), and if there is no changed portion (No in step S2), the entire range video is displayed on the monitor 150 (step S3). Unless a suspicious object is placed, etc., and the subject is not changed, No, Step S3 and Step S1 are repeated in Step Sl and Step S2, and the entire range image is displayed on the monitor 150. You can continue.
  • step S5 a change area image including the change portion is cut out (step S5), and the distortion aberration of the photographing lens 221 is corrected and the enlargement process is performed on the change area image. (Step S6), the corrected image of the changed area image is displayed on the monitor 150.
  • the change area image for example, M2 and M5a ′ in FIG. 4, N2a ′, N2b ′, N5a, and N5b in FIG. 6) or the movement area image (for example, FIG. 4).
  • the correction' enlarged image generator 110e the distortion aberration of the taking lens 221 is corrected and the enlargement process is performed. (Step S6).
  • the corrected region image or the moving region image is generated without the enlargement process, and a corrected image in which the distortion of the photographing lens 221 is corrected is generated, and the corrected image is monitored. It can also be displayed on 150 (step S3).
  • the correction / enlarged image generation unit 110e may be configured as a correction 'reduced image generation unit that corrects the distortion aberration of the photographing lens 221 and performs a reduction process for the change area image or the movement area image. it can.
  • the distortion aberration of the photographing lens 221 is corrected, and a corrected and reduced image is generated by performing a reduction process. (Step S3).
  • the shooting frame including the changing portion or the moving portion is a changed portion file or a moving portion file from all the shooting frames. You may make it collect to another file and record to HDD300. In this way, if the image data of the changed part Z moving part file is played back, only the changed part or moving part can be played back and viewed. In addition to the change part Z movement part file, all the shooting frames of the full range video! You can record it on the HDD300!
  • the frame number of the shooting frame including the changed part and the moving part, and the number of the chapter including the frame may be recorded. By doing this, based on the frame number or chapter number, only the changed part or the moving part can be reproduced and viewed.
  • the captured image captured by the camera unit 200 is captured by the camera unit 200, and the captured image recorded in the HDD 300 is processed and reproduced by the image processing apparatus 100.
  • This can be configured so that the image processing device 100 directly processes the image. That is, as shown in FIG. 9, a camera device 500 including an image processing device 100 and a camera unit 200 may be configured.
  • the configurations of the image processing apparatus 100 and the camera unit 200 are the same as those of the image processing apparatus 100 and the camera unit 200 described above, and thus description thereof is omitted.
  • the camera device 500 configured as described above displays the video shown in FIG. 5 on the monitor 150 when the captured image shown in FIG.
  • the captured image shown in FIG. 6 is taken, the video shown in FIG. Therefore, when the subject is monitored in real time by the monitor 150, the change of the subject can be reliably recognized, and the changed region image including the changed portion and the moving region image including the moved portion are enlarged and displayed. As a result, it is possible to see an accurate image of the changing part and the moving part.
  • only the corrected enlarged image of the change area image and the moving area image that are processed and output by the image processing apparatus 100 may be recorded in a recording unit such as the HDD 300. This By doing so, it is possible to reproduce and view only the corrected and enlarged images of the change area image and the moving area image.
  • the HDD 300 and the image processing apparatus 100 may be connected via a network via a USB cable.
  • the camera device 500 may connect the camera unit 200 and the image processing device 100 through a network via a USB cable (not shown) connected to the USB connection unit 202 of the power unit 200. ,.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　被写体に変化があるときには、その変化部分が拡大された映像とし、被写体の変化の有無と変化部分の内容を容易に確認できる画像処理装置および方法を提供すること。 　連続して撮影が行われた撮影画像であって、撮影レンズ２２により撮像手段２２１に結像した被写体の撮影画像について画像処理を行う画像処理装置１００において、被写体の変化による撮影画像の移動部分を検出する移動部分検出手段１１０ｂと、移動部分検出手段１１０ｂにより移動が検出された移動部分の撮影画像を含む領域を移動領域画像として切り出す移動領域画像切出手段１１０ｄと、移動領域画像について、撮影レンズによる歪の補正処理を行うとともに拡大処理を行い、補正拡大画像を生成する補正拡大画像生成手段１１０ｅとを備える。

Description

明 細 書
画像処理装置、カメラ装置および画像処理方法
技術分野
[0001] 本発明は、画像処理装置、カメラ装置および画像処理方法に関するものである。
背景技術
[0002] CCD (Charge Coupled Device)あるいは CMOS (Complementary Metal
OxideSemiconductor)等の撮像素子に結像した撮影画像にっ ヽて画像処理を 行う画像処理装置を備える監視カメラ装置として、例えば、特開 2004— 271902号 が開示されている。カゝかる監視カメラ装置は、撮影した映像をビデオカセットレコーダ に記録する構成になっている。
[0003] 特許文献 1 :特開 2004— 271902号公報 (要約書の記載等を参照）
発明の開示
発明が解決しょうとする課題
[0004] 監視カメラ装置を、例えば、夜間の無人の事務所内を監視撮影する用途に使用す る場合には、事務机等の動きのない静止物等、経時的な変化を伴わない被写体に 対して撮影が継続して行われる。このような無人の事務所内の被写体を監視撮影し た場合、撮影された映像の中で、特に必要な映像は、監視している撮影範囲に異常 、すなわち変化があるときの映像である。例えば、撮影範囲に人物等が侵入したり、 あるいは撮影範囲にある照明器が点灯する等といった被写体に変化があるときの映 像である。
[0005] し力しながら、ビデオカセットレコーダに記録された撮影内容をモニタ上に再生して 、被写体に変化があるところだけを見たい場合であっても、記録された撮影内容を最 初から最後まで見て、被写体の変化の有無を確認する必要がある。したがって、監視 している範囲の異常、すなわち変化の有無を確認する作業が長時間を要するという 問題がある。特に、撮影された映像が、広角の撮影レンズによるものである場合には 、撮影されている範囲が広ぐ広い範囲の映像がモニタに表示されることになる。その ため、被写体の細部の変化を発見し難ぐその内容も確認し難いという問題がある。 [0006] そこで、本発明は、撮影画像が広角レンズによる広 ヽ範囲を撮影した画像であって も、被写体に変化があるときには、その変化部分が拡大された映像とすることで、被 写体の変化の有無を容易に確認でき、しかも、変化部分の内容を容易に確認できる 画像処理装置、カメラ装置および画像処理方法を提供することを課題とする。
課題を解決するための手段
[0007] 上述の課題を解決するため、本発明の画像処理装置は、連続して撮影が行われた 撮影画像であって、広角の撮影レンズにより撮像手段に結像した被写体の撮影画像 につ ヽて画像処理を行う画像処理装置にお ヽて、被写体の変化による撮影画像の 移動部分を検出する移動部分検出手段と、移動部分検出手段により移動が検出さ れた移動部分の撮影画像を含む領域を移動領域画像として切り出す移動領域画像 切出手段と、移動領域画像について、撮影レンズによる歪の補正処理を行うとともに 拡大処理を行!、、補正拡大画像を生成する補正拡大画像生成手段とを備えることと する。
[0008] 画像処理装置をこのように構成することにより、被写体の変化による撮影画像の移 動部分の画像について補正拡大画像を見ることができるので、撮影画像が広角レン ズによる広 、範囲を撮影した画像であっても移動部分の画像の内容を容易に確認す ることがでさる。
[0009] また、他の発明は、上述の発明に加え、移動領域画像切出手段は、移動部分が複 数あるときは、移動部分毎に、移動領域画像を切り出すこととする。
[0010] 画像処理装置をこのような構成とすることにより、複数の移動部分について、移動部 分の画像の内容を、補正拡大画像として見ることができる。
[0011] また、他の発明は、上述の発明に加え、移動領域画像切出手段は、複数の移動部 分が所定の距離内にあるときは、複数の移動部分を含む 1の移動領域画像により切 り出すこととする。
[0012] 画像処理装置をこのような構成とすることにより、複数の移動部分が所定の距離内 にあるときは、複数の移動部分を一つの移動領域画像として切り出すので、同一内 容の画像が別々の場所に重複して表示されることを防ぐことができる。
[0013] また、他の発明は、上述の発明に加え、移動領域画像切出手段は、移動部分の移 動量が所定の移動量を超えるときに、移動画像領域を切り出し、所定の移動量は、 移動部分の撮影画像における位置に応じて異なることとする。
[0014] 画像処理装置をこのような構成とすることにより、被撮影画像上の位置応じて、移動 部分の検出精度を変えることができる。
[0015] 上述の課題を解決するため、本発明の画像処理装置は、連続して撮影が行われた 撮影画像であって、広角の撮影レンズにより撮像手段に結像した被写体の撮影画像 につ ヽて画像処理を行う画像処理装置にお ヽて、被写体の変化による撮影画像の 変化部分を検出する変化部分検出手段と、変化部分検出手段により変化が検出さ れた変化部分の撮影画像を含む領域を変化領域画像として切り出す変化領域画像 切出手段と、変化領域画像について、撮影レンズによる歪の補正処理を行うとともに 拡大処理を行!、、補正拡大画像を生成する補正拡大画像生成手段とを備えることと する。
[0016] 画像処理装置をこのような構成とすることにより、被写体の変化による撮影画像の変 化部分の画像について補正拡大画像を見ることができるので、撮影画像が広角レン ズによる広 、範囲を撮影した画像であっても変化部分の画像の内容を容易に確認す ることがでさる。
[0017] また、他の発明は、上述の発明に加え、変化領域画像切出手段は、変化部分が複 数あるときは、変化部分毎に、変化領域画像を切り出すこととする。
[0018] 画像処理装置をこのような構成とすることにより、複数の変化部分について、変化部 分の画像の内容を、補正拡大画像として見ることができる。
[0019] また、他の発明は、上述の発明に加え、変化領域画像切出手段は、複数の変化部 分が所定の距離内にあるときは、複数の変化部分を含む 1の変化領域画像により切 り出すこととする。
[0020] 画像処理装置をこのような構成とすることにより、複数の変化部分が所定の距離内 にあるときは、複数の変化部分を一つの変化領域画像として切り出すので、同一内 容の画像が別々の場所に重複して表示されることを防ぐことができる。
[0021] 上述の課題を解決するため、本発明の画像処理装置は、連続して撮影が行われた 撮影画像であって、広角の撮影レンズにより撮像手段に結像した被写体の撮影画像 ヽて画像処理を行う画像処理装置にお ヽて、被写体の変化による撮影画像の 移動部分を検出する移動部分検出手段と、移動部分検出手段により移動が検出さ れた移動部分の撮影画像を含む領域を移動領域画像として切り出す移動領域画像 切出手段と、被写体の変化による撮影画像の変化部分を検出する変化部分検出手 段と、変化部分検出手段により変化が検出された変化部分の撮影画像を含む領域 を変化領域画像として切り出す変化領域画像切出手段と、移動領域画像または変化 領域画像にっ 、て、撮影レンズによる歪の補正処理を行うとともに拡大処理を行 、、 補正拡大画像を生成する補正拡大画像生成手段とを備えることとする。
[0022] 画像処理装置をこのような構成とすることにより、被写体の変化による撮影画像の移 動部分の画像について補正拡大画像を見ることができるので、撮影画像が広角レン ズによる広 、範囲を撮影した画像であっても、移動部分の画像の内容を容易に確認 することができる。これに加えて、被写体の撮影画像の変化部分の画像について補 正拡大画像を見ることができるので、変化部分の画像の内容も容易に確認することが できる。
[0023] また、他の発明は、上述の発明に加え、画像処理装置は、補正拡大画像を記録部 に記録することとする。
[0024] 画像処理装置をこのような構成とすることにより、記録部に記録された補正拡大画 像だけを再生することができる。
[0025] また、他の発明は、上述の発明に加え、画像処理装置は、補正拡大画像のフレー ム番号またはチャプター番号の少なくとも一方を記録部に記録することとする。
[0026] 画像処理装置をこのような構成とすることにより、記録部に記録されたフレーム番号 またはチャプター番号により、補正拡大画像だけを再生することができる。
[0027] 上述の課題を解決するため、本発明のカメラ装置は、上述の画像処理装置を備え ることとした。
[0028] カメラ装置をこのような構成とすることにより、カメラ装置において、移動部分または 変化部分について補正拡大画像を得ることができる。
[0029] 上述の課題を解決するため、本発明の画像処理方法は、連続して撮影が行われた 撮影画像であって、広角の撮影レンズにより撮像手段に結像した被写体の撮影画像 ヽて画像処理を行う画像処理方法にお ヽて、被写体の変化による撮影画像の 移動部分を検出する移動部分検出ステップと、移動部分検出ステップにより移動が 検出された移動部分の撮影画像を含む領域を移動領域画像として切り出す移動領 域画像切出ステップと、移動領域画像内の撮影画像について、撮影レンズの歪曲収 差の補正処理を行うとともに拡大処理を行い、補正拡大画像を生成する補正拡大画 像生成ステップとを備えることとする。
[0030] 画像処理方法をこのような構成とすることにより、被写体の変化による撮影画像の移 動部分の画像について補正拡大画像を見ることができるので、撮影画像が広角レン ズによる広 、範囲を撮影した画像であっても移動部分の画像の内容を容易に確認す ることがでさる。
[0031] 上述の課題を解決するため、本発明の画像処理方法は、連続して撮影が行われた 撮影画像であって、広角の撮影レンズにより撮像手段に結像した被写体の撮影画像 につ ヽて画像処理を行う画像処理方法にお ヽて、被写体の変化による撮影画像の 変化部分を検出する変化部分検出ステップと、変化部分検出ステップにより変化が 検出された変化部分の撮影画像を含む領域を変化領域画像として切り出す変化領 域画像切出ステップと、変化領域画像内の撮影画像について、撮影レンズの歪曲収 差の補正処理を行うとともに拡大処理を行い、補正拡大画像を生成する補正拡大画 像生成ステップとを備えることとした。
[0032] 画像処理方法をこのような構成とすることにより、被写体の変化による撮影画像の変 化部分の画像について補正拡大画像を見ることができるので、撮影画像が広角レン ズによる広 、範囲を撮影した画像であっても変化部分の画像の内容を容易に確認す ることがでさる。
[0033] 上述の課題を解決するため、本発明の画像処理方法は、連続して撮影が行われた 撮影画像であって、広角の撮影レンズにより撮像手段に結像した被写体の撮影画像 につ ヽて画像処理を行う画像処理方法にお ヽて、被写体の変化による撮影画像の 移動部分を検出する移動部分検出ステップと、移動部分検出手段により移動が検出 された移動部分の撮影画像を含む領域を移動領域画像として切り出す移動領域画 像切出ステップと、被写体の変化による撮影画像の変化部分を検出する変化部分検 出ステップと、変化部分検出手段により変化が検出された変化部分の撮影画像を含 む領域を変化領域画像として切り出す変化領域画像切出ステップと、移動領域画像 または変化領域画像について、撮影レンズによる歪の補正処理を行うとともに拡大処 理を行!、、補正拡大画像を生成する補正拡大画像生成ステップとを備えることとする
[0034] 画像処理方法をこのような構成とすることにより被写体の変化による撮影画像の移 動部分の画像について補正拡大画像を見ることができるので、撮影画像が広角レン ズによる広 、範囲を撮影した画像であっても、移動部分の画像の内容を容易に確認 することができる。これに加えて、被写体の撮影画像の変化部分の画像について補 正拡大画像を見ることができるので、変化部分の画像の内容も容易に確認することが できる。
[0035] 上述の課題を解決するため、本発明の画像処理装置は、連続して撮影が行われた 撮影画像であって、撮影レンズにより撮像手段に結像した被写体の撮影画像にっ 、 て画像処理を行う画像処理装置にお ヽて、被写体の変化による撮影画像の移動部 分を検出する移動部分検出手段と、移動部分検出手段により移動が検出された移 動部分の撮影画像を含む領域を移動領域画像として切り出す移動領域画像切出手 段と、移動領域画像について、撮影レンズによる歪の補正処理を行い、補正画像を 生成する補正画像生成手段とを備えることとする。
[0036] 画像処理装置をこのような構成とすることにより、被写体の変化による撮影画像の移 動部分の画像にっ ヽて補正画像を見ることができるので、連続して撮影した撮影画 像の中から移動部分の画像の内容を容易に確認することができる。
[0037] 上述の課題を解決するため、本発明の画像処理装置は、連続して撮影が行われた 撮影画像であって、撮影レンズにより撮像手段に結像した被写体の撮影画像にっ 、 て画像処理を行う画像処理装置にお ヽて、被写体の変化による撮影画像の変化部 分を検出する変化部分検出手段と、変化部分検出手段により変化が検出された変 化部分の撮影画像を含む領域を変化領域画像として切り出す変化領域画像切出手 段と、変化領域画像について、撮影レンズによる歪の補正処理を行い、補正画像を 生成する補正画像生成手段とを備えることとする。 [0038] 画像処理装置をこのような構成とすることにより、被写体の変化による撮影画像の変 化部分の画像にっ ヽて補正画像を見ることができるので、連続して撮影した撮影画 像の中から変化部分の画像の内容を容易に確認することができる。
[0039] 上述の課題を解決するため、本発明の画像処理装置は、連続して撮影が行われた 撮影画像であって、撮影レンズにより撮像手段に結像した被写体の撮影画像にっ 、 て画像処理を行う画像処理装置にお ヽて、被写体の変化による撮影画像の移動部 分を検出する移動部分検出手段と、移動部分検出手段により移動が検出された移 動部分の撮影画像を含む領域を移動領域画像として切り出す移動領域画像切出手 段と、被写体の変化による撮影画像の変化部分を検出する変化部分検出手段と、変 化部分検出手段により変化が検出された変化部分の撮影画像を含む領域を変化領 域画像として切り出す変化領域画像切出手段と、移動領域画像または変化領域画 像について、撮影レンズによる歪の補正処理を行い、補正画像を生成する補正画像 生成手段とを備えることとする。
[0040] 画像処理装置をこのような構成とすることにより、被写体の変化による撮影画像の移 動部分の画像にっ ヽて補正画像を見ることができるので、連続して撮影した撮影画 像の中から移動部分の画像の内容を容易に確認することができる。これに加えて、被 写体の撮影画像の変化部分の画像にっ 、て補正画像を見ることができるので、変化 部分の画像の内容も容易に確認することができる。
発明の効果
[0041] 本発明によれば、被写体に変化があるときには、その変化部分が拡大された映像と なるので、撮影画像が広角レンズによる広い範囲を撮影した画像であっても、被写体 の変化の有無を容易に確認でき、さら〖こ、変化部分の内容を容易に確認することが できる。
図面の簡単な説明
[0042] [図 1]本発明の第 1の実施の形態に係る画像処理装置の構成をカメラ部、 HDDおよ びモニタを含めて示した構成を示すブロック図である。
[図 2]図 1のカメラ部の構成を示す斜視図である。
[図 3]図 1の画像処理装置の動作を示すフローチャートである。 [図 4]図 1に示す HDDに記録されて ヽる撮影画像の内容を示す図である。
[図 5]図 1に示す HDDに記録されている撮影画像が画像処理装置により画像処理さ れてモニタに表示されたときの映像を示す図である。
[図 6]図 1に示す HDDに記録されて ヽる撮影画像の内容を示す図である。
[図 7]図 1に示す HDDに記録されている撮影画像が画像処理装置により画像処理さ れてモニタに表示されたときの映像を示す図である。
[図 8]本発明の第 2の実施の形態に係る画像処理装置の動作を示すフローチャート である。
[図 9]本発明の第 3の実施の形態に係るカメラ装置の構成を HDDおよびモニタを含 めて示した構成を示すブロック図である。
符号の説明
[0043] 100 … 画像処理装置
110a … 変化部分検出部 (変化部分検出手段）
110b … 移動部分検出部 (移動部分検出手段）
110c … 変化領域画像切出し処理部 (変化領域画像切出手段）
l lOd … 移動領域画像切出し処理部 (移動領域画像切出手段）
110e … 補正 ·拡大画像生成部 (補正拡大画像生成手段）
221 … 撮影レンズ
230 … 撮像素子 (撮像手段）
300 … HDD (記録部）
500 … カメラ装置
発明を実施するための最良の形態
[0044] (第 1の実施の形態）
本発明の第 1の実施の形態に係る画像処理装置 100について、図 1から図 7を参 照しながら説明する。なお、画像処理方法については、画像処理装置 100の動作に 併せて説明する。
[0045] 図 1に示すように、この画像処理装置 100は、カメラ部 200により撮影された撮影画 像が記録された記録手段であるハードディスクドライブ（以下、 HDDと記載する。） 30 0から、撮影画像を読み込み、モニタ 150に表示するときに使用する場合を示してい る。
[0046] 先ず、図 2を参照しながら、カメラ部 200の構成を説明する。カメラ部 200は、図面 中点線にて図示をする外装筐体 210、光学系 220、撮像手段としての撮像素子 230 および回路装置 240を備えている。外装筐体 210は、例えば、縦横 3cm、高さ 1セン チの扁平した略直方体を呈する小型の形態となっている。光学系 220は、撮影レン ズ 221およびレンズ鏡筒 222を有している。
[0047] 光学系 220は、レンズ鏡筒 222を外装筐体 210内に収容し、撮影レンズ 221を外 装筐体 210の外部に露出させている。撮影レンズ 221は、 180度の広い画角の光学 特性を有するいわゆる広角レンズである。この撮影レンズ 221は、被写体光の入射側 となる前面が通常の凸レンズ程度の膨らみとなっており、平面に近いものとなってい る。し力し、レンズ内部のガラスの処理に工夫を施し、 180度の画角を有し、かつ光軸 周りの全周囲、すなわち 360度の全周囲に亘つて撮影可能となっている。
[0048] 撮影レンズ 221の結像位置には、撮像素子 230が配設されている。撮像素子 230 としては、例えば、 CMOSを使用する。 CMOSの代わりに CCDその他の光電素子を 使用してちょい。
[0049] レンズ鏡筒 222には、ピント調整ノブ 223が設けられている。レンズ鏡筒 222は、ピ ント調整ノブ 223を手指で摘んで光軸の周りに回転させると、撮像素子 230に対して 、光軸方向に進退するように構成されている。したがって、ピント調整ノブ 223により、 撮影レンズ 221の結像位置が撮像素子 230の撮像面になるように、撮影レンズ 221 の光軸方向の位置を調整することができる。
[0050] この実施の形態においては、撮影レンズ 221による結像画像は、撮像素子 230の 撮像面内に全て収まるように撮像素子 230の撮像面の大きさ、および撮影レンズ 22 1と撮像素子 230との配置が構成されている。したがって、撮像素子 230の撮像面に は、撮影レンズ 221の形状に対応して円形の画像が結像することになる。
[0051] また、カメラ部 200は、マイク 201、通信手段としての USB (Univereal Serial B us)ケーブルが接続する USB接続部 202、およびオーディオやビデオの信号を出力 する AV信号出力部 203とを有している。マイク 201は、撮影を行う範囲の場所の音 を取り込むものである。
[0052] 図 1に、カメラ部 200を含めて、本発明の実施の形態に係る画像処理装置 100の構 成を示すブロック図を示す。カメラ部 200で撮影された撮影画像は、回路装置 240に おいて画像処理され、 HDD300に記録される。
[0053] 撮影レンズ 221を透過した被写体光は、撮像素子 230の撮像面に結像し、この結 像画像に基づく画像信号が撮像素子 230から出力される。撮像素子 230から出力さ れた画像信号は、回路装置 240に入力する。この回路装置 240は、画像処理装置を 構成する画像信号処理部 241、画像圧縮処理部 242、制御部 243、この制御部 243 につ 、て備えられるメモリ 244を備えて 、る。
[0054] 撮像素子 230から出力された画像信号は、画像信号処理部 241に入力する。この 画像信号処理部 241において、撮像素子 230からの画像信号に対して、カラー処理 等の所定の画像処理を施す。
[0055] 画像圧縮処理部 242においては、画像信号処理部 241で画像処理を施された画 像信号の画像データを圧縮処理し、画像データのデータ量が減らされた圧縮画像デ ータを生成する。画像データの圧縮処理は、例えば、 JPEG (Joint Photographic Experts Group)を用いて行う。
[0056] 制御部 243は、例えば CPU (Central Processing Unit)により構成され、カメラ 部 200の動作の制御を司る。メモリ 244は、カメラ部 200の各部を動作させるための プログラムの他、このプログラムを実行するためのワークメモリを備えている。画像信 号処理部 241や画像圧縮処理部 242における処理においてもこのメモリ 244が活用 される。
[0057] 上記の構成を備えるカメラ部 200により撮影された撮像画像は、 HDD300に記録 される。そして、この HDD300に記録された撮影画像を、画像処理装置 100を介し てモニタ 150に表示し、カメラ部 200により撮影された撮像画像を見る。
[0058] 次に、画像処理装置 100の構成を説明する。画像処理装置 100は、制御部 110、 この制御部 110について備えられるメモリ 111、座標変換部 120、およびこの座標変 換部 120について備えられるメモリ 121を備えている。
[0059] 制御部 110は、例えば CPUにより構成され、 HDD300から読み出した撮影画像を モニタ 150に表示させる映像の生成処理を含めて画像処理装置 100の動作の制御 を司る。制御部 110は、変化部分検出手段としての変化部分検出部 110a、移動部 分検出手段としての移動部分検出部 110b、変化領域画像切出手段としての変化領 域画像切出し処理部 110c、移動領域画像切出手段としての移動領域画像切出し処 理部 110d、補正拡大画像生成手段としての補正 ·拡大画像生成部 110e等を有して いる。
[0060] 座標変換部 120は、制御部 110とともに、 HDD300からの撮影画像の画像データ に基づいて、モニタ 150に表示する映像を生成する画像処理を行う。この座標変換 部 120は、撮像素子 230の撮像面上の撮影画像を、画像処理してモニタ 150に表示 する際に、撮像面における撮影画像の座標位置をモニタ 150における映像の座標 位置に変換する機能を有する。メモリ 121は、座標変換部 120を用いて画像処理を 行う際のワークメモリとなって!/、る。
[0061] 次に、以上の構成を有する画像処理装置 100の動作の概要を説明する。
[0062] カメラ部 200により、被写体を、例えば、 16フレーム Z秒、あるいは 30フレーム Z秒 等の所定のフレームレートで連続して撮影した撮影画像の画像データが HDD300 に記録されているとする。画像処理装置 100は、 HDD300に記録された撮影画像を 再生している中で、撮影時間が前後する撮影フレームの撮影画像の内容に変化が 有る場合には、撮影画像の中の変化部分を含む領域の画像を変化領域画像として 切り出し、さらに、この変化領域画像について、撮影レンズ 221の歪曲収差の補正を 行うとともに拡大した補正拡大画像をモニタ 150に表示する。また、撮影画像の中に 移動部分がある場合には、この移動部分を含む領域の画像を移動領域画像として切 り出し、さらに、この移動領域画像について、撮影レンズ 221の歪曲収差の補正を行 うとともに拡大した補正拡大画像をモニタ 150に表示する。
[0063] 例えば、カメラ部 200を夜間の無人の事務所内に設置し監視撮影を行い、その撮 影画像の画像データを HDD300に記録する。この場合、被写体となっている夜間の 無人の事務所内は、本来的に動きがない被写体である。そのため、 HDD300に記 録された撮影画像は、殆どが被写体に動きのない、同一の撮影画像になっている。
[0064] し力しながら、夜間の暗闇の事務所内に電灯が点灯し、被写体の状態が変わった 場合、電灯が点灯する前の撮影画像と電灯が点灯した後の撮影画像とでは撮影画 像の内容が異なる。あるいは、無人の事務所内に人物が侵入した場合には、人物が 侵入する前の撮影画像と侵入した後の撮影画像とでは撮影画像の内容が異なり、ま た侵入した人物が事務所内を歩き回る等した場合には、撮影画像において、この人 物が移動部分として撮影されることになる。
[0065] したがって、 HDD300に記録された撮影画像を画像処理装置 100により再生する 場合には、再生している中で、暗闇の事務所内に電灯が点灯したり、あるいは、無人 の事務所内に人物が侵入した撮影画像が再生される場面になると、電灯部分や人 物を含む領域の撮影画像について、撮影レンズ 221の歪曲収差の補正を行うととも に拡大した補正拡大画像がモニタ 150に表示されることになる。
[0066] そのため、撮影レンズ 221の画角内の全被写体をモニタ 150に表示している場合 であっても、このように、撮影画像に変化があつたときに、補正拡大画像をモニタ 150 に表示することにより、被写体の変化を見逃すことなぐまた、変化部分に対応する被 写体の映像を自動的かつ正確に見ることができる。
[0067] 以下に、上述した概要の動作を行う画像処理装置 100の詳細な構成と動作につい て説明する。
[0068] 先ず、変化部分検出部 110aにおける撮影画像の変化部分の検出について説明 する。撮影画像の変化部分の検出は次のように行う。前後する撮影フレームの撮影 画像において互いに同じ位置に在る画素同士について、輝度レベル等の画像情報 を比較する。そして、画像情報が異なる画素がまとまって複数ある場合には、このまと まった画素部分の画像は変化部分であると判断できる。
[0069] 例えば、無人の事務所内に人物が侵入した場合には、人物が侵入する前の撮影フ レームの撮影画像と、人物が侵入した後の撮影フレームの撮影画像とでは、同一の 位置にある画素について、人物が侵入する前後で画素情報に差が発生する。したが つて、人物が侵入した後の撮影フレームの撮影画像の人物が写った画素部分の撮 影画像を変化部分として検出する。
[0070] また、暗闇の事務所内に電灯が点灯した場合にも、電灯が点等する前の撮影フレ ームの撮影画像と、電灯が点灯した後の撮影フレームの撮影画像とでは、同一の位 置にある画素について、電灯が点灯する前後で画素情報に差が発生する。したがつ て、電灯が点灯した後の撮影フレームの撮影画像の点灯した電灯が写った画素部 分の撮影画像を変化部分として検出する。
[0071] なお、まとまった複数画素について画素情報を比較するのは、ノイズによる画素の 変化を撮影画像の変化として扱わないためである。例えば、被写体に変化がなくても 、ノイズにより 1画素だけについて画素情報が変化してしまう場合がある。このようなノ ィズによる画素情報の変化を被写体の変化として判断しないためである。例えば、縦 •横それぞれ 10画素以上の画素について、変化がある場合には、被写体に変化が あり、そのため撮影画像に変化部分が発生したと判断する。
[0072] 次に移動部分検出部 110bにおける撮影画像における移動部分の検出について 説明する。時間的に前後する撮影フレームの撮影画像を比較し、各撮影画像の中に 、画像の形成位置が異なり、かつ、画素情報の分布が近似したまとまった複数画素 があるかどうかを検出する。前後する撮影フレームの撮影画像にこのような複数画素 があれば、この複数画素は移動部分であると判断する。
[0073] 例えば、動きのない背景の中を人物が移動している（歩いている）場合、時間的に 前後する撮影フレームの各撮影画像において、人物が写ったまとまった複数画素に ついての画素情報の分布は近似している。したがって、撮影フレームが前後する各 撮影画像にぉ 、て、画素情報の分布が近似して 、るまとまった複数画素の有無を検 出し、このまとまった複数画素の画素位置を、前後する撮影画像において比較し、異 なって 、れば、このまとまった複数画素部分の撮影画像を移動部分として検出する。
[0074] 次に、図 3から図 5を参照しながら、画像処理装置 100の具体的な動作を説明する 。図 3は、画像処理の流れを示すフローチャートである。また、図 4は、夜間や休日の 本来無人の事務所内である室内 400を被写体としてカメラ部 200で撮影したときの撮 影画像であり、 HDD300に記録されているものである。なお、カメラ部 200は、天井 に備えられているものとする。図 4の（A) , · ··, (B) , (C) , (D) , (E) , (F) ,…の順で 順次撮影が行われている。図 5は、 HDD300に記録されている図 4 (Α) · ·· (Β) (C) ( D) (E) (F)…の撮影画像を画像処理装置 100により画像処理してモニタ 150に表示 したときの、映像の内容を示している。図 5 (A)は図 4 (A)に、図 5 (B)は図 4 (B)に、 図 5 (C)は図 4 (C)に、図 5 (D)は図 4 (D)に、図 5 (E)は図 4 (E)に、図 5 (F)は図 4 ( F)にそれぞれ対応している。
[0075] 上述したように、撮影レンズ 221は、 180度の画角を有し、かつ光軸周りの全周囲、 すなわち 360度の全周囲に亘つて撮影可能となっている。そして、撮影レンズ 221に よる結像画像は、撮像素子 230の撮像面内に全て収まるように、撮像素子 230の撮 像面の大きさ、および撮影レンズ 221と撮像素子 230との配置が構成されている。し たがって、撮像素子 230の撮像面には、図 4 (A)〜(F)に示すように、撮影レンズ 22 1の形状に対応して円形の画像が結像することになる。
[0076] 室内 400は、本来無人である。そのため、 HDD300には、室内 400に動く物がな い間は、図 4 (A)に示すように、静止物である出入口 401a, 401bを含む室内 400の 撮影画像 Mlが、撮影時間の間の撮影フレーム数だけ記録されていることになる。各 撮影フレームの撮影画像 Mlは、撮影している時刻としては異なる力 室内 400、す なわち被写体に動く部分がないため、撮影画像の内容としては同一の撮影画像が複 数の撮影フレームの撮像画像 Mlとして HDD300に記録されていることになる。
[0077] し力し、図 4 (B)に示すように、出入口 401aから人物 402が室内 400に侵入しようと するときには、撮影画像 M2が撮影され、 HDD300に記録されることになる。そして、 この人物 402が、室内 400を移動すると、順次、図 4 (C)示す撮影画像 M3、そして 図 4 (D)に示す撮影画像 M4が撮影され、 HDD300に記録されていることになる。そ して、人物 402が出入口 401bから室内 400の外に出て行った後は、室内 400には 動くちの力 S無くなり、図 4 (E) (F)に示すように、出人口 401a, 401bを含む室内 400 の撮影画像 M5, M6が撮影され、 HDD300に記録されていることになる。撮影画像 M6は、撮影画像 Mlと同様に、その後の撮影時間の間の撮影フレーム数だけ記録 されていること〖こなる。
[0078] なお、撮影画像 Ml, M2, M3, M4, M5, M6は、連続した撮影フレームとする。
また、 1秒間に十数フレーム力 数十フレームの撮影が行われるため、連続する撮影 フレームの間に人物 402が移動する距離は僅かなものである。そのため、連続する 撮影フレーム間における人物 402の撮影画像上での実際の移動量も僅かなもので ある。しかし、ここでは、説明のため、人物 402が移動していることを判り易くし、撮影 画像上での移動量を大きくして表わして ヽる。
[0079] 次に、 HDD300に記録された撮景画像 Ml, M2, M3, M4, M5, M6を再生する ときの画像処理について図 3のフローチャートを参照しながら説明する。
[0080] 先ず、 HDD300に記録された撮影映像を撮影時刻順に 1撮影フレームずつ読み 込む (ステップ Sl)。ここでは、先ず、撮影画像 Mlが読み込まれることになる。そして 、この撮影画像 Mlについて、この撮影画像 Mlに変化部分があるかどうかが、変化 部分検出部 110aにおいて判断される (ステップ S2)。この判断は、上述したように、 時刻が早!、撮影フレームの撮影画像と比較して、画素情報が異なる画素のかたまり の有無により判断する。撮影画像 Mlは 1番最初の撮影フレームの撮影画像である ので、比較する撮影画像がないので変化部分はないと判断される (ステップ S2にお いて No)。そして、撮影画像 Mlの映像がモニタ 150に図 5 (A)に示すように表示さ れる (ステップ S3)。このモニタ 150に表示される図 5 (A)の映像は、撮影画像 Mlの 画像を、撮影範囲等の画像の形態はそのままの状態で表示したものである。すなわ ち、撮影レンズ 221により撮像素子 230に撮像された内容がそのまま表示される。以 下の説明において、撮影レンズ 221の撮影範囲全体を表示したモニタ 150の映像を 全範囲映像と呼ぶことにする。
[0081] 次いで、 2番目の撮影フレームが読み込まれる。この 2番目の撮影フレームは、未だ 図 4 (B)に示す人物 402が室内 400に侵入するに至る前の撮影フレームとする。した がって、 1番目の撮影フレームにおける撮影画像 Mlと同一の被写体内容の撮影画 像 Mlが読み込まれる。そして、 2番目の撮影フレームの撮影画像 Mlに変化部分が あるかどうかが、変化部分検出部 110aにおいて判断される (ステップ S2)。すなわち 、 1番目の撮影フレームの撮影映像 Mlと 2番目の撮影フレームの撮影画像 Mlとを 比較して、画素情報が異なる画素のかたまりの有無により判断する。 1番目と 2番目の 撮影フレームの被写体には変化がないため、 1番目と 2番目の撮影フレームの撮影 画像 Mlの画素の画素情報には変化がない。したがって、変化部分検出部 110aに おいて、 1番目と 2番目の撮影フレームの撮影画像 Mlには、変化部分はないと判断 され (ステップ S2において No)、 1番目の撮影フレームの撮影画像 Mlと同様に図 5 ( A)に示す全範囲映像がモニタ 150に表示される。 [0082] 室内 400に人物 402が侵入するまでは、各撮影フレームの撮影画像 Mlに変化が ないため、撮影画像の読み込み (ステップ S1)、変化部分があるかどうかの判断にお いて無いと判断され (ステップ S2において No)、そして、モニタ 150には全範囲映像 の表示 (ステップ S3)が繰り返される。すなわち、モニタ 150には、図 5 (A)に示す全 範囲映像の表示が継続して行われることになる。
[0083] そして、人物 402が室内 400に侵入したときの撮影画像として、図 4 (B)に示す撮 影画像 M2が読み込まれたときには (ステップ S1)、撮影画像 M2に変化部分がある と判断される (ステップ S2において Yes)。撮像画像 M2と、この撮像画像 M2が撮影 された撮影フレームの前の撮影フレームの撮影画像 Mlとを比較すると、撮影画像 M 2には、撮影画像 Mlには撮影されていなカゝつた人物 402が撮影されている。この人 物 402が写されて 、る画素部分である人物画像部分 M2aにつ 、て、撮影画像 M2 は撮影画像 Mlと画素情報にかたまりをもって異なる。すなわち、人物画像部分 M2a 力 撮影画像 M2の変化部分として判断される (ステップ S2にお 、て Yes)。
[0084] 次に、撮影画像 M2に移動部分があるかどうかが判断される (ステップ S4)。撮影画 像 M2に移動部分があるかどうかは、上述したように、撮影画像 M2が撮影される撮 影フレームよりも前の撮影フレームの撮影画像である撮影画像 Mlと比較して、両者 に画素情報の分布が近似するまとまった複数画素があり、かつ、これらの複数画素の 撮影画像における形成位置が異なるかどうかで判断する。撮影画像 Ml, M2につい ては、出入口 401a, 401bについては、画素情報の分布については近似しまとまつ た複数画素であるが、撮影画像における形成位置が異ならないため、移動部分とは 判断されない。また、撮影画像 M2の人物画像部分 M2aについては、この部分の画 素情報の分布に近似する複数画素は撮影画像 Mlには存在しない。したがって、撮 影画像 M2には移動部分は無 、と判断される (ステップ S4にお 、て No)。
[0085] そして、人物画像部分 M2aを含む領域の画像が、変化領域画像 M2a' として、変 化領域画像切出し処理部 110cにより切り出される (ステップ S5)。ここでは、撮影画 像 M2の輪郭の円周方向に概ね 1Z4の範囲に亘る画像領域が変化領域画像 M2a ' として切り出される。
[0086] そして、この切り出された変化領域画像 M2a' について、補正 ·拡大画像生成部 1 10eにより、撮影レンズ 221の歪曲収差の補正を行うとともに拡大処理を行!、 (ステツ プ S6)、図 5 (B)に示すように、モニタ 150に、変化領域画像 M2a^ を歪み無くし力も 拡大された映像として表示する (ステップ S3)。なお、補正 ·拡大画像生成部 l lOeに おける歪曲収差の補正と拡大処理は、変化領域画像 M2 の画像データに対して 画素データの補間処理等を行う。後述する他の変化領域画像および移動領域画像 につ 、ての歪曲収差の補正と拡大処理にっ 、ても同様である。
[0087] 続いて、撮影画像 M2が撮影された撮影フレームに続く撮影フレームの撮影画像と して、図 4 (C)に示す撮影画像 M3が読み込まれる (ステップ Sl)。撮影画像 M3を撮 影画像 M2と比較すると、撮影画像 M2においては、出入口 401aの位置にいる人物 402力 撮影画像 M3においては、出入口 401aから離れた室内 400の中ほどの位 置に移動し、また、出入口 401aの位置からは人物 402が消えている。したがって、こ の撮影画像 M3は、変化部分検出部 110aにおいて、変化部分があると判断される（ ステップ S2にお!/、て Yes)。
[0088] そして、移動部分検出部 110bにおいて、この撮像画像 M3に移動部分があるかど うかが判断される (ステップ S4)。撮影画像 M3に移動部分があるかどうかは、撮影画 像 M3と、この撮影画像 M3が撮影される前の撮影フレームの撮影画像 M2とを比較 して、両者に画素情報の分布が近似するまとまった複数画素があり、かつ、これらの 複数画素の撮影画像における形成位置が異なるかどうかで判断する。
[0089] 撮影画像 M3の人物 402が写されている画素部分である人物画像部分 M3aが、撮 影画像 M2の人物画像部分 M2aと画素情報の分布が近似すると判断され、かつ、撮 影画像における形成位置が異なっていると判断される。したがって、人物画像部分 M 3aが移動部分として判断される (ステップ S4にお 、て Yes)。
[0090] そして、この移動部分として判断された人物画像部分 M3aを含む領域の画像が、 移動領域画像 M3a' として、移動領域画像切出し処理部 110dにより切り出される（ ステップ S7)。ここでは、撮影画像 M3の輪郭の円周方向に概ね 1Z4の範囲に亘る 画像領域が移動領域画像 M3a' として切り出される。そして、この移動領域画像 M3 a' について、補正'拡大画像生成部 l lOeにより、撮影レンズ 221の歪曲収差の補 正を行うとともに拡大処理を行い (ステップ S6)、図 5 (C)に示すように、モニタ 150に 、移動領域画像 M3 を歪み無くし力も拡大された映像として表示する (ステップ S3
) o
[0091] さらに続いて、撮影画像 M3が撮影された撮影フレームに続く撮影フレームの撮影 画像として、図 4 (D)に示す撮影画像 M4が読み込まれる (ステップ Sl)。撮影画像 M4を撮影画像 M3と比較すると、撮影画像 M3においては、室内 400の中ほどに居 る人物 402が、撮影画像 M4においては、出入口 401bの位置に移動し、また、室内 400の中ほどからは人物が消えている。したがって、この撮影画像 M4は、変化部分 検出部 110aにおいて、変化部分があると判断される (ステップ S2において Yes)。
[0092] そして、移動部分検出部 110bにおいて、この撮像画像 M4に移動部分があるかど うかが判断される (ステップ S4)。撮影画像 M4に移動部分があるかどうかは、撮影画 像 M4と、この撮影画像 M4が撮影される前の撮影フレームの撮影画像 M3とを比較 して、両者に画素情報の分布が近似するまとまった複数画素があり、かつ、これらの 複数画素の撮影画像における形成位置が異なるかどうかで判断する。
[0093] 撮影画像 M4の人物 402が写されている画素部分である人物画像部分 M4aが、撮 影画像 M3の人物画像部分 M3aと画素情報の分布が近似すると判断され、かつ、撮 影画像における形成位置が異なっていると判断される。したがって、人物画像部分 M 4aが移動部分として判断される (ステップ S4にお 、て Yes)。
[0094] そして、この移動部分として判断された人物画像部分 M4aを含む領域の画像が、 移動領域画像 M4a' として、移動領域画像切出し処理部 l lOdにより切り出される。 (ステップ S7)。ここでは、撮影画像 M4の輪郭の円周方向に概ね 1Z4の範囲に亘る 画像領域が移動領域画像 M4a' として切り出される。そして、この移動領域画像 M4 a' について、補正'拡大画像生成部 110eにより、撮影レンズ 221の歪曲収差の補 正を行うとともに拡大処理を行い (ステップ S6)、図 5 (D)に示すように、モニタ 150に 、移動領域画像 M4 を歪み無くし力も拡大された映像として表示する (ステップ S3
) o
[0095] そして、さらに続いて、撮影画像 M4が撮影された撮影フレームに続く撮影フレーム の撮影画像として、図 4 (E)に示す撮影画像 M5が読み込まれる (ステップ Sl)。撮影 画像 M5を撮影画像 M4と比較すると、撮影画像 M4においては出入口 401bの位置 に居た人物 402が、撮影画像 M5においては、出入口 401bから出て行って居なくな つている。そして、出入口 401bの部分には、出入口 401bの画像だけが写っている。 すなわち、撮影画像 M4では、出入口 401bの位置に人物画像部分 M4aが写ってい たのに対し、撮影画像 M5では写っていない。したがって、この撮影画像 M5は、変 化部分検出部 110aにおいて、変化部分があると判断される (ステップ S2において Y es) Gすなわち、出入口 401bの部分において、撮影画像 M5に変化部分があると判 断される（ステップ S2において Yes)。
[0096] そして、移動部分検出部 110bにおいて、この撮像画像 M5に移動部分があるかど うかが判断される (ステップ S4)。撮影画像 M5に移動部分があるかどうかは、撮影画 像 M5と、この撮影画像 M5が撮影される前の撮影フレームの撮影画像 M4とを比較 して、両者に画素情報の分布が近似するまとまった複数画素があり、かつ、これらの 複数画素の撮影画像における形成位置が異なるかどうかで判断する。
[0097] 撮影画像 M4, M5については、出入口 401a, 401bについては、画素情報の分布 につ 、ては近似しまとまった複数画素であるが、撮影画像における形成位置が異な らないため、移動部分とは判断されない。また、撮影画像 M4の人物画像部分 M4a については、この部分の画素情報の分布に近似する複数画素は撮影画像 M5には 存在しない。したがって、撮影画像 M5には移動部分は無いと判断される (ステップ S 4において No)。
[0098] そして、出入口 401bの部分の領域の画像力 変化領域画像 M5 として、変化 領域画像切出し処理部 110cにより切り出される (ステップ S5)。ここでは、撮影画像 M5の輪郭の円周方向に概ね 1Z4の範囲に亘る画像領域が変化領域画像 M5a' として切り出される。
[0099] そして、この変化領域画像 M5a' について、補正'拡大画像生成部 110eにより、 撮影レンズ 221の歪曲収差の補正を行うとともに拡大処理を行い (ステップ S6)、図 5 (E)に示すように、モニタ 150に、変化領域画像 M5 を歪み無くし力も拡大された 映像として表示する (ステップ S3)。
[0100] そして、さらに続いて、撮影画像 M5が撮影された撮影フレームに続く撮影フレーム の撮影画像として、図 4 (F)に示す撮影画像 M6が読み込まれる (ステップ Sl)。撮影 画像 M6と撮影画像 M5とは、人物 402が室内 400から出ていった後の撮影画像で ある。すなわち、撮影画像 M6と撮影画像 M5とは、無人で動くものがない室内 400を 撮影した撮影画像であるので、両者は同一の撮影画像である。したがって、撮影画 像 M6には、変化部分は無いと判断され (ステップ S2において No)、モニタ 150には 図 5 (F)に示されるように全範囲映像が表示されることになる。
[0101] 室内 400に人物 402力入り込むなどして、室内 400に再び変化が発生するまでは 、各撮影フレームの撮影画像 M6に変化がないため、撮影画像の読み込み (ステップ S1)、変化部分があるかどうかの判断において無いと判断され (Noステップ S2)、そ して、モニタ 150には全範囲映像の表示 (ステップ S3)が繰り返される。すなわち、モ ユタ 150には、図 5 (F)に示す全範囲映像の表示が継続して行われることになる。
[0102] HDD300に記録された撮影画像をモニタ 150に再生している中で、撮影画像に変 化がない場合には、被写体の全範囲映像をモニタ 150に表示し、被写体に変化が 生じた場合には、その変化した部分を切り出し、切り出した部分について、撮影レン ズ 221の歪曲収差の補正を行うとともに拡大した補正拡大画像をモニタ 150に表示 することにより、被写体の変化を見逃すことなぐまた、変化部分に対応する被写体の 映像を正確に見ることができる。
[0103] また、図 4 (B)、 (C)、 (D)に示すように、撮影画像の移動部分 (人物画像部分 M3a , M4a)に合わせて、移動領域画像 (移動領域画像 M3 ， M4 ）として切り出さ れる範囲が変わる。すなわち、被写体に移動部分があるときは、この移動部分に合わ せて、移動領域画像切出し処理部 110dにより切り出される移動領域画像の範囲が 変わる。そして、モニタ 150において、被写体に移動部分の映像を、撮影レンズ 221 の歪曲収差の補正と拡大処理がされた移動領域画像の映像として見ることができる。 そのため、被写体の移動を見逃すことなぐまた、移動部分に対応する被写体の映像 を正確に見ることができる。
[0104] なお、変化領域画像あるいは移動領域画像として切り出される範囲については、上 述の実施の形態では、撮影画像の輪郭の円周方向に 1Z4の範囲とした力 被写体 の内容等に応じて適宜に設定する。例えば、変化部分あるいは移動部分が小さなも のであるときは、変化領域画像あるいは移動領域画像として切り出す範囲を小さくし て、モニタ 150に表示されるときの拡大率が大きくなるようにしてもよい。逆に、変化部 分あるいは移動部分の周囲の状況を広く見た ヽ場合には、変化領域画像あるいは 移動領域画像として切り出す範囲を広くするようにしてもよい。なお、変化領域画像あ るいは移動領域画像は、撮影レンズ 221の歪曲収差の補正がされた状態で、モニタ 150の表示面の形状 (一般的にはアスペクト比 4 : 3の矩形）になるようにすることが好 ましい。
[0105] 以上は、被写体に変化部分あるいは移動部分が 1箇所の場合の説明である。以下 に、被写体に変化部分あるいは移動部分が複数発生した場合について、図 6および 図 7を参照しながら説明する。
[0106] 図 6は、図 4と同様に、無人の事務所内である室内 400を被写体としてカメラ部 200 で撮影したときの撮影画像であり、 HDD300に記録されているものである。図 4と異 なるのは、図 4においては、室内 400 (被写体)の変化部分および移動部分が一箇所 (人物 402がー人）であるのに対し、図 6に示す被写体においては、室内 400 (被写 体)の変化部分および移動部分が 2箇所 (人物 402が二人)である点で異なる。すな わち、被写体に、変化部分あるいは移動部分が複数発生した場合を示している。
[0107] 図 6においても、図 4と同様に、図 6 (A) , · ··, (B) , (C) , (D) , (E) , (F) ,…の順 で順次撮影が行われている。また、図 7は、図 5と同様に、 HDD300に記録されてい る図 6 (A) (B) (C) (D) (E) (F)…の撮影画像を画像処理装置 100により画像処理 してモニタ 150に表示したときの、映像の内容を示している。図 7 (A)は図 6 (A)に、 07 (B)は図 6 (B)に、 07 (C)は図 6 (C)に、 07 (D)は図 6 (D)に、 07 (E)は図 6 ( E)に、図 7 (F)は図 6 (F)にそれぞれ対応している。また、撮像素子 230の撮像面に は、図 6 (A)〜(F)に示すように、撮影レンズ 221の形状に対応して円形の画像が結 像している。
[0108] 室内 400は、本来無人である。そのため、 HDD300には、室内 400に動く物がな い間は、図 6 (A)に示すように、静止物である出入口 401a, 401bを含む室内 400の 撮影画像 N1が、撮影時間の間の撮影フレーム数だけ記録されていることになる。各 撮影フレームの撮影画像 N1は、撮影をした時刻としては異なるが、室内 400、すな わち被写体に動く部分がないため、撮影画像の内容としては同一の撮影画像が複 数の撮影フレームの撮像画像 Nlとして HDD300に記録されていることになる。
[0109] し力し、図 6 (B)に示すように、出入口 401a力ら人物 402a力 また出入口 401b力 ら人物 402bが、それぞれ室内 400に侵入しょうとするときには、撮影画像 N2が撮影 され、 HDD300に記録されることになる。そして、この人物 402a, 402b力 室内 400 を移動すると、順次、図 6 (C)示す撮影画像 N3、そして図 6 (D)に示す撮影画像 N4 が撮影され、 HDD300に記録されることになる。そして、人物 402a, 402bが出入口 401b, 401aからそれぞれ室内 400の外に出て行った後は、室内 400には動くもの が無くなり、図 6 (E) (F)に示すように、出入口 401a, 401bを含む室内 400の撮影画 像 N5, N6が撮影され、 HDD300に記録されていることになる。撮影画像 N6は、撮 影画像 N1と同様に、撮影時間の間の撮影フレーム数だけ記録されていることになる
[0110] なお、撮影画像 Nl, N2, N3, N4, N5, N6は、連続した撮影フレームとする。ま た、 1秒間に十数フレーム力 数十フレームの撮影が行われるため、連続する撮影フ レームの間に人物 402が移動する距離は僅かなものである。そのため、連続する撮 影フレーム間における人物 402の撮影画像上での実際の移動量も僅かなものである 。しかし、ここでは、説明のため、人物 402が移動していることを判り易くするため、撮 影画像上での移動量を大きくして表わして 、る。
[0111] 次に、 HDD300に記録された撮景画像 Nl, N2, N3, N4, N5, N6を再生すると きの画像処理について図 3のフローチャートを参照しながら説明する。
[0112] 先ず、 HDD300に記録された撮影映像を撮影時刻順に 1撮影フレームずつ読み 込む (ステップ Sl)。ここでは、先ず、撮影画像 N1が読み出されることになる。そして 、この撮影画像 N1について、この撮影画像 N1に変化部分があるかどうかが、変化 部分検出部 110aにおいて判断される (ステップ S2)。撮影画像 Nlは 1番最初の撮 影フレームであるので、比較する撮影画像がな 、ので変化部分はな 、と判断される（ ステップ S2において No)。そして、撮影画像 N1の映像がモニタ 150に図 7 (A)に示 すように、全範囲映像として表示される（ステップ S3)。
[0113] 次いで、 2番目の撮影フレームが読み込まれる。この 2番目の撮影フレームは、未だ 図 6 (B)に示す人物 402a, 402bが室内 400に侵入するに至る前の撮影フレームと する。したがって、 1番目の撮影フレームにおける撮影画像 N1と同一の被写体内容 の撮影画像 N1が読み込まれる。そして、 2番目の撮影フレームの撮影画像 N1に変 化部分があるかどうかが、変化部分検出部 110aにおいて判断される (ステップ S2)。 1番目と 2番目の撮影フレームの被写体には変化がないため、 1番目と 2番目の撮影 フレームの撮影画像 N1の画素の画素情報には変化がない。したがって、変化部分 検出部 110aにおいて、 1番目と 2番目の撮影フレームの撮影画像 N1には、変化部 分はないと判断され (ステップ S2において No)、 1番目の撮影フレームの撮影画像 N 1と同様に図 7 (A)に示す全範囲映像がモニタ 150に表示される。
[0114] 室内 400に人物 402a, 402bが侵入するまでは、各撮影フレームの撮影画像 N1 に変化がないため、撮影画像の読み込み (ステップ S1)、変化部分があるかどうかの 判断において無いと判断され (Noステップ S2)、そして、モニタ 150には全範囲映像 の表示 (ステップ S3)が繰り返される。すなわち、モニタ 150には、図 7 (A)に示す全 範囲映像の表示が継続して行われることになる。
[0115] そして、人物 402a, 402bが室内 400に侵入したときの撮影画像として、図 6 (B)に 示す撮影画像 N2が読み込まれたときには (ステップ S1)、撮影画像 N2に変化部分 があると判断される (ステップ S2において Yes)。撮像画像 N2と、この撮像画像 N2が 撮影された撮影フレームの前の撮影フレームの撮影画像 N1とを比較すると、撮影画 像 N2には、撮影画像 N1には撮影されていな力つた人物 402a, 402bが撮影されて いる。この人物 402a, 402bが写されている画素部分である人物画像部分 N2a, N2 bについて、撮影画像 N2は撮影画像 Mlと画素情報にかたまりをもって異なる。すな わち、人物画像部分 N2aと人物画像部分 N2bとが、撮影画像 N2の変化部分として 判断される（ステップ S2にお!/、て Yes)。
[0116] 次に、撮影画像 N2に移動部分があるかどうかが判断される (ステップ S4)。撮影画 像 Nl, N2については、出入口 401a, 401bについては、画素情報の分布について は近似しまとまった複数画素であるが、撮影画像における形成位置が異ならな ヽた め、移動部分とは判断されない。また、撮影画像 N2の人物画像部分 N2a, N2b〖こ ついては、この部分の画素情報の分布に近似する複数画素は撮影画像 N 1には存 在しない。したがって、撮影画像 N2には移動部分は無いと判断される (ステップ S4 において No)。
[0117] そして、ステップ S5において、変化領域画像切出し処理部 110cにより、変化領域 画像の切り出し処理が行われる。変化領域画像切出し処理部 110cは、変化部分が 複数あり、この変化部分が所定の距離内にないときは、各変化部分について、それ ぞれ変化領域画像の切り出しを行う。所定の距離とは、例えば、変化部分が、変化領 域画像の切り出し範囲内に収まる距離とする。ここでは、変化領域画像の切り出し範 囲を撮影画像 N2の輪郭の円周方向に概ね 1Z4の範囲とする。人物画像部分 N2a , N2bは、撮影画像 N2の輪郭の円周方向に対して直径方向に位置している。その ため、人物画像部分 N2a, N2bは変化領域画像の切り出し範囲内に収まらない。し たがって、変化領域画像切出し処理部 110cは、人物画像部分 N2aを含む領域の画 像を変化領域画像 N2a' として、また、人物画像部分 N2bを含む領域の画像を変 化領域画像 N2b' としてそれぞれ切り出す (ステップ S5)。変化領域画像 N2a' と 変化領域画像 N21 は、それぞれ、撮影画像 N2の輪郭の円周方向に概ね 1Z4の 範囲に亘る画像領域として切り出される。
[0118] そして、変化領域画像 N2a' と変化領域画像 N2b' について、補正'拡大画像生 成部 110eにより、撮影レンズ 221の歪曲収差の補正を行うとともに拡大処理を行う（ ステップ S6)。そして、図 7 (B)に示すように、モニタ 150の上下に、それぞれ、変化 領域画像 N2a' と変化領域画像 N2b' を歪み無くしかも拡大された映像として表示 する (ステップ S3)。図 7 (B)においては、上段が、変化領域画像 N2 に対応する 映像であり、下段が、変化領域画像 N21 に対応する映像として示している。
[0119] ところで、図 6 (G)に示すように、変化領域画像の切り出し範囲内に、 2つの変化部 分 P, Qが発生した場合には、ステップ S5において、変化領域画像切出し処理部 11 Ocは、この 2つの変化部分 P, Qを含む領域の画像を変化領域画像 N2 として切り 出す。そして、この変化領域画像 N2c について、補正'拡大画像生成部 110eによ り、撮影レンズ 221の歪曲収差の補正を行うとともに拡大処理を行う（ステップ S6)。 そして、図 7 (G)に示すように、変化領域画像 N2c' を歪み無くし力も拡大された映 像として表示する (ステップ S3)。
[0120] このように、複数の変化部分が、変化領域画像の切り出し範囲内に収まる距離内に あるときは、複数の変化部分を一つの変化領域画像に納めることにより、変化領域画 像をモニタ 150上に補正 '拡大した際に、重複した被写体部分が、異なる映像として 表示されないようにすることができる。例えば、変化部分 Pと変化部分 Q、それぞれに ついて、変化領域画像を切り出し、図 7 (B)の映像のように、各変化領域画像につい ての補正'拡大映像を上下に表示した場合には、上下の映像の広い範囲で同一の 映像が表示されることになり、見苦しい映像と感じることがある。また、同一の部分が 映っているにも拘わらず、上下に分けて表示されるため、それぞれの映像が小さくな る。これに比べて、図 7 (G)に示すように、 2つの変化部分である変化部分 Pと変化部 分 Qを一つの変化領域画像として補正 ·拡大して表示した場合には、拡大率の高!ヽ 映像として見ることができる。
[0121] 続いて、撮影画像 N2が撮影された撮影フレームに続く撮影フレームの撮影画像と して、図 6 (C)に示す撮影画像 N3が読み込まれる (ステップ Sl)。撮影画像 N3を撮 影画像 N2と比較すると、撮影画像 N2においては、人物 402a, 402b力 それぞれ 出入口 401a, 401bの位置に居たのに対し、撮影画像 N3においては、人物 402a, 402bは、それぞれ、出入口 401a, 402bから離れた室内 400の中ほどの位置に移 動している。また、出入口 401a, 402bの位置力もは、それぞれ人物 402a, 402b力 S 消えている。したがって、この撮影画像 N3は、変化部分検出部 110aにおいて、変化 部分があると判断される (ステップ S2において Yes)。
[0122] そして、移動部分検出部 110bにおいて、この撮像画像 N3に移動部分があるかど うかが判断される (ステップ S4)。撮影画像 N3に移動部分があるかどうかは、撮影画 像 N3と、この撮影画像 N3が撮影される前の撮影フレームの撮影画像 N2とを比較し て、両者に画素情報の分布が近似するまとまった複数画素があり、かつ、これらの複 数画素の撮影画像における形成位置が異なるかどうかで判断する。
[0123] 撮影画像 N3の人物 402aが写されて 、る画素部分である人物画像部分 N3aと撮 影画像 N2の人物画像部分 N2aとは、互いに画素情報の分布が近似すると判断され る。また、人物 402bが写されている画素部分である人物画像部分 N3bと撮影画像 N 2の人物画像部分 N2bとについても、互いに画素情報の分布が近似すると判断され る。これに加えて、人物画像部分 N3aと人物画像部分 N2aの撮影画像における形成 位置が異なっていると判断される。また、人物画像部分 N3bと人物画像部分 N2bの 撮影画像における形成位置についても異なっていると判断される。したがって、人物 画像部分 N3a, N3bが移動部分として判断される (ステップ S4において Yes)。
[0124] そして、ステップ S7において、移動領域画像切出し処理部 l lOdにより、移動領域 画像の切り出し処理が行われる。移動領域画像切出し処理部 l lOdは、移動部分が 複数あり、この移動部分が所定の距離内にないときは、各移動部分について、それ ぞれ移動領域画像の切り出しを行う。所定の距離とは、例えば、移動部分が、移動領 域画像の切り出し範囲内に収まる距離とする。ここでは、移動領域画像の切り出し範 囲を，上述の変化領域画像の切り出し範囲と同一とし、撮影画像 N3の輪郭の円周 方向に概ね 1Z4の範囲とする。人物画像部分 N3a, N3bは、隣接して位置している 。そのため、人物画像部分 N3a, N3bは移動領域画像の切り出し範囲内に収まる距 離に位置している。したがって、移動領域画像切出し処理部 l lOdは、人物画像部分 N3aと人物画像部分 N3bを含む領域の画像を移動領域画像 N3a' W として切り 出す (ステップ S7)。移動領域画像 N3a' b' は、撮影画像 N3の輪郭の円周方向に 概ね 1Z4の範囲に亘る画像領域として切り出される。
[0125] そして、この移動領域画像 N3 W について、補正'拡大画像生成部 110eにより 、撮影レンズ 221の歪曲収差の補正を行うとともに拡大処理を行い (ステップ S6)、図 7 (C)に示すように、モニタ 150に、移動領域画像 N3a' W を歪み無くしかも拡大さ れた映像として表示する (ステップ S3)。
[0126] このように、複数の移動部分が、移動領域画像の切り出し範囲内に収まる距離内に あるときは、複数の移動部分を一つの移動領域画像に納めることにより、移動領域画 像をモニタ 150上に補正 '拡大した際に、重複した被写体部分が、異なる映像として 表示されないようにすることができる。例えば、人物画像部分 N3aと人物画像部分 N 3b、それぞれについて、移動領域画像を切り出し、図 7 (B)の映像のように、各移動 領域画像についての補正'拡大映像を上下に表示した場合には、上下の映像の広 い範囲で同一の映像が表示されることになり、見苦しい映像と感じることがある。また 、同一の部分が映っているにも拘わらず、上下に分けて表示されるため、それぞれの 映像が小さくなる。これに比べて、図 7 (C)に示すように、 2つの移動部分である人物 画像部分 N3aと人物画像部分 N3bを一つの移動領域画像として補正 ·拡大して表 示した場合には、拡大率の高 、映像として見ることができる。
[0127] さらに続いて、撮影画像 N3が撮影された撮影フレームに続く撮影フレームの撮影 画像として、図 6 (D)に示す撮影画像 N4が読み込まれる (ステップ Sl)。撮影画像 N 4を撮影画像 N3と比較すると、撮影画像 N3においては、室内 400の中ほどに居る 人物 402a, 402b力 撮影画像 N4においては、それぞれ、出入口 401bと出入口 40 laの位置に移動し、また、室内 400の中ほどからは人物が消えている。したがって、 この撮影画像 N4は、変化部分検出部 110aにおいて、変化部分があると判断される (ステップ S2にお!/、て Yes)。
[0128] そして、移動部分検出部 110bにおいて、この撮像画像 N4に移動部分があるかど うかが判断される (ステップ S4)。撮影画像 N4に移動部分があるかどうかは、撮影画 像 N4と、この撮影画像 N4が撮影される前の撮影フレームの撮影画像 N3とを比較し て、両者に画素情報の分布が近似するまとまった複数画素があり、かつ、これらの複 数画素の撮影画像における形成位置が異なるかどうかで判断する。
[0129] 撮影画像 N4の人物 402aが写されて ヽる画素部分である人物画像部分 N4aと撮 影画像 N3の人物画像部分 N3aとは、互いに画素情報の分布が近似すると判断され る。また、人物 402bが写されている画素部分である人物画像部分 N4bと撮影画像 N 3の人物画像部分 N3bとについても、互いに画素情報の分布が近似すると判断され る。これに加えて、人物画像部分 N4aと人物画像部分 N3aの撮影画像における形成 位置が異なっていると判断される。また、人物画像部分 N4bと人物画像部分 N3bの 撮影画像における形成位置についても異なっていると判断される。したがって、人物 画像部分 N4a, N4bが移動部分として判断される (ステップ S4において Yes)。
[0130] そして、ステップ S7において、移動領域画像切出し処理部 110dにより、移動領域 画像の切り出し処理が行われる。この移動領域画像切出し処理部 110dにお 、ては 、上述したように、移動部分が複数あり、この移動部分が所定の距離内にないときは 、各移動部分について、それぞれ移動領域画像の切り出しを行う。ここでは、所定の 距離は、移動部分が、移動領域画像の切り出し範囲内に収まる距離であり、移動領 域画像の切り出し範囲は、撮影画像 N3の輪郭の円周方向に概ね 1Z4の範囲となつ ている。人物画像部分 N4a, N4bは、撮影画像 N4の輪郭の円周方向に対して直径 方向に位置している。そのため、人物画像部分 N4a, N4bは移動領域画像の切り出 し範囲内に収まらない。したがって、移動領域画像切出し処理部 l lOdは、人物画像 部分 N4aを含む領域の画像を移動領域画像 N4a' として、また、人物画像部分 N4 bを含む領域の画像を移動領域画像 N41 としてそれぞれ切り出す (ステップ S7)。 移動領域画像 N4a' と移動領域画像 N4b' は、それぞれ、撮影画像 N4の輪郭の 円周方向に概ね 1Z4の範囲に亘る画像領域として切り出される。
[0131] そして、移動領域画像 N4a' と移動領域画像 N4b' について、補正'拡大画像生 成部 110eにより、撮影レンズ 221の歪曲収差の補正を行うとともに拡大処理を行う（ ステップ S6)。そして、図 7 (D)〖こ示すよう〖こ、モニタ 150の上下に、それぞれ、移動 領域画像 N4a' と移動領域画像 N4b' を歪み無くしかも拡大された映像として表示 する (ステップ S3)。図 7 (D)においては、上段が、移動領域画像 N4 に対応する 映像であり、下段が、移動領域画像 N41 に対応する映像として示している。
[0132] そして、さらに続いて、撮影画像 N4が撮影された撮影フレームに続く撮影フレーム の撮影画像として、図 6 (E)に示す撮影画像 N5が読み込まれる (ステップ Sl)。撮影 画像 N5を撮影画像 N4と比較すると、撮影画像 N4においては出入口 401a, 401b の位置に居た人物 402a, 402b力 撮影画像 N5にお!/ヽて ίま、出人口 401a, 401b 力ら出て行って居なくなつている。そして、出入口 401a, 401bの部分には、出入口 4 Ola, 401bの画像だけが写っている。すなわち、撮影画像 N4では、出入口 401a, 4 01bの位置に、それぞれ人物画像部分 N4a, N4bが写っていたのに対し、撮影画像 N5では写っていない。したがって、この撮影画像 N5は、変化部分検出部 110aにお いて、変化部分があると判断される (ステップ S2において Yes)。すなわち、出入口 4 Ola, 401bの部分において、撮影画像 N5に変化部分があると判断される (ステップ S2において Yes)。
[0133] そして、移動部分検出部 110bにおいて、この撮像画像 N5に移動部分があるかど うかが判断される (ステップ S4)。撮影画像 N5に移動部分があるかどうかは、撮影画 像 N5と、この撮影画像 N5が撮影される前の撮影フレームの撮影画像 N4とを比較し て、両者に画素情報の分布が近似するまとまった複数画素があり、かつ、これらの複 数画素の撮影画像における形成位置が異なるかどうかで判断する。
[0134] 撮影画像 N4, N5については、出入口 401a, 401bについては、画素情報の分布 につ 、ては近似しまとまった複数画素であるが、撮影画像における形成位置が異な らないため、移動部分とは判断されない。また、撮影画像 N4の人物画像部分 N4aに ついては、この部分の画素情報の分布に近似する複数画素は撮影画像 N5には存 在しない。さらに、撮影画像 N4の人物画像部分 N4bについては、この部分の画素情 報の分布に近似する複数画素は撮影画像 N5には存在しない。したがって、撮影画 像 M5には移動部分は無 、と判断される (ステップ S4にお 、て No)。
[0135] そして、出入口 401aと 401bの部分の領域の画像力 それぞれ、変化領域画像 N5 a, N5bとして、変化領域画像切出し処理部 110cにより切り出される (ステップ S5)。 ここでは、撮影画像 N5の概ね 1Z4の範囲に亘る画像領域が変化領域画像 N5a, 5 Nbとして切り出される。
[0136] そして、変化領域画像 N5aと変化領域画像 N5bについて、補正'拡大画像生成部 110eにより、撮影レンズ 221の歪曲収差の補正を行うとともに拡大処理を行う（ステツ プ S6)。そして、図 7 (E)に示すように、モニタ 150の上下に、それぞれ、変化領域画 像 N5aと変化領域画像 N5bを歪み無くしかも拡大された映像として表示する (ステツ プ S3)。図 7 (E)においては、上段が、変化領域画像 N5aに対応する映像であり、下 段力 変化領域画像 N5bに対応する映像として示している。
[0137] そして、さらに続いて、撮影画像 N5が撮影された撮影フレームに続く撮影フレーム の撮影画像として、図 6 (F)に示す撮影画像 N6が読み込まれる (ステップ Sl)。撮影 画像 N6と撮影画像 N5とは、人物 402a, 402bが室内 400から出ていった後の撮影 画像である。すなわち、撮影画像 N6と撮影画像 N5とは、無人の動くものがない室内 400を撮影した撮影画像であるので、両者は同一の撮影画像である。したがって、撮 影画像 N6には、変化部分は無いと判断され (ステップ S2において No)、モニタ 150 には図 7 (F)に示されるように全範囲映像が表示されることになる。
[0138] その後、室内 400に人物 402力入り込むなどして、室内 400に再び変化が発生す るまでは、各撮影フレームの撮影画像 N6に変化がないため、撮影画像の読み込み（ ステップ S1)、変化部分があるかどうかの判断において無いと判断され (ステップ S2 において No)、そして、モニタ 150には全範囲映像の表示 (ステップ S3)が繰り返さ れる。すなわち、モニタ 150には、図 7 (F)に示す全範囲映像の表示が継続して行わ れること〖こなる。
[0139] 以上のように、 HDD300に記録された撮影画像をモニタ 150に再生している中で、 撮影画像に複数の変化部分や移動部分が発生した場合には、それぞれの部分につ いて、撮影レンズ 221の歪曲収差の補正を行うとともに拡大した補正拡大画像をモ- タ 150に表示される。そのため、複数の変化部分や移動部分について、それぞれ、 被写体の変化や移動を見逃すことなぐまた、変化部分や移動部分に対応する被写 体の映像を正確に見ることができる。
[0140] 上述の実施の形態において、ステップ S4における移動部分検出部 110bにおいて 、移動部分と判断する部分がどれだけの画素分移動したときに、移動として判断する かは、移動部分を検出する精度 (感度)をどの程度にするかにより適宜に設定する。 移動したと判断する画素数を少なくすれば、精度 (感度)は高くなり、多くすれば、精 度 (感度）は低くなる。
[0141] 遠方の被写体の撮影画像と近距離の被写体の撮影画像とを比べると、 1画素につ V、ての被写体の移動量は、遠方の被写体の方が近距離の被写体の移動量よりも大 きい。したがって、遠方の被写体を撮影するときは、移動部分の検出精度 (感度)を 高くし、近距離の被写体を撮影するときには、移動部分の検出精度 (感度)を低くす るようにしてちょい。
[0142] また、本実施の形態のように、広角の撮影レンズ 221による撮影画像は、画像の周 辺部側に比べて中心部側の方が、結像倍率が高い。したがって、画像の周辺部側と 中心部側の画像の被写体の撮影レンズ 221からの距離が等しければ、 1画素につい ての被写体の移動量は、中心部側の被写体の方が周辺部側の被写体の移動量より も大きい。したがって、周辺部側の方を中心部側に比べて、移動部分の検出精度（ 感度）を高くするようにしてもょ 、。
[0143] なお、複数の変化部分を一つの変化領域画像内に収めるかどうかの判断の基準と なる変化部分間の所定の距離は、上述の実施の形態においては、複数の変化部分 力 一つの変化領域画像内に収まるかどうかにより判断したが次のようにしてもよい。 例えば、 2つの変化部分力 1つの変化領域画像内に収まるがこの領域の両側に対 畤して位置するような場合には、これらの変化部分を 1つの変化領域画像内に納める こととすると、変化部分が対畤している側と反対側の画像を見ることができなくなる。し たがって、このような場合には、変化部分それぞれについて、変化領域画像として切 り出すようにすることにより、それぞれの変化画像とその周辺部の映像を見ることがで きる。
[0144] また、複数の移動部分を 1つの移動領域画像内に収めるかどうかの判断の基準と なる移動部分間の所定の距離についても、上述の実施の形態のように、複数の移動 部分が、 1つの移動領域画像内に収まるかどうかにより判断することに限られない。例 えば、 2つの移動部分が、 1つの移動領域画像内に収まるがこの領域の両側に対畤 して位置するような場合には、上述したように、これらの移動部分を 1つの移動領域画 像内に納めることとすると、移動部分が対畤している側と反対側の画像を見ることが できなくなる。したがって、このような場合には、移動部分それぞれについて、移動領 域画像として切り出すようにすることにより、それぞれの移動画像の周辺部の映像を 見ることができる。
[0145] (第 2の実施の形態）
上述の第 1の実施の形態では、撮影フレームレートを 16フレーム/秒、あるいは 30 フレーム/秒等の比較的高 、撮影フレームレートとし、撮影画像された画像を撮影フ レーム順に連続して再生するといわゆる動画として再生される。これに対して、撮影フ レームレートを例えば、 1フレーム Z分等のように小さくして撮影してもよい。
[0146] このように撮影フレームレートを小さくして撮影する場合には、移動部分を検出する ことには大きな意義がなくなり、変化部分の検出が主な目的となることが多い。例えば 、不審物の有無を監視する目的の場合には、撮影フレームレートを小さくするようにし てもよい。移動部分の検出を行わない場合には、画像処理装置 100において、移動 部分検出部 110bおよび移動領域画像切出し部処理部 l lOdを備えずに、図 8に示 すフローチャートに示す画像処理を行うようにしてもよい。図 8に示すフローチャート は、図 3に示すフローチャートのうち、移動部分の検出と移動部分についての切り出 し処理に関するステップ S4およびステップ S7の処理を省略したものである。他の処 理 (ステップ）については、図 3と同一である。したがって、詳しい説明については省 略し、動作の概略を以下に説明する。
[0147] 撮影画像を読み込み (ステップ S1)、変化部分がなければ (ステップ S2にお 、て N o)、全範囲映像がモニタ 150に表示される（ステップ S3)。不審物等が置かれる等し て、被写体に変化部分が発生しない限り、ステップ Sl、ステップ S 2において No、ス テツプ S3そしてステップ S1の処理が繰り返され、モニタ 150には全範囲映像が表示 され続けられる。
[0148] 一方、被写体内に不審物等が置かれる等して、被写体に変化部分が発生した場合
(ステップ S2において Yes)には、変化部分を含む変化領域画像が切り出され (ステ ップ S5)、この変化領域画像について、撮影レンズ 221の歪曲収差の補正を行うとと もに拡大処理を行い (ステップ S6)、モニタ 150に変化領域画像について補正拡大し た映像を表示する。
[0149] 上述の各実施の形態においては、変化領域画像 (例えば、図 4における M2 , M5a' 、図 6における N2a' , N2b' , N5a, N5b)、あるいは移動領域画像（例え ば、図 4における M3a^ , M4a' 、図 6における N3a^ W , N4a' , N4b' )に対し て、補正'拡大画像生成部 110eにおいて、撮影レンズ 221の歪曲収差の補正を行う とともに拡大処理を行うこととして 、る (ステップ S6)。
[0150] し力しながら、変化領域画像あるいは移動領域画像につ!、て、拡大処理は行わず に、撮影レンズ 221の歪曲収差の補正を行った補正画像を生成し、この補正画像を モニタ 150に表示する（ステップ S3)ようにすることもできる。
[0151] または、補正 ·拡大画像生成部 110eを、変化領域画像あるいは移動領域画像に ついて、撮影レンズ 221の歪曲収差の補正を行うとともに縮小処理を行う補正'縮小 画像生成部として構成することもできる。このような構成とする場合には、変化領域画 像あるいは移動領域画像について、撮影レンズ 221の歪曲収差の補正を行うととも に、縮小処理をした補正縮小した映像を生成し、これをモニタ 150に表示する (ステツ プ S3)ことになる。
[0152] なお、変化領域画像ある!/ヽは移動領域画像が複数ある場合には、変化部分や移 動部分が一目で判るように、個々の変化領域画像ある 、は移動領域画像にっ 、て の補正画像あるいは補正縮小画像をモニタ 150に並べて表示する。
[0153] (変形例）
上述の各実施の形態において、変化部分や移動部分をモニタ 150に表示する替 わりに、全ての撮影フレームの中から、変化部分や移動部分を含む撮影フレームを 変化部分ファイルある 、は移動部分ファイルとして別ファイルにまとめて、 HDD300 に記録するようにしてもよい。このようにすることにより、変化部分 Z移動部分ファイル の画像データを再生すれば、変化部分や移動部分だけを再生して見ることができる 。なお、変化部分 Z移動部分ファイルの他に、全範囲映像の全ての撮影フレームに つ！ヽても HDD300に記録するようにしてもよ!、。
[0154] なお、変化部分や移動部分を含む撮影フレームのフレーム番号や、このフレームを 含むチャプターの番号を記録するようにしてもよい。このようにすることにより、フレー ム番号あるいはチャプターの番号に基づ 、て、変化部分や移動部分だけを再生して 見ることができる。
[0155] (第 3の実施の形態）
上述の各実施の形態は、カメラ部 200により撮影して、 HDD300に記録された撮 影画像を画像処理装置 100に画像処理して再生する構成としているが、カメラ部 20 0により撮影した撮影画像を直接、画像処理装置 100で処理する構成としてもょ ヽ。 すなわち、図 9に示すように、画像処理装置 100とカメラ部 200を備えるカメラ装置 50 0として構成してもよい。画像処理装置 100とカメラ部 200の構成については、上述し た画像処理装置 100とカメラ部 200と同一なので、その説明を省略する。
[0156] このように構成されたカメラ装置 500は、図 4に示す撮影画像が撮影されたときには 、図 5に示す映像がモニタ 150に表示される。また、図 6に示す撮影画像が撮影され たときには、図 7に示す映像がモニタ 150に表示される。したがって、モニタ 150によ りリアルタイムで被写体を監視するような場合には、被写体の変化を確実に認識でき 、また、変化部分を含む変化領域画像や移動部分を含む移動領域画像が拡大され て表示されるので、変化部分と移動部分の正確な映像を見ることができる。
[0157] また、画像処理装置 100において処理されて出力される変化領域画像や移動領域 画像の補正拡大画像だけを HDD300等の記録手段に記録するようにしてもょ 、。こ のようにすることにより、変化領域画像や移動領域画像の補正拡大画像だけを再生 して見ることがでさる。
[0158] 上述の各実施の形態においては、画像処理装置 100およびカメラ装置 500を、事 務所内の監視に用いる例を示しているが、一般住宅の屋内外の監視用として使用で きる他、野生動物の生態観察を行う際にも使用することができる。
[0159] また、 HDD300と画像処理装置 100とを USBケーブルを介してネットワークを通じ て接続してもよい。また、カメラ装置 500は、カメラ部 200と画像処理装置 100とを、力 メラ部 200の USB接続部 202に接続される USBケーブル（図示省略)を介してネット ワークを通じて接続するようにしてもょ 、。

Claims

請求の範囲
[1] 連続して撮影が行われた撮影画像であって、広角の撮影レンズにより撮像手段に 結像した被写体の撮影画像につ！ヽて画像処理を行う画像処理装置にお！/ヽて、 上記被写体の変化による撮影画像の移動部分を検出する移動部分検出手段と、 上記移動部分検出手段により移動が検出された上記移動部分の撮影画像を含む 領域を移動領域画像として切り出す移動領域画像切出手段と、
上記移動領域画像について、上記撮影レンズによる歪の補正処理を行うとともに拡 大処理を行!、、補正拡大画像を生成する補正拡大画像生成手段と
を備えることを特徴とする画像処理装置。
[2] 前記移動領域画像切出手段は、前記移動部分が複数あるときは、前記移動部分 毎に、前記移動領域画像を切り出すことを特徴とする請求項 1に記載の画像処理装 置。
[3] 前記移動領域画像切出手段は、前記複数の移動部分が所定の距離内にあるとき は、前記複数の移動部分を含む 1の移動領域画像により切り出すことを特徴とする請 求項 1または請求項 2のいずれか 1項に記載の画像処理装置。
[4] 前記移動領域画像切出手段は、前記移動部分の移動量が所定の移動量を超える ときに、移動画像領域を切り出し、上記所定の移動量は、前記移動部分の撮影画像 における位置に応じて異なることを特徴とする請求項 1から請求項 3のいずれか 1項 に記載の画像処理装置。
[5] 連続して撮影が行われた撮影画像であって、広角の撮影レンズにより撮像手段に 結像した被写体の撮影画像につ！ヽて画像処理を行う画像処理装置にお！ヽて、 上記被写体の変化による撮影画像の変化部分を検出する変化部分検出手段と、 上記変化部分検出手段により変化が検出された上記変化部分の撮影画像を含む 領域を変化領域画像として切り出す変化領域画像切出手段と、
上記変化領域画像について、上記撮影レンズによる歪の補正処理を行うとともに拡 大処理を行!、、補正拡大画像を生成する補正拡大画像生成手段と
を備えることを特徴とする画像処理装置。
[6] 前記変化領域画像切出手段は、前記変化部分が複数あるときは、前記変化部分 毎に、前記変化領域画像を切り出すことを特徴とする請求項 5に記載の画像処理装 置。
[7] 前記変化領域画像切出手段は、前記複数の変化部分が所定の距離内にあるとき は、前記複数の変化部分を含む 1の変化領域画像により切り出すことを特徴とする請 求項 5または請求項 6のいずれか 1項に記載の画像処理装置。
[8] 連続して撮影が行われた撮影画像であって、広角の撮影レンズにより撮像手段に 結像した被写体の撮影画像につ！ヽて画像処理を行う画像処理装置にお！ヽて、 上記被写体の変化による撮影画像の移動部分を検出する移動部分検出手段と、 上記移動部分検出手段により移動が検出された上記移動部分の撮影画像を含む 領域を移動領域画像として切り出す移動領域画像切出手段と、
上記被写体の変化による撮影画像の変化部分を検出する変化部分検出手段と、 上記変化部分検出手段により変化が検出された上記変化部分の撮影画像を含む 領域を変化領域画像として切り出す変化領域画像切出手段と、
上記移動領域画像または上記変化領域画像にっ 、て、上記撮影レンズによる歪の 補正処理を行うとともに拡大処理を行い、補正拡大画像を生成する補正拡大画像生 成手段と
を備えることを特徴とする画像処理装置。
[9] 前記画像処理装置は、前記補正拡大画像を記録部に記録することを特徴とする請 求項 1から請求項 8のいずれか 1項に記載の画像処理装置。
[10] 前記画像処理装置は、前記補正拡大画像のフレーム番号またはチャプター番号の 少なくとも一方を記録部に記録することを特徴とする請求項 1から請求項 9のいずれ 力 1項に記載の画像処理装置。
[11] 請求項 1から請求項 10のいずれ力 1項に記載する画像処理装置を備えることを特 徴とするカメラ装置。
[12] 連続して撮影が行われた撮影画像であって、広角の撮影レンズにより撮像手段に 結像した被写体の撮影画像につ！ヽて画像処理を行う画像処理方法にお！、て、 上記被写体の変化による撮影画像の移動部分を検出する移動部分検出ステップと 上記移動部分検出ステップにより移動が検出された上記移動部分の撮影画像を含 む領域を移動領域画像として切り出す移動領域画像切出ステップと、
上記移動領域画像内の撮影画像につ!ヽて、上記撮影レンズの歪曲収差の補正処 理を行うとともに拡大処理を行い、補正拡大画像を生成する補正拡大画像生成ステ ップと
を備えることを特徴とする画像処理方法。
[13] 連続して撮影が行われた撮影画像であって、広角の撮影レンズにより撮像手段に 結像した被写体の撮影画像につ！ヽて画像処理を行う画像処理方法にお！、て、 上記被写体の変化による撮影画像の変化部分を検出する変化部分検出ステップと 上記変化部分検出ステップにより変化が検出された上記変化部分の撮影画像を含 む領域を変化領域画像として切り出す変化領域画像切出ステップと、
上記変化領域画像内の撮影画像にっ ヽて、上記撮影レンズの歪曲収差の補正処 理を行うとともに拡大処理を行い、補正拡大画像を生成する補正拡大画像生成ステ ップと
を備えることを特徴とする画像処理方法。
[14] 連続して撮影が行われた撮影画像であって、広角の撮影レンズにより撮像手段に 結像した被写体の撮影画像につ！ヽて画像処理を行う画像処理方法にお！、て、 上記被写体の変化による撮影画像の移動部分を検出する移動部分検出ステップと 上記移動部分検出手段により移動が検出された上記移動部分の撮影画像を含む 領域を移動領域画像として切り出す移動領域画像切出ステップと、
上記被写体の変化による撮影画像の変化部分を検出する変化部分検出ステップと 上記変化部分検出手段により変化が検出された上記変化部分の撮影画像を含む 領域を変化領域画像として切り出す変化領域画像切出ステップと、
上記移動領域画像または上記変化領域画像にっ 、て、上記撮影レンズによる歪の 補正処理を行うとともに拡大処理を行い、補正拡大画像を生成する補正拡大画像生 成ステップと
を備えることを特徴とする画像処理方法。
[15] 連続して撮影が行われた撮影画像であって、撮影レンズにより撮像手段に結像し た被写体の撮影画像につ!ヽて画像処理を行う画像処理装置にお!/ヽて、
上記被写体の変化による撮影画像の移動部分を検出する移動部分検出手段と、 上記移動部分検出手段により移動が検出された上記移動部分の撮影画像を含む 領域を移動領域画像として切り出す移動領域画像切出手段と、
上記移動領域画像について、上記撮影レンズによる歪の補正処理を行い、補正画 像を生成する補正画像生成手段と
を備えることを特徴とする画像処理装置。
[16] 連続して撮影が行われた撮影画像であって、撮影レンズにより撮像手段に結像し た被写体の撮影画像につ!ヽて画像処理を行う画像処理装置にお!/ヽて、
上記被写体の変化による撮影画像の変化部分を検出する変化部分検出手段と、 上記変化部分検出手段により変化が検出された上記変化部分の撮影画像を含む 領域を変化領域画像として切り出す変化領域画像切出手段と、
上記変化領域画像について、上記撮影レンズによる歪の補正処理を行い、補正画 像を生成する補正画像生成手段と
を備えることを特徴とする画像処理装置。
[17] 連続して撮影が行われた撮影画像であって、撮影レンズにより撮像手段に結像し た被写体の撮影画像につ!ヽて画像処理を行う画像処理装置にお!/ヽて、
上記被写体の変化による撮影画像の移動部分を検出する移動部分検出手段と、 上記移動部分検出手段により移動が検出された上記移動部分の撮影画像を含む 領域を移動領域画像として切り出す移動領域画像切出手段と、
上記被写体の変化による撮影画像の変化部分を検出する変化部分検出手段と、 上記変化部分検出手段により変化が検出された上記変化部分の撮影画像を含む 領域を変化領域画像として切り出す変化領域画像切出手段と、
上記移動領域画像または上記変化領域画像にっ 、て、上記撮影レンズによる歪の 補正処理を行い、補正画像を生成する補正画像生成手段と を備えることを特徴とする画像処理装置。
PCT/JP2007/059838 2006-05-16 2007-05-14 画像処理装置、カメラ装置および画像処理方法 Ceased WO2007132800A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP07743273A EP2034734A4 (en) 2006-05-16 2007-05-14 IMAGE PROCESSING DEVICE, CAMERA DEVICE, AND IMAGE PROCESSING METHOD
US12/300,391 US8139120B2 (en) 2006-05-16 2007-05-14 Image processing device, camera device and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006-136146 2006-05-16
JP2006136146A JP2007311860A (ja) 2006-05-16 2006-05-16 画像処理装置、カメラ装置および画像処理方法

Publications (1)

Publication Number Publication Date
WO2007132800A1 true WO2007132800A1 (ja) 2007-11-22

Family

ID=38693891

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/059838 Ceased WO2007132800A1 (ja) 2006-05-16 2007-05-14 画像処理装置、カメラ装置および画像処理方法

Country Status (6)

Country Link
US (1) US8139120B2 (ja)
EP (1) EP2034734A4 (ja)
JP (1) JP2007311860A (ja)
KR (1) KR100995949B1 (ja)
CN (1) CN101444098A (ja)
WO (1) WO2007132800A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023106076A1 (ja) * 2021-12-10 2023-06-15 株式会社小松製作所 表示システム及び表示方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5427577B2 (ja) * 2009-12-04 2014-02-26 パナソニック株式会社 表示制御装置及び表示画像形成方法
JP5703448B2 (ja) * 2010-03-04 2015-04-22 パナソニックＩｐマネジメント株式会社 画像表示装置及び画像表示方法
JP5810296B2 (ja) * 2011-06-07 2015-11-11 パナソニックＩｐマネジメント株式会社 画像表示装置及び画像表示方法
JPWO2014192804A1 (ja) * 2013-05-28 2017-02-23 三菱電機株式会社 デコーダ及び監視システム
KR20200039814A (ko) * 2017-09-05 2020-04-16 페이스북, 인크. 영상 캡쳐 장치에 의해 이전에 캡쳐된 비디오 데이터에 기초하여 영상 캡쳐 장치에 의한 비디오 데이터의 캡쳐를 수정
JP7182953B2 (ja) * 2017-12-25 2022-12-05 キヤノン株式会社 情報処理装置、システム、情報処理方法及びプログラム
JP6871324B2 (ja) * 2019-08-28 2021-05-12 東芝エレベータ株式会社 エレベータの利用者検知システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05344504A (ja) * 1992-06-05 1993-12-24 Matsushita Electric Works Ltd 録画カメラ装置及びこれを利用したモニタシステム
JP2004271902A (ja) 2003-03-07 2004-09-30 Sanyo Electric Co Ltd 監視カメラ装置
JP2005094443A (ja) * 2003-09-18 2005-04-07 Ramrock Eizo Gijutsu Kenkyusho:Kk 監視システム
JP2005115932A (ja) * 2003-09-16 2005-04-28 Matsushita Electric Works Ltd 画像を用いた人体検知装置
JP2005135014A (ja) * 2003-10-28 2005-05-26 Hitachi Kokusai Electric Inc 物体検出装置
JP2005277698A (ja) * 2004-03-24 2005-10-06 Opt Kk 監視カメラおよび監視方法
JP2006033380A (ja) * 2004-07-15 2006-02-02 Hitachi Kokusai Electric Inc 監視システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0878965A3 (en) * 1997-05-14 2000-01-12 Hitachi Denshi Kabushiki Kaisha Method for tracking entering object and apparatus for tracking and monitoring entering object
JP4048511B2 (ja) * 1998-03-13 2008-02-20 富士通株式会社 魚眼レンズカメラ装置及びその画像歪み補正方法
JP4516665B2 (ja) * 2000-05-19 2010-08-04 パナソニック株式会社 監視装置
JP4374211B2 (ja) * 2002-08-27 2009-12-02 クラリオン株式会社 レーンマーカー位置検出方法及びレーンマーカー位置検出装置並びに車線逸脱警報装置
JP3789121B2 (ja) * 2002-11-27 2006-06-21 中央電子株式会社 表示方法および表示装置
US20040189801A1 (en) * 2003-03-28 2004-09-30 Chao-Hung Chang Active video surveillance system and active video surveillance method therefore
JP2005176301A (ja) * 2003-11-11 2005-06-30 Canon Inc 画像処理装置、ネットワークカメラシステム、画像処理方法、及びプログラム
JP4279181B2 (ja) * 2004-03-22 2009-06-17 三菱電機株式会社 監視システム
JP2006033793A (ja) * 2004-06-14 2006-02-02 Victor Co Of Japan Ltd 追尾映像再生装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05344504A (ja) * 1992-06-05 1993-12-24 Matsushita Electric Works Ltd 録画カメラ装置及びこれを利用したモニタシステム
JP2004271902A (ja) 2003-03-07 2004-09-30 Sanyo Electric Co Ltd 監視カメラ装置
JP2005115932A (ja) * 2003-09-16 2005-04-28 Matsushita Electric Works Ltd 画像を用いた人体検知装置
JP2005094443A (ja) * 2003-09-18 2005-04-07 Ramrock Eizo Gijutsu Kenkyusho:Kk 監視システム
JP2005135014A (ja) * 2003-10-28 2005-05-26 Hitachi Kokusai Electric Inc 物体検出装置
JP2005277698A (ja) * 2004-03-24 2005-10-06 Opt Kk 監視カメラおよび監視方法
JP2006033380A (ja) * 2004-07-15 2006-02-02 Hitachi Kokusai Electric Inc 監視システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2034734A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023106076A1 (ja) * 2021-12-10 2023-06-15 株式会社小松製作所 表示システム及び表示方法
JP2023086534A (ja) * 2021-12-10 2023-06-22 株式会社小松製作所 表示システム及び表示方法

Also Published As

Publication number Publication date
KR100995949B1 (ko) 2010-11-22
JP2007311860A (ja) 2007-11-29
US20100045826A1 (en) 2010-02-25
US8139120B2 (en) 2012-03-20
EP2034734A1 (en) 2009-03-11
CN101444098A (zh) 2009-05-27
KR20080109940A (ko) 2008-12-17
EP2034734A4 (en) 2009-11-11

Similar Documents

Publication Publication Date Title
WO2007132800A1 (ja) 画像処理装置、カメラ装置および画像処理方法
KR100986228B1 (ko) 카메라 장치 및 화상 기록 재생 방법
US20110216159A1 (en) Imaging control device and imaging control method
JP5477777B2 (ja) 画像取得装置
CN100551047C (zh) 信息处理的方法和装置
JP2004349750A (ja) ディジタル・カメラおよびその制御方法
JP2003092701A (ja) 撮像装置
JP2004201231A (ja) 監視用ビデオカメラシステム
CN103780829A (zh) 多摄影机的整合处理系统及其方法
JP2005175970A (ja) 撮像システム
JP4378636B2 (ja) 情報処理システム、情報処理装置および情報処理方法、プログラム、並びに記録媒体
KR100561449B1 (ko) 디지털 줌 아웃 처리 장치
JP7353821B2 (ja) 画像処理装置、その制御方法、プログラム
JP3841033B2 (ja) モニタリングシステムおよび方法並びにプログラムおよび記録媒体
JP2005073161A (ja) 処理装置及び画像記録方法
KR20110051308A (ko) 얼굴 이미지 촬영 장치 및 방법
JPH1079881A (ja) 撮像装置
JP3838149B2 (ja) モニタリングシステムおよび方法、並びにプログラムおよび記録媒体
JP2001211360A (ja) ビデオカメラ
KR20060056235A (ko) 자동 촬상 장치 및 자동 촬상 장치의 제어용 프로그램
JP2006121320A (ja) 全方位監視カメラ装置
JP3991816B2 (ja) モニタリングシステムおよび方法並びにプログラムおよび記録媒体
JP2000244885A (ja) 画像撮影装置、画像撮影方法、記憶媒体、テレビ会議システム
KR20150114589A (ko) 피사체 재구성을 위한 장치 및 방법
JP2010087676A (ja) 特徴判定機能を備えたビデオカメラシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07743273

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 200780017190.6

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2007743273

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12300391

Country of ref document: US