WO2021033251A1 - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
WO2021033251A1
WO2021033251A1 PCT/JP2019/032343 JP2019032343W WO2021033251A1 WO 2021033251 A1 WO2021033251 A1 WO 2021033251A1 JP 2019032343 W JP2019032343 W JP 2019032343W WO 2021033251 A1 WO2021033251 A1 WO 2021033251A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
image
image processing
subject
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/032343
Other languages
English (en)
French (fr)
Inventor
林　正和
宏昌 長沼
洋輔 栗原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Priority to EP19942456.5A priority Critical patent/EP4020963B1/en
Priority to KR1020227005026A priority patent/KR102693193B1/ko
Priority to US17/636,186 priority patent/US12307686B2/en
Priority to PCT/JP2019/032343 priority patent/WO2021033251A1/ja
Priority to CN201980099177.2A priority patent/CN114208148B/zh
Priority to JP2021541372A priority patent/JP7191236B2/ja
Publication of WO2021033251A1 publication Critical patent/WO2021033251A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Definitions

  • the present invention relates to an image processing apparatus, an image processing method and a program.
  • An event-driven vision sensor is known in which pixels that detect changes in the intensity of incident light generate signals asynchronously in time.
  • the event-driven vision sensor is advantageous in that it can operate at low power and high speed compared to a frame-type vision sensor that scans all pixels at predetermined cycles, specifically, an image sensor such as a CCD or CMOS. Is. Techniques for such an event-driven vision sensor are described in, for example, Patent Document 1 and Patent Document 2.
  • an object of the present invention is to provide an image processing device, an image processing method, and a program capable of obtaining an advantageous effect by using an event-driven vision sensor in combination with a frame-type vision sensor.
  • a first movement of a subject in an image is based on an event signal generated in response to a change in light intensity at one or more pixels of the image captured by synchronous scanning.
  • a region specifying unit that identifies a first region in which the subject is generated and a second region in which the subject has a second movement different from the first movement or the subject is not substantially moving.
  • An image processing apparatus including an image processing unit that executes different image processing for a first region and a second region is provided.
  • a first movement of the subject in an image is based on an event signal generated in response to a change in light intensity at one or more pixels of the image captured by synchronous scanning.
  • a step of identifying a first region in which the subject is occurring and a second region in which the subject has a second movement different from the first movement or the subject is not substantially moving.
  • An image processing method is provided that includes a step of performing different image processing on the first region and the second region of the image.
  • a first subject in an image is based on an event signal generated in response to a change in light intensity at one or more pixels of an image captured by synchronous scanning.
  • a function to identify a first region in which movement is occurring and a second region in which the subject has a second movement different from the first movement or the subject is not substantially moving.
  • a program is provided for allowing a computer to realize a function of executing different image processing for a first region and a second region in an image.
  • FIG. 1 is a block diagram showing a schematic configuration of a system according to an embodiment of the present invention.
  • the system 10 includes an RGB camera 100, an EDS (Event Driven Sensor) 200, and an image processing device 300.
  • the RGB camera 100 is an example of a first vision sensor that captures an image by synchronous scanning, and includes an image sensor 110 and a processing circuit 120 connected to the image sensor 110.
  • the image sensor 110 captures an RGB image 101 by synchronously scanning all pixels, for example, at a predetermined cycle or at a predetermined timing according to a user operation.
  • the RGB image 101 includes a plurality of frame images that are continuously captured at a predetermined frame rate to form a moving image.
  • the processing circuit 120 converts, for example, the RGB image 101 into a format suitable for storage and transmission. Further, the processing circuit 120 gives a time stamp 102 to the RGB image 101.
  • the EDS 200 is an example of a second vision sensor that generates an event signal when the sensor detects a change in light intensity, and includes a sensor 210 constituting a sensor array and a processing circuit 220 connected to the sensor 210. ..
  • the sensor 210 includes a light receiving element and generates an event signal 201 when an intensity change of incident light, more specifically, a change in brightness is detected. Since the sensor 210 that has not detected the change in the intensity of the incident light does not generate the event signal 201, the event signal 201 is generated asynchronously in time in the EDS 200.
  • the event signal 201 output via the processing circuit 220 includes identification information of the sensor 210 (for example, the position of a pixel), the polarity of the luminance change (increasing or decreasing), and the time stamp 202.
  • the time stamp 102 given to the RGB image 101 and the time stamp 202 given to the event signal 201 are synchronized.
  • the time stamp 102 can be synchronized with the time stamp 202 by providing the RGB camera 100 with the time information used to generate the time stamp 202 in the EDS 200.
  • the time information for generating the time stamps 102 and 202 is independent for the RGB cameras 100 and the EDS 200
  • the time when a specific event (for example, a change in the subject over the entire image) occurs is used as a reference.
  • the time stamp 102 and the time stamp 202 can be synchronized after the fact.
  • the sensor 210 of the EDS 200 is associated with one or a plurality of pixels of the RGB image 101 by the calibration procedure of the RGB camera 100 and the EDS 200 executed in advance, and the event signal 201 is the RGB image 101. It is generated according to the change in light intensity in one or more pixels of. More specifically, for example, as shown in FIG. 2, the RGB camera 100 and the EDS 200 image a common calibration pattern 21 (in the case of the EDS 200, for example, the light source 22 is used to blink the entire region of the calibration pattern 21. By calculating the corresponding parameters between the cameras and sensors from the internal and external parameters of each of the RGB camera 100 and EDS200), the sensor 210 is assigned to one or more pixels of the RGB image 101. Can be associated with.
  • FIG. 3 is a diagram for explaining an example of matching between an image and an event signal in one embodiment of the present invention.
  • the RGB image 101 captured by the RGB camera 100 and the event signal 201 output from the EDS 200 at the time corresponding to the scanning of the RGB image 101 are arranged at the pixel positions. ..
  • the coordinate system of the event signal 201 is converted to the coordinate system of the RGB image 101 as shown in FIG.
  • the event signal 201 can be superimposed on the RGB image 101.
  • the image processor 300 is implemented by, for example, a computer having a communication interface, a processor, and a memory, and the processor operates according to a program stored in the memory or received via the communication interface.
  • the function of the area specifying unit 310 and the image processing unit 320 realized by the above is included. The functions of each part will be further described below.
  • the area specifying unit 310 Based on the event signal 201, the area specifying unit 310 generates a first region in which the subject has the first movement in the RGB image 101 and a second movement different from the first movement in the subject. Identify a second area that is or the subject is not substantially moving.
  • the subject of the RGB image 101 moves, for example, a change in the intensity of light generated at the edge portion of the subject, specifically, a change in brightness is detected by the event signal 201, and as a result, the subject itself is recognized in the RGB image 101. Even without it, the region where the movement of the subject has occurred can be specified based on the event signal 201.
  • the area specifying unit 310 can also specify the moving direction of the subject in each area from the position change in the time series of the brightness change indicated by the event signal 201, for example.
  • the region specifying unit 310 specifies a first region and a second region in each of the plurality of frame images. You may.
  • the image processing unit 320 executes different image processing for the first region and the second region in the RGB image 101 to obtain the output image 321. At this time, the image processing unit 320 sets the first region and the second region specified by the region specifying unit 310 and the RGB image 101 based on the time stamp 102 of the RGB image 101 and the time stamp 202 of the event signal 201. Can be associated.
  • the content of the image processing executed by the image processing unit 320 is not particularly limited, but for example, the image processing unit 320 marks only the first region in the RGB image 101, or different movements occur in the subject. The first region and the second region may be marked in different manners.
  • the image processing unit 320 may mask a second region (for example, a background region) in which the subject is not substantially moving in the RGB image 101.
  • the image processing unit 320 sets the first region as a frame image before and after the first region in each of the plurality of frame images composed of the RGB image 101.
  • the moving subject in the first area may be hidden by overwriting with the second area specified in.
  • the image processing unit 320 executes different image processing for the first and second regions, for example, the image processing is executed for either the first region or the second region, and the other region is used. Including outputting as it is.
  • the area specifying unit 310 identifies the area R1 in which the subject is moving and the area R2 in which the subject is not substantially moving from the time-series event signal 201. For example, the area specifying unit 310 extracts the area R1 in which the magnitude of the optical flow F specified from the time-series event signal 201 is equal to or larger than a predetermined threshold value, and sets the remaining area as the area R2.
  • the region identification unit 310 divides the extracted region R1 according to the direction and magnitude of the movement indicated by the optical flow F, so that a plurality of regions in which different subject movements occur. May be specified.
  • the optical flow F is an example of information indicating the moving direction of the subject. By specifying the moving direction of the subject, it is possible to continuously track the subject corresponding to, for example, the region R1 in a plurality of frame images composed of the RGB image 101.
  • the image processing unit 320 matches the areas R1 and R2 specified by the area specifying unit 310 with the image and the event signal as described with reference to FIG. It can be superimposed on the RGB image 101 according to the procedure.
  • the image processing unit 320 masks the region R2 (background region) that is not substantially moving in the RGB image 101, thereby cutting out the region R1 in which the subject is moving. To get.
  • the image processing unit 320 may mark the area R1 instead of the mask of the area R2 or together with the mask of the area R2.
  • the image processing unit 320 may mark the plurality of regions in different modes. For example, when the movement direction of the subject in each region is specified by the optical flow F in the above example, and the subject corresponding to each region is continuously tracked in a plurality of frame images composed of RGB images 101, the image processing unit. The 320 can continuously execute the processing of masking the area and marking the area as described above in the plurality of frame images.
  • the area specifying unit 310 of the image processing device 300 identifies the area where the subject is moving in the RGB image 101 based on the event signal 201. Since the event signal 201 is generated only when a change in light intensity is detected in one or a plurality of pixels of the RGB image 101, for example, the pixels of a plurality of RGB images 101 that are continuous in time are compared with each other to form a subject. The processing speed can be increased as compared with the case of specifying the area where the movement is occurring. Further, in general, the period during which the EDS 200 can generate the event signal 201 is significantly shorter than the frame rate when the RGB camera 100 captures a moving image. Therefore, by using the event signal 201 as in the present embodiment, for example, It is possible to make the image processing follow the movement of the subject with higher accuracy than in the case of specifying the movement of the subject using only the RGB image 101 in the moving image.
  • FIG. 6 is a flowchart showing an example of an image processing method according to an embodiment of the present invention.
  • the RGB camera 100 captures the RGB image 101 (step S101), and at the same time, the EDS 200 generates the event signal 201 (step S102).
  • the step S102 for generating the event signal 201 is executed only when the sensor 210 associated with one or a plurality of pixels of the RGB image 101 detects a change in light intensity.
  • a time stamp 102 is given to the RGB image 101 (step S103), and a time stamp 202 is given to the event signal (step S104).
  • the processing in the image processing device 300 is executed.
  • the region specifying unit 310 identifies the first and second regions in the RGB image 101 as described above based on the event signal 201 (step S105).
  • the image processing unit 320 executes different image processing for the first and second regions specified in the RGB image 101 (step S106).
  • the RGB image 101 on which the image processing is executed and the first and second regions specified based on the event signal 201 are associated with each other by using the time stamps 102 and 202.
  • 10 ... system, 100 ... RGB camera, 101 ... RGB image, 102 ... time stamp, 110 ... image sensor, 120 ... processing circuit, 201 ... event signal, 202 ... time stamp, 210 ... sensor, 220 ... processing circuit, 300 ... Image processing device, 310 ... Area identification unit, 320 ... Image processing unit, 321 ... Output image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

同期的なスキャンによって撮像された画像の１または複数のピクセルにおける光の強度変化に応じて生成されたイベント信号に基づいて、画像において被写体に第１の動きが発生している第１の領域と、被写体に第１の動きとは異なる第２の動きが発生しているか、または被写体が実質的に動いていない第２の領域とを特定する領域特定部と、画像において、第１の領域および第２の領域に対してそれぞれ異なる画像処理を実行する画像処理部とを備える画像処理装置が提供される。

Description

画像処理装置、画像処理方法およびプログラム
　本発明は、画像処理装置、画像処理方法およびプログラムに関する。
　入射する光の強度変化を検出したピクセルが時間非同期的に信号を生成する、イベント駆動型のビジョンセンサが知られている。イベント駆動型のビジョンセンサは、所定の周期ごとに全ピクセルをスキャンするフレーム型ビジョンセンサ、具体的にはＣＣＤやＣＭＯＳなどのイメージセンサに比べて、低電力で高速に動作可能である点で有利である。このようなイベント駆動型のビジョンセンサに関する技術は、例えば特許文献１および特許文献２に記載されている。
特表２０１４－５３５０９８号公報 特開２０１８－８５７２５号公報
　しかしながら、イベント駆動型のビジョンセンサについては、上記のような利点は知られているものの、他の装置、例えばフレーム型ビジョンセンサと組み合わせた利用方法については、まだ十分に提案されているとは言いがたい。
　そこで、本発明は、イベント駆動型のビジョンセンサをフレーム型ビジョンセンサと組み合わせて用いることによって有利な効果を得ることができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
　本発明のある観点によれば、同期的なスキャンによって撮像された画像の１または複数のピクセルにおける光の強度変化に応じて生成されたイベント信号に基づいて、画像において被写体に第１の動きが発生している第１の領域と、被写体に第１の動きとは異なる第２の動きが発生しているか、または被写体が実質的に動いていない第２の領域とを特定する領域特定部と、画像において、第１の領域および第２の領域に対してそれぞれ異なる画像処理を実行する画像処理部とを備える画像処理装置が提供される。
　本発明の別の観点によれば、同期的なスキャンによって撮像された画像の１または複数のピクセルにおける光の強度変化に応じて生成されたイベント信号に基づいて、画像において被写体に第１の動きが発生している第１の領域と、被写体に第１の動きとは異なる第２の動きが発生しているか、または被写体が実質的に動いていない第２の領域とを特定するステップと、画像において、第１の領域および第２の領域に対してそれぞれ異なる画像処理を実行するステップとを含む画像処理方法が提供される。
　本発明のさらに別の観点によれば、同期的なスキャンによって撮像された画像の１または複数のピクセルにおける光の強度変化に応じて生成されたイベント信号に基づいて、画像において被写体に第１の動きが発生している第１の領域と、被写体に第１の動きとは異なる第２の動きが発生しているか、または被写体が実質的に動いていない第２の領域とを特定する機能と、画像において、第１の領域および第２の領域に対してそれぞれ異なる画像処理を実行する機能とをコンピュータに実現させるためのプログラムが提供される。
本発明の一実施形態に係るシステムの概略的な構成を示すブロック図である。 本発明の一実施形態におけるカメラ・センサ間のキャリブレーションについて概略的に説明するための図である。 本発明の一実施形態における画像とイベント信号とのマッチングの例について説明するための図である。 本発明の一実施形態における領域の特定および画像処理の例について説明するための図である。 本発明の一実施形態における領域の特定および画像処理の例について説明するための図である。 本発明の一実施形態に係る画像処理方法の例を示すフローチャートである。
　以下、添付図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　図１は、本発明の一実施形態に係るシステムの概略的な構成を示すブロック図である。図１に示されるように、システム１０は、ＲＧＢカメラ１００と、ＥＤＳ（Event Driven Sensor）２００と、画像処理装置３００とを含む。
　ＲＧＢカメラ１００は、同期的なスキャンによって画像を撮像する第１のビジョンセンサの例であり、イメージセンサ１１０と、イメージセンサ１１０に接続される処理回路１２０とを含む。イメージセンサ１１０は、例えば所定の周期で、またはユーザー操作に応じた所定のタイミングで全ピクセルを同期的にスキャンすることによってＲＧＢ画像１０１を撮像する。本実施形態において、ＲＧＢ画像１０１は、所定のフレームレートで連続的に撮像されて動画像を構成する複数のフレーム画像を含む。処理回路１２０は、例えばＲＧＢ画像１０１を保存および伝送に適した形式に変換する。また、処理回路１２０は、ＲＧＢ画像１０１にタイムスタンプ１０２を与える。
　ＥＤＳ２００は、センサが光の強度変化を検出したときにイベント信号を生成する第２のビジョンセンサの例であり、センサアレイを構成するセンサ２１０と、センサ２１０に接続される処理回路２２０とを含む。センサ２１０は、受光素子を含み、入射する光の強度変化、より具体的には輝度変化を検出したときにイベント信号２０１を生成する。入射する光の強度変化を検出しなかったセンサ２１０はイベント信号２０１を生成しないため、ＥＤＳ２００においてイベント信号２０１は時間非同期的に生成される。処理回路２２０を経て出力されるイベント信号２０１は、センサ２１０の識別情報（例えばピクセルの位置）と、輝度変化の極性（上昇または低下）と、タイムスタンプ２０２とを含む。
　ここで、本実施形態において、ＲＧＢ画像１０１に与えられるタイムスタンプ１０２と、イベント信号２０１に与えられるタイムスタンプ２０２とは同期している。具体的には、例えば、ＥＤＳ２００でタイムスタンプ２０２を生成するために用いられる時刻情報をＲＧＢカメラ１００に提供することによって、タイムスタンプ１０２をタイムスタンプ２０２に同期させることができる。あるいは、タイムスタンプ１０２，２０２を生成するための時刻情報がＲＧＢカメラ１００とＥＤＳ２００とでそれぞれ独立している場合、特定のイベント（例えば、画像全体にわたる被写体の変化）が発生した時刻を基準にしてタイムスタンプのオフセット量を算出することによって、事後的にタイムスタンプ１０２とタイムスタンプ２０２とを同期させることができる。
　また、本実施形態では、事前に実行されるＲＧＢカメラ１００とＥＤＳ２００とのキャリブレーション手順によって、ＥＤＳ２００のセンサ２１０がＲＧＢ画像１０１の１または複数のピクセルに対応付けられ、イベント信号２０１はＲＧＢ画像１０１の１または複数のピクセルにおける光の強度変化に応じて生成される。より具体的には、例えば、図２に示すようにＲＧＢカメラ１００とＥＤＳ２００とで共通の校正パターン２１を撮像し（ＥＤＳ２００の場合、例えば光源２２を用いて校正パターン２１の領域全体を明滅させることによって校正パターンを撮像できる）、ＲＧＢカメラ１００およびＥＤＳ２００のぞれぞれの内部パラメータおよび外部パラメータからカメラ・センサ間の対応パラメータを算出することによって、ＲＧＢ画像１０１の１または複数のピクセルにセンサ２１０を対応付けることができる。
　図３は、本発明の一実施形態における画像とイベント信号とのマッチングの例について説明するための図である。図示された例では、ＲＧＢカメラ１００で撮像されたＲＧＢ画像１０１と、ＲＧＢ画像１０１のスキャンに対応する時間にＥＤＳ２００から出力されたイベント信号２０１をピクセルの位置に配置したものとが示されている。上記で図２を参照して説明したようなカメラ・センサ間の対応パラメータを予め算出しておくことによって、図３に示されるようにイベント信号２０１の座標系をＲＧＢ画像１０１の座標系に変換し、ＲＧＢ画像１０１にイベント信号２０１を重ね合わせることが可能になる。
　再び図１を参照して、画像処理装置３００は、例えば通信インターフェース、プロセッサ、およびメモリを有するコンピュータによって実装され、プロセッサがメモリに格納された、または通信インターフェースを介して受信されたプログラムに従って動作することによって実現される領域特定部３１０および画像処理部３２０の機能を含む。以下、各部の機能についてさらに説明する。
　領域特定部３１０は、イベント信号２０１に基づいて、ＲＧＢ画像１０１において被写体に第１の動きが発生している第１の領域と、被写体に第１の動きとは異なる第２の動きが発生しているか、または被写体が実質的に動いていない第２の領域とを特定する。ＲＧＢ画像１０１の被写体に動きが発生した場合、例えば被写体のエッジ部分で発生する光の強度変化、具体的には輝度変化がイベント信号２０１によって検出される結果、ＲＧＢ画像１０１において被写体そのものを認識しなくても、イベント信号２０１に基づいて被写体の動きが発生した領域を特定することができる。さらに、領域特定部３１０は、例えばイベント信号２０１によって示される輝度変化の時系列での位置変化から、それぞれの領域における被写体の動き方向も特定することができる。上述のように、本実施形態においてＲＧＢ画像１０１は動画像を構成する複数のフレーム画像であるため、領域特定部３１０は複数のフレーム画像のそれぞれにおいて第１の領域および第２の領域を特定してもよい。
　画像処理部３２０は、ＲＧＢ画像１０１において、第１の領域および第２の領域に対してそれぞれ異なる画像処理を実行して出力画像３２１を得る。このとき、画像処理部３２０は、ＲＧＢ画像１０１のタイムスタンプ１０２およびイベント信号２０１のタイムスタンプ２０２に基づいて、領域特定部３１０が特定した第１の領域および第２の領域とＲＧＢ画像１０１とを対応付けることができる。画像処理部３２０が実行する画像処理の内容については特に限定されないが、例えば、画像処理部３２０は、ＲＧＢ画像１０１において第１の領域のみをマーキングするか、または被写体にそれぞれ異なる動きが発生している第１の領域および第２の領域をそれぞれ異なる態様でマーキングしてもよい。あるいは、画像処理部３２０は、ＲＧＢ画像１０１において被写体が実質的に動いていない第２の領域（例えば背景領域）をマスクしてもよい。あるいは、被写体が実質的に動いていない第２の領域が特定される場合、画像処理部３２０は、ＲＧＢ画像１０１によって構成される複数のフレーム画像のそれぞれにおいて、第１の領域を前後のフレーム画像で特定された第２の領域を用いて上書きすることによって、第１の領域にある動く被写体を隠してもよい。画像処理部３２０が第１および第２の領域についてそれぞれ異なる画像処理を実行することは、例えば第１の領域または第２の領域のいずれか一方の領域について画像処理を実行し、他方の領域をそのまま出力することを含む。
　図４および図５は、本発明の一実施形態における領域の特定および画像処理の例について説明するための図である。図４に示された例において、領域特定部３１０は、時系列のイベント信号２０１から、被写体の動きが発生している領域Ｒ１と、被写体が実質的に動いていない領域Ｒ２とを特定する。例えば、領域特定部３１０は、時系列のイベント信号２０１から特定されるオプティカルフローＦの大きさが所定の閾値以上である領域Ｒ１を抽出し、残った領域を領域Ｒ２とする。
　他の例において、領域特定部３１０は、抽出された領域Ｒ１をオプティカルフローＦによって示される動きの方向および大きさに応じて区分することによって、それぞれ異なる被写体の動きが発生している複数の領域を特定してもよい。オプティカルフローＦは、被写体の動き方向を示す情報の例である。被写体の動き方向が特定されることによって、ＲＧＢ画像１０１によって構成される複数のフレーム画像において例えば領域Ｒ１に対応する被写体を継続的に追跡（トラッキング）することができる。
　一方、図５に示された例のように、画像処理部３２０は、領域特定部３１０によって特定された領域Ｒ１，Ｒ２を、図３を参照して説明したような画像とイベント信号とのマッチング手順によってＲＧＢ画像１０１に重ね合わせることができる。図示された例では、画像処理部３２０は、ＲＧＢ画像１０１において実質的に動いていない領域Ｒ２（背景領域）をマスクすることによって、被写体の動きが発生している領域Ｒ１を切り出した出力画像３２１を得る。
　他の例では、領域Ｒ２のマスクに代えて、または領域Ｒ２のマスクとともに、画像処理部３２０が領域Ｒ１をマーキングしてもよい。領域特定部３１０によってそれぞれ異なる被写体の動きが発生している複数の領域が特定された場合、画像処理部３２０は複数の領域をそれぞれ異なる態様でマーキングしてもよい。例えば上記の例のオプティカルフローＦによって各領域の被写体の動き方向が特定され、ＲＧＢ画像１０１によって構成される複数のフレーム画像において各領域に対応する被写体が継続的に追跡される場合、画像処理部３２０は、上述したような領域のマスクや領域のマーキングの処理を複数のフレーム画像において継続的に実行することができる。
　以上で説明したような本発明の一実施形態では、画像処理装置３００の領域特定部３１０が、イベント信号２０１に基づいてＲＧＢ画像１０１において被写体に動きが発生している領域を特定する。イベント信号２０１はＲＧＢ画像１０１の１または複数のピクセルで光の強度変化が検出された場合にのみ生成されるため、例えば時間的に連続する複数のＲＧＢ画像１０１のピクセル同士を比較して被写体に動きが発生している領域を特定する場合に比べて処理を高速化することができる。また、一般にＥＤＳ２００がイベント信号２０１を生成可能な周期はＲＧＢカメラ１００が動画像を撮像する場合のフレームレートよりも大幅に短いため、本実施形態のようにイベント信号２０１を利用することによって、例えば動画像においてＲＧＢ画像１０１のみを用いて被写体の動きを特定する場合よりも高精度に画像処理を被写体の動きに追従させることができる。
　図６は、本発明の一実施形態に係る画像処理方法の例を示すフローチャートである。図示された例では、ＲＧＢカメラ１００がＲＧＢ画像１０１を撮像し（ステップＳ１０１）、それと同時にＥＤＳ２００がイベント信号２０１を生成する（ステップＳ１０２）。なお、イベント信号２０１を生成するステップＳ１０２は、ＲＧＢ画像１０１の１または複数のピクセルに対応付けられるセンサ２１０が光の強度変化を検出した場合にのみ実行される。ＲＧＢ画像１０１にはタイムスタンプ１０２が与えられ（ステップＳ１０３）、イベント信号にはタイムスタンプ２０２が与えられる（ステップＳ１０４）。
　次に、画像処理装置３００での処理が実行される。まず、領域特定部３１０が、イベント信号２０１に基づいて上記のようなＲＧＢ画像１０１における第１および第２の領域を特定する（ステップＳ１０５）。次に、画像処理部３２０が、ＲＧＢ画像１０１において特定された第１および第２の領域についてそれぞれ異なる画像処理を実行する（ステップＳ１０６）。このとき、画像処理が実行されるＲＧＢ画像１０１と、イベント信号２０１に基づいて特定された第１および第２の領域とは、タイムスタンプ１０２，２０２を用いて対応付けられる。以上のような処理によって、例えば動いている被写体を切り出して背景をマスクした出力画像３２１や、動きが異なる被写体がそれぞれ異なる態様のマーキングによって追跡される動画像の出力画像３２１を得ることができる。
　以上、添付図面を参照しながら本発明のいくつかの実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
　１０…システム、１００…ＲＧＢカメラ、１０１…ＲＧＢ画像、１０２…タイムスタンプ、１１０…イメージセンサ、１２０…処理回路、２０１…イベント信号、２０２…タイムスタンプ、２１０…センサ、２２０…処理回路、３００…画像処理装置、３１０…領域特定部、３２０…画像処理部、３２１…出力画像。
 

Claims (8)

  1. 　同期的なスキャンによって撮像された画像の１または複数のピクセルにおける光の強度変化に応じて生成されたイベント信号に基づいて、前記画像において被写体に第１の動きが発生している第１の領域と、被写体に前記第１の動きとは異なる第２の動きが発生しているか、または被写体が実質的に動いていない第２の領域とを特定する領域特定部と、
    　前記画像において、前記第１の領域および前記第２の領域に対してそれぞれ異なる画像処理を実行する画像処理部と
    　を備える画像処理装置。
  2. 　前記画像は、動画像を構成する複数のフレーム画像であり、
    　前記領域特定部は、前記複数のフレーム画像のそれぞれにおいて前記第１の領域および前記第２の領域、ならびに少なくとも前記第１の領域における被写体の動き方向を特定し、
    　前記画像処理部は、前記動き方向に基づいて前記複数のフレーム画像において前記第１の領域および前記第２の領域に対する画像処理を継続的に実行する、請求項２に記載の画像処理装置。
  3. 　前記画像処理部は、前記画像において少なくとも前記第１の領域をマーキングする、請求項１または請求項２に記載の画像処理装置。
  4. 　前記領域特定部は、被写体に前記第２の動きが発生している前記第２の領域を特定し、
    　前記画像処理部は、前記画像において前記第１の領域および前記第２の領域をそれぞれ異なる態様でマーキングする、請求項３に記載の画像処理装置。
  5. 　前記画像処理部は、前記画像において前記第２の領域をマスクする、請求項１から請求項３のいずれか１項に記載の画像処理装置。
  6. 　前記画像は、動画像を構成する複数のフレーム画像であり、
    　前記領域特定部は、前記複数のフレーム画像のそれぞれにおいて前記第１の領域および被写体が実質的に動いていない前記第２の領域を特定し、
    　前記画像処理部は、前記複数のフレーム画像のそれぞれにおいて前記第１の領域を前後のフレーム画像で特定された前記第２の領域を用いて上書きする、請求項１に記載の画像処理装置。
  7. 　同期的なスキャンによって撮像された画像の１または複数のピクセルにおける光の強度変化に応じて生成されたイベント信号に基づいて、前記画像において被写体に第１の動きが発生している第１の領域と、被写体に前記第１の動きとは異なる第２の動きが発生しているか、または被写体が実質的に動いていない第２の領域とを特定するステップと、
    　前記画像において、前記第１の領域および前記第２の領域に対してそれぞれ異なる画像処理を実行するステップと
    　を含む画像処理方法。
  8. 　同期的なスキャンによって撮像された画像の１または複数のピクセルにおける光の強度変化に応じて生成されたイベント信号に基づいて、前記画像において被写体に第１の動きが発生している第１の領域と、被写体に前記第１の動きとは異なる第２の動きが発生しているか、または被写体が実質的に動いていない第２の領域とを特定する機能と、
    　前記画像において、前記第１の領域および前記第２の領域に対してそれぞれ異なる画像処理を実行する機能と
    　をコンピュータに実現させるためのプログラム。
PCT/JP2019/032343 2019-08-20 2019-08-20 画像処理装置、画像処理方法およびプログラム Ceased WO2021033251A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP19942456.5A EP4020963B1 (en) 2019-08-20 2019-08-20 Image processing device, image processing method, and program
KR1020227005026A KR102693193B1 (ko) 2019-08-20 2019-08-20 화상 처리 장치, 화상 처리 방법 및 프로그램
US17/636,186 US12307686B2 (en) 2019-08-20 2019-08-20 Vision sensor image processing device, image processing method, and program
PCT/JP2019/032343 WO2021033251A1 (ja) 2019-08-20 2019-08-20 画像処理装置、画像処理方法およびプログラム
CN201980099177.2A CN114208148B (zh) 2019-08-20 2019-08-20 图像处理设备和图像处理方法
JP2021541372A JP7191236B2 (ja) 2019-08-20 2019-08-20 画像処理装置、画像処理方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/032343 WO2021033251A1 (ja) 2019-08-20 2019-08-20 画像処理装置、画像処理方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2021033251A1 true WO2021033251A1 (ja) 2021-02-25

Family

ID=74659862

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/032343 Ceased WO2021033251A1 (ja) 2019-08-20 2019-08-20 画像処理装置、画像処理方法およびプログラム

Country Status (6)

Country Link
US (1) US12307686B2 (ja)
EP (1) EP4020963B1 (ja)
JP (1) JP7191236B2 (ja)
KR (1) KR102693193B1 (ja)
CN (1) CN114208148B (ja)
WO (1) WO2021033251A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023157347A (ja) * 2022-04-14 2023-10-26 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、プログラム、及び画像処理システム
WO2024194945A1 (ja) * 2023-03-17 2024-09-26 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、システム、情報処理方法、情報処理プログラム、およびコンピュータシステム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000115749A (ja) * 1998-09-30 2000-04-21 Matsushita Electric Ind Co Ltd 画像監視装置
WO2011013281A1 (ja) * 2009-07-29 2011-02-03 パナソニック株式会社 移動体検出方法及び移動体検出装置
US20180098082A1 (en) * 2016-09-30 2018-04-05 Intel Corporation Motion estimation using hybrid video imaging system

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4596203B2 (ja) 2001-02-19 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
KR20080041056A (ko) * 2006-11-06 2008-05-09 삼성전자주식회사 화상형성장치 및 화상형성방법
JP5774889B2 (ja) * 2011-03-31 2015-09-09 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
KR101792866B1 (ko) * 2011-04-06 2017-11-20 삼성전자주식회사 이벤트 센서와 칼라 센서를 이용한 동작 인식 장치 및 그 방법
KR101880998B1 (ko) 2011-10-14 2018-07-24 삼성전자주식회사 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법
KR102081087B1 (ko) 2013-06-17 2020-02-25 삼성전자주식회사 동기적 영상과 비동기적 영상을 위한 영상 정합 장치 및 이미지 센서
US10434624B2 (en) 2016-07-07 2019-10-08 The Boeing Company Roto peening orbital drilling tool
US20180146149A1 (en) 2016-11-21 2018-05-24 Samsung Electronics Co., Ltd. Event-based sensor, user device including the same, and operation method of the same
US10600189B1 (en) * 2016-12-06 2020-03-24 Apple Inc. Optical flow techniques for event cameras
EP3340103A1 (en) 2016-12-21 2018-06-27 Axis AB Method for identifying events in a motion video
KR102282140B1 (ko) * 2017-03-08 2021-07-28 삼성전자주식회사 픽셀, 픽셀 구동 회로 및 이를 포함하는 비전 센서
CN108574793B (zh) * 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备
WO2018186398A1 (ja) * 2017-04-07 2018-10-11 日本電気株式会社 学習データ生成装置、学習データ生成方法、および記録媒体
CN108734739A (zh) * 2017-04-25 2018-11-02 北京三星通信技术研究有限公司 用于时间对齐标定、事件标注、数据库生成的方法及装置
CN109426782B (zh) * 2017-08-29 2023-09-19 北京三星通信技术研究有限公司 对象检测方法和用于对象检测的神经网络系统
KR102385360B1 (ko) * 2017-09-19 2022-04-12 삼성전자주식회사 이미지 보정을 수행하는 전자 장치 및 그 동작 방법
US11202006B2 (en) * 2018-05-18 2021-12-14 Samsung Electronics Co., Ltd. CMOS-assisted inside-out dynamic vision sensor tracking for low power mobile platforms
CN109544590B (zh) * 2018-11-27 2020-05-15 上海芯仑光电科技有限公司 一种目标跟踪方法及计算设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000115749A (ja) * 1998-09-30 2000-04-21 Matsushita Electric Ind Co Ltd 画像監視装置
WO2011013281A1 (ja) * 2009-07-29 2011-02-03 パナソニック株式会社 移動体検出方法及び移動体検出装置
US20180098082A1 (en) * 2016-09-30 2018-04-05 Intel Corporation Motion estimation using hybrid video imaging system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4020963A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023157347A (ja) * 2022-04-14 2023-10-26 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、プログラム、及び画像処理システム
WO2024194945A1 (ja) * 2023-03-17 2024-09-26 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、システム、情報処理方法、情報処理プログラム、およびコンピュータシステム

Also Published As

Publication number Publication date
US12307686B2 (en) 2025-05-20
JP7191236B2 (ja) 2022-12-16
KR20220051336A (ko) 2022-04-26
KR102693193B1 (ko) 2024-08-09
EP4020963A4 (en) 2022-08-10
CN114208148B (zh) 2025-02-07
CN114208148A (zh) 2022-03-18
EP4020963A1 (en) 2022-06-29
JPWO2021033251A1 (ja) 2021-02-25
KR102693193B9 (ko) 2024-09-25
US20220292693A1 (en) 2022-09-15
EP4020963B1 (en) 2026-04-29

Similar Documents

Publication Publication Date Title
US12313561B2 (en) Stroboscopic stepped illumination defect detection system
US20170347076A1 (en) Image projection system and image projection method
CN105068384B (zh) 一种手持激光三维扫描仪的激光投影器曝光时间控制方法
DE60131759D1 (de) Bilderzeugungsvorrichtung und -verfahren
US12348889B2 (en) Image processing apparatus, method of controlling image processing apparatus, and program storage
JP2010504664A (ja) モノクロカメラでカラーイメージを撮影する結像方法と装置
CN114245983B (zh) 图像处理装置、成像装置、系统、图像处理方法
WO2022107647A1 (ja) 情報処理装置、システム、情報処理方法および情報処理プログラム
US10709967B2 (en) Apparatus, methods, and systems for tracking an optical object
WO2021033251A1 (ja) 画像処理装置、画像処理方法およびプログラム
CN116324887A (zh) Dvs与相机之间的统一校准
US20250224516A1 (en) Information processing apparatus, system, information processing method, information processing program, and computer system
US10748019B2 (en) Image processing method and electronic apparatus for foreground image extraction
JP7252352B2 (ja) 転送制御装置、システム、転送制御方法およびプログラム
CN109166082A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
JP6350331B2 (ja) 追尾装置、追尾方法及び追尾プログラム
WO2023188184A1 (ja) 情報処理装置、システム、情報処理方法、情報処理プログラム、およびコンピュータシステム
JP7537470B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP7594723B2 (ja) 画像処理システム、画像処理プログラムおよび画像処理方法
JP2025180226A (ja) 画像処理方法、情報処理装置及びウェアラブル端末
WO2024146450A1 (zh) 一种信号处理方法、装置及系统
CN121908152A (zh) 一种结构光相机的成像方法、装置、设备及介质
CN121221303A (zh) 用于生成牙科对象三维表示的系统和方法
JP2011009804A (ja) 撮影装置、携帯端末、送信装置、撮影方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19942456

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021541372

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019942456

Country of ref document: EP

Effective date: 20220321

WWG Wipo information: grant in national office

Ref document number: 201980099177.2

Country of ref document: CN

WWG Wipo information: grant in national office

Ref document number: 17636186

Country of ref document: US