JP6783732B2 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP6783732B2
JP6783732B2 JP2017177399A JP2017177399A JP6783732B2 JP 6783732 B2 JP6783732 B2 JP 6783732B2 JP 2017177399 A JP2017177399 A JP 2017177399A JP 2017177399 A JP2017177399 A JP 2017177399A JP 6783732 B2 JP6783732 B2 JP 6783732B2
Authority
JP
Japan
Prior art keywords
image
reduced
filter
image processing
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017177399A
Other languages
English (en)
Other versions
JP2019053524A (ja
Inventor
卓也 大谷
卓也 大谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Electronic Devices and Storage Corp
Original Assignee
Toshiba Corp
Toshiba Electronic Devices and Storage Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Electronic Devices and Storage Corp filed Critical Toshiba Corp
Priority to JP2017177399A priority Critical patent/JP6783732B2/ja
Priority to CN201810148834.5A priority patent/CN109509147A/zh
Priority to US15/899,476 priority patent/US20190087931A1/en
Publication of JP2019053524A publication Critical patent/JP2019053524A/ja
Application granted granted Critical
Publication of JP6783732B2 publication Critical patent/JP6783732B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Input (AREA)

Description

本発明の実施形態は、画像処理装置および画像処理方法に関する。
従来のピラミッド処理を利用した画像処理では、DSP(Digital Signal Processor)が、メモリから読み出した1枚のオリジナル画像から、複数の異なるスケールの縮小画像を生成する。このピラミッド処理では、複数の縮小画像を生成することから処理に時間がかかるとともに、DSPとメモリとの間で画像データのやり取りが行われるのでDSPとメモリとを接続するバスに負荷がかかっていた。
特開2007−49545号公報
本発明の一つの実施形態は、従来に比して、画像処理にかかる時間を短縮し、バス負荷を軽減することができる画像処理装置および画像処理方法を提供することを目的とする。
本発明の一つの実施形態によれば、画像を記憶するメモリと、前記メモリから読み込んだ前記画像の縮小またはフィルタ処理を行う画像処理部と、前記メモリと前記画像処理部との間で前記画像を転送するバスと、を備える画像処理装置が提供される。前記画像処理部は、画像生成処理と最終画像フィルタ処理とを実行する。前記画像生成処理では、前記メモリから第1画像を読み込み、前記第1画像からスケールの異なるN枚(Nは2以上の自然数)の縮小画像を生成し、前記縮小画像のうち最小のスケールの第1縮小画像を前記メモリに書き込み、前記縮小画像のうち前記第1縮小画像を除いた第2縮小画像および前記第1画像に前記フィルタ処理を行って第1フィルタ画像を生成し、前記メモリに書き込む。前記最終画像フィルタ処理では、前記メモリから前記第1縮小画像を読み込み、前記フィルタ処理を行って第2フィルタ画像を生成し、前記メモリに書き込む。
図1は、実施形態による画像処理装置のハードウェア構成の一例を示すブロック図である。 図2は、実施形態によるDSPの機能構成の一例を模式的に示すブロック図である。 図3は、実施形態による画像処理方法の手順の一例を示すフローチャートである。 図4は、画像生成処理の手順の一例を示すフローチャートである。 図5は、最終画像フィルタ処理の手順の一例を示すフローチャートである。 図6−1は、実施形態による画像処理方法の手順の一例を模式的に示す図である(その1)。 図6−2は、実施形態による画像処理方法の手順の一例を模式的に示す図である(その2)。 図7−1は、実施形態による画像処理方法の手順の一例を模式的に示す図である(その1)。 図7−2は、実施形態による画像処理方法の手順の一例を模式的に示す図である(その2)。 図8−1は、比較例による画像処理方法の手順の一例を模式的に示す図である(その1)。 図8−2は、比較例による画像処理方法の手順の一例を模式的に示す図である(その2)。
以下に添付図面を参照して、実施形態にかかる画像処理装置および画像処理方法を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。
図1は、実施形態による画像処理装置のハードウェア構成の一例を示すブロック図である。画像処理装置1は、DSP11と、CPU(Central Processing Unit)12と、RAM(Random Access Memory)13と、ROM(Read Only Memory)14を備え、DSP11とCPU12とRAM13とROM14との間は、バス15によって接続される。このような構成の画像処理装置1は、たとえばSoC(System-on-Chip)によって実現される。
DSP11は、画像処理を行うマイクロプロセッサである。DSP11は、画像処理部の一例である。実施形態では、DSP11は、画像生成処理と、最終画像フィルタ処理と、を実行する。画像生成処理では、1枚のフィルタがかけられていない画像(以下、オリジナル画像という)から、異なるスケールで縮小された縮小画像をN枚(Nは2以上の自然数)生成し、最小のスケールの縮小画像以外の縮小画像およびオリジナル画像についてフィルタをかけたフィルタ画像を生成する。つまり、画像生成処理では、1枚のオリジナル画像から、最小のスケールの縮小画像を含まず、フィルタをかけたオリジナル画像を含むN枚の異なるスケールのフィルタ画像と、1枚の最小のスケールの縮小画像と、が生成される。
最終画像フィルタ処理では、画像生成処理で生成された最小のスケールの縮小画像にフィルタをかけたフィルタ画像を生成する。画像生成処理は、1回以上の任意の回数繰り返し実行することができ、最後に実行された画像生成処理の後に、最終画像フィルタ処理が実行される。
たとえば、1回の画像生成処理で5枚のスケールの異なるフィルタ画像が得られる場合を考える。フィルタがかけられたスケールの異なる画像が5枚要求される場合には、画像生成処理を1回行った後、最終画像フィルタ処理が行われる。また、フィルタがかけられたスケールの異なる画像が10枚要求される場合には、画像生成処理を2回繰り返し行う。このとき、2回目の画像生成処理では、1回目の画像生成処理で生成された最小スケールの縮小画像がオリジナル画像となる。そして、2回目の画像生成処理の後に、最終画像フィルタ処理が行われる。
図2は、実施形態によるDSPの機能構成の一例を模式的に示すブロック図である。上記の処理を行うために、DSP11は、読込部111と、縮小部112と、フィルタ部113と、書込部114と、を備える。
読込部111は、RAM13の所定のアドレスからオリジナル画像を読み込む。画像生成処理の指示を受けた場合には、読み込んだオリジナル画像を縮小部112に渡し、最終画像フィルタ処理の指示を受けた場合には、読み込んだオリジナル画像をフィルタ部113に渡す。なお、画像の読み込みは、画像を一度に全体を読み込んでもよいが、タイルまたはラインに分割して読み込んでもよい。
縮小部112は、画像生成処理の指示を受けた場合に、読込部111で読み込まれたオリジナル画像から、スケールの異なるN枚の縮小画像を生成する。縮小画像の生成枚数は、その用途に応じて定められる。ここでは、オリジナル画像を、R1倍、R2倍、R3倍、R4倍およびR5倍に縮小するものとする。ただし、1>R1>R2>R3>R4>R5である。また、縮小倍率は、任意の倍率に設定される。さらに、縮小部112は、等倍のオリジナル画像と、最小のスケールの縮小画像を除くN−1枚の縮小画像と、をフィルタ部113に出力し、最小のスケールの縮小画像を書込部114に渡す。
フィルタ部113は、画像生成処理の指示を受けた場合に、縮小部112からのオリジナル画像と、N枚の縮小画像のうち最小のスケールを除くN−1枚の縮小画像と、について、所望のフィルタ処理を行い、N枚のフィルタ画像を生成する。フィルタ部113は、5枚のフィルタ画像を書込部114に渡す。所望のフィルタ処理として、高周波強調フィルタ、ローパスフィルタおよび平滑化フィルタ等を例示することができる。
また、フィルタ部113は、最終画像フィルタ処理の指示を受けた場合に、読込部111からのオリジナル画像について、高周波強調フィルタ、ローパスフィルタおよび平滑化フィルタ等の所望のフィルタ処理を行い、フィルタ画像を生成する。フィルタ部113は、生成したフィルタ画像を書込部114に渡す。
書込部114は、画像生成処理の指示を受けた場合には、縮小部112からの最小のスケールの縮小画像と、フィルタ部113からのN枚のフィルタ画像と、をRAM13に書き込む。また、書込部114は、最終画像フィルタ処理の指示を受けた場合には、フィルタ部113からのフィルタ画像をRAM13に書き込む。
図1に戻り、CPU12は、画像処理装置1を統括的に制御する中央演算プロセッサである。この実施形態では、CPU12は、フィルタ画像が所定の枚数となるように、DSP11の処理を制御する。具体的には、CPU12は、フィルタ画像が所定の枚数となるように、画像生成処理の実行回数をカウントし、画像生成処理の実行回数が所定の回数になると、最終画像フィルタ処理を実行するようにDSP11に指示する。CPU12は、たとえば、カメラなどの撮像装置によって撮像されたオリジナル画像がRAM13に記憶されると、カウンタをリセットし、DSP11によって画像生成処理が実行されるたびにカウンタを1インクリメントする。たとえば、DSP11によって、フィルタ画像と縮小画像とがRAM13に書き込まれたことを検出すると、CPU12はカウンタを1インクリメントする。また、画像生成処理の実行回数が1回に設定されている場合には、最終画像フィルタ処理後に6枚のフィルタ画像が生成され、画像生成処理の実行回数が2回に設定されている場合には、最終画像フィルタ処理後に11枚のフィルタ画像が得られる。一般的に画像生成処理の実行回数がN回(Nは自然数)に設定されている場合には、最終画像フィルタ処理後に5N+1枚のフィルタ画像が得られる。
RAM13は、画像を記憶するメモリである。RAM13には、オリジナル画像と、DSP11で処理されたフィルタ画像および縮小画像と、が記憶される。RAM13として、DDR SDRAM(Double-Data-Rate Synchronous Dynamic RAM)、SRAM(Static RAM)などを用いることができる。なお、RAM13に保存されたフィルタ画像は、特徴点抽出などの画像処理が施される。また、RAM13には、ROM14に格納されたプログラムがロードされ、DSP11またはCPU12によって実行される。
ROM14は、DSP11およびCPU12で実行されるプログラムを記憶する。たとえば、ROM14には、後述する画像処理方法を実行するプログラムなどが記憶される。
バス15は、DSP11とCPU12とRAM13とROM14との間で、所定の通信規約にしたがってデータを電気信号の形で転送する。
つぎに、このような構成の画像処理装置1での画像処理方法について説明する。図3は、実施形態による画像処理方法の手順の一例を示すフローチャートである。なお、ここでは、画像生成処理の繰り返し回数がM回(Mは自然数)に設定されているものとする。また、RAM13の所定のアドレスに、カメラなどの撮像装置によって撮像されたオリジナル画像が記憶された状態にあるものとする。
まず、RAM13にオリジナル画像が記憶されると、CPU12は、画像生成処理の実行回数をカウントするカウンタをリセットする(ステップS11)。ついで、CPU12は、RAM13に記憶されたオリジナル画像について、画像生成処理の実行をDSP11に指示し、DSP11は、画像生成処理を実行する(ステップS12)。
図4は、画像生成処理の手順の一例を示すフローチャートである。まず、DSP11の読込部111は、RAM13の所定のアドレスから画像データを読み込む(ステップS31)。この画像データは、フィルタ処理が施されていないオリジナル画像である。カウンタの値が0の場合には、RAM13に記憶されている画像データは、たとえば撮像装置で撮像されたオリジナル画像である。また、カウンタの値が0以外の場合には、RAM13に記憶されている画像データは、前回の画像生成処理で生成された最小のスケールの縮小画像である。
ついで、DSP11のフィルタ部113は、読み込んだオリジナル画像について、フィルタ処理を行い、フィルタ画像を生成する(ステップS32)。その後、DSP11の書込部114は、フィルタ処理されたフィルタ画像を、RAM13の所定のアドレスに書き込む(ステップS33)。
また、DSP11の縮小部112は、読み込んだオリジナル画像から異なるN枚のスケールの縮小画像を生成する(ステップS34)。上記したように、スケールは、任意の値とすることができる。最小のスケールの縮小画像以外のN−1枚の縮小画像について、DSP11のフィルタ部113は、フィルタ処理を行い、フィルタ画像を生成する(ステップS35)。その後、DSP11の書込部114は、フィルタ処理されたN−1枚のフィルタ画像を、RAM13の所定のアドレスに書き込む(ステップS36)。一方、最小のスケールの縮小画像については、ステップS34で縮小画像が生成された後、書込部114は、RAM13の所定のアドレスに縮小画像を書き込む(ステップS37)。
なお、オリジナル画像のステップS32〜S33の処理と、最小のスケールの縮小画像以外のステップS34〜S36の処理と、最小のスケールの縮小画像のステップS34,S37の処理とは、並行して実行される。以上によって、画像生成処理が終了し、図3のフローチャートに処理が戻る。
その後、RAM13の所定のアドレスにフィルタ画像と縮小画像とが書き込まれると、CPU12は、カウンタを1インクリメントする(ステップS13)。すなわち、画像生成処理の実行回数が1インクリメントされる。
ついで、CPU12は、カウンタの値が繰り返し回数Mよりも小さいかを判定する(ステップS14)。カウンタの値が繰り返し回数Mよりも小さい場合(ステップS14でYesの場合)には、ステップS12へと処理が戻る。この場合には、前回の画像生成処理で、RAM13に書き込まれた最小のスケールの縮小画像について、画像生成処理が行われることになる。すなわち、CPU12は、RAM13に書き込まれた最小のスケールの縮小画像を読み込むようにDSP11に指示を与えて、上記した図4の処理が行われる。
一方、カウンタの値が繰り返し回数Mと同じである場合(ステップS14でNoの場合)には、最終画像フィルタ処理を実行する(ステップS15)。
図5は、最終画像フィルタ処理の手順の一例を示すフローチャートである。まず、DSP11の読込部111は、RAM13の所定のアドレスから画像データを読み込む(ステップS51)。ここでは、直前の画像生成処理で最小のスケールの縮小画像が書き込まれたアドレスがCPU12からDSP11に通知され、DSP11は通知されたアドレスから最小のスケールの縮小画像を読み込む。ついで、DSP11のフィルタ部113は、読み込んだ最小のスケールの縮小画像にフィルタ処理を行い、フィルタ画像を生成する(ステップS52)。そして、DSP11の書込部114は、生成されたフィルタ画像をRAM13の所定のアドレスに書き込む(ステップS53)。以上によって、最終画像フィルタ処理が終了し、また図3のフローチャートも終了する。
なお、上記した説明では、CPU12が、画像生成処理の実行回数をカウントする機能を有しているが、画像処理部であるDSP11に画像生成処理の実行回数をカウントする機能(カウント部)を設けてもよい。
つぎに、画像処理方法の概要について説明する。図6−1〜図7−2は、実施形態による画像処理方法の手順の一例を模式的に示す図である。この説明では、DSP11がオリジナル画像から5枚のスケールの異なる縮小画像を生成する場合を例に挙げる。また、図6−1〜図6−2は、繰り返し回数が1回の場合を示し、図7−1〜図7−2は、繰り返し回数が複数回の場合を示している。また、以下では、1回の画像形成処理で5枚の縮小画像が生成される場合を例に挙げる。
<繰り返し回数が1回の場合>
図6−1(a)に示されるように、DSP11の読込部111は、バス15を介して、オリジナル画像201aをRAM13から読み込む。ついで、図6−1(b)に示されるように、DSP11の縮小部112は、オリジナル画像201aから異なる倍率の5枚の縮小画像202a〜206aを生成する。すなわち、オリジナル画像201aに対して、R1倍の縮小画像202a、R2倍の縮小画像203a、R3倍の縮小画像204a、R4倍の縮小画像205aおよびR5倍の縮小画像206aが生成される。
その後、図6−1(c)に示されるように、DSP11の書込部114は、バス15を介して、最小のスケールの縮小画像206aをRAM13の所定のアドレスに書き込む。
また、これと並行して、図6−1(d)に示されるように、DSP11のフィルタ部113は、最小のスケールの縮小画像206aを除く縮小画像202a〜205aおよびオリジナル画像201aのそれぞれについて、フィルタ処理を行う。これによって、フィルタ画像201b〜205bが生成される。そして、図6−2(e)に示されるように、DSP11の書込部114は、バス15を介して、生成したフィルタ画像201b〜205bをRAM13の所定のアドレスに書き込む。
この例では、繰り返し回数が1回であるので、以上が画像生成処理になる。その後、最終画像フィルタ処理が行われる。図6−2(f)に示されるように、DSP11の読込部111は、バス15を介して、最小のスケールの縮小画像206aを読み込む。ついで、図6−2(g)に示されるように、DSP11のフィルタ部113は、読み込んだ縮小画像206aについてフィルタ処理を施してフィルタ画像206bを生成する。そして、図6−2(h)に示されるように、DSP11の書込部114は、バス15を介して、生成したフィルタ画像206bをRAM13の所定のアドレスに書き込む。以上によって、オリジナル画像と等倍のフィルタ画像を含む6枚のフィルタ画像が得られる。
<繰り返し回数が複数回の場合>
繰り返し回数が複数回の場合でも、繰り返し回数が1回の場合の図6−1(a)〜図6−2(e)と同様である。その後、図示しないCPU12によって繰り返し回数がカウントされ、図7−1(a)に示されるように、DSP11の読込部111は、バス15を介して、前回の画像生成処理で最小のスケールの縮小画像206aが書き込まれたRAM13のアドレスから縮小画像206aを読み込む。すなわち、縮小画像206aが新たなオリジナル画像となる。
ついで、図7−1(b)に示されるように、DSP11の縮小部112は、オリジナル画像206aから異なる倍率の5枚の縮小画像207a〜211aを生成する。すなわち、オリジナル画像206aに対して、R1倍の縮小画像207a、R2倍の縮小画像208a、R3倍の縮小画像209a、R4倍の縮小画像210aおよびR5倍の縮小画像211aが生成される。なお、ここで生成される縮小画像207a〜211aは、それぞれ元のオリジナル画像201aのR5×R1倍、R5×R2倍、R5×R3倍、R5×R4倍、R5×R5倍となる。
その後、図7−1(c)に示されるように、DSP11の書込部114は、バス15を介して、最小のスケールの縮小画像211aをRAM13の所定のアドレスに書き込む。
また、これと並行して、図7−1(d)に示されるように、DSP11のフィルタ部113は、最小のスケールの縮小画像211aを除く縮小画像207a〜210aおよびオリジナル画像206aのそれぞれについて、フィルタ処理を行う。これによって、フィルタ画像206b〜210bが生成される。そして、図7−2(e)に示されるように、DSP11の書込部114は、バス15を介して、生成したフィルタ画像206b〜210bをRAM13の所定のアドレスに書き込む。
繰り返し回数が3回以上の場合には、図7−1(a)〜図7−2(e)が繰り返し回数分だけ行われることになる。ここでは、繰り返し回数が2回であるとする。そして、繰り返し回数が設定された回数になると、図7−2(f)に示されるように、DSP11の読込部111は、バス15を介して、最小のスケールの縮小画像211aを読み込む。ついで、図7−2(g)に示されるように、DSP11のフィルタ部113は、読み込んだ縮小画像211aについてフィルタ処理を施してフィルタ画像211bを生成する。そして、図7−2(h)に示されるように、DSP11の書込部114は、バス15を介して、生成したフィルタ画像211bをRAM13の所定のアドレスに書き込む。以上によって、図6−1(a)で読み込まれたオリジナル画像201aと等倍のフィルタ画像201bを含む11枚のフィルタ画像201b〜211bが得られる。
ここで、比較例と比較した本実施形態の効果について説明する。図8−1〜図8−2は、比較例による画像処理方法の手順の一例を模式的に示す図である。この説明では、DSP11がオリジナル画像から5枚のスケールの異なる縮小画像を生成する場合を例に挙げる。
図8−1(a)に示されるように、DSP11は、バス15を介して、オリジナル画像201aをRAM13から読み込む。ついで、図8−1(b)に示されるように、DSP11は、オリジナル画像201aから異なる倍率の5枚の縮小画像202a〜206aを生成する。すなわち、オリジナル画像201aに対して、R1倍の縮小画像202a、R2倍の縮小画像203a、R3倍の縮小画像204a、R4倍の縮小画像205aおよびR5倍の縮小画像206aが生成される。
その後、図8−1(c)に示されるように、DSP11は、バス15を介して、最小のスケールの縮小画像206aをRAM13の所定のアドレスに書き込む。
また、これと並行して、図8−1(d)に示されるように、DSP11は、縮小画像202a〜206aのそれぞれについて、フィルタ処理を行う。これによって、フィルタ画像202b〜206bが生成される。そして、図8−2(e)に示されるように、DSP11は、バス15を介して、生成したフィルタ画像202b〜206bをRAM13の所定のアドレスに書き込む。
繰り返し回数が1回である場合には、その後、図8−2(f)に示されるように、DSP11は、バス15を介して、図8−1(a)で読み込んだものと同じオリジナル画像201aを読み込む。ついで、図8−2(g)に示されるように、DSP11は、読み込んだオリジナル画像201aについてフィルタ処理を施してフィルタ画像201bを生成する。そして、図8−2(h)に示されるように、DSP11は、バス15を介して、生成したフィルタ画像201bをRAM13の所定のアドレスに書き込む。以上によって、オリジナル画像と等倍のフィルタ画像を含む6枚のフィルタ画像が得られる。
図8−1(a)および図8−2(f)に示されるように、比較例では、RAM13からDSP11へと、バス15を介して、縮小画像と比較するとサイズの大きいオリジナル画像201aが2回読み込まれている。そのため、画像処理に時間がかかるとともに、転送時にバス15に負荷がかかってしまう。
一方、本実施形態では、繰り返し回数が1回の場合には、RAM13からDSP11へと、バス15を介して、オリジナル画像201aを転送した後、最終画像フィルタ処理の際には、RAM13からDSP11へと、バス15を介して、オリジナル画像を縮小したもののうち最小のスケールの縮小画像を転送する。つまり、比較例と比較して、2回目に送信する画像データのサイズが小さくなる。そのため、画像データの転送に要する時間、すなわち画像処理にかかる時間を比較例に比して短縮することができ、かつ転送時のバス15にかかる負荷を比較例に比して低減できるという効果を得ることができる。
本実施形態の画像処理装置で実行される画像処理プログラムは、インストール可能な形式または実行可能な形式のファイルでCD(Compact Disc)−ROM、フレキシブルディスク(FD)、CD−R(recordable)、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、本実施形態の画像処理装置で実行される画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。さらに、本実施形態の画像処理装置で実行される画像処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
また、本実施形態の画像処理プログラムを、ROM等に予め組み込んで提供するように構成してもよい。
本実施の形態の画像処理装置で実行される画像処理プログラムは、上述した各部(読込部111、縮小部112、フィルタ部113および書込部114)を含むモジュール構成となっており、実際のハードウェアとしてはDSP11(プロセッサ)が上記記憶媒体から画像処理プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、読込部111、縮小部112、フィルタ部113および書込部114が主記憶装置上に生成されるようになっている。
また、上記した説明では、DSP11が画像処理プログラムを読み込んで、上記した画像処理方法を実行する場合を説明した。しかし、DSP11に代えて、上記した画像処理方法をソフトウェアではなくハードウェアで実行するIPA(Image Processing Accelerator)を用いてもよい。IPAは、画像処理方法を実行する回路によって構成される。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1 画像処理装置、11 DSP、12 CPU、13 RAM、14 ROM、15 バス、111 読込部、112 縮小部、113 フィルタ部、114 書込部。

Claims (9)

  1. 画像を記憶するメモリと、
    前記メモリから読み込んだ前記画像の縮小またはフィルタ処理を行う画像処理部と、
    前記メモリと前記画像処理部との間で前記画像を転送するバスと、
    を備え、
    前記画像処理部は、
    画像生成処理では、前記メモリから第1画像を読み込み、前記第1画像からスケールの異なるN枚(Nは2以上の自然数)の縮小画像を生成し、前記縮小画像のうち最小のスケールの第1縮小画像を前記メモリに書き込み、前記縮小画像のうち前記第1縮小画像を除いた第2縮小画像および前記第1画像に前記フィルタ処理を行って第1フィルタ画像を生成し、前記メモリに書き込み、
    最終画像フィルタ処理では、前記メモリから前記第1縮小画像を読み込み、前記フィルタ処理を行って第2フィルタ画像を生成し、前記メモリに書き込むことを特徴とする画像処理装置。
  2. 前記画像生成処理の実行回数をカウントし、前記実行回数が予め定められた繰り返し回数未満の場合には、前記画像生成処理を前記画像処理部に実行させ、前記実行回数が前記繰り返し回数となった場合には、前記最終画像フィルタ処理を前記画像処理部に実行させる中央演算プロセッサをさらに備えることを特徴とする請求項1に記載の画像処理装置。
  3. 前記画像処理部は、前記画像生成処理の実行回数をカウントし、前記実行回数が予め定められた繰り返し回数未満の場合には、前記画像生成処理を実行し、前記実行回数が前記繰り返し回数となった場合には、前記最終画像フィルタ処理を実行することを特徴とする請求項1に記載の画像処理装置。
  4. 前記画像処理部は、前記繰り返し回数が2以上である場合の2回目以降の前記画像生成処理では、直前の前記画像生成処理で前記メモリに書き込まれた前記第1縮小画像を前記第1画像として読み込むことを特徴とする請求項2または3に記載の画像処理装置。
  5. 画像を記憶するメモリと、
    前記メモリから読み込んだ前記画像の縮小またはフィルタ処理を行う画像処理部と、
    前記メモリと前記画像処理部との間で前記画像を転送するバスと、
    を備える画像処理装置で実行される画像処理方法であって、
    前記メモリから第1画像を読み込む第1読込工程と、
    前記第1画像からスケールの異なるN枚(Nは2以上の自然数)の縮小画像を生成する第1縮小画像生成工程と、
    前記縮小画像のうち最小のスケールの第1縮小画像を前記メモリに書き込む第1書込工程と、
    前記縮小画像のうち前記第1縮小画像を除いた第2縮小画像および前記第1画像に前記フィルタ処理を行って第1フィルタ画像を生成する第1フィルタ画像生成工程と、
    前記第1フィルタ画像を前記メモリに書き込む第2書込工程と、
    前記メモリから前記第1縮小画像を読み込む第2読込工程と、
    前記第1縮小画像に対して前記フィルタ処理を行って第2フィルタ画像を生成する第2フィルタ画像生成工程と、
    前記第2フィルタ画像を前記メモリに書き込む第3書込工程と、
    を含むことを特徴とする画像処理方法。
  6. 前記画像処理部は、前記画像生成処理の手順と前記最終画像フィルタ処理の手順とがプログラムとして導入されたデジタル信号プロセッサであることを特徴とする請求項1から4のいずれか1つに記載の画像処理装置。
  7. 前記画像処理部は、前記画像生成処理と前記最終画像フィルタ処理とを実行する回路であることを特徴とする請求項1から4のいずれか1つに記載の画像処理装置。
  8. 前記第1読込工程から前記第2書込工程までの処理の実行回数をカウントするカウント工程と、
    前記実行回数が予め定められた繰り返し回数となったかを判定する判定工程と、
    をさらに含み、
    前記実行回数が予め定められた繰り返し回数未満の場合には、前記第1読込工程から前記第2書込工程までの処理を実行し、
    前記実行回数が予め定められた繰り返し回数となった場合に、前記第2読込工程以降の処理を実行することを特徴とする請求項5に記載の画像処理方法。
  9. 前記実行回数が2以上である場合には、
    前記第1読込工程で読み込まれる前記第1画像は、直前の前記第1書込工程で書き込まれた前記第1縮小画像であり、
    前記第2読込工程では、直前の前記第1書込工程で書き込まれた前記第1縮小画像を読み込むことを特徴とする請求項8に記載の画像処理方法。
JP2017177399A 2017-09-15 2017-09-15 画像処理装置および画像処理方法 Active JP6783732B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017177399A JP6783732B2 (ja) 2017-09-15 2017-09-15 画像処理装置および画像処理方法
CN201810148834.5A CN109509147A (zh) 2017-09-15 2018-02-13 图像处理装置以及图像处理方法
US15/899,476 US20190087931A1 (en) 2017-09-15 2018-02-20 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017177399A JP6783732B2 (ja) 2017-09-15 2017-09-15 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JP2019053524A JP2019053524A (ja) 2019-04-04
JP6783732B2 true JP6783732B2 (ja) 2020-11-11

Family

ID=65720499

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017177399A Active JP6783732B2 (ja) 2017-09-15 2017-09-15 画像処理装置および画像処理方法

Country Status (3)

Country Link
US (1) US20190087931A1 (ja)
JP (1) JP6783732B2 (ja)
CN (1) CN109509147A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298823B (zh) * 2021-05-20 2024-03-15 西安锐思数智科技股份有限公司 图像融合方法及装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471320A (en) * 1994-05-11 1995-11-28 Xerox Corporation Stack filters for 1-to-N bit image processing in electronic printers
US5547132A (en) * 1994-10-20 1996-08-20 Calmar Inc. Sprayer having variable spray pattern
JP2001251624A (ja) * 2000-03-06 2001-09-14 Canon Inc 画像処理装置及びその方法、コンピュータ可読メモリ
JP4561380B2 (ja) * 2005-01-24 2010-10-13 コニカミノルタホールディングス株式会社 検出装置、検出方法及び検出プログラム
JP4832031B2 (ja) * 2005-09-08 2011-12-07 オリンパスイメージング株式会社 画像処理方法及び画像処理装置
JP4926568B2 (ja) * 2006-06-29 2012-05-09 キヤノン株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US7848597B2 (en) * 2006-09-08 2010-12-07 Telefonaktiebolaget Lm Ericsson (Publ) Data processing
US8135230B2 (en) * 2007-07-30 2012-03-13 Dolby Laboratories Licensing Corporation Enhancing dynamic ranges of images
TWI399088B (zh) * 2007-10-12 2013-06-11 Sony Corp 資料處理器,固態成像裝置,成像裝置,及電子設備
JP4955616B2 (ja) * 2008-06-27 2012-06-20 富士フイルム株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP5513490B2 (ja) * 2009-04-10 2014-06-04 パナソニック株式会社 物体検出装置、物体検出システム、物体検出用集積回路、物体検出機能付きカメラおよび物体検出方法
JP5644444B2 (ja) * 2010-12-03 2014-12-24 富士通株式会社 画像表示装置、画像表示方法、および画像処理装置
JP5514132B2 (ja) * 2011-02-07 2014-06-04 日本放送協会 画像縮小装置、画像拡大装置、及びこれらのプログラム
JP2013041400A (ja) * 2011-08-15 2013-02-28 Sony Corp 画像処理装置、画像処理方法、およびプログラム
WO2013059151A1 (en) * 2011-10-19 2013-04-25 Crown Equipment Corporation Selecting objects within a vertical range of one another corresponding to pallets in an image scene
US9380245B1 (en) * 2013-02-14 2016-06-28 Rambus Inc. Conditional-reset image sensor with analog counter array
US9378555B2 (en) * 2013-11-06 2016-06-28 Honeywell International Inc. Enhanced outlier removal for 8 point algorithm used in camera motion estimation

Also Published As

Publication number Publication date
JP2019053524A (ja) 2019-04-04
CN109509147A (zh) 2019-03-22
US20190087931A1 (en) 2019-03-21

Similar Documents

Publication Publication Date Title
JP5784299B2 (ja) データ処理装置および画像処理装置
CN111652829B (zh) 图像融合方法、装置、电子设备及存储介质
US9313358B2 (en) Image processing apparatus
JP2017041727A5 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US9026697B2 (en) Data processing apparatus
JP6783732B2 (ja) 画像処理装置および画像処理方法
US8648936B2 (en) Image processing apparatus and image processing method
JP2008118306A5 (ja)
US20090055816A1 (en) Information processing apparatus, update method, and program
US9652832B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium which perform image restoration processing
CN114942841B (zh) 基于消息驱动的微服务动态编排方法及相关设备
JP2016110622A5 (ja) 制御装置、レンズ装置、画像処理システム、制御方法、画像処理方法、プログラム、および、記憶媒体
US11616901B2 (en) Adaptive lens step control with multiple filters for camera fast auto focus
US10304168B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for correcting deterioration of image
JP6677593B2 (ja) 画像処理装置及びその制御方法
JP2007048257A (ja) 信号処理装置
US8995794B2 (en) System for non-destructive image processing
TWI528190B (zh) 異質性儲存伺服器及其檔案儲存方法
CN114418130B (zh) 一种模型训练方法、数据处理方法及相关设备
JP2017076887A (ja) 画像処理装置およびその制御方法、撮像装置
JP4598623B2 (ja) 画像処理装置
JP6273881B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2025153801A (ja) 画像処理装置
US20150215544A1 (en) Image processing apparatus, image capturing apparatus, control method and recording medium
EP3029630A1 (en) Control apparatus, image processing apparatus, lens apparatus, image processing system, control method, image processing method, program, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190723

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200923

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201022

R150 Certificate of patent or registration of utility model

Ref document number: 6783732

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150