JP2017143390A - 画像処理装置およびその方法 - Google Patents

画像処理装置およびその方法 Download PDF

Info

Publication number
JP2017143390A
JP2017143390A JP2016023075A JP2016023075A JP2017143390A JP 2017143390 A JP2017143390 A JP 2017143390A JP 2016023075 A JP2016023075 A JP 2016023075A JP 2016023075 A JP2016023075 A JP 2016023075A JP 2017143390 A JP2017143390 A JP 2017143390A
Authority
JP
Japan
Prior art keywords
image data
exposure
image
unit
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016023075A
Other languages
English (en)
Other versions
JP6630176B2 (ja
Inventor
利幸 石井
Toshiyuki Ishii
利幸 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016023075A priority Critical patent/JP6630176B2/ja
Priority to US15/413,999 priority patent/US10306141B2/en
Publication of JP2017143390A publication Critical patent/JP2017143390A/ja
Application granted granted Critical
Publication of JP6630176B2 publication Critical patent/JP6630176B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

【課題】 露出が異なる複数の画像データを用いて、画像のつなぎ目のずれが抑制された、不自然さがないハイダイナミックレンジかつパノラマ画像を取得する。【解決手段】 信号処理部104は、異なる複数の露出により撮影された複数の画像データを入力する。画像判定部1041は、複数の画像データそれぞれに露出不良があるか否かを判定する。パノラマ合成部1043は、判定の結果に基づき、同一露出により撮影された複数の画像データをパノラマ合成して、複数の露出に対応する複数のパノラマ画像を生成する。位置合わせ部1044は、露出不良がないと判定された画像データ、および、露出不良があると判定された画像データを輝度補正した画像データを用いて、複数のパノラマ画像の位置合わせを行う。HDR合成部1045は、位置合わせされた複数のパノラマ画像をHDR合成する。【選択図】 図4

Description

本発明は、パノラマ画像のハイダイナミック(HDR)合成を行う画像処理に関する。
複数の画像を撮影し、撮影画像をつなぎ合わせて一つの画像に合成するパノラマ撮影が広く行われている。パノラマ画像は画角が非常に広いため、屋外撮影の場合は太陽や街灯の光が写り込み、室内撮影の場合は部屋奥の暗所から窓外の明所まで写り込み、明るい領域と暗い領域の差が大きいダイナミックレンジが非常に広い画像になる。そのため、単一露出で撮影を行うと、明るい領域に「白飛び」が発生し、暗い領域に「黒潰れ」が発生することがある。
「白飛び」は、露出オーバにより撮影画像の色分布が白側に偏り、一部の画素が白に塗り潰される（画素値が飽和する）ことである。また、「黒潰れ」は、露出アンダにより撮影画像の色分布が黒側に偏り、一部の画素が黒に塗り潰される（画素値が飽和する）ことである。そこで、パノラマ画像を取得する際は、HDR合成の手法を用いて、露出を変えながら撮影した複数の低ダイナミックレンジ画像を合成して、白飛びや黒潰れがないパノラマ画像を取得する方法が提案されている。特許文献1は、パノラマ合成した画像をHDR合成する方法を提案する。
しかし、特許文献1の方法は、撮影対象の被写体のすべての画角について、露出を変えた撮影が必要になり、撮影時の手順が煩雑になる。また、隣接する撮影画像間や異なる露出で撮影された画像間の合成を行う際、画像中に白飛びや黒潰れがあると適切な合成処理が行われず、画像のつなぎ目にずれが生じた不自然な合成結果になる場合がある。
特開2013-175827号公報
本発明は、露出が異なる複数の画像データを用いて、画像のつなぎ目のずれが抑制された、不自然さがないハイダイナミックレンジかつパノラマ画像を取得することを目的とする。
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
本発明にかかる画像処理は、異なる複数の露出により撮影された複数の画像データを入力し、前記複数の画像データそれぞれに露出不良があるか否かを判定し、前記判定の結果に基づき、同一露出により撮影された複数の画像データをパノラマ合成して、前記複数の露出に対応する複数のパノラマ画像を生成し、前記露出不良がないと判定された画像データ、および、前記露出不良があると判定された画像データを輝度補正した画像データを用いて、前記複数のパノラマ画像の位置合わせを行い、前記位置合わせされた複数のパノラマ画像をハイダイナミックレンジ合成する。
本発明によれば、露出が異なる複数の画像データを用いて、画像のつなぎ目のずれが抑制された、不自然さがないハイダイナミックレンジかつパノラマ画像を取得することができる。
実施例におけるパノラマ画像の取得処理の概要を説明する図。 露出不良を考慮したパノラマ合成を説明する図。 実施例の撮影装置の構成例を示すブロック図。 信号処理部におけるパノラマ合成に関連する処理部の構成例を示すブロック図。 パノラマ画像の撮影処理を説明するフローチャート。 輝度補正部の処理を説明するフローチャート。 階調補正テーブルの一例を示す図。 パノラマ合成部の処理を説明するフローチャート。 位置合わせ部の処理を説明するフローチャート。 重複領域の設定の詳細について説明する図。 実施例2のパノラマ画像の撮影処理を説明するフローチャート。
以下、本発明にかかる実施例の画像処理装置および画像処理方法を図面を参照して詳細に説明する。なお、実施例は特許請求の範囲にかかる本発明を限定するものではなく、また、実施例において説明する構成の組み合わせのすべてが本発明の解決手段に必須とは限らない。
［パノラマ画像の取得処理の概要］
図1により実施例におけるパノラマ画像の取得処理の概要を説明する。図1に示すように、露出を変えて被写体を撮影した複数の画像データから露出が同一の複数の画像データ（以下、同一露出画像データ群）を取得する。そして、同一露出画像データ群の各画像データにおける白飛びや黒潰れ（以下、露出不良）の有無を画像判定し、判定結果に基づき、同一露出画像データ群からパノラマ画像を合成（以下、パノラマ合成）する。
図2により露出不良を考慮したパノラマ合成を説明する。図2(a)に示すように、隣接する画像Aと画像Bを合成する際、破線で示す画像間の重複領域に基づき画像の幾何変換を行うと、重複領域に白飛び領域が含まれる場合、適切なパノラマ合成結果が得られない。そこで、図2(b)に示すように、白飛び領域を除外した、破線で示す重複領域に基づき画像を幾何変換してパノラマ合成を行う。
続いて、図1に示すように、同一露出画像データ群ごとにパノラマ合成された複数の画像の位置合わせを行い、ハイダイナミックレンジ合成（以下、HDR合成）を行う。露出が異なる画像の間の位置合わせを行う際、各画像から特徴点を検出して位置ずれを補正するが、画像に含まれる白飛び領域においては特徴点が検出されず、適切な位置合わせを行うことができない。そこで、図2(d)に示すように、白飛び領域に含まれる特徴点を検出可能にするため、画像のテクスチャを識別できるように画像を輝度補正して、位置合わせ精度の向上を図る。
実施例においては、露出不良は画素値が飽和した状態のみを示すわけではない。露出が適正値よりもオーバもしくはアンダで撮影された画像において、画素値のヒストグラムが明部側または暗部側に偏った状態が実施例における露出不良である。
［装置の構成］
図3のブロック図により実施例の撮影装置101の構成例を示す。撮像光学系102は、撮影対象のシーンからの光をCCDやCMOSセンサなどの撮像デバイス103に結像させる。撮像デバイス103は、結像された光学像を光電変換した電気信号を出力する。信号処理部104は、撮像デバイス103が出力する電気信号に所定の処理を施して、シーンの画像データを生成し、画像データを記憶部105に格納したり、画像データが表す画像をLCDなどの表示部106に表示する。なお、表示部106に表示される画像は、記憶部105に格納された画像データが表す画像の場合もある。
撮影制御部107は、撮像光学系102のズーム、焦点、絞り、シャッタなどの制御、撮像デバイス103の制御、信号処理部104の制御、記憶部105の制御を行い、撮影装置101全体の動作を制御する。角速度センサ108は、撮影時の撮影装置101の角速度情報を取得し、角速度情報を撮影制御部107に出力する。撮影制御部107は、画像データの撮影時の角速度情報を当該画像データのヘッダ情報などに付加する。
撮影操作部109は、ユーザ指示を入力し、ユーザ指示を撮影制御部107に出力する。また、表示部106はタッチパネルを有し、表示部106に表示されるグラフィカルユーザインタフェイス(GUI)とタッチパネルは撮影操作部109の一部として機能する。撮影制御部107は、ワンチップマイクロプロセッサなどで構成され、内蔵RAMや記憶部105をワークメモリとして、内蔵ROMや記憶部105に格納されたプログラムを実行する。それにより、撮影装置101の各部の制御、および、後述するパノラマ画像の撮影処理を含む各種画像処理が実現される。
図4のブロック図により信号処理部104におけるパノラマ合成に関連する処理部の構成例を示す。画像判定部1041は、撮影制御部107の制御に従い、撮影された画像データを記憶部105から取得し、撮影された画像データが表す画像（以下、撮影画像）に露出不良があるか否かを判定する。輝度補正部1042は、撮影画像の輝度補正を行う。
パノラマ合成部1043は、複数の撮影画像をつなぎ合わせるパノラマ合成を行う。位置合わせ部1044は、異なる露出で撮影された撮影画像の間の位置合わせを行う。HDR合成部1045は、HDR合成を行う。バッファメモリ1046は、信号処理部104における各種処理に使用されるバッファメモリである。
［パノラマ画像の撮影処理］
図5のフローチャートによりパノラマ画像の撮影処理を説明する。撮影操作部109やGUIを介してパノラマ撮影が指示されると、撮影制御部107は、撮影時の露出を設定する(S11)。ユーザが撮影操作部109のレリーズボタンを押すと、撮影制御部107は、撮影開始と判定する(S12)。そして、撮像光学系102と撮像デバイス103を制御して撮影を行い、信号処理部104を制御して撮影された画像データを記憶部105に保存する(S13)。
ユーザがGUIに表示される「撮影終了ボタン」をタッチすることで撮影が終了する。従って、撮影終了ボタンが押されるまで、ステップS14の判定により処理はステップS15に進み、撮影制御部107による露出の変更(S15)と変更後の露出による撮影(S13)が継続される。言い替えれば、ユーザは、撮影開始を指示し、撮影装置101の画角をパノラマ撮影範囲の例えば左端から右端に向けて移動し、画角が右端に達したと判断すると撮影終了を指示する。その間、撮影制御部107は、例えば三つの異なる露出を順次切り替えるなど、露出を順次変更して連続撮影を行う。
露出の変更は、例えば、シャッタスピードの変更により行えばよいが、ISO感度や絞りなどの変更、あるいは、それらの組み合わせによって行ってもよい。また、例えば1/2段または1/3段露出を変えるが、露出の変更量は任意である。なお、撮影の終了指示はGUIの「撮影終了ボタン」に限らず、レリーズボタンが再度押されると撮影を終了してもよい。また、図3には示さない音声認識部による音声（例えば「撮影開始」「撮影終了」）の認識結果に基づき、撮影制御部107が撮影の開始と終了を行ってもよい。
撮影終了が指示されると処理はステップS16へ進み、画像判定部1041は、撮影された各画像データに露出不良があるか否かの判定を行う(S16)。白飛びの判定は、白飛び判定用の閾値（以下、白閾値）を用いて白閾値以上の画素値を有する画素数が、画像データ全体の画素数に占める割合によって判定される。同様に、黒潰れの判定は、黒潰れ判定用の閾値（以下、黒閾値）を用いて黒閾値以下の画素値を有する画素数が、画像データ全体の画素数に占める割合によって判定される。
例えば、白閾値=240として、G成分の値（以下、G値）≧240の画素数が1%以上の画像データは白飛びがあると判定される。また、黒閾値=16として、G値≦16の画素数が1%以上の画像データは黒潰れがあると判定される。なお、上記の閾値や割合は一例であり、他の閾値や割合を任意の設定することができる。
次に、輝度補正部1042は、露出不良があると判定された画像データについて、画像のテクスチャを検出可能にする画像補正を行う(S17)。続いて、パノラマ合成部1043はパノラマ合成を行い(S18)、位置合わせ部1044はパノラマ合成された画像間の位置合わせを行う(S19)。輝度補正、パノラマ合成、位置合わせの詳細は後述する。
次に、HDR合成部1045は、位置合わせされた画像を用いてHDR合成を行う(S20)。HDR合成には、例えば、特許文献1に開示された技術などを用いる。そして、信号処理部104は、合成された画像データを記憶部106に保存し(S21)、パノラマ画像の撮影処理を終了する。
●輝度補正部
図6のフローチャートにより輝度補正部1042の処理(S17)を説明する。輝度補正部1042は、露出不良があると判定された画像データ（以下、補正画像データ）を取得し(S61)、フィルタ処理により、補正画像データを全体階調画像データと局所階調画像データに分離する(S62)。例えば、下式のガウシアンフィルタにより補正画像データを平滑化して全体階調画像データを分離する。また、補正画像データの各画素の値を、全体階調画像データの対応する画素の値で除算して、局所階調画像データを分離する。
G(x, y) = (1/2πσ2)exp{-(x2+y2)/2σ2} …(1)
ガウシアンフィルタのカーネルサイズσとして入力画像の1/10のサイズを使用するが、サイズはこれに限定されない。また、ガウシアンフィルタの代わりに、移動平均フィルタやバイラテラルフィルタなどの他の平滑化フィルタを用いてもよい。
次に、輝度補正部1042は、露出不良の判定結果に基づき全体階調画像データのトーンカーブを補正する(S63)。輝度補正部1042は、入力画素値と出力画素値の明るさの対応関係が記述された、バッファメモリ1046に予め格納された階調補正テーブルを参照してトーンカーブの補正を実施する。
図7により階調補正テーブルの一例を示す。輝度補正部1042は、図7(a)に示すようなハイライト部の明るさを小さくする階調補正テーブルを参照して、白飛びがあると判定された補正画像データの全体階調画像データのトーンカーブを補正する。同様に、図7(b)に示すようなシャドウ部の明るさを大きくする階調補正テーブルを参照して、黒潰れがあると判定された補正画像データの全体階調画像データのトーンカーブを補正する。
次に、輝度補正部1042は、局所階調画像データと、トーンカーブを補正した全体階調画像データを合成し(S64)、合成後の画像データ（輝度補正画像データ）をバッファメモリ1046に保存する(S65)。
●パノラマ合成部
図8のフローチャートによりパノラマ合成部1043の処理(S18)を説明する。パノラマ合成部1043は、同一露出で撮影された複数の画像データ（同一露出画像データ群）を取得し(S71)、画像データごとに対応付けられた撮影時の角速度センサ108の出力値（角速度情報）を取得する(S72)。角速度情報は、撮像部（撮像光学系102と撮像デバイス103）の光軸に直交する撮影装置101のパン方向とチルト方向の角速度に相当し、撮影された画像データごとに得られる。
次に、パノラマ合成部1043は、角速度情報を用いて、公知の技術により対応する画像データの暈けやパースを補正し(S73)、角速度情報と各画像データの撮影タイミングに基づき、同一露出画像データ群の複数の撮影画像を平面に配置する(S74)。画像の配置は、被写体を想定した被写体面（平面）を三次元空間上に設定し、角速度情報と各画像データの撮影タイミングに基づく被写体面上の位置に撮影画像を射影することで行われる。
次に、パノラマ合成部1043は、同一露出画像データ群の中から一つの画像データ（以下、選択画像）を選択し(S75)、選択画像と、選択画像に隣接する、同一露出画像データ群の撮影画像（以下、隣接画像）の間の重複領域を設定する(S76)。重複領域の設定の詳細は後述する。そして、重複領域に白飛び領域や黒潰れ領域（以下、露出不良領域）が含まれる場合、露出不良領域を重複領域から除外する(S77)。
例えば、重複領域を所定サイズの領域にブロック分割し、分割領域においてG値≧240の画素が分割領域の画素の90%以上を占める場合、当該分割領域の画素をすべてを白飛び領域として除外する。また、分割領域においてG値≦16の画素が分割領域の画素の90%以上を占める場合、当該分割領域の画素をすべてを黒潰れ領域として除外する。なお、上記の閾値や割合は一例であり、他の閾値や割合を任意の設定することができる。
次に、パノラマ合成部1043は、露出不良領域を除外した重複領域における画素値の差が最小になるように隣接画像を幾何変換する(S78)。重複領域における「画素値の差」については、重複領域の設定と一緒に後述する。幾何変換は、例えば、下式に示すアフィン変換により行われ、アフィン変換パラメータa、b、c、d、e、fを変化させて、重複領域における画素値の差が最小になるアフィン変換パラメータが設定される。
┌ ┐ ┌ ┐┌ ┐
│x'│ │a b c││x│
│y'│=│d e f││y│ …(2)
│1 │ │0 0 1││1│
└ ┘ └ ┘└ ┘
ここで、(x, y)は処理前の座標、
(x', y')は処理後の座標
a、b、d、eは回転移動パラメータ（回転角θの場合はa=cosθ、b=-sinθ、d=sinθ、e=cosθ）、
cは水平方向の移動量、
fは垂直方向の移動量。
次に、パノラマ合成部1043は、同一露出画像データ群のすべての画像データについてステップS75からS78の処理を実施したか否かを判定し(S79)、同一露出画像データ群に未処理の画像データがあれば処理をステップS75に戻す。未処理の画像データがない場合、パノラマ合成部1043は、露出が異なる複数の同一露出画像データ群についてステップS71からS78の合成処理を実施したか否かを判定し(S80)、未処理の同一露出画像データ群があれば処理をステップS71に戻す。また、未処理の同一露出画像データ群がない場合は合成処理を終了する。
●位置合わせ部
図9のフローチャートにより位置合わせ部1044の処理(S19)を説明する。位置合わせ部1044は、ステップS18でパノラマ合成された複数の画像データを取得し(S81)、それら画像データから位置合わせの基準になる基準画像データを選択する(S82)。例えば、複数の露出の中で、適正露出に最も近い露出で撮影された同一露出画像データ群からパノラマ合成された画像データを基準画像データに選択する。あるいは、複数の露出の中で、中間的な露出で撮影された同一露出画像データからパノラマ合成された画像データを基準画像データとして選択してもよい。
次に、位置合わせ部1044は、取得した複数の画像データから位置合わせ対象の画像データ（以下、位置合わせ画像データ）を選択し(S83)、基準画像データおよび位置合わせ画像データに露出不良があるか否かを判定する(S84)。露出不良があるか否かの判定には、ステップS15と同一の方法を用いればよい。
露出不良がある場合、位置合わせ部1044は、露出不良領域を含む画像データ（パノラマ合成前の画像データ）の角速度情報を参照して、露出不良領域を含む画像データに対応する輝度補正画像データを取得する(S85)。
次に、位置合わせ部1044は、露出不良領域については輝度補正画像データから特徴点を検出し、その他の領域については輝度が未補正の画像データから特徴点を検出する(S86)。特徴点の検出には、フィルタ処理によりエッジや曲率を抽出して、エッジや曲線の交点を求める方法や、テンプレートマッチングを用いる方法を用いればよい。
次に、位置合わせ部1044は、検出した各特徴点について画像間の横方向と縦方向の位置ずれ量を算出し(S87)、位置ずれ量の総和が最小になるようにアフィン変換パラメータを算出して、位置合わせ画像データの幾何変換を行う(S88)。そして、基準画像データを除くすべての画像データ（パノラマ合成後の画像データ）にステップS83からS88の処理を実施したか否かを判定する(S89)。未処理の画像データがある場合は処理をステップS83に戻し、未処理の画像データがない場合は位置合わせ処理を終了する。
［重複領域の設定と画素値の差］
図10により重複領域の設定の詳細について説明する。例えば、加速度情報を用いて二つの射影後画像AとBが、図10(a)に示すように配置されたと仮定する。撮影装置101の位置の微妙なずれやパースの影響を受けて平面に射影されるため、画像Aの画素中心と、画像Bの画素中心は一致しない可能性が高い。そればかりか、画素サイズ（隣接画素間の中心距離）が異なる場合もある。
そこで、図10(b)に示すように、画像Aと画像Bの間に仮想重複領域を設定する。画像Aと画像Bは同一平面に射影されるので図10(b)に示すような空間がある訳ではないが、仮想重複領域を設定することで微妙にずれた画素の比較が可能になる。仮想重複領域の解像度は任意であるが、例えば、画像Aと画像Bの画素サイズの平均に対応する解像度を設定すればよい。
図10(b)の場合、仮想重複領域の画素Pに対応する、画像A上の座標をPA、画像B上の座標をPBとする。座標PAおよびPBは、各画像の画素中心からずれた位置に存在するため、それら座標を包含する画素の値を画素PAおよびPBの値とすることはできない。
そこで、画素PAおよびPBの近傍画素の値の補間により、画素PAおよびPBの値を算出する。例えば、図10(b)に示すように、近傍四画素の値を用いるバイリニア補間により座標PAおよびPBの値を決定する。なお、参照する近傍画素の数を増やして、バイキュービック補間などの補間処理を行ってもよい。このようにして決定した画素PAの値と画素PBAの値の差（仮想重複領域の画素Pの誤差）を隣接画像の幾何変換(S78)における「画素値の差」として用いる。
このように、露出不良の判定結果に基づき、輝度補正、パノラマ合成、位置合わせを行うことにより、画像のつなぎ目のずれが抑制された、不自然さがないHDRかつパノラマ画像を取得することができる。
以下、本発明にかかる実施例2の画像処理装置および画像処理方法を説明する。なお、実施例2において、実施例1と略同様の構成については、同一の符号を付して、その詳細な説明を省略する場合がある。
実施例1では、露出を変化させて撮影した複数の画像を同一露出ごとにパノラマ合成し、複数のパノラマ画像の位置合わせを行った後、HDR合成を行う方法を説明した。実施例2では、露出を変化させて撮影した画像を撮影順に貼り合わせてパノラマ合成する方法を説明する。
図11のフローチャートにより実施例2のパノラマ画像の撮影処理を説明する。撮影操作部109やGUIを介してパノラマ撮影が指示されると、撮影制御部107は、撮影時の露出を設定する(S31)。ユーザが撮影操作部109のレリーズボタンを押すと、撮影制御部107は、撮像光学系102と撮像デバイス103を制御して撮影を行い、信号処理部104を制御して撮影された画像データを記憶部105に保存する(S32)。
次に、撮影制御部107は、撮影終了が指示されたか否かを判定し(S33)、撮影終了が指示された場合はパノラマ画像の撮影処理を終了する。撮影終了が指示されていない場合、撮影制御部107は露出を変更する(S34)。ユーザが撮影操作部109のレリーズボタンを押すと、撮影制御部107は、撮像光学系102と撮像デバイス103を制御して撮影を行い、信号処理部104を制御して撮影された画像データを記憶部105に保存する(S35)。なお、ユーザは、ステップS32の撮影時における画角との間に重複領域が残るように撮影装置101の画角を移動してレリーズボタンを押す。
次に、パノラマ合成部1043は、角速度情報に基づいて、最初に撮影された画像データ（以下、第一の画像データ）と次に撮影された画像データ（以下、第二の画像データ）の間の重複領域を抽出する(S36)。重複領域に対してステップS37からS40の処理が行われ、非重複領域に対してステップS41の処理が行われる。
画像判定部1041は、重複領域に露出不良があるか否かを判定する(S37)。輝度補正部1042は、重複領域に露出不良があると判定された画像データについて、画像のテクスチャを検出可能にする画像補正を行って、輝度補正画像データを生成する(S38)。位置合わせ部1044は、輝度が未補正の画像データまたは輝度補正画像データにおける重複領域の画素値に基づいて、第二の画像データの位置を第一の画像データに位置に合わせる位置合わせを行う(S39)。HDR合成部1045は、重複領域について第一の画像データと位置合わせ後の第二の画像データをHDR合成する(S40)。
一方、輝度補正部1042は、非重複領域について、第一および第二の画像データの間の露出補正を行って、非重複領域の露出補正画像データを生成する(S41)。露出補正として、画像ごとに全画素値の平均値（以下、画素平均値）を算出し、二つの画像の画素平均値を同一にする補正が行われる。画素平均値の算出に、例えば、RGB値をCIELab値に変換した際の明度値Lを用いるが、G値やCIEXYZ値のY値を用いてもよい。また、平均値ではなく、最頻値や中央値などの他の統計値を用いてもよい。
次に、信号処理部104は、ステップS40でHDR合成された重複領域の画像データおよびステップS41で生成された非重複領域の露出補正画像データによって記憶部105に保存された第一の画像データを置き換える(S42)。その後、処理はステップS33に戻され、撮影終了が指示されていない場合は、露出の変更(S34)と撮影(S35)が行われ、ステップS35で新たに撮影された画像データを第二の画像データとしてステップS36以降の処理が繰り返される。
このように、重複領域を分離して露出不良の判定を行い、露出不良の判定結果に基づき、重複領域の輝度補正、位置合わせ、HDR合成、並びに、非重複領域の露出補正を行う。これにより、画像のつなぎ目のずれが抑制された、不自然さがないHDRかつパノラマ画像を取得することができる。
［変形例］
図3、図5には、本発明を撮影装置101に適用する例を説明した。しかし、撮影装置101によって異なる複数の露出によって撮影された複数の画像データを、例えば記憶メディア、シリアルバスまたはネットワークを介して画像処理装置に入力し、画像処理装置が図5に示すステップS16からS21の処理を実行してもよい。コンピュータ機器または専用ハードウェアによって実現される、そのような画像処理装置は、図4に示す信号処理部104の構成を備え、本発明の範囲に含まれる。
同様に、図11には、本発明を撮影装置101に適用する例を説明した。しかし、撮影装置101が露出を変更して順次撮影する画像データを、例えばシリアルバスまたはネットワークを介して画像処理装置に入力し、画像処理装置が図11に示すステップS36からS42の処理を実行してもよい。コンピュータ機器または専用ハードウェアによって実現される、そのような画像処理装置は、図4に示す信号処理部104の構成を備え、本発明の範囲に含まれる。
［その他の実施例］
本発明は、上述の実施形態の一以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、一以上の機能を実現する回路（例えば、ASIC）によっても実現可能である。
104 … 信号処理部、1041 … 画像判定部、1043 … パノラマ合成部、1045 … HDR合成部

Claims (12)

  1. 異なる複数の露出により撮影された複数の画像データを入力する入力手段と、
    前記複数の画像データそれぞれに露出不良があるか否かを判定する判定手段と、
    前記判定の結果に基づき、同一露出により撮影された複数の画像データをパノラマ合成して、前記複数の露出に対応する複数のパノラマ画像を生成する生成手段と、
    前記露出不良がないと判定された画像データ、および、前記露出不良があると判定された画像データを輝度補正した画像データを用いて、前記複数のパノラマ画像の位置合わせを行う位置合わせ手段と、
    前記位置合わせされた複数のパノラマ画像をハイダイナミックレンジ合成する合成手段とを有する画像処理装置。
  2. 画像データを撮影する撮像部を制御し、前記撮像部の光軸に直交するパン方向とチルト方向の角速度情報を画像データに付加する撮影制御手段を有し、
    前記入力手段は、前記撮影制御手段の制御によって撮影された前記複数の画像データを入力する請求項1に記載された画像処理装置。
  3. 前記撮影制御手段は、撮影開始が指示されると前記露出を順次変更して連続撮影を行い、撮影終了が指示されると前記連続撮影を終了する請求項2に記載された画像処理装置。
  4. 前記生成手段は、前記角速度情報を用いて、前記同一露出により撮影された複数の画像データを平面に配置する請求項2または請求項3に記載された画像処理装置。
  5. 前記生成手段は、前記平面に配置した画像データの間の重複領域を設定し、前記重複領域から前記露出不良の領域を除外し、前記露出不良の領域を除外した重複領域に基づく画像データの幾何変換により前記パノラマ合成を行う請求項4に記載された画像処理装置。
  6. 前記判定手段は、第一の閾値以上の画素値を有する画素数が、画像データの画素数に占める割合、または、第二の閾値以下の画素値を有する画素数が、前記画素数に占める割合によって前記露出不良の判定を行う請求項1から請求項5の何れか一項に記載された画像処理装置。
  7. 前記位置合わせ手段は、前記画像データまたは前記輝度補正した画像データから特徴点を検出し、前記特徴点に基づき前記複数のパノラマ画像の間の位置ずれ量を算出し、前記位置ずれ量に基づく画像データの幾何変換により前記位置合わせを行う請求項1から請求項6の何れか一項に記載された画像処理装置。
  8. 前記露出不良があると判定された画像データを全体階調画像データと局所階調画像データに分離し、前記露出不良の判定結果に基づき前記全体階調画像データのトーンカーブを補正し、前記トーンカーブを補正した全体階調画像データと前記局所階調画像データを合成した画像データを前記輝度補正した画像データとして出力する補正手段を有する請求項1から請求項7の何れか一項に記載された画像処理装置。
  9. 異なる露出で撮影された第一および第二の画像データを入力する画像処理装置であって、
    前記第一および第二の画像データの間の重複領域を抽出する抽出手段と、
    前記重複領域に露出不良があるか否かを判定する判定手段と、
    前記露出不良があると判定された画像データを輝度補正した輝度補正画像データを生成し、前記第一および第二の画像データの非重複領域について前記第一および第二の画像データの間の露出補正を行って前記非重複領域の露出補正画像データを生成する補正手段と、
    前記露出不良がないと判定された画像データまたは前記輝度補正画像データにおける前記重複領域の画素値に基づいて、前記第一および第二の画像データの位置合わせを行う位置合わせ手段と、
    前記重複領域について前記第一および第二の画像データのハイダイナミックレンジ合成を行う合成手段とを有し、
    前記ハイダイナミックレンジ合成された前記重複領域の画像データ、および、前記非重複領域の露出補正画像データを前記第一の画像データとし、新たに入力される露出を変更して撮影された画像データを前記第二の画像データとして、前記手段が処理を繰り返す画像処理装置。
  10. 異なる複数の露出により撮影された複数の画像データを入力し、
    前記複数の画像データそれぞれに露出不良があるか否かを判定し、
    前記判定の結果に基づき、同一露出により撮影された複数の画像データをパノラマ合成して、前記複数の露出に対応する複数のパノラマ画像を生成し、
    前記露出不良がないと判定された画像データ、および、前記露出不良があると判定された画像データを輝度補正した画像データを用いて、前記複数のパノラマ画像の位置合わせを行い、
    前記位置合わせされた複数のパノラマ画像をハイダイナミックレンジ合成する画像処理方法。
  11. 異なる露出で撮影された第一および第二の画像データを入力する画像処理装置の画像処理方法であって、
    抽出手段が、前記第一および第二の画像データの間の重複領域を抽出し、
    判定手段が、前記重複領域に露出不良があるか否かを判定し、
    補正手段が、前記露出不良があると判定された画像データを輝度補正した輝度補正画像データを生成し、前記第一および第二の画像データの非重複領域について前記第一および第二の画像データの間の露出補正を行って前記非重複領域の露出補正画像データを生成し、
    位置合わせ手段が、前記露出不良がないと判定された画像データまたは前記輝度補正画像データにおける前記重複領域の画素値に基づいて、前記第一および第二の画像データの位置合わせを行い、
    合成手段が、前記重複領域について前記第一および第二の画像データのハイダイナミックレンジ合成を行い、
    前記ハイダイナミックレンジ合成された前記重複領域の画像データ、および、前記非重複領域の露出補正画像データを前記第一の画像データとし、新たに入力される露出を変更して撮影された画像データを前記第二の画像データとして、前記手段が処理を繰り返す画像処理方法。
  12. コンピュータを請求項1から請求項9の何れか一項に記載された画像処理装置の各手段として機能させるためのプログラム。
JP2016023075A 2016-02-09 2016-02-09 画像処理装置およびその方法 Active JP6630176B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016023075A JP6630176B2 (ja) 2016-02-09 2016-02-09 画像処理装置およびその方法
US15/413,999 US10306141B2 (en) 2016-02-09 2017-01-24 Image processing apparatus and method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016023075A JP6630176B2 (ja) 2016-02-09 2016-02-09 画像処理装置およびその方法

Publications (2)

Publication Number Publication Date
JP2017143390A true JP2017143390A (ja) 2017-08-17
JP6630176B2 JP6630176B2 (ja) 2020-01-15

Family

ID=59496638

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016023075A Active JP6630176B2 (ja) 2016-02-09 2016-02-09 画像処理装置およびその方法

Country Status (2)

Country Link
US (1) US10306141B2 (ja)
JP (1) JP6630176B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020111750A1 (ko) * 2018-11-29 2020-06-04 삼성전자 주식회사 이미지 처리 방법 및 이를 지원하는 전자 장치
JP2021044700A (ja) * 2019-09-11 2021-03-18 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置およびプログラム
WO2022245148A1 (ko) * 2021-05-20 2022-11-24 삼성전자 주식회사 이미지 처리 방법 및 그 전자 장치

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102579457B1 (ko) * 2017-02-24 2023-09-14 삼성전자주식회사 이미지 보정 방법 및 장치
US10521468B2 (en) * 2017-06-13 2019-12-31 Adobe Inc. Animated seek preview for panoramic videos
JP6833746B2 (ja) * 2018-03-07 2021-02-24 キヤノン株式会社 撮像装置、撮像方法、プログラムおよび記録媒体
CN108449541B (zh) * 2018-03-12 2020-09-01 维沃移动通信有限公司 一种全景图像拍摄方法及移动终端
US10764496B2 (en) * 2018-03-16 2020-09-01 Arcsoft Corporation Limited Fast scan-type panoramic image synthesis method and device
CN108737738B (zh) * 2018-04-20 2021-03-12 影石创新科技股份有限公司 一种全景相机及其曝光方法和装置
US10783649B2 (en) 2018-09-17 2020-09-22 Adobe Inc. Aligning digital images by selectively applying pixel-adjusted-gyroscope alignment and feature-based alignment models
CN109104578B (zh) * 2018-09-21 2020-09-18 维沃移动通信有限公司 一种图像处理方法及移动终端
CN109819169A (zh) * 2019-02-13 2019-05-28 上海闻泰信息技术有限公司 全景拍摄方法、装置、设备和介质
JP6562492B1 (ja) * 2019-05-16 2019-08-21 株式会社モルフォ 画像処理装置、画像処理方法及びプログラム
JP7137544B2 (ja) 2019-09-26 2022-09-14 キヤノン株式会社 画像処理装置および画像処理方法、プログラム
CN110930335B (zh) * 2019-11-27 2023-03-31 维沃移动通信有限公司 一种图像处理方法及电子设备
CN111083390B (zh) * 2019-12-27 2021-07-06 维沃移动通信有限公司 一种图像处理方法及电子设备
CN111127462B (zh) * 2020-01-16 2024-10-29 创新奇智(合肥)科技有限公司 基于多曝光成像的成衣印花缺陷检测系统及检测方法
JP7237872B2 (ja) * 2020-02-14 2023-03-13 株式会社東芝 検査装置、検査方法、及びプログラム
JP7273748B2 (ja) * 2020-02-28 2023-05-15 株式会社東芝 検査装置、検査方法、及びプログラム
US11606498B1 (en) * 2020-09-22 2023-03-14 Apple Inc. Exposure of panoramas
CN119887593A (zh) * 2024-12-26 2025-04-25 杭州海康汽车软件有限公司 一种图像处理方法、装置及设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060177150A1 (en) * 2005-02-01 2006-08-10 Microsoft Corporation Method and system for combining multiple exposure images having scene and camera motion
US20100045815A1 (en) * 2008-08-19 2010-02-25 Olympus Corporation Image pickup device
US20120249728A1 (en) * 2011-03-31 2012-10-04 Casio Computer Co., Ltd. Image capturing apparatus for enabling generation of data of panoramic image with wide dynamic range
WO2013069050A1 (ja) * 2011-11-07 2013-05-16 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
JP2013118513A (ja) * 2011-12-02 2013-06-13 Canon Inc 撮像装置
WO2013186806A1 (ja) * 2012-06-11 2013-12-19 株式会社ソニー・コンピュータエンタテインメント 画像撮像装置および画像撮像方法
JP2014060578A (ja) * 2012-09-18 2014-04-03 Olympus Imaging Corp 撮像装置
JP2014068080A (ja) * 2012-09-24 2014-04-17 Canon Inc 撮像装置及び撮像方法
JP2015186062A (ja) * 2014-03-25 2015-10-22 キヤノン株式会社 画像合成処理装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3492202B2 (ja) * 1998-06-24 2004-02-03 キヤノン株式会社 画像処理方法、装置および記録媒体
US8194993B1 (en) * 2008-08-29 2012-06-05 Adobe Systems Incorporated Method and apparatus for matching image metadata to a profile database to determine image processing parameters
JP5574792B2 (ja) * 2010-04-13 2014-08-20 キヤノン株式会社 撮影装置
JP5735846B2 (ja) 2011-04-11 2015-06-17 キヤノン株式会社 画像処理装置およびその方法
US9076233B2 (en) * 2012-02-03 2015-07-07 Seiko Epson Corporation Image processing device and electronic apparatus using the same
JP6025342B2 (ja) 2012-02-23 2016-11-16 キヤノン株式会社 撮像装置及びその制御方法
JP2015033107A (ja) * 2013-08-07 2015-02-16 ソニー株式会社 画像処理装置および画像処理方法、並びに、電子機器

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060177150A1 (en) * 2005-02-01 2006-08-10 Microsoft Corporation Method and system for combining multiple exposure images having scene and camera motion
US20100045815A1 (en) * 2008-08-19 2010-02-25 Olympus Corporation Image pickup device
JP2010050521A (ja) * 2008-08-19 2010-03-04 Olympus Corp 撮像装置
US20120249728A1 (en) * 2011-03-31 2012-10-04 Casio Computer Co., Ltd. Image capturing apparatus for enabling generation of data of panoramic image with wide dynamic range
JP2012213105A (ja) * 2011-03-31 2012-11-01 Casio Comput Co Ltd 撮像装置及び撮像制御方法、画像処理装置及び画像処理方法、並びにプログラム
WO2013069050A1 (ja) * 2011-11-07 2013-05-16 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
JP2013118513A (ja) * 2011-12-02 2013-06-13 Canon Inc 撮像装置
WO2013186806A1 (ja) * 2012-06-11 2013-12-19 株式会社ソニー・コンピュータエンタテインメント 画像撮像装置および画像撮像方法
JP2014060578A (ja) * 2012-09-18 2014-04-03 Olympus Imaging Corp 撮像装置
JP2014068080A (ja) * 2012-09-24 2014-04-17 Canon Inc 撮像装置及び撮像方法
JP2015186062A (ja) * 2014-03-25 2015-10-22 キヤノン株式会社 画像合成処理装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020111750A1 (ko) * 2018-11-29 2020-06-04 삼성전자 주식회사 이미지 처리 방법 및 이를 지원하는 전자 장치
US11645741B2 (en) 2018-11-29 2023-05-09 Samsung Electronics Co., Ltd Image processing method and electronic device supporting same
JP2021044700A (ja) * 2019-09-11 2021-03-18 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置およびプログラム
JP7277321B2 (ja) 2019-09-11 2023-05-18 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置およびプログラム
WO2022245148A1 (ko) * 2021-05-20 2022-11-24 삼성전자 주식회사 이미지 처리 방법 및 그 전자 장치
US12489985B2 (en) 2021-05-20 2025-12-02 Samsung Electronics Co., Ltd. Image processing method and electronic device therefor

Also Published As

Publication number Publication date
US20170230577A1 (en) 2017-08-10
JP6630176B2 (ja) 2020-01-15
US10306141B2 (en) 2019-05-28

Similar Documents

Publication Publication Date Title
JP6630176B2 (ja) 画像処理装置およびその方法
JP4760973B2 (ja) 撮像装置及び画像処理方法
CN101616260B (zh) 信号处理装置和信号处理方法
KR100968378B1 (ko) 파노라마 이미지를 생성하는 장치, 방법 및 그 방법을 실행하는 프로그램이 기록된 기록 매체
CN101616237B (zh) 图像处理装置、图像处理方法
JP4524717B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP7023662B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
US7224392B2 (en) Electronic imaging system having a sensor for correcting perspective projection distortion
TWI516113B (zh) 攝像裝置及其影像合成方法
CN107197134B (zh) 一种用于多个鱼眼镜头的图像的曝光调整方法和装置
JP2016053849A (ja) 画像処理装置および画像処理方法、並びに固体撮像装置
JPWO2019026746A1 (ja) 画像処理装置および方法、撮像装置、並びにプログラム
JP5735846B2 (ja) 画像処理装置およびその方法
JP6656035B2 (ja) 画像処理装置、撮像装置および画像処理装置の制御方法
US8731327B2 (en) Image processing system and image processing method
JP2017220885A (ja) 画像処理装置、その制御方法、および制御プログラム
JP2017138927A (ja) 画像処理装置、撮像装置およびそれらの制御方法、それらのプログラム
JP2015177510A (ja) カメラシステム、画像処理方法及びプログラム
JP6961423B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、プログラムおよび記録媒体
JP7458769B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
CN103369226B (zh) 摄像装置及其影像合成方法
JP2020160773A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2004128588A (ja) 撮像装置
JP5354059B2 (ja) 撮像装置、画像処理方法及びプログラム
JP2016072893A (ja) 画像処理装置、画像処理方法およびプログラム、並びに撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191029

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191206

R151 Written notification of patent or utility model registration

Ref document number: 6630176

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151