JP2006140971A - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP2006140971A
JP2006140971A JP2004331111A JP2004331111A JP2006140971A JP 2006140971 A JP2006140971 A JP 2006140971A JP 2004331111 A JP2004331111 A JP 2004331111A JP 2004331111 A JP2004331111 A JP 2004331111A JP 2006140971 A JP2006140971 A JP 2006140971A
Authority
JP
Japan
Prior art keywords
image
images
coordinate conversion
image processing
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2004331111A
Other languages
English (en)
Inventor
Hideo Tamamura
秀雄 玉村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2004331111A priority Critical patent/JP2006140971A/ja
Priority to CNA2005101153293A priority patent/CN1777238A/zh
Priority to US11/274,496 priority patent/US7463284B2/en
Publication of JP2006140971A publication Critical patent/JP2006140971A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

【課題】画像合成によって露出不足を補正しつつ、合成画像に生ずるブレを無くす技術の提供。
【解決手段】撮像素子により撮像された画像を補正する画像処理装置であって、前記撮像された複数の画像について、当該各画像中の主被写体の位置ズレを検出する検出手段と、前記検出手段による検出結果に基づいて各画像の座標変換を行う座標変換手段と、前記座標変換後の各画像を合成して画像の露出を補正する補正手段とを備え、前記画像の合成時に、露出が適正化される画像数よりも多く撮影された画像の中から位置ずれの少ない画像を選択して合成する。
【選択図】 図１

Description

本発明は、複数の画像を合成する画像処理装置及び画像処理方法に関する。
カメラに加わる手振れは、撮影の失敗の原因の一つである。例えば、特許文献１には、撮影者の手振れ状態を検知し、レンズを動かすことで、長秒時でもブレの生じない画像を得ることができるシステムが提案されている。
特開２０００−３４１５７７号公報
しかしながら、上記特許文献１に記載の方法では、複数の手振れ画像から１枚の適正露出画像を作り出そうとすると、適正露出画像のサイズ（画素数）は手振れの激しさに応じて小さくなってしまうという欠点がある。
本発明は、このような欠点を解決できるようにすることを目的とする。
本発明に係る画像処理装置は、撮像素子により撮像された画像を補正する画像処理装置であって、前記撮像された複数の画像について、当該各画像中の主被写体の位置ズレを検出する検出手段と、前記検出手段による検出結果に基づいて各画像の座標変換を行う座標変換手段と、前記座標変換後の各画像を合成して画像の露出を補正する補正手段とを備え、前記画像の合成時に、露出が適正化される画像数よりも多く撮影された画像の中から位置ずれの少ない画像を選択して合成することを特徴とする。
本発明に係る画像処理装置は、撮像素子により撮像された画像を補正する画像処理装置であって、前記撮像された複数の画像について、当該各画像中の主被写体の位置ズレを検出する検出手段と、前記検出手段による検出結果に基づいて各画像の座標変換を行う座標変換手段と、前記座標変換後の各画像を合成して画像の露出を補正する補正手段とを備え、前記画像の合成時に、前記撮影された画像数よりも少ない画像を用いて、合成された画像の領域が最も大きくなるように画像の合成を行うことを特徴とする。
本発明に係る画像処理装置は、撮像素子により撮像された画像を補正する画像処理装置であって、前記撮像された複数の画像について、当該各画像中の主被写体の位置ズレを検出する検出手段と、前記検出手段による検出結果に基づいて各画像の座標変換を行う座標変換手段と、前記座標変換後の各画像を合成して画像の露出を補正する補正手段と、前記合成する画像に優先度を設ける設定手段とを備え、前記画像の合成は、優先度が最も高い画像に対して他の画像を合成するように行うことを特徴とする。
本発明に係る画像処理方法は、撮像素子により撮像された画像を補正する画像処理方法であって、前記撮像された複数の画像について、当該各画像中の主被写体の位置ズレを検出する検出工程と、前記検出工程による検出結果に基づいて各画像の座標変換を行う座標変換工程と、前記座標変換後の各画像を合成して画像の露出を補正する補正工程とを備え、前記画像の合成時に、露出が適正化される画像数よりも多く撮影された画像の中から位置ずれの少ない画像を選択して合成することを特徴とする。
本発明に係る画像処理方法は、撮像素子により撮像された画像を補正する画像処理方法であって、前記撮像された複数の画像について、当該各画像中の主被写体の位置ズレを検出する検出工程と、前記検出工程による検出結果に基づいて各画像の座標変換を行う座標変換工程と、前記座標変換後の各画像を合成して画像の露出を補正する補正工程とを備え、前記画像の合成時に、前記撮影された画像数よりも少ない画像を用いて、合成された画像の領域が最も大きくなるように画像の合成を行うことを特徴とする。
本発明に係る画像処理方法は、撮像素子により撮像された画像を補正する画像処理方法であって、前記撮像された複数の画像について、当該各画像中の主被写体の位置ズレを検出する検出工程と、前記検出工程による検出結果に基づいて各画像の座標変換を行う座標変換工程と、前記座標変換後の各画像を合成して画像の露出を補正する補正工程と、前記合成する画像に優先度を設ける設定工程とを備え、前記画像の合成は、優先度が最も高い画像に対して他の画像を合成するように行うことを特徴とする。
本発明によれば、合成後の画像のサイズ（画素数）をできるだけ大きくすることができる。
以下に、添付図面を参照して本発明を実施するための最良の形態について詳細に説明する。尚、以下に説明する実施形態は、本発明の一例であり、本発明は以下の実施形態に限定されるものではない。
［第１の実施形態］
図１は、本発明の第１の実施形態における撮像装置のブロック図である。撮像装置には、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯電話等があるが、本実施の形態における撮像装置はデジタルカメラとする。
図１において、レンズ１１から入射した光線はシャッタ１２を通り、絞り１３により光量制限された後に撮像部１５に結像する。
撮像部１５はＣＭＯＳイメージセンサやＣＣＤセンサなどの撮像素子を用いて画像を撮影する。
レンズ１１はピント調整のためにＡＦ駆動モータ１４により光軸１０上を移動して焦点調節を行う。
ＡＦ駆動モータ１４は焦点駆動部１９により駆動され、絞り１３は絞り駆動部１７によりその絞り径が定められ、シャッタ１２はシャッタ駆動部１８により開閉させられて撮像部１５に入射する光線を制御している。
そして、焦点駆動部１９、絞り駆動部１７、シャッタ駆動部１８は撮影制御部１１１により制御されている。
撮影制御部１１１は、画像処理部１１２に取り込まれた画像により測光を行うことで絞り１３の径とシャッタ１２の開き時間を定めており、又は、焦点駆動部１９との連携でピントの合う点を求めている。
Ａ／Ｄ変換部１１０は、撮像部１５で撮影された画像をデジタル化する。
画像処理部１１２は、Ａ／Ｄ変換部１１０からのデジタル画像を用いて所定の画像処理を行う。画像処理部１１２で処理された画像は、表示部１２１、記録部１２２及びズレ検出部１１３に供給される。
以上説明した動作は通常防振を必要としないような明るさの被写体を撮影する場合であり、撮影被写体が暗く、露光秒時が長くなるために手振れの恐れがある場合には撮影者はデジタルカメラの操作部により防振システムをオンにして以下の動作に切り替わる。
まず、撮影者が撮影準備のためにデジタルカメラのレリースボタンを半押しすることでピント合わせや測光を行う。
このときの測光値に基づいてシャッタの開き時間（露光時間）と絞り径を設定する訳であるが一般的に防振システムを使用するような撮影条件では被写体が暗いので絞りは全開、シャッタは長秒時露光になっている。
そこでこの露光時間を複数の短い露光時間に分割し、その分割数だけ撮影を繰り返すように設定する。
このように短い露光時間に分割すると１枚１枚の画像は露出不足になるがそれらの画像には手振れの影響が少ない。
そして、それら複数の画像を撮影終了後に合成して１枚の画像にすることで露出を改善する訳である。
しかし、それら複数の画像を撮影するときに１枚ごとの手振れはなくても連続撮影中の手振れにより各画像の構図のズレは微妙に変化しており、これらをこのまま合成すると合成された画像はぶれた画像になってしまう。
そこで、ズレ検出部１１３は画像の特徴点を定め、その特徴点の画面における位置座標を割り出す。
座標変換部１１４はズレ検出部１１３で求めた特徴点の変化にあわせて各画像の画像変換を行う。画像記憶部１１５は座標変換後の各画像を記憶する。ここで、撮影された画像は適正露出になる画像の枚数よりも多く撮影されている。
選択部１１６では撮影された枚数にしたがって、どのように選択するかを決定する。
図３は、被写体に対して３枚撮影し、適正露出は２枚の合成で行う例を示している。
画像は、説明をわかりやすくするために少し横長となっている。撮影されたエリア５０３，５０２，５０５は撮影した画像で、３枚は図示のように手振れのためずれている。選択部１１６では５０３と５０２、５０２と５０５、５０５と５０３といったように、全ての選択を行い次の画像合成部１１７に画像を渡す。画像合成部１１７ではこの３種類の画像を前述の合成方法にしたがって合成する。図４は、図３の撮影画像５０２，５０３の撮影エリアを重ねた画像である。この場合には画像は手振れしているために、被写体はぶれて写っている。ここで被写体の５０２のＡ部を５０３のＢ部に重ねることで被写体はぴったり重なる。
次に、合成画像のサイズ（画素数）を画像サイズ演算部１１８で計算し、比較部１２０で比較した後、最も大きなサイズ（画素数）となった画像が記録部１２２、表示部１２１に送られる。図３で基本となる画像を５０３とした場合、５０２は左右に距離Ｌ１だけずれて撮影されているために撮影されたエリア５０３と５０２の画像の重複部分の面積は斜線部５０１の面積を引いた面積となる。また、撮影されたエリア５０３と５０５の画像の重複部分の面積は距離Ｌ２だけ上下にずれているために一点鎖線部５０４を引いたものとなる。よって、Ｌ１とＬ２が略同じ距離であれば、上下にずれた画像５０５と重複させるよりも、左右にずれた画像５０２との重複部分を選択したほうが、より大きな画像となる。５０１と５０４では同じ量だけ画像がずれているにもかかわらず、面積はかなり違っている。要するに、画像のズレ量の大きさだけでは重複させる画像は決まらない。
デジタル画像の場合には１枚の露出不足の写真でもゲインアップすることで露出の補正が可能であるがゲインを高くするとノイズも多くなり見苦しい画像になってしまう。
しかし本方式のように画像を合成することで全体のゲインをアップさせる場合には各画像のノイズが平均化されるためにＳ／Ｎ比の大きい画像を得ることができ、結果的にノイズを抑えて露出を適正化することができる。
別の捉え方をすれば、例えばノイズを許容して撮像部１５を高感度にして複数枚撮影し、それらを加算平均することで画像に含まれるランダムノイズを減少させているともいえる。
合成された画像は表示部１２１に表示するとともに記録部１２２に記録される。
図２は、上述した動作をまとめたフローチャートであり、このフローチャートは防振スイッチをオンさせたときにスタートする（ステップＳ１００１）。
ステップＳ１００２では撮影者がレリースボタンを半押しするまで待機し、レリースボタンが半押しされてＳＷ１がオンされるとステップＳ１００３に進む。
ステップＳ１００３では撮像部１５が被写体を撮像し、画像処理部１１２でその画像のコントラストを検出しながら撮影制御部１１１によりＡＦ駆動モータ１４を駆動してレンズ１１を繰り出し、最もコントラストが高かった位置でレンズ１１の繰り出しを停止することでピント合わせを行う。また、同時に撮像部１５の出力から被写体の明るさを求める。
ステップＳ１００４ではステップＳ１００３で求めた被写体の明るさから撮影する枚数を求める。
例えば、被写体の明るさを測光し、それを適正に露光するためには絞り１３は全開（例えばｆ２．８）、シャッタ１２は露光時間１／８が必要だとする。
このとき、撮影焦点距離が３５ｍｍフィルム換算で３０ｍｍであるときは１／８の撮影では手振れの恐れがあるので手振れの恐れがない露光時間１／３２に設定し、４回撮影が適正であるので、これに追加の枚数を加えた枚数を行うように設定する。
また、撮影焦点距離が３００ｍｍであるときには手振れの恐れのない露光時間１／３２０に設定し、４０回プラス追加枚数撮影を行うように設定する。
ステップＳ１００５ではカメラのファインダや液晶表示に撮影枚数を表示し撮影者に知らせる。
ステップＳ１００６ではレリースボタンを押し切り撮影の指示があるまで待機する。
尚、この待機ステップ中にレリースボタンが半押しされてＳＷ１がオフにされたときには、フローチャートはスタートに戻る。
ステップＳ１００７ではまず１枚目の撮影を開始する。
ステップＳ１００８では１枚目の画像に対してのズレ検出部１１３が画像の周辺領域の中から特徴的な像を抽出し、その像の座標を求める。
ステップＳ１００９では座標変換を行うが、最初の１枚の画像のみ座標の変換は行わず、そのままステップＳ１０１０に進む。
ステップＳ１０１０では画像を画像記憶部１１５に記憶する。
ステップＳ１０１１では所定の枚数の撮影画像が撮影され保存されるまでステップＳ１００７からの処理を繰り返し行う。
ステップＳ１０１２では合成する画像を選択する。図１の選択部１１６では５０３と５０２，５０２と５０５，５０５と５０３といったように、全ての選択を行う処理を順次行う。
ステップＳ１０１３では選択された画像の合成をそれぞれ行い、その結果を記憶する（ステップＳ１０１４）。ステップＳ１０１５では、ステップＳ１０１２からの処理を順次行い、全画像について処理が完了するとステップＳ１０１６でどの画像を選ぶかの決定を行う。ここでは、合成して作られた画像の大きさを比較して、最も大きい画像を選択する。次に、その画像をステップＳ１０１７で拡散補間をして極力もとの大きさの画像とする。補間された画像は次のステップＳ１０１８でカメラの背面の液晶表示器等に表示され、ステップＳ１０１９で半導体メモリ等の着脱可能な記録媒体等に記録される。その後、ステップＳ１０２０でスタートに戻る。
［第２の実施形態］
図４は、本発明の第２の実施形態における撮像装置のブロック図である。
図４において、レンズ１１から入射した光線はシャッタ１２を通り、絞り１３により光量制限された後に撮像部１５に結像する。
撮像部１５はＣＭＯＳイメージセンサやＣＣＤセンサなどの撮像素子を用いて画像を撮影する。
レンズ１１は、ピント調整のためにＡＦ駆動モータ１４により光軸１０上を移動して焦点調節を行う。
ＡＦ駆動モータ１４は焦点駆動部１９により駆動させられ、絞り１３は絞り駆動部１７によりその絞り径が定められ、シャッタ１２はシャッタ駆動部１８により開閉させられて撮像部１５に入射する光線を制御している。
そして、焦点駆動部１９、絞り駆動部１７、シャッタ駆動部１８は撮影制御部１１１により制御される。
撮影制御部１１１は、画像処理部２１１に取り込まれた画像により測光を行うことで、絞り１３の径とシャッタ１２の開き時間を定めており、又は、焦点駆動部１９との連携でピントの合う点を求めている。
Ａ／Ｄ変換部１１０は、撮像部１５で撮影された画像をデジタル化する。
画像処理部２１１は、Ａ／Ｄ変換部１１０からのデジタル画像を用いて所定の画像処理を行う。画像処理部２１１で処理された画像は、表示部２１２、記録部２１３及び画像選択部２１４に供給される。
以上説明した動作は通常防振を必要としないような明るさの被写体を撮影する場合であり、撮影被写体が暗く、露光秒時が長くなるために手振れの恐れがある場合には撮影者はデジタルカメラの操作部により防振システムをオンにして以下の動作に切り替わる。
まず、撮影者が撮影準備のためにデジタルカメラのレリースボタンを半押しすることでピント合わせや測光を行う。
このときの測光値に基づいてシャッタの開き時間（露光時間）と絞り径を設定する訳であるが一般的に防振システムを使用するような撮影条件では被写体が暗いので絞りは全開、シャッタは長秒時露光になっている。
そこでこの露光時間を複数の短い露光時間に分割し、その分割数だけ撮影を繰り返すように設定する。
このように短い露光時間に分割すると１枚１枚の画像は露出不足になるがそれらの画像には手振れの影響が少ない。
そしてそれら複数の画像を撮影終了後に合成して１枚の画像にすることで露出を改善する訳である。
しかし、それら複数の画像を撮影するときに１枚ごとの手振れはなくても連続撮影中の手振れにより各画像の構図のズレは微妙に変化しており、これらをこのまま合成すると合成された画像はぶれた画像になってしまう。
そこで、画像選択部２１４は、撮影された画像の枚数にしたがって、どのように選択するかを決定する。
図７は、被写体に対して４枚撮影し、適正露出は３枚の合成で行う例を示している。
撮影画像は６０１〜６０４で、４枚の画角を重ね合わせると図９のように手振れしている画像となる。
画像選択部２１４でまず６０１を選択することで６０１が基準画像となり、６０１の画角の表示範囲が最終的な合成画像の範囲となる。次に、６０２，６０４を選択する。これで合成部分が適正露出になる３枚の指定が終る。これは、本実施の形態のデジタルカメラの背面に装着されている液晶表示器等に表示されている図７の画像を見ながら操作部で入力する。
次に、ズレ検出部２１５は画像信号の特徴点を定め、その特徴点の画面における位置座標を割り出す。座標変換部２１６はズレ検出部２１５で求めた特徴点の変化にあわせて各画像の画像変換を行う。
画像記憶部２１７は座標変換後の各画像を記憶する。
次に、選択された画像を画像合成部２１８に画像を渡す。画像合成部２１８ではこの３種類の画像を前述の合成方法にしたがって合成する。図８は、被写体のブレが無いように合成した結果である。
図８で網点部６５５は合成された３枚の重複部分である。ここでは３枚合成されているので露出は適正となる。斜線部６５７は３枚の画像のうち６０４の情報が無い部分である。ここの画像が無いと、一番右の人の左腕がかけてしまうことになる。この部分は１枚画像が無い分露出がアンダーになるために、その分露出補正をかけてオーバーに処理する。格子状の線の部分６５６は画像６０２の情報が無い。ここでも前述と同じように１枚画像が足りない分を露出補正する。次に、ダイヤ柄部６５８は６０４，６０２の画像情報が無い。よって、ここは２枚分の露出補正が必要となる。露出補正を行う分画質は多少悪くなるが、必要画像の欠けが無くなる。また露出補正をする部分も、ほとんど画像の端の部分であるので、実用上は問題の無い画像となる。露出補正部２１９で補正された画像は表示部１２１に表示されると共に、記録部１２２に記録される。
図６は、上述した動作をまとめたフローチャートであり、このフローチャートは防振スイッチをオンさせたときにスタートする（ステップＳ２０００）。
ステップＳ２００１では撮影者がレリースボタンを半押しするまで待機し、レリースボタンが半押しされてＳＷ１がオンされるとステップＳ２００２に進む。
ステップＳ２００２では撮像部１５が被写体を撮像し、画像処理部２１１でその画像のコントラストを検出しながら撮影制御部１１１によりＡＦ駆動モータ１４を駆動してレンズ１１を繰り出し、最もコントラストが高かった位置でレンズ１１の繰り出しを停止することでピント合わせを行う。また、同時に撮像部１５の出力から被写体の明るさを求める。
ステップＳ２００３ではステップＳ２００２で求めた被写体の明るさから撮影する枚数を求める。
例えば、被写体の明るさを測光し、それを適正に露光するためには絞り１３は全開（例えばｆ２．８）、シャッタ１２は露光時間１／８が必要だとする。
このとき撮影焦点距離が３５ｍｍフィルム換算で３０ｍｍであるときは１／８の撮影では手振れの恐れがあるので手振れの恐れがない露光時間１／３２に設定し、４回撮影が適正であるので、これに追加の枚数を加えた枚数を行うように設定する。
また、撮影焦点距離が３００ｍｍであるときには手振れの恐れのない露光時間１／３２０に設定し、４０回プラス追加枚数撮影を行うように設定する。
ステップＳ２００４ではカメラのファインダや液晶表示に撮影枚数を表示し撮影者に知らせる。
ステップＳ２００５ではレリースボタンを押し切り撮影の指示があるまで待機する。
尚、この待機ステップ中にレリースボタンが半押しされてＳＷ１がオフにされたときには、フローチャートはスタートに戻る。
ステップＳ２００６ではまず１枚目の撮影を開始する。
ステップＳ２００７ではステップＳ２００６で撮影された画像を保存する。
ステップＳ２００８では所定枚数（ステップＳ２００３で決定された枚数）の撮影が完了するまでステップＳ２００６〜Ｓ２００８までの処理を繰り返す。そして、全ての撮影が完了するとステップＳ２００９に進む。
ステップＳ２００９ではステップＳ２００７で保存された画像の全てを表示する。
ステップＳ２０１０では表示された画像の中から合成する画像の選択を行う。ここでは、基本となる画像をまず最初に選択する。この画像のサイズ（画素数）が表示及び記録されるサイズ（画素数）となる。
次に、ステップＳ２０１１では特徴点の抽出と座標の計算を行う。
ステップＳ２０１２では座標変換を行うが、最初の１枚の画像のみ座標の変換は行わずそのままステップ２０１３に進む。
ステップＳ２０１３では選択枚数が全て計算されるまでステップＳ２０１０からの処理を繰り返す。
ステップＳ２０１０では次の画像が選択され、その画像の対応する特徴点の抽出と座標変換を行い最初の画像に合成される。全ての画像はステップＳ２０１４で合成される。次に前述のように合成された枚数が少ない部分の露出補正をステップＳ２０１５で行う。
合成された画像は次のステップＳ２０１６でカメラの背面の液晶表示器等に表示され、ステップＳ２０１７で半導体メモリ等の着脱可能な記録媒体に記録される。ステップＳ２０１８でスタートに戻る。
本実施形態では画像を合成するのに、所定枚数（適正露出となる枚数）よりも多くの枚数から優先順位をつけて選択するようにしたが、優先順位をつけての選択で、最優先の画像に後の画像を合成していく方法は適正露出となる所定の枚数のみの撮影での合成画像作成の構成でも成り立つことは言うまでもない。
上記実施形態によれば、手振れの生じないような短い露光時間で撮影を複数回繰り返し、撮影された複数の画像を合成することで露出不足を補完できることに着目し、更に合成前に各画像ごとに座標変換を行い手振れにより生ずる各画像ごとの構図の違いを補正することで合成画像に生ずるブレをなくすことができる。
なお、本実施形態では、画像の合成を撮像装置内部で行って記録媒体に記録し、カメラの背面の液晶表示器等に表示するような構成としたが、撮像装置では画像のみを撮影し、パーソナルコンピュータ等の画像処理装置に複数枚の撮影画像を取り込んでから、上記のような合成処理を施す構成も本発明に含まれることは言うまでもない。つまり、本発明は、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯電話等の撮像装置に限定されるものではなく、パーソナルコンピュータ等の画像処理装置にも適用することができる。
［他の実施形態］
前述した実施形態は、前述した実施形態の機能を実現するためのプログラムコードからなるソフトウェアを記録したコンピュータ読み取り可能な記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置内のコンピュータ（またはＣＰＵやＭＰＵ）がその記録媒体に格納されたプログラムコードを読み出し実行することによって達成することができる。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
本実施形態を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
尚、本実施形態は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用してもよい。
本発明の第１の実施形態における撮像装置のブロック図である。 本発明の第１の実施形態における画像処理を示すフローチャートである。 本発明の第１の実施形態における画像処理により撮影画像を合成した様子を示す図である。 本発明の第１の実施形態における画像処理により手振れ画像を合成した様子を示す図である。 本発明の第２の実施形態における撮像装置のブロック図である。 本発明の第２の実施形態における画像処理を示すフローチャートである。 本発明の第２の実施形態における画像処理により撮影画像を合成した様子を示す図である。 本発明の第２の実施形態における画像処理により撮影画像を合成した様子を示す図である。 本発明の第２の実施形態の画像処理により手振れ画像を合成した様子を示す図である。
符号の説明
１０ 光軸
１１ レンズ
１２ シャッタ
１３ 絞り
１４ ＡＦ駆動モータ
１５ 撮像部
１６ 駆動部
１７ 絞り駆動部
１８ シャッタ駆動部
１９ 焦点駆動部
１１０ Ａ／Ｄ変換部
１１１ 撮影制御部
１１２ 画像処理部
１１３ ズレ検出部
１１４ 座標変換部
１１５ 画像記憶部
１１６ 選択部
１１７ 画像合成部
１１８ 画像サイズ演算部
１１９ 記憶部
１２０ 比較部
１２１ 表示部
１２２ 記録部

Claims (12)

  1. 撮像素子により撮像された画像を補正する画像処理装置であって、
    前記撮像された複数の画像について、当該各画像中の主被写体の位置ズレを検出する検出手段と、
    前記検出手段による検出結果に基づいて各画像の座標変換を行う座標変換手段と、
    前記座標変換後の各画像を合成して画像の露出を補正する補正手段とを備え、
    前記画像の合成時に、露出が適正化される画像数よりも多く撮影された画像の中から位置ずれの少ない画像を選択して合成することを特徴とする画像処理装置。
  2. 撮像素子により撮像された画像を補正する画像処理装置であって、
    前記撮像された複数の画像について、当該各画像中の主被写体の位置ズレを検出する検出手段と、
    前記検出手段による検出結果に基づいて各画像の座標変換を行う座標変換手段と、
    前記座標変換後の各画像を合成して画像の露出を補正する補正手段とを備え、
    前記画像の合成時に、前記撮影された画像数よりも少ない画像を用いて、合成された画像の領域が最も大きくなるように画像の合成を行うことを特徴とする画像処理装置。
  3. 撮像素子により撮像された画像を補正する画像処理装置であって、
    前記撮像された複数の画像について、当該各画像中の主被写体の位置ズレを検出する検出手段と、
    前記検出手段による検出結果に基づいて各画像の座標変換を行う座標変換手段と、
    前記座標変換後の各画像を合成して画像の露出を補正する補正手段と、
    前記合成する画像に優先度を設ける設定手段とを備え、
    前記画像の合成は、優先度が最も高い画像に対して他の画像を合成するように行うことを特徴とする画像処理装置。
  4. 前記補正手段は、前記優先度が最も高い画像の画角に対して他の画像が重複しない部分の露出を補正することを特徴とする請求項３に記載の画像処理装置。
  5. 前記優先度が最も高い画像は１枚目に撮影された画像であることを特徴とする請求項３に記載の画像処理装置。
  6. 撮像素子により被写体の画像を撮像する撮像手段を更に備えることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
  7. 前記画像処理装置は、撮像素子により被写体の画像を撮像する撮像装置から取り込んだ画像を補正することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
  8. 撮像素子により撮像された画像を補正する画像処理方法であって、
    前記撮像された複数の画像について、当該各画像中の主被写体の位置ズレを検出する検出工程と、
    前記検出工程による検出結果に基づいて各画像の座標変換を行う座標変換工程と、
    前記座標変換後の各画像を合成して画像の露出を補正する補正工程とを備え、
    前記画像の合成時に、露出が適正化される画像数よりも多く撮影された画像の中から位置ずれの少ない画像を選択して合成することを特徴とする画像処理方法。
  9. 撮像素子により撮像された画像を補正する画像処理方法であって、
    前記撮像された複数の画像について、当該各画像中の主被写体の位置ズレを検出する検出工程と、
    前記検出工程による検出結果に基づいて各画像の座標変換を行う座標変換工程と、
    前記座標変換後の各画像を合成して画像の露出を補正する補正工程とを備え、
    前記画像の合成時に、前記撮影された画像数よりも少ない画像を用いて、合成された画像の領域が最も大きくなるように画像の合成を行うことを特徴とする画像処理方法。
  10. 撮像素子により撮像された画像を補正する画像処理方法であって、
    前記撮像された複数の画像について、当該各画像中の主被写体の位置ズレを検出する検出工程と、
    前記検出工程による検出結果に基づいて各画像の座標変換を行う座標変換工程と、
    前記座標変換後の各画像を合成して画像の露出を補正する補正工程と、
    前記合成する画像に優先度を設ける設定工程とを備え、
    前記画像の合成は、優先度が最も高い画像に対して他の画像を合成するように行うことを特徴とする画像処理方法。
  11. 請求項８乃至１０のいずれか１項に記載の画像処理方法をコンピュータに実行させるためのプログラム。
  12. 請求項１１に記載のプログラムを記憶したことを特徴とするコンピュータ可読記憶媒体。
JP2004331111A 2004-11-15 2004-11-15 画像処理装置及び画像処理方法 Withdrawn JP2006140971A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004331111A JP2006140971A (ja) 2004-11-15 2004-11-15 画像処理装置及び画像処理方法
CNA2005101153293A CN1777238A (zh) 2004-11-15 2005-11-14 图像处理装置和图像处理方法
US11/274,496 US7463284B2 (en) 2004-11-15 2005-11-15 Image processing apparatus and image processing method for producing an image from a plurality of images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004331111A JP2006140971A (ja) 2004-11-15 2004-11-15 画像処理装置及び画像処理方法

Publications (1)

Publication Number Publication Date
JP2006140971A true JP2006140971A (ja) 2006-06-01

Family

ID=36566970

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004331111A Withdrawn JP2006140971A (ja) 2004-11-15 2004-11-15 画像処理装置及び画像処理方法

Country Status (3)

Country Link
US (1) US7463284B2 (ja)
JP (1) JP2006140971A (ja)
CN (1) CN1777238A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102625046A (zh) * 2012-02-29 2012-08-01 深圳芯智汇科技有限公司 照相防抖装置及方法
JP2012235255A (ja) * 2011-04-28 2012-11-29 Casio Comput Co Ltd 画像処理装置及びプログラム

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4699995B2 (ja) * 2004-12-16 2011-06-15 パナソニック株式会社 複眼撮像装置及び撮像方法
JP4912694B2 (ja) * 2006-02-23 2012-04-11 オリンパスイメージング株式会社 電子的ぶれ補正装置及び電子的ぶれ補正方法
JP4825093B2 (ja) * 2006-09-20 2011-11-30 富士通株式会社 手ぶれ補正機能付き撮像装置、手ぶれ補正方法、および、手ぶれ補正処理プログラム
US7714892B2 (en) * 2006-11-08 2010-05-11 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Systems, devices and methods for digital camera image stabilization
US7924316B2 (en) * 2007-03-14 2011-04-12 Aptina Imaging Corporation Image feature identification and motion compensation apparatus, systems, and methods
JP4497211B2 (ja) * 2008-02-19 2010-07-07 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
JP5434338B2 (ja) * 2009-07-29 2014-03-05 ソニー株式会社 撮像制御装置、撮像方法、プログラム
JP2011119930A (ja) * 2009-12-02 2011-06-16 Seiko Epson Corp 撮像装置、撮像方法および撮像プログラム
EP2387229B1 (en) * 2010-05-14 2016-04-06 Casio Computer Co., Ltd. Image capturing apparatus and camera shake correction method, and computer-readable medium
JP5569357B2 (ja) 2010-11-19 2014-08-13 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
TWI445396B (zh) 2010-11-22 2014-07-11 Altek Corp 電子裝置、影像擷取裝置及其方法
CN102480590B (zh) * 2010-11-22 2015-02-18 华晶科技股份有限公司 一种电子装置、影像拍摄装置及其方法
KR101843450B1 (ko) * 2011-08-23 2018-03-29 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
CN102496353B (zh) * 2011-11-30 2014-04-30 深圳万兴信息科技股份有限公司 一种去除画面抖动的方法及图像显示控件
JP5762587B2 (ja) * 2013-04-15 2015-08-12 キヤノン株式会社 画像処理装置および画像処理方法
CN103561267B (zh) * 2013-09-10 2016-08-31 罗天明 基于运动信息与深度信息的3d视频编码传输方法
CN104796595B (zh) * 2014-01-17 2018-04-27 联想(北京)有限公司 图像处理方法和电子设备
JP2016076869A (ja) * 2014-10-08 2016-05-12 オリンパス株式会社 撮像装置、撮影方法、およびプログラム
CN105573612A (zh) * 2015-05-27 2016-05-11 宇龙计算机通信科技(深圳)有限公司 一种在拍摄时图像的处理方法及移动终端
CN107079085B (zh) * 2015-11-05 2019-10-25 华为技术有限公司 一种防抖拍照方法、装置及照相设备
CN114449151B (zh) * 2020-10-30 2023-06-02 华为技术有限公司 一种图像处理方法及相关装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09261526A (ja) 1996-03-19 1997-10-03 Olympus Optical Co Ltd 撮像装置
JPH11187303A (ja) * 1997-12-22 1999-07-09 Canon Inc 画像処理装置および方法並びに記憶媒体
JP4473363B2 (ja) 1999-05-26 2010-06-02 富士フイルム株式会社 手振れ補正装置およびその補正方法
KR100438841B1 (ko) * 2002-04-23 2004-07-05 삼성전자주식회사 이용자 검증 및 데이터 베이스 자동 갱신 방법, 및 이를이용한 얼굴 인식 시스템
US7782362B2 (en) 2003-06-17 2010-08-24 Panasonic Corporation Image pickup device for changing a resolution of frames and generating a static image based on information indicating the frames
CN100481887C (zh) 2003-06-17 2009-04-22 松下电器产业株式会社 信息产生装置、图像拾取装置以及图像拾取方法
JP4015646B2 (ja) 2003-06-17 2007-11-28 松下電器産業株式会社 情報生成装置、撮影装置および撮影方法
JP4164424B2 (ja) * 2003-08-29 2008-10-15 キヤノン株式会社 撮像装置及び方法
US8208017B2 (en) 2003-12-26 2012-06-26 Panasonic Corporation Imaging device, product package, and semiconductor integrated circuit

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012235255A (ja) * 2011-04-28 2012-11-29 Casio Comput Co Ltd 画像処理装置及びプログラム
CN102625046A (zh) * 2012-02-29 2012-08-01 深圳芯智汇科技有限公司 照相防抖装置及方法

Also Published As

Publication number Publication date
US20060114331A1 (en) 2006-06-01
US7463284B2 (en) 2008-12-09
CN1777238A (zh) 2006-05-24

Similar Documents

Publication Publication Date Title
JP2006140971A (ja) 画像処理装置及び画像処理方法
JP4378272B2 (ja) 撮影装置
JP4136793B2 (ja) 撮像装置および撮像装置の制御方法
JP4794963B2 (ja) 撮像装置および撮像プログラム
US8305465B2 (en) Image pick-up apparatus with a shake reducing function
JP6685843B2 (ja) 撮像装置
JP4533119B2 (ja) 撮像装置及び撮像装置の画像表示方法
JP4418632B2 (ja) 撮影装置、合成画像生成方法およびプログラム
JP2006050457A (ja) 撮像装置
JP2004212556A (ja) 撮像装置
JP2004221992A (ja) 撮影装置およびプログラム
JP5326758B2 (ja) カメラ、画像処理装置、および画像処理プログラム
JP4323969B2 (ja) 撮影装置
JP4533252B2 (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
JPWO2020044763A1 (ja) 撮像素子、撮像装置、画像データ処理方法、及びプログラム
JP2009086490A (ja) 撮像装置
JP2019029904A (ja) 撮像装置、制御方法、及びプログラム
JP3840121B2 (ja) デジタルカメラ
JP2006050139A (ja) 光学機器
JP2009111773A (ja) 画像処理装置およびその方法
JP2007013270A (ja) 撮像装置
JP2013074573A (ja) 画像処理装置、画像処理方法及びプログラム
JP4352236B2 (ja) 撮影装置及びそのプログラム
JP5613145B2 (ja) 撮影装置およびプログラム
JP2010239514A (ja) 撮像システム及び画像処理方法並びにプログラム

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20080205