JP2000503148A - 写真のための被写界の深さを増大するための方法及び手段 - Google Patents

写真のための被写界の深さを増大するための方法及び手段

Info

Publication number
JP2000503148A
JP2000503148A JP9525142A JP52514297A JP2000503148A JP 2000503148 A JP2000503148 A JP 2000503148A JP 9525142 A JP9525142 A JP 9525142A JP 52514297 A JP52514297 A JP 52514297A JP 2000503148 A JP2000503148 A JP 2000503148A
Authority
JP
Japan
Prior art keywords
image
images
focus
different
focused
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9525142A
Other languages
English (en)
Other versions
JP3907008B2 (ja
JP2000503148A5 (ja
Inventor
オルソン,キエル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JP2000503148A publication Critical patent/JP2000503148A/ja
Publication of JP2000503148A5 publication Critical patent/JP2000503148A5/ja
Application granted granted Critical
Publication of JP3907008B2 publication Critical patent/JP3907008B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/21Indexing scheme for image data processing or generation, in general involving computational photography

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

(57)【要約】 本発明は写真の焦点の増大した深さを達成するための方法及び手段からなる。その方法は伝統的な“チルトアンドシフト”技術の使用による被写界の深さの改良及び他の全く普通のカメラによる被写界の良好な深さを得るための増大した可能性を創造する。その方法は画像がカメラ中のセンサーから電気的に作られマルチ写真技術に基づく電子カメラを主に意図する。幾つかの写真は各写真のシーン題材の異なる集束部分でショットされ、基本画像は異なる画像からの寄与によって統合される。各画像のためのレンズ/センサー設定に基づく計算された画像移行は画像の補正のための開始ポイント及び各画像寄与の選択を構成する。

Description

【発明の詳細な説明】 写真のための被写界の深さを増大するための方法及び手段 発明の分野 本発明は写真のため焦点(又は被写界)の深さを増大するための方法及びその 方法のための手段を含む。前記方法は伝統的なT/S技術、“チルトアンドシフ ト(Tilt and Shift)”の使用による焦点の深さの改良、及び他の極く普通のカ メラで改良された被写界の深さに対する増大した可能性を構成する。前記方法は 画像が写真フィルム上の代わりにカメラ中のセンサーから作られるデジタルカメ ラを目指したものである。しかしながら、本走査技術の使用によってフィルム写 真を電子画像に移行することは容易である。前記方法はそういう場合にも使用す ることができる。以下において前記方法は主に像がカメラにおいて直接電気的に 作られる場合に対して与えられる。 T/Sカメラではレンズ及び“画像面(image plane )”の両方又は一つが移 動可能である。画像面はフィルム又はセンサーが位置される平面である。シーン における平面は“焦点面(focused plane )”に鋭く焦点を合わされ、それは画 像面の前に、後に又は画像面を切断して設けられてもよい。画像面と焦点面の間 の距離に比例して、ブレが画像において大きくなる。T/Sカメラでは写真撮影 者は画像面に位置される集束スクリーン上に画像を見ることが多い。彼は集束ス クリーン上の集束画像に対してカメラ設定を制御する。次いで彼はこの位置にフ ィルム/センサーを置き、写真を撮る。 写真撮影者は多くの様々な作業方法を使用する。その仕事は創造的であること が多く、芸術的な場合もある。実際には写真撮影者は題材に向けられた位置にカ メラを置き、所望の遠近法(prespective)(通常垂直)で画像面を配置する。我 々は垂直遠近法で世界を見る習慣を有するからである。例えば視野内に教会塔を 置くために普通のカメラを上方にチルトすると、カメラはチルトしたり又は落下 したりする塔を表わすチルティング遠近法(tilting perspective )で塔の画像 を生成するだろう。平行垂直線は画像中ではもはや平行でない。 次いで写真撮影者は画像のための題材に焦点を合わせ、位置決定する。ここで 問題が生じるが、それは本発明によって解決できる。焦点しぼりは光強度の制御 のために使用されるだけでなく、例えば製品写真の被写界の深さを増大するため にも使用される。露出を増大することによって、より小さなしぼりを補償するこ とができる。しかしながら、長時間の露出は鮮鋭性を阻害する機械的障害に対す る危険を必ず伴う。 T/Sカメラは製品写真のために使用され、被写界の深さを普通カメラが提供 しうるものから増大することを望むときに使用される。大きな距離範囲を有する 製品の接近像は焦点面をチルトし、製品画像の前及び後部分を切断することによ って前及び後部分の両方に焦点を与えられる。チルティングは二つの方法で行わ れる。一つはチルトする画像面にフィルム又はセンサーを位置させることによっ て行われる。他は代わりにレンズをチルトし、焦点面を所望の角度に変えること によって行われる。通常垂直遠近法を得る垂直画像面が望まれ、かくして焦点面 が所望の画像面において垂直に位置されるまでレンズをチルトする方法が提供さ れる。 題材は一般に2次元の面において広げられることはなく、変動する範囲を有す る3次元体であるので、焦点しぼりの減少もレンズからの屈折角を減少するため に使用されている。従って、画像面は大きなブレを生じることなく、実際の焦点 から遠くすることができる。しかしながら、題材又は光条件がその可能性を小さ くしてしまう。 発明の機能 本発明はしぼり減少技術を含む様々なカメラ設定を使用しうる、マルチショッ トの使用による静止写真のための被写界の深さ及び鮮鋭性を達成する方法に関す る。前記方法はショット後のデジタル画像移行の可能性を利用し、関連する工程 は様々な範囲にわたって自動的な方法を使用して行われてもよい。オペレーター はコンピュータースクリーン上の対話においても工程の結果をマニュアルで改良 及び制御することができる。 前記方法は以下のものを含む: 1. カメラセンサーは好適な焦点面に変わり、写真がショットされる。そのと き遠近法は画像変形によって所望の位置に変えることができる。これを行うため の一つの方法は所望の遠近法に対して変化するセンサーを感知することであり、 データを計算ユニットに供給し、そこで画像がどの程度変わり、変形を作るかを 計算する。例えばもし画像が所望の垂直面に関して角度uチルトされるなら、画 像面はその前縁の周囲でuだけ回転することができる。 次いで軸から距離のある画像ポイントは軸から距離a*cosuに調整される だろう。それらのポイントは距離a*sinuでレンズに対してより近くに移動 される。それは画像をレンズに対してより近い対応する距離(即ち、(a*si nu+b)に関連したレンズに対する距離b)移動するとき同じスケールの減少 を意味する。これは放射線を光学的中心を通って各画像ポイントに引くことによ って容易に説明される。従って画像を軸の周囲に回転すると、画像上のポイント は簡単な幾何学的法則を通して新しい画像面に投射されるだろう。 回転軸の選択を別の軸の周囲の回転と横方向の移動として移行することができ る。レンズからの距離を変化する画素の横方向の移動は画素のスケールの比例的 変化を生じる。従って普通の焦点合わせはサイズ変化を生じる。レンズ(光学的 中心)からの相対的な画像距離についての知識はサイズスケールのために使用さ れるだろう。 未集束画像部分があるとき、未集束領域は一般的な画像拡大に比例して拡大さ れるだろう。未集束縁はもし特別な手段を行わないならより広くなるだろう。か かる手段は本発明に含まれ、拡大についてのセクションにさらに与えられるだろ う。 画像の投射は正確な画像遠近法に変える際の第2ステップとして行われてもよ い。オペレーターは所望の軸を導入し、回転することによって全体の工程を微調 整又は制御してもよい。彼は回転を停止したり又は正しい位置を微調整する回転 方向を対話的に変更することができるとき、一定スピードの回転を規定し、所望 の位置に到達するまで回転する画像を検討することもできる。 計算は基本画像を使用して行うことができ、それは増大した数の画素にマップ される。計算及び画像処理によって不要な解像度の損失を避けることができる。 写真における所望の焦点面の制御設定はそれらのポイントに連続的に焦点を設 定する写真撮影者によって単純化及び自動化することができる。それを通して彼 は焦点面を求める。既知の座標及び焦点設定によって焦点面を計算することがで き、レンズ/センサーの回転も同様である。カメラ光学素子を含む簡単な計算プ ログラムをポケット計算器に記憶することができ、それは回転制御のためのスケ ール区分として結果を与えることができる。PC又は他のコンピューターによっ てオペレーターはコンピュータースクリーン上の画像で作業することができる。 コンピューター中のプログラムは焦点面の計算及び自動焦点測定を制御し、最終 的にレンズ(センサー)の回転及び移動を正しい位置に制御することができる。 従って、プロセスはしばしば望まれる製造プロセスとして行うことができる。 2. 複数の“静止画像(stills)”の使用による被写界の深さの創造。 製品写真においてシーンは静止していることが多い。幾つかの写真はショット 再現可能である。距離において相対的に大きな範囲を有する製品は異なる写真の 異なる部分の焦点設定で同じ位置から撮影することができる。異なる写真上で、 異なる部分がそれぞれ焦点が合っていたり焦点が合っていなかったりする。それ らは異なるサイズも有する。 2.1 画素の単純な追加。 製品のシャープな画像は各画像から焦点を合わせた異なる画素を一緒に加える ことによって作ることができる。その方法はまず上の1に従って画像スケールを 同じサイズに変えることによって実現される。多くの状況においてオペレーター はコンピュータースクリーン上で画素選択を行い、どの画素から最終画像に移行 するかを決定する。 その方法は本発明の方法に従って自動的であることもできる。画像副領域(su barea )のための焦点は画像間で比較され、それぞれの焦点の合った画素が選択 される。隣接する画素間の分割境界が選択され、その場所では未集束は異なる画 像間でほぼ同じである。分割界面のいかなる小さな不足も各画像間のその領域を 平均化することによって取扱うことができる。 穀物ボックスの如き単純な製品形状の写真を遠近法で撮ってもよく、それは角 にカメラに対する最小距離を与え、他の部分に連続的により遠い距離を与える。 連続的に変化した焦点を有する一連の写真は画素追加のために前記焦点を合わさ れた画素を生成することができる。 高い前位置から傾斜して写真を撮られた穀物ボックスは三つの表面、即ち長い 側、短い側及び上側を示す。センサー/レンズをチルトすることによって焦点面 は三つのしぼり表面のそれぞれに沿って位置されてもよい。三つの画像は計算に よって選択された基本画像に変形される。もしセンサーが回転されるなら、その 変形は遠近法の再変更も含む。 計算後、製品画像は三つのシャープな画素から組合せることができる。実際に は小さな偏差は三つの異なる写真間で位置及びサイズにおいて生じる。障害は位 置及び制御を攪乱する。従って、シャープな境界及び縁が異なる画像について認 識され、共通の角及び境界が異なる画像のためのスケール及び位置の微調整補正 を通して一緒に整合される。 基本画像は正しい遠近感、例えば製品の前又は製品の他の重要な部分のために 焦点面を与えるレンズ設定及び垂直なセンサーを有する画像であってもよい。こ の基本“画像”はセンサーレンズ設定によって規定することができ、もし写真が 基本画像への異なる写真の整合を単純化するなら、写真を撮られなくても“基本 画像”を規定することができる。 追加の像がシャープな穀物ボックスの統合のために望まれるとき、余分の焦点 面が前記表面の調整を助けるために最外左及び右縁に沿って及び上部表面の対角 線を通して位置されてもよい。またボックスが載っているテーブル面が重要であ るとき、焦点面は追加の写真のためにこの面に沿って位置されてもよい。 最終画像の統合はこの例においてはそれぞれのシャープな画素が容易に確認さ れ未集束領域が他の画像からのシャープな領域に置換されるので、相対的に簡単 である。 サイズのスケール及び遠近法の再計算はセンサー/レンズのための既知の設定 の助けで規定された基本画像フォーマットになされる。その後、他の画像位置に 対する画像位置を見出すために設定の知識なしで分析を実施できるが、それは幾 つかの処理を必要とするかもしれない。 それぞれのシャープな画素の統合における補正は通常の画像部分、例えば縁及 び角を使用して実施される。しばしば整合を単純化する画像及びテキストディテ ールが存在する。もし画像の調整が例えば難しい遠近法の変化に依存してあまり 良くないなら、局部的な調整を異なる画素に対して行うことができる。シャープ なディテールは他の画像からの情報と一致して位置され、その間の距離は非干渉 的な方法で増減される必要があり、そのために選択された局部的な領域は緩慢な 光及び色の変動を有する領域であることが好ましい。 2.2 複雑な製品 製品は多かれ少なかれ構造が複雑である。アーム、ポール、穴などがある。そ れらはオペレーターによって特別な領域“山及び谷(mountains and valleys) ”として認識することができ、その場合小さな領域は大きな距離変動を含み、そ れによって幾つかの写真は動力学をカバーすることを必要とする。山と谷を有す る領域は本発明に従って自動的に確認することもできる。それらは連続画像にお いて強い未集束を起こすことを特徴とする領域である。しかし、隣接する画像は シャープな画素を有し、横方向の距離を通って各画像のシャープな部分間で接近 する。オペレーターはスクリーン上の点滅によって、可能なら適所で横の注釈で このような及び他の問題領域について警告されてもよい。しばしばオペレーター は焦点面を見出し、それを険しい山に沿って位置させ、追加の写真で良好に統合 されたシャープネス(鮮鋭性)をかかる領域について得ることができる。 もし製品がアーム又はポールを有するなら、1以上の画像はこの題材がシャー プな対象物として示されるようにアームを通して焦点面でショットされてもよい 。穀物ボックスに関する対応する方法では、それらの画像は製品上の他の画像と の統合のために基本画像に変形される。 画素認識のための方法はいずれの写真でスタートしてもよいが、それは前又は 後でスタートすることが有利である。この表示ではスタートは前写真及びその中 央画素である。 画像領域が選択される。その領域は光強度又は色の速い変動を有する境界、即 ち境界線及び縁を考慮して厳重な監督下に置かれる。しかしながら、色解像度は 悪くなるかもしれない。選択法は導関数(derivative)、相対導関数(relative derivative )(l/p*dp/dq;q=x,y;)、光又は色強度の違い、 強度の相対的な違いであってもよい。それらの境界は下の写真のための対応する 値と比較され、それらは境界が写真番号2において良好な焦点を持たないとき前 写真に属するものとして規定される。境界間の空間は表面を含み、写真1に属す る境界によって限定される表面はさらなる工程までこの写真に前もって割当てら れる。新しい隣接する画像領域が選択され、全画像が与えられた連続した写真、 画像1〜nについて完了するまで方法は繰り返される。 ある場合には、例えば選択されたサーチ領域において異なる画像から多くの画 素がある場合に好ましい別のサーチ法がある。そのとき現在の写真の縁を直接分 析し、比較によって異なる縁の所属を確認した方が良い。続く領域が完了すると 、最終画像を連続的に統合することができる。境界が例に従って選択及び処理さ れる。境界が異なる集束距離上の二つの領域間の縁であるとき、その縁は第1領 域に割当てられ、画像間の移行位置は第2画像上の縁で選択されてもよい。 3. 焦点及びシャープネスの側面 3.1 サイズのスケールを変更(拡大)するときのシャープネス 拡大において全ての画素が拡大される。かなりの距離範囲を有するそれらの画 素は未集束部分を含んだまま拡大され、その部分はより一層明白になる。未集束 境界、例えば赤色の題材と緑色の背景の間の境界は様々な赤−緑混合体を含む境 界幅を与えて画像形成される。同じ未集束程度に対して実際の縁部分は各側から 50%の寄与率を得る。未集束ポイントはそのポイントからの寄与を有する不鮮 明な未集束円を得る。先端、角及び異形は不鮮明にされ、丸みは滑らかになり、 それらのディテール位置を緩める。幾何学的対象物は縁を角先端などに再構成す ることによって再形成される。シャープネスの不足が記載した例のように集束距 離に依存しているとき、集束状態は単純な光学的法則によって決定され、本発明 によれば集束された画像を評価することができ、しばしば未集束画像境界を補正 することもできる。 デジタル写真はセンサーに基づき、通常最終写真画像より小さい寸法を有する 。画像処理は拡大を含み、シャープネスを緩めない利点を有する。特に製品写真 において題材は人が設計した構造、即ち、認識可能な幾何学的形態からなる。そ のとき多くの場合において未集束の良く知られたディテール構造を補正する予備 条件がある。 良く見える製品像には自然に興味がわき、それはシャープネスの重要性を強調 する。製品上で像をクローズアップすると焦点深さの問題が大きくなり、画像品 質を改良するための方法が必要である。 被写界の深さはクローズアップにおいて相対的に短い。レンズ焦点距離の減少 によって、題材画像はほぼ比例して小さくなるが、被写界の相対的な深さは増大 する。連続的な拡大はブレも大きくする。距離のある写真はズームを使用して製 品に平らな印象を与え、それはマイナスの印象を与える。小さなセンサー及び画 像を満たす製品対象物に対して小さな焦点距離を有するレンズの必要性があり、 それは写真を見るとき製品の正しい外観に関連づける視野角度を与える。その側 面を考慮すると小さな製品は短い距離で、しかも短い焦点距離でショットされる べきである。 本発明は未集束の補正のための光学的法則についての知識に基づいた方法を含 み、それは構造を評価し、シャープネスを改良するため幾何学についての知識に 基づいている。 3.2 光学的方法を使用するシャープネスの補正 上で幾つかの方法を提示したが、それらによって例えば製品写真において画像 シャープネスを改良することができる。以下に、その概要を示す。 a.焦点を含む異なるカメラ設定でショットする、製品についての幾つかの画 像の統合。遠近法の変更及びスケール調整を使用して異なる画像を整合し、より シャープな画像を得ることができる。 b.余分の小さな焦点しぼりを有する写真の使用による情報の追加。 それによって光は余分に減らされ、被写界の深さは増大されるだろう。そのと き高い光コントラストを有する対象物ディテールは被写界のより大きな深さを伴 って画像形成される。かかる画像は例えば上記のaの方法で被写界のより小さい 深さを有する異なる画像を整合するために使用することができる。 c.より小さい焦点距離でショットされる写真からの情報の追加。 スケールの再変更はレンズの中央に対して題材の位置が維持されるときに単純 化される。被写界の深さはそれらの場合でも改良される。一方、画像対象物が小 さくなり、解像度を最大に利用できなくなる。このタイプの写真は画像の整合に おいて使用することができる。 d.レンズ/センサーをチルトすることによって、対応してチルトする焦点面 が製品を通して位置される。画像遠近法はもしセンサーがチルトされるなら変更 され、続いて遠近法の変更が行われる。このタイプの画像はaにはない画素のシ ャープネスについての情報を与えるために使用することができる。 e.連続写真は画素の焦点画像距離及びこの焦点を合わされた位置の実寸法の 光学的計算のために使用することができる。この方法は例えば隣接する両画像上 で焦点がはずれている画素のために使用することができる。 f.縁及び境界の未集束を測定することによって、それらの画素の集束位置を 計算し、境界のブレを補正することができる。 g.配置は連続写真から内挿及び外挿することができ、それによって未集束距 離に対して評価することができる。その方法は多数の通常の配置のライブラリを 記憶することによって単純化し、画像情報と比較して使用されてもよい。様々な 方法、例えば最良の補正法が使用される。 3.3 被写界の深さに関する幾つかの光学的関係 通常の光学的表記及び定義: a,b,fは題材、画像、焦点からレンズまでの距離である。 H,hは題材、その画像の寸法(例えば高さ)である。 r0,r1,は焦点開口(しぼり)の半径、シャープな点に関係する未集束円の 半径である。 距離a+da上の題材は距離b−db上で焦点を合わされる。 簡単な光学的法則を以下に与える: 1/a+1/b=1/f (1) 1/b=(a−f)/a*f (2) 同様にして 1/b(1−db/b)=1/f−1/(a+da) (3) (3)に(2)を入れると db/b=da*f/a2*1/(1−f/a+da/a) (4) 従って db/b≒da*f/a2 (5) 比例式から r1=r0*db/b (6) (6)に(5)を入れると r1=r0*da*f/a2 (7) 同じ題材距離(a)及び題材の深さ(da)に対して、開口(r0)及び焦点 距離(f)が減少するとき未集束が減少することが得られる。しかしfが減少す るとき、画像も小さくなる。相対的な非シャープネス(unsharpness )は r1/h=r0*da(H*a) (8) r1/h=f*da/(H*a*2Q) (9) 式中、開口Q=f/2r0である。 従って、焦点開口の減少は被写界の深さの増大のための重要な可能性である。 しかしながら、焦点開口はあまり大きく減少させることができない。例えばセン サーに到達する光レベルは充分に大きくしなければならない。センサーにおける 画像の光の濃度I(h)は下記式に従って題材からの光の濃度I(H)に比例す る: I(h)−I(H)*H2*r0 2/(h*a)2 (10) (9)に(10)を入れると r1/h−{I(h)/I(H)}0.5=da*f/(H*a) (11) 即ち、I(h)をさらに減少させることができず、その光条件及びレベルを選 択するなら、焦点距離の減少が相対的な焦点合わせを改良する可能性を与える。 3.4 様々な画像写真から新規な基本画像を統合するときの補正 シーン題材に対してレンズの光学的中心の同じ相対的な位置でショットされた 写真は各写真のレンズ及びセンサーのための設定を知って遠近法の変更及びサイ ジングによって変形することは簡単である。伝統的なカメラでは、焦点距離設定 は利用可能な唯一の焦点面設定である。それは写真連続が平行な画像面を得るこ とを意味し、同じシーン像のための焦点面を切断することは全くない。上記の他 の適用可能な方法とともに、それらのカメラは前進する製品写真のために使用す ることができ、そこでは被写界の深さ及び遠近法が問題である。 多数の写真統合において、小さな欠陥が実際に生じる。設定における許容度及 び機械的障害及び不備は連続画像ショット間の変化を生じる。長い露光時間を有 する写真はカメラ及び題材のために余分の安定なベースを必要とし、振動が画像 を乱すことを防止する。次の行動まで、それぞれの有用な画像は被写界の限られ た深さ内に良好な焦点を有すると仮定される。画像が主に基本画像フォーマット に変形された後でもなお補正が要求される。各画像は正しい位置、正しい遠近法 及び正しいサイズにあるが、次の方法が連続補正のために使用することができる : a.ある画像中のシャープな画素が隣接する画像中の未集束部分に相当すると き、異なる焦点を有する連続画像を補正することができる。未集束画素の位置を 決定することができ、他の画像のディテール位置、スケールのサイズ、位置など の比較によって互いに密接に補正することができる。画像のための共通の情報が 使用される。良く規定された画素が比較法のために選択されるとき、計算法はず っと速くなる。画素は画像領域全体に分布していることが好ましい。正しい画像 サイズに対する整合を画素の位置の整合に変えることができる。スケールサイズ のエラーに対して、スケールのエラーを画素位置間の距離の“測定(計算)”に よって得てもよい。遠近法の変更においてサイズのスケールは例えばx及びy方 向において異なる画像の異なる部分で異なってもよい。 b.共通のシャープな画素が例えば2.1の穀物ボックスの例についての切断 焦点面から得られる。共通の境界及び縁を重ね合わせることによって異なる画像 を補正及び統合することができる。 c.加えられた画像を切断焦点面に位置させてショットし、例えばチルトされ た面においてシャープな画素を得、次いでそれを異なる画像におけるシャープな 画素として認識することができる。そのとき共通の参照物が幾つかの画像に対し て得られる。 d.かなり減少したしぼりでショットされた画像は大きい被写界の深さを得る ことができ、その画像は他の画像の補正、特にハイライト及びコントラスト強度 を有する画素に対する参照物になることができる。 e.減少した焦点距離でショットされた写真は連続拡大にかかわらず大きな被 写界の深さを与えることもできる。 4. 方法の他の例 製品画像のシャープネスは加えられた写真において画像の解像度を増大するこ とによって改良することもできる。例えば製品は画像(センサー)領域を満たす 部分だけで写真を撮られてもよい。そのときセンサー解像度は全体の製品画像の うちこの部分のために利用する方が良い。製品の他の部分は同じ又は異なる倍率 で写真を撮ることができる。次いで異なる画像を基本画像に変形することができ 、そこでは全部の所望の画像が含まれ、高解像度を有する。画像の連続処理にお ける解像度は全画像がセンサー上に位置されなければならないという条件によっ て限定されることはない。コンピューター能力を使用してセンサーよりずっと高 い解像度を有するコンピューター画像を作ることができる。異なる写真を統合す る方法はレンズ光学中心の位置が主に画像題材に対して維持されるときより簡単 である。前述と同様の方法では異なる画像が重なり合うとき統合が単純化され、 その場合良く規定された画素が含まれ、オーバーラップを例えば補正のために画 像間の比較に使用することができる。1以上の画像をより小さい焦点距離を有す るレンズでショットすることもでき、その場合全画像の実質的な部分が含まれ、 基本画像についての一般情報で寄与する。 題材の部分を選択し、可能ならズームの助けで大きい焦点距離を有するものを 写真に撮る方法は被写界の増大した深さのために使用される他の方法とともに使 用することができる。その方法は製品中の極めて小さなディテールを像形成する ために、又はより良い解像度を与える画像領域の統合に使用されるディテールの ために適用されてもよく、それによってより正確に整合することができる。 5. 改良された被写界の深さを実施するための手段についての例 一つの好ましい例では、その手段はカメラユニット及び計算装置ユニット(例 えばPCタイプのコンピューター)からなる。カメラユニットは設定を記憶する ことができる制御手段からなる。設定はレンズ及び/又はセンサーに対してされ る。電子センサーを有する伝統的なカメラに対しては、距離焦点合わせはレンズ によってなされる。T/Sカメラはレンズ及びセンサーの両方のための制御手段 を有し、それらは一般に大きな変動性を有する。即ち、それらはチルティングを 行ったり、焦点合わせをしたり、多くの様々な面で遠近法を与える。設定を制御 し読取ることができ、レンズ及びセンサーを本発明に従ってカメラデザインの配 置に関連させることもできる。焦点距離、光学中心又は対応するレンズ記述の如 き光学系の値は写真を撮った後の連続計算において有用である。それは光学中心 の位置が特に写真間のレンズ変化において知られているとき単純化する。 計算ユニット(コンピューター)には、幾つかの画像を記憶できかつスケール のサイズ、遠近法の変更及び位置決めによる画像の変形及び移動を行うことがで きるソフトウエアがある。もし光学素子及びカメラ設定データが画像データ移動 とともに含まれないなら、オペレーター/写真撮影者が自分自身で設定の値を読 み取り供給してもよく、あるいはコンピューターが評価を行う。 写真セットアップの選択は写真撮影者によってなされ、彼は手で又はコンピュ ーターシステムの助けでカメラを設定することができる。彼は焦点を合わせるポ イントの位置を読みとり、関連する焦点設定を読み取ることができる。三つのポ イントを読み取ることによって焦点面は規定され、コンピューターはレンズ/セ ンサーの設定を計算することを助け、所望の焦点面を確立する。コンピューター は作業の全て又は様々な部分を自動化するための追加のプログラムを含むことも できる。制御手段は光測定からのしぼりの選択及び他のカメラ機能の制御を含む こともできる。 可能ならオペレーターからの対話で各移動画像から画像領域を選択するプログ ラムも含まれる。 可能ならオペレーターとの対話で異なる画像から画素を選択するプログラムを 加えることができ、それは画像の連続補正の計算のためのベースであり、新しい 集束基本画像への集束画素の統合のために基本画像フォーマットを整合すること を含む。
【手続補正書】特許法第184条の8第1項 【提出日】1998年4月1日(1998.4.1) 【補正内容】 明細書 写真のための被写界の深さを増大するための方法及び手段 発明の分野 本発明は写真のため焦点(又は被写界)の深さを増大するための方法及びその 方法のための手段を含む。前記方法は伝統的なT/S技術、“チルトアンドシフ ト(Tilt and Shift)”の使用による焦点の深さの改良、及び他の極く普通のカ メラで改良された被写界の深さに対する増大した可能性を構成する。前記方法は 画像が写真フィルム上の代わりにカメラ中のセンサーから作られるデジタルカメ ラを目指したものである。しかしながら、本走査技術の使用によってフィルム写 真を電子画像に移行することは容易である。前記方法はそういう場合にも使用す ることができる。以下において前記方法は主に像がカメラにおいて直接電気的に 作られる場合に対して与えられる。 T/Sカメラではレンズ及び“画像面(image plane )”の両方又は一つが移 動可能である。画像面はフィルム又はセンサーが位置される平面である。シーン における平面は“焦点面(focused plane )”に鋭く焦点を合わされ、それは画 像面の前に、後に又は画像面を切断して設けられてもよい。画像面と焦点面の間 の距離に比例して、ブレが画像において大きくなる。T/Sカメラでは写真撮影 者は画像面に位置される集束スクリーン上に画像を見ることが多い。彼は集束ス クリーン上の集束画像に対してカメラ設定を制御する。次いで彼はこの位置にフ ィルム/センサーを置き、写真を撮る。 写真撮影者は多くの様々な作業方法を使用する。その仕事は創造的であること が多く、芸術的な場合もある。実際には写真撮影者は題材に向けられた位置にカ メラを置き、所望の遠近法(prespective)(通常垂直)で画像面を配置する。我 々は垂直遠近法で世界を見る習慣を有するからである。例えば視野内に教会塔を 置くために普通のカメラを上方にチルトすると、カメラはチルトしたり又は落下 したりする塔を表わすチルティング遠近法(tilting perspective )で塔の画像 を生成するだろう。平行垂直線は画像中ではもはや平行でない。 次いで写真撮影者は画像のための題材に焦点を合わせ、位置決定する。ここで 問題が生じるが、それは本発明によって解決できる。焦点しぼりは光強度の制御 のために使用されるだけでなく、例えば製品写真の被写界の深さを増大するため にも使用される。露出を増大することによって、より小さなしぼりを補償するこ とができる。しかしながら、長時間の露出は鮮鋭性を阻害する機械的障害に対す る危険を必ず伴う。 T/Sカメラは製品写真のために使用され、被写界の深さを普通カメラが提供 しうるものから増大することを望むときに使用される。大きな距離範囲を有する 製品の接近像は焦点面をチルトし、製品画像の前及び後部分を切断することによ って前及び後部分の両方に焦点を与えられる。チルティングは二つの方法で行わ れる。一つはチルトする画像面にフィルム又はセンサーを位置させることによっ て行われる。他は代わりにレンズをチルトし、焦点面を所望の角度に変えること によって行われる。通常垂直遠近法を得る垂直画像面が望まれ、かくして焦点面 が所望の画像面において垂直に位置されるまでレンズをチルトする方法が提供さ れる。 題材は一般に2次元の面において広げられることはなく、変動する範囲を有す る3次元体であるので、焦点しぼりの減少もレンズからの屈折角を減少するため に使用されている。従って、画像面は大きなブレを生じることなく、実際の焦点 から遠くすることができる。しかしながら、題材又は光条件がその可能性を小さ くしてしまう。先行技術例 テレビの分野では人間によって経験される画像はいつも多くの一緒に統合され た“副画像(subimages )”の使用によって作られている。1秒あたり50〜6 0の複数のフレームを表示することによって副画像が時間において統合され、滑 らかな動きを示し、解像度及び信号対ノイズ比を増大する。一つの副画像だけの 研究が劣った画像品質を現わしている。これに対して普通の静止カメラはずっと 高い解像度及び極めて低いノイズ含有量を含む優れた品質の単一ショット画像を 与える。 高規格テレビの研究分野では、画像解像度の増大の秒単位の効果の認識が大き い。ここで議論するものは焦点の深さの側面である。 低解像度のテレビ画像では、目のブレがとにかくセンサー検知器の“劣った( poor)”解像度より小さいので、単一の画像面に“焦点を合わせうる”題材の距 離に大きな範囲がある。しかしながら、センサー画素解像度を例えば4倍増大す ることは焦点の深さを2倍減少することを意味する。テレビに対しては、焦点設 定を変更しながら、一緒に統合される新規なビデオ画像の自然なストリーム(st ream)を使用することによって焦点の深さを増大する方法が明らかに存在する。 テレビの分野には、この焦点の深さを増大する方法を使用する幾つかの同じよ うな特許がある。それらの特許のほとんどは通常のX,Yベースの画像の空間周 波数ベースの画像記述への移行を使用する。それらは空間周波数又は周波数フィ ルターバンドパスドメインにおいて副画像間の出力比較を行い、どの副画像が焦 点があっているかを規定する。それらはこの目的を遂行する方法の詳細において 異なる。 Mimuraらによる方法(米国特許5282045)はフレーム間の焦点距離を変 え、次いで観察者の頭の中の副画像の統合を利用する。その結果は人の頭の中で 経験される焦点深さを増大するといわれている。また、その方法は“輪郭修正器 (contour corrector )”を含み、その機能は記載されていないが、事実上普通 の人工的な“輪郭鮮鋭器(contour sharpener )”であり、より高い周波数を輪 郭に加え、それは人の頭の中で統合された後により高い解像度として経験される 。 それらのテレビ用途に関係する多くの様々な問題が存在する。例えば − 時間制限がある。高い画像周波数のため計算及び機械的焦点合わせのため に短時間しか利用できない。 − 集束されたフレームの選択方法によって統合数が減少し、ノイズが増加し 、画像品質を減退する。 − テレビでは、一般にシーン中の題材、又はシーンをパン又はズームするカ メラによる動きがある。実際その動きはテレビ接近法では固有のものであり、テ レビメディア上の人の期待のために必要である。副画像は動きによる他の変化を 含むので異なる焦点を有する連続副画像の正確な整合を利用する方法の可能性は 小さい。Mimuraらの特許では、動きがあるとき、焦点機能の深さが簡単に妨げら れる。 一方、テレビは多くの方法において画像欠陥を許している。劣った画像の後す ぐに画像の連続ビデオストリームにおいて新しい画像が現れる。その関係する短 時間には多くの不備が観察者の気づかないまま通過する。集束された画像部分を 選択し、それらを一緒に結合することはテレビビデオ画像品質の観察者の全統合 経験を妨げずに、ある程度不正確及び不完全な整合を含めることを許容する。こ れは静止カメラの用途とは反対である。静止写真はずっと長い時間観察され、全 ての不備や小さなディテールは人目を引くのに十分な統合された時間があり、画 像品質問題をかき乱す。プロの仕事では例えば新会社の製品写真の場合において 、小さな画像品質の欠陥でさえも予測されることは全く許されない。 用途の違いがMimuraらの主要な実施例によって説明され、そこではシーンはフ ロント及びバックグラウンドの題材に、可能なら中間距離の題材に分割される。 そのとき2又は3の画像焦点面を使用することができ、それぞれの面は各題材に 焦点を合わせる。集束された部分を選択する方法は境界を伴って各対象物を認識 することを減らす。そのとき平均化手段は異なる画像からの対象物領域の比較の ために及び対象物領域内の違いを滑らかにするために使用される。この用途は子 供用の2又は3ピースのパズルと比較され、一方静止カメラ用途は全く異なる微 調整された方法を要求する。従来技術と本発明の根本的な違いを示す基本的な光学素子 セクション3.3において被写界の深さに関して幾つかの光学的関係が与えら れる。我々は二つの主要な問題状況を提示するために以下にそれらの幾つかを使 用するだろう。問題状況1: 題材は焦点の深さより大きい一定の距離範囲を有する。それはも し写真が題材の前で焦点を合わされるなら、題材の後部分は焦点が合わない。ま たその逆も言える。これは製品写真ではあまり異常な状況ではない。例えば車は 像の後まで広がった車の前及び一つの横を示す角度で主に写真を撮られる。 式(6)から次の式が提示される:r1=r0*db/b ;式中、r1は画像面 が焦点から距離dbシフトされるときに画像距離bで集束されたポイントスプレ ッド円(pointspread circle)の半径であり、r0はレンズ口径である。 車の横は光学軸に対して角度A1を有し、投影幅w1及び深さd1でtg(A 1)=w1/d1の関係を示す。そのとき集束された画像面は角度A2を示し、 投影幅w2及び深さd2でtg(A2)=w2/d2の関係を示す。 そして光学的法則によればtg(A1)=tg(A2)*b/aである。 そのときr1/db<w2/d2に対して、我々は未集束差dbによる未集束 幅r1が車の集束された画像面にわたる対応する変化より少ないという条件を持 つ。簡単に言うと、車は充分に大きい角度A1を示し、あるポイントの未集束は 別のポイントの集束された位置に到達しないことを示している。この場合におい て未集束ポイントから集束ポイントまでスピルオーバーすること(spill over) は全くない。 口径数(aperture figure)がQ=f/2r0であるとき上記条件はw2/d2 >1/2Q*f/bのようなカメラ設定を使用して表現することができ、r1< pd(画素寸法)の条件のとき、焦点の深さはdb<2Q*pd*b/fの条件 である。 上記条件に典型的なカメラパラメーターを挿入することは題材が未集束ポイン トから集束ポイントまでオーバースピル(overspill )することなく、光学軸に 対して小さい角度で写真を撮られることを示している。従って、問題状況1は写 真においてしばしば起こる。 また、高い解像度、小さい画素寸法は被写界の深さがしばしば静止カメラ写真 において短かすぎることを示している。従って、画像全体に高い画素解像度を利 用するために本発明による方法で被写界の深さを増大することが必要である。 光学軸に垂直に画像面を加えるとき、一つの画像面から他の画像面までのいず れかの未集束領域を切断する能力は条件r1/db<0.5*w2/d2に導く 。この条件は画像面間における未集束ポイントのそれぞれの最も近い画像面への 割り当てから生じる。 この場合において一つの写真から集束領域を切断して、それを別の写真中に他 の集束領域とともに組入れることができるが、未集束部分を集束領域にスピルオ ーバーすることは全くない。 一方、r1/db>w2/d2のとき、スピルオーバーのための条件が達成さ れる。それは以下“問題状況2”で議論される。 結論: “問題状況1”において写真の密集した収集物は連続的に増加する画像 距離で撮ることができる。それらは題材シーンの集束されたスライスとみなすこ とができる。それらのスライスはその各写真から切断することができ、一緒に加 えられて全体の背景にわたって一つの集束された画像を作る。しかしながら、こ れをできるようにするために、全ての画像を同じ基本画像フォーマットに移行し なければならない。それらの二つが同じオリジナルフォーマットを持つことは全 くない。各集束状態及びフォーマットに属する画像部分の確認及びそれらを一緒 に整合することは一般に静止カメラ写真のために与えられた仕事である。 従来技術の特許では、画像整合法は詳細に検討されていないが、それはおそら く微調整整合が必要でないビデオカメラを主に考えているという事実による。ビ デオストリームの次の画像は一般に少し異なる。 微調整整合が全く記載されない顕微鏡用途も挙げられる。それは顕微鏡が焦点 の極端に短い深さで作動するという事実による。その用途は光学軸に対して90 °の角度を示すように配置された題材と一般に関係するか又はそれらは“問題状 況2”に関する。従って、それらは画像の微調整結合に関するものではない。 従来技術の特許(例えばMimuraの特許)において副画像を結合するという単純 なアイディアは互いに距離を置いて分離された副画像を局在化することに関係し ている。そのとき各副画像はその被写界の深さ内にあり、一方副画像間の距離は 被写界の深さ外にある。それらの適用は条件を満たさないので、“問題状況1” に適さない。代わりにそれらの適用は“問題状況2”に明らかに属し、その場合 未集束部分から集束部分までの未集束スピルオーバーがある。しかし、それらの 特許はそれを全く考慮に入れていない。なぜならばビデオ用途が要求しているも のではないからである。問題状況2: 条件r1/db>w2/d2はシーン中の一つの題材と隣接する 題材又は背景の間で被写界の深さ以上の長い距離がある場合を含む。それらの場 合において画像の未集束部分から画像の集束部分までの未焦点画像情報のスピル オーバーがある。そしてそれは前記隣接する題材間に幾つかの画像面を距離を置 いて加えるような行動から独立している。 従来技術の特許では、未集束領域から集束領域までのオーバースピルは考慮さ れていない。それらは一般に“問題状況1”には適合しない方法によって“問題 状況2”を解決しようとするものである(例えばMimuraの特許)。その方法は一 般に通常のX,Y被写界から空間周波数被写界への画像表示の移行に関係し、様 々な方法で空間周波数情報を使用して、それらが述べているものを大きな深さの 被写界画像に導くだろう。 しかしながら、空間周波数表示は“問題状況1”のための画像整合作業のため に全く役に立たず、しかも“問題状況2”のためのオーバースピルに関して全く 役に立たない。従って、静止カメラ用途に対してそれらは短い被写界深さの問題 を解決しない。これは本発明に従ってなされる。 本発明は提示された問題状況に直接関係する。画像整合及びオーバースピル問 題は発明された解決策において極めて重要である。テレビ特許との違いについての結論 1. 表面的には本発明と多数のテレビ用途の特許の間に類似性があるように思 われる。しかしながら、その類似性は同じ問題領域の関心事に主に制限される: “光学素子による焦点深さの制限及びそれによる様々なカメラ設定を有する副画 像のための関連した要求”。しかしながら、問題の解決策は全く異なる。 2. カメラ設定の自然の変化を有するマルチ画像用途であるテレビに対して焦 点の深さの増大のためにビデオ画像のストリームにおける焦点変化を使用する明 白な方法がある。 しかし、これは極めて伝統的な一画像用途である静止カメラに対しては明白で ない。その事実は静止カメラの場合と比較した、その分野の多数のテレビ特許に よって示されている。極めて高い画素解像度による静止カメラのための焦点の増 大した深さに対する極めて大きな要求にもかかわらず、そうである。一つの発明 の障害が代わりに静止写真の伝統的な見解において見い出される。 誰もが像のブレを避ける、写真を撮る安定した手の必要性に気づいている。異 なる時間ポイントだけでなく異なる焦点設定及び異なる画像スケールで撮られた 2以上の異なる写真を組合せるアイディアは画像品質の改良のためには基本的に 奇異に思える。 従って、その作業を行う方法を創造することに進歩性がある。 3. 本発明に含まれる方法について基本的に異なるアイディアが存在する。テ レビの概念では焦点深さの機能はテレビカメラに統合され、生成したビデオがカ メラを去る前にリアルタイムビデオ処理に含まれる。 本発明は必ずしもカメラ中に組込まれなくてもよい。それはその代わりに原理 的にはコンピューター手段を使用する“後処理”又は“オフライン”法であり、 例えばPC技術に基づいた画像処理、オペレーター制御、コンピューターステー ションに統合するために好適である。 4. 本発明について: − 同じ基本画像位置、スケール及び遠近法に異なる画像を微調整整合する方法 の重要性、 − 新規画像を生成する方法において副画像間の微調整選択及び移行の重要性。 微調整は高い静止写真解像度及び用途によって要求される。 − 画像連続体を取扱う重要性: 同じ対象物は焦点の深さより大きい範囲を有するかもしれない。未集束部 分から隣接する集束部分までの情報の広がりは補正を必要とし、人工的な鮮鋭化 の使用が好まれる。空間周波数ドメインの使用は境界問題や補正を考慮すると複 雑である。 5. 本発明は空間周波数ドメインへの変形を全く要求しない。その代わり、通 常のX,Yベース画像から直接実施する利点があり、その場合画像ディテールを 一般に確認及び分離することができる。これは空間周波数を生成する画素の複雑 な相互作用とは対照的である。 人間のオペレーターにとっても、像中の莫大な量の情報を把握することができ 、一方対応する空間周波数ドメインは計算することが不可能である。空間周波数 ドメインにおいて、未集束領域からの貢献は隣接する集束領域と相互作用する。 空間周波数又は周波数フィルタリングを使用して幾つかの特許において望まれる ものとは反対の結果が得られる。 発明の機能 本発明はしぼり減少技術を含む様々なカメラ設定を使用しうる、マルチショッ トの使用による静止写真のための被写界の深さ及び鮮鋭性を達成する方法に関す る。前記方法はショット後のデジタル画像移行の可能性を利用し、関連する工程 は様々な範囲にわたって自動的な方法を使用して行われてもよい。オペレーター はコンピュータースクリーン上の対話においても工程の結果をマニュアルで改良 及び制御することができる。 前記方法は以下のものを含む: 1. カメラセンサーは好適な焦点面に変わり、写真がショットされる。そのと き遠近法は画像変形によって所望の位置に変えることができる。これを行うため の一つの方法は所望の遠近法に対して変化するセンサーを感知することであり、 データを計算ユニットに供給し、そこで画像がどの程度変わり、変形を作るかを 計算する。例えばもし画像が所望の垂直面に関して角度uチルトされるなら、画 像面はその前縁の周囲でuだけ回転することができる。 次いで軸から距離のある画像ポイントは軸から距離a*cosuに調整される だろう。それらのポイントは距離a*sinuでレンズに対してより近くに移動 される。それは画像をレンズに対してより近い対応する距離(即ち、(a*si nu+b)に関連したレンズに対する距離b)移動するとき同じスケールの減少 を意味する。これは放射線を光学的中心を通って各画像ポイントに引くことによ って容易に説明される。従って画像を軸の周囲に回転すると、画像上のポイント は簡単な幾何学的法則を通して新しい画像面に投射されるだろう。 回転軸の選択を別の軸の周囲の回転と横方向の移動として移行することができ る。レンズからの距離を変化する画素の横方向の移動は画素のスケールの比例的 変化を生じる。従って普通の焦点合わせはサイズ変化を生じる。レンズ(光学的 中心)からの相対的な画像距離についての知識はサイズスケールのために使用さ れるだろう。 未集束画像部分があるとき、未集束領域は一般的な画像拡大に比例して拡大さ れるだろう。未集束縁はもし特別な手段を行わないならより広くなるだろう。か かる手段は本発明に含まれ、拡大についてのセクションにさらに与えられるだろ う。 画像の投射は正確な画像遠近法に変える際の第2ステップとして行われてもよ い。オペレーターは所望の軸を導入し、回転することによって全体の工程を微調 整又は制御してもよい。彼は回転を停止したり又は正しい位置を微調整する回転 方向を対話的に変更することができるとき、一定スピードの回転を規定し、所望 の位置に到達するまで回転する画像を検討することもできる。 計算は基本画像を使用して行うことができ、それは増大した数の画素にマップ される。計算及び画像処理によって不要な解像度の損失を避けることができる。 写真における所望の焦点面の制御設定はそれらのポイントに連続的に焦点を設 定する写真撮影者によって単純化及び自動化することができる。それを通して彼 は焦点面を求める。既知の座標及び焦点設定によって焦点面を計算することがで き、レンズ/センサーの回転も同様である。カメラ光学素子を含む簡単な計算プ ログラムをポケット計算器に記憶することができ、それは回転制御のためのスケ ール区分として結果を与えることができる。PC又は他のコンピューターによっ てオペレーターはコンピュータースクリーン上の画像で作業することができる。 コンピューター中のプログラムは焦点面の計算及び自動焦点測定を制御し、最終 的にレンズ(センサー)の回転及び移動を正しい位置に制御することができる。 従って、プロセスはしばしば望まれる製造プロセスとして行うことができる。 2. 複数の“静止画像(stills)”の使用による被写界の深さの創造。 製品写真においてシーンは静止していることが多い。幾つかの写真はショット 再現可能である。距離において相対的に大きな範囲を有する製品は異なる写真の 異なる部分の焦点設定で同じ位置から撮影することができる。異なる写真上で、 異なる部分がそれぞれ焦点が合っていたり焦点が合っていなかったりする。それ らは異なるサイズも有する。 2.1 画素の単純な追加。 製品のシャープな画像は各画像から焦点を合わせた異なる画素を一緒に加える ことによって作ることができる。その方法はまず上の1に従って画像スケールを 同じサイズに変えることによって実現される。多くの状況においてオペレーター はコンピュータースクリーン上で画素選択を行い、どの画素から最終画像に移行 するかを決定する。 その方法は本発明の方法に従って自動的であることもできる。画像副領域(su barea )のための焦点は画像間で比較され、それぞれの焦点の合った画素が選択 される。隣接する画素間の分割境界が選択され、その場所では未集束は異なる画 像間でほぼ同じである。分割界面のいかなる小さな不足も各画像間のその領域を 平均化することによって取扱うことができる。 穀物ボックスの如き単純な製品形状の写真を遠近法で撮ってもよく、それは角 にカメラに対する最小距離を与え、他の部分に連続的により遠い距離を与える。 連続的に変化した焦点を有する一連の写真は画素追加のために前記焦点を合わさ れた画素を生成することができる。 高い前位置から傾斜して写真を撮られた穀物ボックスは三つの表面、即ち長い 側、短い側及び上側を示す。センサー/レンズをチルトすることによって焦点面 は三つのしぼり表面のそれぞれに沿って位置されてもよい。三つの画像は計算に よって選択された基本画像に変形される。もしセンサーが回転されるなら、その 変形は遠近法の再変更も含む。 計算後、製品画像は三つのシャープな画素から組合せることができる。実際に は小さな偏差は三つの異なる写真間で位置及びサイズにおいて生じる。障害は位 置及び制御を攪乱する。従って、シャープな境界及び縁が異なる画像について認 識され、共通の角及び境界が異なる画像のためのスケール及び位置の微調整補正 を通して一緒に整合される。 基本画像は正しい遠近感、例えば製品の前又は製品の他の重要な部分のために 焦点面を与えるレンズ設定及び垂直なセンサーを有する画像であってもよい。こ の基本“画像”はセンサーレンズ設定によって規定することができ、もし写真が 基本画像への異なる写真の整合を単純化するなら、写真を撮られなくても“基本 画像”を規定することができる。 追加の像がシャープな穀物ボックスの統合のために望まれるとき、余分の焦点 面が前記表面の調整を助けるために最外左及び右縁に沿って及び上部表面の対角 線を通して位置されてもよい。またボックスが載っているテーブル面が重要であ るとき、焦点面は追加の写真のためにこの面に沿って位置されてもよい。 最終画像の統合はこの例においてはそれぞれのシャープな画素が容易に確認さ れ未集束領域が他の画像からのシャープな領域に置換されるので、相対的に簡単 である。 サイズのスケール及び遠近法の再計算はセンサー/レンズのための既知の設定 の助けで規定された基本画像フォーマットになされる。その後、他の画像位置に 対する画像位置を見出すために設定の知識なしで分析を実施できるが、それは幾 つかの処理を必要とするかもしれない。 それぞれのシャープな画素の統合における補正は通常の画像部分、例えば縁及 び角を使用して実施される。しばしば整合を単純化する画像及びテキストディテ ールが存在する。もし画像の調整が例えば難しい遠近法の変化に依存してあまり 良くないなら、局部的な調整を異なる画素に対して行うことができる。シャープ なディテールは他の画像からの情報と一致して位置され、その問の距離は非干渉 的な方法で増減される必要があり、そのために選択された局部的な領域は緩慢な 光及び色の変動を有する領域であることが好ましい。 2.2 複雑な製品 製品は多かれ少なかれ構造が複雑である。アーム、ポール、穴などがある。そ れらはオペレーターによって特別な領域“山及び谷(mountains and valleys) ”として認識することができ、その場合小さな領域は大きな距離変動を含み、そ れによって幾つかの写真は動力学をカバーすることを必要とする。山と谷を有す る領域は本発明に従って自動的に確認することもできる。それらは連続画像にお いて強い未集束を起こすことを特徴とする領域である。しかし、隣接する画像は シャープな画素を有し、横方向の距離を通って各画像のシャープな部分間で接近 する。オペレーターはスクリーン上の点滅によって、可能なら適所で横の注釈で このような及び他の問題領域について警告されてもよい。しばしばオペレーター は焦点面を見出し、それを険しい山に沿って位置させ、追加の写真で良好に統合 されたシャープネス(鮮鋭性)をかかる領域について得ることができる。 もし製品がアーム又はポールを有するなら、1以上の画像はこの題材がシャー プな対象物として示されるようにアームを通して焦点面でショットされてもよい 。穀物ボックスに関する対応する方法では、それらの画像は製品上の他の画像と の統合のために基本画像に変形される。 画素認識のための方法はいずれの写真でスタートしてもよいが、それは前又は 後でスタートすることが有利である。この表示ではスタートは前写真及びその中 央画素である。 画像領域が選択される。その領域は光強度又は色の速い変動を有する境界、即 ち境界線及び縁を考慮して厳重な監督下に置かれる。しかしながら、色解像度は 悪くなるかもしれない。選択法は導関数(derivative)、相対導関数(relative derivative)(1/p*dp/dq;q=x,y;)、光又は色強度の違い、 強度の相対的な違いであってもよい。それらの境界は下の写真のための対応する 値と比較され、それらは境界が写真番号2において良好な焦点を持たないとき前 写真に属するものとして規定される。境界間の空間は表面を含み、写真1に属す る境界によって限定される表面はさらなる工程までこの写真に前もって割当てら れる。新しい隣接する画像領域が選択され、全画像が与えられた連続した写真、 画像1〜nについて完了するまで方法は繰り返される。 ある場合には、例えば選択されたサーチ領域において異なる酉像から多くの画 素がある場合に好ましい別のサーチ法がある。そのとき現在の写真の縁を直接分 析し、比較によって異なる縁の所属を確認した方が良い。続く領域が完了すると 、最終画像を連続的に統合することができる。境界が例に従って選択及び処理さ れる。境界が異なる集束距離上の二つの領域間の縁であるとき、その縁は第1領 域に割当てられ、画像間の移行位置は第2画像上の縁で選択されてもよい。 3. 焦点及びシャープネスの側面 3.1 サイズのスケールを変更(拡大)するときのシャープネス 拡大において全ての画素が拡大される。かなりの距離範囲を有するそれらの画 素は未集束部分を含んだまま拡大され、その部分はより一層明白になる。未集束 境界、例えば赤色の題材と緑色の背景の間の境界は様々な赤一緑混合体を含む境 界幅を与えて画像形成される。同じ朱集束程度に対して実際の縁部分は各側から 50%の寄与率を得る。未集束ポイントはそのポイントからの寄与を有する不鮮 明な未集束円を得る。先端、角及び異形は不鮮明にされ、丸みは滑らかになり、 それらのディテール位置を緩める。幾何学的対象物は縁を角先端などに再構成す ることによって再形成される。シャープネスの不足が記載した例のように集束距 離に依存しているとき、集束状態は単純な光学的法則によって決定され、本発明 によれば集束された画像を評価することができ、しばしば未集束画像境界を補正 することもできる。 デジタル写真はセンサーに基づき、通常最終写真画像より小さい寸法を有する 。画像処理は拡大を含み、シャープネスを緩めない利点を有する。特に製品写真 において題材は人が設計した構造、即ち、認識可能な幾何学的形態からなる。そ のとき多くの場合において未集束の良く知られたディテール構造を補正する予備 条件がある。 良く見える製品像には自然に興味がわき、それはシャープネスの重要性を強調 する。製品上で像をクローズアップすると焦点深さの問題が大きくなり、画像品 質を改良するための方法が必要である。 被写界の深さはクローズアップにおいて相対的に短い。レンズ焦点距離の減少 によって、題材画像はほぼ比例して小さくなるが、被写界の相対的な深さは増大 する。連続的な拡大はブレも大きくする。距離のある写真はズームを使用して製 品に平らな印象を与え、それはマイナスの印象を与える。小さなセンサー及び画 像を満たす製品対象物に対して小さな焦点距離を有するレンズの必要性があり、 それは写真を見るとき製品の正しい外観に関連づける視野角度を与える。その側 面を考慮すると小さな製品は短い距離で、しかも短い焦点距離でショットされる べきである。 本発明は未集束の補正のための光学的法則についての知識に基づいた方法を含 み、それは構造を評価し、シャープネスを改良するため幾何学についての知識に 基づいている。 3.2 光学的方法を使用するシャープネスの補正 上で幾つかの方法を提示したが、それらによって例えば製品写真において画像 シャープネスを改良することができる。以下に、その概要を示す。 a.焦点を含む異なるカメラ設定でショットする、製品についての幾つかの画 像の統合。遠近法の変更及びスケール調整を使用して異なる画像を整合し、より シャープな画像を得ることができる。 b.余分の小さな焦点しぼりを有する写真の使用による情報の追加。 それによって光は余分に減らされ、被写界の深さは増大されるだろう。そのと き高い光コントラストを有する対象物ディテールは被写界のより大きな深さを伴 って画像形成される。かかる画像は例えば上記のaの方法で被写界のより小さい 深さを有する異なる画像を整合するために使用することができる。 c.より小さい焦点距離でショットされる写真からの情報の追加。 スケールの再変更はレンズの中央に対して題材の位置が維持されるときに単純 化される。被写界の深さはそれらの場合でも改良される。一方、画像対象物が小 さくなり、解像度を最大に利用できなくなる。このタイプの写真は面像の整合に おいて使用することができる。 d.レンズ/センサーをチルトすることによって、対応してチルトする焦点面 が製品を通して位置される。画像遠近法はもしセンサーがチルトされるなら変更 され、続いて遠近法の変更が行われる。このタイプの画像はaにはない画素のシ ャープネスについての情報を与えるために使用することができる。 e.連続写真は画素の焦点画像距離及びこの焦点を合わされた位置の実寸法の 光学的計算のために使用することができる。この方法は例えば隣接する両面像上 で焦点がはずれている画素のために使用することができる。 f.縁及び境界の未集束を測定することによって、それらの画素の集束位置を 計算し、境界のブレを補正することができる。 g.配置は連続写真から内挿及び外挿することができ、それによって未集束距 離に対して評価することができる。その方法は多数の通常の配置のライブラリを 記憶することによって単純化し、画像情報と比較して使用されてもよい。様々な 方法、例えば最良の補正法が使用される。 3.3 被写界の深さに関する幾つかの光学的関係 通常の光学的表記及び定義: a,b,fは題材、画像、焦点からレンズまでの距離である。 H,hは題材、その画像の寸法(例えば高さ)である。 r0,r1は焦点開口(しぼり)の半径、シャープな点に関係する未集束円の半 径である。 距離a+da上の題材は距離b−db上で焦点を合わされる。 簡単な光学的法則を以下に与える: 1/a+1/b=1/f (1) 1/b=(a−f)/a*f (2) 同様にして 1/b(1−db/b)=1/f−1/(a+da) (3) (3)に(2)を入れると db/b=da*f/a2*1/(1−f/a+da/a) (4) 従って db/b≒da*f/a2 (5) 比例式から r1=r0*db/b (6) (6)に(5)を入れると r1=r0*da*f/a2 (7) 同じ題材距離(a)及び題材の深さ(da)に対して、開口(r0)及び焦点 距離(f)が減少するとき未集束が減少することが得られる。しかしfが減少す るとき、画像も小さくなる。相対的な非シャープネス(unsharpness)は r1/h=r0*da(H*a) (8) r1/h=f*da/(H*a*2Q) (9) 式中、開口Q=f/2r0である。 従って、焦点開口の減少は被写界の深さの増大のための重要な可能性である。 しかしながら、焦点開口はあまり大きく減少させることができない。例えばセン サーに到達する光レベルは充分に大きくしなければならない。センサーにおける 画像の光の濃度I(h)は下記式に従って題材からの光の濃度I(H)に比例す る: I(h)−I(H)*H2*r0 2/(h*a)2 (10) (9)に(10)を入れると r1/h−{I(h)/I(H)}0.5=da*f/(H*a) (11) 即ち、I(h)をさらに減少させることができず、その光条件及びレベルを選 択するなら、焦点距離の減少が相対的な焦点合わせを改良する可能性を与える。 3.4 様々な面像写真から新規な基本画像を統合するときの補正 シーン題材に対してレンズの光学的中心の同じ相対的な位置でショットされた 写真は各写真のレンズ及びセンサーのための設定を知って遠近法の変更及びサイ ジングによって変形することは簡単である。伝統的なカメラでは、焦点距離設定 は利用可能な唯一の焦点面設定である。それは写真連続が平行な画像面を得るこ とを意味し、同じシーン像のための焦点面を切断することは全くない。上記の他 の適用可能な方法とともに、それらのカメラは前進する製品写真のために使用す ることができ、そこでは被写界の深さ及び遠近法が問題である。 多数の写真統合において、小さな欠陥が実際に生じる。設定における許容度及 び機械的障害及び不備は連続画像ショット間の変化を生じる。長い露光時間を有 する写真はカメラ及び題材のために余分の安定なベースを必要とし、振動が画像 を乱すことを防止する。次の行動まで、それぞれの有用な画像は被写界の限られ た深さ内に良好な焦点を有すると仮定される。画像が主に基本画像フォーマット に変形された後でもなお補正が要求される。各画像は正しい位置、正しい遠近法 及び正しいサイズにあるが、次の方法が連続補正のために使用することができる a.ある画像中のシャープな画素が隣接する画像中の未集束部分に相当すると き、異なる焦点を有する連続画像を補正することができる。未集束画素の位置を 決定することができ、他の画像のディテール位置、スケールのサイズ、位置など の比較によって互いに密接に補正することができる。画像のための共通の情報が 使用される。良く規定された画素が比較法のために選択されるとき、計算法はず っと速くなる。画素は画像領域全体に分布していることが好ましい。正しい画像 サイズに対する整合を画素の位置の整合に変えることができる。スケールサイズ のエラーに対して、スケールのエラーを画素位置間の距離の“測定(計算)”に よって得てもよい。遠近法の変更においてサイズのスケールは例えばx及びy方 向において異なる画像の異なる部分で異なってもよい。 b.共通のシャープな画素が例えば2.1の穀物ボックスの例についての切断 焦点面から得られる。共通の境界及び縁を重ね合わせることによって異なる画像 を補正及び統合することができる。 c.加えられた画像を切断焦点面に位置させてショットし、例えばチルトされ た面においてシャープな画素を得、次いでそれを異なる画像におけるシャープな 画素として認識することができる。そのとき共通の参照物が幾つかの画像に対し て得られる。 d.かなり減少したしぼりでショットされた画像は大きい被写界の深さを得る ことができ、その画像は他の画像の補正、特にハイライト及びコントラスト強度 を有する画素に対する参照物になることができる。 e.減少した焦点距離でショットされた写真は連続拡大にかかわらず大きな被 写界の深さを与えることもできる。 4. 方法の他の例 製品画像のシャープネスは加えられた写真において画像の解像度を増大するこ とによって改良することもできる。例えば製品は画像(センサー)領域を満たす 部分だけで写真を撮られてもよい。そのときセンサー解像度は全体の製品画像の うちこの部分のために利用する方が良い。製品の他の部分は同じ又は異なる倍率 で写真を撮ることができる。次いで異なる画像を基本画像に変形することができ 、そこでは全部の所望の画像が含まれ、高解像度を有する。画像の連続処理にお ける解像度は全画像がセンサー上に位置されなければならないという条件によっ て限定されることはない。コンピューター能力を使用してセンサーよりずっと高 い解像度を有するコンピューター画像を作ることができる。異なる写真を統合す る方法はレンズ光学中心の位置が主に画像題材に対して維持されるときより簡単 である。前述と同様の方法では異なる画像が重なり合うとき統合が単純化され、 その場合良く規定された画素が含まれ、オーバーラップを例えば補正のために画 像間の比較に使用することができる。1以上の画像をより小さい焦点距離を有す るレンズでショットすることもでき、その場合全画像の実質的な部分が含まれ、 基本画像についての一般情報で寄与する。 題材の部分を選択し、可能ならズームの助けで大きい焦点距離を有するものを 写真に撮る方法は被写界の増大した深さのために使用される他の方法とともに使 用することができる。その方法は製品中の極めて小さなディテールを像形成する ために、又はより良い解像度を与える画像領域の統合に使用されるディテールの ために適用されてもよく、それによってより正確に整合することができる。 5. 改良された被写界の深さを実施するための手段についての例 一つの好ましい例では、その手段はカメラユニット及び計算装置ユニット(例 えばPCタイプのコンピューター)からなる。カメラユニットは設定を記憶する ことができる制御手段からなる。設定はレンズ及び/又はセンサーに対してされ る。電子センサーを有する伝統的なカメラに対しては、距離焦点合わせはレンズ によってなされる。T/Sカメラはレンズ及びセンサーの両方のための制御手段 を有し、それらは一般に大きな変動性を有する。即ち、それらはチルティングを 行ったり、焦点合わせをしたり、多くの様々な面で遠近法を与える。設定を制御 し読取ることができ、レンズ及びセンサーを本発明に従ってカメラデザインの配 置に関連させることもできる。焦点距離、光学中心又は対応するレンズ記述の如 き光学系の値は写真を撮った後の連続計算において有用である。それは光学中心 の位置が特に写真間のレンズ変化において知られているとき単純化する。 計算ユニット(コンピューター)には、幾つかの画像を記憶できかつスケール のサイズ、遠近法の変更及び位置決めによる画像の変形及び移動を行うことがで きるソフトウエアがある。もし光学素子及びカメラ設定データが画像データ移動 とともに含まれないなら、オペレーター/写真撮影者が自分自身で設定の値を読 み取り供給してもよく、あるいはコンピューターが評価を行う。 写真セットアップの選択は写真撮影者によってなされ、彼は手で又はコンピュ ーターシステムの助けでカメラを設定することができる。彼は焦点を合わせるポ イントの位置を読みとり、関連する焦点設定を読み取ることができる。三つのポ イントを読み取ることによって焦点面は規定され、コンピューターはレンズ/セ ンサーの設定を計算することを助け、所望の焦点面を確立する。コンピューター は作業の全て又は様々な部分を自動化するための追加のプログラムを含むことも できる。制御手段は光測定からのしぼりの選択及び他のカメラ機能の制御を含む こともできる。 可能ならオペレーターからの対話で各移動画像から画像領域を選択するプログ ラムも含まれる。 可能ならオペレーターとの対話で異なる画像から画素を選択するプログラムを 加えることができ、それは画像の連続補正の計算のためのベースであり、新しい 集束基本画像への集束画素の統合のために基本画像フォーマットを整合すること を含む。 請求の範囲 1. 主に題材に対してレンズ光学中心の同じ位置を保つ際に、焦点の変化とし ぼりの変化の少なくとも一つを含む、異なるカメラ設定で得られる少なくとも二 つの画像を使用して、シャープネスを全体の像にわたつて規則的に得ることがで きないような範囲を有する題材に改良されたシャープネスを与え、それらの画像 から情報を結合して一つの新しい画像を得、下記の処理を含む輪郭の補正を含む 、焦点の深さを増大するための方法: コンピューター手段によって静止カメラの結果を処理し、それによって通信リ ンクによって又は記憶媒体によってカメラから移行されたデータを使用して処理 工程の少なくとも一部をカメラの外部で実施でき; その方法が単一画像の焦点の深さより大きい連続的な距離範囲を有する対象物 、及び距離間隙が単一画像の焦点の深さより大きい横方向に接近した対象物間で 距離間隙を有する対象物の適用工程を含み、前記適用工程が空間座標における自 然画像表示を利用し;その方法が下記方法工程を含む; (a)画像間の異なる焦点設定で写真を撮り、異なる画像領域について異なる 焦点を作り、写真連続の自然の変化及び妨害を含み、前記焦点の変化を越える画 像の変化を生成し、画像の変化が位置、スケール及び遠近法のいずれかを含む変 化を構成する; (b)下記工程において選択された基本画像の位置、スケール及び遠近法に異 なる写真画像を整合する; 基本画像を選択する; 多数の画像において境界線及び高いコントラストをなす構造を認識し突き止め る; 位置シフト、スケールの変化及び遠近法チルティングの少なくとも一つを使用 して基本画像への多数の画像の幾何学的移行を計算する; 認識された共通構造の位置を使用して画像の整合を評価及び/又は補正するた めの共通の参照物を選択する; (c)下記のことを含む工程によって整合された画像から新しく作られた基本 画像を構築する; (c1)焦点変化が境界線及び/又は距離において高いコントラストをなす構造 のために利用される、距離の連続変化に対応し、焦点の変化が各画像集束状態か ら見られる対応サイズを有する、移行位置を認識する距離の連続変化に相当する 領域中の画素の焦点の連続変化を有する画像領域の分析、及び 前記移行位置を考慮する一つの画像及び次に隣接する集束画像からの画像情報 間の移行境界の選択(画像移行において大きな不連続があるとき、(b)からの いずれかの方法工程を含む、共通の移行境界に沿って二つの画像の微調整整合が 実施される); (c2)以下のための境界線の選択; 所定の値より大きい焦点距離間隙を有する移行境界を認識するための、各集束 画像についての境界線の二つの側間の焦点の違いに関する多数の境界線領域の分 析; 未集束画像側から集束画像側までの未集束画像情報の減少によって、異なる集 束画像間での、異なる集束画像間の(c2)による移行境界線である境界線領域の補 正(前記焦点間隙が前記所定値より小さいとき、移行は(c1)による移行として考 える); (c3)(c1)及び(c2)における焦点の分析のために、境界線及び/又は高いコン トラストをなす構造を使用して、画像間で最も良く集束された状態についての比 較、空間座標(x,y)に基づいた領域の関数として光及び/又は色の迅速な変 化を利用する; (d)単一画像の焦点の深さより大きい範囲を有する距離において複雑な画像 構造を適用するための少なくとも一つの補助写真の追加(焦点の深さを増大する 、かなり減少したしぼりを有する写真、及び少なくとも別の画像焦点面を切断す る、チルトされた焦点面を有する写真の少なくとも一つを含む、異なる写真に属 する集束画素を結合する画像で前記写真連続を補足する)。 2. 光又は色の強さの導関数、相対導関数、差、及びそれらの組合せ又は商を 選択的に使用して光又は色の変化のスピードを分析することをさらに含む請求の 範囲1記載の方法。 3. 下記工程において集束画像間の境界を横切る未集束スピルオーバーの補正 のための減少したしぼり又はチルトされた画像面の方法を使用することをさらに 含む請求の範囲1記載の方法: 境界を選択し、そこでそれらの方法は境界の両側で集束画像を与える; 一つの側の集束画像へのスピルオーバーを計算及び減少した後、境界表示のた めのこの両側の集束画像又は境界コリドールの一つの側の集束画像を選択する。 4. 下記のさらなる工程を含む整合された画像から新しく作られた基本画像を 構築する請求の範囲1記載の方法: 隣接する異なる集束画像にわたる連続的な範囲を有する構造のための移行位置 の明確化(その構造は前記隣接する異なる集束画像に属するように境界線(境界 線は異なる集束画像間の境界である)に沿って分割される); 他の画像より良好な焦点を有する画素の認識及び異なる隣接する画像に属する 構造間の移行位置の明確化のための境界線間の領域の分析; 光及び/又は色の遅い変化を含有し、他の集束画像に属する規定された構造を 全く含有しない、画像領域を通して前記異なる集束画像のためのさらなる移行位 置の選択; 光レベルの連続性を保持することによって異なる画像間の多数の移行境界を使 用することによって新しく作られた基本画像を構築する。 5. 下記工程において新しい基本画像を連続的に構築することをさらに含む請 求の範囲1〜4のいずれか記載の方法: 選択された画像の選択された集束画素で開始する; 隣接する画像と比較しながら調査された領域を連続的に増大する; 画素が別の画像でよりシャープになるとき画像の変移を行う; 現在の画像からの領域で新しい基本画像領域を増大する; フロント像で選択的に開始し、続いてバックグラウンドに向かって作業をする 。 6.画像境界線の濃度を数え、大きな低濃度領域のために低濃度方策を選択し 、小さな高濃度領域のために高濃度方策を選択する工程において方策を選択して 新しい基本画像を構築し;領域を横切る変移位置を規定することによって密接な 関係のある境界線と選択された画像の選択された境界線を連結し、閉じられた画 像領域を新しい基本画像に移行する工程において低濃度方策を構築することをさ らに含む請求の範囲1〜5のいずれか記載の方法。 7. オペレーターとの対話のためのコンピューター手段、マンマシンインター フェースMMIを含み、下記工程をオペレーターが選択的に行うことによって画 像処理の複雑性を減らすことをさらに含む請求の範囲1〜6のいずれか記載の方 法: コンピュータースクリーン上でどの画像からどの部分が新しい基本画像に移行 されるべきかを規定し、主に末集束境界及び位置の部分の最終補正及び画像整合 に対する処理を減らす; 画像整合のために異なる画像からディテールを選択する; 新しい画像構築のために異なる領域のための方策を選択的に規定する。 8. 境界、縁などの未集束幅を測定し、続いて選択的にシャープな集束画素の 画像位置を評価することによって他の画素に対してもシャープネスを補正するこ とを含む請求の範囲1〜7のいずれか記載の方法。 9. 連続画像を使用し、画素の画像面距離及びその面における実際の集束範囲 を計算し、理論的にシャープな画像面の両側の画像において集束されていない画 素のためにそれを使用することを含む請求の範囲1〜8のいずれか記載の方法。 10. 隣接画像から幾何学的構造、線、矩形、円などを内挿又は外挿してその間 の未集束空間の集束を達成し、その方法を選択的に拡張して例えば相関関係の使 用によって得られた画素との比較のためのライブラリに幾何学的構造を記憶する ようにし、良好に一致するとき、幾何学的構造(記号、文字又は符号も含む)が 補正のために使用されることを含む請求の範囲1〜9のいずれか記載の方法。 11. 異なる画像のための位置、スケール、遠近法のうちの少なくとも一つを補 正し、少なくとも二つの画像において対応する画素間の位置比較を実施し、異な る画像間の連続比較を選択的に使用して互いに関連する複数の画像を達成するこ とを含む請求の範囲1〜10のいずれか記載の方法。 12. より大きな焦点距離を有する製品の撮影部分によってセンサー解像度をよ り良好に利用し、製品部分がセンサー領域のより大きな部分をカバーし、下記工 程を含む請求の範囲1〜10のいずれか記載の方法: 同じ又は異なる倍率で製品の他の部分を撮影し、焦点距離に関連する画像距離 も変化し、その異なる画像が基本画像に移行され、全体画像がカバーされ、次い で対応する高解像度でコンピューターの能力が使用され、それはセンサーよりず っと高い解像度を与えることができ、全最終画像をカバーし、異なる画像を選択 的に統合し、題材に対するレンズ光学中心の位置を維持しながらショットし、例 えばターニングポイントとして光学レンズ中心を有するカメラを回転することに よってそれを実施し、面像を重なり合わせることによって画像整合を単純化し、 良く規定された画素が補正のための画素間の比較において含有及び使用され、減 少した焦点距離を有する1以上の画像を撮影し、全画像の本質的な部分が同じ写 真に含まれ、基本画像についての一般的な概観情報に寄与する。 13. カメラのための制御設定、関連する設定を有する画像データの記憶のため の計算ユニット及び複数の画像処理のため及びサイズのスケール、遠近法及び位 置の変化による画像の移動の計算のためのソフトウエアプログラムを含み、下記 のものを含む請求の範囲1〜11のいずれか記載の方法を実施するための手段: カメラ中の配置に対する角度を含む相対位置に関連するレンズ及びセンサーの ための制御設定;画像を選択された基本画像に移動するために各画像写真のため の設定を使用し、設定によって規定されるがそれは必ずしも実際の撮影画像でな くてもよいアルゴリズムを有するプログラム;及びオペレーターの助けでどの画 素がそれぞれの変形画像から使用されるべきかを選択し、それらを基本画像に統 合するプログラムユニット。 14. 下記のものを含む、異なる写真焦点面設定の制御で写真撮影者/オペレー ターを助ける請求の範囲13記載の手段: 画像中のポイントの位置を規定するための手段;それらのポイントに焦点を合 わせ計算ユニットに焦点を登録するための手段;レンズ及び/又はセンサー設定 のための連続的に対応する値を計算するための計算ユニット中の手段;撮影のた めの設定の制御のための手段;及び制御手段の制御のための計算及び較正に使用 するために例えばポケット計算器又はPCの如き計算ユニットに各制御のための 基本データを記憶するための選択的に追加する手段。 15. 下記のものを含む請求項13又は14記載の手段: 写真撮影者がコンピュータースクリーン画像上にボイントを作るための手段; 及び電子制御によって自動的にカメラ設定を計算及び制御するコンピュータープ ログラム。 16. 異なる距離題材の画像焦点を変更しながら視界を維持するカメラレンズシ ステムの制御を含む請求の範囲13〜15のいずれか記載の手段。 17. 下記のことを含む、写真フィルムが電子センサーの代わりに使用される請 求の範囲1〜12のいずれか記載の方法及び手段: 対応する方法で撮影し、続いてフィルム写真を走査して電気的に記憶された画 像を得て、その画像を対応する方法で続いて処理される。 18. 下記のことを含む請求の範囲1〜12のいずれか記載の方法: ズーム又はレンズの変更によって選択的に減少した焦点距離を有する写真を加 え、画像変形が題材に対するレンズ光学中心の位置を維持し、より小さい画像を 与え、センサー解像度を十分に利用しないことによって単純化され、一方被写界 の深さが(画像の再拡大によって未集束領域も拡大されるが)改良された焦点を 得る未集束画素及び情報を加えるために使用される画像を増大するための能力及 び他の面像の整合を助けるための能力を有する。

Claims (1)

  1. 【特許請求の範囲】 1. 主に題材に対してレンズ光学中心の同じ位置を保つ際に、焦点の変化、し ぼりの変化を選択的に含む、異なるカメラ設定で得られる少なくとも二つの画像 を使用して、シャープネスを全体の像にわたって規則的に得ることができないよ うな範囲を有する題材に改良されたシャープネスを与え、それらの画像から情報 を結合して一つの新しい画像を得、下記の処理を含む輪郭の補正を含む、焦点の 深さを増大するための方法: 下記工程において原理的に非同期又はオフライン処理のために記憶媒体を通し て又はオンラインで静止カメラから移行されたデータを使用して、選択的に静止 カメラ機能の外部にあるコンピューター手段によって静止カメラの結果を処理す る; (a)下記工程において選択された基本画像の位置、スケール及び遠近法に異 なる写真画像を整合する; 基本画像を選択する; 多数の画像において境界線及び高いコントラストをなす構造を認識し突き止め る; 位置シフト、スケールの変化及び遠近法チルティングを選択的に使用して基本 画像への多数の画像の幾何学的移行を計算する; 認識された共通構造の位置を使用して画像の整合を評価及び/又は補正するた めの共通の参照物を選択する; 焦点の深さを増大するかなり減少したしぼりで撮影された画像及び少なくとも 別の画像焦点面を切断するチルトされた焦点面で撮影された画像のうち少なくと も一つの画像を選択的に加える; (b)下記工程において整合された画像から新しく作られた基本画像を構築す る; 分析された画素のために最良に集束された画像を決定するために領域(x,y )ベースの座標の関数として光及び/又は色の迅速な変化を使用する; 境界線及び高いコントラストをなす構造を使用して画像間の最良に集束された 状態を比較する; それぞれの集束画像から認識された境界線及び構造を新しい画像のために選択す る; 構造の重なり合い及び緩まった端を選択的に監視する; 構造が異なる面像に属して分割される、隣接画像にわたる連続的な範囲を有す る構造のために変移位置を選択する; 下記工程において境界線を選択する; 下記工程において各画像間の境界線の各側の違いについて多数の境界線コリ ドール(corridors )、境界の周囲の狭い画素領域を分析する; 同じ集束画像の境界と異なる集束画像間の境界を分離する; 異なる画像間の変移境界である境界線コリドールを補正し、未集束コリドー ル側から集束コリドール側までのスピルオーバー(spill over)を減らす; 異なる焦点画像間の境界である境界線で変移位置を規定する; 下記工程において他の画像からより良い焦点を有する画素の表示のための境 界線間の領域を分析する; 異なる隣接画像に属する構造間の変移位置を規定する; かなり減少したしぼりで又はチルトされた焦点面で写真を撮られた加えられ た画像からの情報を使用することによって画像間の境界線コリドール及び他の変 移位置を選択的に補正する; 他の画像から規定された構造を全く含有せず光及び色の遅い変化を含有する領 域を通して同じ画像について追加の変移位置を選択する; 光レベルの連続性を維持しながら異なる画像間の変移位置を通して新しく作ら れた基本画像を構築する。 2. 光又は色の強さの導関数、相対導関数、差、及びそれらの組合せ又は商を 選択的に使用して光又は色の変化のスピードを分析することをさらに含む請求の 範囲1記載の方法。 3. 下記工程において異なる集束画像間の境界を横切る未集束スピルオーバー の補正のための減少したしぼり又はチルトされた画像面の方法を使用することを さらに含む請求の範囲1記載の方法: 境界を選択し、そこでそれらの方法は境界の両側で集束画像を与える; 一つの側の集束画像へのスピルオーバーを計算及び減少した後、境界表示のた めのこの両側の集束画像又は境界コリドールの一つの側の集束画像を選択する。 4. 下記工程において新しい基本画像を連続的に構築することをさらに含む請 求の範囲1記載の方法: 選択された画像の選択された集束画素で開始する; 隣接する画像と比較しながら調査された領域を速続的に増大する; 画素が別の画像でよりシャープになるとき画像の変移を行う; 現在の画像からの領域で新しい基本画像領域を増大する; フロント像で選択的に開始し、続いてバックグラウンドに向かって作業をする 。 5. 画像境界線の濃度を数え、大きな低濃度領域のために低濃度方策を選択し 、小さな高濃度領域のために高濃度方策を選択する工程において方策を選択して 新しい基本画像を構築し;領域を横切る変移位置を規定することによって密接な 関係のある境界線と選択された画像の選択された境界線を連結し、閉じられた画 像領域を新しい基本画像に移行する工程において低濃度方策を構築することをさ らに含む請求の範囲1記載の方法。 6. オペレーターとの対話のためのコンピューター手段、マンマシンインター フェースMMIを含み、下記工程をオペレーターが選択的に行うことによって画 像処理の複雑性を減らすことをさらに含む請求の範囲1記載の方法: コンピュータースクリーン上でどの画像からどの部分が新しい基本画像に移行 されるべきかを規定し、主に未集束境界及び位置の部分の最終補正及び画像整合 に対する処理を減らす; 画像整合のために異なる画像からディテールを選択する; 新しい画像構築のために異なる領域のための方策を選択的に規定する。 7. 境界、縁などの未集束幅を測定し、続いて選択的にシャープな集束画素の 画像位置を評価することによって他の画素に対してもシャープネスを補正するこ とを含む請求の範囲1〜3のいずれか記載の方法。 8. 連続画像を使用し、画素の画像面距離及びその面における実際の集束範囲 を計算し、理論的にシャープな画像面の両側の画像において集束されていない画 素のためにそれを使用することを含む請求の範囲1〜4のいずれか記載の方法。 9. 隣接画像から幾何学的構造、線、矩形、円などを内挿又は外挿してその間 の未集束空間の集束を達成し、その方法を選択的に拡張して例えば相関関係の使 用によって得られた画素との比較のためのライブラリに幾何学的構造を記憶する ようにし、良好に一致するとき、幾何学的構造(記号、文字又は符号も含む)が 補正のために使用されることを含む請求の範囲1〜5のいずれか記載の方法。 10. 異なる画像のための位置、スケール、遠近法のうちの少なくとも一つを補 正し、少なくとも二つの画像において対応する画素間の位置比較を実施し、異な る画像間の連続比較を選択的に使用して互いに関連する複数の画像を達成するこ とを含む請求の範囲1〜6のいずれか記載の方法。 11. より大きな焦点距離を有する製品の撮影部分によってセンサー解像度をよ り良好に利用し、製品部分がセンサー領域のより大きな部分をカバーし、下記工 程を含む請求の範囲1〜7のいずれか記載の方法: 同じ又は異なる倍率で製品の他の部分を撮影し、焦点距離に関連する画像距離 も変化し、その異なる画像が基本画像に移行され、全体画像がカバーされ、次い で対応する高解像度でコンピューターの能力が使用され、それはセンサーよりず っと高い解像度を与えることができ、全最終画像をカバーし、異なる画像を選択 的に統合し、題材に対するレンズ光学中心の位置を維持しながらショットし、例 えばターニングポイントとして光学レンズ中心を有するカメラを回転することに よってそれを実施し、画像を重なり合わせることによって画像整合を単純化し、 良く規定された画素が補正のための画素間の比較において含有及び使用され、減 少した焦点距離を有する1以上の画像を撮影し、全画像の本質的な部分が同じ写 真に含まれ、基本画像についての一般的な概観情報に寄与する。 12. カメラのための制御設定、関連する設定を有する画像データの記憶のため の計算ユニット及び複数の画像処理のため及びサイズのスケール、遠近法及び位 置の変化による画像の移行の計算のためのソフトウエアプログラムを含み、下記 のものを含む請求の範囲1〜8のいずれか記載の方法を実施するための手段; カメラ中の配置に対する角度を含む相対位置に関連するレンズ及びセンサーの ための制御設定;画像を選択された基本画像に移行するために各画像写真のため の設定を使用し、設定によって規定されるがそれは必ずしも実際の撮影画像でな くてもよいアルゴリズムを有するプログラム;及びオペレーターの助けでどの画 素がそれぞれの変形画像から使用されるべきかを選択し、それらを基本画像に統 合するプログラムユニット。 13. 下記のものを含む、異なる写真焦点面設定の制御で写真撮影者/オペレー ターを助ける請求の範囲9又は10の手段: 画像中のポイントの位置を規定するための手段;それらのポイントに焦点を合 わせ計算ユニットに焦点を登録するための手段;レンズ及び/又はセンサー設定 のための連続的に対応する値を計算するための計算ユニット中の手段;撮影のた めの設定の制御のための手段;及び制御手段の制御のための計算及び較正に使用 するために例えばポケット計算器又はPCの如き計算ユニットに各制御のための 基本データを記憶するための選択的に追加する手段。 14. 下記のものを含む請求の範囲9〜11のいずれか記載の手段: 写真撮影者がコンピュータースクリーン画像上にポイントを作るための手段; 及び電子制御によって自動的にカメラ設定を計算及び制御するコンピュータープ ログラム。 15. 下記のことを含む、写真フィルムが電子センサーの代わりに使用される請 求の範囲1〜12のいずれか記載の方法及び手段: 対応する方法で撮影し、続いてフィルム写真を走査して電気的に記憶された画 像を得て、その画像を対応する方法で続いて処理する。 16. 下記のことを含む請求の範囲1〜13のいずれか記載の方法: ズーム又はレンズの変更によって選択的に減少した焦点距離を有する写真を加 え、画像変形が題材に対するレンズ光学中心の位置を維持し、より小さい画像を 与え、センサー解像度を十分に利用しないことによって単純化され、一方被写界 の深さが(画像の再拡大によって未集束領域も拡大されるが)改良された焦点を 得る未集束画素及び情報を加えるために使用される画像を増大するための能力及 び他の画像の整合を助けるための能力を有する。
JP52514297A 1996-01-09 1997-01-09 写真のための被写界の深度を増大するための方法及び手段 Expired - Fee Related JP3907008B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SE9600083A SE512350C2 (sv) 1996-01-09 1996-01-09 Ökat skärpedjup i fotografisk bild
SE9600083-1 1996-01-09
PCT/SE1997/000017 WO1997025690A1 (en) 1996-01-09 1997-01-09 Increased depth of field for photography

Publications (3)

Publication Number Publication Date
JP2000503148A true JP2000503148A (ja) 2000-03-14
JP2000503148A5 JP2000503148A5 (ja) 2004-11-11
JP3907008B2 JP3907008B2 (ja) 2007-04-18

Family

ID=20400979

Family Applications (1)

Application Number Title Priority Date Filing Date
JP52514297A Expired - Fee Related JP3907008B2 (ja) 1996-01-09 1997-01-09 写真のための被写界の深度を増大するための方法及び手段

Country Status (6)

Country Link
US (1) US6445415B1 (ja)
EP (1) EP0880755B1 (ja)
JP (1) JP3907008B2 (ja)
DE (1) DE69714969T2 (ja)
SE (1) SE512350C2 (ja)
WO (1) WO1997025690A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE227037T1 (de) * 1997-09-11 2002-11-15 Markus R Mueller Verfahren zur aufnahme und zur abspeicherung optisch erfassbarer daten
JP3695119B2 (ja) 1998-03-05 2005-09-14 株式会社日立製作所 画像合成装置、及び画像合成方法を実現するプログラムを記録した記録媒体
US20010008418A1 (en) * 2000-01-13 2001-07-19 Minolta Co., Ltd. Image processing apparatus and method
SE518050C2 (sv) 2000-12-22 2002-08-20 Afsenius Sven Aake Kamera som kombinerar skarpt fokuserade delar från olika exponeringar till en slutbild
JP2002300459A (ja) * 2001-03-30 2002-10-11 Minolta Co Ltd 反復法による画像復元装置、画像復元方法、プログラム及び記録媒体
US7058233B2 (en) * 2001-05-30 2006-06-06 Mitutoyo Corporation Systems and methods for constructing an image having an extended depth of field
US6741251B2 (en) * 2001-08-16 2004-05-25 Hewlett-Packard Development Company, L.P. Method and apparatus for varying focus in a scene
EP1468314A4 (en) * 2001-12-18 2006-12-13 Univ Rochester ILLUSTRATION USING AN ASPHARIAN MULTI-FUNGI CASE FOR MAINTAINING AN ADVANCED SHARPNESS
SE520949C2 (sv) * 2002-01-15 2003-09-16 Sven-Aake Afsenius Digitalkamera med sökare avsedd för skärpedjupsförbättrad avbildning
US7084910B2 (en) * 2002-02-08 2006-08-01 Hewlett-Packard Development Company, L.P. System and method for using multiple images in a digital image capture device
US7248751B2 (en) * 2004-03-11 2007-07-24 United States Of America As Represented By The Secretary Of The Navy Algorithmic technique for increasing the spatial acuity of a focal plane array electro-optic imaging system
US20060044394A1 (en) * 2004-08-24 2006-03-02 Sony Corporation Method and apparatus for a computer controlled digital camera
US7336430B2 (en) * 2004-09-03 2008-02-26 Micron Technology, Inc. Extended depth of field using a multi-focal length lens with a controlled range of spherical aberration and a centrally obscured aperture
US7493030B2 (en) * 2005-06-24 2009-02-17 Nokia Corporation Adaptive optical plane formation with rolling shutter
US7412158B2 (en) * 2005-08-08 2008-08-12 Nokia Corporation Deeper depth of field for video
US20090015681A1 (en) * 2007-07-12 2009-01-15 Sony Ericsson Mobile Communications Ab Multipoint autofocus for adjusting depth of field
US8325268B2 (en) * 2007-12-28 2012-12-04 Sanyo Electric Co., Ltd. Image processing apparatus and photographing apparatus
WO2009120718A1 (en) * 2008-03-24 2009-10-01 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for controlling depth of field in images
US8497920B2 (en) * 2008-06-11 2013-07-30 Nokia Corporation Method, apparatus, and computer program product for presenting burst images
JP5971954B2 (ja) * 2012-01-12 2016-08-17 キヤノン株式会社 画像処理装置、画像処理装置を有する撮像装置、画像処理方法、プログラム、及びプログラムを記憶した記憶媒体
EP3017334B1 (de) * 2013-07-04 2020-03-04 Leica Microsystems (Schweiz) AG Bilderfassungsverfahren für mikroskopsystem und entsprechendes mikroskopsystem

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8317407D0 (en) * 1983-06-27 1983-07-27 Rca Corp Image transform techniques
US4804931A (en) * 1987-12-11 1989-02-14 Acrodyne Industries, Inc. Digital amplitude modulator - transmitter
DE3905619C2 (de) * 1988-02-23 2000-04-13 Olympus Optical Co Bildeingabe-/Ausgabevorrichtung
US5629735A (en) * 1989-08-20 1997-05-13 Canon Kabushiki Kaisha Image sensing device having a selectable detecting area
JP3429755B2 (ja) * 1990-04-27 2003-07-22 株式会社日立製作所 撮像装置の被写界深度制御装置
US5657402A (en) * 1991-11-01 1997-08-12 Massachusetts Institute Of Technology Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method

Also Published As

Publication number Publication date
JP3907008B2 (ja) 2007-04-18
DE69714969D1 (de) 2002-10-02
WO1997025690A1 (en) 1997-07-17
US6445415B1 (en) 2002-09-03
SE9600083D0 (sv) 1996-01-09
EP0880755B1 (en) 2002-08-28
EP0880755A1 (en) 1998-12-02
SE512350C2 (sv) 2000-03-06
SE9600083L (sv) 1997-07-10
DE69714969T2 (de) 2003-04-24

Similar Documents

Publication Publication Date Title
JP2000503148A (ja) 写真のための被写界の深さを増大するための方法及び手段
CN102959943B (zh) 立体全景图像合成装置和方法、以及图像捕获装置
JP3946030B2 (ja) 写真画像の一部の画像を自動的に生成する方法
US6720997B1 (en) Image generating apparatus
US6456323B1 (en) Color correction estimation for panoramic digital camera
US6677981B1 (en) Motion play-back of still pictures comprising a panoramic view for simulating perspective
US6771304B1 (en) Perspective correction device for panoramic digital camera
US6885392B1 (en) Perspective correction for preview area of panoramic digital camera
US6618511B1 (en) Perspective correction for panoramic digital camera with remote processing
US6717608B1 (en) Motion estimation for panoramic digital camera
CN101276415A (zh) 用多定焦摄像机实现多分辨率图像采集的装置和方法
CN111355878A (zh) 一种终端、拍摄方法及存储介质
JPH09181966A (ja) 画像処理方法及び装置
JP2002335438A (ja) デジタル画像のパースペクティブ歪みを除去するディジタルカメラ
WO1997025690B1 (en) Increased depth of field for photography
CN104320590A (zh) 一种分屏图像处理方法、装置及客户端
CN113744133A (zh) 一种图像拼接方法、装置、设备及计算机可读存储介质
CN108933890A (zh) 一种背景虚化方法、设备及终端
US5572633A (en) Key-subject alignment method and printer for 3D printing utilizing a video monitor for exposure
Kwon et al. All-in-focus imaging using average filter-based relative focus measure
JP2012128448A (ja) 撮影装置、合成画像作成方法及びプログラム
JP2020160773A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2015118274A (ja) 撮像装置、その制御方法及びプログラム
US4255033A (en) Universal focus multiplanar camera
CN1504046A (zh) 高分辨率增加的成像方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040106

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040106

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050906

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20050926

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20051227

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20051227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060801

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070111

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110126

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110126

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120126

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120126

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130126

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140126

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees