JPH10271378A - 改善された性能特性を有するディジタル画像を生成する方法 - Google Patents

Abstract

(57)【要約】 【課題】 異なる媒体の特性を利用して画像を結合する
ことにより改善された性能特性を有する画像を生成する
方法を提供することを目的とする。 【解決手段】 改善された性能特性を有するディジタル
画像は、シーンの写真画像を生成し、同じシーンの電子
画像を生成し、シーンのディジタル化された写真画像を
生成するよう写真画像を走査し、改善された性能特性を
有する他のディジタル化された画像を生成するよう、デ
ィジタル化された電子画像とディジタル化された写真画
像とを結合し、処理することによって形成される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えばハイブリッ
ドカメラによって生成されうる、改善されたディジタル
画像を生成する方法に関する。

【０００２】

【従来の技術】従来の技術によれば、写真画像は標準的
な写真カメラによって写真フィルム上に捕捉される。ま
た、電子画像は電子カメラによって電荷結合デバイス
（ＣＣＤ）といった画像センサ上に捕捉される。これら
のシステムは夫々、多くの利点及び多くの制限によって
特徴づけられている。写真画像は典型的には高い解像度
であるが、フィルム粒子に関連する雑音を有しうる。更
に写真フィルムは光に対して低い感度を有し、従って最
適な性能で使用されうる状況を制限する。一方、画像セ
ンサは光に対する高い感度と、写真フィルムに関連する
雑音とは異なる雑音特性を有する傾向があるが、典型的
には写真画像の解像度よりも実質的に低い解像度の画像
を生成する。

【０００３】

【発明が解決しようとする課題】本発明は、異なる画像
捕捉装置又は媒体の利点を最適にすることによって改善
されたディジタル画像を提供し、上述の問題をなくすこ
とを目的とする。

【０００４】

【課題を解決するための手段】上述の目的は、（ａ）シ
ーンの写真画像を生成する段階と、（ｂ）同じシーンの
ディジタル化された電子画像を生成する段階と、（ｃ）
シーンのディジタル化された写真画像を生成するよう上
記写真画像を走査する段階と、（ｄ）改善された性能特
性を有する他のディジタル画像を生成するよう、上記デ
ィジタル化された電子画像と、上記ディジタル化された
写真画像とを結合し、処理する段階とからなる、改善さ
れた性能特性を有するディジタル画像を生成する方法に
よって達成される。

【０００５】

【発明の実施の形態】ハイブリッドカメラという用語
は、例えば写真フィルム及び電子画像センサ上に画像を
形成する少なくとも２つの別々の画像捕捉媒体が存在す
ることを意味する。ここで図１を参照するに、ハイブリ
ッドカメラ本体１と、カメラレンズ３ａ及び３ｂと、合
焦機構６と、セルフリターン式の押しボタンスイッチを
含むシャッタスイッチ７と、巻き上げレバー８と、シャ
ッタ速度ダイアル９と、フィルム巻き戻しノブ１０と、
フィルム感度ダイアル１２とを有するハイブリッドデュ
アルレンズカメラが示されている。これらの構成部品
は、通常のカメラの部品と同じである。

【０００６】ここで図２の（ａ）を参照するに、スルー
・ザ・レンズ（ＴＴＬ）自動露光機能（図示せず）を含
み、反射鏡１６と、サブミラー１８と、シャッタカーテ
ンＳＴと、フィルムカートリッジ２２の中に配置される
フィルム２０とを含む通常の構造を有するハイブリッド
カメラの断面図が示されている。フィルムカートリッジ
２２はカメラ本体から取り外し可能であり、カメラ本体
には、このフィルムカートリッジと略同じ設計の新しい
フィルムカートリッジ２２が挿入されうる。この新しい
カートリッジは、磁気テープを含む。このカートリッジ
が使用される場合、線形磁気ヘッド配列３６が作動され
る。

【０００７】ここで図２の（ｂ）を参照するに、図２の
（ａ）に示される合焦レンズのうちの１つ、即ちレンズ
３ｂの代わりに使用されうるビームスプリッタ装置が示
されている。この実施例では、カメラレンズ３ａは画像
をコリメートレンズ３ｃに投射する。コリメートレンズ
３ｃはコリメートされた光線をビームスプリッタ４に投
射する。ビームスプリッタ４は、画像を互いに直角であ
る２つの方向に分割する。合焦レンズ３ｄは、ビームス
プリッタ画像のうちの１つを写真フィルム平面３０上に
合焦し、合焦レンズ３ｅは他の画像を電子画像センサ２
５上に合焦する。

【０００８】従来の技術で周知であるように、フィルム
２０の基板はその裏面を覆う透明な磁気層を有しうる。
ヘッドインタフェース電子装置４０（図４及び図５参
照）の制御下にある他の磁気ヘッド３８は、透明な磁気
記憶層に情報を読み書きするために使用されうる。ヘッ
ドインタフェース電子装置４０は、従来の方法で、線形
磁気ヘッド配列３６又は磁気ヘッド３８に信号を与えう
る。線形磁気ヘッド配列３６及び磁気ヘッド３８につい
て２つの別々の装置が説明されるが、当業者によってこ
れらのヘッドの機能を与えるために単一の磁気ヘッドユ
ニットが使用されうることが明らかであろう。磁気ヘッ
ド３８は典型的には、フィルム２０上にデータトラック
Ｃ１及びＣ２に対応する２つのトラックを含む。この装
置は、以下図５を参照して詳述される。より完全な開示
については、例えば本出願人の米国特許第５，１３０，
７４５号を参照のこと。

【０００９】ハイブリッドカメラ本体は、カメラレンズ
３ｂの軸に一致するよう配置される電子画像センサ２５
を含み、プリント回路板２６に搭載される半導体チップ
２７に電気的に接続される。本実施例では、ハイブリッ
ドカメラのフィルム及び電子部分のための夫々の後方カ
バー２８及び２９は別々に設けられる。周知のように、
カートリッジ受容構造３１はハイブリッドカメラ本体１
の中に設けられ、本発明によれば写真フィルム又は磁気
テープのいずれかを有するカートリッジを受容しうる。

【００１０】本発明によれば、画像は２つの異なる媒
体、即ち写真フィルム及び電子画像センサ２５上に同時
に撮像される。これら２つの画像は同じシーンのもので
あるが異なる位置から撮像されており、以下説明される
ように改善された画像を計算するときに使用されうる。
典型的には、ディジタル化されるべき写真画像は、電子
画像センサ２５の解像度よりも高い解像度を有する。以
下詳述されるように、これら２つの画像はディジタル式
に位置合わせが行われ、次に単一の改善された出力画像
を提供するよう処理される。

【００１１】図３は、ハイブリッドカメラ本体１の中の
様々なシステムを示すブロック図である。図示されるよ
うに、被写体Ｓはカメラレンズ３ａ及び３ｂの前に配置
される。被写体の画像は、写真フィルム又は磁気テープ
を含むフィルムカートリッジ２２のカメラレンズ３ａに
よって写真フィルム平面３０上に合焦される。被写体Ｓ
の画像はまた、カメラレンズ３ｂ及び他の光学要素（図
示せず）によって電子画像センサ２５上に合焦される。
電子画像センサ２５はフルフレームの電荷結合デバイス
（ＣＣＤ）、或いは例えばインタラインＣＣＤへ電荷を
送るよう適合されたフォトダイオード画素といったイン
タラインデバイスでありうる。従来の電子回路（図示せ
ず）は、電子画像センサ２５に関連する。電子画像セン
サ２５が被写体Ｓの画像を表わす光を受け取った後、回
路は電子信号を組み立て、捕捉し、電子画像センサから
ディジタル化及び画像処理のための回路へ転送する。そ
のような電子装置は従来の技術によって周知であり、明
瞭性のため説明を省略する。

【００１２】制御回路３２は、画像記憶一時メモリ３３
からディスプレイインタフェース電子装置４２へ画像を
転送するよう適合される。ディスプレイインタフェース
電子装置４２はディスプレイ制御器４４へディジタル画
像を送る。ディスプレイ制御器４４は次に、ディスプレ
イ装置４６といったディスプレイ装置上に選択された画
像を表示させる。画像記憶一時メモリ３３が完全にロー
ドされているとき、制御回路３２はディスプレイインタ
フェース電子装置４２に対して適当な信号を発信し、こ
の信号によりディスプレイ制御器４４はユーザに対して
画像記憶一時メモリ３３がいっぱいであることを示す情
報をディスプレイ装置４６上に表示させる。次にユーザ
はキーボード４１を通じて、ディスプレイインタフェー
ス電子装置４２の中の画像を転送するか、フィルムカー
トリッジ２２を巻き戻し、磁気テープを含むフィルムカ
ートリッジ２２を挿入するかを決定する。そのような種
類のディスプレイ構造の装置は従来の技術で周知であ
り、カシオQV-10 ディジタル静止カメラといった多くの
市販のカメラで使用されている。

【００１３】動作において、ハイブリッドカメラのシャ
ッタ機構３４ａ及び３４ｂ（破線によって図示）は同時
に動作され、被写体Ｓの画像は、写真フィルムへの記録
のために写真フィルム平面３０へ、及び電子画像センサ
２５に向けられる。シャッタの動作は図３において最も
よく図示されるように、入出力装置４３の制御下で、磁
気カートリッジがカメラに装填されているとき、シャッ
タ機構３４ａは動作不能にされ、被写体からの光が写真
フィルム平面３０を照射することを防ぐ。線形磁気ヘッ
ド配列３６は、磁気テープ上の前もって記録された信号
の有無を検出する。当業者によって周知であるように、
画像記憶一時メモリ３３は多数の画像を記憶しうるトラ
ンジスタを含みうる。画像がフィルム上に撮像されるた
びに、対応する画像は画像記憶一時メモリ３３に記憶さ
れる。カメラ自体の外部にあり、制御回路３２の直接の
制御の下で信号を受けるか、又は送りうる他の一時外部
メモリ３４が図示されている。

【００１４】線形磁気ヘッド配列３６は、ヘッドインタ
フェース電子装置４０の制御下にある。本発明によれ
ば、磁気テープを有するフィルムカートリッジ２２がカ
メラに挿入された後、磁気ヘッド３８は磁気テープを有
するフィルムカートリッジ２２の有無を検出し、ヘッド
インタフェース電子装置４０に対して磁気テープが現時
点においてカメラ内に存在することを示す信号を供給す
る。ユーザによる制御下で、図１に示されるようにカメ
ラ本体に取り付けられたキーボード４１は、入出力装置
４３を通じて、画像を表わすデータを選択的にヘッドイ
ンタフェース電子装置４０へ転送させる制御回路３２へ
送信する。ヘッドインタフェース電子装置４０は次に、
線形磁気ヘッド配列３６を通じてそのような画像データ
の書込みを制御する。キーボード４１もまたカメラの外
部に取り付けられ得る。

【００１５】更に特定的には、キーボード４１は、画像
記憶一時メモリ３３から選択された画像を制御回路３２
及びヘッドインタフェース電子装置４０を通じて線形磁
気ヘッド配列３６へ転送するよう、制御回路３２に対し
て信号を送る。線形磁気ヘッド配列３６はそのような画
像を磁気テープに記録する。ハイブリッドカメラ本体１
の出力は、写真フィルム画像、及び電子画像センサ２５
によって異なる位置で捕捉され、続いて磁気テープ上に
記憶される同じシーンの画像である。これら２つの媒体
は次に改善された画像を生成するために使用される。更
に特定的には、以下詳述されるように、磁気テープから
の対応する画像と、写真フィルムからのディジタル化さ
れた画像とは結合され、処理される。

【００１６】ここで図４を参照するに、制御回路３２の
より詳細なブロック図が示されている。制御回路３２
は、キーボード４１の制御下にある入出力装置４３から
入力を受信するとして図示されている。制御回路３２の
外部には、全て図３を参照して上述された、ヘッドイン
タフェース電子装置４０と、一時外部メモリ３４と、デ
ィスプレイインタフェース電子装置４２とが示されてい
る。更に、マイクロプロセッサ４８に電力を供給する電
源４７が図示されている。マイクロプロセッサ４８は入
出力装置４３から入力を受信し、タイミング発生器１０
０に制御信号を与える。タイミング発生器１００は、Ｃ
ＣＤドライバ１０２と、アドレス発生器１０４と、信号
処理回路１１０とを制御し、またアナログ・ディジタル
変換器（Ａ／Ｄ）１０６と、ディジタル・アナログ変換
器（Ｄ／Ａ）１０８と、ディスプレイインタフェース電
子装置４２とに信号を与える。ＣＣＤドライバは電子画
像センサ２５を制御する。電子画像センサ２５は次に、
アナログ信号処理回路１１２にアナログ信号を与える。
アナログ信号処理回路１１２はアナログ・ディジタル変
換器１０６に信号を送り、アナログ・ディジタル変換器
１０６はディジタル信号処理回路１１０へディジタル信
号を送る。ディジタル信号処理回路１１０は、画像記憶
一時メモリ３３に入力を与える。アドレス発生器１０４
は、一時外部メモリ３４又はディジタル・アナログ変換
器１０８のいずれかにディジタル情報を送る。ディジタ
ル・アナログ変換器１０８は、タイミング発生器１００
の制御下で、ディスプレイインタフェース電子装置４２
に入力信号を与える。タイミング発生器１００からの信
号に応答して、ディスプレイインタフェース電子装置４
２は、図３に図示されるディスプレイ制御器４４に画像
信号を送る。

【００１７】ここで図５を参照するに、ヘッドインタフ
ェース電子装置４０のより詳細なブロック図が示されて
いる。図５には、本発明によるフィルムへのデータの磁
気記録に関連するハイブリッドカメラ本体１の部分が示
されている。上述のように、制御回路３２はカメラ動作
の様々な機能を制御する。制御回路３２の中で、日付、
時間、露光情報、シーンの向き、及びフレームフォーマ
ットといった他のデータが既知の方法で与えられうる。
ＥＥＰＲＯＭによって提供されうる画像記憶一時メモリ
３３は、画像データを磁気テープに書き込む前に記憶す
る。モータドライブ５０は、フィルムカートリッジ２２
の内部スプール５１及び巻き上げスプール５２に機械的
に連結される。スプール５１及び５２の詳細な構造は従
来どおりである。制御回路３２のマイクロプロセッサ４
８の制御下で動作するモータドライブ５０は、各画像フ
レーム５５が露光された後に、フレームごとに、フィル
ムカートリッジ２２から巻き上げスプール５２へ矢印５
４によって表わされる第１の方向にフィルム２０を進め
る。全てのフレームが露光されると、モータドライブ５
０は、１回の連続的な動きで、巻き上げスプール５２か
らフィルムカートリッジ２２へ矢印５６によって表わさ
れる第２の方向にフィルムを巻き戻すよう動作可能であ
る。検出器回路６０は、フィルムのフレーム毎の進行を
制御し、データトラックＣ１及びＣ２にデータを記録す
るために開口Ａ及びＭを感知するよう、制御回路３２
と、光センサ６２及び６４との間に結合される。検出器
回路６０及び制御回路３２と共に、光センサ６４は、画
像フレーム５５をカメラ露光ゲート（図示せず）の中に
正確に配置するよう、計量送り孔Ｍの検出に応答する計
量センサとして作用する。光センサ６４は、フィルムが
送られる時のフィルムの速度を感知するよう、先行送り
孔Ａの検出に応答する速度センサとして作用する。平行
な縦のデータトラックＣ１及びＣ２の中のデータ記録
は、制御回路３２のマイクロプロセッサ４８の制御下で
ヘッドドライブ６６によって駆動される磁気ヘッド３８
によって達成される。

【００１８】フィルム２０及びこのフィルム上の磁気記
録層は、上述の米国特許第５，１３０，７４５号に詳述
される。磁気ヘッド３８の動作のより完全な説明につい
ては、１９９５年９月１２日にCocca に対して交付され
た、「Photographic Cameraand Method for Recording
Magnetic Data on Film」なる名称の米国特許第５，４
５０，１４９号を参照のこと。ハイブリッドカメラ本体
１の中に配置されるフィルムレール及びゲートフレーム
構造のより完全な説明については、米国特許第５，５０
２，５２８号を参照のこと。本発明に使用されうる磁気
テープのより完全な説明については、本出願人の１９９
６年５月２９日に出願された米国特許出願第０８／６７
２，３９０号を参照のこと。従来のビデオ又はオーディ
オテープカセットにみられる高密度強磁性構造を含むこ
とが理解される。そのような構造の例として、McIntyre
他によって１９９６年４月２４日に出願された、「A No
n-Photographic Strip Having a Base Layer Similar t
o a Photographic Filmstrip and a Magnetic Recordin
g Layer 」なる名称の、本出願人の米国特許出願第０８
／６３７，１１６号を参照のこと。

【００１９】磁気テープの前縁は、内部スプール５１を
含むフィルムカートリッジ２２のテープ供給側から、巻
き上げスプール５２を含むカメラの巻き上げ側へ押し進
められる。スプールはモータドライブ５０の制御下にあ
る。このモータドライブ５０は制御回路３２の中のマイ
クロプロセッサ４８によって制御される。一度磁気テー
プ上に情報が記録されると、テープの動きはヘッドギャ
ップ内の磁束に変化を誘導し、これは従来の技術で周知
であるように情報を交換させる。従って、線形磁気ヘッ
ド配列３６は、記録モード及び再生モードの両方で動作
しうることが明らかである。線形磁気ヘッド配列３６
は、信号を記録するが、再生モードでは信号を受信する
ためにも適合される。図４に示されるように、再生モー
ドでは、ヘッドインタフェース電子装置４０はマイクロ
プロセッサ４８にデータを送る。その後、マイクロプロ
セッサ４８は、上述のようにデータの更なる処理のため
に、データバス１１６を通じてデータを画像記憶一時メ
モリ３３又は一時外部メモリ３４のいずれかへ送る。

【００２０】動作上、多数の画像が写真フィルム上に記
録された後、操作者はキーボード４１を操作し、シャッ
タ機構３４ａ及び３４ｂを使用不能にさせ、モータ５０
に露光されたフィルムをフィルムカートリッジ２２の内
部スプール５１の中へ巻き戻しさせる。ここでフィルム
カートリッジ２２をカメラから取り除くことができ、磁
気テープを有する他のフィルムカートリッジ２２がカメ
ラの中の挿入されるか、又は、写真フィルムを含む他の
カートリッジがカートリッジ受容構造３１の中に挿入さ
れうる。操作者が使用可能な写真フィルムを持っていな
いときは、操作者はもちろん、磁気テープを含むフィル
ムカートリッジ２２をカメラに挿入し、そのようなテー
プ上に直接記録しうる。

【００２１】ここで図６を参照するに、ハイブリッドカ
メラ本体１によって生成された写真フィルム７６からの
画像をディジタル化するフィルムスキャナ７４を含むブ
ロック図が示されている。市販されているフィルムスキ
ャナの例は、イーストマンコダック社によって製造され
るＲＦＳ２０３５フィルムスキャナである。フィルムス
キャナ７４は写真画像のディジタル画像を生成し、それ
らを中央処理装置７８へ送る。写真フィルムは、ネガフ
ィルム又はポジフィルムのいずれかでありうる。磁気テ
ープリーダ８０は、テープ上に記憶されたディジタル画
像を読み取り、これらの画像を中央処理装置７８へ与え
る。フィルム及びテープ上の磁気画像の中には、コンピ
ュータが連続する画像処理を実行するときに、同じシー
ンの画像を数値的に相関させ得るよう、識別番号が記憶
されている。コンピュータは、本発明によって画像を処
理した後、ディジタルハードコピー出力プリンタ８２に
出力信号を生成する。ディジタルハードコピー出力プリ
ンタは従来の技術で周知であり、インクジェットプリン
タ、サーマルプリンタ等の形を取りうる。

【００２２】ここで図７を参照するに、改善された特性
を有する結合されたディジタル画像を生成するためのア
ルゴリズムのフローチャートが示されている。まず、フ
ィルム画像はフィルムスキャナ７４によって走査され、
ディジタル化され、中央処理装置７８に与えられる。更
に、ディジタル化された電子画像は磁気テープリーダ８
０によって読み取られ、中央処理装置７８に与えられ
る。このアルゴリズムは中央処理装置７８の中で実施さ
れているが、このアルゴリズムはまた、例えば磁気ディ
スク（フロッピディスク）又は磁気テープといった磁気
記憶媒体、光ディスク、光テープ又は機械読み取り可能
なバーコードといった光学記憶媒体、ランダムアクセス
メモリ（ＲＡＭ）又は読み出し専用メモリ（ＲＯＭ）と
いった半導体記憶装置等のコンピュータプログラム物の
中に記憶されうる。

【００２３】次の段階は、これら両方の同じシーンのデ
ィジタル画像を共通色空間に変換することである。両方
の画像は同じシーンのディジタル描写であるが、２つの
捕捉システム、即ちフィルム画像センサ及び電子画像セ
ンサは、典型的には異なるスペクトル感度を有し、従っ
て、色情報は２つのシステムの中の色チャネルの間で異
なって割り当てられる。両方の画像は、当業者によって
周知の技術である、色マトリックス及びルックアップテ
ーブル（例えばW.K.Pratt による１９７８年Wiley Inte
rscience社出版の「ディジタル画像処理（Digital Imag
e Processing）」の５０乃至９３頁参照）、又は３次元
ＬＵＴによって共通色調スケールを有する共通色空間へ
変換されるべきである。

【００２４】ブロック１２０では、これらの変換された
画像の夫々の画素数は実質的に画素数について一致され
ねばならない。換言すれば、共通画素数がなくてはなら
ない。もちろん、走査された写真画像の中の画素数は、
典型的に電子画像センサからの画素数よりもはるかに多
いことが理解される。この共通画素数への変換を行なう
ために、より少ない画素数の画像は、他の画像の画素数
に一致されるよう例えば２−３次元補間方法によってサ
ンプル数が増加される。空間関数適合、コンボリューシ
ョン及びフーリエ領域フィルタリングといった他の種類
の補間技術もまたディジタル化された画像のサンプル数
を増加するために使用されうる。これらは従来の技術に
よって周知であり、例えば既に引用されたW.K.Pratt の
１１３乃至１１６頁で説明されている。

【００２５】ブロック１２２では、ディジタル画像に対
して大域ジオメトリの差を修正するための修正が行われ
る。即ち、全ての幾何学的な変形は、１つの画像内の全
ての画素に適用される場合、その画像のジオメトリが他
の画像のジオメトリの上に略マップされることを可能に
する。そのような変形の例は、平行移動、回転、拡大縮
小、アスペクト比、及び写真フィルム及び電子画像セン
サに使用される異なるレンズ系の幾何学的効果である。
この修正は、１つの画像が他の画像のジオメトリにマッ
プされることを可能にするよう、１つの画像にのみ適用
される必要があることが理解される。またこの修正の適
用に関連して、特に鮮明度といった画像品質がわずかに
失われ得るため、修正は通常、ブロック１２０において
より少ない画素を有していた方のディジタル画像に対し
て適用される。

【００２６】修正は典型的には３つの段階を含む。第１
の段階は、画像対の中の任意の場所における２つの画像
の間の局所的なｘ，ｙ変位を特徴づける、典型的には副
画素の精密度を有する変位ベクトルの組の発生である。
従来の技術によって周知である（１９９１年McGraw-Hil
l 社出版のG.Thomasによる「Motion and Motion Estima
tion」４０乃至５７頁の、D.Pearson 編集の第３章「画
像処理」を参照のこと）ブロックマッチング及び差分方
法を含む様々な技術が適当であるが、この用途に対する
望ましい技術は位相相関である。位相相関技術のより完
全な開示については、上述のPearson の同じ箇所と、１
９９４年１１月７日に出願された米国特許出願第０８／
３３４，９８５号とを参照のこと。位相相関は、シーン
の記録時に雑音及び輝度の変化が存在する場合に対して
強い変位ベクトルを発生する方法を提供する。

【００２７】第２の段階は、上記の変位ベクトルの組
を、一般化された幾何学的変形として解釈することであ
る。ここでは、３つの共通に生ずる変形、即ち平行移
動、拡大（ズーム）及び画像平面の中での回転が説明さ
れるが、剛体の全ての幾何学的変形を解釈するために同
様の方法が使用されうることが理解される。平行移動の
場合、変形は単純に、変位ベクトルの組の中で最も頻繁
に生ずるｘ，ｙ変位として定義される。そうでなけれ
ば、１つの画像内の位置（ｘ₁ ，ｙ₁ ）及び（ｘ₂ ，ｙ
₂ ）を夫々第２の画像内の（ｘ₁ ’，ｙ₁ ’）及び（ｘ
₂ ’，ｙ₂ ’）へマップするベクトルの組から、２つの
別々の平行移動ベクトルが得られる場合、次の変形が定
義されうる。原点が（ａ，ｂ）のとき、原点に対してｍ
（ｍ≠１）倍の拡大は、

【００２８】

【数１】

【００２９】として定義される。従って、平行移動ベク
トルの対を代入し、書き換えることにより、

【００３０】

【数２】

【００３１】が得られる。中心が（ａ，ｂ）のとき、中
心に対して角度φに亘る回転の一般化された等式は、

【００３２】

【数３】

【００３３】であり、これはａ，ｂ，φを得るために平
行移動ベクトルを代入することによって同様の方法で解
くことができ、他の変形も同様である。第３の段階は、
第２の段階で与えられる計算されたパラメータ及び変形
等式による、画像の対のうちの１つの幾何学的な変形で
ある。典型的に、これは上述において参照された補間技
術に類似する位相シフト空間補間、又は米国特許出願第
０８／６４１，７０９号に記載される種類の技術を使用
して達成される。

【００３４】このアルゴリズムの最も簡単な実施では、
画像は例えばブロック１２８に示されるように、画素に
ついての数値的又は幾何学的平均によって結合される。
しかしながら、上述の簡単な結合の中の局所領域は多く
の場合、例えば２つの画像間の局所ジオメトリの差から
生ずる劣った品質を有する。この問題に対する簡単な解
決法は、これらの局所領域を検出し、画像がこれらの局
所領域の中で結合される方法を変えることである。特
に、各画素位置で測定された２つの画像間の差が（電子
記録媒体及び／又はフィルム記録媒体の固有の雑音特性
に依存して）特定の許容度の範囲内にあるとき、２つの
画像の画素値は平均される。ディジタル化されたフィル
ム画像及びディジタル化された電子画像の同じ位置の画
素値の間の差がこの許容度の範囲内にないとき、その位
置における合成された画像のための値を与えるよう、
「デフォルト」画像の画素値が選択される（「デフォル
ト」はいずれかの画像である。この選択は、用途に応じ
て局所雑音又は局所鮮明度に基づいて行われるが、１つ
の画像は画像の任意の対、又は画像の対の中の各局所領
域のいずれかのデフォルトとして一貫して使用され
る）。

【００３５】上述の許容度を超える局所領域において改
善された画像品質を与えるため、ブロック１２４に示さ
れるように、共通局所ジオメトリは変換される。再び、
これらの局所修正は、１つの画像が他の画像のジオメト
リ上にマップされることを可能にするよう、画像のうち
の１つに対してのみ適用される必要があり、修正は通
常、ブロック１２０において最初により少ない画素を有
する方のディジタル化された画像に対して適用される。
局所ジオメトリ内のこれらの差の測定は、大域変位の測
定に使用される技術と同様の技術によって達成され、修
正されるべき画像内の各画素に対する、例えば位相相関
技術によって捕捉される変位ベクトルの割り当てを含
む。１つの画像内の各画素の値を第２の画像内の対応す
る画素位置上にマップする割り当てられたベクトルの合
成配列は、概してベクトル場と称される。この方法は周
知であり、例えば１９９１年McGraw-Hill 社出版のG.Th
omasによる「Motion and Motion Estimation」５３乃至
５４頁、D.Pearson 編集の第３章「画像処理」で説明さ
れる。

【００３６】ここで画像の対は、まず１つの画像をベク
トル場による空間補間によって修正し、次に同じ位置の
画素値を画素毎に平均することによって２つの画像を結
合することにより、結合されうる。或いは、画素毎に２
つの画像の平均を行うことによってこれら２つの段階を
同時に実行することがより効率的であり得るが、これは
対応する画素位置がベクトル場によって定義されている
ときのみ実行されうる。上述の説明は、既に共通大域ジ
オメトリに変換された２つの画像間の局所ジオメトリの
中の差を修正するためのベクトル場の使用に関するが、
大域ジオメトリ及び局所ジオメトリの両方の差を同時に
測定し修正しうるベクトル場が発生されうることが当業
者によって明らかとなろう。

【００３７】改善された鮮明度及び減少された雑音は、
ブロック１２６において、より多くの高空間周波数情報
を含む画像に対して高域通過フィルタを適用することに
よって達成される。電子画像センサ２５がより少ない高
空間周波数情報を有する画像を生成する場合、高域通過
フィルタは、周知の技術（例えば１９７５年Prentice-H
all 社のRabiner 及びGold著の「Theory and Applicati
on of Digital SignalProcessing 」で説明される）を
使用して設計されうる。この高域通過フィルタは、電子
画像センサ２５と、関連する光学系と、画素数及びジオ
メトリを修正するための連続する空間フィルタリング動
作とを含む装置の縦続する空間周波数応答に対して相補
的な空間周波数応答を有するべきである。上述の段落で
説明されたことにより、ディジタル画像はブロック１２
８において、高域通過フィルタリングされたディジタル
画像と高空間周波数においてより少ない情報を含むディ
ジタル画像とを加えることによって結合される。

【００３８】シーンの１つ以上の描写が捕捉されるた
め、様々な性能特性を改善させるシーン露光条件を選択
することが可能である。１つの例として、電子捕捉画像
及びフィルム捕捉画像が同じ焦点位置にない場合が挙げ
られる。殆どのシーンは典型的にはカメラから異なる距
離にあるシーン対象を有し、従ってしばしば、特に大き
い開口（小さいレンズＦナンバー）の場合、シーンの一
部分のみが合焦されて捕捉される。更に局所的に２つの
異なって合焦された画像のうちのより鮮明な方が局所的
に選択される上述のような画像結合方法を使用すること
により、より多くのシーン対象が入力画像のいずれより
もより鮮明である結合された画像が生成される。この場
合、２つの画像のうちの「より鮮明な画像」は、より高
い局所信号対雑音比を有する方の画像として定義され、
これは例えば、各画像に対して、高域通過フィルタリン
グされた画像の大きさと、空間周波数の同じ大域に亘っ
て測定される対応する画像捕捉手段に対する先験的な雑
音レベルとを比較することによって決定される。或い
は、共通大域ジオメトリ及び共通局所ジオメトリに変換
した後に、ディジタル高域通過フィルタ及びディジタル
低域通過フィルタによって、ディジタル化された電子画
像とディジタル化された写真画像の夫々を、高空間周波
数成分及び低空間周波数成分に分割することが可能であ
る。両方の画像の低周波成分は平均することによって結
合され、２つの異なって合焦された画像のうちのより鮮
明な方の画像の高周波成分は、局所的に、上述の規準に
よって選択され、改善された雑音及び鮮明度性能を有す
る結合された画像を生成するよう低周波数の結合に加え
られる。

【００３９】第２の例は、ディジタル化された画像が同
じ被写界深度を有さないときに生ずる。画像捕捉システ
ムの被写界深度は、レンズ焦点距離及び開口（Ｆナンバ
ー）の両方の関数である。これは電子画像センサ２５の
感光領域がフィルムの感光領域よりも小さい場合であり
うる。この場合、電子画像センサ２５は（シーンの同じ
観測角に対して）より短い焦点距離の図３のカメラレン
ズ３ｂを使用し、従って、所与のＦナンバーに対してよ
り大きい被写界深度を有する。画像が異なる焦点位置で
捕捉されるときに捕捉される性能と同様の、改善された
性能が達成されうる。この場合、局所的な鮮明度の差
（改善された信号対雑音比）は異なる被写界深度（又は
被写界深度と焦点位置との組み合わせ）での捕捉から生
じている。この変形は、大きなレンズ開口が使用される
場合、例えばシーンの照明が暗いとき、又は非常に短い
露光時間が要求されるとき、例えば画像のぶれなしに速
い移動運動を捕捉するために特に有用であり得る。

【００４０】画像性能の更なる改善は、他の種類の画像
結合を使用することによって達成されうる。例えば、電
子画像センサ（ＣＣＤ）及び他の電子捕捉装置は、単一
の捕捉サイト（ＣＣＤ画素）において３つの別々の色チ
ャネルを感知し、完全に分離し、形成することができな
い。一方フィルムでは多重の銀ハライド層を重ねること
ができるため、多チャネル捕捉が可能である。この制限
の下、ＣＣＤ及び他の電子捕捉媒体は典型的に、カラー
画像を捕捉するため、感光素子の総数を少なくとも３つ
の異なる感色型（例えば、赤、緑、青、又はシアン、
黄、緑、白）に割り当てねばならない。画像処理アルゴ
リズムは、フルカラーの画像を再構築するために使用さ
れるが、基本的に、カラー画像を捕捉するために空間解
像度が失われる。電子画像捕捉装置によって１つ又は２
つの色のみが捕捉された場合、より多くの空間解像度が
捕捉されるが、それ自体ではフルカラーの画像とはなら
ない。同様に、フィルムがフルカラーの画像を形成する
ために必要とされる少なくとも３つの色記録を捕捉しな
い理由（製造費用など）があり得る。上述の両方の場
合、画像はフルカラー画像を達成するために結合されう
る。

【００４１】例えば、白黒フィルム、又は緑の光のみに
感度を有するフィルムは、カラー画像を形成するために
赤及び青（例えばＣＣＤ上の赤・青の市松模様のパター
ン）の電子画像と結合され得る。この場合、ブロック１
１８（図７）のみが共通強度描写への変換（フルカラー
空間変換ではない）を行なう。共通大域及び局所ジオメ
トリへの変換（ブロック１２２及び１２４）は、全帯域
の信号を与える上述の方法（高域通過フィルタの使用を
含まない方法）によって実行され、このブロック１２８
は、色マトリックス及びルックアップテーブルによって
フルカラーの画像を捕捉するための色変換の処理を含
む。或いは、白黒フィルムは、フィルム画像の解像度特
性と、電子画像の雑音及び色特性とを有利に利用するた
めに、両方の源からのディジタル画像が共通大域及び局
所ジオメトリに変換され、単色画像（上述の規準によっ
て設計されたディジタル高域通過フィルタによって捕捉
される）の高周波成分がフルカラーの電子画像に加えら
れるフルカラー電子画像捕捉装置と共に使用されうる。
しかしながら、ある場合は電子画像センサ２５が白黒画
像を捕捉し、写真フィルムが色付きの画像を捕捉するこ
とが望ましい。白黒画像センサは１つの色のみを捕捉す
ればよいため、色センサよりも弱い光でより高い感度を
有し、より高い空間解像度を有する。

【００４２】画像性能の他の更なる改善は、追加的な他
の形式の画像結合を使用することによって可能である。
電子捕捉媒体及びフィルム捕捉媒体は、夫々の光に対す
る相対的な感度が異なるよう選択されうる。例えば、電
子捕捉装置は光に対して高い感度を有しうるが、非常に
低い空間解像度を有しうる。フィルムは光に対して低い
感度を有しうるが、非常に高い空間解像度を有しうる。
この場合、非常に低い光レベルでは電子画像を選択し、
より高い光レベルを有する画像の領域ではフィルム画像
を選択することによって、（捕捉されたシーンの少なく
ともある部分において）非常に低い光レベルでよりよい
全体性能が捕捉される。この決定は、ブロック１２８に
おいてより良い信号対雑音比を有する画像を選択するこ
とによって（上述のように）実行される。或いは、どち
らの画像が全体としてよりよい性能特性を表わすかによ
って、いずれかの画像の全体が選択されうる。

【００４３】本発明は、いくつかの望ましい実施例を特
に参照して詳述されたが、本発明の精神及び範囲の中で
変更及び修正がなされうることが理解される。例えば、
画像は、カートリッジ受容構造３１にフィルムカートリ
ッジ２２が挿入されていなくとも電子画像センサ２５上
に直接露光されえ、そのような場合、カメラは磁気テー
プを有するフィルムカートリッジ２２がカメラに挿入さ
れた後に、記憶された画像がフィルムカートリッジ２２
の磁気テープ上に移されうることを除き、従来の電子カ
メラと同様に動作する。

【００４４】

【発明の効果】本発明によって生成されたディジタル画
像は、改善された画像を生成するよう、写真画像及び電
子画像の特性を結合する。電子画像及びディジタル化さ
れた写真画像を結合し、処理することによって、ディジ
タル化された電子画像及びディジタル化された写真画像
のどちらよりも優れた改善されたディジタル画像が生成
されうる。

【図面の簡単な説明】

【図１】本発明によるハイブリッドデュアルレンズカメ
ラの斜視図を示す図である。

【図２】（ａ）は図１に示されるカメラの、線２−２に
沿った断面図を示す図である。（ｂ）は図１のカメラ内
の２つの別々のレンズ系に対する要件をなくすビームス
プリッタ装置を示す図である。

【図３】図１に示されるハイブリッドカメラの様々な要
素を示すブロック図である。

【図４】制御回路３２を示すブロック図である。

【図５】ヘッドインタフェース電子装置を示すブロック
図である。

【図６】写真フィルム上の画像をディジタル化し、その
ようなディジタル信号を処理ユニットに供給するスキャ
ナと、対応する記憶された画像を本発明によって処理す
る中央処理装置に供給する磁気テープリーダとを示すブ
ロック図である。

【図７】結合及び画像処理に必要とされる段階を示すフ
ローチャートである。

【符号の説明】

Ａ，Ｂ 開口 Ｃ１，Ｃ２ データトラック １ ハイブリッドカメラ本体 ３ａ，３ｂ カメラレンズ ３ｃ コリメートレンズ ３ｄ，３ｅ 合焦レンズ ４ ビームスプリッタ ６ 合焦機構 ７ シャッタスイッチ ８ 巻き上げレバー ９ シャッタ速度ダイアル １０ フィルム巻き戻しノブ １２ フィルム感度ダイアル １６ 反射鏡 １８ サブミラー ２０ フィルム ２２ フィルムカートリッジ ２５ 電子画像センサ ２６ プリント回路板 ２７ 半導体チップ ２８，２９ 後方カバー ３０ 写真フィルム平面 ３１ カートリッジ受容構造 ３２ 制御回路 ３４ａ，３４ｂ シャッタ機構 ３８ 磁気ヘッド ５１ 内部スプール ５２ 巻き取りスプール ５５ 画像フレーム ６２，６４ 光センサ １１６ データバス

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 ＦＩ Ｈ０４Ｎ 5/781 (72)発明者 ジェニファー クララ ラヴェリッジ イギリス国，ミドルセックス エイチエー 26エヌアール，ノース ハロー，ヘッドス トーン・レーン 187，ローラ・コート ２

Claims (3)

【特許請求の範囲】
1. 【請求項１】 （ａ）第１のタイプの画像捕捉媒体上に
   シーンの画像を捕捉する段階と、 （ｂ）該第１のタイプの画像捕捉媒体上に捕捉された画
   像をディジタル化する段階と、 （ｃ）異なる第２のタイプの画像捕捉媒体上にシーンの
   画像を捕捉する段階と、 （ｄ）該第２のタイプの画像捕捉媒体上に捕捉された画
   像をディジタル化する段階と、 （ｅ）改善された性能特性を有する他のディジタル画像
   を生成するよう、該第１のタイプの画像捕捉媒体からの
   ディジタル化された画像と、該第２のタイプの画像捕捉
   媒体からのディジタル化された画像とを結合し、処理す
   る段階とからなる、改善された性能特性を有するディジ
   タル画像を生成する方法。
2. 【請求項２】 （ａ）シーンの写真画像を生成する段階
   と、 （ｂ）同じシーンのディジタル化された電子画像を生成
   する段階と、 （ｃ）シーンのディジタル化された写真画像を生成する
   よう該写真画像を走査する段階と、 （ｄ）改善された性能特性を有する他のディジタル画像
   を生成するよう、該ディジタル化された電子画像と、該
   ディジタル化された写真画像とを結合し、処理する段階
   とからなる、改善された性能特性を有するディジタル画
   像を生成する方法。
3. 【請求項３】 （ａ）カメラによってシーンの写真画像
   を生成する段階と、 （ｂ）同じカメラによって異なる位置から同じシーンの
   ディジタル化された電子画像を生成する段階と、 （ｃ）写真のシーンのディジタル化された写真画像を生
   成するよう該写真画像を走査する段階と、 （ｄ）改善された性能特性を有する他のディジタル画像
   を生成するよう、まず両方の画像を共通色空間及び共通
   画素数に変換し、次に共通大域ジオメトリに変換し、そ
   の次に変換されたディジタル化された電子画像と、変換
   されたディジタル化された写真画像とを結合し、処理す
   る段階とからなる、改善された性能特性を有するディジ
   タル画像を生成する方法。