JP2009273143A - 複数段電子動画取得および処理システム及び方法 - Google Patents

Abstract

【課題】センサによって取得可能な情報と同量の情報を取得し、活用できる電子画像取得システムを得る。
【解決手段】一連の入射光をセンサ上にとらえて、画像シーケンスを全幅画像データとして記録するカメラと、この全幅画像データを受けとり、該画像データを処理して出力画像シーケンスに対応するフィルム画像属性プロファイルを与えるプロセッサとを備える。
【選択図】図１

Description

本発明は、一般には動画シーケンスを電子的に取得する分野に関し、より特定的には画像処理から画像取得工程を分離してデジタル記録を与える電子的画像取得システムに関する。

ビデオカメラにおける制約のために、これまで娯楽産業用の高品質画像（劇場用動画、テレビ用画像、特殊な場所用の画像等）は、主として従来の動画カメラまたはフィルムシステムによって取得されてきた。かかるビデオカメラの制約は、ビデオカメラ内部の電子光学センサ画像データを既存のビデオ規格に準拠させ、かつその後の処理に使用可能な画像データの帯域幅を限定する処理に由来する。このため、センサによって取得した３色画像記録の有効ダイナミックレンジと細部を減少させてしまう。

テレビ用のフィルムを作成する場合、動画カメラ中のフィルムを露光させた後（フレーム速度は一般的には１秒間に２４フレームだが、これ以外でもよい）、フィルムを化学的に処理して画像が取得される。これにより得られるフィルムシーケンスは、当該技術分野でテレシネと呼ばれる装置のビデオドメインに転送される。テレシネはフィルム画像をスキャンして適切な電子ビデオ規格信号に変換する。

このビデオ信号への変換では、色補正器として公知のシステムによる対話式ツールが与えられ、画像の色およびトーンスケールを操作してビデオ装置上に（テレシネオペレータまたは顧客からみて）希望の外観を呈するフィルム画像を作成する。

フィルム製品は、シーン中のコントラストの幅広い露出のラチチュードまたはダイナミックレンジを取得することができる。シーン中のシャドウすなわち暗領域の細部と、ハイライトすなわち明領域の細部とがフィルムによってうまく取得される。フィルムの撮影（露光）時、カメラマンはフィルムのラチチュードを理解し、後のビデオ転写工程でテレビ画像の最終的な限られた画像コントラストおよび内容を選択できることをわかった上で、照明を使ってそのラチチュードを最適に利用する。この工程全体、つまり広いラチチュード記録を取得した後で、最終的なビデオドメインの（ビデオ規格によって異なる）狭いラチチュードへの変換処理および選択を行うという工程は、ビデオに基づくシステムと比べた場合にフィルムによる工程の大きな利点である。またテレシネ転写操作では、フィルムから画像のある内容の「フレーミング（配置決定）」ができる。これはスキャン動作時のズーミング、パンニング、および回転を含み、テレビフレーム用にフィルム画像を再構成する工程を含む。

現在、多数の要因のために、フィルムがテレビ用の画像取得方法となっている。主たる要因の１つは、上述した色補正操作における創造性である。ユーザは、シャドウ、ハイライト、中間トーン、スキントーン、およびその他のカラーオブジェクトが最終的なテレビ画像上でどう見えるかを、入念かつインタラクディブに決定できる。他の要因は、フィルムの露光が正しく行われなかったり、例えばシーンの内容が明るいハイライト（白地のサテンドレスの細部など）とシャドウ（暗い森の細部など）の両方を含む等でシーン中の要因の制御ができない場合でも、フィルムは再現可能なダイナミックレンジの極値域で画像の細部の維持が可能なことである。

特開平０６−００６６６９号公報 特表平０９−５０８５０７号公報 特開平０７−１６２８８６号公報 特表平０７−５０３１１０号公報 特開平０６−０２２２１０号公報

一方、ビデオシステム（すなわち従来型の電子動画取得システム）のダイナミックレンジまたはコントラスト比はより制限されている。ビデオカメラシステムおよび関連の記録／送信システムは、狭いコントラスト比にしか対応できない。多くの場合、ビデオ工程では暗いシャドウまたは明るいハイライト中の画像の色の細部は失われる（「押しつぶされた」黒や「切り取られたハイライト」）。しかしこのダイナミックレンジの狭さは、必ずしもビデオカメラおよび記録技術から生じるのではない。むしろ本発明は、これらの制約は記録信号の色測定規準を「ＴＶ表示準備完了」またはＴＶ表示用に「レンダリングされた」状態にする必要から生じることを認識した。

ビデオカメラ（動画の電気信号を取得／処理）とレコーダとを用いて画像を取得する場合、システムは、信号を処理し、かつ（ITU-R Rec.601-3, ANSI/SMPTE 274M-1995等の特定のカメラ−レコーダシステムの設計に固有の）ある特定のテレビ／ビデオ規格の帯域幅の制約内で最終画像を与えるように設計される。特定のビデオ規格の信号／記録要件に合致するように実行される処理以外に、ビデオカメラはまた、ユーザが望む画像の「見かけ」を達成する様々なタイプの制御を提供する。これは、単純なカメラではホワイトバランスだけの場合もある。明るさ（露出）、ガンマ（コントラスト）、およびカラーマトリックス化などの他の制御を提供してもよい。最新型のカメラでは、ある範囲の「ニー（knee）」ポイント／勾配設定（トーンスケール操作）、フィルタリング、および記録中の画像を調整する各種画像処理制御を提供できるものもある。しかしこのような調整は、どれも画像取得前にカメラ上で行わなければならず、「試行錯誤」型である。従って、画像品質はユーザの知識と経験によって左右される。

実際、ビデオカメラシステムによって記録される画像は、規定のビデオ表示規格に準じて記録され、このためビデオカメラセンサによって取得されるものと比べると画像情報容量が少ない。これらビデオ規格の設計および仕様における各要因（ガンマ補正、色サブサンプリング、圧縮等）のため、特殊効果や劇場用画像の作成、さらにはテレビ用画像の作成においても、利用できる画像情報量はやや制限されてしまう。多くの場合、ビデオ画像の取得後、ユーザは、先にテレシネ方法のところで説明したのと同じ色補正ツールを用いた画像調整を希望し、この状況でのみ画像はビデオソース（ビデオテープ等）から入手される。画像取得時にビデオ信号の記録に使用される色測定規準はＴＶ表示用にされているため、ビデオから作成された画像に加えうる調整の範囲は限られている。このため、この方法における創造性の範囲は、フィルムおよびテレシネ装置を用いた場合と比べて大幅に狭い。また各ビデオ規格は互いに互換性がない（コンポーネントビデオ対コンポジットビデオ、ＮＴＳＣ対ＰＡＬ、標準対デジタル高品位等）ため、下位から上位のビデオ規格／形式に変換した場合に得られる画像品質は低下する（アーティファクト等）。

一般に、デジタルビデオカメラに内蔵されたセンサは広範囲のダイナミックレンジを捕らえることができる（ネガフィルムのダイナミックレンジ／解像度に近づくものもある）が、これはカメラ中での処理によって標準ビデオ形式信号（ITU-R,Rec.601-3等）で記録可能な範囲にまで減じられる。各種ユーザコントロール、内部設定、自動機能および処理によって、センサが取得する画像情報の範囲を、記録／送信用の特定のビデオ形式（標準）の画像範囲まで縮小する。これらの操作は、白黒レベルのクランピングまたはクリッピング、ガンマ調整、ホワイトバランス、「ニー」調整、およびそれ以外の操作を含む。このような操作がデジタルビデオドメイン中で行われた場合でも、デジタルカメラ（アナログまたはデジタル）で記録された画像の創造的な操作または高品質画像（劇場用動画等）の作成に利用できる画像情報量は、フィルムで達成できる量より少ない。

従って、ビデオの代わりに電子デジタル動画カメラを用いて元のシーンを取得して、従来の動画カメラ／フィルム／プロセッサシステムで得られる撮像上の利点をシミュレートする手段の提供が望まれる。また、画像情報をどのビデオ形式／規格とも無関係な「データタイプ」形式で取得するため、フィルム画像を任意のビデオ形式に変換する際と同じ種類の互換性、および現在のどのビデオ技術で利用可能なものよりも高レベルの画像忠実度を要求する他の作像媒体（劇場用フィルム画像等）に転写する際の柔軟性を達成することができる。さらに、取得した「潜像」データにさらに一組のアルゴリズムを適用して、動画フィルムの光学像の属性をシミュレートするデジタル画像記録を「現像」する処理工程を提供するのが望ましい。その後、本発明の適用によって得られる画像データ記録には、現在フィルムに取得される動画で用いられているポストプロダクションツール（上述した色補正器等）によって操作され、「クリエイティブな効果」が与えられることが望ましい。

本発明は、上記の１つ以上の問題点を解決することに関する。

本発明の目的は、センサシステムによって取得可能な画像に関する情報と同量の情報をもつデータ記録を、画像データ記録をビデオ表示用レンダリング準備形式にする必要なく作成することである。

本発明の他の目的は、画像取得工程でセンサによって取得された画像について、ビデオカメラの処理で生じるような帯域幅の制限または画像内容の削減をしないようにし、画像データ記録がビデオ形式とは無関係で、スケール可能で、かつスキャンしたフィルムネガから得られるデジタルＲＧＢデータと同じ方法で操作できるようにすることである。

本発明は画像シーケンスを取得する電子画像取得システムであり、このシステムは、一連の入射光をセンサ上にとらえて画像を全幅画像データ（wide gamut image data）として記録するカメラと、該全幅画像データを受け取って処理し、フィルムと同範囲の出力画像シーケンスを与えるプロセッサとを含む。また前記プロセッサは側色、コントラスト、粒状度、鮮鋭度、周囲、非線形性、条件等色、またはフレーミングのすべて、またはいずれかを行うシステムとできる。さらに本発明における画像シーケンスの取得方法は、一連の入射光をカメラのセンサ上にとらえ、画像シーケンスを全幅画像データとして記録するステップと、前記全幅画像データを受信し、前記データを処理してフィルム状の出力画像シーケンスを与えるステップと、を含む方法とすることが望ましい。

本発明の上記およびその他の目的は、以下の説明および添付の図面から明らかになると考える。図中、共通の要素にはできるだけ同じ参照番号を付した。

一連の入射画像を取得する本発明のカメラを示す図である。 本発明の方法を示すブロック図である。

図１には、本発明のデジタル「データ」カメラ（以後、「データカム」と称する）１０を示す。データカム１０は、周辺光をカメラ１０に入射させるレンズ２０と、この光を赤、緑、青（ＲＧＢ）の３つの各成分に分割する色分離プリズム３０とを含む。ただし光を３色成分に分離するには、これ以外の装置を利用してもよいことが、当業者であれば理解できるはずである。センサの分光特性によっては、光学フィルタをさらに加えて、特定の白イルミナント（測色用の光）の最小電子／デジタルゲインを達成し、かつ（センサの空間サンプリングジオメトリによる）エイリアシングを減じることができる。３つの光電型センサ４０（好適には電荷結合素子すなわちＣＣＤ）は、それぞれ色分離プリズム３０によって分離（フィルタ）された各色成分を受け取り、その後、この各色成分を電子信号に変換する。各センサ４０は同じ空間解像度（センサごとの画素数）を使用するのが好ましい。レンズシステム２０、光プリズム／フィルタ３０、およびセンサ群４０（または他の任意の光平衡化フィルタ）の組み合わせの絶対光感度およびダイナミックレンジの大きさは、速度および露出ラチチュードについて写真フィルムシステムに匹敵すべきであり、またセンサの空間解像度はユーザアプリケーションに十分なものでなければならない。参考として、色分離プリズムを省略する場合は、画素と整列した周知のカラーフィルタを重ね合わせたアレイを用いて、上述したプリズムとセンサとの組み合わせの機能を実行するようにしてもよい。また、理解を助けるために述べておくと、４つ以上のセンサ４０、ならびに数および色の異なる他のカラーチャネルを使用してもよいことが当業者には容易に理解できると思われる。画像データの取得は、センサシステムが光を集光／統合する速度／時間間隔を制御する技術（同期シャッタ等）のうち任意の適当な技術を実行することによって、所定速度（１秒あたり２４フレーム等）で行うことができる。

３つのアナログ信号プロセッサ（ＡＳＰ）５０は、ＣＣＤ４０からそれぞれ電子信号を受信して、チャネル増幅やゲイン等の複数の処理機能をアナログ信号上で実行する。３つのアナログ−デジタル（Ａ／Ｄ）コンバータ６０は、それぞれＡＳＰからの信号を受信して、各信号をデジタル形式に変換する。デジタル信号プロセッサ（ＤＳＰ）７０は、Ａ／Ｄコンバータ６０からのすべての信号を受信して、８０で、受信したデジタル信号に、画像情報を修正してアーチファクトを減じる（エイリアシング防止のためのフィルタリング）、カメラ部品中で発生する電子ノイズを削減する（センサ型アレイに適用して、暗電流および画素間の感度差に関連した、画像とは無関係のスプリアス信号を除去する固定パターンのノイズ補正）等の複数の処理を行う。また直線または対数変換器９０によってさらなる信号処理（アナログ−デジタル変換時に符合化された値を直線化または最適に配分する処理）が実行され、ＲＧＢデジタルデータとセンサによって測定される光強度とが数学的な直線、対数またはべき伝達関数によって関連づけられるようにする。アナログ信号プロセッサ５０の動作のいくつかをデジタル信号プロセッサ７０が代行してもよいし、またはその逆でもよいことが当業者には理解できるはずである。露出バランスコントローラ１００は、デジタル信号プロセッサ７０からの３つのすべての信号を受信して、ホワイトバランス操作（つまり特定の白色光に相当する信号の形成）を行う。この処理はＡＳＰ５０（図中、実線で示す）が実行してもよいし、ＤＳＰ７０（同じく点線で示す）が行ってもよい。

ＤＳＰ７０の動作後、無損失圧縮器１１０によって任意のデータ圧縮を行ってもよい。その後、データは磁気テープ、ディスク等の媒体上のデジタルレコーダ１２０に全幅画像データとして記憶される。全幅画像データとは、赤、緑、および青の３つの独立したセンサ４０によって取得されたデータであって、先行技術で行われている画像データをＴＶ表示（または標準ビデオ形式）に適合させる処理によってその範囲が減じられていないデータをさす。本発明の技術を用いれば、アーチファクト補正部８０、変換部９０、および圧縮部１１０に関連する処理は、既存の技術における制約のために必要なだけであり、技術が進歩すれば不要になることを理解されたい。また、理解を助けるために述べておくと、全幅データは、センサのダイナミックレンジ、スペクトル感度、および空間解像度、ならびに３色ビームスプリッタのスペクトル透過帯域幅（例えば本願と譲渡先が同じ米国特許第４，９９４，９０１号等に記載されている）によって異なる。

図２を参照すると、画像は上記の方法で記録された後、画像処理を施される。このため、全幅画像データは記録媒体から再生装置１３０によって取り出され、データが最初に圧縮されている場合は解凍器１４０に送られて解凍される。当然、圧縮されていないデータの場合はこの工程は省略される。光科学（photoscience）画像プロセッサ１５０（以後、ＰＩＰと称す）は、デジタルファイルを受信して、データカム１０の作成した画像データを、動画フィルムネガによって形成される画像の属性をシミュレートするデジタル電子ネガ（ＤＥＮ）データプロファイルに変換する。ここでは、ＰＩＰ１５０の出力はフィルム状とする。ＰＩＰ１５０はソフトウェアまたはハードウェアの少なくともいずれかによって数学的画像処理を行い、以下の能力をもつ。すなわち、線形マトリクスまたは３次元ルックアップテーブル（ＬＵＴ）の少なくともいずれかを画像データに適用して、動画ネガの測色を再現する（測色）、伝達関数を画像データに適用して、動画ネガのトーン再現（コントラスト）特性を得る、フィルム粒状度プロファイルを画像データに適用して、動画フィルムシステムの粒状性をシミュレートする（粒状度）、空間周波数フィルタリング応答を画像データに適用して、動画ネガフィルムの変調伝達関数（ＭＴＦ）をシミュレートする（鮮鋭度）、伝達関数を画像データに適用して、画像ディスプレイ周囲の周辺光レベルによる視覚的に知覚される画像コントラストの変化を補償する（周囲）、伝達関数を画像データに適用して、陰極線管ディスプレイ等におけるような、画像ディスプレイに選択される装置に固有の非線形性を補償する（非線形性）、液晶表示プロジェクタの色原色等のように、最終画像表示媒体が減色印刷フィルム染料の組とは異なる色符合原色の組を色温度５５００ケルビンの光源と組み合わせて用いる場合に、線形マトリクスまたは３次元ルックアップテーブルを画像データに適用する（条件等色の色）、画像データを減じる／フォーマットすることによって、特定の画像ディスプレイのアスペクト比、例えば１：９に合わせる（フレーミング）、という能力である。上記の各操作に関連したタイプのアルゴリズムは、当業者によって再現可能である。

ユーザはオペレータインターフェース１６０を操作して、上記の処理機能のすべてまたはいくつかを選択して、特定の「フィルム画像属性プロファイル」をカスタマイズまたはシミュレートしうる。ＰＩＰ１５０はユーザによって選択される処理機能に応じて２種類のプロファイルのいずれかを作成する。測色、コントラスト、粒状度、および鮮鋭度は、デジタル電子ネガ（ＤＥＮ）画像タイプのプロファイルの作成に選択される。ＤＥＮ画像プロファイルが劇場投影用の光学プリントフィルムの作成以外の目的で使用される場合は、デバイスデジタルプリント(ＤＤＰ）画像タイプのプロファイルが作成され、ＤＥＮ画像プロファイルをＰＩＰ１５０の装置依存型の他の機能、すなわち周囲、非線形性、条件等色を示す色、およびフレーミングによって処理して、ＤＥＮを特定の画像表示に適合させる。ＤＥＮまたはＤＤＰ画像情報は、装置１８０によってユーザタイプ形式に変換され（装置１８０には任意で無損失圧縮が含まれる）、その後、デジタルレコーダ１７０によって任意の適当な記録媒体に記録される。従って、画像をデータカム上に取得する工程とＰＩＰを介して処理する工程との二段階から得られる画像記録は、本質的には、動画フィルムによって作成される作像特性のいくつかを組み入れる画像のデジタルデータ表現である。

本発明は、二段階の電子デジタルカメラ／プロセッサシステムを提供して、動画ネガフィルムの現像後の光学像と同じ画像属性を示す画像データ記録を含むＤＥＮを作成する。この「電子フィルムシステム」（ＥＦＳ）は、動画ネガに光学像記録を作成する際の従来の２段階の画像取得／現像工程の「電子的」類似システムと考えることができる。またＥＦＳのＰＩＰデジタルプロセッサ１５０（後段）は、ＤＥＮからＤＤＰ画像データ記録を作成して、フィルムカメラ用ネガ（またはその中間ネガ）に由来する一般的な劇場投影用のフィルム画像とは異なる表示装置技術／鑑賞環境に適合するように、ＤＥＮ画像情報を変換する能力をもちうる。この任意の特徴もまた、「プリンタ／プリントフィルム／処理」がフィルムネガを扱って劇場用プロジェクタによる鑑賞に適した画像記録を作成する際の役割とやや類似している。しかし、この特徴をＰＩＰデジタルプロセッサに組み入れることによって、表示装置（プラズマディスプレイ等）および鑑賞環境（暗周囲以外等）に応じて様々なＤＤＰがＤＥＮから得られ、投影されたプリントフィルムが画像表示媒体とは限らない場合は動画ネガの画像特性は保有しながら元のＤＥＮのフィルム画像プロファイルを表示装置に合わせて変更する。ＥＦＳから得られる画像データは主としてネガフィルムの画像情報をシミュレートするものなので（ＤＥＮ画像記録）、このシステムで用いられるデジタルカメラ（前段）は、カメラ工程において（ビデオカメラとは異なり）、センサ画像データをビデオまたはテレビ用の作像への応用に必要な標準パラメータに特に適合するように修正する信号処理を行わなくてもよい。従ってこのシステムは、動画ネガフィルム画像の属性を示し、かつ表示装置に依存しないデジタル画像記録を生成できる。

以上、好ましい実施形態を参照して本発明を説明したが、当業者であれば本発明の範囲から逸脱することなく各種変更および変形が可能なことが理解できるはずである。例えば、標準的な２チャネルデジタル可聴およびＳＭＰＴＥ時間符合を画像データと共に記録するようにしてもよい。

＜付記＞
（付記１）
画像シーケンス取得用の電子画像取得システムであって、
（ａ）一連の入射光をセンサ上にとらえ、画像シーケンスを全幅画像データとして記録するカメラと、
（ｂ）前記全幅画像データを受信し、前記画像データを処理してフィルム状の出力画像シーケンスを与えるプロセッサと、を含むシステム。
（付記２）
付記１に記載の電子画像取得システムにおいて、前記プロセッサは測色、コントラスト、粒状度、鮮鋭度、周囲、非線形性、条件等色、またはフレーミングのすべて、またはいずれかを行うシステム。
（付記３）
画像シーケンスの取得方法であって、
（ａ）一連の入射光をカメラのセンサ上にとらえ、画像シーケンスを全幅画像データとして記録するステップと、
（ｂ）前記全幅画像データを受信し、前記データを処理してフィルム状の出力画像シーケンスを与えるステップと、を含む方法。

１０ デジタルデータカメラ、２０ レンズ、３０ 色分離プリズム、４０ 光電センサ（ＣＣＤ）、５０ アナログ信号プロセッサ、６０ Ａ／Ｄコンバータ、７０ デジタル信号プロセッサ、１５０ ＰＩＰプロセッサ。

Claims (3)

1. 画像シーケンス取得用の電子画像取得システムであって、
   （ａ）一連の入射光をセンサ上にとらえ、画像シーケンスを全幅画像データとして記録するカメラであって、前記全幅画像データは、前記センサのダイナミックレンジ、スペクトル感度、および空間解像度に依存し、帯域幅の制限に関してＩＴＵ−Ｒ ６０１ 標準ビデオ形式より優れる、カメラと、
   （ｂ）前記全幅画像データを受信し、前記画像データを処理して出力画像シーケンスに対応するフィルム画像属性プロファイルを与えるプロセッサであって、前記フィルム画像属性プロファイルは、フィルムの特性を綿密にエミュレートする、プロセッサと、
   を含むシステム。
2. 請求項１に記載の電子画像取得システムにおいて、
   前記プロセッサは、測色、コントラスト、粒状度、鮮鋭度、周囲、非線形性、条件等色、またはフレーミングのすべて、またはいずれかを行うシステム。
3. 請求項１に記載の電子画像取得システムにおいて、
   前記センサは、入射画像を取得する電荷結合素子であるシステム。

Images