JP7724969B2 - アルファチャネルを生成するためのuvシステムおよび方法 - Google Patents

アルファチャネルを生成するためのuvシステムおよび方法

Info

Publication number
JP7724969B2
JP7724969B2 JP2024534217A JP2024534217A JP7724969B2 JP 7724969 B2 JP7724969 B2 JP 7724969B2 JP 2024534217 A JP2024534217 A JP 2024534217A JP 2024534217 A JP2024534217 A JP 2024534217A JP 7724969 B2 JP7724969 B2 JP 7724969B2
Authority
JP
Japan
Prior art keywords
light
light spectrum
image acquisition
wavelength
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2024534217A
Other languages
English (en)
Other versions
JP2025502626A (ja
Inventor
ウォルター ライニカー,ケビン
Original Assignee
ジ インビジブル ピクセル インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ジ インビジブル ピクセル インコーポレーテッド filed Critical ジ インビジブル ピクセル インコーポレーテッド
Publication of JP2025502626A publication Critical patent/JP2025502626A/ja
Application granted granted Critical
Publication of JP7724969B2 publication Critical patent/JP7724969B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/16Optical arrangements associated therewith, e.g. for beam-splitting or for colour correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Cameras In General (AREA)
  • Blocking Light For Cameras (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Studio Devices (AREA)

Description

本出願は、2021年12月7日に出願され、参照により本明細書に組み込まれる、シリアル番号63/286,860の同時係属米国仮特許出願に対する優先権を主張する。
本発明の分野は、物体の画像データを取得するためのシステムおよび方法を対象とし、特にアルファチャネルの生成に関する。
背景技術の説明は、本発明を理解するのに有用であり得る情報を含む。本明細書で提供される情報のいずれも、先行技術であるか、または現在特許請求されている発明に関連すること、または具体的にもしくは暗示的に参照される任意の刊行物が先行技術であることを認めるものではない。
本明細書における全ての刊行物および特許出願は、各個々の刊行物または特許出願が参照により組み込まれることが具体的かつ個々に示されているのと同程度に、参照により組み込まれる。組み込まれた参考文献における用語の定義または使用が、本明細書で提供されるその用語の定義と一致しないかまたは反対である場合、本明細書で提供されるその用語の定義が適用され、参考文献におけるその用語の定義は適用されない。
映画産業では、グリーンスクリーンまたはビデオウォールが、ビデオおよび映画制作のために、シーンの背景として数十年間利用されてきた。これらの背景を取り扱うために、クロマキーイング、およびロトスコーピングなどの時間集約的またはエラーが発生しやすいポストプロダクションプロセスが利用されている。
ロトスコープは、あるフィルムから画像を切り出して別のフィルムに合成するプロセスである。カミソリの刃に頼って映像を切り出し、それをバックグラウンドプレートに再露光する初歩的な方法として始まったが、今日ではMochaのようなソフトウェアを使用することができる。ロトスコープの利点の1つは、グリーンスクリーンが選択肢とならないような場所または方法でシーンを撮影できることである。ディレクターがグリーンステージのために妥協する必要なしに、シーンを照明することができ、したがって、撮影に本物の感触を与える。またこれらのツールは、グリーンスクリーンで撮影されたシーンをクリーンアップするために使用され、被写体上に不要なグリーンカラーが「こぼれる」ことがある。しかし、ソフトウェアを組み込んでも、その方法は基本的に同じである。数分間の映像であっても、優秀な「アーティスト」がグリーンの漏れをクリーンアップし、アルファチャンネルを構築するのに、数時間、数日、または数週間もかかることがあるのは、面倒な作業である。映像が背景から切り出されたとき、映像は「アルファチャンネル」またはマスクを有すると考えられる。
緑または青のスクリーンは、シーンが単色(例えば、緑)で撮影されるプロセスにおいて利用される。ポストプロダクションでは、グリーンが削除され、ショットのアルファチャンネルが作成される。これは、ハードウェア(例えば、天候ボード、交通地図など)を使用してリアルタイムで実施することができる。グリーンスクリーンはショットを管理可能にし、リソースが容易に利用可能であるが、ショットは被写体上の望ましくない緑色の「こぼれ」に悩まされる可能性がある。このとき、背景の色が被写体に反映される。これは、ハイエンドフィルム上で除去するのに数千時間を必要とし得る。さらに、DP(写真のディレクター)およびディレクターは、自身の視覚のためのシーンの適切な照明と、良好な「キー」のためのシーンの照明との間のバランスをとるために、照明オプションが制限されている。さらに、陰影、煙、水、部分音、動物、霧、クロム、および毛髪などの、シーン内の部分的に透明または反射性の物体により、緑が透けて見える。さらに、モーションブラー、被写界深度、または他のシネマティック効果は、「キー」に影響を及ぼす。これらの問題の多くは、小規模な撮影が予算を超過したり、公正な予算を持つ素晴らしいショーが安っぽく見えたりする原因になる。
さらなる既知の試みにおいては、背景画像が構築され3Dでレンダリングされる360度LEDスクリーンなどのビデオウォールの前で、被写体を撮影することができる。特に3Dシーンは、ライブカメラの動きが背景と一致するように、ポテンショメータまたは磁力計を介してライブカメラの位置の関数としてリアルタイムで生成される。比較的大きいLEDスクリーンがシーンを点灯し、ライブオブジェクトを環境に適合させる。さらに、そのような技術は緑色のこぼれを完全に回避し、クリーンアップするエッジを残さない。しかしながら、その高度化にもかかわらず、アルファチャネル生成は、そのような技術では実現されていない。
被写体(例えば、ライブアクターに基づくコンピュータ生成キャラクタ)を追跡およびアニメ化するさらに他のアプローチでは、被写体に燐光メークアップを適用し、被写体を光パネルに曝露し、グレースケールカメラを使用して被写体を追跡することによって、モーションキャプチャを実施することができる(例えば、WO20120/141770号を参照されたい)。このような方法は被写体の改善された追跡およびアニメーションを提供するが、この方法はそれらの最終形態のシーンにおけるオブジェクトおよび背景に影響を与えない。さらに他の既知の方法では、赤外光および可視光を使用して、被写体の赤外線およびカラー画像を生成することによって、モーションキャプチャが改善されている。赤外線マスクが生成されて、画像の前景および背景が予測される(米国特許出願公開第2010/0302376号を参照)。しかしながら、そのような方法は他の赤外光生成装置(例えば、白熱電球)からの干渉を受け、対象の照明を考慮することができない。したがって、照明変動および干渉を考慮するために、結果として得られる画像はもう一度有意なポストプロダクション作業を必要とする。
したがって、対象物の画像データを取得する様々なシステムおよび方法が当技術分野で知られているにもかかわらず、それらのすべてまたはほとんどすべてがいくつかの欠点を抱えている。したがって、物体の画像データを取得するためのシステムおよび方法が依然として必要とされている。
本発明の主題は、物体のアルファチャネルの生成を容易にするために画像データを取得するための様々なシステムおよび方法を対象とする。いくつかの実施形態において、画像データは、物体によって反射された光スペクトルの可視部分を表す物体と、同じ物体から、または物体の背後の背景から導出された光スペクトルの不可視部分を表す追加の画像データとのものである。
本発明の主題の1態様において、光スペクトルの可視部分を表す物体の画像データと、光スペクトルの不可視部分を表す画像データとを同時に取得するように構成された画像取得セットアップを提供するステップと、励起光による照明時に光スペクトルの不可視部分の波長で蛍光を発する蛍光色素で物体をコーティングするさらなるステップとを含む、物体の画像データを取得する方法が提供される。さらに別のステップでは、オブジェクトを含むシーンが(a)自然光および/または人工光、(b)励起光、で同時に照明され、画像データが画像取得セットアップを使用してキャプチャされ、それによって、シーンの光スペクトルの可視部分を表す色データ、オブジェクトおよびオブジェクトの光スペクトルの不可視部分を表すグレースケールデータを生成する。
必ずではないが好ましくは、可視部分は400~700ナノメートル(nm)の範囲の波長を有し、および/または不可視部分は400nm未満の波長を有する。最も典型的には、蛍光染料は、フルオロフォア、蛍光エネルギー移動染料、蛍光顔料、蛍光ポリマー、蛍光タンパク質、またはそれらの組み合わせを含む。最も典型的には、励起光の波長範囲は、蛍光色素によって放射される蛍光の波長範囲とは異なる。例えば、蛍光色素は、360nmの波長の励起光によって励起され、381nmの波長の蛍光を発することができる。
企図される方法において、画像取得セットアップは、可視部分を表すオブジェクトの画像データおよび/または不可視部分を表すオブジェクトの画像データを取得するように構成された少なくとも1つのカメラを備える。必要に応じて、少なくとも1つのカメラは、色データ、グレースケールデータ、またはそれらの組み合わせを生成するように構成された1つまたは複数の画像センサを備えることができる。最も典型的には、画像センサは、赤/緑/青(RGB)センサ、紫外(UV)センサ、赤外(IR)センサ、またはこれらの組み合わせを含む。さらに、画像取得セットアップは対象物の一部を追跡するように構成された補助カメラをさらに備えてもよく、励起光は対象物の一部を照明しない。
したがって、本発明の主題の別の態様において、本発明者は、(a)自然光および/または人工光、ならびに(b)励起光で物体を同時に照明する工程と、物体の光スペクトルの可視部分を表す色データを生成し、物体の光スペクトルの不可視部分を表すグレースケールデータを生成する、画像取得セットアップを使用して、画像データをキャプチャするさらなる工程とを含む、物体の画像データを取得する方法を企図する。その方法において、物体は、励起光を照射すると光スペクトルの不可視部分の波長で蛍光を発する蛍光色素を含み、励起光および蛍光は光スペクトルの不可視部分にあることが企図される。例えば、可視部分は400~700ナノメートル(nm)の範囲の波長を含むことができ、および/または、不可視部分は400nm未満の波長を含むことができる。上記のように、適切な蛍光色素には、様々なフルオロフォア、蛍光エネルギー移動色素、蛍光色素、蛍光ポリマー、蛍光タンパク質、またはそれらの組み合わせが含まれる。最も典型的には、励起光の波長範囲が蛍光色素によって放射される蛍光の波長範囲とは異なる(例えば、蛍光色素は360nmの波長の励起光によって励起され、381nmの波長の蛍光を放射する)。
そのような企図される方法のさらなる態様において、画像取得セットアップは、可視部分を表すオブジェクトの画像データおよび/または不可視部分を表すオブジェクトの画像データを取得するように構成された少なくとも1つのカメラを備える。したがって、そのようなカメラは、色データ、グレースケールデータ、またはそれらの組み合わせを生成するように構成された1つまたは複数の画像センサを含み得る。例えば、適切な画像センサは、赤/緑/青(RGB)センサ、紫外(UV)センサ、赤外(IR)センサ、またはこれらの組み合わせを含む。
したがって、本発明者はまた、オブジェクトを含むシーンの画像データ内のオブジェクトのアルファチャネルを生成する方法を企図する。そのような方法は典型的には、オブジェクトを含むシーンの画像データを提供する工程を含み、画像データは、オブジェクトとシーンの光スペクトルの可視部分を表す色データと、オブジェクトの光スペクトルの不可視部分を表すグレースケールデータとを含む。別のステップでは、次いで、グレースケールデータを使用して、シーンからオブジェクトを分離し、それによって、分離されたオブジェクトを生成し、分離されたオブジェクトに対して色データを使用してオブジェクトのアルファチャネルを生成する。
したがって、異なる観点から見ると、本発明者は、オブジェクトを含むシーンの画像データを提供する工程を含む、オブジェクトの画像データを処理する方法も企図し、画像データは、シーンの光スペクトルの可視部分を表す色データと、オブジェクトの光スペクトルの不可視部分を表すグレースケールデータとを含む。さらなる工程において、オブジェクトのためのアルファチャネルは、グレースケールデータを使用して作成される。
したがって、本発明の主題のさらなる態様において、本発明者は、シーン内の物体の画像データをキャプチャするための画像取得システムも企図する。そのシステムは、好ましくは、シーン内の物体の光スペクトルの可視部分を表す色データを生成するように構成された第1画像センサを有する第1カメラと、物体の光スペクトルの不可視部分を表すグレースケールデータを生成するように構成された第2画像センサを有する第2カメラとを備える。最も典型的には、フィルタが第2カメラに結合され、第2カメラは光スペクトルの不可視部分において光が第2画像センサへ移動することを可能にし、光スペクトルの可視部分において光が第2画像センサへ移動することを低減または遮断する。さらに、第1および第2カメラは、担体に結合され、実質的に同じ視線およびズーム係数に沿ってシーン内のオブジェクトを捕捉するように構成されることが好ましい。次いで、光源は、光スペクトルの不可視部分で蛍光を発する蛍光色素のための励起光を連続的に提供するように構成される。色素および波長に関しては、上記と同じ考慮事項が適用される。
最も典型的には、第1画像センサは赤/緑/青(RGB)センサを含み、第2画像センサは紫外(UV)センサを含む。必要に応じて、補助カメラは対象物の一部分を追跡するように構成されてもよく、励起光は対象物の一部分の追跡に基づいて対象物の一部分を照明しない。
したがって、シーン内の物体の画像データを取り込むための画像取得システムは、シーン内の物体の光スペクトルの可視部分を表す色データを生成し、物体の光スペクトルの不可視部分を表すグレースケールデータを生成するように構成された、画像センサを有するカメラを含むことができる。そのシステムは、光スペクトルの不可視部分で蛍光を発する蛍光色素のための励起光を連続的に提供するように構成された光源をさらに含む。画像センサ、色素、および波長に関しては、上記と同じ考慮事項が適用される。
本発明の主題のなおさらなる態様において、本発明者は、光スペクトルの可視部分を表す物体の画像データおよび光スペクトルの不可視部分を表す背景の画像データを同時に取得するように構成された画像取得セットアップを提供する工程;(1)自然光および/または人工光で物体を照明すると同時に(2)光スペクトルの不可視部分の波長を有する光で背景を照明する工程;を含む、背景の前の物体の画像データを取得する方法をさらに企図する。そのような方法の別のステップでは、画像データが画像取得セットアップを使用してキャプチャされ、それによって、オブジェクトとシーンの光スペクトルの可視部分を表す色データと、オブジェクトの光スペクトルの不可視部分を表すグレースケールデータとを生成する。
最も好ましくは、可視部分は400~700ナノメートル(nm)の範囲の波長を有し、不可視部分は400nm未満の波長を有する。さらに、画像取得セットアップは第1および第2センサを備え、第1センサは光スペクトルの可視部分を表す物体の画像データを取得し、第2センサは光スペクトルの不可視部分を表す背景の画像データを取得することが、典型的には好ましい。いくつかの実施形態において、背景は平坦面を備えてもよく、この平坦面は、平坦面に対して遠隔に配置された光源を使用して照明されてもよい。他の実施形態において、背景は平坦面を含み、この平坦面は、平坦面に結合された光源を使用して照明される。さらなる実施形態において、背景はビデオスクリーンを含み、ビデオスクリーンは背景を照明する複数のUV LEDを含む。
したがって、本発明者はまた、オブジェクトおよび背景を含むシーンの画像データを提供する工程を含む、背景の前にオブジェクトを含むシーンの画像データにおけるオブジェクトのためのアルファチャネルを生成する方法を企図し、画像データは、オブジェクトの光スペクトルの可視部分を表す色データおよび背景の光スペクトルの不可視部分を表すグレースケールデータを含む。別のステップでは、グレースケールデータがオブジェクトを背景から分離するために使用され、それによって、分離されたオブジェクトを生成し、色データは分離されたオブジェクトに対して使用され、オブジェクトのアルファチャネルを生成する。
例えば、可視部分は400~700ナノメートル(nm)の範囲の波長を含むことができ、不可視部分は400nm未満の波長を含むことができる。さらなる例では、画像データが別個のファイルに、物体の光スペクトルの可視部分を表す色データと、背景の光スペクトルの不可視部分を表すグレースケールデータとを含む。容易に理解されるように、そのような方法におけるグレースケールデータは、次いで、カラーデータのためのトラックマットとして使用され得る。必ずではないが好ましくは、オブジェクトがリアルタイムでバックグラウンドから隔離される。
異なる観点から見ると、本発明者は、背景の前にオブジェクトを含むシーンの画像データを提供する工程を含むオブジェクトの画像データを処理する方法も企図し、画像データは、オブジェクトの光スペクトルの可視部分を表す色データと、背景の光スペクトルの不可視部分を表すグレースケールデータとを含む。別のステップでは、次いで、オブジェクトのためのアルファチャネルがグレースケールデータを使用して生成される。
いくつかの実施形態において、画像データが別個のファイルに、物体の光スペクトルの可視部分を表す色データと、背景の光スペクトルの不可視部分を表すグレースケールデータとを含む。必要に応じて、アルファチャネルをリアルタイムで生成することができる。
したがって、本発明者はまた、シーン内のオブジェクトの画像データをキャプチャするための画像取得システムを企図し、オブジェクトは背景技術の前にある。そのシステムは典型的には、物体の光スペクトルの可視部分を表す色データを生成するように構成された第1画像センサを有する第1カメラと、背景の光スペクトルの不可視部分を表すグレースケールデータを生成するように構成された第2画像センサを有する第2カメラとを含む。最も典型的には、フィルタが第2カメラに結合され、第2カメラは光スペクトルの不可視部分において光が第2画像センサへ移動することを可能にし、光スペクトルの可視部分において光が第2画像センサへ移動することを低減または遮断する。前述のように、第1および第2カメラは、担体に結合され、実質的に同じ視線およびズーム係数に沿ってシーン内のオブジェクトを捕捉するように構成されることが典型的に好ましい。次いで、光源は、光スペクトルの不可視部分の光で背景を連続的に照明するように構成される。
他の選択肢の中でも、担体は立体カメラ担体を備えてもよく、および/または担体は第1および第2カメラのための同時水晶体集束および/またはズームを調整するように構成されることが企図される。いくつかの実施形態において、光源は、中圧UV電球またはUV発光LEDである。最も典型的には、第1および第2カメラは、同時に取得されたフレームについて同じタイムコードを有するビデオストリームを生成するように同期して動作するように構成され、可視部分は400~700ナノメートル(nm)の範囲の波長を有し、不可視部分は400nm未満の波長を有する。
したがって、本発明者はまた、シーン内のオブジェクトの画像データをキャプチャするための画像取得システムを企図し、オブジェクトは背景の前にある。そのシステムは、シーン内の物体の光スペクトルの可視部分を表す色データを生成するように構成された第1画像センサと、背景の光スペクトルの不可視部分を表すグレースケールデータを生成する第2画像センサとを有するカメラを含むことができる。前述のように、光源は、光スペクトルの不可視部分の光で背景を照明するように構成される。少なくともいくつかの実施形態において、第1および第2センサは同じレンズを使用する(例えば、カメラがビーム分割ミラーを備える場合)。
本発明の主題のさらに別の態様において、本発明者は、光スペクトルの可視部分で光を発する第1複数発光ピクセルと、光スペクトルの不可視部分で光を発する第2複数発光ピクセルとを備えるビデオウォールも企図する。最も好ましくは、第2複数ピクセルは、第1複数発光ピクセルの照明から独立して第2複数ピクセルの照明を制御する回路に電子的に結合される。例えば、第1複数発光ピクセルはLEDまたはOLEDピクセルであってもよく、および/または、第2複数発光ピクセルはUV発光LEDまたはOLEDピクセルである。本発明の主題を限定するものではないが、第1複数ピクセルおよび第2複数ピクセルはビデオウォールの少なくとも70%にわたって均等に分散される。さらに、回路はビデオコンテンツが第1複数ピクセルを介して表示されることを可能にしながら、一定の電力レベルで第2複数ピクセルの連続照明を可能にすることが一般に好ましい。他の選択肢の中でも、そのようなビデオウォールは、360度ビデオウォールとして構成され得る。
さらに、本発明者は、ビデオコンテンツを表示するように構成された表示領域と、表示されたビデオコンテンツが透明層を通して見えるように表示領域に結合された透明層とを含むビデオ複合ウォールも企図する。最も好ましくは、透明層が光スペクトルの不可視部分の光に対して反射性であり、および/または、励起時に光スペクトルの不可視部分の光を発する蛍光染料を含むことができる。
いくつかの実施形態において、表示領域は、ビデオコンテンツが表示される反射面であってもよい。さらなる実施形態において、透明層は、UV-UV蛍光染料を含み得る透明ポリマーを含む。さらなる実施形態において、透明層がUV光源を含む枠体に結合されてもよい。
本発明の主題の様々な目的、特徴、態様、および利点は、同様の数字が同様の要素を表す添付の図面とともに、好ましい実施形態の以下の詳細な説明からより明らかになるであろう。
シーン内の対象物の画像データを取得するためのシステムの1実施形態を示す概略図である。
4,4-ビス-ジtertブチル-カルバゾール-ビフェニルについての複合スペクトルであり、明確なUV-UV励起および蛍光極大を示す。
2-ナフチルアミンの複合スペクトルであり、明確なUV-UV励起および蛍光極大を示す。
明確なUV-UV励起および蛍光極大を示す、9-フェニルカルバゾールの複合スペクトルである。
本発明者は、物体の画像データを取得するための様々なシステムおよび方法を発見した。様々な実施形態において、画像データは、背景からオブジェクトを分離するために利用されてもよい。有利なことに、そのような分離は緑色のスクリーンを必要とせずに実行することができ、分離されたオブジェクトのポストプロダクション編集の必要性を低減するか、または完全に排除する。加えて、隔離されたオブジェクトの画像データは、新しい背景にマッチするために使用され得る照明情報を含み得る。
そのために、画像取得セットアップはスペクトルの可視部分の光を同時に捕捉し、光がスペクトルの不可視部分を形成し、それによって、2つの別個の設定を生成する。いくつかの実施形態において、物体またはアクターは、スペクトルの不可視部分の光(例えば、360nmのUV)で励起され、スペクトルの不可視部分の光(例えば、381nmのUV)で蛍光を発し、したがって、スペクトルの不可視部分の物体またはアクターを光学的に識別する蛍光色素でコーティングされ得るが、他の実施形態において、背景はスペクトルの不可視部分の光(例えば、360nmのUV)で照明され、物体によって不明瞭にされるか、または物体またはアクターをスペクトルの不可視部分の影として光学的に識別する。最も典型的には、スペクトルの不可視部分の光からの画像データは、グレースケールデータの形態である。照明の方式(前景または背景)にかかわらず、同じオブジェクトまたはアクターはまた、色データを提供するために、スペクトルの可視部分の光で照明される。容易に理解されるように、両方の画像データは同時に同じシーンを表すが、異なる色空間表現で表されるので、画像データはアルファチャネルを生成するために容易に使用され得る。
図1は、シーン18内のオブジェクト16の画像データ12、14を取得するためのシステム10の1実施形態を示す概略図である。システム10は、光スペクトルの可視部分22を表す物体16の画像データ12(例えば、400~700ナノメートル(nm)の範囲の波長を有する可視光)と、光スペクトルの不可視部分24を表す画像データ14(例えば、400nm未満の波長を有する紫外光または700nmを超える波長を有する赤外光)とを同時に取得するように構成された画像取得セットアップ20を含む。本明細書で使用される「同時に」という語は、画像データ12および画像データ14が互いに1,000ミリ秒(ms)以内、100ms以内、50ms以内、25ms以内、10ms以内、5ms以内、1ms以内、または0.1ms以内に取得されることを意味する。したがって、異なる観点から見ると、所与の時間におけるシーン内のオブジェクトの両方の画像データは、同じタイムコードを共有することができる。
システム10はさらに、自然光および/または人工光26と、励起光28とを含む。自然光は励起光28(例えば、可視光範囲および紫外光範囲の波長を有する昼光)を含んでもよいことが理解されるべきである。自然光および/または人工光26および励起光28による照明は、直接的または間接的であってもよいことも理解されたい。人工光26および励起光28のうちの少なくとも1つは、人工光26および励起光28のうちの少なくとも1つを連続的に提供するように構成された光源42によって提供され得る。光源42は高いワット数(例えば、可視光について100ワット~2000ワット)、またはそのような光源と同等のLED(例えば、可視光および/またはUV光に対して)を有し得る。容易に理解されるように、光源42は、標準的なDXボードのためのDX制御、および/または単純なRFリモート、および高/低パススルーフィルタセットアップを含むことができる。したがって、光源42は、小さくても大きくてもよい。より小さい照明の非限定的な例としては、より高い端部のGOBOスタイルの照明(例えば、約30cm~約40cmの長さ)が挙げられる。光源42は当技術分野で周知のように、バッテリ、DC電力、またはAC電力を介して給電されてもよい。
自然光は、太陽からの日光の形態で提供されてもよい。人工光26は、白熱電球、蛍光ランプ、ハロゲンランプ、および発光ダイオード(LED)などの、光スペクトルの可視部分22の少なくとも一部を生成することができる任意の光源(例えば、400~700ナノメートル(nm)の範囲の波長を有する可視光)によって提供され得る。励起光28は、UV放射LED、UVA電球、UVB電球、UVC電球、赤外放射LED、および赤外白熱電球などの、光スペクトルの不可視部分24を生成することが可能な任意の光源(例えば、400nm未満の波長を有する紫外光または700nmを超える波長を有する赤外光)によって提供され得る。
図1の例において、対象物16は、励起光28による照明時に、光スペクトルの不可視部分24の波長(例えば、400未満の波長を有する紫外光)で蛍光を発する蛍光色素(図示せず)でコーティングされる。光スペクトルの不可視部分24で励起され、光スペクトルの不可視部分24で蛍光を発する限り、当技術分野で知られている任意の蛍光色素を利用することができる。例えば、蛍光染料は、希土類鉱物および/または様々な有機(ポリ)芳香族化合物からのものであるか、またはそれらを含み得る。典型的な実施形態において、蛍光色素を励起する光の波長範囲は、画像データ14の取得中に励起光28によって生成される干渉を最小限に抑える(すなわち、有意なストークスシフトを有する)ために、蛍光色素によって放射される光の波長範囲とは異なる。例えば、対象物16は、360nmの波長の光によって励起され、381nmの波長の光を発する蛍光色素で処理されてもよい。しかしながら、様々な実施形態において、色素は400未満の任意の波長を有する光によって励起することができ、波長が重複しない限り、400nm未満の任意の波長で光を放射し得ることを理解されたい。
この文脈において、本明細書における蛍光励起または発光と併せた「波長」という用語は、単一の波長を指すのではなく、典型的にはベル形状である励起または発光スペクトルにおけるピークを指すことを意味することに留意されたい。したがって、蛍光色素が360nmの励起波長を有する場合、350nmまたは370nmでの励起は排除されない。しかしながら、最も典型的には、ピークは両側で5~25nm以下に及ぶフランクを有する。
特定の実施形態において、物体16は、第1蛍光染料でコーティングされた第1領域と、第1蛍光染料とは異なる第2蛍光染料でコーティングされた第2領域とを有することができる。これに代えてまたは追加して、第2物体(図示せず)が含まれ、第1蛍光色素とは異なる第2蛍光色素でコーティングされてもよい。様々な実施形態において、第1および第2蛍光色素は励起光28による照明時に、光スペクトルの不可視部分24において異なる波長で蛍光を発する。したがって、2つ以上のアルファチャネルが生成され得る(たとえば、オブジェクトの第1エリアのための1つのアルファチャネルおよびオブジェクトの第2エリアのための第2アルファチャネル、または1つのアルファチャネルまたは1つのオブジェクトおよび別のオブジェクトのための別のアルファチャネル)。有利なことに、そのような複数のアルファチャネルは、典型的には同じシーンにおいて、同じ画像取得セットアップを使用して、同時に生成することができることを理解されたい。物体16(または複数物体)の3つ以上の領域に対して3つ以上の蛍光色素を利用して、3つ以上のアルファチャネルを生成することができることを理解されたい。
蛍光色素は、蛍光体、蛍光エネルギー移動染料、蛍光顔料、蛍光ポリマー、蛍光タンパク質、またはそれらの組み合わせを含むことができる。本明細書で使用される「フルオロフォア」という語は、光励起時に光を再放射することができる蛍光化学化合物を意味する。本明細書で使用される「蛍光エネルギー移動色素」という語句は、ドナーフルオロフォアおよびアクセプターフルオロフォアを含む蛍光色素を意味し、ドナーフルオロフォアおよびアクセプターフルオロフォアが互いに近接して位置し、互いに対して適切な配向を有するとき、ドナーフルオロフォアからのエネルギー発光がアクセプターフルオロフォアによって吸収され、アクセプターフルオロフォアを蛍光発光させる。本明細書で使用される「蛍光顔料」という語句は、フルオロフォアがポリマーマトリクス中に溶解して存在することを意味する。好適な蛍光色素の非限定的な例としては、クマリン、ピレン、ペリレン、テリレン、クアテリレン、ナフタルイミド、シアニン、キサンテン、オキサジン、アントラセン、ナフタセン、アントラキノン、チアジン、フルオレセイン、ローダミン、不斉ベンゾキサンテン、キサンテン、フタロシアニン、スクアライン、およびこれらの組み合わせが挙げられる。
異なる観点から見ると、本発明者は特に、光のUV帯域において励起極大を有し(好ましくは人間の肉眼では不可視)、光のUV帯域のより長い波長部分において蛍光発光極大を有する(好ましくは人間の肉眼では不可視)蛍光色素を企図する。したがって、本明細書に提示される好ましい化合物は、UV-to-UV蛍光色素であることを理解されたい。したがって、比較的高い励起強度で照明された場合でさえ、蛍光は観察者には知覚され得ない。蛍光は可視波長の光との同時照射によって悪影響を受けない。
図2A~Cは、本明細書に提示される教示と併せて使用するのに適した例を提供する。ここで、図2Aは、約365nmの励起極大および約381nmの蛍光発光極大を有する4,4-ビス-ジtertブチル-カルバゾールビフェニルの複合スペクトルを示す。同様に、図2Bは、約370nmの励起極大および約397nmの蛍光発光極大を有する2-ナフチルアミンの複合スペクトルを示す。さらに別の例では、図2Cに示されるように、約350nmの励起極大および約365nmの蛍光発光極大を有する9-フェニルカルバゾールについての複合スペクトルが示される。複合スペクトルから分かるように、励起スペクトルと蛍光スペクトルとの間にいくらかの重複する部分があり、量子効率のいくらかの損失につながる。しかしながら、本明細書に記載されるような実際の使用において、試験された全ての化合物は、意図される効果のために良好に機能した。もちろん、FIGS2A~Cの化合物は蛍光色素の単なる例示であり、全ての蛍光色素が本明細書での使用に適切であると考えられる(特に、UV-UV蛍光色素)ことを認識すべきである。
蛍光染料の特定の化合物および使用方法に関して、染料は、適切な溶媒に溶解された微細な(微粉化された)粉末として使用されて、スプレーとしての局所適用(染料を沈着させるために蒸発しても蒸発しなくてもよい)を可能にする透明な溶液または懸濁液などを形成することができることに留意されたい。これに代えてまたは追加して、他の液体、クリーム、ゲル、または固体剤を、蛍光染料のための担体として使用することができ、適切な選択は、典型的には処理される表面のタイプに依存する。したがって、担体は、典型的には噴霧可能な液体、化粧品製剤などを含む。もちろん、蛍光染料は対象物が形成される特定の材料に(例えば、機械加工、3D印刷などを介して)組み込まれてもよいことにも留意されたい。蛍光が大きな高分子(例えば、マイラーまたはポリエチレンテレフタレート)またはタレシートに適用される場合、材料はブラシ塗りまたは噴霧され得るか、またはそのようなシートは蛍光染料を組み込むように製造され得る。
必要に応じて、蛍光材料は、UV吸収剤で前処理された表面に塗布することもできる。有利には、そのような薬剤は、UV励起光への生組織の曝露を低減するか、またはUV-UV蛍光染料で処理された反射(例えば、金属)表面からの失活光の反射を低減または排除するのに有益である。したがって、いくつかの実施形態において、蛍光染料でコーティングされる表面は、対象の表面からのUV光を遮断するために、それらに適用されるベースコート(例えば、日焼け止め)またはベース層(例えば、衣類)を含み得る。例えば、UVA波長は従来の日焼け止めおよび衣類によって容易に遮断され、したがって、励起光28はUVA波長のみを生成するように構成され得る。
さらに図1に関して、システム10は、物体16を含むシーン18を自然光および/または人工光26、ならびに励起光28で同時に照明するように構成される。本明細書で使用される「同時に」という語は、自然光および/または人工光26および励起光28がそれぞれ、互いに1,000ミリ秒(ms)以内、100ms以内、50ms以内、25ms以内、10ms以内、5ms以内、1ms以内、または0.1ms以内で場面18を照明することを意味する。最も典型的には、両方の光源が少なくともある時間間隔の間、同時に動作する。
画像データ12および画像データ14は、画像取得セットアップ20を使用してキャプチャされ、それによって、シーン18および対象物16の光スペクトルの可視部分22を表す色データ30、ならびに対象物16の光スペクトルの不可視部分24を表すグレースケールデータ32(対象物上の蛍光色素の蛍光から生じる)を生成する。画像取得セットアップ20は、画像データ12および画像データ14の少なくとも一方を取得するように構成された少なくとも1つのカメラ34Aおよび/または34Bを含むことができる。少なくとも1つのカメラ34Aおよび/または34Bは、色データ30、グレースケールデータ32、またはそれらの組み合わせを生成するように構成された1つまたは複数の画像センサ36Aおよび/または36Bを含み得る。適切な画像センサ36の例としては、赤/緑/青(RGB)センサ、紫外(UV)センサ、赤外(IR)センサ、またはこれらの組み合わせが挙げられる。
RGBセンサは、電荷結合元素(CCD)検出器要素、相補型金属酸化膜半導体(CMOS)検出器要素、電子増倍電荷結合元素(EMCCD)検出器要素、科学CMOS(sCMOS)検出器要素、または他のタイプの可視光検出器要素などの1つまたは複数の画像検出器要素を含むことができる。RGBセンサは、低光環境における取得を改善するためにIRセンサと組み合わせることができることを理解されたい。特定の実施形態において、RGBセンサは、CanonブランドのSLR/DSLRカメラに見られるものなどのCMOS検出器要素を含む。
UVセンサは、電子増倍電荷結合素子(EMCCD)検出器素子、科学的相補型金属酸化膜半導体(sCMOS)検出器素子、窒化ガリウム(GaN)検出器素子、または他の種類の紫外光検出器素子などの1つまたは複数の画像検出器素子を含むことができる。いくつかの実施形態において、UVセンサは、UVA帯域(例えば、315~400ナノメートル)またはUVB帯域(例えば、280~315ナノメートル)などの光スペクトルのUV領域の一部において、高められた応答性を有し、これにより、UVA帯域またはUVB帯域において発光する蛍光色素の発光を検出するように構成され得る。他の実施形態において、UVセンサは、UVC帯域(例えば、100~280ナノメートル)などの光スペクトルのUV領域の一部分において高められた応答性を有して、日中撮像のための太陽バックグラウンド、ならびにシリコンセンサによって見られるバックグラウンドに寄与する近UV、可視、赤外波長の人為的バックグラウンドを低減するように構成され得る。
IRセンサは、反射可視、近赤外線(NIR)、短波赤外線(SWIR)光、中波赤外線(MWIR)光、長波赤外線(LWIR)放射、またはそれらの組み合わせを感知するように動作するイメージャを含む、赤外線画像データを取得するための赤外線光検出器要素(たとえば、任意のタイプのマルチピクセル赤外線検出器)などのような、赤外線を検出し検出データおよび情報を提供するように適合された1つまたは複数の画像検出器要素を含み得る。非限定的な例としては、歪み層超格子(SLS)検出器、非冷却検出器素子、冷却検出器素子、InSb検出器素子、量子構造検出器素子、InGaAs検出器素子、または他の種類の赤外光検出器素子のアレイが挙げられる。
容易に理解されるように、少なくとも1つのカメラ34は、フレーム毎秒(FPS)、被写界深度(DOF)、焦点距離、モーションブラー、アパーチャ、またはそれらの組み合わせに対して調整可能であり得る。少なくとも1つのカメラ34は、デジタルラインインおよびアウト(たとえば、USBなど)、ワイヤレス接続(たとえば、Bluetooth(登録商標)、WIFI、NFCなど)、およびカメラのための当技術分野で知られている任意の他の通信チャネルを含む、様々な通信チャネルを含み得る。
特定の実施形態において、画像取得セットアップ20は、シーン18内の物体16の光スペクトルの可視部分22を表す色データ30を生成するように構成された第1画像センサ36A(例えば、RGBセンサ)を有する第1カメラ34Aと、物体16の光スペクトルの不可視部分24を表すグレースケールデータ32を生成するように構成された第2画像センサ36B(例えば、UVセンサ)を有する第2カメラ34Bとを含む。しかしながら、画像取得セットアップ20は、1つ以上のカメラに関連付けられたセンサの任意の組み合わせを含むことができることが考えられる。例えば、実施形態において、物体16が360nmの波長の光によって励起され、381nmの波長の光を発する蛍光色素で処理されるとき、第2画像センサ36BはUVセンサを有し、これにより第2画像センサ36Bは、物体16の光スペクトル(すなわち、381nm)の不可視部分24を表すグレースケールデータ32を生成することができる。
第1および第2カメラ34A、34Bは、(たとえば、立体)担体に結合され、実質的に同じ視線およびズーム係数に沿ってシーン18内のオブジェクト16をキャプチャするように構成され得る。視線に関して本明細書で使用される「実質的に」という語は、第1および第2カメラ34A、34Bの各々の視線が互いに10°内、5°内、4°内、3°内、2°内、1°内、または0.1°内にあるということを意味する。ズームファクタに関して本明細書で使用される「実質的に」という語は、第1および第2カメラ34A、34Bのそれぞれのズームファクタが互いに10%以内、5%以内、4%以内、3%以内、2%以内、1%以内、または0.1%以内であることを意味する。さらなる実施形態において、視差を考慮するためにソフトウェアを使用することができる。さらに、カメラの動作は、当技術分野で周知の制御を使用して同期させることができることに留意されたい。
他の実施形態において、画像取得セットアップ20は、シーン18内の物体16の光スペクトルの可視部分22を表す色データ30と、物体16の光スペクトルの不可視部分24を表すグレースケールデータ32との両方を生成するように構成された統合画像センサ36を有するカメラ34を含む。
いくつかの実施形態において、画像取得セットアップ20はフィルタ38をさらに含む。フィルタ38は、光スペクトルの不可視部分24内において光が第2画像センサ36Bへ移動することを可能にし、光スペクトルの可視部分22内において光が第2画像センサ36Bへ移動することを低減または遮断する、第2カメラ34Bに対して結合され得る。特定の実施形態において、フィルタ38は、UVA放射を透過し、315nm未満かつ400nmより長い波長を有する光などの他の波長の光を拒絶する、バンドパスフィルタを含む。例えば、対象物16が360nmの波長の光によって励起され、381nmの波長の光を発する蛍光染料で処理される実施形態において、フィルタ38は、蛍光染料による発光のための所望の波長範囲の中心(例えば、370nmと390nmとの間)において、少なくとも10%以上の透過率を有するUVA放射を透過し得る。画像取得セットアップ20は、2つのフィルタ、3つのフィルタ、4つのフィルタ、またはそれ以上のフィルタなどのように、2つ以上のフィルタを含み得ることを諒解されたい。同様に、追加のフィルタをカメラ34Aと共に使用して、蛍光励起光および/または発光光を遮断または著しく低減することもできる。
システム10はさらに、グレースケールデータ32を使用して、対象物16をシーン18から隔離し、それによって隔離された対象物を生成し、隔離された対象物の色データ30を使用して、対象物のアルファチャネルを生成するように構成され得る。特に、システム10は、グレースケールデータ32を使用してオブジェクト16のためのアルファチャネルを生成するように構成され得る。様々な実施形態において、アルファチャネルは、1つの画像を互いにアルファブレンディングすることを可能にする。このアルファチャネルを利用して、シーン18からオブジェクト16を分離し、それによって、分離されたオブジェクトを生成することができる。
アルファチャネル生成およびビデオ合成に必要とされる様々な機能を実行することができる多数のソフトウェアパッケージが市販されていることを理解されたい。例えば、様々な2D合成プログラム、アニメーションプラットフォーム、またはモーショングラフィック、ならびにビデオ編集プログラムが、使用に適していると考えられる。また、ほとんどの3Dソフトウェアパッケージには、必要なツールがバンドルされている。このようなパッケージは適切であるが、特に好ましいソフトウェアパッケージは、合成、ロトスコーピング、カラーキーイング、および/またはグリーンスクリーン制作を実行するための専用の機能も有する。例えば、特に企図されるパッケージは、Adobe After Effects、Premiere、Avid Media composer、Shake、Nuke、Combustion、Primatt、Wondershare Filmora X、Fusion Studio、Autodesk Flame, Natronである。MochaとSythe eyesはロトスコープにおいて特に有益であるが、それらは全てアルファチャンネルを作る。Lightwave、Max Mayaはすべて、ソフトウェアパッケージにクロマキーを組み込んだ3Dプログラムである。
引き続き図1を記載すると、例示的な実施形態において、対象物16は、360nmの波長の光によって励起され、381nmの波長の光を発する蛍光色素で処理される。第1カメラ34Aは第1イメージセンサ36AのためのRGBセンサを有し、第2カメラ34Bは第2イメージセンサ36BのためのUVセンサを有する。第2カメラ34Bは、381nmの波長において光スペクトルの不可視部分24の光の移動を許容し、約360nmの波長において光スペクトルの可視部分22の光および不可視部分24の光の移動を遮断する、フィルタ38を含む。対象物16は、光スペクトルの可視部分22を生成する人工光26で照明される。物体16は、少なくとも約360nmの波長の光を含むが381nmの波長の光を含まない光スペクトルの不可視部分24を生成する励起光28でさらに照明され、これにより、第2カメラ34Bによる取得中の干渉を最小限に抑える。第1カメラ34Aは、人工光26による物体16の照明から生じる画像データ12の取得に応答して、シーン18における物体16の光スペクトルの可視部分22を表す色データ30を生成する。第2カメラ34Bは、励起光28による物体16の照明に起因する画像データ14の取得に応じて、光スペクトルの不可視部24の波長381nmの光を表すグレースケールデータ32を生成する。理論に束縛されるものではないが、本発明者らは驚くべきことに、光スペクトルの不可視部分24を表す画像データ14を利用して、著しいポストプロダクション工程を必要とすることなく、シーン18から対象物16を隔離することができることを発見した。さらにより有利には、画像取得の2つの異なるモードの同時使用により、ディレクタによって所望される照明を使用して、シーンおよび物体が捕捉されることを可能にし、同時に、データを生成して、実質的に同一のビューおよび斜視でアルファチャネルを生成することができる。さらに、アルファチャネルは、人間の肉眼では見えない光を使用して生成されるので、「緑色のこぼれ」は観察されない。
さらに、本発明者らは驚くべきことに、画像データ14が、照明されている対象物16の材料、対象物16の色、または対象物16の照明に影響を与え得る対象物16の任意の他の属性とは実質的に独立した対象物16の照明情報を提供することを発見した。可視光に依存する従来の取得技術とは対照的に、画像データ14は、物体16の照明に基づく蛍光色素の励起のみから生じる。異なる視点から見ると、人工光26から生じる照明情報に影響を与え得る物体16の属性は、励起光28から生じる照明情報に影響を与えない。
システム10は、画像データ12および画像データ14の取得を同期させるために、自然光および/または人工光26、励起光28、および画像取得セットアップ20を制御することができるコンピューティングデバイス40をさらに有することができる。さらに、コンピューティングデバイス40は、画像取得セットアップ20によって取得された画像データ12および画像データ14と、画像取得セットアップ20によって生成された色データ30およびグレースケールデータ32とを分析して、隔離オブジェクトを生成し、オブジェクトのアルファチャネルを生成することが可能であってもよい。様々な実施形態において、コンピューティングデバイス40は、システム10の構成要素(たとえば、ハイエンドワークステーションPC)を制御することができるハードウェアおよびソフトウェア(たとえば、Adobe creative suite、Resulumeなど)を含む。
システム10は、ライブモードおよびリハーサル/アクションモードで動作するようにさらに構成されてもよい。ライブモードは上述のシステム10の構成を含み、物体16は、画像データ14を取得するために励起光28に曝される。一方、リハーサル/アクションモードは、シーンがアクションシーンとしてスクリプト化されるときに利用され得る。一般に、アクションシーンの間、被写体の顔は露出されないことがあり、または被写体は、彼らの顔を覆うサングラス、ヘルメット、またはコスチュームを着用している。あるいは、シーンはロングショットであってもよい。
リハーサル/アクションモード中、自然光および/または人工光26および励起光28は被写体に対して角度をなして配置され、画像取得セットアップ20は被写体がカメラの視点から完全に覆われていることを確実にするように配置される。リハーサル/アクションモードは、制御コンソール(例えば、コンピューティングデバイス40)のオペレータによって、またはライト26、28のためのリモートを使用することによって、起動され得る。ライト26、28がリハーサル/アクションモードにあるとき、ライト26、28は可視光を発する(例えば、数千の色を可能にする3色RGBチップを使用して)。
次いで、シーンがリハーサルされて、アルファチャネルを必要とする被写体が、光26、28から放射される光で完全に覆われているかどうかが確認される。次いで、ライト26、28の位置を調整することができ、追加のライト26、28を追加することができ、またはライト26、28の一部を除去して所望の条件を得ることができる。このリハーサル/アクションモードの間、被写体もスタッフもUV光に曝されない。シーンが撮影される準備が整うと、オペレータは、ライト26、28をライブモードにし、ライト28の色付き可視光は無効にされ、光28はリハーサル/アクションモード中に達成されるのと同じ相対的な明るさまたは密度を有する同じ領域を覆う不可視光(例えば、UV光)を放射する。UVリードは光28に対してRGBリードと同じハウジング内にあり、したがって、全ての光設定、ドアフラグ、位置などは、RGBリードに適用されるのと同じようにUVリードに適用される。
被写体の顔がクローズアップまたは中程度のショットで見られるシーンの場合、システム10は、被写体の完全なカバレッジを提供して、被写体の全面を含むアルファチャネルを生成する。これは、アルファチャネルを2つの部分で捕捉し、次いで、周知の合成ソフトウェアを使用してコンピューティングデバイス40を使用してそれらを組み合わせることによって達成され得る。照明設定は主に、少なくとも1つの照明28の代わりに少なくとも1つのプロジェクタを追加するライブモードの場合と同じである。プロジェクタは、光28と同じ波長の不可視光を放射してもよく、リハーサルモードを有する場合がある。
プロジェクタは、焦点/視野が光28と相対的に同じになるように配置される、プロジェクタに結合されたウェブカメラまたは他のビデオ取得デバイスなどの補助カメラを含むことができる。他の実施形態において、補助カメラは、焦点/視野が第2カメラ34Bと相対的に同じになるように配置される。プロジェクタは、焦点/視野が光28および第2カメラ34Bと相対的に同じになるように配置された複数の補助カメラを含むことができることを理解されたい。コンピューティングデバイス40は、対象の追跡領域を描画し、リアルタイムで被写体の顔の周りに独自のマスクを作成するために、補助カメラ内の追跡ソフトウェアを使用することができる。次に、同じトラッキング領域を使用して、プロジェクタのリアルタイムマスクを作成する。プロジェクタ内のLCDチップは、白黒顔認識追跡領域を使用して、被写体の顔に当たるプロジェクタからのUV光のその部分を遮断する。被写体の残りは、依然としてプロジェクタによって照明される。リハーサルの間、マスクは、被写体の面の周りにできるだけ緊密になるように調整することができる。被写体の顔からのUVをブロックするために使用される同じマスクは、主UVトラックおよびカラートラックと同じタイムコードを有する別個のトラックとして記録されてもよい。次に、2つのトラックを組み合わせて、1つのクリーンなアルファチャンネルを作成する。
この構成のために、蛍光染料によるメイクアップは、必要に応じて、露出した皮膚の大部分に適用することができる。必要に応じて、顔、首、鼻、顎、額、頬の側面に適用することができる。アルファチャネルを必要とする毛髪、ワードローブ、および任意の他の小道具を処置することができる。リハーサルモード中、光は上述のように、非常に飽和した明るい色を投影する。フェイシャルマスク/トラッキングは、レイテンシおよび形状に限り調整することができる。
さらに企図される実施形態において、可視光および不可視光の使用は、物体またはアクターが蛍光色素で覆われる必要がない方法で実施されてもよいことが認識されるべきである。代わりに、背景は、スペクトルの不可視部分の光を放射する光源を使用して生成される、好ましくは均質な照明領域を提供する。もちろん、上述の実施形態のように、シーン内のアクターのオブジェクトは、典型的にはスペクトルの可視部分の自然光または人工光でも照明される。したがって、アクターのオブジェクトがスペクトルの不可視部分の光を発する光源を使用して生成される均一な照明領域の前にあるとき、不可視光に敏感なカメラは、背景が可視である画像データを記録し、オブジェクト/アクターは不可視であることを理解されたい。したがって、オブジェクトまたはアクターは、不可視光に敏感なカメラから生成されたアルファチャネルを使用して容易に分離することができる。
例えば、システム10は、可視光の下で実質的に透明である蛍光パネルを含むことができる。蛍光パネルは、特定の波長の光の下で蛍光を発するが可視光の下では透明のままである蛍光色素で処理されてもよい。容易に理解されるように、パネルは次いで、パネルから離れた所望の位置からの励起光で、またはパネルの上部および/または底部に一体化された光源(例えば、LEDストリップ)からの励起光で(例えば、パネルを保持するフレーム内で、励起光のこぼれを最小限にする)照明され得る。蛍光パネルはアルファチャネルであってもよく、したがって、物体16は蛍光パネルから単離され得る。蛍光パネルは、蛍光色素で処理された透明なプラスチック、マイラー、またはチュールを含むことができる。これらおよび他の実施形態において、励起光28は、アクションの中心線の後ろにあり、蛍光パネルの方を向いてもよい。励起光28は、広い範囲を必要とし得ることを理解されたい。あるいは、いくつかの実施形態ではシステム10が蛍光パネルを含まないか、または蛍光パネルの1つまたは複数の部分のみが使用される。これらの実施形態および他の実施形態において、背景を照明することができ、したがって、アルファチャネルとして機能することができ、それによって、UV光への対象の曝露を最小限に抑えることができる。
加えて、以下でより詳細に説明するように、蛍光パネルはまた、可視光を放射するLED構成要素に加えて、スペクトルの不可視部分で光を放射するLED要素を備えるLEDスクリーン(例えば、360度LEDスクリーン)によって置き換えられてもよい。そのようなLED素子は、LEDスクリーン内の別個に制御された画素として全体にわたって実装されてもよく、または別個に制御された行または列で提供されてもよい。
リハーサルモードの間、励起光28は上述のように、非常に飽和した明るい色を投影し、スタッフおよびタレントが励起光28の照明の範囲外にあり、蛍光パネルが覆われていることを確実にする。結果として生じるアルファチャネルの有効性を最大にするために、任意の物体、スタッフ、タレント、表面などに対してUV吸収剤を適用し得る。
上述したように、対象物16の画像データ12、14を取得する方法が提供される。この方法は、光スペクトルの可視部分22を表す物体16の画像データ12と、光スペクトルの不可視部分24を表す画像データ14とを同時に取得するように構成された画像取得セットアップ20を提供することを含む。この方法はさらに、励起光28による照明時に、光スペクトルの不可視部分24の波長で蛍光を発する蛍光色素で対象物16をコーティングすることを含む。本方法は、(a)自然光および/または人工光26、ならびに(b)励起光28を用いて、物体16を含むシーン18を同時に照明することをさらに含む。この方法は画像取得セットアップ20を使用して画像データ12、14をキャプチャすることをさらに含み、それによって、物体16とシーン18の光スペクトルの可視部分22を表す色データ30と、、物体16の光スペクトルの不可視部分24を表すグレースケールデータ32とを生成する。
対象物16の画像データ12、14を取得する別の方法が提供される。この方法は、(a)自然光および/または人工光26、ならびに(b)励起光28で物体16を同時に照明することを含む。この方法は、対象物16の光スペクトルの可視部分22を表す色データ30を生成し、対象物16の光スペクトルの不可視部分24を表すグレースケールデータ32を生成する画像取得セットアップ20を使用して、画像データ12をキャプチャすることをさらに含む。対象物16は、励起光28による照明の際に光スペクトルの不可視部分24の波長で蛍光を発する蛍光色素でコーティングされている。励起光28および蛍光は、光スペクトルの紫外線部分にある。
オブジェクト16を含むシーン18の画像データ12内のオブジェクト16のためのアルファチャネルを生成する方法も提供される。この方法は、オブジェクト16を含むシーン18の画像データ12、14を提供することを含む。画像データ12は、物体16とシーン18の光スペクトルの可視部分22を表す色データ30と、物体16の光スペクトルの不可視部分24を表すグレースケールデータ32とを含む。この方法はさらに、グレースケールデータ32を使用して、対象物16をシーン18から隔離し、それによって隔離された対象物を生成することを含む。この方法は、隔離されたオブジェクト16のための色データ30を使用して、オブジェクトのためのアルファチャネルを生成することをさらに含む。
対象物の画像データを処理する方法も提供される。この方法は、オブジェクト16を含むシーン18の画像データ12、14を提供することを含む。画像データ12、14は、シーン18の光スペクトルの可視部分22を表す色データ30および物体16と、物体16の光スペクトルの不可視部分24を表すグレースケールデータ32とを含む。本方法は、グレースケールデータ32を使用してオブジェクト16のアルファチャネルを生成することをさらに含む。
上記を考慮すると、本明細書に提示されるアルファチャネル生成システムおよび方法は、撮影されるカラービデオと同時にアルファチャネルを生成することが認識されるべきである。最も典型的には、両方のビデオストリームが同じタイムコードで(例えば、別々に)保存される。アルファチャンネルはリアルタイムで記録され、ライブで視聴され、場所で再生され、設定されたかなりの生産時間および時間を節約することができる。記録されたアルファチャネルは、その後、当技術分野で周知の従来のソフトウェアツールを使用して、ポストプロダクションにおいて任意の他のトラックマットとして使用することができる。さらに、アルファチャネル生成器は「緑色ステージ」上で使用される必要はなく、実際には、光の非可視スペクトル内にアルファチャネルを生成し、特定の照明の必要性とは無関係にアルファチャネル生成をレンダリングするので、任意の場所で使用することができる。したがって、シーンは現実世界で撮影することができ、特に緑色スクリーンのために照明する必要はない。さらに、UVキャプチャカメラがアルファチャネルを生成するために使用する光は、シーンに影響を与えず、肉眼では見えないことを理解されたい。
結果として、ディレクター/写真ディレクターは、望み通りにシーンを照らし、屋外、太陽光、夜間、緑色のステージ、およびビデオウォールを有するステージ上でさえ、アルファチャネルを生成することができることを理解されたい。さらに、企図されるシステムおよび方法は複数の人および被写体がシーンにいることを可能にし、キャスト全体がグリーンステージ上にあることなく、1人のアクターまたはアクターの一部のみを選択してアルファチャネルに変えることを可能にする。さらに、本明細書に提示される企図されるシステムおよび方法は、アルファチャネル自体を必要としないオブジェクトの背後にアルファチャネルを作成することができ、それによって、追跡しないシーンのための困難なロトスコープ手順を排除する。最後に、本明細書に提示されるシステムおよび方法は、「緑色のこぼれ」を有さず、したがって、ゼロレンダリング時間でないとしても最小限のレンダリング時間を必要とすることを認識されたい。
さらに別の利点として、映画は、通常は緑色のスクリーンが使用されていたタレントの背後の壁上のローエンドのプロジェクタからであっても再生することができる。
その壁の前に、UV-UV化合物を有する透明スクリーンを配置して、投影されたビデオによる適切な照明を利用する一方で、背景アルファチャネル生成を使用してアルファチャネルを生成することを可能にすることができる。
以下の実施例では、本明細書に提示されるシステムおよび方法の2つの一般的なセットアップ構成、すなわち、前景アルファチャネル生成構成(以下でより詳細に提供される1つの実施例を伴う)および背景アルファチャネル生成構成(以下でより詳細に提供される3つの実施例を伴う)が使用された。両方のシステムに共通しているのはアルファチャネル生成が以下でより詳細に説明されるように、2つのカメラ、すなわち、標準RBGビデオカメラと、UV A範囲(ここでは400nm~330nmの波長)内の1つまたは複数の狭帯域の光を捕捉するカメラとを使用することである。
前景アルファセットアップ:アルファチャネルを必要とする被験体を、可視でない範囲内でのみ蛍光を発する化合物で処置する。化合物が適用され、UV光で照射されるものは、アルファチャネルになる。
背景アルファセットアップ:この設定は、従来のグリーンスクリーンセットアップがどのように撮影されるかに似ている。背景がアルファチャンネルになり、背景に被写体が写っている。ポストプロダクションでは、アルファチャンネルが反転される。このような一般的な設定は、3つの異なる変形例で使用することができる。
背景アルファセットアップA:シーンは、UV-UV蛍光化合物でコーティングされたチュールまたはポリマーフィルムなどの何らかのタイプの透明基板上に作成されたUV-UV蛍光バックドロップを有する。次いで、化合物は、UV励起光によって励起され、対象が蛍光バックドロップの前にある場合を除いて、シーン全体が蛍光を示す。
背景アルファセットアップB:シーンは、上述のようにUV-UV蛍光バックドロップを有する。被写体が前景にある場合、被写体は、バックドロップから出るUV光によってシルエットされる。シーン内に複数の被写体があり、それらがオーバーラップしている場合、それらの被写体に個別のアルファチャンネルを割り当てることができる。UV-UV蛍光化合物は、バックドロップと同じ波長で励起するが異なる波長で発光する対象に適用することができる。次いで、ソフトウェアを使用して、化合物が放出している異なる蛍光波長に色を割り当てる。アルファチャネルは、紫外線-紫外線蛍光化合物を持たない物体に対しても生成することができる。それらのアルファチャネルは、表面を反射してUVキャプチャカメラに入る光によって生成される。これは正確ではないが、他に何も起こらない場合にはうまく機能する。たとえば、夜間において公園内の木のアルファチャンネルを作成する。
背景アルファセットアップC:シーンは、ビデオ再生壁またはスクリーン上で、UV-UV蛍光化合物を使用するか、または埋め込まれたLEDまたはそれらの組み合わせを使用する部分的または完全な蛍光バックドロップを有する。さらに好ましい態様ではUV発光LEDがビデオ再生壁に埋め込まれ、埋め込まれたUV-LEDは別個の制御回路によって制御される。特定の設定にかかわらず、アルファチャンネルを必要とする被写体は、ビデオ画面に対してシルエットされる。
カメラおよびリグ:典型的なアルファチャネルジェネレータシステムは、立体視リグなどの比較的視差がないかまたはゼロで同じシーンの同時撮影を可能にする、ある種のリグに取り付けられた2つのカメラを使用する。カメラのうちの1つは、UVAを捕捉するように設定される。理想的には、カメラが同じ構成およびモデルを有し、同じレンズを使用する。両方のカメラは、水晶体に取り付けられたフィルタを有する。RGBカメラはその上に標準的なUV遮断フィルタを有し、可視光のみを通過させる(400/405nm~700+ nm)。UVカメラ上のフィルタは通常、UV-UV化合物が蛍光を発する波長と同じ狭帯域幅(10nm)を有するバンドパスフィルタであり、それによって、励起光を排除し、蛍光を記録することを可能にする。
典型的な実施例では、カメラは並んだリグまたは立体リグなどのリグに取り付けられた。RGBおよびUVカメラの撮影は、それらの間に視差がほとんどまたは全くない(例えば、立体リグを使用して)同じ視野を有するように調整された。最も典型的には、リグはそれぞれのカメラのための2つの水晶体の移動を調整する伝達ホイール、歯車、および線材を有し、それによって、水晶体の焦点合わせおよびズームを同時に容易にする。理解されるように、RGBカメラの設定(露出ホワイトバランスなど)は、遠隔または手動で設定することができる。
1例において、本発明者は、2つの同一のCannon 8ti rebelのセットアップを使用した。このセットアップは0度の視差を達成せず、これは理想的であるが、同一のカメラおよびレンズを使用した。UV捕捉カメラでは、スペクトルの不可視部分の光を捕捉するために、捕捉チップおよびいくつかの内部フィルタのみが変更されていた。あるいは、ゼロ視差を達成するために、カメラは商業的に入手可能であり、ほとんどすべての専門的なカメラに適合する、3DまたはVRを撮影するために使用されるものと同様のリグに取り付けられる。このような設定では、一方のカメラが(半透明の)1方向またはビーム分割ミラーを通して撮影し、他方のカメラが反射されたシーンをキャプチャする。重要ではないが、UVキャプチャカメラは反射画像をキャプチャするユニットである。
さらに別の例では、現時点で利用可能なプロのUVビデオカメラがほとんどないので、2つのカメラが同一ではない代替設定が考慮される。レンズ歪みが観察され得るが、合成ソフトウェアはそのような歪みに対応することができる。あるいは、Go-Proまたは同様の寸法のハンドヘルドカメラでの使用などのために、スモールフォームファクタ固定焦点UVキャプチャカメラを使用することができる。
一般に照明の場合、アルファチャネル発生器光はUV光であることが企図される。それらの波長は、狭い波長に同調されるフィルタまたはUV LEDを介して狭くされる全帯域UVAであり得る。
前景アルファセットアップのための照明:少なくとも1~数個の高ワット数のUVAスタンドアロンフィルタリングされたまたは狭帯域幅の光が使用される。照明問題(例えば、ハイライト、反射面など)が存在する場合、狭帯域幅を放射するUVソフトボックスを使用することができる。アルファチャネルを必要とする被写体は、UV-UV化合物を励起するUVによって十分に照らされる。認識されるように、これらの要因およびショットされるシーンの考慮が、いくつの光およびどの構成が使用されるかを決定する。
背景アルファセットアップのための照明:ショット内の背景を覆う狭いUV帯域または透明なUV背景スクリーン、またはUV-UV化合物で処理されていない背景内の特定の要素を照明することを意味する非常に大きなUV光を有する、少なくとも1つの大きなフラットリフレクタバウンス光セットアップ。値が一様なアルファを作成するには、バックグラウンドに均等なカバレッジがあることが最善である。これらの要因およびショットされるシーンの考慮が、いくつの光およびどの構成が必要であるかを決定する。
ワークステーションPCおよびソフトウェアの制御:カメラの製造業者からのカメラ遠隔制御および閲覧ソフトウェアなどが、本明細書での使用に適している。RGBカメラとUVカメラの両方を同時に見ることができる、高速ビデオカードを有するPC、または2つのPCが使用されることが好ましい。ワークステーションの主な機能は、ストリームが適切に並ぶように2つのビデオストリームの登録をチェックし、調整することである。ほとんどの場合、ワークステーションは、アルファチャンネルを再生およびコンパイルするための従来のポストプロダクションソフトウェアも実行する。
アルファチャネルを生成するための適切なソフトウェアは広く市販されており、典型的には、カメラの製造業者(例えば、Adobe、Avidなど)によって提供される。アルファチャネルを生成するためにビデオストリームを合成することができることに加えて、好ましいソフトウェアパッケージはまた、2つのビデオストリームを整列させて登録する機能を提供し、カメラにバンドルされるほとんどの無料のリモートソフトウェアは、この目的のために十分である。より複雑な機能が必要とされる場合、ハイエンドの合成ソフトウェアは、多くの場合、それらのパッケージに含まれるカメラおよびレンズ設定の大きなアレイを有する。これらのセットアップは、コンピュータ生成ドメイン内に組み込まれた要素が現実世界のドメイン内の特定のカメラおよびレンズセットアップによって撮影された環境と一致するように、レンズ歪みおよびカメラ特性を除去または追加する目的で、カメラ製造業者によって提供されている。シーンが撮影され、RGBおよびUVアルファ画像が正確に位置合わせされない場合、位置合わせを補正するための最終的な微調整は、ポストプロダクションで実施することができる。Adobe After Effectsなどのソフトウェアを使用すると、視差を除去したり、ビデオストリームがラインアップするようにフレームを手動で調整したりすることが容易になる。
UV-to-UV化合物:特定のUV-to-UV化合物が所望の目的のために選択され、4,4-ビス-ジtertブチル-カルバゾール-ビフェニル、2-ナフチルアミン、および9-フェニルカルバゾールは、全ての設定において優れた結果を示した。これらの化合物をいくつかの異なる培地(例えば、ポリエチレンテレフタレート、PVA、エタノール)と混合し、塗料として塗布した。
画像キャプチャが開始し、RGBカメラが記録しているとき、第2UVカメラはまた、RGBカメラと同じタイムコードを有する、典型的には別個のファイルとして、グレースケール画像をリアルタイムで記録している。このグレースケール画像はアルファチャンネルである。どちらのカメラも、カメラの再生とリモコンの両方が配置されているワークステーションにライブフィードがある。結果は被写体のRGBビデオと同じシーンのビデオであるが、それぞれの同期されたカメラによって提供されるグレースケールである。グレースケール画像はアルファチャンネルである。化合物がグレースケールで完全に不透明である場合、画像は255(白)である。化合物が存在しない場合、画像は0(黒)である。被写体に透明部分がある場合、アルファの強度を変化させるグレースケールが表示される。アルファチャンネルがRGB画像に適用されると、被写体が背景から切り出されたことが分かる。
前景アルファセットアップおよびアクションコンフィギュレーションセットアップ/リハーサルモード:このコンフィギュレーションおよびスタジオセットアップは、シーンがアクションシーンとしてスクリプト化されるとき、または単一オブジェクトが削除のためにアルファを必要とするときに使用される。たとえば、タレントやヒーローのアイランドショットでは、線材の取り外し、足場、手足などがある。これらは人の顔が露出しないシーンであり、顔を覆うサングラス、ヘルメット、コスチュームを着用しているか、または極端に長時間撮影されている。この構成は主に、分離される必要がある前景物体上のUV-UV化合物を使用する。
セットアップ中、光は被写体がカメラPOVから完全に覆われることを確実にするように、被写体およびカメラに対して角度を成して配置される。プリライトとリハーサルの間、ライトはリハーサルモードになる。これは、操作者が制御コンソール(ラップトップ)で実施するか、または照明用のリモートを使用して実施する。照明がリハーサルモードにあるとき、それらは、数千の色を可能にする3色RGBチップを使用して可視光を放射している。各光からの色は、高飽和、赤黄緑などであり得る。
シーンがリハーサルされる。このモードでは、アルファチャンネルを必要とする被写体がライトからの光で完全に覆われているかどうかを容易に確認できる。次いで、光の位置を微調整することができ、光を追加または削除することができ、クルーまたはタレントをUVにさらすことなくシーンとキーを微調整することができる。シーンを撮影する準備が整うと、オペレータは光をライブモードにし、色付き可視光はオフになり、UVは、同じ相対輝度または密度を有する同じエリアを覆うようにオンになる。そのようなシナリオではUV LEDがRGB LEDと同じハウジング内にあり、したがって、すべての光セットアップ、ドアフラグ、位置などは可視着色光に適用されるのと同じようにUVに適用される。カメラが追跡、パン、またはズームする場合、被写体(例えば、リグに取り付けられた)のカメラPOVから直接的に向けられる主要なUV光も存在し得る。
背景アルファセットアップ
背景アルファセットアップは概念的には背景がアルファチャネルである緑色スクリーンとして見ることができるが、緑色スクリーンの代わりに、背景が可視範囲外に蛍光を発する。他の選択肢の中でも、背景アルファセットアップは、UV-UV蛍光化合物で処理された透明プラスチック、マイラー、またはチュールの大きな部分に基づくことができる。
例えば、透明なスクリーンは、スクリーンの上部および下部にあるUV放射LEDの列によって、またはより大きなステージタイプの光によって照明され得る。この構成の利点は、透明スクリーンを照明するために使用されるUVがUV-UV化合物のみに焦点を合わせられることである。このモジュール式/移動式透明バックドロップはほぼどこにでも展開することができ、容易に分解または破壊することができる。
代替のバックグラウンド設定は、非常に大きなライトを有することに依存するものである。この設定は、反射バックドロップとしてUVスクリーンを使用せず、夜間の屋外で、場合によっては太陽光でも使用することができる。このシナリオでは、UV光が作用の中心線の後ろにあり、背景の方を向いている。この場合、UV光は、先に論じたよりも広い波長範囲を使用することができる(またはUV-UV化合物の蛍光発光により近い波長にフィルタリングされる)。実際、また、達成するためのバックグラウンドおよび視覚的目標の中にあるものに応じて、この設定は、物体から反射する十分な光があるので、UV-UV化合物を必要としない場合がある。
本明細書記載のアルファチャネル発生器システムのさらに別の選択肢は、背面投影ビデオスクリーンまたはLED壁に関連する。最近、制作会社は、スタジオの周囲に360度のビデオウォールを走らせるカスタムステージを構築している。これは、グリーンスクリーンを使用する代わりに使用するように特別に構築されている。ビデオウォール内のRGB LEDのアレイにUV LEDを追加することによって、ビデオウォール上に表示される画像に影響を与えることなく、きれいなアルファチャネルを生成することができる。ビデオウォールを製造するとき、狭波長UV LED(例えば、381nm発光)を各ピクセルアセンブリと一体化することができる。あるいは、UV LEDピクセル以外の配置も適切であると考えられ、ビデオディスプレイと干渉しない水平または垂直の狭いLEDバーを含む。別の解決策は、LEDビデオスクリーンの前に配置され、UV励起光で適切に照明されるUV-UV透過スクリーンを使用することである。具体的な構成にかかわらず、これらのUV LEDはカラーLEDとは別個の回路上にあり、全て同じ量または明るさで点灯する。デュアルカメラピックアップおよびACGセットアップの残りの部分は、本文書に記載されているものと同じである。これは、UVカメラがライブカメラと同じリグに取り付けられることを必要とする。そのような場合、UV-to-UV化合物は必要とされない。
いくつかの実施形態では本発明の特定の実施形態を説明し、特許請求するために使用される、成分の量、濃度、反応条件などの特性を表す数字はいくつかの例では「約」という用語によって修正されるものとして理解されるべきである。したがって、いくつかの実施形態において、記載された説明および添付の特許請求の範囲に記載される数値パラメータは、特定の実施形態によって得ようとする所望の特性に応じて変化し得る近似値である。本明細書における値の範囲の列挙は単に、その範囲内に入る各別個の値を個々に参照する簡潔な方法としての役割を果たすことを意図している。本明細書に別段の指示がない限り、各個々の値はあたかも本明細書に個々に列挙されているかのように、本明細書に組み込まれる。
本明細書で記載した全ての方法は本明細書に別段の指示がない限り、あるいは明らかに文脈に矛盾しない限り、任意の好適な順序で実行され得る。本明細書の特定の実施形態に関して提供される任意のおよびすべての例、または例示的な言語(例えば、「など」)の使用は単に本発明をより明瞭にすることを意図しており、特許請求される本発明の範囲を限定するものではない。本明細書中のいかなる言語も、本発明の実施に不可欠な、特許請求されていない要素を示すものと解釈されるべきではない。
本明細書の説明および以下の特許請求の範囲全体で使用される場合、「a」、「an」、および「the」の意味は文脈が明らかに別段の指示をしない限り、複数の参照を含む。また、本明細書の説明で使用される場合、「in」の意味は文脈が明確に別段の指示をしない限り、「in」および「on」を含む。また、本明細書で使用されるように、文脈が別途指示しない限り、用語「~に結合される」は、直接結合(互いに結合される2つの要素が互いに接触する)および間接結合(少なくとも1つの追加の要素が2つの要素の間に位置する)の両方を含むことが意図される。したがって、「~に結合される」および「~に結合される」という用語は、同義的に使用される。
本明細書の発明概念から逸脱することなく、すでに説明したもの以外のさらに多くの修正が可能であることは、当業者には明らかであろう。したがって、本発明の主題は、添付の特許請求の範囲を除いて、限定されるべきではない。さらに、明細書と特許請求の範囲の両方を解釈する際、すべての用語は文脈と矛盾することのない、最も幅広い可能な方法で解釈されるべきである。特に、用語「備える(comprises)」および「備えている(comprising)」は非排他的な方法で成分、構成成分、または工程を指すものとして解釈されるべきであり、言及された成分、構成成分、または工程が明示的に言及されていない他の成分、構成成分、または工程と存在し、利用され、または組み合わされ得ることを示す。明細書または特許請求の範囲がA、B、C ...およびNからなる群から選択されるものの少なくとも1つを指す場合、本文は、A+N、またはB+Nなどではなく、群からの1つの要素のみを必要とするものとして解釈されるべきである。

Claims (72)

  1. 対象物の画像データを取得する方法であって、
    光スペクトルの可視部分を表す前記対象物の画像データと前記光スペクトルの不可視部分を表す画像データとを同時に取得するように構成された画像取得セットアップを提供するステップ;
    励起光による照明時に前記光スペクトルの前記不可視部分の波長で蛍光を発する蛍光色素で前記対象物をコーティングするステップ;
    (a)自然光および/または人工光、ならびに(b)前記励起光を用いて、前記対象物を含むシーンを同時に照明するステップ;
    前記画像取得セットアップを用いて画像データを取り込み、それによって、前記シーンおよび前記対象物の前記光スペクトルの前記可視部分を表す色データと、前記対象物の前記光スペクトルの前記不可視部分を表すグレースケールデータとを生成するステップ;
    を有する方法。
  2. 前記可視部分は、400~700ナノメートル(nm)の範囲の波長を有する、請求項1記載の方法。
  3. 前記不可視部分は、400nm未満の波長を有する、請求項1記載の方法。
  4. 前記蛍光色素が、フルオロフォア、蛍光エネルギー移動色素、蛍光色素、蛍光ポリマー、蛍光タンパク質、またはそれらの組み合わせを含む、請求項1記載の方法。
  5. 前記励起光の波長範囲が、前記蛍光色素によって放射される蛍光の波長範囲と異なる、請求項1記載の方法。
  6. 前記蛍光色素が、360nmの波長の励起光によって励起され、381nmの波長の蛍光を発する、請求項5記載の方法。
  7. 前記画像取得セットアップは、前記可視部分を表す前記対象物の前記画像データおよび/または前記不可視部分を表す前記対象物の前記画像データを取得するように構成された少なくとも1つのカメラを備える、請求項1記載の方法。
  8. 前記少なくとも1つのカメラは、前記色データ、前記グレースケールデータ、またはそれらの組み合わせを生成するように構成された1つまたは複数の画像センサを備える、請求項7記載の方法。
  9. 前記画像センサは、赤/緑/青(RGB)センサ、紫外(UV)センサ、赤外(IR)センサ、またはそれらの組み合わせを備える、請求項8記載の方法。
  10. 前記画像取得セットアップは、前記対象物の一部を追跡するように構成された補助カメラをさらに備え、前記励起光は前記対象物の前記一部を照明しない、請求項1記載の方法。
  11. 対象物の画像データを取得する方法であって、
    (a)自然光および/または人工光、ならびに(b)励起光を用いて前記対象物を同時に照明するステップ;
    前記対象物の光スペクトルの可視部分を表す色データを生成し、前記対象物の光スペクトルの不可視部分を表すグレースケールデータを生成する、画像取得セットアップを用いて、画像データを取得するステップ;
    を有し、
    前記対象物は、前記励起光を照射すると、前記光スペクトルの前記不可視部分の波長で蛍光を発する蛍光色素によってコーティングされ、
    前記励起光および前記蛍光は、前記光スペクトルの前記不可視部分内にある、
    方法。
  12. 前記可視部分は、400~700ナノメートル(nm)の範囲の波長を有する、請求項11記載の方法。
  13. 前記不可視部分は400nm未満の波長を有する、請求項11記載の方法。
  14. 前記蛍光色素は、フルオロフォア、蛍光エネルギー移動色素、蛍光色素、蛍光ポリマー、蛍光タンパク質、またはそれらの組み合わせを含む、請求項11記載の方法。
  15. 前記励起光の波長範囲は、前記蛍光色素によって放射される蛍光の波長範囲と異なる、請求項11記載の方法。
  16. 前記蛍光色素は、360nmの波長の前記励起光によって励起され、381nmの波長の前記蛍光を発する、請求項15記載の方法。
  17. 前記画像取得セットアップは、前記可視部分を表す前記対象物の前記画像データおよび/または前記不可視部分を表す前記対象物の前記画像データを取得するように構成された少なくとも1つのカメラを備える、請求項11記載の方法。
  18. 前記少なくとも1つのカメラは、前記色データ、前記グレースケールデータ、またはそれらの組み合わせを生成するように構成された1つまたは複数の画像センサを備える、請求項17記載の方法。
  19. 前記画像センサは、赤/緑/青(RGB)センサ、紫外(UV)センサ、赤外(IR)センサ、またはそれらの組み合わせを備える、請求項18記載の方法。
  20. 前記画像取得セットアップは、前記対象物の一部を追跡するように構成された補助カメラをさらに備え、前記励起光は前記対象物の前記一部を照明しない、請求項11記載の方法。
  21. 対象物を含むシーンの画像データ内の前記対象物のアルファチャネルを生成する方法であって、
    前記対象物を含む前記シーンの画像データを提供するステップであって、前記画像データは、前記シーンと前記対象物の光スペクトルの可視部分を表す色データと、前記対象物の前記光スペクトルの不可視部分を表すグレースケールデータとを含む、ステップ;
    前記グレースケールデータを使用して前記対象物を前記シーンから分離し、それによって分離オブジェクトを生成するステップ;
    前記分離オブジェクトの前記色データを使用して前記対象物のアルファチャネルを生成するステップ;
    を有する方法。
  22. 前記可視部分は、400~700ナノメートル(nm)の範囲の波長を有する、請求項21記載の方法。
  23. 前記不可視部分は400nm未満の波長を有する、請求項21記載の方法。
  24. 対象物の画像データを処理する方法であって、
    前記対象物を含むシーンの画像データを提供するステップであって、前記画像データは、前記シーンと前記対象物の光スペクトルの可視部分を表す色データと、前記対象物の前記光スペクトルの不可視部分を表すグレースケールデータとを含む、ステップ;
    前記グレースケールデータを使用して前記対象物のアルファチャネルを生成するステップ;
    を有する方法。
  25. 前記可視部分は、400~700ナノメートル(nm)の範囲の波長を有する、請求項24記載の方法。
  26. 前記不可視部分は400nm未満の波長を有する、請求項24記載の方法。
  27. シーン内の対象物の画像データをキャプチャする画像取得システムであって、
    前記シーン内の前記対象物の光スペクトルの可視部分を表す色データを生成するように構成された第1画像センサを有する第1カメラ;
    前記対象物の前記光スペクトルの不可視部分を表すグレースケールデータを生成するように構成された第2画像センサを有する第2カメラ;
    前記第2カメラに対して結合されたフィルタであって、前記光スペクトルの前記不可視部分において光が前記第2画像センサへ移動することを可能にし、前記光スペクトルの前記可視部分において光が第2画像センサへ移動することを低減または遮断する、フィルタ;
    を備え、
    前記第1カメラおよび前記第2カメラは担体に対して結合され、実質的に同じ視線およびズーム係数に沿って前記シーン内の前記対象物を捕捉するように構成されており、
    前記画像取得システムはさらに、前記光スペクトルの前記不可視部分において蛍光を発する蛍光色素のための励起光を連続的に提供するように構成された光源を備える、
    画像取得システム。
  28. 前記可視部分は、400~700ナノメートル(nm)の範囲の波長を有する、請求項27記載の画像取得システム。
  29. 前記不可視部分は、400nm未満の波長を有する、請求項27記載の画像取得システム。
  30. 前記蛍光色素は、フルオロフォア、蛍光エネルギー移動染料、蛍光顔料、蛍光ポリマー、蛍光タンパク質、またはそれらの組み合わせを含む、請求項27記載の画像取得システム。
  31. 前記励起光の波長範囲は、前記蛍光色素によって放射される蛍光の波長範囲とは異なる、請求項27記載の画像取得システム。
  32. 前記蛍光色素は、360nmの波長の前記励起光によって励起され、381nmの波長の前記蛍光を発する、請求項31記載の画像取得システム。
  33. 前記第1画像センサは、赤/緑/青(RGB)センサを含む、請求項27記載の画像取得システム。
  34. 前記第2画像センサは、紫外線(UV)センサを含む、請求項27記載の画像取得システム。
  35. 前記対象物の一部分を追跡するように構成された補助カメラをさらに備え、前記励起光は前記対象物の前記一部分を照明しない、請求項27記載の画像取得システム。
  36. シーン内の対象物の画像データをキャプチャする画像取得システムであって、
    前記シーン内の前記対象物の光スペクトルの可視部分を表す色データを生成し、前記対象物の前記光スペクトルの不可視部分を表すグレースケールデータを生成するように構成された、画像センサを有するカメラ;
    前記光スペクトルの前記不可視部分で蛍光を発する蛍光色素のための励起光を、前記対象物に対して連続的に照明するように構成された光源;
    を備える画像取得システム。
  37. 前記可視部分は、400~700ナノメートル(nm)の範囲の波長を有する、請求項36記載の画像取得システム。
  38. 前記不可視部分は、400nm未満の波長を有する、請求項36記載の画像取得システム。
  39. 前記蛍光色素が、フルオロフォア、蛍光エネルギー移動色素、蛍光色素、蛍光ポリマー、蛍光タンパク質、またはそれらの組み合わせを含む、請求項36記載の画像取得システム。
  40. 前記励起光の波長範囲は、前記蛍光色素によって放射される蛍光の波長範囲とは異なる、請求項36記載の画像取得システム。
  41. 前記蛍光色素は、360nmの波長の前記励起光によって励起され、381nmの波長の前記蛍光を発する、請求項36記載の画像取得システム。
  42. 前記画像センサは、赤/緑/青(RGB)センサ、紫外(UV)センサ、赤外(IR)センサ、またはそれらの組み合わせを備える、請求項36記載の画像取得システム。
  43. 前記対象物の一部分を追跡するように構成された補助カメラをさらに備え、前記励起光は前記対象物の前記一部分を照明しない、請求項36記載の画像取得システム。
  44. シーン内の対象物の画像データを取得する方法であって、前記対象物は背景の前にあり、前記方法は、
    光スペクトルの可視部分を表す前記対象物の画像データと、前記光スペクトルの不可視部分を表す前記背景の画像データとを同時に取得するように構成された画像取得セットアップを提供するステップ;
    (1)自然光および/または人工光で前記対象物を照明すると同時に、(2)前記光スペクトルの前記不可視部分に波長を有する光で前記背景を照明するステップ;
    前記画像取得セットアップを使用して画像データを取り込み、それによって、前記シーンの前記光スペクトルの前記可視部分を表す色データと、前記対象物の前記光スペクトルの前記不可視部分を表すグレースケールデータとを生成するステップ;
    を有する方法。
  45. 前記可視部分は400~700ナノメートル(nm)の範囲の波長を有し、前記不可視部分は400nm未満の波長を有する、請求項44記載の方法。
  46. 前記画像取得セットアップは第1および第2センサを備え、前記第1センサは前記光スペクトルの可視部分を表す前記対象物の画像データを取得し、前記第2センサは前記光スペクトルの不可視部分を表す前記背景の画像データを取得する、請求項44記載の方法。
  47. 前記背景は平坦面を含み、前記平坦面は、前記平坦面に対して遠隔に配置された光源を用いて照明される、請求項44記載の方法。
  48. 前記背景は平坦面を含み、前記平坦面は、前記平坦面に対して結合された光源を使用して照明される、請求項44記載の方法。
  49. 前記背景はビデオスクリーンを含み、前記ビデオスクリーンは前記背景を照明する複数のUV LEDを含む、請求項44記載の方法。
  50. 背景の前に対象物を含むシーンの画像データ内の前記対象物のアルファチャネルを生成する方法であって、
    前記対象物と前記背景を含む前記シーンの画像データを提供するステップであって、前記画像データは、前記対象物の光スペクトルの可視部分を表す色データと、前記背景の前記光スペクトルの不可視部分を表すグレースケールデータとを含む、ステップ;
    前記グレースケールデータを使用して前記対象物を背景から分離し、それによって分離オブジェクトを生成するステップ;
    前記分離オブジェクトの前記色データを使用して前記対象物のアルファチャネルを生成するステップ;
    を有する方法。
  51. 前記可視部分は400~700ナノメートル(nm)の範囲の波長を有し、前記不可視部分は400nm未満の波長を有する、請求項50記載の方法。
  52. 前記画像データは、前記対象物の前記光スペクトルの前記可視部分を表す前記色データと、前記背景の前記光スペクトルの前記不可視部分を表す前記グレースケールデータとを別個のファイルに含む、請求項50記載の方法。
  53. 前記グレースケールデータは、前記色データのためのトラックマットとして使用される、請求項50記載の方法。
  54. 前記対象物は、リアルタイムで前記背景から分離される、請求項50記載の方法。
  55. 対象物の画像データを処理する方法であって、
    背景の前に対象物を含むシーンの画像データを提供するステップであって、前記画像データは、前記対象物の光スペクトルの可視部分を表す色データと、前記背景の前記光スペクトルの不可視部分を表すグレースケールデータとを含む、ステップ;
    前記グレースケールデータを使用して前記対象物のアルファチャネルを生成するステップ;
    を有する方法。
  56. 前記画像データは、前記対象物の前記光スペクトルの前記可視部分を表す前記色データと、前記背景の前記光スペクトルの前記不可視部分を表す前記グレースケールデータとを別個のファイルに含む、請求項55記載の方法。
  57. 前記アルファチャネルはリアルタイムで生成される、請求項55記載の方法。
  58. シーン内の対象物の画像データをキャプチャする画像取得システムであって、前記対象物は背景の前にあり、前記画像取得システムは、
    前記対象物の光スペクトルの可視部分を表す色データを生成するように構成された第1画像センサを有する第1カメラ;
    前記背景の前記光スペクトルの不可視部分を表すグレースケールデータを生成するように構成された第2画像センサを有する第2カメラ;
    前記第2カメラに対して結合されたフィルタであって、前記光スペクトルの前記不可視部分において光が前記第2画像センサへ移動することを可能にし、前記光スペクトルの前記可視部分において光が前記第2画像センサへ移動することを低減または遮断する、フィルタ;
    を備え、
    前記第1および第2カメラは担体に対して結合され、実質的に同じ視線およびズーム係数に沿って前記シーン内の前記対象物を捕捉するように構成されており、
    前記画像取得システムはさらに、前記光スペクトルの前記不可視部分の光で前記背景を連続的に照明するように構成された光源を備える、
    画像取得システム。
  59. 前記担体は、立体カメラ担体を含む、請求項58記載の画像取得システム。
  60. 前記担体は、前記第1および第2カメラのための同時レンズ集束および/またはズームを調整するように構成される、請求項58記載の画像取得システム。
  61. 前記光源は、中圧UV電球またはUV発光LEDである、請求項58記載の画像取得システム。
  62. 前記第1および第2カメラは、同時に取得されたフレームに対して同じタイムコードを有するビデオストリームを生成するように同期して動作するように構成される、請求項58記載の画像取得システム。
  63. 前記可視部分は400~700ナノメートル(nm)の範囲の波長を有し、前記不可視部分は400nm未満の波長を有する、請求項58記載の画像取得システム。
  64. シーン内の対象物の画像データをキャプチャする画像取得システムであって、前記対象物は背景の前にあり、前記画像取得システムは、
    前記シーン内の前記対象物の光スペクトルの可視部分を表す色データを生成するように構成された第1画像センサと、前記背景の前記光スペクトルの不可視部分を表すグレースケールデータを生成するように構成された第2画像センサと、を備えるカメラ;
    前記光スペクトルの前記不可視部分の光で前記背景を照明するように構成された光源; を備える、画像取得システム。
  65. 前記可視部分は400~700ナノメートル(nm)の範囲の波長を有し、前記不可視部分は400nm未満の波長を有する、請求項64記載の画像取得システム。
  66. 前記第1および第2画像センサが同じレンズを使用する、請求項64記載の画像取得システム。
  67. 前記カメラがビーム分割ミラーを備える、請求項64記載の画像取得システム。
  68. ビデオ複合ウォールであって、
    ビデオコンテンツを表示するように構成された表示領域;
    表示されたビデオコンテンツが透明層を通して可視であるように前記表示領域に対して結合された透明層;
    を備え、
    前記透明層は、光スペクトルの不可視部分の光に対して反射性であり、および/または、励起時に前記光スペクトルの前記不可視部分の光を発する蛍光色素を含む、
    ビデオ複合ウォール。
  69. 前記表示領域は反射面である、請求項68記載のビデオ複合ウォール。
  70. 前記透明層は透明ポリマーを含む、請求項68記載のビデオ複合ウォール。
  71. 前記透明層はUV-UV蛍光色素を含む、請求項68記載のビデオ複合ウォール。
  72. 前記透明層は、UV光源を含む枠体に対して結合される、請求項68記載のビデオ複合ウォール。
JP2024534217A 2021-12-07 2022-12-06 アルファチャネルを生成するためのuvシステムおよび方法 Active JP7724969B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163286860P 2021-12-07 2021-12-07
US63/286,860 2021-12-07
PCT/US2022/051963 WO2023107455A2 (en) 2021-12-07 2022-12-06 Uv system and methods for generating an alpha channel

Publications (2)

Publication Number Publication Date
JP2025502626A JP2025502626A (ja) 2025-01-28
JP7724969B2 true JP7724969B2 (ja) 2025-08-18

Family

ID=86731094

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2024534217A Active JP7724969B2 (ja) 2021-12-07 2022-12-06 アルファチャネルを生成するためのuvシステムおよび方法

Country Status (5)

Country Link
US (1) US20250022142A1 (ja)
EP (1) EP4445339A4 (ja)
JP (1) JP7724969B2 (ja)
KR (1) KR20240130710A (ja)
WO (1) WO2023107455A2 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060077258A1 (en) 2001-10-01 2006-04-13 Digeo, Inc. System and method for tracking an object during video communication
US20070146512A1 (en) 2005-12-27 2007-06-28 Sanyo Electric Co., Ltd. Imaging apparatus provided with imaging device having sensitivity in visible and infrared regions
US20080056568A1 (en) 2006-08-30 2008-03-06 Porikli Fatih M Object segmentation using visible and infrared images
JP2010268285A (ja) 2009-05-15 2010-11-25 Nippon Hoso Kyokai <Nhk> 合成映像生成システム、照明制御装置及びプログラム
WO2010141770A1 (en) 2009-06-05 2010-12-09 Onlive, Inc. System and method for performing motion capture and image reconstruction with transparent makeup
US20130271449A1 (en) 2012-04-17 2013-10-17 Samsung Electronics Co., Ltd. Method of generating three-dimensional (3d) volumetric data
US20170359559A1 (en) 2016-06-14 2017-12-14 Personify, Inc. Methods and systems for combining foreground video and background video using chromatic matching

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3998532A (en) * 1974-04-08 1976-12-21 The United States Of America As Represented By The Secretary Of The Navy Wide angle single channel projection apparatus
US5897413A (en) * 1995-10-10 1999-04-27 Erland; Jonathan Travelling mat backing
US6809792B1 (en) * 2000-10-09 2004-10-26 Eastman Kodak Company Spectral watermarking for motion picture image data
US20100302376A1 (en) 2009-05-27 2010-12-02 Pierre Benoit Boulanger System and method for high-quality real-time foreground/background separation in tele-conferencing using self-registered color/infrared input images and closed-form natural image matting techniques
GB2473503B (en) * 2009-09-15 2015-02-11 Metail Ltd System and method for image processing
US8448893B2 (en) 2009-10-26 2013-05-28 Aerion Corporation Laminar flow wing optimized for transonic cruise aircraft
US20140306995A1 (en) * 2013-04-16 2014-10-16 Dumedia, Inc. Virtual chroma keying in real time
US20170287140A1 (en) * 2015-02-09 2017-10-05 Sylvain Cardin High quality Lightning resilient segmentation system using active background
KR101829415B1 (ko) * 2016-07-25 2018-02-19 국민대학교 산학협력단 가시광 영상 및 비가시광 영상의 입체 영상 생성방법 및 이를 위한 장치
US10917543B2 (en) * 2017-04-24 2021-02-09 Alcon Inc. Stereoscopic visualization camera and integrated robotics platform
CN113347920B (zh) * 2019-01-09 2024-10-01 夏普株式会社 血压测量装置、模式设定装置以及血压测量方法
WO2021011710A1 (en) * 2019-07-16 2021-01-21 Case Western Reserve University Microscopy with ultraviolet surface excitation (muse) imaging implemented on a mobile device
US11860098B1 (en) * 2023-01-13 2024-01-02 Tencent America LLC Method and device for three-dimensional object scanning with invisible markers
DE102023103356A1 (de) * 2023-02-10 2024-08-14 Olympus Winter & Ibe Gmbh Medizinisches Multifarbstoff-Fluoreszenzbildgebungssystem und -verfahren

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060077258A1 (en) 2001-10-01 2006-04-13 Digeo, Inc. System and method for tracking an object during video communication
US20070146512A1 (en) 2005-12-27 2007-06-28 Sanyo Electric Co., Ltd. Imaging apparatus provided with imaging device having sensitivity in visible and infrared regions
US20080056568A1 (en) 2006-08-30 2008-03-06 Porikli Fatih M Object segmentation using visible and infrared images
JP2010268285A (ja) 2009-05-15 2010-11-25 Nippon Hoso Kyokai <Nhk> 合成映像生成システム、照明制御装置及びプログラム
WO2010141770A1 (en) 2009-06-05 2010-12-09 Onlive, Inc. System and method for performing motion capture and image reconstruction with transparent makeup
US20130271449A1 (en) 2012-04-17 2013-10-17 Samsung Electronics Co., Ltd. Method of generating three-dimensional (3d) volumetric data
US20170359559A1 (en) 2016-06-14 2017-12-14 Personify, Inc. Methods and systems for combining foreground video and background video using chromatic matching

Also Published As

Publication number Publication date
EP4445339A2 (en) 2024-10-16
KR20240130710A (ko) 2024-08-29
WO2023107455A2 (en) 2023-06-15
US20250022142A1 (en) 2025-01-16
JP2025502626A (ja) 2025-01-28
EP4445339A4 (en) 2025-12-10
WO2023107455A3 (en) 2023-08-03

Similar Documents

Publication Publication Date Title
US5923380A (en) Method for replacing the background of an image
US7044613B2 (en) Realistic scene illumination reproduction
CN102474627B (zh) 图像摄影装置和图像摄影方法
US7767967B2 (en) Capturing motion using quantum nanodot sensors
CN102244791A (zh) 图像处理设备、图像处理方法和程序
CN102244789A (zh) 成像设备
CA2764447A1 (en) System and method for performing motion capture and image reconstruction with transparent makeup
US20190058837A1 (en) System for capturing scene and nir relighting effects in movie postproduction transmission
US10419688B2 (en) Illuminating a scene whose image is about to be taken
JP7724969B2 (ja) アルファチャネルを生成するためのuvシステムおよび方法
US20250316021A1 (en) 3d reconstruction method and picture recording arrangement
US20060033824A1 (en) Sodium screen digital traveling matte methods and apparatus
AU709844B2 (en) Method for replacing the background of an image
CN108770146A (zh) 多场景变化智控照明装置
TWI581638B (zh) Image photographing apparatus and image photographing method
CN120380769A (zh) 照射适配方法和图片记录装置
JPH114381A (ja) 画像合成装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240705

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240705

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20240705

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20241022

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20241022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20241119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250526

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250708

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250805

R150 Certificate of patent or registration of utility model

Ref document number: 7724969

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150