JP2017500766A

JP2017500766A - 再焦点合わせ可能画像

Info

Publication number: JP2017500766A
Application number: JP2016522054A
Authority: JP
Inventors: スブラマニアム・ヴェンカトラマン; ヴィクター・クリク
Original assignee: クアルコム，インコーポレイテッド
Priority date: 2013-10-14
Filing date: 2014-10-09
Publication date: 2017-01-05
Also published as: CN105637854B; WO2015057493A1; US9973677B2; KR20160070780A; CN105637854A; EP3058716A1; US20150103192A1

Abstract

本発明の実施形態は、再焦点合わせ可能画像を提供することに向けられている。再焦点合わせ可能画像は、キャプチャされた後に、再焦点合わせされ得、または、異なる焦点距離を有するように調整され得る画像である。本明細書で説明する実施形態は、専用ハードウェアの必要なしに、スマートフォンなどのモバイルユーザデバイスを利用することができる。モバイルデバイスのカメラは、短い期間にわたって連続して一連の画像を撮影するように構成され得、一連の画像において、カメラの焦点距離は、各画像が異なる焦点距離を有するように変化させられる。画像スタックは、画像を位置合わせすることによって作成され、画像は、どの画像が画像スタックの各領域に関する最も高いコントラストを有する(すなわち、焦点があっている)のかを決定するために処理される。実施形態は、さらに、一連の画像のうちの第1の画像を表示することを含み得る。

Description

本発明は、再焦点合わせ可能画像に関する。

再焦点合わせ可能画像または「生きた写真(living pictures)」は、専門技術を利用する最近のコンシューマ製品により、一般的になってきている。これらの技術は、たとえば、画像の異なる部分を選択することによって、キャプチャされた後に再焦点合わせされ得る画像を作るために、専用のハードウェアを使用する。選択された部分は、焦点が合うようになることができる。これは、よりインタラクティブな画像を見る体験を見る人に与える。しかしながら、この機能を可能にするために使用される専用のハードウェアは、高価であることがある。

本発明の実施形態は、そのようなハードウェアを必要とせずに、スマートフォンなどのモバイルユーザデバイスによって再焦点合わせ可能画像を提供することを目的としている。モバイルデバイスのカメラは、ある期間にわたって連続して一連の画像を撮影するように構成され得る。期間中、一連の画像の各画像が異なる焦点距離を使用してキャプチャされるように、何がキャプチャされているのかにかかわらず、カメラの焦点距離は、変化させられる。画像は、画像がキャプチャされていたときから、たとえば、動きセンサデータを使用して、互いに位置合わせされる。画像は、各画像を領域(たとえば、グリッド)に分割し、各領域に関するコントラストのレベルを計算し、どの画像が最も高いコントラストを有する対応する領域を有するのかを決定するために、一連の画像の各画像に関する対応する領域を比較することによってさらに処理される。実施形態は、さらに、一連の画像の第1の画像を表示することを含み得る。ユーザは、焦点が合うようになるように、表示された画像の異なる部分を選択し、焦点が合った選択された部分を有する一連の画像の画像を表示させることができるので、一連の画像は、再焦点合わせ可能画像機能を提供する。

本開示による画像キャプチャおよび処理の例示的な方法は、カメラを用いてある期間にわたって連続して複数の画像をキャプチャするステップを含み、キャプチャするステップはユーザ入力によってトリガされる。方法は、さらに、複数の画像の各画像が固有の焦点距離を使用してキャプチャされるように、期間中、カメラの焦点距離を変化させるステップと、期間中に得られた動きセンサデータを使用して、複数の画像を位置合わせするステップとを含む。方法は、また、処理ユニットを用いて、各画像を、各々が複数の画像の各々の中に対応する領域を有する複数の領域に分割し、対応する領域の第1のセットの各領域に関するコントラストのレベルを計算し、対応する領域の第1のセットの領域に関するコントラストのレベルを比較し、対応する領域の第1のセット内のコントラストの最も高いレベルを有する第1の画像を決定することによって、複数の画像を処理するステップを含む。方法は、また、対応する領域の第1のセットのうちの1つが選択されたとき、ディスプレイに第1の画像を表示させるステップを含む。

画像キャプチャおよび処理の例示的な方法は、さらに、以下の特徴の1つまたは複数を含み得る。対応する領域の第1のセットのうちの1つは、複数の画像のうちの最初に表示された画像から選択され得る。位置合わせするステップは、複数の画像がキャプチャされる期間中に発生することができる。複数の画像を処理するステップは、モバイルデバイスによって実行され得る。複数の画像を処理するステップは、モバイルデバイス以外のコンピューティングデバイスによって実行され得る。方法は、さらに、第1の画像から、対応する領域の第2のセットのうちの1つの選択を受信するステップと、複数の画像から、対応する領域の第2のセット内のコントラストの最も高いレベルを有する第2の画像を決定するステップと、ディスプレイに第2の画像を表示させるステップとを含み得る。方法は、さらに、複数の画像から、画像の複数の領域のうちのいずれもが複数の画像の対応する領域の中で最も高いコントラストの領域であると決定されない1つまたは複数の画像を除去するステップを含み得る。複数の画像を位置合わせするステップは、複数の画像のうちの1つもしくは複数の画像を拡大縮小するステップ、複数の画像のうちの1つもしくは複数の画像をシフトするステップ、複数の画像のうちの1つもしくは複数の画像を回転させるステップ、または、複数の画像のうちの1つもしくは複数の画像の明るさを調整するステップのうちの少なくとも1つを含み得る。動きセンサデータは、ジャイロスコープ、加速度計、またはカメラのうちの少なくとも1つから取得され得る。

本開示による例示的な装置は、メモリと、ディスプレイと、メモリに通信可能に結合された処理ユニットとを含み得る。処理ユニットは、モバイルデバイスのカメラによってある期間にわたって連続してキャプチャされた複数の画像を取得することを含む機能を実行するように構成され、キャプチャは、ユーザ入力によってトリガされ、カメラの焦点距離は、複数の画像の各画像が固有の焦点距離を使用してキャプチャされるように、期間中、変化させられる。処理ユニットは、また、期間中に得られた動きセンサデータを使用して複数の画像を位置合わせする機能と、各画像を、各々が複数の画像の各々の中に対応する領域を有する複数の領域に分割し、対応する領域の第1のセットの各領域に関するコントラストのレベルを計算し、対応する領域の第1のセットの領域に関するコントラストのレベルを比較し、対応する領域の第1のセット内のコントラストの最も高いレベルを有する第1の画像を決定することによって、複数の画像を処理する機能とを含む機能を実行するように構成される。処理ユニットは、さらに、対応する領域の第1のセットのうちの1つが選択されたとき、ディスプレイに第1の画像を表示させる機能を含む機能を実行するように構成される。

例示的な装置は、さらに、以下の特徴の1つまたは複数を含み得る。処理ユニットは、複数の画像がキャプチャされる期間中に位置合わせする機能を実行するように構成され得る。装置は、モバイルデバイスを備えることができる。装置は、モバイルデバイス以外のコンピューティングデバイスを備えることができる。処理ユニットは、さらに、第1の画像から、対応する領域の第2のセットのうちの1つの選択を受信し、複数の画像から、対応する領域の第2のセット内のコントラストの最も高いレベルを有する第2の画像を決定し、ディスプレイに第2の画像を表示させるように構成され得る。処理ユニットは、さらに、複数の画像から、画像の複数の領域のうちのいずれもが複数の画像の対応する領域の中で最も高いコントラストの領域であると決定されない1つまたは複数の画像を除去するように構成され得る。処理ユニットは、さらに、複数の画像のうちの1つもしくは複数の画像を拡大縮小することによって、複数の画像のうちの1つもしくは複数の画像をシフトすることによって、複数の画像のうちの1つもしくは複数の画像を回転させることによって、または、複数の画像のうちの1つもしくは複数の画像の明るさを調整することによって、複数の画像を位置合わせするように構成される。

本明細書による例示的な非一時的コンピュータ可読記憶媒体は、再焦点合わせ可能画像を提供するために組み込まれた命令を有することができる。命令は、モバイルデバイスのカメラを用いてある期間にわたって連続して複数の画像を取得するためのコンピュータコードを含み、キャプチャは、ユーザ入力によってトリガされる。命令は、さらに、複数の画像の各画像が固有の焦点距離を使用してキャプチャされるように、期間中、カメラに焦点距離を変化させ、期間中に得られた動きセンサデータを使用して複数の画像を位置合わせするためのコンピュータコードを含む。命令は、また、各画像を、各々が複数の画像の各々の中に対応する領域を有する複数の領域に分割し、対応する領域の第1のセットの各領域に関するコントラストのレベルを計算し、対応する領域の第1のセットの領域に関するコントラストのレベルを比較し、対応する領域の第1のセットのうちのコントラストの最も高いレベルを有する第1の画像を決定することによって、複数の画像を処理するためのコンピュータコードを含む。命令は、また、対応する領域の第1のセットのうちの1つが選択されたとき、ディスプレイに第1の画像を表示させるためのコンピュータコードを含む。

例示的な非一時的コンピュータ可読記憶媒体は、また、以下の特徴の1つまたは複数を備えることができる。位置合わせするためのコードは、複数の画像がキャプチャされる期間中に位置合わせを発生させるように構成され得る。非一時的コンピュータ可読記憶媒体は、第1の画像から、対応する領域の第2のセットのうちの1つの選択を受信し、複数の画像から、対応する領域の第2のセット内のコントラストの最も高いレベルを有する第2の画像を決定し、ディスプレイに第2の画像を表示させるためのコードを含み得る。非一時的コンピュータ可読記憶媒体は、複数の画像から、画像の複数の領域のうちのいずれもが複数の画像の対応する領域の中で最も高いコントラストの領域であると決定されない1つまたは複数の画像を除去するためのコードを含み得る。複数の画像を位置合わせするためのコードは、複数の画像のうちの1つもしくは複数の画像を拡大縮小すること、複数の画像のうちの1つもしくは複数の画像をシフトすること、複数の画像のうちの1つもしくは複数の画像を回転させること、または、複数の画像のうちの1つもしくは複数の画像の明るさを調整することのうちの少なくとも1つを実行するためのコードを含み得る。

本開示による例示的なデバイスは、モバイルデバイスのカメラを用いてある期間にわたって連続して複数の画像を取得するための手段を含むことができ、キャプチャは、ユーザ入力によってトリガされる。デバイスは、また、複数の画像の各画像が固有の焦点距離を使用してキャプチャされるように、期間中、カメラに焦点距離を変化させるための手段と、期間中に得られた動きセンサデータを使用して複数の画像を位置合わせするための手段とを含む。例示的なデバイスは、さらに、各画像を、各々が複数の画像の各々の中に対応する領域を有する複数の領域に分割し、対応する領域の第1のセットの各領域に関するコントラストのレベルを計算し、対応する領域の第1のセットの領域に関するコントラストのレベルを比較し、対応する領域の第1のセットのうちのコントラストの最も高いレベルを有する第1の画像を決定することによって、複数の画像を処理するための手段を含む。デバイスは、また、対応する領域の第1のセットのうちの1つが選択されたとき、ディスプレイに第1の画像を表示させるための手段を含む。

例示的なデバイスは、さらに、以下の特徴の1つまたは複数を備えることができる。位置合わせするための手段が、複数の画像がキャプチャされる期間中に位置合わせを発生させるように構成された、請求項22に記載のデバイス。デバイスは、第1の画像から、対応する領域の第2のセットのうちの1つの選択を受信し、複数の画像から、対応する領域の第2のセット内のコントラストの最も高いレベルを有する第2の画像を決定し、ディスプレイに第2の画像を表示させるための手段を含み得る。デバイスは、また、複数の画像から、画像の複数の領域のうちのいずれもが複数の画像の対応する領域の中で最も高いコントラストの領域であると決定されない1つまたは複数の画像を除去するための手段を含み得る。複数の画像を位置合わせするための手段は、複数の画像のうちの1つもしくは複数の画像を拡大縮小するための手段、複数の画像のうちの1つもしくは複数の画像をシフトするための手段、複数の画像のうちの1つもしくは複数の画像を回転させるための手段、または、複数の画像のうちの1つもしくは複数の画像の明るさを調整するための手段のうちの少なくとも1つを備える。

本明細書で説明する項目および/または技法は、以下の機能ならびに言及されていない他の機能のうちの1つまたは複数を提供することができる。技法は、専用ハードウェアを必要とせずに、再焦点合わせ可能な、または「生きた」画像を提供することを可能にすることができる。これは、コストを増加させることなく、モバイルデバイスにそのような機能を提供することができるだけでなく、専用の解決策よりも高い解像度を提供することもできる。これらのおよび他の利点ならびに特徴は、以下の文書および添付の図面に関連してより詳しく説明される。

様々な実施形態の性質および利点のさらなる理解は、以下の図面を参照することによって実現され得る。添付図面では、同様の構成要素または特徴は、同じ参照ラベルを有することができる。さらに、同じタイプの様々な構成要素は、同様の構成要素を区別するダッシュおよび第2のラベルを参照ラベルに続けることによって区別され得る。第1の参照ラベルのみが明細書で使用される場合、説明は、第2の参照ラベルにかかわりなく、同じ第1の参照ラベルを有する同様の構成要素のいずれにも適用可能である。

本明細書で説明する技法を使用して再焦点合わせ可能画像をキャプチャし、表示することができるシステムの一実施形態の図である。再焦点合わせ可能画像が表示され得る方法の機能を説明するのを助ける、キャプチャされた画像の例示的な白黒表現である。再焦点合わせ可能画像が表示され得る方法の機能を説明するのを助ける、キャプチャされた画像の例示的な白黒表現である。一実施形態による、画像が処理するための様々な領域に分割され得る方法の単純化した説明の図である。画像スタック間で領域が比較される方法を示す図である。 2次元画像の各領域のためのコントラスト測定を示す3次元図である。一例による、画像スタック内のすべての画像の対応する領域に関するコントラストスコアの比較を示すグラフである。画像キャプチャおよび処理の方法の一実施形態を示す図である。本明細書で論じる画像キャプチャ、処理、および/または表示技法を実施することができるモバイルデバイスの一実施形態を示す図である。

以下の説明は、図面を参照して提供され、図面では、同じ参照番号は、全体を通して同じ要素を指すために使用される。1つまたは複数の技法の様々な詳細が本明細書において説明されるが、他の技法も可能である。場合によっては、様々な技法の説明を容易にするために、構造およびデバイスがブロック図の形式で示されている。

本発明の実施形態は、再焦点合わせ可能画像を提供することに向けられている。再焦点合わせ可能画像は、キャプチャされた後に、再焦点合わせされ得、または、異なる焦点距離を有するように調整され得る画像である。本明細書で説明する実施形態は、専用ハードウェアの必要なしに、スマートフォンなどのモバイルユーザデバイスを利用することができる。モバイルデバイスのカメラは、短い期間にわたって連続して一連の画像(たとえば、静的なシーン)を撮影するように構成され得、一連の画像において、カメラの焦点距離は、各画像が異なる焦点距離を有するように変化させられる。画像スタックは、画像を位置合わせすることによって作成され、画像は、どの画像が画像スタックの各領域に関する最も高いコントラストを有する(すなわち、焦点があっている)のかを決定するために処理される。実施形態は、さらに、一連の画像のうちの第1の画像を表示することを含み得る。ユーザは、表示された画像の異なる部分を焦点が合うように選択し、一連の画像のうちの、焦点が合った選択された部分を有する画像を表示させることができるので、画像スタックは、再焦点合わせ可能画像機能を提供することができる。したがって、開示された技法による再焦点合わせ可能画像は、画像スタックを備えることができる。

図1は、本明細書で説明する機能を実施することができるシステムの一実施形態100を示す。図示の実施形態100は、モバイルデバイス110と、表示デバイス120とを含む。他の実施形態は、モバイルデバイス110上のすべての機能を組み込むことができ、本明細書で説明するものと異なる方法で機能をモバイルデバイス110と表示デバイス120との間で分割することができ、および/または、異なる機能を実行するために追加のデバイスを含み得る。モバイルデバイス110および表示デバイス120のハードウェアおよびソフトウェア構成要素は、図8に関連して、以下により詳細に説明される。当業者は、多くの省略、置換、および/または他の変形を認識するであろう。

モバイルデバイス110は、スマートフォンまたは他の携帯電話、タブレットコンピュータ、パーソナルカメラ、ラップトップ、ヘッドマウントディスプレイ、などの、カメラを有する様々なパーソナル電子デバイスのいずれかを備えることができる。モバイルデバイスは、カメラを用いてシーン130の一連の画像をキャプチャするように構成され得る。(モバイルデバイスのカメラは、図1中では見えないが、モバイルデバイス110の背面側にあることに留意されたい。点線は、モバイルデバイスのカメラの視野を表す。)画像がキャプチャされている間、カメラの焦点距離は、各画像が異なる焦点距離を有するように(たとえば、近くから遠くへ)変化することができる。画像の数は、所望の機能に応じて変化してもよい。ユーザは、この機能を選択するために、特別なメニュー項目、ボタン、または他のインターフェースを提示され得る。たとえば、スマートフォンのユーザインターフェースは、ユーザが、単写(single shot)、連写(rapid shot)、カメラ、再焦点合わせ可能画像、などの間で選択することができるカメラメニューを有することができる。一連の画像のキャプチャは、単写モードにおいて単一の画像をキャプチャするのと同じ方法においてシャッターボタンを押すユーザなどの、単一の入力によってトリガされ得る。

画像が撮影されているときに焦点距離のある範囲にわたって焦点距離を変化させることは、実施形態に応じて異なる方法において実現され得る。いくつかの例において、たとえば、機能は、アプリケーション層において、モバイルデバイス110のアプリケーションおよび/またはオペレーティングシステムによって提供され得る。他の例において、そのような機能は、アプリケーション層において利用可能でなくてもよく、代わりに、カメラの機能を制御するためのハードウェアおよび/またはソフトウェアを使用して実現され得る。いずれの実施形態においても、モバイルデバイス110は、それによってユーザが再焦点合わせ可能画像機能を選択することができるユーザインターフェースを提供することができる。いくつかの実施形態において、再焦点合わせ可能画像機能は、特定のシナリオにおいて、または特定のアプリケーションによって自動的に選択され得る。

キャプチャされた画像の数、および各画像の露光時間は、所望の機能に応じて変化してもよい。いくつかの実施形態において、たとえば、画像は、一定のフレームレート(すなわち、1秒当たりにキャプチャされるフレームのレート)を使用するビデオ(または同様の方法)を使用してキャプチャされ得る。他の実施形態において、一連の画像のうちのいくつかの画像の露光時間は、一連の画像のうちの他の画像の露光時間よりも長くてもよく、または短くてもよい。したがって、「有効フレームレート」は、画像が撮影されているときに変化してもよい。一連の画像における撮影された画像の数は、所望の機能に応じて、2のように少なくてもよく、100以上のように多くてもよく、または、それらの間の任意の量であってもよい。いくつかの実施形態において、モバイルデバイス110は、(たとえば、どの焦点距離が関心対象となり得るのかを決定するために、画像および/または他のセンサデータを利用することによって)撮影する画像の数を事前に決定することができる。いくつかの実施形態は、画像キャプチャにおいて一般的に使用されるある所定の焦点距離および/または焦点距離の所定の範囲を有することができる。

再焦点合わせ可能機能を提供するために、一連の画像は、動きのない静的なシーン130であり得る。モバイルデバイス110は、(たとえば、三脚上よりも)ユーザの手において保持される可能性が高いので、一連の画像がキャプチャされていることは、震えおよび他の手の動きを受ける。これを補償するために、モバイルデバイス110は、画像を登録し、動きを補償するように一連の画像内の画像を位置合わせすることができる。

画像登録は、ビデオキャプチャにおいて使用される電子画像安定化(EIS:electronic image stabilization)の形態を利用することができる。1つの画像内の焦点が合った特徴は、別の画像内で焦点が外れている可能性があるので、画像処理(たとえば、画像の類似の特徴を位置合わせする)を使用するEISの形態は、信頼できない可能性がある。しかしながら、センサベースのEISが利用され得、センサベースのEISでは、ジャイロスコープ、加速度計、などの動きセンサからのデータが、モバイルデバイス110の動きを決定し、決定された動きを補償することによって、画像を位置合わせするために使用され得る。モバイルデバイスの動きセンサデータは、画像キャプチャデータと同期され得、それによって、動きが画像キャプチャに対して発生したときと、そのような動きが画像の位置合わせにどれくらい影響し得るのかとを、デバイスが決定することを可能にする。所望の機能に応じて、画像登録は、画像がデバイスによってキャプチャされているときに、リアルタイムで起こり得る。他の実施形態において、再焦点合わせ可能機能のための一連の画像は、素早く連続してキャプチャされるので、画像のすべてまたは一部は、モバイルデバイス110がリアルタムで画像登録を実行することができない速いレートでキャプチャされる可能性がある。そのような場合において、画像および対応する動きセンサデータは、モバイルデバイス110、表示デバイス120、および/または他のデバイス(図示せず)によって、後の画像登録のために記憶され得る。画像登録および/または画像位置合わせは、カメラの焦点距離が変化させられる間に起こる可能性があるズーミング、動き、および/または他の効果を補償するために、1つまたは複数の画像を拡大縮小する(すなわち、そのサイズを調整する)、シフトする、および/または回転させることを伴うこともできる。追加的または代替的に、1つまたは複数の画像の明るさレベルは、それらが見るためにユーザによって選択されたとき、異なる露光および/または人工的に明るくされた暗い領域を有する可能性がある画像を補償するために調整され得る。

位置合わせされた一連の画像または画像スタックの画像データは、オプションで、ユーザが再焦点合わせ可能画像を見ることを可能にするために、表示デバイス120に提供され得る。画像データは、通信リンク140を使用して提供され得、通信リンク140は、様々なワイヤードおよび/またはワイヤレス技術のうちの任意のものを用いることができる。表示デバイス120は、画像スタックを表示し、ユーザ入力を受信することができる様々な電子デバイス(たとえば、パーソナルコンピュータ、タブレットコンピュータ、テレビジョン、ビデオゲームシステム、など)のうちの任意のものを備えることができる。所望の機能に応じて、画像スタックの画像は、画像スタックのうちの、画像スタックの所与の領域について最高に焦点が合った画像を決定するために、以下でさらに詳細に論じるように、表示デバイス120および/またはモバイルデバイス110のハードウェアおよび/またはソフトウェアによって処理され得る。画像スタックの画像は、再焦点合わせ可能画像として表示デバイス120によって表示される。ユーザが再焦点合わせ可能画像の領域を選択したとき、画像スタックのうちの、選択された領域が最良の焦点を有する画像が表示されることになる。付加的または代替的に、実施形態は、再焦点合わせ可能画像がモバイルデバイス110のディスプレイ上で見られることを可能にすることができる。

領域を設定する方法は、所望の機能、表示デバイスの能力、および/または他の要因に応じて変化してもよい。たとえば、ユーザは、マウス制御されたカーソルを使用して領域上を単にクリックすることによって、または、タッチスクリーン上に表示された場合、領域上をタップすることによって、領域を選択することができる。いくつかの実施形態は、目の動きを追跡することができるデバイス上に再焦点合わせ可能画像を表示することを伴うことができる。これらの実施形態において、ユーザは、単にそれを見ることになって、ジェスチャ(たとえば、ボタンを押す、まばたきする、など)を実行しながら見ることによって、および/または、同様の目に基づくジェスチャを実行することによって、領域を選択することができる。選択のそのような方法は、ユーザによって設定可能であり得る。

図2Aおよび図2Bは、再焦点合わせ可能画像が表示され得る方法の機能を説明するのを助ける、キャプチャされた画像の例示的な白黒表現である。画像は、たとえば、図1の表示デバイス120によって再焦点合わせ可能画像として表示された画像スタックの一部であり得る。ユーザが再焦点合わせ可能画像の異なる領域を選択すると、焦点が合った選択された領域を有する画像が表示される。

たとえば、表示デバイス120は、画像スタックのデフォルトの画像を最初に示すことによって、再焦点合わせ可能画像を示すことができる。初期画像は、スタックの第1の画像であり得、または、別の方法(たとえば、画像の中央部分に焦点が合った画像、最も一般的な焦点距離を有する画像、焦点が合った画像の最も大きい部分を有する画像、など)で選択され得る。ユーザが、画像の右下隅にあるおもちゃのヘリコプター210を選択した場合、おもちゃのヘリコプター210に焦点が合った図2Aの画像が表示される。ユーザが、次いで、ぬいぐるみのうさぎ220を選択した場合、ぬいぐるみのうさぎ220に焦点が合った図2Bの画像が表示される。2つのみの画像が図2Aおよび図2Bに示されているが、画像スタックは、多数の画像を含むことができ、ユーザが、再焦点合わせ可能画像の多くの他の部分を選択し、画像スタックのうちの、選択された部分に焦点が合った対応する画像を見ることを可能にする。したがって、画像スタックを備えるが、再焦点合わせ可能画像は、ユーザ入力に基づいてその焦点を調整する単一の画像のように動作する。

図3は、一実施形態による、画像300が処理するための様々な領域に分割され得る方法の単純化した図である。この実施形態において、画像300は、X軸およびY軸に沿って分布する列および行を有するグリッドに従って、異なる領域に単に分割される。(グリッド線は、図3において可視であるが、それらは、領域間の不可視の境界を表すことができる。しかしながら、いくつかの実施形態において、再焦点合わせ可能画像は、可視の領域境界を示すことができる。)グリッドの行および列の数は、実施形態に応じて変化してもよい。いくつかの実施形態は、たとえば、デフォルトの数の行および列(たとえば、20行および20列)のグリッドに画像を単に分割することができる。他の実施形態は、画像解像度、画像処理能力、などの要因に基づいて、行および/または列の数を基礎づけることができる。いくつかの実施形態は、画像スタックの1つまたは複数の画像内の検出された特徴の数、画像スタック内の画像の数、および/または、1つの画像スタックから次の画像スタックまでに変化し得る別の要因に基づいて、グリッドの行および/または列の数を動的に決定することができる。他の実施形態は、グリッド以外の問題において画像スタックの画像を様々な領域に分割することができる。そのような領域は、画像スタックの内容から独立して決定され得、または、異なる物体などの画像スタックの可視部分を異なる領域に分割することができる。さらに、いくつかの実施形態では、様々な領域は、画像スタックの1つまたは複数の画像内の検出された特徴に基づくことができる。

図4は、画像スタック400間で領域が比較される方法を示す。画像処理の間、特定の画像の各領域は、どの領域に焦点が合っている(または、合焦に最も近い)のかを決定するために、画像スタック400内の他の画像300の対応する領域と比較される。たとえば、第1の画像300-1の特定の領域310-1は、分析され、画像スタック400内の他の画像300-2、300-3、300-4の対応する領域310-2、310-3、310-4と比較される。(図4に示すように、画像スタックは、4つよりも多くの画像を含み得る。)焦点が合った、または合焦に最も近い領域310を有する画像300は、ユーザがその特定の領域310を選択したときに表示される画像である。画像スタック400内の各画像300に関する焦点距離は、固有であるので、最も焦点が合った領域310を有することになる1つの画像が存在することになる。たとえば、画像300-3の領域310-3が、画像スタック400内の画像300のすべての対応する領域310のうちの最も焦点が合ったものであると決定された場合、ユーザが再焦点合わせ可能画像を示され、領域310を選択したとき、画像300-3がユーザに表示されることになる。画像スタック400内の画像300のすべての対応する領域の焦点が合ったまたは合焦に最も近いものであると決定されたどのような領域も持たない画像300は、画像スタックから除去されてよく、これは、画像スタックを記憶するために必要なメモリの量を減らすことができる。

再焦点合わせ可能画像を表示する表示デバイスの能力などの様々な要因に応じて、図3〜図6に示す画像処理は、画像が表示される前に、または、画像がユーザに対して表示されているときにリアルタイムで生じることができることに留意されたい。再焦点合わせ可能画像がユーザに対して表示される前に処理が行われる場合において、図4に関連して論じたような、画像スタック内の画像300の領域の比較の結果は、記憶され得、後に、再焦点合わせ可能画像がユーザに対して表示されるときに使用され得る。

どの画像300が、画像スタック400内の画像のすべての対応する領域のうちの最も焦点が合った領域を有するかの決定は、様々な方法のうちの任意のものにおいて行われ得る。図5および図6は、領域の焦点が測定され得、他の画像の対応する領域と比較され得る方法を決定する方法を示す。

図5は、画像300の各領域のためのコントラストのスコアまたは測定を示す3次元図であり、画像は、画像300のX軸およびY軸に沿った20×20グリッドを使用して領域に分割される。コントラストは、合焦の尺度であり、コントラストがより高くなると、合焦はよりよくなる。この実施形態によれば、コントラストスコアは、各領域の分散を計算することによって決定される。他の実施形態は、コントラストを決定する他の方法を利用することができる。図5に示す領域の各々のスコアは、スタック内の他の画像の対応する領域のスコアと比較され得る。

図6は、一例による、画像スタック内のすべての画像の対応する領域に関するコントラストスコアの比較を示す。この例において、画像スタック内の画像は、0から約170までの範囲のフレーム番号を有するビデオフレームである。グラフが示すように、領域間のコントラストスコアは、実質的に変化するが、最大スコア500は、容易に決定され得る。したがって、対応する画像(フレーム90)は、それぞれの領域が最も焦点が合っている画像として決定され得る。ユーザが、再焦点合わせ可能画像を見ているとき、それぞれの領域を選択した場合、対応する画像が表示されることになる。

画像スタックの画像がキャプチャされている間、画像スタック内の物体は、移動する可能性があることに留意されたい。ユーザは、物体の焦点が合っていない画像スタック内の第1の画像の領域を選択し、焦点が合った物体を見ることを望む可能性がある。しかしながら、物体が動いている場合、それは、その領域に関する最も高いコントラストを有する画像スタック内の第2の画像とは別の位置にある(または、完全に欠落している)可能性がある。そのような場合において、そのような画像が表示される方法を調整するために技法が実施され得る。たとえば、画像スタック内の対応する領域の色情報は、これらの領域の物体が1つの画像から別の画像に移動しているか否かを決定するために使用され得る。選択された領域からの物体が移動していると決定された(たとえば、第1の画像の選択された領域からの色情報、および、第2の画像の対応する最も高いコントラストの領域が、その領域内の物体が移動したことを示す)場合、いくつかの実施形態において、いかなる再焦点合わせも行われないことになる(すなわち、第2の画像は、表示されないことになる)。いくつかの実施形態において、第2の画像は、表示されることになり、ユーザは、選択された画像内の物体が移動したことを(たとえば、ディスプレイ上のテキストを介して)通知されることになる。いくつかの実施形態は、物体の動きをユーザに説明するために、画像スタック内の画像の一部またはすべてのスライドショーを表示することができる。他の実施形態は、そのような動きを補償するさらに他の技法を用いることができる。

図3〜図6に関連して説明した画像処理のすべてまたは一部は、所望の機能に応じて、ユーザへの対応する再焦点合わせ可能画像の表示の前および/または間に生じてもよい。さらに、処理は、単一のデバイス(たとえば、図1のモバイルデバイス110)または複数のデバイス(たとえば、図1のモバイルデバイス110および表示デバイス120)上で生じてもよい。さらに、所望の機能に応じて、再焦点合わせ可能画像の表示は、表示デバイス(たとえば、図1に示す表示デバイス)によって、またはモバイルデバイス自体によって提供され得る。

図7は、画像キャプチャおよび処理の方法700の一実施形態を示す。方法700の構成要素の1つまたは複数を実行するための手段は、図8に関連してさらに詳細に説明するハードウェアおよび/またはソフトウェア手段を含み得る。代替実施形態は、図示されている実施形態に対する代替形態を含む場合がある。方法700の構成要素は、特定の順序で示されるが、異なる実施形態によれば、異なる順序で、かつ/または同時に実行され得る。さらに、当業者は、多くの付加、省略、および/または他の変形を認識するであろう。

ブロック710において、複数の画像は、ある期間にわたって連続してキャプチャされる。先に示したように、期間は、キャプチャされる画像の数および/または各画像の露光時間を含む、様々な要因に応じて変化してもよい。いくつかの例において、たとえば、露光時間は、10ミリ秒であってもよい。弱光におけるような他の例において、露光時間は、20ミリ秒以上であってもよい。露光時間は、カメラの光学系、周囲光、および/または他の要因に応じて、より長くてもよく、より短くてもよく、またはこれらの間の値であってもよい。さらに、複数の画像内のいくつかの画像の露光時間は、複数の画像内の他の画像よりも長くてもよい。

ブロック720において、カメラの焦点距離は、期間中、変化させられる。これは、異なる焦点距離を有する複数の画像をもたらす。複数の画像の各画像は、異なる固有の焦点距離を使用してキャプチャされ得る。焦点距離は、一般的な焦点距離、または一般的な焦点距離の範囲に基づいて予め決定され得る。連続した画像の焦点距離間の差は、均一であってもよく、または、変化してもよい(たとえば、大きい数の画像は、小さい焦点距離に対応し、焦点距離がより大きくなるにつれて減少する)。前述したものなどの焦点距離を決定する他の方法は、追加的または代替的に使用され得る。

ブロック730において、複数の画像は、位置合わせされ、画像スタックを形成する。先に示したように、画像の位置合わせ、または登録は、複数の画像がキャプチャされる期間中に得られた動きセンサデータを使用することを含み得る。そのような位置合わせの一例は、画像のキャプチャ間に生じる任意の動き(たとえば、並進および/または回転)を決定するために動きセンサデータが画像データとともに使用されるセンサベースのEISである。動きが決定されると、画像は、そのような動きを補償するために位置合わせされ得る。動きセンサデータは、1つまたは複数のジャイロスコープ、加速度計、カメラ、および/または、動きを検出することができる他のセンサからのデータを含み得る。さらに、いくつかの実施形態によれば、位置合わせは、複数の画像がキャプチャされる期間中にリアルタイムで生じてもよい。上記で論じたように、位置合わせは、画像の拡大縮小、シフト、および/または回転を含み得る。

ブロック740において、各画像は、複数の領域に分割される。図3および図4に示すように、これらの領域は、各領域について、複数の画像の中で最も焦点が合った領域を決定するために、画像処理において利用され得る。画像は、グリッドまたは他のパターンに従って分割され得、グリッドの粒度(すなわち、領域のサイズ)は、上記で説明したように、所望の機能に応じて変化してもよい。

ブロック750において、複数の画像は、複数の画像の各画像内の各領域について、コントラストのレベルを計算し、コントラストのレベルを他の画像上の対応する領域のコントラストのレベルと比較し、最も高いコントラストの領域を有する画像を決定することによって処理される。先に示したように、コントラストのレベルは、領域の分散を計算することによって計算され得る。図6に示すように、最も高いコントラストを有する(最も焦点が合っていることを示す)対応する領域を有する画像を決定するために、対応する領域の間でスコアを対比する。実施形態に応じて、ブロック750の機能は、モバイルデバイス、表示デバイス、または別のコンピューティングデバイスによって実行され得る。

ブロック760において、第1の画像が表示される。先に示したように、複数の画像(画像スタック)は、ユーザが再焦点合わせ可能画像の一部を焦点が合うように選択することを可能にする再焦点合わせ画像として効果的に機能する。選択された部分に関して最も高いコントラストを有する対応する画像は、次いで、ユーザに対して表示される。複数の画像のうちの第1の画像は、様々な要因(たとえば、キャプチャされた最初の画像、最も多い数の焦点が合った領域を有する画像、特定の場所において焦点が合った領域を有する画像、など)のうちの任意のものに基づいて表示され得る。

図8は、図7に示す方法700などの、本明細書で論じる画像キャプチャ、処理、および/または表示技法を実施することができるモバイルデバイス110の一実施形態を示す。図8は、そのうちの任意のものまたはすべてが適切に利用され得る様々な構成要素の一般化した説明を提供することのみを目的としていることに留意すべきである。さらに、システム要素は、比較的分離された形で実装できるか、または比較的より一体的に実装できる。追加的または代替的に、図8に示す構成要素の一部またはすべては、前述のようにモバイルデバイス110とともに使用され得る図1の表示デバイス120などの別のコンピューティングデバイスにおいて利用され得る。

モバイルデバイス110は、バス805を介して電気的に結合され得る(または、適宜、他の方法で通信しているものとしてよい)ハードウェア要素を備えるように示されている。ハードウェア要素は、処理ユニット810を含むことができ、処理ユニット810は、限定はしないが、1つもしくは複数の汎用プロセッサ、1つもしくは複数の(デジタル信号プロセッサ(DSP)、グラフィックアクセラレーションプロセッサ、特定用途向け集積回路(ASIC)、などの)専用プロセッサ、および/または、図7に示す方法700を含む本明細書で説明する1つもしくは複数の方法を実行するように構成され得る他の処理構造もしくは手段を含み得る。図8に示すように、いくつかの実施形態は、所望の機能に応じて、別個のDSP820を有することができる。モバイルデバイス110はまた、限定することなく、1つもしくは複数のカメラ、タッチスクリーン、タッチパッド、マイクロフォン、ボタン、ダイアル、スイッチなどを含むことが可能な1つもしくは複数の入力デバイス870と、限定なしに、ディスプレイ、発光ダイオード(LED)、スピーカなどを含むことが可能な、1つもしくは複数の出力デバイス815とを含み得る。

モバイルデバイス110は、また、ワイヤレス通信インターフェース830を含むことができ、ワイヤレス通信インターフェース830は、限定はしないが、モデム、ネットワークカード、赤外線通信デバイス、ワイヤレス通信デバイス、および/または(Bluetooth(登録商標)デバイス、IEEE802.11デバイス、IEEE802.15.4デバイス、WiFiデバイス、WiMaxデバイス、セルラー通信設備、などの)チップセット、などを含み得る。ワイヤレス通信インターフェース830は、データが、ネットワーク、ワイヤレスアクセスポイント、他のコンピュータシステム、および/または本明細書で説明する任意の他の電子デバイスと交換されることを可能にし得る。通信は、ワイヤレス信号834を送り、かつ/または受信する1つもしくは複数のワイヤレス通信アンテナ832を介して実行され得る。

所望される機能に応じて、ワイヤレス通信インターフェース830は、送受信基地局(たとえば、セルラーネットワークの送受信基地局)およびアクセスポイントと通信するための別個の送受信機を含み得る。これらの異なるデータネットワークは、OFDMAおよび/または他のタイプのネットワークを含み得る。

モバイルデバイス110は、センサ840をさらに含み得る。そのようなセンサは、限定することなく、1つまたは複数の加速度計、ジャイロスコープ、カメラ、磁力計、高度計、マイクロフォン、近接センサ、光センサなどを含み得る。センサ840の少なくともサブセットは、本明細書で論じたように画像登録のための動き検出を提供することができる。

モバイルデバイスの実施形態はまた、SPSアンテナ882を使用して、1つまたは複数のSPS衛星から信号884を受信することができる衛星測位システム(SPS)受信機880を含み得る。そのような測位を利用して、本明細書で説明する技法を補完および/または組み込むことが可能である。本明細書で使用する場合、SPSは1つもしくは複数の全地球および/または地域航法衛星システムならびに/あるいは補強システムの任意の組合せを含むことがあり、またSPS信号はSPS信号、SPS様信号、および/またはそのような1つまたは複数のSPSに関連する他の信号を含み得ることに留意されたい。

モバイルデバイス110はさらに、メモリ860を含むことが可能であり、かつ/またはメモリ860と通信中であり得る。メモリ860は、限定はしないが、プログラム可能、フラッシュ更新可能などとすることができる、ローカルおよび/またはネットワークアクセス可能な記憶装置、ディスクドライブ、ドライブアレイ、光ストレージデバイス、ランダムアクセスメモリ(「RAM」)および/または読取り専用メモリ(「ROM」)などソリッドステートストレージデバイスを含み得る。そのようなストレージデバイスは、本明細書で説明する技法によって利用されるFIFOおよび/もしくは他のメモリなど任意の適切なデータ構造を実装するように構成可能であり、OFDM受信機のハードウェアおよび/またはソフトウェア要素によって割り振られることが可能である。追加的または代替的に、本明細書で説明するデータ構造は、DSP820または処理ユニット810のキャッシュまたは他のローカルメモリによって実装され得る。メモリをさらに使用して、本明細書で説明する画像スタック、動きセンサデータ、および/または他の情報を記憶することができる。

モバイルデバイス110のメモリ860はまた、本明細書で説明するように、オペレーティングシステム、デバイスドライバ、実行可能ライブラリ、ならびに/あるいは、様々な実施形態によって提供されるコンピュータプログラムを備えることが可能であり、かつ/または、方法を実装し、かつ/または他の実施形態によって提供されるシステムを構成するように設計され得る、1つもしくは複数のアプリケーションプログラムなど、他のコードを含むソフトウェア要素(図示せず)を含み得る。単なる例として、図7に関連して説明した方法700などの、上記で論じた方法に関連して説明した1つまたは複数の手順は、モバイルデバイス110(および/もしくはモバイル110内の処理ユニット810)によって実行可能な、ならびに/または、非一時的および/もしくは機械可読記憶媒体(たとえば、「コンピュータ可読記憶媒体」、「機械可読記憶媒体」、など)において記憶されたコードおよび/または命令として実現され得る。一態様では、その場合、そのようなコードおよび/または命令を使用して、説明した方法に従って、1つもしくは複数の動作を実行するために汎用プロセッサ(または、他のデバイス)を構成および/あるいは適合させることができる。

かなりの変形が特定の要件に従ってなされ得ることは、当業者には明らかであろう。たとえば、カスタマイズされたハードウェアも、使用され得、および/または、特定の要素は、ハードウェア、ソフトウェア(アプレットなどのポータブルソフトウェアを含む)、または両方において実装され得る。さらに、ネットワーク入力/出力デバイスなどの他のコンピューティングデバイスへの接続が用いられ得る。

上記で論じた方法、システム、およびデバイスは、例である。様々な構成は、適宜様々な手順または構成要素を省略、代替、または追加することができる。たとえば、代替的な構成において、方法は、説明したものと異なる順序で実行され得、ならびに/または、様々な段階が、追加、省略、および/もしくは組み合わされ得る。また、特定の構成に関連して説明した特徴は、様々な他の構成で組み合わされ得る。構成の異なる態様および要素は、同様の方法で組み合わされ得る。また、技術は、進化し、したがって、要素の多くは、例であり、本開示または特許請求の範囲を限定しない。

「および」および「または」という用語は、本明細書で使用されるとき、そのような用語が使用される文脈に少なくとも部分的に応じて予期される様々な意味を含み得る。通常、「または」は、A、BまたはCのように、列挙したものを関連付けるために使用される場合、本明細書において包含的な意味で用いられる場合の、A、B、およびC、ならびに本明細書において排他的な意味で使用される場合の、A、BまたはCを意味することが意図される。加えて、本明細書において使用されるときに、「1つまたは複数」という用語は、単数の任意の特徴、構造、もしくは特性について説明するのに使用されることがあるか、または、特徴、構造もしくは特性の何らかの組合せについて説明するのに使用される場合がある。しかしながら、これは説明のための例にすぎず、特許請求される主題はこの例に限定されないことに留意されたい。さらに、「少なくとも1つの」という用語は、A、B、またはCのようなリストを関連付けるのに使用されている場合、A、AB、AA、AAB、AABBCCCなどのような、A、B、および/またはCの任意の組合せを意味するように解釈することができる。

いくつかの例示的な構成について説明したが、様々な変更、代替構成、および等価物は、本開示の趣旨から逸脱することなく使用され得る。たとえば、上記の要素は、より大きいシステムの構成要素であり得、より大きいシステムでは、他のルールが優先する可能性があり、または、本発明のアプリケーションを他の方法で変更する可能性がある。また、いくつかのステップは、上記の要素が考慮される前、間、または後に行われ得る。したがって、上記の説明は、特許請求の範囲を制限しない。

100 システムの実施形態
110 モバイルデバイス
120 表示デバイス
130 シーン
140 通信リンク
210 おもちゃのヘリコプター
220 ぬいぐるみのうさぎ
300 画像
310 特定の領域
300-1 第1の画像
300-2 他の画像
300-3 他の画像
300-4 他の画像
310-1 特定の領域
310-2 対応する領域
310-3 対応する領域
310-4 対応する領域
400 画像スタック
500 最大スコア
805 バス
810 処理ユニット
815 出力デバイス
820 DSP
830 ワイヤレス通信インターフェース
832 ワイヤレス通信アンテナ
834 ワイヤレス信号
840 センサ
860 メモリ
870 入力デバイス
880 衛星測位システム(SPS)受信機
882 SPSアンテナ
884 信号

Claims

画像キャプチャおよび処理の方法であって、前記方法が、
カメラを用いてある期間にわたって連続して複数の画像をキャプチャするステップであって、前記キャプチャするステップがユーザ入力によってトリガされる、ステップと、
前記複数の画像の各画像が固有の焦点距離を使用してキャプチャされるように、前記期間中、前記カメラの焦点距離を変化させるステップと、
前記期間中に得られた動きセンサデータを使用して前記複数の画像を位置合わせするステップと、
処理ユニットを用いて、
各画像を、各々が前記複数の画像の各々の中に対応する領域を有する複数の領域に分割し、
対応する領域の第1のセットの各領域に関するコントラストのレベルを計算し、
対応する領域の前記第1のセットの領域に関するコントラストの前記レベルを比較し、
対応する領域の前記第1のセット内のコントラストの最も高いレベルを有する第1の画像を決定する
ことによって、前記複数の画像を処理するステップと、
対応する領域の前記第1のセットのうちの1つが選択されたとき、ディスプレイに前記第1の画像を表示させるステップと
を含む方法。
対応する領域の前記第1のセットのうちの1つが、前記複数の画像のうちの最初に表示された画像から選択される、請求項1に記載の方法。
前記位置合わせするステップが、前記複数の画像がキャプチャされる前記期間中に発生する、請求項1に記載の方法。
前記複数の画像を処理するステップが、モバイルデバイスによって実行される、請求項1に記載の方法。
前記複数の画像を処理するステップが、モバイルデバイス以外のコンピューティングデバイスによって実行される、請求項1に記載の方法。
前記第1の画像から、対応する領域の第2のセットのうちの1つの選択を受信するステップと、
前記複数の画像から、対応する領域の前記第2のセット内のコントラストの最も高いレベルを有する第2の画像を決定するステップと、
前記ディスプレイに前記第2の画像を表示させるステップと
をさらに含む、請求項1に記載の方法。
前記複数の画像から、前記画像の前記複数の領域のうちのいずれもが前記複数の画像の前記対応する領域の中で最も高いコントラストの領域であると決定されない1つまたは複数の画像を除去するステップをさらに含む、請求項1に記載の方法。
前記複数の画像を位置合わせするステップが、
前記複数の画像のうちの1つもしくは複数の画像を拡大縮小するステップ、
前記複数の画像のうちの1つもしくは複数の画像をシフトするステップ、
前記複数の画像のうちの1つもしくは複数の画像を回転させるステップ、または、
前記複数の画像のうちの1つもしくは複数の画像の明るさを調整するステップの少なくとも1つを含む、請求項1に記載の方法。
前記動きセンサデータが、
ジャイロスコープ、
加速度計、または
カメラのうちの少なくとも1つから取得される、請求項1に記載の方法。
メモリと、
ディスプレイと、
前記メモリに通信可能に結合された処理ユニットと
を備える装置であって、前記処理ユニットが、
モバイルデバイスのカメラによってある期間にわたって連続してキャプチャされた複数の画像を取得する機能であって、
前記キャプチャが、ユーザ入力によってトリガされ、
前記カメラの焦点距離が、前記複数の画像の各画像が固有の焦点距離を使用してキャプチャされるように、前記期間中、変化させられる
機能と、
前記期間中に得られた動きセンサデータを使用して前記複数の画像を位置合わせする機能と、
前記複数の画像を、
各画像を、各々が前記複数の画像の各々の中に対応する領域を有する複数の領域に分割し、
対応する領域の第1のセットの各領域に関するコントラストのレベルを計算し、
対応する領域の前記第1のセットの領域に関するコントラストの前記レベルを比較し、
対応する領域の前記第1のセット内のコントラストの最も高いレベルを有する第1の画像を決定する
ことによって処理する機能と、
対応する領域の前記第1のセットのうちの1つが選択されたとき、前記ディスプレイに前記第1の画像を表示させる機能と
を含む機能を実行するように構成された、装置。
前記処理ユニットが、前記複数の画像がキャプチャされる前記期間中に前記位置合わせする機能を実行するように構成された、請求項10に記載の装置。
前記装置が、前記モバイルデバイスを備える、請求項10に記載の装置。
前記装置が、前記モバイルデバイス以外のコンピューティングデバイスを備える、請求項10に記載の装置。
前記処理ユニットが、さらに、
前記第1の画像から、対応する領域の第2のセットのうちの1つの選択を受信し、
前記複数の画像から、対応する領域の前記第2のセット内のコントラストの最も高いレベルを有する第2の画像を決定し、
前記ディスプレイに前記第2の画像を表示させるように構成された、請求項10に記載の装置。
前記処理ユニットが、さらに、前記複数の画像から、前記画像の前記複数の領域のうちのいずれもが前記複数の画像の前記対応する領域の中で最も高いコントラストの領域であると決定されない1つまたは複数の画像を除去するように構成された、請求項10に記載の装置。
前記処理ユニットが、さらに、
前記複数の画像のうちの1つもしくは複数の画像を拡大縮小することによって、
前記複数の画像のうちの1つもしくは複数の画像をシフトすることによって、
前記複数の画像のうちの1つもしくは複数の画像を回転させることによって、または、
前記複数の画像のうちの1つもしくは複数の画像の明るさを調整することによって、前記複数の画像を位置合わせするように構成された、請求項10に記載の装置。
再焦点合わせ可能画像を提供するために組み込まれた命令を有する非一時的コンピュータ可読記憶媒体であって、前記命令が、
モバイルデバイスのカメラを用いてある期間にわたって連続して複数の画像を取得するためのコンピュータコードであって、キャプチャが、ユーザ入力によってトリガされる、コンピュータコードと、
前記複数の画像の各画像が固有の焦点距離を使用してキャプチャされるように、前記期間中、前記カメラに焦点距離を変化させるためのコンピュータコードと、
前記期間中に得られた動きセンサデータを使用して前記複数の画像を位置合わせするためのコンピュータコードと、
前記複数の画像を、
各画像を、各々が前記複数の画像の各々の中に対応する領域を有する複数の領域に分割し、
対応する領域の第1のセットの各領域に関するコントラストのレベルを計算し、
対応する領域の前記第1のセットの領域に関するコントラストの前記レベルを比較し、
対応する領域の前記第1のセットのうちのコントラストの最も高いレベルを有する第1の画像を決定することによって処理するためのコンピュータコードと、
対応する領域の前記第1のセットのうちの1つが選択されたとき、ディスプレイに前記第1の画像を表示させるためのコンピュータコードと
を含む、非一時的コンピュータ可読記憶媒体。
前記位置合わせするためのコードが、前記複数の画像がキャプチャされる前記期間中に前記位置合わせを発生させるように構成された、請求項17に記載の非一時的コンピュータ可読記憶媒体。
前記第1の画像から、対応する領域の第2のセットのうちの1つの選択を受信し、
前記複数の画像から、対応する領域の前記第2のセット内のコントラストの最も高いレベルを有する第2の画像を決定し、
前記ディスプレイに前記第2の画像を表示させるためのコードをさらに含む、請求項17に記載の非一時的コンピュータ可読記憶媒体。
前記複数の画像から、前記画像の前記複数の領域のうちのいずれもが前記複数の画像の前記対応する領域の中で最も高いコントラストの領域であると決定されない1つまたは複数の画像を除去するためのコードをさらに含む、請求項17に記載の非一時的コンピュータ可読記憶媒体。
前記複数の画像を位置合わせするためのコードが、
前記複数の画像のうちの1つもしくは複数の画像を拡大縮小すること、
前記複数の画像のうちの1つもしくは複数の画像をシフトすること、
前記複数の画像のうちの1つもしくは複数の画像を回転させること、または、
前記複数の画像のうちの1つもしくは複数の画像の明るさを調整することのうちの少なくとも1つを実行するためのコードを含む、請求項17に記載の非一時的コンピュータ可読記憶媒体。
モバイルデバイスのカメラを用いてある期間にわたって連続して複数の画像を取得するための手段であって、キャプチャが、ユーザ入力によってトリガされる、手段と、
前記複数の画像の各画像が固有の焦点距離を使用してキャプチャされるように、前記期間中、前記カメラに焦点距離を変化させるための手段と、
前記期間中に得られた動きセンサデータを使用して前記複数の画像を位置合わせするための手段と、
前記複数の画像を、
各画像を、各々が前記複数の画像の各々の中に対応する領域を有する複数の領域に分割し、
対応する領域の第1のセットの各領域に関するコントラストのレベルを計算し、
対応する領域の前記第1のセットの領域に関するコントラストの前記レベルを比較し、
対応する領域の前記第1のセットのうちのコントラストの最も高いレベルを有する第1の画像を決定することによって、処理するための手段と、
対応する領域の前記第1のセットのうちの1つが選択されたとき、ディスプレイに前記第1の画像を表示させるための手段と
を備えるデバイス。
位置合わせするための前記手段が、前記複数の画像がキャプチャされる前記期間中に前記位置合わせを発生させるように構成された、請求項22に記載のデバイス。
前記第1の画像から、対応する領域の第2のセットのうちの1つの選択を受信し、
前記複数の画像から、対応する領域の前記第2のセット内のコントラストの最も高いレベルを有する第2の画像を決定し、
前記ディスプレイに前記第2の画像を表示させるための手段をさらに備える、請求項22に記載のデバイス。
前記複数の画像から、前記画像の前記複数の領域のうちのいずれもが前記複数の画像の前記対応する領域の中で最も高いコントラストの領域であると決定されない1つまたは複数の画像を除去するための手段をさらに備える、請求項22に記載のデバイス。
前記複数の画像を位置合わせするための前記手段が、
前記複数の画像のうちの1つもしくは複数の画像を拡大縮小するための手段、
前記複数の画像のうちの1つもしくは複数の画像をシフトするための手段、
前記複数の画像のうちの1つもしくは複数の画像を回転させるための手段、または、
前記複数の画像のうちの1つもしくは複数の画像の明るさを調整するための手段のうちの少なくとも1つを備える、請求項22に記載のデバイス。