JP2017208073A - デジタル媒体と観察者の相互作用の構成及び実現 - Google Patents

Abstract

【課題】画像観察体験を向上させる。【解決手段】観察者が見ている場所を追跡することによって、画像処理及び視線検出の概念を結合する。その結果、オリジナルのシーンを見ているような観察体験をもたらし、又は、自動的に、又は写真家により撮られた１つ又は複数の画像の特定の部分を観察者が見ると何が起こるべきかについて写真家が前もって指定した意図によって、オリジナルの体験を超えた新しいやり方で観察体験を向上させる。【選択図】図１

Description

今日のデジタルカメラ及びスマートフォンはコンピュータパワーを使用して、他の装置の画面上で即座に又は後で見るために画像を向上させる。一例はＨＤＲ又はハイダイナミックレンジであり、カメラは異なる露出で複数の写真を素早く撮り、全ての部分が、最も明るい及び最も暗い部分でさえも露出されて全ての細部を引き出す画像を作成する。

また、目に対してより魅力的にするために、又はどのくらいの時間（例えば、平均時間、合計時間）を何人の観察者がそれに費やしているかに関して広告の価値を測るために、観察者がウェブページ上の所定の広告をどのくらいの長さ見ているかを決定するために視線検出を使用する既存のシステムも有る。また、動画の再生を停止してバッテリー電源を節約するか又は観察者が動画の何れの部分も見逃さないように、観察者がもはやスマートフォンのディスプレイ等のディスプレイを見ていないかどうかを確認するために視線検出を使用するシステムも有る。

実施形態は、観察者が見ている場所を追跡することによって画像観察体験を向上させるためにこうした２つの概念を結合する。その結果、オリジナルのシーンを見ているような体験をもたらし、又は、自動的に、又は写真家により撮られた１つ又は複数の画像の特定の部分を観察者が見ると何が起こるべきかについて写真家が予め指定した意図によって、オリジナルの体験を超えた新しいやり方でそれを向上させる。

実施形態は、アーティストがディスプレイスクリーン用のオリジナルの画像又は複数のディスプレイスクリーン用の複数のオリジナルの画像を作成することを可能にし、それは観察者が誰であるか又は観察者が何をするかに応じて、観察者が画像を見るときに変化する。画像を変化させる観察者のアクションは、観察者がどこに視線を向けるか又はスクリーンをタッチするか、又は観察者が何を言うか又は観察者がディスプレイからどれくらい離れているか、又は何人の観察者が居るか、又は特定の期待観察者の識別等であってもよい。

実施形態は、１つ以上のカメラが１つ以上のディスプレイスクリーンの前の１人以上の観察者の顔の画像をキャプチャすることを介して収集されるデータに応じて１つ以上のディスプレイスクリーン上に表示される１つ以上のオリジナルの画像を修正するための方法である。収集されるデータは、１人以上の観察者の視線の位置がオリジナルの画像内のどこに向けられているか、又は１人以上の観察者の顔貌の変化、又は周辺光の量、又は観察者のディスプレイスクリーンからの距離、又は観察者の数、又は観察者の識別の１つ以上であってもよい。

［輝度］
修正は、オリジナルの画像の一部又は全ての輝度を変更することであってもよい。輝度の変更は、オリジナルの画像を代替画像と置換することによってもたらされることができ、代替画像のコンテンツはオリジナルの画像と同じであるが代替画像の少なくとも一部の輝度がオリジナルの画像の少なくとも対応する部分の輝度とは異なるように一部又は全てのピクセルが修正されている。例えば、一対の写真画像がカメラで撮られてもよく、画像は異なる露出を除いて基本的に同じである。１枚の画像の一部又は全てが、輝度を変更するために他の画像の一部又は全てを置換し得る。代替的に、アルゴリズムは、１人以上の観察者によるアクションに応じて、全ての画像ピクセルではないが一部の画像ピクセルの数値輝度を調節することができる。

［焦点］
修正は、オリジナルの画像の一部又は全ての焦点を変更することであってもよい。変更は、オリジナルの画像と代替画像との置換によってもたらされることができ、代替画像のコンテンツはオリジナルの画像と同じであるが代替画像の少なくとも一部の焦点がオリジナルの画像の少なくとも対応する部分の焦点とは異なるように一部又は全てのピクセルが修正されている。修正は、画像の一部又は全てにおいて接近して見えるオブジェクトに対する焦点を変更することであってもよい。修正は、画像の一部又は全てにおいて離れて見えるオブジェクトに対する焦点を変更することであってもよい。修正は、画像の一部又は全ての見掛けの被写界深度を変更することであってもよい。修正は、オリジナルの画像の一部を中心としてズームすることによって拡大又は縮小することであってもよい。修正は、代替画像とオリジナルの画像の置換を含んでもよい。修正は、ディスプレイスクリーンから観察者への測定距離の変化と同期して拡大又は縮小することであってもよい。

［色］
修正は、画像の一部又は全ての色バランス又は彩度又は色濃度又はコントラストを変更することであってもよい。これは、オリジナルの画像と代替画像との置換によってもたらされることができ、代替画像のコンテンツはオリジナルの画像と同じであるが代替画像の少なくとも一部の色（例えば、色バランス又は彩度）がオリジナルの画像の少なくとも対応する部分の色とは異なるように一部又は全てのピクセルが修正されている。

［鮮明さ］
修正は、画像の一部又は全ての鮮明さを変更することであってもよい。これは、オリジナルの画像と代替画像との置換によってもたらされることができ、代替画像のコンテンツはオリジナルの画像と同じであるが代替画像の少なくとも一部の鮮明さがオリジナルの画像の対応する部分の鮮明さとは異なるように一部又は全てのピクセルが修正されている。

［音声出力］
修正は、オリジナルの画像に伴う音声の再生を引き起こすこと又は変更することであってもよい。

［スプライト］
修正は、オリジナルの画像内のスプライトの移動又は移動中止を引き起こすことであってもよい。

［アニメーションＧＩＦ（Ｇｒａｐｈｉｃｓ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）］
修正は、アニメーションＧＩＦを共に形成する少数の画像と画像の全て又は一部を置換することであってもよい。

［動画分岐］
修正は、多分岐動画の分岐を選択することであってもよい。

上記の実施形態の何れかにおいて、１つ以上のオリジナルの画像は、静止画、又は動画、又は移動するスプライトを有する静止画であってもよい。オリジナルの画像は、２次元又は３次元であってもよい。

上記の実施形態の何れかにおいて、１つ又は複数のオリジナルの画像の修正のためのアルゴリズムは、１つ以上の画像を選択したアーティスト又は構成者又はコンテンツ作成者により決定されるカスタムであってもよい。修正のためのアルゴリズムは、１つ以上のオリジナルの画像を選択したアーティスト又はコンテンツ作成者により選択及び使用されるソフトウェアを供給した会社により事前決定されてもよい。アルゴリズムは、ソフトウェアを供給した会社により事前決定されてもよく、アルゴリズムが任意の画像又は画像の組と協働するようなものであってもよい。アルゴリズムは、段階的変化の修正（例えば、輝度の段階的変化、焦点の段階的変化、色の段階的変化、微小（又は部分）画像から完全画像へと新しい画像を拡大すること、又は他の遷移方法）が行われる速さをアーティスト又はコンテンツ作成者が指定することを可能にしてもよい。

［タッチ又はマウス入力］
別の実施形態は、例えば、観察者が画像内のスクリーンの一部をタッチ又はポインティングすることによってタッチ、マウス又は他の入力装置から収集されるデータに応じて動作するアルゴリズムに従って１つ以上のディスプレイスクリーン上に表示される１つ以上のオリジナルの画像を修正する方法であって、修正は１つ以上の代替画像とオリジナルの画像の置換であり、代替画像のコンテンツはオリジナルの画像と同じであるが一部又は全てのピクセルが修正されている。マウスにより収集されるデータは、クリック又はマウスオーバ又はクリック及びドラッグ及び移動の１つ以上により識別されるデータを含んでもよい。タッチから収集されるデータは、１本以上の指によるタッチ、タッチの力、タッチの持続時間、タッチの移動、及びユーザの手／指が画像ディスプレイスクリーンに接触しないが接近するジェスチャ（例えば、ピンチ操作、ウェービング、ポインティング）の１つ以上によって識別されるデータを含んでもよい。修正は、上記の修正の何れかであってもよい。１つ以上のオリジナルの画像は、静止画又は動画又は移動するスプライトを有する静止画、又は２次元又は３次元であってもよい。アルゴリズムは、上記の要素の何れかを含んでもよい。

［音声入力］
別の実施形態は、声音から収集されるデータに応じて動作するアルゴリズムに従って１つ以上のディスプレイスクリーン上に表示される１つ以上のオリジナルの画像を修正する方法であって、修正は１つ以上の代替画像とオリジナルの画像の置換であり、代替画像のコンテンツはオリジナルの画像と同じであるが一部又は全てのピクセルが修正されている。修正は、上記の修正の何れかであってもよい。１つ以上のオリジナルの画像は、静止画又は動画又は移動するスプライトを有する動画、又は２次元又は３次元であってもよい。アルゴリズムは、上記の要素の何れかを含んでもよい。

［加速度計入力］
別の実施形態は、ディスプレイスクリーンの筐体に埋め込まれた１つ以上の加速度計から収集されるデータに応じて動作するアルゴリズムに従ってハンドヘルドディスプレイスクリーン上に表示されるオリジナルの画像を修正する方法であって、修正は、１つ以上の左境界、右境界、上部境界又は下部境界の各々を拡大又は縮小することによってオリジナルの画像の視野を変更することである。１つ以上の加速度計から収集されるデータは、観察者から離れているディスプレイの第１の端部の反対の端部に対する傾斜であり、この傾斜は第１の端部に近い画像のより多くを視界に入れさせる。修正は、オリジナルの画像の（必ずしも中心ではない）部分を中心としてズームすることによって拡大又は縮小することであってもよい。

［オーサリングツール］
別の実施形態は、著者から指導を受信し、こうした指導に基づいて、観察者のアクションに基づいて変化する画像を示すデータセットを生成するためのサーバコンピュータ及びクライアントコンピュータを有するシステムにおける方法である。方法は、（ａ）サーバコンピュータにおいて、一連の複数の画像の仕様をクライアントコンピュータから受信するステップと、（ｂ）サーバコンピュータにおいて、一連の画像におけるオリジナルの画像から一連の画像における第２の画像への遷移をトリガするべく収集されるデータの仕様をクライアントコンピュータから受信するステップと、（ｃ）一連の画像におけるオリジナルの画像から一連の画像における第２の画像への遷移の速さの仕様をクライアントコンピュータから受信するステップと、（ｄ）観察者のコンピュータに送信され得るデータセットをサーバコンピュータにおいてアセンブルするステップとを含み、データセットは観察者のコンピュータ上で観察されることが可能であり、観察者のアクションから受信されたデータ入力は、一連のオリジナルの画像を指定された遷移の速さで第２の画像と置換することによって観察画像の修正を引き起こす。

データ入力は、限定されないが、オリジナルの画像内の１人以上の観察者の視線の位置、又は１人以上の観察者の顔貌の変化、又は周辺光、又は観察者のディスプレイスクリーンからの距離、又は観察者の数、又は観察者の識別、又は音声入力、又はタッチ入力の１つ以上を含んでもよい。

修正は、限定されないが、オリジナルの画像の一部又は全ての輝度を変更すること、オリジナルの画像の一部の焦点を変更すること、オリジナルの画像の一部から拡大又は縮小すること、オリジナルの画像の一部又は全ての色バランス又は彩度又は色濃度又はコントラストを変更すること、オリジナルの画像内のスプライトの移動又は移動の中止を引き起こすこと、多分岐動画の分岐を選択することを含んでもよい。

オリジナルの画像は、限定されないが、静止画又は動画又は移動するスプライトを有する動画、又は２次元又は３次元であってもよい。

クライアントコンピュータ及びサーバコンピュータは、各々の単一のコンピュータ筐体の中に含まれる各ソフトウェアプログラムをそれぞれ含んでもよく、単一ユーザによりアクティブ化されてもよい。

一実施形態に従って、写真家が単一対象の複数画像を撮影することを示す。 一実施形態に従って、一組の画像に対する露出マップを作成するためのフローチャートである。 一実施形態に従って、一組の画像に対する焦点マップを作成するためのフローチャートである。 一実施形態に従って、一組の画像に対する露出マップがどのように記憶されるかを示す。 一実施形態に従って、観察者が画像の異なる部分を見るとどのように画像が変化するかを構成者がどのように決定するかを示す。 一実施形態に従って、観察者が画像の異なる部分を見ると画像を変化させるシステムを示す。

本発明の１つ以上の実施形態は、自動的に、又は、写真家／構成者により前もって決定され及び、例えば、観察者が画像内のどこを見ているかによって後で駆動されるように、写真を向上させ、例えば、輝度、焦点、被写界深度及び他の品質の次元で観察者と静止画及び動画をインタラクティブにすることである。

最も単純且つ限定的な形態では、実施形態は、オリジナルのシーンが露出又は深度について非常に大きな変化を有している写真の中でキャプチャされたシーンの主題を誰かがどのように見るかを再現する。以下の例はこの概念を解明する。

１．輝度
背後で夕日が沈んでいる木立を想像する。観察者が太陽の方を見ると、虹彩が収縮し、それによって瞳孔はサイズが減少し、より少ない光を入らせ且つ輝度を低減させ、観察者は、赤い太陽の残りの半円（木により遮られていない太陽の部分）を見るが、木が黒いシルエットになるのを見る。しかしながら、単一の特定の木をみるとき、瞳孔は再び開いて、木の皮の特徴及びテクスチャが見えるようになる。

このようなシーンの通常の従来の写真は、沈む夕日の形状を見るのに十分に暗く、この場合、木は黒いか、又は木の皮を見るのに十分に明るく、この場合、夕日の背景は太陽が無く白い「ブローンアウト」エリアになるかの１つの露出に限定されるであろう。

この問題を補償することを意図した既存の写真法が有り、この方法は“ＨＤＲ”又はハイダイナミックレンジと呼ばれている。ＨＤＲでは、動きを回避するために複数の露出が間断なく撮られ、画像の全てのエリアが正しい露出を有するように自動的に混合される。しかしながら、ＨＤＲ補償した画像は「フェイク」又は「サッカリン」又は「非現実的」に見えることが多く、従って、観察者にとって不満足となることが多い。

その代わり、実施形態は、観察者自身の瞳孔露出システムのアクションを再現する。ＨＤＲと同様に、それは、撮られたときに使用される露出のみが異なる一群の写真を使用する。しかしながら、写真の何れか１つが表示されると、（ＨＤＲ技術と比較して）全く異なることが起こる。

例えば、太陽が正しく露出された写真がモニタ上で最初に明るく表示される。次に、観察者がこの例の木のように最初に露出不足だった画像のより暗い部分を見ると、システムの視線検出部が画像のより暗い部分への観察者の視線の移行を検出して、システムは木のエリアがより露出されている組から別の写真を探して表示する。

このようにして、観察者が非常に暗いエリアを見ているので観察者の瞳孔が拡大するとき、観察者はより多くの画像の細部が発展するという報酬を与えられる。太陽を再び見ることは反対を行う。即ち、エリアは非常に明るくてブローンアウトされているが、シルエットになった木の間で赤く沈む太陽へと迅速に落ち着く。このようにして、オリジナルのシーンを見る「感覚」が取り戻され且つ再現され、観察の体験が向上する。

実施形態は、静止画の写真を撮るときに決定する単なる輝度を超える広範なカメラ及び表示の変化を記録するやり方を写真家／構成者に与えると共に、例えば、画像ディスプレイスクリーン上の視線検出又はタッチ操作又はマウス操作によって観察者が自然にこうした変化をトリガし且つ探索することを可能にする。トリガは、手動、自動又は事前設定した意図に従ったものであり得る。

代替的に、スワップに利用可能な複数の画像と画像スワップする代わりに、アルゴリズムは、１人以上の観察者によるアクションに応じて画像の全ての画像ピクセルではないが一部の画像ピクセルの輝度を（例えば、数値的に）調節し得る。

２．［焦点］
同じ方法が焦点に使用されてもよい。例えば、シーンが様々な距離に有るオブジェクトを有する場合、通常の写真は、全てのオブジェクトに完全に焦点を合わせることができず、少なくとも有限の被写界深度及び有限の焦点距離を有する写真を撮ったカメラを与えられる。従って、実施形態は、写真内のどのオブジェクトを観察者の目が見ているのかを追跡して、それぞれ異なる焦点で取られた多くの異なる写真の組から、そのオブジェクトに対して正確に焦点が合わされた写真を選択することができる。

３．「窓への歩み寄り」
観察者がディスプレイ全体を占めない写真又は他の画像の表示に向かって歩くと、観察者とディスプレイとの間の距離の変化から目に対する角度の増加が計算され、ディスプレイに設置されたカメラにより距離の変化が測定され、写真のより多くを同時に表示しながら写真の外フレームが増加され得る。観察者が実際の窓に接近するとより多くのコンテンツが現れるが、観察者が追加のコンテンツを見るためには窓の左から右まで「見渡す」必要があるという点で、この技術は実際の窓に歩み寄ることをシミュレートしている。

４．後処理効果：クロッピング／スクローリング
カメラ設定が変更され、写真が撮られた後で、写真家は、画像がどのように表示されるべきかを決定する。例えば、クロッピングにおいて、写真家は、観察者に提示するために画像のより芸術的なサブセットを選ぶ。しかしながら、写真家は、以下のやり方で、観察者が興味を有する場合に画像のより多くが見られることを意図してもよい。しかしながら、観察者の目が見下ろすか又は見上げる場合、画像は上下にスクロールされ得る。正しく行われると、これは、画像のコンテンツを覗き込む体験を提供し得る。例えば、遠い山の写真において、観察者は見下ろすと、視点に至る小道を見るであろう。言い換えれば、観察者の前の小道の一部がフレームの大部分を占めるように、水平線が遠い山から小道の数フィート前にシフトするであろう。即ち、観察者が見下ろすと画像は上にスクロールされ、観察者が見上げると画像は下にスクロールされ得る。同様に、観察者が左又は右を見る場合、画像は右又は左にスクロールされ得る。

ディスプレイが上下又は横方向に動かされる場合、画像をスクロールさせるために加速度計データを使用することによってハンドヘルドディスプレイにより同じ効果が達成され得る。即ち、ハンドヘルドディスプレイは、画像が窓よりも大きい場合に、観察者が画像の所望の部分を観察するために動かすことができる携帯窓を模倣するように作られることが可能である。

５．シャッター時間及び移動
複数のカエデの翼果が下降している静止画写真を想像する。一実施形態では、短い露出時間の複数の写真が、より長い時間を有する写真と共に撮られ得る。観察者は、より長い露出時間を有する写真における個々の種子を最初に見るとき、中心の周囲がぼやけた円としてその翼弁を見る。しかしながら、観察者は、それを見つめるとき、間断なく短い露出時間を有する写真（又は種子を含む写真の部分）によって形成される複数のフレームを見せられ、種子が実際に素早く回転し且つ僅かに落ちてからその場所で動かなくなるのを見る（例えば、短い露出時間を有する写真によって形成される最後のフレームが表示されるとき）。観察者が種子を含む写真の部分から目を逸らしている間、種子はその初期位置及びぼやけた外観に戻るであろう（例えば、より長い露出時間を有する写真又はその一部が再び表示されるであろう）。次に、上記のサイクルは、観察者が種子を再び見るときに繰り返されるであろう。

代替的に、観察者が、上記のカエデの種子等の移動しているかもしれないように見えるオブジェクトを見るとき、静止画像の一部がオブジェクトが移動していることを示す動画像又はスプライト又はアニメーションＧＩＦと置換され得る。

また、これは、体操選手又はスキーヤー又はジャンパーが単一のバックグラウンドに対して複数の位置でキャプチャされる「連続写真術（Ｓｅｑｕｅｎｔｉａｌ Ｐｈｏｔｏｇｒａｐｈｙ）」にも適用される。一実施形態では、１つの位置だけが示されるであろう。観察者がディスプレイを見るとき、他のショットが示され、フレームを横断する各位置を通して、そして最後のものから逆行して目を案内するであろう。単一の静止画像は移動を描く一連の画像よりも典型的には少なく表されるので、これは、キャプチャ対象が実際にどのように移動しているか見たい人物（例えば、コーチ又は医者）にとっては価値があるであろう。

６．顔貌
人物が微笑んでいるか又は眉をひそめているか又は他の特定の感情を示しているかを決定するために画像認識が使用され得る。このような顔の変化は、画像の一部又は画像の全ての変化を引き起こし得る。画像認識は観察者の識別を決定するために使用可能であり、決定された識別は画像を変化させ得る。

７．ディスプレイから観察者の距離
ディスプレイから観察者の距離を計算するためにディスプレイ上に設置されたカメラが使用されてもよく、距離は画像の一部又は全てへの変化を引き起こすために使用され得る。（距離を測定する方法は、焦点の詳細に赤外線パルスを使用する光学方法又は音波パルスを使用する超音波方法等、オートフォーカスを有するカメラにより使用される任意の複数の方法であり得る。）即ち、オートフォーカスのためにカメラが使用し得る距離測定機構は、カメラが設置される又は他のやり方で関連付けられるディスプレイスクリーンから観察者の距離を決定するために利用され得る。

８．観察者によるタッチ
観察者からタッチ入力を受信するためにディスプレイの表面のタッチセンサ式入力レイヤが使用されてもよく、このタッチ入力は画像の一部又は全てへの変化を引き起こすために使用され得る。

９．観察者からの声音
観察者から音声入力を受信するためにディスプレイに設置される又は他のやり方で関係付けられるマイクロホンが使用されてもよく、この音声入力は画像の一部又は全てへの変化を引き起こすために使用され得る。声音は観察者を識別するために使用されてもよく、観察者の識別に基づいて画像が修正され得る。

１０．ディスプレイの加速度
ディスプレイがハンドヘルドである場合、ディスプレイを動かしている観察者から入力を受信するために加速度計からの入力が使用されてもよく、入力は画像の一部又は全てへの変化を引き起こすために使用され得る。

１１．周辺光
周辺光の量を決定するためにディスプレイ上に設置されるカメラ又は他の光センサが使用されてもよく、これは画像の輝度等、画像の一部又は全てへの変化を引き起こすために使用され得る。

１２．更なる機能
先の例は、既存の撮像技術よりも高い忠実性で、オリジナルのシーンがどのように見えたかを再現しようとすることで、オリジナルのシーンを再現する観察体験を向上させる。しかしながら、こうした処理技術を正確なシーン再現に限定する理由は無い。また、こうした技術は、作品に何を意図したかを写真家／構成者が観察者に案内するための芸術ツールとしての役割を果たし得る。例えば、構成者は観察者が写真の一部を始めてみるときに、２回目とは異なる輝度及び焦点が有るべきこと、又は任意の後続の回で、観察者が写真の一部を見ることを意図してもよい。又は、構成者は、観察者が集中している画像の部分に暗示される概念又は意味を強調するために観察者が観ている場所の近くの画像の部分を意図的にぼやけさせ又は焦点をぼかすか、又は観察者の集中を意図的に逸らしてもよい。

［詳細な例］
この節では、実施形態が画像を観察する体験を向上させること、及び他人による画像の観察に関する意図をより完全に表現するためのツールを写真家に与えることという全体的な目的をどのように達成するかが示される。また、関連するコンポーネント及びそれらがどのように協働するかも示される。この説明は、写真の可能な変化のサブセットを詳細に示しているが、同じ基本処理を使用して上記のように他の変化に容易に拡張され得る。従って、説明は実施形態の非限定的な例であることが意図されている。

図１は、単純な実施形態における画像及び前処理段階を示す。手動で又はカメラ内プログラムを使用してシーンの一組の画像を取るカメラ２を使用する写真１が示されており、輝度、焦点及びシャッター時間等、様々な写真パラメータが各画像ごとに変化されている。

写真は、セキュア・デジタル（ＳＤ）カード３又は任意の他の転送機構等を介してコンピュータ４に転送され（又はキャプチャ機構及び回路は既にコンピュータであり又は既にコンピュータを含んでおり）、ラベルされてデータベース５に記憶されてもよい。次に、画像は自動的に解析されて、各々が観察者の期待されるアクションに関係付けられる。例えば、１つの画像において露出不足又は露出過度である及び別の画像において標準的に露出された各画像の部分が自動的に注記される。「露出不足」は、写真を撮られたシーンの細部が黒又は明度ゼロと区別できないことを意味する。「露出過度」は、オリジナルの細部が白又は明度１００％と区別できないことを意味する。先の例の夕日の正面の木の皮を参照すると、他の画像の同じ場所において標準的に露出されたエリアと比較して、木の皮のエリアにおける暗部を有する画像が注記されて、その情報は保存される。後になって観察者が画像の露出不足の場所を見ると、標準的に露出された同じ場所を有する写真（又はその部分）にスワップされるであろう。従って、区別可能な細部が無い露出不足の暗く且つ黒いセクションを見ている観察者は、その代わりに、裂け目及び凹凸の有る外観を有する木の皮を見るであろう。逆に、観察者は、空等の非常に白く且つ写真用語で「ブローンアウト」している写真の部分を見ているときは、その代わりに、雲の全ての形状及び細部が可視であって、僅かに明るさが少ない青に対して明るい白い雲を見るであろう。

図２は、一実施形態に従って、露出不足又は露出過度の画像のエリアを見つけるために、非圧縮画像ピクセル情報がどのように解析され得るかの単純な例を示す。露出不足のエリアを見つけるために、そのエリアにおけるピクセルの平均暗さが測定されて、それらが既定の量だけ異なるかどうかを確認するためにそのエリア内のより小さな領域内の平均と比較される。例えば、全エリアに対する平均輝度Ｂａｖｇが最大輝度Ｂｍａｘの≦５％である場合であって、エリア内の１０正方画素の領域の少なくとも７５％がエリアの平均輝度ＢａｖｇからＢｍａｘの僅か±２％しか変化しない場合、全エリアが露出不足と見なされ且つラベルされる。露出過度に対して同様の決定が行われ得る。例えば、全エリアに対する平均輝度Ｂａｖｇが最大輝度Ｂｍａｘの≧９５％である場合であって、エリア内の１０正方画素の領域の少なくとも７５％がエリアの平均輝度ＢａｖｇからＢｍａｘの僅か±２％しか変化しない場合、全エリアが露出過度と見なされ且つラベルされる。画像のこうした部分のｘ−ｙ座標が、その画像に関係付けられるデータベース５に保存される。観察者の視線がそれらに向けられている場合、これらは後で同じ部分が先に定義されたように露出不足又は露出過度ではない別の画像（又はその一部）と置換される部分である。「露出不足」及び「露出過度」の例示の定義が先に定義されているが、写真家若しくは別の人物又はソフトウェアアプリケーションが任意の適切なやり方で「露出不足」及び「露出過度」を定義できると考えられることに留意するべきである。例えば、エリアの平均輝度Ｂａｖｇがそのエリアが有し得る最大輝度Ｂｍａｘのｘ％より少ない場合であって、エリア内のｍ・ｎピクセルの領域のｓ％の少なくともｔ％がエリアの平均輝度ＢａｖｇからＢｍａｘの±ｖ％しか変化しない場合に、画像のエリアは「露出不足」であってもよく、ここでｘは５−１５等の任意の範囲を有してもよく、ｔは５０−８０等の任意の範囲を有してよく、ｓは５０−７５等の任意の範囲を有してもよく、ｍ・ｎは４−５００ピクセル^２等の任意の範囲を有してもよく、ｖは１−１０等の任意の範囲を有してもよい。同様に、エリアの平均輝度Ｂａｖｇがそのエリアが有し得る最大輝度Ｂｍａｘのｙ％より大きい場合であって、エリア内のｍ・ｎピクセルの領域のｓ％の少なくともｔ％がエリアの平均輝度ＢａｖｇからＢｍａｘの±ｖ％しか変化しない場合に、画像のエリアは「露出過度」であってもよく、ここでｙは８５−９５等の任意の範囲を有してもよく、ｔは５０−８０等の任意の範囲を有してよく、ｓは５０−７５等の任意の範囲を有してもよく、ｍ・ｎは４−５００ピクセル^２等の任意の範囲を有してもよく、ｖは１−１０等の任意の範囲を有してもよい。そして、Ｂｍａｘはピクセルが有し得る最大デジタル輝度値（例えば、８ビットシステムでは２５５）であってもよく、Ｂｍｉｎはピクセルが有し得る最小デジタル輝度値（例えば、８ビットシステムでは０）であってもよい。

図３は、（焦点の合っていない）低空間変動を有するものから（明瞭に焦点の合っている）高空間変動を有するエリアを区別するために、画像のサブ部分に対してどのように空間的高速フーリエ変換（ＦＦＴ）が行われるかを示す。（焦点が外れた、露出不足の（例えば、黒い）、又は露出過度の（例えば、白い））高周波数ではない、即ち、低空間変動のエリアは、同じエリアにおいて高周波数を有する表示時間における別の画像と置換されるようにマーキングされる。「高空間変動Ｈ」は事前決定されてもよく、例えば、ｍ・ｎピクセルブロック内の最も明るいピクセルの輝度に対してｍ・ｎピクセルブロックの垂直寸法又は水平寸法における輝度の≧±ａ％の変化が有ることを意味してもよく、ここでａは７０−９５等の任意の適切な範囲を有してもよく、ｍ・ｎは４−５００ピクセル^２等の任意の適切な範囲を有してもよい。同様に、「低空間変動Ｌ」は事前決定されてもよく、例えば、ｍ・ｎピクセルブロック内の最も明るいピクセルの輝度に対してｍ・ｎピクセルブロックの垂直寸法又は水平寸法における輝度の≦±ｃ％の変化が有ることを意味してもよく、ここでｃは０−３０等の任意の適切な範囲を有してもよく、ｍ・ｎは４−５００ピクセル^２等の任意の適切な範囲を有してもよい。「高空間変動」及び「低空間変動」の例示の定義が先に定義されているが、写真家若しくは別の人物又はソフトウェアアプリケーションが任意の適切なやり方で「高空間変動」及び「低空間変動」を定義できると考えられることに留意するべきである。

図４は、木の背後の太陽の写真がどのようにデータベースにおける異なるｘ、ｙ座標の矩形に分解され得るかを例示する。矩形は、木の各部分を含む各矩形が木の各部分を覆い且つ木と木の間の空間を覆わないか又はその僅かな部分のみを覆うように、十分に小さくてもよい。図４において、写真内の場所を参照するために矩形を番号付ける任意のシステムが使用される。この場合、矩形の番号付けは左下から始まる。各矩形は、多くのピクセル（例えば、１００−５００ピクセル）から成る。ｘが１であり且つｙが３である矩形（１，３）は木の一部を含むので大部分が露出不足であり、矩形（４，４）は太陽の一部を含むので大部分が露出過度である。しかしながら、矩形（３，４）は、木の一部及び太陽の一部の両方を含むので、効果的に半分露出不足及び半分露出過度であり、従って、観察者がこの矩形を見るときにアルゴリズムはより多く露出された又はより少なく露出された写真を代わりに使うべきかどうか分からないであろう。しかし、より小さな矩形が使用される場合、人間の目にとって興味深い写真は既定のサイズの矩形よりも多くのピクセル、例えば、縦１０ピクセル横１０ピクセルより多くを占めるオブジェクトを含むので（写真が、可能性が無視できる程に小さい矩形と全く同じサイズである白黒の正方形の格子縞を有するのでない限り）、この問題が発生する可能性は低い。例えば、上記の状況において、コンピュータは、各矩形が主として露出過度又は露出不足になるまで矩形（３，４）をより小さな矩形に分解することによってアルゴリズムの解像度を増加し得る。より少ないピクセルを有するより小さな矩形を解析するオーバヘッドはマイクロプロセッサ又はマイクロコントローラ等の今日のコンピュータ集積回路（ＩＣ）の多くにとっては取るに足らないものなので、視線検出器又はマウス又は観察者がどこを見ているかを示し得る任意の他のやり方の解像度よりも少なくなり得ることを除いては、より小さな矩形を使用しない理由はない。この解像度は、使用されるハードウェアの最大解像度及びディスプレイから観察者の距離によって定義される。従って、写真家はハードウェア解像度及び距離を前もって指定するか又はデフォルト値を使用することができる。

他の写真パラメータが変化して、観察者が後で観るｘ−ｙエリアに関係付けられ得る。更に、特定の潜在的観察者の識別が前もって指定され且つ表示時間に識別される場合、システムは、どの個々の観察者がｘ−ｙ座標を見ているかを入力として受け入れて、観察者の識別に基づいてその応答を変化させることができる。

［画像構成者により撮られるステップ］
図５に示されるように、コンピュータディスプレイ１２上の単純なユーザインターフェースを使用して、写真家又は他の画像構成者１１が、観察者が観察するときにデータベース内の画像のどの部分が（もし有れば）どのアクションを、又はどのような順番でトリガするべきかを以下のように迅速に示し且つ指定することができる。

構成者１１には、観察されるとき（以下、「表示時間」とも呼ばれる）それらに関係付けられるアクションを有する可能性が高い画像のエリアのリストが提示される。例えば、リストは、露出不足のエリア、露出過度のエリア、高空間解像度のエリア、又は低空間解像度のエリアを含んでもよい。次に、構成者は、リストされたエリアごとにアクションを指定する。限定されないが、アクションは、以下の一部であるように指定され得る。即ち、画像全体又は画像のその部分だけを、露出不足又は露出過度でもない異なる露出値を有する、又は例えば、オリジナルのカメラの解像度に対して最大の詳細である又は「焦点が合っている」空間周波数の異なる変化を有する別の画像と置換すること、画像番号ｘと置換すること、ｎ番目の置換であれば画像番号ｙと置換すること、エリアｂのみが見られていた場合に画像ｚと置換すること等である。異なるアクションがデータベース内の各画像に関係付けられてもよく、又は一組のアクションが一次画像（以下を参照）に関係付けられてもよい。アクションは、インターネット又は他のシステムから引き出された画像を観察者が見ているときにリアルタイムで利用可能な画像又は動画を選択することにまで拡張され得る。

単一の写真が、観察される画像であり且つその中のｘ−ｙ矩形を見るときのための全ての方向を有する一次画像として指定可能であり、又は任意の写真がその写真が見られるときのためのこうした方向を有し得る。この例示では、構成者がアクションを指定しない場合、下記のようにデフォルトは「最良自動的」である。

観察者が取るかもしれない全てのアクション及び結果として生ずる画像の全て又は一部の全ての置換を構成者が終えると、この全ての情報は、１つの「ショー（ｓｈｏｗ）」又は「Ｅｙｅｔｉｎｅｒａｒｙ^ＴＭ」として保存される。このショーは、全てがクラウドにオンラインで、又は任意の他の適切な電子記憶装置又は場所に記憶されてもよい。

図６に示されるように、観察者１３が画像を観るとき、ディスプレイ１４は、コンピュータ１７に記憶され且つ読み込まれるデータベース５から写真を表示する。例えば、ディスプレイ１４に設置される１つ以上のカメラから成る視線検出ハードウェア装置１６は、写真内のどこを観察者の目が見ているかのｘ−ｙ座標を与える。システムはこうした座標を使用して、データベース５において構成者が指定したアクションを検索し、システムは、そのｘ−ｙ矩形に対する一次写真又は現在の写真のエントリの何れかを参照することによってアクションを行う。

アクションがデフォルトの「最良自動的」である場合、システムは、例えば、観察者が見ている写真を、観察者が現在観察しているｘ−ｙ矩形に関して最良に露出された写真と置換するであろう。既に述べたように、ここでの「最良に露出された」は、一組の写真家が同意するものであり、最も多くの細部を示し、明度が最も「ブローンアウト」されていないか又は標準的な定義が利用可能な黒ではないものである。この置換は迅速なディゾルブであってもよく、その性質及び時間は観察者が観ているときに使用されるように前もって指定されてもよく、又はデフォルト値が使用されるであろう。

先に言及されたデータベースは初期画像及び一組のリンク又はその画像の部分に関係付けられるジャバスクリプト呼び出しから成るｈｔｍｌのページとしてクラウドにオンラインで記憶されてもよいことに留意することが重要である。視線検出は、あたかも観察者の目がマウスであるかのように、その目が見ている場所をブラウザに教え、ブラウザはリンクの目標である新しい画像を表示することによって、又は、例えば、画像の一部のアスペクトを変更するためにジャバスクリプト関数を呼び出すことによって、アクションを自動的に行うであろう。このようにして、構成者は、全てがサーバのディレクトリ内に有るｈｔｍｌページ及び一組の画像を指し示すリンクを観察者に送りさえすれば十分で有り得る。

構成者は、ディスプレイ及びポインタを有するユーザインターフェースを使用して前もって指定する代わりに、視線検出ハードウェアを有するディスプレイを使用して、特定のｘ−ｙエリアを見ている間に、音声、又はマウス、又は任意の他の方法を介するシステムへのコマンドによって他のどの写真（又はその一部）を使用するべきかを指定することができる。他の写真（又はその部分）とのこうした他の相関は、データベースに記憶されるであろう。例えば、写真家は、図４における矩形（１，３）を見ている場合に、音声認識システムに向かって、実際に、「私が今見ているエリアを観察者が見ているときに、示されている写真を“ｔｒｅｅ−ｅｘｐｏｓｅｄ．ｊｐｇ”というファイル名の写真と置換しなさい」と言うことができる。

［付加的使用］
実施形態は、アーティストの意図を表現することより多くのために使用され得る。例えば、視力療法士は、スクリーンの前後に注意を引くことによって両目を調整する患者の能力を増加させたい場合がある。パイロットは、既存の組の画像又はスプライトに基づいて、パイロットが見ていなかったどのような場所にも危険な航空機を出現させることによって、このような危険な航空交通を迅速に見つけるためのディスプレイを有するフライトシミュレータシステムで訓練され得る。観察者の目が離れて行くこと（水平線に向かって、更に遠くを見ること）を許される場合、実施形態は、更に遠くの焦点で撮られた写真を代用することができる。従って、観察者は、３Ｄの形態に焦点を合わせる及び外す並びに内外に「移動（ｔｒａｖｅｌ）」するように自身を訓練することができる。

［視線検出画像ツール］
実施形態は、画像ツール用の視線検出に基づくユーザインターフェース（ＵＩ）のために使用され得る。例えば、観察者が頭を右に傾けることで、傾いた頭が中央に戻るまでゆっくりと右に画像を回転させるようにシステムに通知することができる。輝度及び焦点は、画像の一部を凝視することで制御され得る。観察者が左目を瞬きするたびに、最大に達するまで輝度が増加されてもよく、それから再び下がり始める。焦点は、右目を瞬きすることによって増加され得る。処理は、一秒間、両目を閉じることによって所望の選択で停止され得る。類似の方法がクロップのために使用され得る。

［付加的詳細］
一実施形態では、観察者の目が画像の一部に集中している場合、画像のその部分が更なる細部と共に拡張又は拡大し得る。最大の細部又は拡大図を有する画像が代用された後であって、観察者の目がそのエリアに固定されたままのとき、写真家により事前決定された画像のその一部に関係付けられるリンクが、ダウンロードされる他の画像又は動画をもたらし、画像のその部分に代用され得る。写真家が特定のリンクを入れなかった場合、そのセクションに見られる初期画像は、画像が何であるかを決定して更なる情報を供給するか、又は他の写真家によりキャプチャされた類似のコンテンツの他の画像をダウンロードして表示することができるクラウドベースのアナライザに送信され得る。例えば、観察者がワシントンＤＣのシーンを見ており、ワシントン記念塔を凝視したままであれば、記念塔は、画像のそのセクション用の一連の代替画像によってディスプレイ全体の半分を占めるようにサイズが拡張して細部を示してもよい。観察者が記念塔を見つめ続ける場合、インターネットからダウンロードされた動画は、記念塔の歴史及び建築を記述するスクリーンのそのセクションを再生してもよい（これは写真家により前もって指定されているか又はクラウドベースの画像認識装置により自動的に選択されていてもよい）。

「フラッシュライト」
写真家は、観察者が見る画像のどのような部分も即座により高い輝度に修正され得ることを指定し得る。構成者は、ｘ−ｙエリアに対して「フラッシュライト」を単に指定しさえすればよい。従って、フラッシュライトが、実際に観察者の目が向けられて、シーンに対して作用しているように見えるであろう。［ヒューマンインターフェーステスト］広告に関するアプリケーションで、人物が画像のどこを見る傾向が有るかを記録する既存のシステムが有る。一実施形態では、どのくらい頻繁に観察者が画像の特定の照らされた又は焦点を合わせられた部分に戻るかに基づいて出力されるログを想像してもよい。また、画像構成者が画像代替の「パス」を指定する場合、即ち、画像Ａのサブ部分を見ることが画像Ｂの代替をもたらし、画像Ｂの一部を見ることがＡに戻り、且つ観察者がＡ−Ｂ−Ａのこのパスを反復した場合、ログは、パスの情報及びそれが反復されたことを保存するであろう。このような情報は、（複数の）画像と観察者の相互作用を更に発展させるのに構成者にとって有益であろう。

［他の観察者とのネットワーキング及びゲーム］
同じ場所に居る他の観察者とのゲームのために１つより多くの視線検出装置が使用され得る。また、システムは、様々なソーシャル目的のためにインターネット又はローカルネットワークに接続され得る。例えば、異なる場所に居る一人より多くの観察者が同じＥｙｅｔｉｎｅｒａｒｙ^ＴＭを見ている場合、大部分の観察者により見られた部分は拡大された部分であってもよく、又はその反対であってもよい。即ち、殆どの人が何かを見なかった場合、Ｅｙｅｔｉｎｅｒａｒｙ^ＴＭは全ての観察者がその画像に行くことを強いるように修正されてもよい。第１の人物が適切な場所を見ること、又は適切な場所で武器を作動させること等に基づいて２つ以上の視線検出システムがポイントを与えるゲーム等、他のタイプのソーシャル相互作用が実装され得る。最後に、その部分を見ることによって、画像の部分がインターネットで他者と共有され得る。

［構成者へのフィードバック］
実施形態は、観察者が表示時間にどこを見るかに応じるという構成者の事前決定された意図に関する。しかしながら、観察者は、ネットワークを介してリアルタイムで構成者に有益なフィードバックを送信するためにシステムを使用することができる。例えば、画像の一部、例えば、観察者が構成者に置換してもらいたい複数の人々の写真において特定の人物が有り、観察者はその人物を見ている間に３度瞬きをして、目でその周りに円を描くことができる。次に、観察者は、ネットワーク接続を介して、「私がこの人物を見ると、あなたに別の画像を代用してもらいたい」を言ってもよい。顔のこの場所が音声ファイルと共に構成者に渡されるであろう。従って、構成者は、観察者の入力により良好な又は異なるＥｙｅｔｉｎｅｒａｒｙ^ＴＭを開発することができる。

以上により、特定の実施形態は例示のために本明細書に記載されているが、本開示の精神及び範囲から逸脱することなく様々な修正が行われ得ることが理解される。更に、特定の実施形態に関して代替手段が開示されている場合、この代替手段は特段の記載が無ければ他の実施形態にも適用され得る。更に、記載された任意の構成要素又は動作が、ハードウェア、ソフトウェア、ファームウェア又はハードウェア、ソフトウェア及びハードウェアの何れか２つ以上の組み合わせで実装され／実行されてもよい。更に、記載された装置又はシステムの１つ以上のコンポーネントは、明確のため又は他の理由で記載から省略されている場合がある。更に、説明に含まれている記載された装置又はシステムの１つ以上のコンポーネントが装置又はシステムから省略されてもよい。

Claims (48)

1. １つ以上のカメラが１つ以上のディスプレイスクリーンの前の１人以上の観察者の顔の画像をキャプチャすることを介して収集されるデータに応じて動作するアルゴリズムに従って１つ以上のディスプレイスクリーン上に表示される１つ以上のオリジナルの画像を修正するための方法。
2. 収集されるデータは、１人以上の観察者の視線の位置が前記オリジナルの画像内のどこに向けられているか、又は１人以上の観察者の顔貌の変化、又は１人以上の観察者の識別の１つ以上である、請求項１に記載の方法。
3. 収集されるデータは、周辺光、又はディスプレイスクリーンからの観察者の距離、又は観察者の数の１つ以上である、請求項１に記載の方法。
4. 修正は、前記オリジナルの画像の一部又は全ての輝度を変更することである、請求項１に記載の方法。
5. 修正は、前記オリジナルの画像を代替画像と置換することを含み、前記代替画像のコンテンツは前記オリジナルの画像と同じであるが一部又は全てのピクセルが修正されている、請求項４に記載の方法。
6. 修正は、前記オリジナルの画像の全て又は一部の焦点を変更することである、請求項１に記載の方法。
7. 修正は、前記オリジナルの画像を代替画像と置換することであり、前記代替画像のコンテンツは前記オリジナルの画像と同じであるが一部又は全てのピクセルが修正されている、請求項６に記載の方法。
8. 修正は、前記画像の一部又は全てにおいて接近して見えるオブジェクトに対する焦点を変更することである、請求項６に記載の方法。
9. 修正は、前記画像の一部又は全てにおいて離れて見えるオブジェクトに対する焦点を変更することである、請求項６に記載の方法。
10. 修正は、前記画像の一部又は全ての見掛けの被写界深度を変更することである、請求項６に記載の方法。
11. 観察者が前記１つ以上の画像を凝視しているとき、前記１つ以上のカメラから集められたデータの処理は、前記観察者があたかも離れているオブジェクトを見ているかのように目を開散させているかどうかを決定し、そうであれば、修正は、前記画像において近くに見えるオブジェクトが焦点をぼかされ且つ遠くに見えるオブジェクトが鋭く焦点を合わされるように前記画像の部分の焦点を変更することである、請求項６に記載の方法。
12. 観察者が前記１つ以上の画像を凝視しているとき、修正は、焦点を合わせられたエリアの周囲の前記画像の部分の焦点をぼかし、且つ前記画像を横断して観察者の視線を引くために前記画像を横断して焦点を合わせられたエリアを移動させる、請求項６に記載の方法。
13. 修正は、前記オリジナルの画像の一部を中心としてズームすることによって拡大又は縮小することである、請求項１に記載の方法。
14. 修正は、前記オリジナルの画像を代替画像と置換することを含む、請求項１３に記載の方法。
15. 修正は、ディスプレイスクリーンから観察者への測定距離の変化と同期して拡大又は縮小することである、請求項１３に記載の方法。
16. 修正は、観察者の視線が固定されている場合に、前記オリジナルの画像における場所を中心としてズームすることによって拡大することである、請求項１３に記載の方法。
17. 修正は、前記画像の一部又は全ての色バランス又は彩度又は色濃度又はコントラストを変更することである、請求項１に記載の方法。
18. 修正は、前記オリジナルの画像を代替画像と置換することであり、前記代替画像のコンテンツは前記オリジナルの画像と同じであるが一部又は全てのピクセルが修正されている、請求項１７に記載の方法。
19. 修正は、前記オリジナルの画像に伴う音声の再生を引き起こすこと又は変更することである、請求項１に記載の方法。
20. 修正は、前記オリジナルの画像内のスプライトの移動又は移動中止を引き起こすことである、請求項１に記載の方法。
21. 修正は、多分岐動画の分岐を選択することである、請求項１に記載の方法。
22. 前記１つ以上のオリジナルの画像は静止画である、請求項１に記載の方法。
23. 前記１つ以上のオリジナルの画像は動画である、請求項１に記載の方法。
24. 前記１つ以上のオリジナルの画像は移動するスプライトを有する静止画である、請求項１に記載の方法。
25. 前記１つ以上のオリジナルの画像は２次元である、請求項１に記載の方法。
26. 前記１つ以上のオリジナルの画像は３次元である、請求項１に記載の方法。
27. 前記アルゴリズムは、前記１つ以上の画像を選択したアーティストにより決定されるカスタムである、請求項１に記載の方法。
28. 前記アルゴリズムは、前記１つ以上のオリジナルの画像を選択したアーティスト又はコンテンツ作成者により選択及び使用されるソフトウェアを供給した会社により事前決定される、請求項１に記載の方法。
29. 前記アルゴリズムは、ソフトウェアを供給した会社により事前決定され、且つ前記アルゴリズムは、任意の画像又は画像の組と協働する、請求項１に記載の方法。
30. 前記アルゴリズムは、段階的変化の修正が行われる速さをアーティスト又はコンテンツ作成者が指定することを可能にする、請求項１に記載の方法。
31. 観察者が画像内のスクリーンの一部にタッチすることによってタッチから収集されるデータに応じて動作するアルゴリズムに従って１つ以上のディスプレイスクリーン上に表示される１つ以上のオリジナルの画像を修正する方法であって、
    修正は、１つ以上の代替画像と前記オリジナルの画像の置換であり、前記代替画像のコンテンツは前記オリジナルの画像と同じであるが一部又は全てのピクセルが修正されている、方法。
32. タッチから収集される前記データは、１本以上の指によるタッチ、タッチの力、タッチの持続時間、及びタッチの移動の１つ以上を含む、請求項３１に記載の方法。
33. 修正は、前記オリジナルの画像の全て又は一部の焦点を変更することである、請求項３１に記載の方法。
34. 修正は、
    前記画像の一部又は全てにおいて接近して見えるオブジェクトに対する焦点を変更すること、又は
    前記画像の一部又は全てにおいて離れて見えるオブジェクトに対する焦点を変更すること、又は
    前記画像の一部又は全ての見掛けの被写界深度を変更すること
    の１つ以上を含む、請求項３３に記載の方法。
35. 修正は、
    前記オリジナルの画像の一部又は全ての輝度を変更すること、又は
    前記オリジナルの画像の一部から拡大又は縮小すること、又は
    前記オリジナルの画像の一部又は全ての色バランス又は彩度又は色濃度又はコントラストを変更すること、又は
    前記オリジナルの画像内のスプライトの移動又は移動中止を引き起こすこと、又は
    多分岐動画の分岐を選択すること
    の１つ以上を含む、請求項３１に記載の方法。
36. 前記１つ以上のオリジナルの画像は、
    静止画、又は
    動画、又は
    移動するスプライトを有する静止画、又は
    ２次元、又は
    ３次元
    である、請求項３１に記載の方法。
37. アルゴリズムは、
    前記１つ以上の画像を選択したアーティストにより決定されるカスタム、又は
    前記１つ以上のオリジナルの画像を選択したアーティスト又はコンテンツ作成者により選択及び使用されるソフトウェアを供給した会社により事前決定されること、又は
    ソフトウェアを供給した会社により事前決定され、前記アルゴリズムは任意の画像又は画像の組と協働すること、又は
    段階的変化の修正が行われる速さをアーティスト又はコンテンツ作成者が指定することを可能にすること
    の１つ以上を含む、請求項３１に記載の方法。
38. 声音から収集されるデータに応じて動作するアルゴリズムに従って１つ以上のディスプレイスクリーン上に表示される１つ以上のオリジナルの画像を修正する方法であって、修正は１つ以上の代替画像と前記オリジナルの画像の置換であり、前記代替画像のコンテンツは前記オリジナルの画像と同じであるが一部又は全てのピクセルが修正されている、方法。
39. 修正は、
    前記オリジナルの画像の一部又は全ての輝度を変更すること、
    前記オリジナルの画像の一部又は全ての焦点を変更すること、
    前記オリジナルの画像の一部又は全てから拡大又は縮小すること、
    前記オリジナルの画像の一部又は全ての色バランス又は彩度又は色濃度又はコントラストを変更すること、
    前記オリジナルの画像の一部又は全ての鮮明さを変更すること、
    前記オリジナルの画像内のスプライトの移動又は移動中止を引き起こすこと、多分岐動画の分岐を選択すること
    の１つ以上を含む、請求項３８に記載の方法。
40. 声音から収集されるデータから、話している人物の推定の識別が決定され、修正は前記推定の識別によって少なくとも部分的に決定される、請求項３８に記載の方法。
41. ディスプレイスクリーンの筐体に埋め込まれた１つ以上の加速度計から収集されるデータに応じて動作するアルゴリズムに従ってハンドヘルドディスプレイスクリーン上に表示されるオリジナルの画像を修正する方法であって、修正は、１つ以上の左境界、右境界、上部境界又は下部境界の各々を拡大又は縮小することによってオリジナルの画像の視野を変更することである、方法。
42. 前記１つ以上の加速度計から収集される前記データは、観察者から離れているディスプレイの第１の端部の反対の端部に対する傾斜であり、傾斜は前記第１の端部に近い前記画像のより多くを視界に入れさせる、請求項４１に記載の方法。
43. 修正は、前記オリジナルの画像の一部を中心としてズームすることによって拡大又は縮小することである、請求項４１に記載の方法。
44. サーバコンピュータ及びクライアントコンピュータを有するシステムにおいて、著者から指導を受信し、前記指導に基づいて、観察者のアクションに基づいて変化する画像を示すデータセットを生成するための方法であって、
    （ａ）前記サーバコンピュータにおいて、一連の複数の画像の仕様をクライアントコンピュータから受信するステップと、
    （ｂ）前記サーバコンピュータにおいて、前記一連の画像におけるオリジナルの画像から前記一連の画像における第２の画像への遷移をトリガする収集されるデータの仕様を前記クライアントコンピュータから受信するステップと、
    （ｃ）前記一連の画像における前記オリジナルの画像から前記一連の画像における前記第２の画像への遷移の速さの仕様を前記クライアントコンピュータから受信するステップと、
    （ｄ）観察者のコンピュータに送信され得るデータセットを前記サーバコンピュータにおいてアセンブルするステップであって、前記データセットは前記観察者のコンピュータ上で観察されることが可能であり、前記観察者のアクションから受信されるデータ入力は、一連のオリジナルの画像を指定された遷移の速さで前記第２の画像と置換することによって観察される画像の修正を引き起こすステップと
    を含む、方法。
45. 前記データ入力は、
    前記オリジナルの画像内の１人以上の観察者の視線の位置、又は
    １人以上の観察者の顔貌の変化、又は
    周辺光、又は
    観察者のディスプレイスクリーンからの距離、又は
    観察者の数、又は
    音声入力、又は
    タッチ入力
    の１つ以上を含む、請求項４４に記載の方法。
46. 修正は、
    前記オリジナルの画像の一部又は全ての輝度を変更すること、
    前記オリジナルの画像の一部の焦点を変更すること、
    前記オリジナルの画像の一部から拡大又は縮小すること、
    前記オリジナルの画像の一部又は全ての色バランス又は彩度又は色濃度又はコントラストを変更すること、
    前記オリジナルの画像内のスプライトの移動又は移動中止を引き起こすこと、
    多分岐動画の分岐を選択すること
    の１つ以上を含む、請求項４４に記載の方法。
47. 前記オリジナルの画像は、
    静止画、又は
    動画、又は
    移動するスプライトを有する静止画、又は
    ２次元、又は
    ３次元
    である、請求項４４に記載の方法。
48. 前記クライアントコンピュータ及び前記サーバコンピュータは、単一のコンピュータ筐体の中に含まれ、且つ単一ユーザによりアクティブ化される、請求項４４に記載の方法。
    

Images