JP2014239384A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】任意の位置を回転中心とする映像を表示すること。【解決手段】本願に係る画像処理装置は、画像記憶部と、変換部と、出力部とを有する。画像記憶部は、視点位置が異なる複数の画像を記憶する。変換部は、画像記憶部に記憶されている画像の各々を、動的に設定される撮像対象における位置を光軸が通過するように配置された場合における撮像装置により撮像される画像に変換する。出力部は、変換部によって変換された後の各画像を出力する。【選択図】図４

Description

本発明の実施形態は、画像処理装置、画像処理方法及び画像処理プログラムに関する。

従来、タイムスライス（Time Slice）やバレットタイム（Bullet Time）等と呼ばれる撮影技術が知られている。この撮影技術では、複数の撮像装置（例えば、ビデオカメラ）が撮像対象（例えば、人間などの被写体）の周囲に配置される。このとき、複数の撮像装置は、各撮像装置の光軸が撮像対象における所定の位置を通過するように配置される。そして、複数の撮像装置によって撮像された各画像を順に表示することにより、各光軸の通過位置を中心に撮像対象の周囲を移動しながら撮影したような映像を表示することが可能となる。例えば、任意の時刻に各撮像装置によって撮像された各画像を連続的に表示した場合には、その時刻で時間が停止している中で撮像対象の周囲を移動しながら撮影したような映像を表現することが可能となる。このような撮影技術は、例えば、映画、スポーツ中継などに利用されている。なお、以下では、上述した各光軸の通過位置を「回転中心」と表記する場合がある。

特開２００９−２５８８６２号公報

冨山仁博、宮川勲、岩舘祐一、"多視点ハイビジョン映像生成システムの試作"、［online］、［平成２５年５月２２日検索］、インターネット＜http://ci.nii.ac.jp/naid/110006207338＞

しかしながら、上記従来の撮影技術では、任意の位置を回転中心とする映像を表示することが困難である。具体的には、従来の撮影技術では、撮影時に決められた位置を回転中心とする映像を表示できるに過ぎない。このため、従来の撮影技術では、任意の位置を回転中心とする映像を表示するためには、各撮像装置における光軸の通過位置を変動させながら何度も撮影を行うこととなる。このことは、撮影にかかる手間が増大するので現実的ではない。したがって、従来の撮影技術では、任意の位置を回転中心とする映像を表示することが困難である。

本願の開示する技術は、上記に鑑みてなされたものであって、任意の位置を回転中心とする映像を表示することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

実施形態に係る画像処理装置は、視点位置が異なる複数の画像を記憶する画像記憶手段と、前記画像記憶手段に記憶されている画像の各々を、動的に設定される撮像対象における位置を光軸が通過するように配置された場合における撮像装置により撮像される画像に変換する変換手段と、前記変換手段によって変換された後の各画像を出力する出力手段と、を備えることを特徴とする。

実施形態に係る画像処理装置、画像処理方法及び画像処理プログラムは、任意の位置を回転中心とする映像を表示することができるという効果を奏する。

図１は、実施形態に係る画像処理システムの構成例を示す図である。 図２Ａは、実施形態に係る画像処理装置による画像処理の一例を示す図である。 図２Ｂは、実施形態に係る画像処理装置による画像処理の一例を示す図である。 図３Ａは、実施形態に係る画像処理装置による画像処理の一例を示す図である。 図３Ｂは、実施形態に係る画像処理装置による画像処理の一例を示す図である。 図４は、実施形態に係る画像処理装置の構成例を示す図である。 図５は、実施形態に係る画像記憶部の一例を示す図である。 図６は、実施形態に係る受付部による処理の一例を示す図である。 図７は、実施形態に係る推定部による推定処理の一例を示す図である。 図８は、実施形態に係る推定部による推定処理の一例を示す図である。 図９は、実施形態に係る画像処理装置による画像処理手順を示すフローチャートである。 図１０は、変形例に係る回転中心の指定操作例を示す図である。 図１１は、変形例に係る拡大画像の一例を示す図である。

以下に、本願に係る画像処理装置、画像処理方法及び画像処理プログラムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本願に係る画像処理装置、画像処理方法及び画像処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

〔１．画像処理システムの構成〕
まず、図１を用いて、実施形態に係る画像処理システムについて説明する。図１は、実施形態に係る画像処理システムの構成例を示す図である。図１に示すように、実施形態に係る画像処理システム１には、端末装置１０_１〜１０_ｍと、画像処理装置１００とが含まれる。端末装置１０_１〜１０_ｍ及び画像処理装置１００は、ネットワーク２０を介して互いに通信可能に接続される。

端末装置１０_１〜１０_ｍは、画像処理装置１００によって提供される映像データを閲覧するユーザによって利用される情報処理装置である。例えば、端末装置１０_１〜１０_ｍは、携帯電話機、ＰＤＡ（Personal Digital Assistant）、パーソナルコンピュータ（Personal Computer）である。なお、以下では、端末装置１０_１〜１０_ｍを区別する必要がない場合には、これらを総称して「端末装置１０」と表記する場合がある。

画像処理装置１００は、端末装置１０に映像データを配信するサーバ装置である。例えば、画像処理装置１００は、タイムスライスやバレットタイム等と呼ばれる撮影技術によって生成された映像データを配信する。

〔２．画像処理〕
次に、図２Ａ、図２Ｂ、図３Ａ、図３Ｂを用いて、実施形態に係る画像処理装置１００による画像処理の一例について説明する。なお、図２Ａ及び図３Ａでは、被写体Ｐを上から見た例を示す。

図２Ａにおいて、撮像装置Ｃ１１〜Ｃ１６は、例えば、ビデオカメラである。また、撮像装置Ｃ１１〜Ｃ１６は、各撮像装置における光軸が所定の位置を通過するように、撮像対象となる被写体Ｐの周囲に配置される。図２Ａの例では、撮像装置Ｃ１１は、被写体Ｐの中心に該当する３次元位置Ｄ１を光軸Ｅ１１_１が通過するように配置される。また、撮像装置Ｃ１２〜Ｃ１６は、それぞれの光軸Ｅ１２_１〜Ｅ１６_１が３次元位置Ｄ１を通過するように配置される。なお、撮像装置Ｃ１１〜Ｃ１６は、少なくとも投影面の底辺が地面と略平行となるように設置されるものとする。そして、撮像装置Ｃ１１〜Ｃ１６は、図１に示した状態で一斉に被写体Ｐを撮像することにより、被写体Ｐの映像データを生成する。

画像処理装置１００は、図２Ａに示した撮像装置Ｃ１１〜Ｃ１６によって生成された各映像データを保持する。そして、画像処理装置１００は、各映像データを用いて、タイムスライスやバレットタイム等と呼ばれる撮影効果を伴う映像データを生成し、生成した映像データを端末装置１０に配信する。

例えば、画像処理装置１００は、所定の時間毎に、表示対象の画像を撮像装置Ｃ１１〜Ｃ１６の配置順に変動させた映像データを生成する。ここでいう表示対象の画像とは、撮像装置Ｃ１１〜Ｃ１６によって生成された各映像データに含まれるフレームを示す。また、撮像装置Ｃ１１〜Ｃ１６の配置順とは、例えば、撮像装置Ｃ１１、Ｃ１２、Ｃ１３、Ｃ１４、Ｃ１５、Ｃ１６の順、若しくは、その逆順などを示す。これにより、画像処理装置１００は、被写体Ｐの周囲を移動して撮影したような映像を表現することができる。

また、上記例に限られず、画像処理装置１００は、例えば、撮像装置Ｃ１１〜Ｃ１６によって同一時刻に撮像された各フレームが撮像装置の配置順に表示される場面（シーン）を含む映像データを生成する。これにより、画像処理装置１００は、時間が停止している中で被写体Ｐの周囲を移動して撮影したような映像を表現することができる。

図２Ｂを用いて、画像処理装置１００によって配信される映像データの一例を説明する。図２Ｂでは、任意の時刻ｔにおいて撮像装置Ｃ１１〜Ｃ１６によって生成されたフレームを示す。具体的には、フレームｆ_１（１，ｔ）は、撮像装置Ｃ１１によって生成され、フレームｆ_１（２，ｔ）は、撮像装置Ｃ１２によって生成され、フレームｆ_１（６，ｔ）は、撮像装置Ｃ１６によって生成される。なお、フレームｆ_１（１，ｔ）等は、実際には撮像装置によって生成されたフレーム自体ではなく、後述する変換前処理が行われた後のフレームに該当する。ここでは、フレームｆ_１（１，ｔ）等が撮像装置によって生成されたものとし、変換前処理については後に詳述する。

そして、画像処理装置１００は、例えば、図２Ｂに示したフレームｆ_１（１，ｔ）、ｆ_１（２，ｔ）、ｆ_１（３，ｔ）、ｆ_１（４，ｔ）、ｆ_１（５，ｔ）、ｆ_１（６，ｔ）の順に表示される映像データを端末装置１０に配信する。これにより、画像処理装置１００は、回転中心Ａ１を中心として移動しながら撮影したような映像を表現することができる。なお、ここでは、撮像装置Ｃ１１〜Ｃ１６が地面と略平行となるように設置されることを前提としているので、回転中心Ａ１は、図２Ａに示した３次元位置Ｄ１に対応する位置から地面に対して略垂直に延伸する直線に該当する。

ここで、実施形態に係る画像処理装置１００は、撮像装置Ｃ１１〜Ｃ１６によって生成された映像データを用いて、動的に設定される撮像対象における３次元位置を回転中心とする映像データを生成する。この点について、図３Ａ及び図３Ｂを用いて簡単に説明する。ここの例では、画像処理装置１００は、図３Ａに示した３次元位置Ｄ２を回転中心とする映像データを生成するものとする。この場合、画像処理装置１００は、図２Ａに示した撮像装置Ｃ１１〜Ｃ１６によって生成された映像データを、図３Ａに示した例のように配置された場合における撮像装置Ｃ１１〜Ｃ１６によって生成される映像データに変換する。

具体的には、図３Ａの例において、撮像装置Ｃ１１〜Ｃ１６は、被写体Ｐの右側に該当する３次元位置Ｄ２を光軸Ｅ１１_２〜Ｅ１６_２が通過するように配置される。実施形態に係る画像処理装置１００は、撮像装置Ｃ１１〜Ｃ１６が図３Ａに示した例のように配置されたものと仮定する。そして、画像処理装置１００は、図２Ａにおいて撮像装置Ｃ１１〜Ｃ１６によって生成された映像データ内の各フレームを、図３Ａに示した例のように配置された場合における撮像装置Ｃ１１〜Ｃ１６によって生成されることが想定されるフレームに変換する。

図３Ｂに、画像処理装置１００により変換された後のフレームの一例を示す。図３Ｂの例では、画像処理装置１００は、図２Ｂに示したフレームｆ_１（１，ｔ）を、図３Ａの例のように配置された場合における撮像装置Ｃ１１によって撮像されるフレームｆ_２（１，ｔ）に変換する。同様に、画像処理装置１００は、フレームｆ_１（２，ｔ）をフレームｆ_２（２，ｔ）に変換し、フレームｆ_１（３，ｔ）をフレームｆ_２（３，ｔ）に変換し、フレームｆ_１（４，ｔ）をフレームｆ_２（４，ｔ）に変換し、フレームｆ_１（５，ｔ）をフレームｆ_２（５，ｔ）に変換し、フレームｆ_１（６，ｔ）をフレームｆ_２（６，ｔ）に変換する。このようなフレームの変換処理については後述する。

そして、画像処理装置１００は、例えば、変換後のフレームｆ_２（１，ｔ）、ｆ_２（２，ｔ）、ｆ_２（３，ｔ）、ｆ_２（４，ｔ）、ｆ_２（５，ｔ）、ｆ_２（６，ｔ）の順に表示される映像データを生成し、生成した映像データを端末装置１０に配信する。これにより、画像処理装置１００は、図３Ａに示した３次元位置Ｄ２に対応する回転中心Ａ２を中心として移動しながら撮影したような映像を端末装置１０に表示させることができる。すなわち、画像処理装置１００は、上述したフレームの変換処理を行うことにより、撮像装置Ｃ１１〜Ｃ１６における各光軸の交点を変動させながら何度も撮影することなく、任意の位置を回転中心とする映像を表示することを可能にする。

なお、上記例では、６台の撮像装置Ｃ１１〜Ｃ１６を用いて被写体Ｐを撮像する例を示したが、撮像装置の数はこの例に限られない。また、撮像装置Ｃ１１〜Ｃ１６の配置位置は、図２Ａや図３Ａに示した例に限られない。例えば、複数の撮像装置が被写体Ｐを囲むように、円周上に等間隔に配置されてもよい。

〔３．画像処理装置の構成〕
次に、図４を用いて、上述した画像処理装置１００の構成について説明する。図４は、実施形態に係る画像処理装置１００の構成例を示す図である。なお、以下では、図２Ａに示した撮像装置Ｃ１１〜Ｃ１６によって被写体Ｐが撮像されるものとして説明する。

図４に示すように、画像処理装置１００は、ＩＦ（interface）部１１０と、パラメータ記憶部１２１と、画像記憶部１２２と、制御部１３０とを有する。なお、画像処理装置１００は、画像処理装置１００の管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。

（ＩＦ部１１０について）
ＩＦ部１１０は、ネットワーク２０を介して、端末装置１０との間で、各種データを送受信する。例えば、ＩＦ部１１０は、ＮＩＣ（Network Interface Card）等によって実現される。

（パラメータ記憶部１２１について）
パラメータ記憶部１２１は、撮像装置Ｃ１１〜Ｃ１６に関する各種のカメラパラメータを記憶する。例えば、パラメータ記憶部１２１は、カメラパラメータとして、撮像装置の焦点距離や、撮像装置によって生成される画像のアスペクト比及びスキューなどを撮像装置毎に記憶する。なお、各撮像装置のカメラパラメータは、撮像装置Ｃ１１〜Ｃ１６のそれぞれを事前にキャリブレーションすることで取得される。

（画像記憶部１２２について）
画像記憶部１２２は、視点位置が異なる複数の画像を記憶する。具体的には、画像記憶部１２２は、異なる位置に配置された撮像装置Ｃ１１〜Ｃ１６によって撮像された撮像対象の各画像を記憶する。実施形態に係る画像記憶部１２２は、撮像対象の各画像として、撮像装置Ｃ１１〜Ｃ１６によって生成された映像データを形成する各フレームを記憶する。

ここで、図５に、実施形態に係る画像記憶部１２２の一例を示す。図５に示すように、画像記憶部１２２は、「カメラ識別子」、「映像データ」といった項目を有する。「カメラ識別子」は、撮像装置Ｃ１１〜Ｃ１６を識別するための識別情報を示す。図５では、撮像装置Ｃ１１〜Ｃ１６に付した参照符号「Ｃ１１」〜「Ｃ１６」が「カメラ識別子」である例を示す。

「映像データ」は、撮像装置Ｃ１１〜Ｃ１６のいずれかによって生成された映像データを示す。具体的には、「映像データ」には、映像データを形成するフレームが記憶される。また、図５に示すように、「映像データ」は、「変換前」、「変換後＃１」、「変換後＃２」といった項目に区分けされる。「変換前」には、撮像装置Ｃ１１〜Ｃ１６によって生成された映像データが記憶される。また、「変換後＃１」及び「変換後＃２」には、後述する変換部１３４によって変換処理が行われることで生成される映像データが記憶される。なお、図５では、「変換後＃１」及び「変換後＃２」を示したが、画像記憶部１２２は、「変換後＃３」以降の映像データが記憶されてもよい。

例えば、図５では、画像記憶部１２２が、撮像装置Ｃ１１によって生成されたフレームｆ_０（１，１）〜ｆ_０（１，ｎ）と、フレームｆ_０（１，１）〜ｆ_０（１，ｎ）が変換された後のフレームｆ_１（１，１）〜ｆ_１（１，ｎ）と、フレームｆ_１（１，１）〜ｆ_１（１，ｎ）が変換された後のフレームｆ_２（１，１）〜ｆ_２（１，ｎ）を記憶する例を示す。なお、フレームを表すｆ（Ｃ，ｔ）のうち、「Ｃ」は、カメラ識別子の下１桁の数値に該当し、「ｔ」は、映像データにおけるフレームの順序や撮像時刻などを示す。すなわち、ｆ（１，１）は、撮像装置Ｃ１１によって生成されたフレームであり、１番目に表示されるフレームに該当する。

なお、上述したパラメータ記憶部１２１及び画像記憶部１２２は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、又は、ハードディスク、光ディスク等によって実現される。

（制御部１３０について）
制御部１３０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、画像処理装置１００内部の記憶装置に記憶されている各種プログラム（画像処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

また、制御部１３０は、図４に示すように、出力部１３１と、受付部１３２と、推定部１３３と、変換部１３４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図４に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１３０が有する各処理部の接続関係は、図４に示した接続関係に限られず、他の接続関係であってもよい。

（変換部１３４による前処理について）
制御部１３０による処理を説明する前に、撮像装置Ｃ１１〜Ｃ１６によって生成されるフレームについて説明する。図２Ａでは、光軸Ｅ１１_１〜Ｅ１６_１が３次元位置Ｄ１を通過するように撮像装置Ｃ１１〜Ｃ１６が配置される例について説明した。しかし、実際には光軸が３次元位置Ｄ１を通過するように撮像装置Ｃ１１〜Ｃ１６を正確に配置することは困難である。このため、実施形態に係る画像処理装置１００は、撮像装置Ｃ１１〜Ｃ１６によって生成される各フレームを、光軸が３次元位置Ｄ１を通過するように配置できた場合における撮像装置Ｃ１１〜Ｃ１６によって生成されることが想定されるフレームに変換する「変換前処理」を行う。この変換前処理は、例えば、撮像装置Ｃ１１〜Ｃ１６によって生成された各フレームが画像記憶部１２２の「変換前」に格納された際に、変換部１３４によって行われる。

変換部１３４による変換前処理について具体的に説明する。変換部１３４は、撮像装置毎に異なる３×３の射影変換行列Ｈ_ｉを用いて、フレームの変換処理を行う。この射影変換行列Ｈ_ｉは、パラメータ記憶部１２１に記憶されている撮像装置Ｃ１１〜Ｃ１６のカメラパラメータから算出可能である。図２Ａの例の場合、射影変換行列Ｈ_ｉは、少なくともカメラパラメータと、回転中心となる３次元位置Ｄ１と、３次元位置Ｄ１を変換後のフレームに逆投影した場合における２次元位置ｃとに基づいて算出可能である。なお、このようなフレームの変換処理に関する技術については、下記文献（上記の非特許文献１）に開示されている。
（参照文献）冨山仁博、宮川勲、岩舘祐一、“多視点ハイビジョン映像生成システムの試作”

例えば、図５の例において、変換部１３４は、撮像装置Ｃ１１のカメラパラメータから算出された射影変換行列Ｈ_１を用いて、撮像装置Ｃ１１によって生成されたフレームｆ_０（１，１）〜ｆ_０（１，ｎ）をフレームｆ_１（１，１）〜ｆ_１（１，ｎ）に変換する。そして、変換部１３４は、カメラ識別子「Ｃ１１」及び「変換後＃１」に対応付けて、変換後のフレームｆ_１（１，１）〜ｆ_１（１，ｎ）を画像記憶部１２２に格納する。同様に、変換部１３４は、撮像装置Ｃ１２〜Ｃ１６によって生成された各フレームについても変換し、変換後の各フレームを画像記憶部１２２の「変換後＃１」に格納する。

（出力部１３１について）
出力部１３１は、画像記憶部１２２に記憶されている映像データを端末装置１０に出力する。具体的には、出力部１３１は、端末装置１０から映像データの取得要求を受信した場合に、ＩＦ部１１０を介して取得要求に応じた映像データを端末装置１０に配信する。なお、出力部１３１は、画像記憶部１２２に記憶されている「変換前」に対応する各フレームを配信せずに、「変換後＃１」や「変換後＃２」に対応する各フレームから生成した映像データを配信する。例えば、出力部１３１は、ユーザから回転中心を変更する操作が行われる前には、「変換後＃１」に対応する各フレームから生成した映像データを端末装置１０に配信する。また、ユーザから回転中心を変更する操作が行われた場合には、後述する変換部１３４によって変換された各フレームが「変換後＃２」に格納される。この場合、出力部１３１は、「変換後＃２」に対応する各フレームから生成した映像データを端末装置１０に配信する。

（受付部１３２について）
受付部１３２は、端末装置１０のユーザから、映像データに対する各種操作を受け付ける。例えば、受付部１３２は、映像データの新たな回転中心として、映像データに含まれる任意のフレーム内における位置を指定する操作を受け付ける。

ここで、図６を用いて、実施形態に係る受付部１３２による処理の一例について説明する。図６の例において、画像処理装置１００の出力部１３１は、変換後＃１に対応する各フレームから生成した映像データを端末装置１０に配信したものとする。そして、端末装置１０は、画像処理装置１００から配信された映像データを表示部に表示する。ここで、実施形態に係る端末装置１０は、映像の表示中に、かかる映像の新たな回転中心を指定する操作をユーザから受け付ける。図６の例では、端末装置１０は、フレームｆ_１（４，ｔ）の表示中に、フレームｆ_１（４，ｔ）内の２次元位置ｍ_４ｔを指定する操作を受け付ける。この場合、端末装置１０は、ユーザ操作が行われたフレームｆ_１（４，ｔ）を識別するための情報と、指定された２次元位置ｍ_４ｔの情報（例えば、座標）とを画像処理装置１００に送信する。画像処理装置１００の受付部１３２は、このようにして端末装置１０から送信されるフレームの識別情報や指定位置の情報を受け付ける。

（推定部１３３について）
推定部１３３は、受付部１３２によって受け付けられた２次元位置に対応する撮像対象の３次元位置を推定する。具体的に説明すると、上記の受付部１３２は、映像データに含まれる任意のフレームに対して、映像データの新たな回転中心とする２次元位置を受け付ける。上記の通り、任意のフレームｆｘから新たな回転中心とするフレームｆｙを生成する場合には、フレームｆｘの生成元である撮像装置に対応する射影変換行列が用いられる。そして、この射影変換行列は、少なくとも、フレームｆｘの生成元である撮像装置のカメラパラメータと、新たな回転中心となる撮像対象における３次元位置と、新たな回転中心となる３次元位置をフレームｆｙに逆投影した場合におけるフレームｆｙ上の２次元位置といった情報が用いられる。これらの情報のうち、撮像装置のカメラパラメータは、パラメータ記憶部１２１に記憶されている。また、新たな回転中心に対応するフレームｆｙ上の２次元位置は、受付部１３２によって受け付けられた２次元位置に該当する。したがって、新たな回転中心となる撮像対象の３次元位置を求めることができれば、任意のフレームｆｘから新たな回転中心とするフレームｆｙを生成することが可能となる。そこで、実施形態に係る推定部１３３は、受付部１３２によって受け付けられたフレーム上の２次元位置に基づいて、かかる２次元位置に対応する撮像対象の３次元位置を推定する。

推定部１３３による推定処理について一例を挙げて説明する。ここでは、画像記憶部１２２の「変換後＃１」に記憶されている各フレームの回転中心が図２Ａに示した３次元位置Ｄ１であるものとする。また、受付部１３２は、図６の例のように、「変換後＃１」の映像データに含まれるフレームｆ_１（４，ｔ）に対して、新たな回転中心とする２次元位置ｍ_４ｔを指定する操作を受け付けたものとする。また、推定対象となる新たな回転中心を示す３次元位置をＤ１´とする。

この例において、３次元位置Ｄ１´は、フレームｆ_１（４，ｔ）の生成元である撮像装置Ｃ１４における光学中心から、撮像装置Ｃ１４の投影面における２次元位置ｍ_４ｔへ延ばした直線が撮像対象と最初に交差する位置であると言える。この点について図７を用いて説明する。図７に示すように、新たな回転中心を示す３次元位置Ｄ１´は、撮像装置Ｃ１４における光学中心から、投影面であるフレームｆ_１（４，ｔ）上の２次元位置ｍ_４ｔへ延ばした直線Ｌ１４が撮像対象と最初に交差する位置に該当する。これは、ユーザがフレームｆ_１（４，ｔ）に対して指定する位置は、ユーザによって視認可能な位置であるからである。すなわち、推定部１３３は、２次元位置ｍ_４ｔに映る撮像対象の３次元位置Ｄ１´を推定すればよいこととなる。

そこで、推定部１３３は、例えば、マルチベースラインステレオ法に基づいて、画像記憶部１２２に記憶されている撮像装置Ｃ１１〜Ｃ１６に対応する各フレーム（例えば、フレームｆ_１（１，ｔ）、ｆ_１（２，ｔ）、ｆ_１（３，ｔ）、ｆ_１（４，ｔ）、ｆ_１（５，ｔ）、ｆ_１（６，ｔ）など）から、各フレームに描出されている各特徴点のデプス（depth）を推定する。これにより、推定部１３３は、撮像対象の３次元形状を推定することができる。そして、推定部１３３は、デプスの推定結果と上記直線Ｌ１４とに基づいて、直線Ｌ１４が最初に交差する特徴点の位置を３次元位置Ｄ１´として推定する。

また、推定部１３３による推定処理は上記例に限られない。例えば、推定部１３３は、フレームｆ_１（４，ｔ）上の２次元位置ｍ_４ｔに対応する他のフレーム上の２次元位置ｍ_ｘｔを特定する。そして、推定部１３３は、三角測量の原理に基づいて、２次元位置ｍ_４ｔ及びｍ_ｘｔから３次元位置Ｄ１´を推定する。この推定処理について図８を用いて説明する。

図８の例の場合、推定部１３３は、まず、フレームｆ_１（４，ｔ）上の２次元位置ｍ_４ｔに対応するフレームｆ_１（３，ｔ）上の２次元位置ｍ_３ｔを特定する。例えば、推定部１３３は、２次元位置ｍ_４ｔを中心とするフレームｆ_１（４，ｔ）内の所定領域の特徴量を取得し、取得した特徴量と類似するフレームｆ_１（３，ｔ）内の領域を探索する。そして、推定部１３３は、探索されたフレームｆ_１（３，ｔ）内の領域の中心位置を２次元位置ｍ_３ｔとして特定する。そして、推定部１３３は、撮像装置Ｃ１４における光学中心から２次元位置ｍ_４ｔへ延ばした直線Ｌ１４と、撮像装置Ｃ１３における光学中心から２次元位置ｍ_３ｔへ延ばした直線Ｌ１３との交点を３次元位置Ｄ１´として推定する。

なお、図８の例において、推定部１３３は、以下に説明する処理により、２次元位置ｍ_３ｔを特定してもよい。具体的には、推定部１３３は、２次元位置ｍ_４ｔを中心とするフレームｆ_１（４，ｔ）内における「ｋ×ｋ」の矩形領域ｔ_４ｔを抽出し、抽出した矩形領域ｔ_４ｔをテンプレートとしてメモリ等の記憶部に格納する。そして、推定部１３３は、フレームｆ_１（４，ｔ）上の２次元位置ｍ_４ｔに対応するフレームｆ_１（３，ｔ）上のエピポーラ線を取得し、かかるエピポーラ線上に存在する「ｋ×ｋ」の任意の矩形領域ｔ_３ｔを切り出す。そして、推定部１３３は、切り出した各矩形領域ｔ_３ｔと、前述においてメモリに格納した矩形領域ｔ_４ｔとのＳＳＤ（Sum of Squared Difference）を算出し、算出したＳＳＤが最も小さい矩形領域ｔ_３ｔの中心位置を２次元位置ｍ_３ｔとして特定する。

また、図８の例では、撮像装置Ｃ１３によって生成されるフレームを用いて３次元位置Ｄ１´を推定する例を示したが、推定部１３３は、撮像装置Ｃ１１、Ｃ１２、Ｃ１５、Ｃ１６等によって生成されるフレームを用いて３次元位置Ｄ１´を推定してもよい。

（変換部１３４について）
変換部１３４は、画像記憶部１２２に記憶されている映像データを、推定部１３３によって推定された３次元位置を光軸が通過するように配置された場合における撮像装置Ｃ１１〜Ｃ１６により生成される映像データに変換する。図６〜図８の例の場合、変換部１３４は、パラメータ記憶部１２１に記憶されている各撮像装置のカメラパラメータと、受付部１３２によって受け付けられたフレーム上の２次元位置ｍ_４ｔと、推定部１３３によって推定された３次元位置Ｄ１´とを用いて、撮像装置Ｃ１１〜Ｃ１６に対応する射影変換行列Ｈ_１〜Ｈ_６を算出する。そして、変換部１３４は、射影変換行列Ｈ_１〜Ｈ_６を用いて、画像記憶部１２２に記憶されている映像データを変換し、変換後の映像データを画像記憶部１２２に格納する。

例えば、画像記憶部１２２に記憶されている映像データのうち、「変換後＃１」に対応する映像データが端末装置１０に配信されているものとする。また、推定部１３３によって推定された３次元位置Ｄ１´が図３Ａに示した３次元位置Ｄ２であるものとする。この場合、変換部１３４は、時刻ｔに対応するフレームｆ_１（１，ｔ）、ｆ_１（２，ｔ）、ｆ_１（３，ｔ）、ｆ_１（４，ｔ）、ｆ_１（５，ｔ）、ｆ_１（６，ｔ）を、図３Ｂに例示したフレームｆ_２（１，ｔ）、ｆ_２（２，ｔ）、ｆ_２（３，ｔ）、ｆ_２（４，ｔ）、ｆ_２（５，ｔ）、ｆ_２（６，ｔ）に変換する。そして、変換部１３４は、「変換後＃１」に対応する映像データを形成する全てのフレームについて同様の変換処理を行い、変換後の各フレームを画像記憶部１２２の「変換後＃２」に格納する。

そして、出力部１３１は、変換部１３４によって変換された後の各フレームを端末装置１０に配信する。例えば、出力部１３１は、変換前の映像データと同様の順にフレームが連続的に表示される映像データを生成し、生成した映像データを端末装置１０に配信する。

〔４．画像処理手順〕
次に、図９を用いて、実施形態に係る画像処理装置１００による画像処理の手順について説明する。図９は、実施形態に係る画像処理装置１００による画像処理手順を示すフローチャートである。なお、以下では、画像記憶部１２２が、撮像装置Ｃ１１〜Ｃ１６によって生成された変換前の各フレームを記憶するとともに、変換部１３４によって変換された変換後＃１の各フレームを記憶するものとする。

図９に示すように、画像処理装置１００の出力部１３１は、端末装置１０から映像データの取得要求を受信したか否かを判定する（ステップＳ１０１）。このとき、出力部１３１は、映像データの取得要求を受信していない場合には（ステップＳ１０１；Ｎｏ）、映像データの取得要求を受信するまで待機する。一方、出力部１３１は、映像データの取得要求を受信した場合には（ステップＳ１０１；Ｙｅｓ）、画像記憶部１２２に記憶されている変換後＃１の映像データを端末装置１０に配信する（ステップＳ１０２）。

続いて、画像処理装置１００の受付部１３２は、配信済みの映像データに含まれる任意のフレームに対して、新たな回転中心を示す２次元位置の指定操作を端末装置１０から受け付けたか否かを判定する（ステップＳ１０３）。このとき、受付部１３２は、２次元位置の指定操作を受け付けていない場合には（ステップＳ１０３；Ｎｏ）、かかる指定操作を受け付けるまで待機する。

一方、受付部１３２は、２次元位置の指定操作を受け付けた場合には（ステップＳ１０３；Ｙｅｓ）、受け付けた情報を推定部１３３に出力する。例えば、受付部１３２は、端末装置１０から、ユーザ操作が行われたフレームを識別するための情報と、指定された２次元位置とを受け付け、受け付けた情報を推定部１３３に出力する。

続いて、推定部１３３は、受付部１３２によって受け付けられたフレームの情報、及び、新たな回転中心を示す２次元位置を用いて、かかる２次元位置に対応する撮像対象における３次元位置を推定する（ステップＳ１０４）。例えば、推定部１３３は、マルチベースラインステレオ法や三角測量などの技法を用いて、新たな回転中心となる３次元位置を推定する。

続いて、変換部１３４は、パラメータ記憶部１２１に記憶されている各撮像装置のカメラパラメータと、受付部１３２によって受け付けられた２次元位置と、推定部１３３によって推定された３次元位置とを用いて、撮像装置Ｃ１１〜Ｃ１６に対応する射影変換行列Ｈ_１〜Ｈ_６を算出する（ステップＳ１０５）。そして、変換部１３４は、射影変換行列Ｈ_１〜Ｈ_６を用いて、画像記憶部１２２に記憶されている映像データのうち、「変換後＃１」に対応する映像データを変換する（ステップＳ１０６）。このとき、変換部１３４は、変換後の映像データを画像記憶部１２２の「変換後＃２」に格納する。

そして、出力部１３１は、ステップＳ１０１において取得要求を送信した端末装置１０に対して、変換部１３４によって変換された後の映像データを配信する（ステップＳ１０７）。

〔５．変形例〕
上述してきた実施形態に係る画像処理装置１００は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下に、上記の画像処理装置１００の他の実施形態について説明する。

〔５−１．拡大操作／縮小操作〕
上記実施形態では、図６の例のように、任意のフレームに対して、新たな回転中心を示す２次元位置の指定操作を受け付ける例を示した。しかし、新たな回転中心を指定する操作は、上記例に限られない。例えば、端末装置１０は、表示中の映像に対して拡大操作又は縮小操作を受け付けた場合に、拡大操作又は縮小操作の対象領域における中心位置（又は重心位置、以下同様）を、新たな回転中心を示す２次元位置として受け付けてもよい。

以下、図１０を用いて、拡大操作の例を説明する。図１０は、変形例に係る回転中心の指定操作例を示す図である。図１０の例において、端末装置１０は、フレームｆ_１（４，ｔ）の表示中に、フレームｆ_１（４，ｔ）内の領域Ｒ１を領域Ｒ２に拡大する操作を受け付ける。例えば、端末装置１０は、ユーザから、２本の指により領域Ｒ１の対頂点を指定された後に、かかる２本の指を領域Ｒ２の対頂点まで広げるピンチアウト操作を受け付ける。この場合、端末装置１０は、フレームｆ_１（４，ｔ）を識別するための情報と、拡大操作の対象領域である領域Ｒ２の中心を示す２次元位置とを画像処理装置１００に送信する。すなわち、図１０の例の場合、画像処理装置１００の受付部１３２は、拡大操作された領域Ｒ２の中心位置を新たな回転中心を示す２次元位置として受け付ける。

この後の画像処理装置１００によるフレームの変換処理は、上述した実施形態と同様である。すなわち、推定部１３３は、領域Ｒ２の中心位置に対応する３次元位置を推定する。また、変換部１３４は、画像記憶部１２２の「変換後＃１」に記憶されている全てのフレームを、領域Ｒ２の中心位置を回転中心とするフレームに変換する。例えば、領域Ｒ２の中心位置に対応する３次元位置が図３Ａに示した３次元位置Ｄ２であるものとする。この場合、変換部１３４は、上記の通り、図２Ｂに示した時刻ｔに対応する各フレームについては図３Ｂに示した各フレームに変換する。また、変換部１３４は、時刻ｔ以外の時刻に対応する全てのフレームについても、領域Ｒ２の中心位置を回転中心とするフレームに変換する。

そして、出力部１３１は、変換部１３４によって変換された後の各フレームによって形成される映像データを端末装置１０に配信する。この場合、端末装置１０は、画像処理装置１００から配信された各フレームのうち、領域Ｒ２に対応する部分を画面全体に拡大表示する。ここで、図１１に、実施形態に係る端末装置１０によって表示される拡大画像の一例を示す。図１１では、端末装置１０が、時刻ｔに対応するフレームｆ_２（１，ｔ）、ｆ_２（２，ｔ）、ｆ_２（３，ｔ）、ｆ_２（４，ｔ）、ｆ_２（５，ｔ）、ｆ_２（６，ｔ）を拡大表示する例を示す。図１１に示すように、端末装置１０は、図３Ｂの例のように変換されたフレームｆ_２（１，ｔ）を拡大表示する場合、かかるフレームｆ_２（１，ｔ）のうち領域Ｒ２に対応する領域ｆ_２（１，ｔ）´を表示する。同様に、端末装置１０は、領域Ｒ２に対応するフレームｆ_２（２，ｔ）の領域ｆ_２（２，ｔ）´を表示し、領域Ｒ２に対応するフレームｆ_２（６，ｔ）の領域ｆ_２（６，ｔ）´を表示する。

このように、画像処理装置１００は、拡大操作された領域Ｒ２の中心位置を新たな回転中心とする映像データを生成することで、ユーザが所望する注視点を表示させることができる。例えば、図１０では、ユーザは、撮像装置Ｃ１４によって生成されたフレームｆ_１（４，ｔ）に対して、被写体Ｐの右手を拡大表示する操作を行っている。この例において回転中心を変更せずに、「変換後＃１」における各フレームを領域Ｒ２で拡大表示すると、ユーザの注視点である被写体Ｐの右手が表示されない場合がある。

図２Ｂの例を用いて説明すると、フレームｆ_１（４，ｔ）において被写体Ｐの右手が描出されている領域であっても、かかる領域に対応するフレームｆ_１（１，ｔ）、ｆ_１（２，ｔ）、ｆ_１（３，ｔ）、ｆ_１（５，ｔ）、ｆ_１（６，ｔ）の領域には被写体Ｐの右手が描出されるとは限らない。しかし、実施形態に係る画像処理装置１００は、図１０に示した拡大操作を受け付けた場合に、図２Ｂに示した各フレームを図３Ｂに示した各フレームに変換する。このため、端末装置１０は、図３Ｂに示した各フレームのうち、図１０に示した領域Ｒ２に対応する領域を拡大表示することで、図１１に示した例のように、ユーザの注視点である被写体Ｐの右手が描出されている映像を表示することができる。

なお、上記では、拡大操作された後の領域Ｒ２の中心位置を新たな回転中心とする例について説明した。しかし、画像処理装置１００は、拡大操作される前の領域Ｒ１の中心位置を新たな回転中心としてもよい。

また、上記例では、拡大操作を主に説明したが、画像処理装置１００は、縮小操作が行われた場合にも、縮小操作の対象領域における中心位置又は重心位置を新たな回転中心として各フレームの変換処理を行う。

〔５−２．回転中心の自動変更〕
また、上記実施形態では、ユーザ操作に従って映像の回転中心を変動させる例を示した。しかし、この例に限られず、画像処理装置１００は、自動的に回転中心を変動させた映像を端末装置１０に表示させてもよい。例えば、画像処理装置１００は、画像記憶部１２２の「変換後＃１」に記憶されている各フレームを解析することにより、フレームに描出されている複数の被写体を抽出する。そして、画像処理装置１００は、抽出した被写体毎に、かかる被写体の領域を新たな回転中心としてフレームの変換処理を行い、回転中心が被写体毎に変動する映像データを端末装置１０に配信する。

例えば、画像処理装置１００は、各フレームに描出されている被写体として、人物Ｘ１及び人物Ｘ２を抽出したものとする。この場合、画像処理装置１００は、人物Ｘ１を回転中心とする映像データＹ１を生成するとともに、人物Ｘ２を回転中心とする映像データＹ２を生成し、映像データＹ１及びＹ２を端末装置１０に配信する。そして、画像処理装置１００は、映像データＹ１の次に映像データＹ２を端末装置１０に表示させる。このように、画像処理装置１００は、回転中心を自動的に変動させてもよい。これにより、画像処理装置１００は、魅力的な映像を表現することができる。

〔５−３．撮像装置の台数〕
上記実施形態では、複数台の撮像装置Ｃ１１〜Ｃ１６によって映像データが生成される例を示した。しかし、上述した映像データは、１台の撮像装置によって生成されてもよい。例えば、１台の撮像装置が被写体Ｐの周囲を移動しながら被写体Ｐを撮像することで、視点位置の異なる映像データを生成してもよい。そして、画像処理装置１００は、このように１台の撮像装置によって生成された映像データに対して、上述してきた変換処理を行うことで、任意の位置を回転中心とする映像データを生成してもよい。

〔５−４．システム構成〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

例えば、上記実施形態では、回転中心が各フレームの中心に位置する例を示したが、回転中心は、各フレームの中心に位置しなくてもよい。また、回転中心となるフレームの位置は、撮像装置毎に異なる位置であってもよい。

また、例えば、図５等に示した各種情報は、図示した情報に限られない。また、例えば、図２Ａ、図２Ｂ、図３Ａ、図３Ｂ、図６、図７、図８、図１０、図１１等に示した被写体は、模式的に示した例であって、図示したものに限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

例えば、上記実施形態では、画像処理装置１００がサーバ装置である例を示したが、画像処理装置１００は、スタンドアロンで動作する情報処理装置であってもよい。かかる場合には、画像処理装置１００は、ユーザから各種操作を受け付ける入力部や、各種情報を表示するための表示部を有する。また、例えば、上述した画像処理装置１００による処理を端末装置１０が行ってもよい。この場合、端末装置１０は、図４に示した制御部１３０を有することとなる。このとき、端末装置１０は、パラメータ記憶部１２１や画像記憶部１２２を有してもよいし、パラメータ記憶部１２１や画像記憶部１２２に記憶されている各種データについては画像処理装置１００から適宜取得してもよい。

〔６．効果〕
上述してきたように、実施形態に係る画像処理装置１００は、画像記憶部１２２と、変換部１３４と、出力部１３１とを有する。画像記憶部１２２は、異なる位置に配置された複数の撮像装置Ｃ１１〜Ｃ１６によって撮像対象（例えば、被写体Ｐ）が撮像されることで生成される各画像（例えば、映像データを形成するフレーム）を記憶する。変換部１３４は、画像記憶部１２２に記憶されている画像の各々を、動的に設定される撮像対象における位置を光軸が通過するように配置された場合における撮像装置により撮像される画像に変換する。出力部１３１は、変換部１３４によって変換された後の各画像を出力する。

これにより、実施形態に係る画像処理装置１００は、撮像装置Ｃ１１〜Ｃ１６によって生成された各フレームから任意の位置を回転中心とするフレームを生成するので、回転中心を変動させながら何度も撮影することなく、任意の位置を回転中心とする映像を端末装置１０に表示させることができる。

また、実施形態に係る画像処理装置１００は、受付部１３２と、推定部１３３とを有する。受付部１３２は、画像記憶部１２２に記憶されている任意の画像内における位置を指定する操作を受け付ける。また、推定部１３３は、受付部１３２によって受け付けられた位置に対応する撮像対象の位置を推定する。そして、変換部１３４は、推定部１３３によって推定された位置を動的に設定される回転中心として変換処理を行う。

これにより、実施形態に係る画像処理装置１００は、ユーザ操作に従って、映像の回転中心を変動させることができる。この結果、実施形態に係る画像処理装置１００は、ユーザ満足度を向上させることができる。

また、実施形態に係る受付部１３２は、任意の画像内における領域を拡大する拡大操作を受け付ける。また、推定部１３３は、受付部１３２によって受け付けられた拡大操作の対象領域における中心位置に対応する撮像対象の位置を推定する。この場合、変換部１３４は、推定部１３３によって推定された位置を動的に設定される回転中心として変換処理を行う。

これにより、実施形態に係る画像処理装置１００は、ユーザが拡大操作した領域を回転中心とする映像を端末装置１０に表示させることができる。さらに、画像処理装置１００は、拡大操作が行われた場合であっても、ユーザが所望する注視点を拡大後の映像に表示させることができる。

また、実施形態に係る受付部１３２は、任意の画像内における領域を縮小する縮小操作を受け付ける。また、推定部１３３は、受付部１３２によって受け付けられた縮小操作の対象領域における中心位置に対応する撮像対象の位置を推定する。この場合、変換部１３４は、推定部１３３によって推定された位置を動的に設定される回転中心として変換処理を行う。

これにより、実施形態に係る画像処理装置１００は、ユーザが縮小操作した領域を回転中心とする映像を端末装置１０に表示させることができる。

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上述した画像処理装置１００は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットフォーム等をＡＰＩ（Application Programming Interface）やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。

また、特許請求の範囲に記載した「手段」は、「部（section、module、unit）」や「回路」などに読み替えることができる。例えば、変換手段は、変換部や変換回路に読み替えることができる。

１ 画像処理システム
１０ 端末装置
１００ 画像処理装置
１２１ パラメータ記憶部
１２２ 画像記憶部
１３１ 出力部
１３２ 受付部
１３３ 推定部
１３４ 変換部

Claims (8)

1. 視点位置が異なる複数の画像を記憶する画像記憶手段と、
   前記画像記憶手段に記憶されている画像の各々を、動的に設定される撮像対象における位置を光軸が通過するように配置された場合における撮像装置により撮像される画像に変換する変換手段と、
   前記変換手段によって変換された後の各画像を出力する出力手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記画像記憶手段に記憶されている任意の画像内における位置を指定する操作を受け付ける受付手段と、
   前記受付手段によって受け付けられた位置に対応する前記撮像対象の位置を推定する推定手段とをさらに備え、
   前記変換手段は、
   前記推定手段によって推定された位置を前記動的に設定される撮像対象における位置として変換処理を行う、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記受付手段は、
   前記任意の画像内における領域を拡大する拡大操作を受け付け、
   前記推定手段は、
   前記受付手段によって受け付けられた拡大操作の対象領域における中心位置に対応する前記撮像対象の位置を推定する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記受付手段は、
   前記任意の画像内における領域を縮小する縮小操作を受け付け、
   前記推定手段は、
   前記受付手段によって受け付けられた縮小操作の対象領域における中心位置に対応する前記撮像対象の位置を推定する、
   ことを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記変換手段は、
   前記受付手段によって受け付けられた位置と前記推定手段によって推定された位置とに基づいて算出した射影変換行列を用いて変換処理を行う、
   ことを特徴とする請求項２〜４のいずれか一つに記載の画像処理装置。
6. 前記変換手段は、
   前記画像記憶手段に記憶されている各画像に含まれる被写体毎に、当該被写体の領域を前記動的に設定される撮像対象の位置として前記変換処理を行い、
   前記出力手段は、
   前記被写体毎に、前記変換手段によって変換された後の各画像を出力する、
   ことを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
7. 画像処理装置が実行する画像処理方法であって、
   視点位置が異なる複数の画像を記憶する画像記憶手段に記憶されている画像の各々を、動的に設定される撮像対象における位置を光軸が通過するように配置された場合における撮像装置により撮像される画像に変換する変換工程と、
   前記変換工程によって変換された後の各画像を出力する出力工程と、
   を含んだことを特徴とする画像処理方法。
8. 視点位置が異なる複数の画像を記憶する画像記憶手段に記憶されている画像の各々を、動的に設定される撮像対象における位置を光軸が通過するように配置された場合における撮像装置により撮像される画像に変換する変換手順と、
   前記変換工程によって変換された後の各画像を出力する出力手順と、
   をコンピュータに実行させることを特徴とする画像処理プログラム。

Images