以下、各実施形態の詳細について添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に際して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
[第1の実施形態]
<1.画像投影システムの適用例>
はじめに、第1の実施形態に係る画像投影システムの適用例について説明する。図1は、画像投影システムの適用例を示す図である。図1の例は、中層のビルである建物110の外面に取り付けられた複数の窓ガラス(面)を組み合わせて利用することで、大規模なデジタルサイネージを実現した様子を示している。
図1に示すように、建物110の道路側の外面には、複数の窓ガラス(窓ガラス群120)が取り付けられている(図1の例では、30枚の窓ガラス)。第1の実施形態に係る画像投影システムでは、建物110の外面に取り付けられた複数の窓ガラス(窓ガラス群120)それぞれに対して、内側から投影用動画像群130に含まれる各投影用動画像を投影する。
これにより、第1の実施形態に係る画像投影システムによれば、窓ガラス30枚分の領域からなる、大規模なデジタルサイネージ(図1の例は、巨大なツリーが表示されたシーンを示している)を実現することができる。また、道路側の外面等のように比較的目立つ場所において、デジタルサイネージを実現することができる。つまり、広告効果の高いデジタルサイネージを実現することができる。
また、第1の実施形態に係る画像投影システムによれば、従来のように、予め設置されている大画面や、窓ガラスのない建物の側壁面等を利用するデジタルサイネージと比較して、デジタルサイネージの適用範囲を広げることができる。
加えて、第1の実施形態に係る画像投影システムでは、複数の窓ガラスを、投影用動画像群130を投影する際に投影対象として利用し、投影用動画像群130を投影しない場合には、通常の窓ガラスとして利用する。また、投影用動画像群130の投影に関わる不具合として、復旧に時間のかかる不具合が発生した場合に、投影対象としての利用を直ちに中断し、通常の窓ガラスとしての利用に切り替える。
これにより、第1の実施形態に係る画像投影システムによれば、複数の窓ガラスを効率的に利用することができるようになる。
<2.サイネージ装置の動作>
次に、第1の実施形態に係る画像投影システムを構成する各サイネージ装置(本実施形態では、プロジェクタ(投影装置)、電動スクリーン(投影面)、電飾装置を指すものとする)の動作について説明する。
図2は、建物の各窓ガラスに対応する位置に配置された各サイネージ装置の動作を説明するための図である。図2(A)の(a)〜(d)は、建物110の各窓ガラスの内側に配置された各サイネージ装置のうち、プロジェクタ及び電動スクリーンの動作を示している。
図2(A)の(a)に示すように、建物110の各窓ガラスの内側には、プロジェクタが上下に配置されており、1枚の窓ガラスに対して、2台のプロジェクタ(上側プロジェクタ及び下側プロジェクタ)を用いて投影用動画像が投影される。これにより、窓ガラスのサイズが大きい場合でも適切な投影用動画像を投影することができる。
また、図2(A)の(b)に示すように、建物110の各窓ガラスの内側には、電動スクリーンが配置されている。プロジェクタを用いて投影用動画像を投影するにあたっては、電動スクリーンをON状態にすることで光透過度を変化させ、各窓ガラスを半透明の状態にする。なお、電動スクリーン(投影面)は、窓ガラス(投影対象)とともに光透過面を形成する。
図2(A)の(c)は、電動スクリーンをON状態にした後に、上側プロジェクタ及び下側プロジェクタのランプをON状態にした様子を示している。上側プロジェクタは、窓ガラスの上側を投影範囲とし、下側プロジェクタは、窓ガラスの下側を投影範囲としている。なお、上側プロジェクタ及び下側プロジェクタは、それぞれ、投影範囲の一部が重複するように調整されている。つまり、本実施形態では、2台のプロジェクタにより、窓ガラスの大きさに応じた投影範囲への投影用動画像の投影を実現している。
図2(A)の(d)は、上側プロジェクタ及び下側プロジェクタにより、投影用動画像が投影された様子を示している。本実施形態に係る画像投影システムでは、窓ガラス群120に含まれる各窓ガラスそれぞれに対応する各電動スクリーンそれぞれに投影用動画像が投影されることで、全体として、1つのデジタルサイネージを実現する。このため、各窓ガラスに対応する各電動スクリーンに対しては、元の動画像(広告主が提供する動画像)の一部の領域の動画像に基づいて生成された投影用動画像が上下に分割されて、2台のプロジェクタにより投影されることになる。
なお、図2(B)に示すように、第1の実施形態に係る画像投影システムでは、投影用動画像群130の投影が終了した状態で、電飾装置群140(電飾装置140_1〜140_6)がON状態になり、かつ電動スクリーンがOFF状態になるように制御する。
このように、第1の実施形態に係る画像投影システムでは、上側プロジェクタ、下側プロジェクタ、電動スクリーン及び電飾装置群140が互いに連動して動作する。
<3.画像投影システムのシステム構成>
次に、第1の実施形態に係る画像投影システムのシステム構成について説明する。図3は、画像投影システムのシステム構成の一例を示す図である。図3に示すように、画像投影システム300は、プロジェクタ310_1a〜310_30b、外部メモリ320_1a〜320_30b、電動スクリーン330_1〜330_30、制御装置340、電飾装置140_1〜140_6を有する。また、画像投影システム300は、監視装置351、監視サーバ352、時刻サーバ360、情報処理装置370、撮像装置381、色彩輝度計382を有する。
なお、プロジェクタ310_1a〜310_30b、制御装置340、監視装置351、監視サーバ352及び時刻サーバ360と、情報処理装置370とは、ネットワーク390を介して通信可能に接続されている。また、プロジェクタ310_1a〜310_30b、制御装置340、情報処理装置370と、監視装置351とは、ネットワーク390を介して通信可能に接続されている。
プロジェクタ310_1a〜310_30bは、建物110の外面の所定領域に取り付けられた窓ガラス群120それぞれの内側において、上下に配置される。上述したとおり、建物110の外面の所定領域には、30枚の窓ガラスが取り付けられているため、本実施形態では、60台のプロジェクタが配置される。
プロジェクタ310_1a〜310_30bは、それぞれ、投影対象となる窓ガラスの大きさに応じた投影範囲に、投影用動画像が歪みなく投影されるよう、校正パターン画像を用いて第1の校正処理を実行する。また、プロジェクタ310_1a〜310_30bは、それぞれ、投影対象となる窓ガラスに対して、所定の色味で投影用動画像が投影されるよう、白画像を用いて第2の校正処理を実行する。
また、プロジェクタ310_1a〜310_30bは、情報処理装置370からの投影開始指示に基づいて、外部メモリ320_1a〜320_30bにそれぞれ格納された投影用動画像の中から、指定された投影用動画像を読み出す。更に、プロジェクタ310_1a〜310_30bは、それぞれが読み出した投影用動画像を投影対象となる窓ガラスに対応する電動スクリーンに投影する。
外部メモリ320_1a〜320_30bは、プロジェクタ310_1a〜310_30bそれぞれに接続される。外部メモリ320_1a〜320_30bは、プロジェクタ310_1a〜310_30bそれぞれにより投影される投影用動画像を格納する。なお、ここでいう外部メモリ320_1a〜320_30bには、例えば、USB(Universal Serial Bus)メモリ等が含まれる。
電動スクリーン330_1〜330_30は、建物110の外面の所定領域に含まれる窓ガラス群120それぞれの内側に配置される。上述したとおり、建物110の外面の所定領域には、30枚の窓ガラスが取り付けられているため、本実施形態では30台の電動スクリーンが配置される。
電動スクリーン330_1〜330_30は、電源ケーブルを介して制御装置340と接続され、制御装置340により、個別にON状態とOFF状態とが制御される。電動スクリーン330_1〜330_30は、制御装置340によりON状態に制御されると、光透過面は光透過度が下がり、半透明の状態になる。一方、電動スクリーン330_1〜330_30は、制御装置340によりOFF状態に制御されると、光透過面は光透過度が上がり、透明の状態になる。
制御装置340は、情報処理装置370からのスクリーンON指示に基づいて、電動スクリーン330_1〜330_30をON状態に制御する。また、制御装置340は、情報処理装置370からのスクリーンOFF指示に基づいて、電動スクリーン330_1〜330_30をOFF状態に制御する。
更に、制御装置340は、情報処理装置370からの電飾ON指示に基づいて、電飾装置140_1〜140_6をON状態に制御する。また、制御装置340は、情報処理装置370からの電飾OFF指示に基づいて、電飾装置140_1〜140_6をOFF状態に制御する。
電飾装置140_1〜140_6は、電源ケーブルを介して制御装置340と接続され、制御装置340により、ON状態とOFF状態とが制御される。
監視装置351は、ネットワーク390を介してプロジェクタ310_1a〜330_30b、制御装置340、情報処理装置370を監視する。また、監視装置351は、不具合を検知した場合に、検知した監視対象を特定するとともに、検知した不具合の種類(自動復旧可能な不具合か、自動復旧不可能な不具合か)を判定する。更に、監視装置351は、特定した監視対象及び判定した不具合の種類を、監視結果として情報処理装置370に通知する。
監視サーバ352は、自動復旧が不可能な不具合が発生した場合に、サービスマンにメール送信を行う。
時刻サーバ360は、プロジェクタ310_1a〜310_30bと、情報処理装置370との間で、時刻を同期させるために、情報処理装置370に時刻情報を提供する。
情報処理装置370は、画像投影システム300におけるサイネージ処理を制御するための装置である。情報処理装置370には、校正プログラム、画像処理プログラム、サイネージ制御プログラムがインストールされている。情報処理装置370は、これらのプログラムを実行することで、校正部371、画像処理部372、サイネージ制御部373として機能する。
校正部371は、プロジェクタ310_1a〜310_30bとともに、第1の校正処理及び第2の校正処理を実行する。また、校正部371は、第1の校正処理を実行することで、プロジェクタ310_1a〜310_30bによりそれぞれ投影される投影用動画像の生成の際に用いる補正パラメータを算出する。
更に、校正部371は、プロジェクタ310_1a〜310_30bとともに、第2の校正処理を実行することで、プロジェクタ310_1a〜310_30bに設定されるRGBレベルを算出する。
画像処理部372は、分割手段の一例である。画像処理部372は、サイネージ対象情報管理部375に格納されたサイネージ対象情報と、画像情報管理部376に格納された画像情報とを読み出し、広告主から提供された元の動画像から投影用動画像を生成する。サイネージ対象とは、画像投影システム300により大規模なデジタルサイネージが実現される建物110を指す。また、サイネージ対象情報は、建物110の外面の所定領域に含まれる窓ガラス群120の各窓ガラスの位置、大きさ等の情報を含む。更に、画像情報は、投影用動画像の生成の際に用いられる各種画像や補正パラメータ等を管理するための情報を含む。
なお、画像処理部372は、投影用動画像の生成に際して、校正部371により算出された補正パラメータを用いる。
また、画像処理部372は、投影用動画像を生成する過程で生成した、分割静止画像(詳細は後述)を画像情報管理部376に格納する。更に、画像処理部372は、生成した投影用動画像群の各投影用動画像を、プロジェクタ310_1a〜310_30bそれぞれに送信する。これにより、プロジェクタ310_1a〜310_30bは、外部メモリ320_1a〜320_30bそれぞれに各投影用動画像を格納する。
サイネージ制御部373は、制御手段の一例である。サイネージ制御部373は、スケジュール情報管理部377に格納されたスケジュール情報に基づいて、サイネージ制御処理を行う。例えば、サイネージ制御部373は、投影開始時刻に応じて、プロジェクタ310_1a〜310_30bそれぞれに、投影開始指示を送信する。また、サイネージ制御部373は、投影開始時刻に応じて、電動スクリーン330_1〜330_30にスクリーンON指示を送信する。更に、サイネージ制御部373は、投影開始時刻に応じて、電飾装置140_1〜140_6に電飾OFF指示を送信する。
ただし、サイネージ制御部373は、監視装置351から監視結果を受信した場合には、監視結果に応じた処理を行う。
撮像装置381は、プロジェクタ310_1a〜310_30bそれぞれが第1の校正処理を実行する際に、プロジェクタ310_1a〜310_30bそれぞれが投影した校正パターン画像を撮影し、情報処理装置370に送信する。なお、撮像装置381と、情報処理装置370とは、例えば、USBケーブルを介して接続される。
色彩輝度計382は、プロジェクタ310_1a〜310_30bそれぞれが第2の校正処理を実行する際に、プロジェクタ310_1a〜310_30bそれぞれが投影した白画像について、色温度を測定し、測定結果を情報処理装置370に送信する。なお、色彩輝度計382と、情報処理装置370とは、例えば、USBケーブルを介して接続される。
<4.情報処理装置のハードウェア構成>
次に、情報処理装置370のハードウェア構成について説明する。図4は、情報処理装置のハードウェア構成の一例を示す図である。
図4に示すように、情報処理装置370は、CPU(Central Processing Unit)401、ROM(Read Only Memory)402、RAM(Random Access Memory)403を備える。CPU401、ROM402、RAM403は、いわゆるコンピュータを形成する。更に、情報処理装置370は、補助記憶部404、表示部405、入力部406、ネットワークI/F(Interface)部407、USBI/F部408を備える。なお、情報処理装置370の各ハードウェアは、バス409を介して相互に接続されている。
CPU401は、補助記憶部404に格納された各種プログラム(例えば、校正プログラム、画像処理プログラム、サイネージ制御プログラム等)を実行するデバイスである。
ROM402は不揮発性の主記憶デバイスである。ROM402は、補助記憶部404に格納された各種プログラムを、CPU401が実行するために必要な各種プログラム、データ等を格納する。具体的には、BIOS(Basic Input/Output System)やEFI(Extensible Firmware Interface)等のブートプログラムなどを格納する。
RAM403は、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等の揮発性の主記憶デバイスである。RAM403は、補助記憶部404に格納された各種プログラムがCPU401によって実行される際に展開される、作業領域を提供する。
補助記憶部404は、CPU401により実行される各種プログラムや各種プログラムが実行される際に用いられる各種情報を格納する補助記憶デバイスである。補助記憶部404に格納される各種情報には、サイネージ対象情報、画像情報、スケジュール情報及び画像情報により管理される各種情報、補正パラメータ等が含まれる。なお、サイネージ対象情報管理部375、画像情報管理部376、スケジュール情報管理部377は、補助記憶部404により実現される。
表示部405は、各種画面を表示する表示デバイスである。入力部406は、情報処理装置370に各種情報を入力するための入力デバイスである。ネットワークI/F部407は、ネットワーク390と接続するためのインタフェースデバイスである。情報処理装置370は、プロジェクタ310_1a〜310_30b、制御装置340、時刻サーバ360との間の通信を、ネットワークI/F部407を介して行う。
USBI/F部408は、USBケーブルを接続するためのインタフェースデバイスである。情報処理装置370は、撮像装置381、色彩輝度計382との間のデータの送受信を、USBI/F部408を介して行う。
<5.各管理部に格納される情報>
次に、情報処理装置370の各管理部(サイネージ対象情報管理部375、画像情報管理部376、スケジュール情報管理部377)に格納される各種情報(サイネージ対象情報、画像情報、スケジュール情報)について説明する。
(1)サイネージ対象情報
はじめに、サイネージ対象情報管理部375に格納されるサイネージ対象情報について説明する。図5は、サイネージ対象情報の一例を示す図である。図5(a)に示すように、サイネージ対象情報500は、サイネージ対象ごとに生成される。本実施形態では、建物110のサイネージ対象IDを、"S001"としている。
また、図5(a)に示すように、サイネージ対象情報500には、情報の項目として、"フロア"、"窓ID"、"窓情報"、"プロジェクタID"、"電動スクリーンID"、"電飾装置ID"が含まれる。
"フロア"には、建物110の外面の所定領域に含まれる窓ガラス群120が取り付けられたフロアのフロア番号が格納される。
"窓ID"には、建物110の外面の所定領域に含まれる窓ガラス群120の各窓ガラスを識別するための識別子が格納される。
"窓情報"には、更に、"位置"、"横サイズ"、"縦サイズ"が含まれる。ここで、図5(b)を参照しながら、"窓情報"に含まれる各窓ガラスの"位置"、"横サイズ"、"縦サイズ"について説明する。
図5(b)に示すように、画像投影システム300は、建物110の外面の所定領域510を利用して、大規模なデジタルサイネージを実現する。このとき、画像投影システム300では、所定領域510に含まれる各窓ガラスのレイアウトを特定する際に基準となる点(原点)と、基準となる軸(x軸、y軸)とを規定する。
図5(b)において、点520は、所定領域510における原点を示している。また、軸530は、所定領域510において点520を原点とした場合のx軸を示しており、軸540は、所定領域510において点520を原点とした場合のy軸を示している。
図5(b)に示すように、所定領域510、原点520、x軸530、y軸540を規定することで、各窓ガラスのレイアウト(位置、横サイズ、縦サイズ)を一意に特定することができる。
図5(a)の説明に戻る。"位置"には、建物110の外面の所定領域510において、各窓ガラスの左下の角の位置を示す座標が格納される。図5(a)の場合、窓ID="W201"の窓ガラスの左下の角の位置の座標は、原点(0,0)である。
"横サイズ"には、各窓ガラスの横方向の長さ(幅)が格納される。例えば、窓ID="W201"の窓ガラスの場合、左下の角の位置の座標が(0,0)であり、右下の角の位置の座標が(x12,0)である。したがって、横サイズ="x12"となる。また、窓ID="W202"の窓ガラスの場合、左下の角の位置の座標が(x21,0)であり、右下の角の位置の座標が(x22,0)である。したがって、横サイズ="x22−x21"となる。
"縦サイズ"には、各窓ガラスの縦方向の長さ(高さ)が格納される。例えば、窓ID="W201"の窓ガラスの場合、左下の角の位置の座標が(0,0)であり、左上の角の位置の座標が(0,y12)である。したがって、縦サイズ="y12"となる。また、窓ID="W301"の窓ガラスの場合、左下の角の位置の座標が(0,y21)であり、左上の角の位置の座標が(0,y22)である。したがって、縦サイズ="y22−y21"となる。
"プロジェクタID"には、各窓ガラスに対応する位置に配置されたプロジェクタを識別するための識別子が格納される。図5(a)の例は、窓ID="W201"により識別される窓ガラスに対応する位置には、プロジェクタID="PJ201A"、"PJ201B"により識別されるプロジェクタがそれぞれ配置されていることを示している。
"電動スクリーンID"には、各窓ガラスに対応する位置に配置された電動スクリーンを識別するための識別子が格納される。図5(a)の例は、窓ID="W201"により識別される窓ガラスに対応する位置には、電動スクリーンID="SC201"により識別される電動スクリーンが配置されていることを示している。
"電飾装置ID"には、各フロアのいずれかの窓ガラスに対応する位置に配置された電飾装置を識別するための識別子が格納される。図5(a)の例は、フロア="2F"により識別されるフロアには、電飾装置ID="E200"により識別される電飾装置が配置されていることを示している。
(2)画像情報
次に、画像情報管理部376に格納される画像情報について説明する。図6は、画像情報の一例を示す図である。図6に示すように、画像情報600には、情報の項目として、"動画像ID"、"サイネージ対象ID"、"窓ID"、"プロジェクタID"が含まれる。また、画像情報600には、情報の項目として、"補正パラメータID"、"算出日時"、"分割静止画像群ID"、"投影用動画像ID"、"生成日時"が含まれる。
"動画像ID"には、広告主から提供される元の動画像を識別するための識別子が格納される。図6の例は、動画像IDとして"C100"により識別される動画像が、画像情報管理部376に格納されていることを示している。
"サイネージ対象ID"には、広告主から提供される元の動画像に基づいて生成された投影用動画像群130を用いて大規模デジタルサイネージを実現する建物110を識別するための識別子が格納される。図6の例は、動画像ID="C100"により識別される動画像に基づいて生成された投影用動画像群130を用いて、サイネージ対象ID="S001"により識別される建物110において、大規模デジタルサイネージが実現されることを示している。
"窓ID"には、サイネージ対象ID="S001"により識別される建物110の外面の所定領域510に含まれる窓ガラス群120の各窓ガラスを識別するための識別子が格納される。
"プロジェクタID"には、窓IDにより識別される各窓ガラスに対応する位置に配置されたプロジェクタを識別するための識別子が格納される。
"補正パラメータID"には、校正部371により算出された補正パラメータを識別するための識別子が格納される。上述したとおり、第1の校正処理が実行されることで、校正部371では、窓ガラスごとに補正パラメータを算出するため、補正パラメータIDは、窓IDと対応付けて格納される。"算出日時"には、補正パラメータが算出された日時が格納される。
"分割静止画像群ID"には、動画像ID="C100"により識別される動画像に基づいて、投影用動画像群を生成する過程で生成された、分割静止画像群を識別するための識別子が格納される。
"投影用動画像ID"には、動画像ID="C100"により識別される動画像に基づいて生成された、投影用動画像群に含まれる各投影用動画像を識別するための識別子が格納される。
"生成日時"には、投影用動画像IDにより識別される各投影用動画像が生成された日時が格納される。
図6の例は、動画像ID="C100"の動画像から、投影用動画像ID="M201A"、"M201B"、・・・が生成されたことを示している。
また、図6の例によれば、投影用動画像ID="M201A"の投影用動画像は、窓ID="W201"の窓ガラスに対応する位置に配置されたプロジェクタID="PJ201A"のプロジェクタにより投影される。
また、図6の例によれば、投影用動画像ID="M201A"の投影用動画像の生成に際しては、"2016年5月25日"に補正パラメータ(補正パラメータID="P201")が算出されている。
また、図6の例によれば、当該補正パラメータ(補正パラメータID="P201")により、分割静止画像群ID="C201"の分割静止画像群が補正されている。更に、図6の例によれば、補正された分割静止画像群ID="C201"の分割静止画像群に基づいて、"2016年6月10日"に、投影用動画像ID="M201A"及び"M201B"の投影用動画像がそれぞれ生成されている。
(3)スケジュール情報
次に、スケジュール情報管理部377に格納されるスケジュール情報について説明する。図7は、スケジュール情報の一例を示す図である。図7に示すように、スケジュール情報700は、サイネージ対象ごとに生成される。また、図7に示すように、スケジュール情報700には、情報の項目として、"時刻"、"サイネージ装置"が含まれる。
"時刻"には、サイネージ対象ID="S001"により識別される建物110の窓ガラス群120を、デジタルサイネージとして利用することができる時間帯が記載される。図7の例によれば、10時00分から22時00分までの間の時間帯において、デジタルサイネージとして利用することが可能である。
"サイネージ装置"には、更に、"プロジェクタ"、"電動スクリーン"、"電飾装置"が含まれる。"プロジェクタ"には、プロジェクタ310_a〜310_30bにより投影用動画像が投影される時間帯が記載される。図7の例によれば、20時00分から21時00分の間に、動画像ID="C100"に基づいて生成された投影用動画像群が投影される。
"電動スクリーン"には、電動スクリーン330_1〜330_30がON状態になる時間帯が記載される。電動スクリーン330_1〜330_30がON状態になる時間帯は、プロジェクタ310_1a〜310_30bにより投影用動画像群が投影される時間帯(20時00分〜21時00分)と同じ時間帯となる。
"電飾装置"には、電飾装置140_1〜140_6がON状態になる時間帯が記載される。本実施形態において、電飾装置140_1〜140_6は、夕方以降(図7の例では、17時00分以降)の時間帯においてON状態になる。ただし、プロジェクタ310_1a〜310_30bにより投影用動画像群が投影される時間帯(20時00分から21時00分の間)は除かれる。
<6.画像投影システムにおけるサイネージ処理の流れ>
次に、画像投影システム300におけるサイネージ処理の流れについて説明する。図8は、サイネージ処理の流れを示すフローチャートである。建物110において、画像投影システム300の設置が完了することで、画像投影システム300では、図8に示すサイネージ処理を実行する。
具体的には、ステップS801において、画像投影システム300は、プロジェクタ310_1a〜310_30bの校正処理(第1の校正処理及び第2の校正処理等)を行う。
ステップS802において、画像投影システム300は、画像処理(投影用動画像("M201A"〜"M705B")の生成及び各プロジェクタ310_1a〜310_30bへの投影用動画像の送信等)を行う。
ステップS803において、画像投影システム300は、サイネージ制御処理を行う。具体的には、画像投影システム300は、プロジェクタ310_1a〜310_30bによる投影用動画像群の投影開始/終了制御、電動スクリーン330_1〜330_30のON/OFF制御、電飾装置140_1〜140_6のON/OFF制御を行う。
なお、ステップS803においてサイネージ制御処理が行われている間、監視装置351では、監視処理を行い、監視対象における不具合の発生を検知する。
<7.校正処理の詳細>
次に、画像投影システム300における校正処理(ステップS801)の詳細について説明する。
(1)校正部の機能構成
はじめに、校正処理を実行する、情報処理装置370の校正部371の機能構成について説明する。図9は、情報処理装置の校正部の機能構成を示す図である。
図9に示すように校正部371は、第1校正部911及び第2校正部912を有する。第1校正部911は、第1の校正処理時に起動し、各種処理を実行する。具体的には、第1校正部911は、画像処理部372が投影用動画像を生成する際に用いる補正パラメータを算出する。また、第1校正部911は、算出した補正パラメータを画像情報管理部376に格納するとともに、算出した補正パラメータを示す補正パラメータID及び算出日時を、窓IDと対応付けて画像情報600に格納する。これにより、画像処理部372では、プロジェクタ310_1a〜310_30bにより投影された際に歪みのない投影用動画像を生成することができる。
第2校正部912は、第2の校正処理時に起動し、各種処理を実行する。具体的には、第2校正部912は、投影用動画像が所定の色味で投影されるよう、RGBレベルを算出し、プロジェクタ310_1a〜310_30bに対して設定する。
(2)第1の校正処理の流れ
次に、第1の校正処理の詳細について、図11〜図13を逐次参照しながら、図10のシーケンス図に基づいて説明する。図10は、第1の校正処理のシーケンス図である。
図10に示すように、ステップS1001において、操作者1000は、情報処理装置370に対して、第1校正部911を起動させるための起動指示を入力する。
操作者1000により起動指示が入力されたことに応じて、ステップS1002では、第1校正部911が起動し、情報処理装置370の表示部405には、第1の校正処理を実行する対象(プロジェクタ)を操作者1000が選択するための選択画面が表示される。
ステップS1003において、操作者1000は、表示部405に表示された選択画面の中から、第1の校正処理を実行する対象が配置されている窓ガラスを選択する。
操作者1000により窓ガラスが選択されたことに応じて、第1校正部911は、選択された窓ガラスに対応する位置に配置されているプロジェクタを識別する。そして、ステップS1004及びS1005において、第1校正部911は、識別したプロジェクタそれぞれに対して、ランプON指示を送信する。
図11は、第1の校正処理時に表示される情報処理装置の画面の一例を示す図である。第1校正部911が起動すると、情報処理装置370の表示部405には、選択画面1100が表示される。図11に示すように、選択画面1100には、建物110の窓ガラス群120のレイアウト1110が含まれる。
操作者1000は、レイアウト1110内の窓ガラスを示す矩形ボタンを押圧し、完了ボタン1120を押圧することで、第1の校正処理を実行する対象が配置されている窓ガラスを選択する。図11の例は、矩形ボタン1111が押圧され、完了ボタン1120が押圧された様子を示している。
矩形ボタン1111により特定される窓ガラスは、窓ID="W703"の窓ガラス1128である。図11の下側に示すとおり、窓ガラス1128に対応する位置には、プロジェクタ310_28a(プロジェクタID="PJ703A")とプロジェクタ310_28b(プロジェクタID="PJ703B")とが配置されている。
したがって、ステップS1004において、第1校正部911は、プロジェクタ310_28aにランプON指示を送信する。また、ステップS1005において、第1校正部911は、プロジェクタ310_28bにランプON指示を送信する。なお、この時点で、窓ガラス1128の電動スクリーン330_28(電動スクリーンID="SC703")はON状態になっているものとする。
続いて、ステップS1006において、第1校正部911は、校正パターン画像を生成する。第1校正部911は、校正パターン画像として、2つの異なる校正パターン画像を生成する。
ステップS1007において、第1校正部911は、プロジェクタ310_28aに対して、第1の校正パターン画像を送信する。また、ステップS1008において、第1校正部911は、プロジェクタ310_28bに対して、第2の校正パターン画像を送信する。
ステップS1009において、プロジェクタ310_28aは、第1校正部911より送信された第1の校正パターン画像を投影する。また、ステップS1010において、プロジェクタ310_28bは、第1校正部911より送信された第2の校正パターン画像を投影する。
ステップS1011において、操作者1000は、投影された第1及び第2の校正パターン画像を撮像装置381を用いて撮影するために、撮像装置381に撮影指示を入力する。
ステップS1012において、撮像装置381は、投影された第1及び第2の校正パターン画像について撮影処理を実行し、ステップS1013において、撮像装置381は撮影結果を情報処理装置370に送信する。
図12は、第1の校正処理時に投影される校正パターン画像の一例を示す図である。図12に示すように、プロジェクタ310_28aは、第1の校正パターン画像を投影し、プロジェクタ310_28bは、第2の校正パターン画像を投影する。操作者1000は、投影された第1及び第2の校正パターン画像を撮像装置381を用いて撮影することで、撮影結果を情報処理装置370に送信する。
図10の説明に戻る。ステップS1014において、操作者1000は、第1の校正パターン画像と第2の校正パターン画像を入れ替えるための入れ替え指示を入力する。
ステップS1015において、第1校正部911は、入れ替え指示に応じて、プロジェクタ310_28aに第2の校正パターン画像を送信する。また、ステップS1016において、第1校正部911は、プロジェクタ310_28bに第1の校正パターン画像を送信する。
ステップS1017において、プロジェクタ310_28aは、第1校正部911より送信された第2の校正パターン画像を投影する。また、ステップS1018において、プロジェクタ310_28bは、第1校正部911より送信された第1の校正パターン画像を投影する。
ステップS1019において、操作者1000は、投影された第2及び第1の校正パターン画像を撮像装置381を用いて撮影するために、撮像装置381に撮影指示を入力する。
ステップS1020において、撮像装置381は、投影された第2及び第1の校正パターン画像について撮影処理を実行し、ステップS1021において、撮像装置381は、撮影結果を情報処理装置370に送信する。
図13は、第1の校正処理時に投影される校正パターン画像の他の一例を示す図である。図13に示すように、プロジェクタ310_28aは、第2の校正パターン画像を投影し、プロジェクタ310_28bは、第1の校正パターン画像を投影する。操作者1000は、投影された第2及び第1の校正パターン画像を撮像装置381を用いて撮影することで、撮影結果を情報処理装置370に送信する。
再び、図10の説明に戻る。ステップS1022において、操作者1000は、第1校正部911に対して、補正パラメータの算出に用いる撮影結果を指定するための入力を行う。ステップS1023において、第1校正部911は、操作者1000により指定された撮影結果を読み出す。
ステップS1024において、操作者1000は、補正パラメータの算出を指示するための入力を行う。ステップS1025において、第1校正部911は、読み出した撮影結果に基づいて、補正パラメータを算出する。
なお、第1校正部911において算出される補正パラメータには、第1及び第2の校正パターン画像に対して位置合わせ補正、スケール合わせ補正、歪み補正等の各種幾何学的な補正を行うための幾何学パラメータが含まれる。この幾何学パラメータは、例えば、電動スクリーンや投影装置の設置位置、投影装置の光学機器の個体差等の種々の要因によって変動する。このため、幾何学パラメータは、窓ガラス(電動スクリーンと投影装置との組み合わせ)ごとに異なる場合が多い。後述する画像処理部372では、窓ガラスごとに適切な幾何学パラメータを用いて補正を行うことで、図1のように投影した投影用動画像群130のうちの一部の投影用動画像が歪んで表示される、といった不具合が発生するのを回避する。
第1校正部911は、算出した補正パラメータを画像情報管理部376に格納する。また、第1校正部911は、補正パラメータID(例えば、"P703")及び、算出日時(例えば、"2016.5.25")を、窓ID(例えば、"W703")と対応付けて画像情報600に格納する。
(3)第2の校正処理の流れ
次に、第2の校正処理の詳細について、図15を参照しながら、図14のシーケンス図に基づいて説明する。図14は、第2の校正処理のシーケンス図である。
図14に示すように、ステップS1401において、操作者1000は、情報処理装置370に対して、第2校正部912を起動させるための起動指示を入力する。
操作者1000により起動指示が入力されたことに応じて、ステップS1402では、第2校正部912が起動し、情報処理装置370の表示部405には、第2の校正処理を実行する対象(プロジェクタ)を操作者1000が選択するための選択画面が表示される。
ステップS1403において、操作者1000は、表示部405に表示された選択画面の中から、第2の校正処理を実行する対象が配置されている窓ガラスを選択する。
操作者1000により窓ガラスが選択されたことに応じて、第2校正部912は、選択された窓ガラスに対応する位置に配置されている電動スクリーンを識別する。そして、ステップS1404において第2校正部912は、識別した電動スクリーンに対して、スクリーンOFF指示を送信する。
なお、図14の例は、第1の校正処理同様、窓ID="W703"の窓ガラス1128が選択され、対応する電動スクリーン330_28に対して、スクリーンOFF指示が送信された場合を示している。
第2校正部912よりスクリーンOFF指示が送信されたことに応じて、ステップS1405では、電動スクリーン330_28がOFF状態になる。
ステップS1406において、第2校正部912は、窓ID="W703"の窓ガラス1128に対応する位置に配置されたプロジェクタ310_28a(プロジェクタID="PJ703A")に対して、ランプON指示を送信する。これにより、プロジェクタn'310_28aのランプがON状態になる。
ステップS1407において、操作者1000は、情報処理装置370に対して、プロジェクタ310_28aに白画像を投影するための投影指示を入力する。
ステップS1408において、第2校正部912は、操作者1000による白画像投影指示に応じて、プロジェクタ310_28aに対して、白画像投影指示を送信する。
ステップS1409において、プロジェクタ310_28aは、第2校正部912より送信された白画像投影指示に応じて、全白投影を行う。
ステップS1410において、操作者1000は、プロジェクタ310_28aにより全白投影された窓ガラスの色温度を測定するための測定指示を、色彩輝度計382に対して入力する。
ステップS1411において、色彩輝度計382は、全白投影された窓ガラス1128の色温度を測定する。ステップS1412において、操作者1000は、測定した色温度を測定結果として情報処理装置370に入力する。
ステップS1413において、第2校正部912は、操作者1000により入力された色温度を、RGBレベルに変換する変換処理を行う。
ステップS1414において、第2校正部912は、変換処理を行うことで算出したRGBレベルを、プロジェクタ310_28aに送信する。
ステップS1415において、プロジェクタ310_28aは、第2校正部912より送信されたRGBレベルを設定する。
図15は、第2の校正処理時に投影される白画像の一例を示す図である。図15に示すように、電動スクリーン330_28がOFF状態において、プロジェクタ310_28aは、白画像を窓ガラス1128に投影する。また、操作者1000は、色彩輝度計382を用いて窓ガラス1128の色温度を測定し、測定結果を情報処理装置370に入力する。これにより、情報処理装置370では、RGBレベルが算出され、プロジェクタ310_28aには、測定結果に応じたRGBレベルが設定される。
図14の説明に戻る。ステップS1416において、操作者1000は、情報処理装置370に対して、第2の校正処理の終了指示を入力する。ステップS1417において、第2校正部912は、操作者1000により終了指示が入力されたことに応じて、電動スクリーン330_28に対して、スクリーンON指示を送信する。
第2校正部912よりスクリーンON指示が送信されたことに応じて、ステップS1418では、電動スクリーン330_28がON状態になる。
<8.画像処理の詳細>
次に、画像投影システム300における画像処理(ステップS802)の詳細について説明する。
(1)画像処理部の機能構成
はじめに、画像処理を実行する、情報処理装置370の画像処理部372の機能構成について説明する。図16は、情報処理装置の画像処理部の機能構成を示す図である。
図16に示すように画像処理部372は、対象情報取得部1611、画像情報取得部1612、反転部1613、デコード部1614を有する。また、画像処理部372は、第1分割部1615、補正部1616、第2分割部1617、エンコード部1618、送信部1619を有する。
対象情報取得部1611は、サイネージ対象情報管理部375より、サイネージ対象情報を読み出し、第1分割部1615に通知する。
画像情報取得部1612は、画像情報管理部376より、広告主から提供された動画像を読み出し、反転部1613に通知する。
反転部1613は、画像情報取得部1612より通知された動画像の左右を反転させる。画像投影システム300では、透明または半透明の光透過面(窓ガラス及び電動スクリーン)に対して内側から投影し、投影結果が、外側から視認される。このため、予め左右を反転しておく必要がある。このように、反転部1613が反転処理を行うことで、広告主が意図した動画像とは左右が反転した動画像が視認される、といった事態を回避することができる。反転部1613は、反転後の動画像をデコード部1614に通知する。
デコード部1614は、左右が判定された動画像をデコード処理し、フレーム単位に分解することで、静止画像群を抽出する。デコード部1614は、抽出した静止画像群に含まれる各静止画像を、順次、第1分割部1615に通知する。
第1分割部1615は、デコード部1614から順次通知される各静止画像について、対象情報取得部1611から通知されたサイネージ対象情報500に基づいて、複数の静止画像に分割する第1分割処理を行う。これにより、第1分割部1615は、窓ガラスの位置及び窓ガラスのサイズに応じた分割静止画像(分割画像)を生成することができる。
また、第1分割部1615は、静止画像群に含まれる全ての静止画像に対して第1分割処理を行うことで取得した複数の分割静止画像について、同じ窓ガラスの分割静止画像ごとにわけることで、窓ガラスの数分の複数の分割静止画像群を生成する。第1分割部1615は、生成した複数の分割静止画像群を、画像情報管理部376に格納する。
また、第1分割部1615は、生成した複数の分割静止画像群それぞれに、分割静止画像群IDを付し、窓IDと対応付けて画像情報600に格納する。
さらに、第1分割部1615は、生成した複数の分割静止画像群それぞれを、窓IDと対応付けて補正部1616に通知する。
補正部1616は、第1分割部1615より通知された複数の分割静止画像群それぞれを、窓IDに応じた補正パラメータを用いて補正する。また、補正部1616は、補正後の複数の分割静止画像群を第2分割部1617に通知する。
第2分割部1617は、補正部1616より通知された、補正後の複数の分割静止画像群それぞれを、プロジェクタ単位に分割する。補正部1616により通知された、補正後の複数の分割静止画像群は、それぞれ窓ガラス単位で生成されているため、第2分割部1617では、プロジェクタ単位に分割する。
エンコード部1618は、プロジェクタ単位に分割された補正後の複数の分割静止画像群を、プロジェクタ単位でエンコード処理し、プロジェクタの数分の複数の投影用動画像を生成する。エンコード部1618は、生成した複数の投影用動画像を識別するための投影用動画像IDと生成日時とを、プロジェクタIDと対応付けて画像情報600に格納する。
送信部1619は、エンコード部1618により生成された複数の投影用動画像を、対応するプロジェクタにそれぞれ送信する。なお、送信部1619が投影用動画像を、対応するプロジェクタに事前に送信しておくことで、サイネージ制御部373では、投影開始時に、プロジェクタに対して投影開始指示を送信すれば足りることになる。これにより、プロジェクタに対して投影開始時に投影用動画像を送信する構成とした場合と比較して、投影用動画像の投影に際して遅延が生じる可能性を低減させることができる。
(2)画像処理の具体例
次に、画像処理部372による画像処理の具体例について説明する。図17は、画像処理の具体例を示す図である。
図17において、動画像1710は、広告主から提供された動画像ID="C100"の動画像であり、MPEG4形式で画像情報管理部376に格納されている。画像情報取得部1612が、動画像1710を読み出し、反転部1613に通知すると、反転部1613は、動画像1710の左右を反転させ、反転後の動画像1711を生成する。
反転後の動画像1711は、デコード部1614によりデコード処理され、複数の静止画像からなる静止画像群として抽出される。更に、抽出された静止画像群に対しては、第1分割部1615が、サイネージ対象情報500に基づく第1分割処理を行い、複数の分割静止画像群を生成する。
なお、複数の分割静止画像群(分割静止画像群1720_1、1720_2、・・・1720_30)には、それぞれ、分割静止画像群ID(C201、C202、・・・C705)が付され、窓IDと対応付けて画像情報600に格納される。
また、複数の分割静止画像群1720_1、1720_2、・・・1720_30に対しては、補正部1616が、それぞれ、対応する補正パラメータを用いて補正を行う。例えば、補正部1616は、分割静止画像群1720_1を、補正パラメータ1730_1(補正パラメータID="P201")を用いて補正する。また、補正部1616は、分割静止画像群1720_2を、補正パラメータ1730_2(補正パラメータID="P202")を用いて補正する。更に、補正部1616は、分割静止画像群1720_30を、補正パラメータ1730_30(補正パラメータID="P705")を用いて補正する。
補正パラメータにより補正された補正後の分割静止画像群1720_1、1720_2、・・・1720_30は、それぞれ、第2分割部1617により、プロジェクタ単位に分割される。例えば、補正後の分割静止画像群1720_1は、プロジェクタ310_1a用の分割静止画像群1740_1aと、プロジェクタ310_1b用の分割静止画像群1740_1bとに分割される。
同様に、補正後の分割静止画像群1720_30は、プロジェクタ310_30a用の分割静止画像群1740_30aと、プロジェクタ310_30b用の分割静止画像群1740_30bとに分割される。
第2分割部1617によりプロジェクタ単位に分割された補正後の分割静止画像群1740_1a〜1740_30bに対しては、エンコード部1618がエンコード処理を行う。これにより、エンコード部1618は、MPEG4形式の投影用動画像を生成する。
例えば、エンコード部1618は、プロジェクタ310_1a用の分割静止画像群1740_1aをエンコード処理することで、投影用動画像1750_1aを生成する。また、エンコード部1618は、プロジェクタ310_1b用の分割静止画像群1740_1bをエンコード処理することで、投影用動画像1750_1bを生成する。更に、エンコード部1618は、プロジェクタ310_30a用の分割静止画像群1740_30a、プロジェクタ310_30b用の分割静止画像群1740_30bをエンコード処理することで、投影用動画像1750_30a、1750_30bを生成する。
エンコード部1618は、生成した複数の投影用動画像1750_1a〜1750_30bを識別するための投影用動画像ID(M201A、M201B、・・・M705A、M705B)及び生成日時を、プロジェクタIDと対応付けて画像情報600に格納する。
また、送信部1619は、生成された複数の投影用動画像1750_1a〜1750_30bを、対応するプロジェクタに送信する。例えば、送信部1619は、投影用動画像1750_1aを、プロジェクタ310_1aに送信する。また、投影用動画像1750_1bを、プロジェクタ310_1bに送信する。更に、送信部1619は、投影用動画像1750_30aを、プロジェクタ310_30aに、投影用動画像1750_30bを、プロジェクタ310_30bにそれぞれ送信する。
(3)画像処理の流れ
次に、画像処理の流れについて、図18のフローチャートに基づいて説明する。図18は、画像処理の流れを示すフローチャートである。
ステップS1801において、画像情報取得部1612は、画像情報管理部376より動画像を取得する。
ステップS1802において、対象情報取得部1611は、サイネージ対象情報管理部375より、サイネージ対象情報500を取得する。
ステップS1803において、反転部1613は、ステップS1801において取得した動画像に対して、左右反転処理を行う。
ステップS1804において、デコード部1614は、反転後の動画像をデコード処理することで、静止画像群を抽出する。
ステップS1805において、第1分割部1615は、静止画像カウンタnに1を代入する。
ステップS1806において、第1分割部1615は、n番目の静止画像に対して、第1分割処理を行う。なお、第1分割処理のフローチャートの詳細は、後述する。
ステップS1807において、第1分割部1615は、全ての静止画像について第1分割処理を行ったか否かを判定する。ステップS1807において、第1分割処理を行っていない静止画像があると判定した場合には(ステップS1807においてNoの場合には)、ステップS1808に進む。ステップS1808において、第1分割部1615は、静止画像カウンタnをインクリメントした後、ステップS1806に戻る。
一方、ステップS1807において、全ての静止画像について第1分割処理を行ったと判定した場合には、ステップS1809に進む。
ステップS1809において、第1分割部1615は、各静止画像について生成した複数の分割静止画像を、同じ窓ガラスに対応する分割静止画像ごとに分けることで、窓ガラス数分の分割静止画像群を生成し、画像情報管理部376に格納する。また、第1分割部1615は、生成した分割静止画像群ごとに分割静止画像群IDを付し、窓IDと対応付けて画像情報600に格納する。
ステップS1810において、補正部1616は、分割静止画像群カウンタmに1を代入する。
ステップS1811において、補正部1616は、ステップS1809において生成された分割静止画像群のうち、m番目の分割静止画像群を、対応する補正パラメータを用いて補正する。
ステップS1812において、第2分割部1617は、補正後のm番目の分割静止画像群について、第2分割処理を行う。
ステップS1813において、第2分割部1617は、ステップS1809において生成された全ての分割静止画像群について、補正処理及び第2分割処理を行ったか否かを判定する。
ステップS1813において、補正処理及び第2分割処理を行っていない分割静止画像群があると判定した場合には(ステップS1813においてNoの場合には)、ステップS1814に進む。
ステップS1814において、補正部1616は、分割静止画像群カウンタmをインクリメントし、ステップS1811に戻る。
一方、ステップS1813において、全ての分割静止画像群について、補正処理及び第2分割処理を行ったと判定した場合には(ステップS1813においてYesの場合には)、ステップS1815に進む。
ステップS1815において、エンコード部1618は、第2分割処理された分割静止画像群を、プロジェクタ単位でエンコード処理することで、プロジェクタの数分の複数の投影用動画像を生成する。また、エンコード部1618は、生成した複数の投影用動画像について、生成日時を画像情報600に格納する。
ステップS1816において、送信部1619は、生成された複数の投影用動画像を、対応するプロジェクタにそれぞれ送信する。
(4)第1分割処理の詳細
次に、第1分割処理(ステップS1806)の詳細について図19及び図20を用いて説明する。図19は、第1分割処理の流れを示すフローチャートである。また、図20は、第1分割処理の一例を示す図である。
ステップS1901において、第1分割部1615は、n番目の静止画像を読み出す。図20において、静止画像2000は、第1分割部1615により読み出されたn番目の静止画像であるとする。
ステップS1902において、第1分割部1615は、フロアカウンタfに"2"を代入する。
ステップS1903において、第1分割部1615は、1フロアあたりの窓ガラス数をカウントする窓カウンタgに"1"を代入する。
ステップS1904において、第1分割部1615は、サイネージ対象情報500より、窓ID="Wf0g"の"位置"、"横サイズ"、"縦サイズ"を読み出す。ここでは、fに"2"が代入され、gに"1"が代入されているため、窓ID="W201"の位置((0,0))、横サイズ(x12)、縦サイズ(y12)が読み出される。
ステップS1905において、第1分割部1615は、ステップS1904において読み出した位置、横サイズ、縦サイズを、静止画像2000と所定領域510との対比に応じて、静止画像2000上の画素に変換する。
図20に示すように、本実施形態において、静止画像2000は、横4000画素、縦8000画素で構成されているものとする。この場合、位置="(0,0)"に対応する静止画像2000上の画素は、位置="(0,0)"の画素となる。
また、横サイズ(x12)に対応する静止画像2000上の画素は、(x12/x52)×4000により算出される画素となる。更に、縦サイズ(y12)に対応する静止画像2000上の画素は、(y12/y62)×8000により算出される画素となる。
ステップS1906において、第1分割部1615は、ステップS1905において算出された画素に基づいて特定される矩形領域2001を、静止画像2000より切り出し、分割静止画像を生成する。
ステップS1907において、第1分割部1615は、fフロアの全ての窓ガラスについて、第1分割処理を行ったか否かを判定する。ステップS1907において、第1分割処理を行っていない窓ガラスがあると判定した場合には(ステップS1907においてNoの場合には)、ステップS1908に進む。
ステップS1908において、第1分割部1615は、窓カウンタgをインクリメントした後、ステップS1904に戻る。これにより、gには"2"が代入されることになる。
ステップS1904において、第1分割部1615は、サイネージ対象情報500より、窓ID="W202"の位置((x21,0))、横サイズ(x22−x21)、縦サイズ(y12)を読み出す。
ステップS1905において、第1分割部1615は、ステップS1904において読み出した位置、横サイズ、縦サイズを静止画像2000上の画素に変換する。
図20に示すように、位置((x21,0))に対応する静止画像2000上の画素は、(x21/x52)×4000により算出される画素となる。また、横サイズ(x22−x21)に対応する静止画像2000上の画素は、(x22/x52)×4000により算出される画素となる。更に、縦サイズ(y12)に対応する静止画像2000上の画素は、(y12/y62)×8000により算出される画素となる。
ステップS1906において、第1分割部1615は、ステップS1905において算出された画素に基づいて特定される矩形領域2002を、静止画像2000より切り出し、分割静止画像を生成する。
ステップS1907において、第1分割部1615は、fフロアの全ての窓ガラスについて、第1分割処理を行ったか否かを判定する。ステップS1907において、第1分割処理を行っていない窓ガラスがあると判定した場合には(ステップS1907においてNoの場合には)、ステップS1908に進む。以降、ステップS1906において、矩形領域2005が切り出されるまで、ステップS1904〜S1906の処理が繰り返される。
ステップS1907において、fフロアの全ての窓ガラスについて第1分割処理を行ったと判定した場合には(ステップS1907においてYesの場合には)、ステップS1909に進む。
ステップS1909において、第1分割部1615は、全てのフロアについて第1分割処理を行ったか否かを判定する。ステップS1909において、第1分割処理を行っていないフロアがあると判定した場合には(ステップS1909においてNoの場合には)、ステップS1910に進む。
ステップS1910において、第1分割部1615は、フロアカウンタfをインクリメントした後、ステップS1903に戻る。以降、フロアカウンタf=7において、矩形領域2030が切り出されるまで、ステップS1904〜S1907の処理が繰り返される。
ステップS1909において、全てのフロアについて第1分割処理を行ったと判定した場合には(ステップS1909においてYesの場合には)、図18のステップS1807に戻る。
<9.サイネージ制御処理の詳細>
次に、画像投影システム300におけるサイネージ制御処理(ステップS803)の詳細について説明する。
(1)サイネージ制御部の機能構成
はじめに、サイネージ制御処理を実行する、情報処理装置370のサイネージ制御部373の機能構成について説明する。図21は、情報処理装置のサイネージ制御部の機能構成を示す図である。
図21に示すようにサイネージ制御部373は、同期部2101、開始制御部2102、終了制御部2103、復旧部2104を有する。
同期部2101は、時刻情報を出力する。また、同期部2101は、プロジェクタ310_1a〜310_30bと、情報処理装置370との間の時刻を同期させる。具体的には、時刻サーバ360より時刻情報を受信し、出力する時刻情報を修正したうえで、プロジェクタ310_1a〜310_30bに対して、修正した時刻情報を送信する。プロジェクタ310_1a〜310_30bは、同期部2101より時刻情報を受信すると、内部で管理している時刻情報を修正する。これにより、同期部2101は、プロジェクタ310_1a〜310_30bと、情報処理装置370との間で、正確な時刻情報に基づいて時刻を同期させることができる。
開始制御部2102は、スケジュール情報管理部377に格納されたスケジュール情報を読み出し、投影開始時刻を識別する。また、開始制御部2102は、識別した投影開始時刻に基づいて、各サイネージ装置に対して、投影開始時の動作の指示を送信する。
終了制御部2103は、スケジュール情報管理部377に格納されたスケジュール情報を読み出し、投影終了時刻を識別する。また、終了制御部2103は、識別した投影終了時刻に基づいて、各サイネージ装置に対して、投影終了時の動作の指示を送信する。
復旧部2104は、監視装置351から監視結果(不具合が発生した監視対象、不具合の種類等)を受信した場合に、プロジェクタ310_1a〜310_30bに投影終了指示を送信する。また、復旧部2104は、判定手段として機能し、不具合の種類が自動復旧が可能な不具合であるか否かを判定することで、窓ガラス群120について、投影対象としての利用を継続するか否かを判定する。
更に、復旧部2104は、投影対象としての利用を継続すると判定した場合には、自動復旧処理を実行する。一方、投影対象としての利用を継続しないと判定した場合には、復旧部2104は、窓ガラス群120を、通常の窓ガラスとして利用すると判定する。更に、通常の窓ガラスとして利用すると判定した場合、復旧部2104は、窓ガラス群120を通常の窓ガラスとしての利用に切り替えるための切り替え処理を実行する。
(2)サイネージ制御処理の流れ
次に、サイネージ制御部373によるサイネージ制御処理の流れについて説明する。図22は、サイネージ制御処理の流れを示すフローチャートである。画像処理部372による画像処理が完了することで、図22に示すサイネージ制御処理が実行可能となる。
ステップS2201において、同期部2101及び開始制御部2102は、投影用動画像の投影を開始する開始制御処理を実行する。なお、開始制御処理(ステップS2201)の詳細は後述する。
ステップS2202において、復旧部2104は、監視装置351から監視結果(不具合が発生した監視対象、不具合の種類等)を受信したか否かを判定する。ステップS2202において、監視結果を受信したと判定した場合には(ステップS2202においてYesの場合には)、ステップS2203に進む。
ステップS2203において、復旧部2104は、プロジェクタ310_1a〜310_30bに対して、投影終了指示を送信する。これにより、投影用動画像群130の一部が欠けた状態で、投影用動画像群130の投影が継続するといった事態を回避することができる。
ステップS2204において、復旧部2104は、監視結果に含まれる不具合の種類に基づいて、自動復旧可能な不具合か否かを判定する。ステップS2204において、自動復旧可能な不具合であると判定した場合には(ステップS2204においてYesの場合には)、窓ガラス群120の投影対象としての利用を継続すると判定し、自動復旧処理(ステップS2205〜S2207)を実行する。
具体的には、ステップS2205において、復旧部2104は、監視結果に含まれる監視対象(不具合が発生した監視対象)であるプロジェクタに対して、再起動指示を送信する。これにより、監視対象のプロジェクタは、電源が一旦OFF状態になった後、ON状態になる。この結果、復旧部2104は、監視対象のプロジェクタを自動で復旧させることができる。
ステップS2206において、復旧部2104は、監視対象のプロジェクタが正しく再起動したか否かを判定する。ステップS2206において正しく再起動したと判定した場合には(ステップS2206においてYesの場合には)、ステップS2207に進む。
ステップS2207において、復旧部2104は、プロジェクタ310_1a〜310_30bに対して、投影開始指示を送信する。これにより、投影用動画像群130の投影が自動で再開することとなり、自動復旧処理が完了する。
一方、ステップS2204において、自動復旧可能な不具合でないと判定した場合には(ステップS2204においてNoの場合には)、窓ガラス群120の投影対象としての利用を中断し、通常の窓ガラスとしての利用に切り替えると判定する。
また、ステップS2206において、正しく再起動しなかったと判定した場合には(ステップS2206においてNoの場合には)、窓ガラス群120の投影対象としての利用を中断し、通常の窓ガラスとしての利用に切り替えると判定する。
通常の窓ガラスとしての利用に切り替えると判定した場合、復旧部2104は、切り替え処理(ステップS2210〜S2212)を実行する。
具体的には、ステップS2210において、復旧部2104は、プロジェクタ310_1a〜310_30bに対して、ランプOFF指示を送信する。これにより、プロジェクタ310_1a〜310_30bのランプがOFF状態になる。
ステップS2211において、復旧部2104は、電動スクリーン330_1〜330_30に対して、スクリーンOFF指示を送信する。これにより、電動スクリーン330_1〜330_30がOFF状態になり、光透過面が透明の状態になる。
ステップS2212において、復旧部2104は、電飾装置140_1〜140_6に対して、電飾ON指示を送信する。これにより、電飾装置140_1〜140_6がON状態になる。この結果、投影対象として利用していた窓ガラス群120を、通常の窓ガラスとして利用することが可能となり、切り替え処理が終了する。
ステップS2213において、復旧部2104は、ステップS2202において受信した監視結果を、監視サーバ352に通知する。これにより、監視サーバ352では、通知された監視結果(不具合が発生した監視対象、不具合の種類等)を、サービスマンにメール送信する。この結果、自動復旧不可の不具合については、サービスマンにより復旧作業が行われることになる。
一方、ステップS2202において、監視結果を受信していないと判定した場合には、ステップS2208に進む。ステップS2208において、終了制御部2103は、投影終了時刻に近づいたか否かを判定する。終了制御部2103は、スケジュール情報700に基づいて投影終了時刻を識別し、同期部2101が出力する現在時刻と対比することで、投影終了時刻に近づいたか否かを判定する。
ステップS2208において投影終了時刻に近づいていないと判定した場合には(ステップS2208においてNoの場合には)、ステップS2202に戻る。一方、ステップS2208において投影終了時刻に近づいたと判定した場合には(ステップS2208においてYesの場合には)、ステップS2209に進む。
ステップS2209において、終了制御部2103は、投影用動画像の投影を終了する終了制御処理を実行し、サイネージ制御処理を終了する。なお、終了制御処理(ステップS2209)の詳細は後述する。
(3)開始制御処理及び終了制御処理の詳細
続いて、開始制御処理(ステップS2201)及び終了制御処理(ステップS2209)の詳細について説明する。
図23は、開始制御処理及び終了制御処理の詳細なフローチャートである。図23(a)に示すように、ステップS2301において、開始制御部2102は、スケジュール情報管理部377に格納されたスケジュール情報700を読み出す。また、開始制御部2102は、読み出したスケジュール情報700に基づいて、投影開始時刻を識別する。
ステップS2302において、開始制御部2102は、識別した投影開始時刻に応じたタイミングで、プロジェクタ310_1a〜310_30bに対して、ランプON指示を送信する。これにより、プロジェクタ310_1a〜310_30bそれぞれのランプがON状態になる。
ステップS2303において、同期部2101は、時刻サーバ360より時刻情報を受信し、情報処理装置370内部で管理している時刻情報を修正するとともに、プロジェクタ310_1a〜310_30bに対して、修正した時刻情報を送信する。
ステップS2304において、開始制御部2102は、識別した投影開始時刻に応じたタイミングで、プロジェクタ310_1a〜310_30bに対して、投影開始指示を送信する。これにより、プロジェクタ310_1a〜310_30bそれぞれにおいて、投影用動画像の投影を開始するための処理が行われる。
ステップS2305において、開始制御部2102は、識別した投影開始時刻に応じたタイミングで、電飾装置140_1〜140_6に対して、電飾OFF指示を送信する。これにより、電飾装置140_1〜140_6がOFF状態となる。
ステップS2306において、開始制御部2102は、識別した投影開始時刻に応じたタイミングで、電動スクリーン330_1〜330_30に対して、スクリーンON指示を送信する。これにより、電動スクリーン330_1〜330_30それぞれがON状態となり、光透過面が半透明の状態になる。
以上により、同期部2101及び開始制御部2102による開始制御処理が終了し、図22のステップS2202に戻る。
続いて、終了制御処理の流れについて説明する。図23(b)に示すように、ステップS2311において、終了制御部2103は、識別した投影終了時刻に応じたタイミングで、プロジェクタ310_1a〜310_30bに対して、投影終了指示を送信する。これにより、プロジェクタ310_1a〜310_30bでは、投影用動画像の投影を終了する。
ステップS2312において、終了制御部2103は、識別した投影終了時刻に応じたタイミングで、電動スクリーン330_1〜330_30に対して、スクリーンOFF指示を送信する。これにより、電動スクリーン330_1〜330_30それぞれがOFF状態となり、光透過面が透明の状態になる。
ステップS2313において、終了制御部2103は、識別した投影開始時刻に応じたタイミングで、電飾装置140_1〜140_6に対して、電飾ON指示を送信する。これにより、電飾装置140_1〜140_6がON状態になる。
ステップS2315において、終了制御部2103は、プロジェクタ310_1a〜310_30bに対して、ランプOFF指示を送信する。これにより、プロジェクタ310_1a〜310_30bそれぞれのランプがOFF状態になる。
以上により、終了制御部2103による終了制御処理が終了し、図22のサイネージ制御処理が終了する。
(4)自動復旧処理及び切り替え処理の具体例
次に、サイネージ制御処理(図22)における自動復旧処理及び切り替え処理の具体例について説明する。図24は、自動復旧処理及び切り替え処理の具体例を示す図である。
図24(a)は、サイネージ制御処理において、開始制御処理(ステップS2201)が実行された後に、監視装置351より監視結果を受信した様子を示した図である。図24(a)の例は、プロジェクタID="PJ302A"及び"PJ302B"のプロジェクタにおいて不具合が発生した場合を示している(符号2401参照)。
復旧部2104では、監視結果を受信すると、不具合の種類によらず、プロジェクタ310_1a〜310_30bに対して投影終了指示を送信する。図24(b)、(d)は、復旧部2104により、プロジェクタ310_1a〜310_30bに対して投影終了指示が送信された様子を示している。
ここで、復旧部2104では、監視結果に含まれる不具合の種類が自動復旧可能な不具合か否かを判定する。そして、自動復旧可能な不具合であると判定した場合、復旧部2104は、窓ガラス群120の投影対象としての利用を継続すると判定し、自動復旧処理を実行する。
具体的には、復旧部2104では、プロジェクタID="PJ302A"及び"PJ302B"のプロジェクタに対して再起動指示を送信し、正しく再起動したと判定した場合には、プロジェクタ310_1a〜310_30bに対して投影開始指示を送信する。これにより、図24(c)に示すように、窓ガラス群120には、再び、投影用動画像群130が投影される。
一方、自動復旧可能な不具合ではないと判定した場合、復旧部2104は、窓ガラス群120の投影対象としての利用を中断し、通常の窓ガラスとしての利用に切り替える切り替え処理を実行する。
具体的には、復旧部2104では、プロジェクタ310_1a〜310_30bに対してランプOFF指示を送信する。また、復旧部2104では、電動スクリーン330_1〜330_30に対してスクリーンOFF指示を送信するとともに、電飾装置群140(140_1〜140_6)に対して電飾ON指示を送信する。これにより、図24(e)に示すように、窓ガラス群120は、透明な状態となり、電飾装置群140(140_1〜140_6)がON状態となる(つまり、窓ガラス群120が通常の窓ガラスとして利用されることになる)。
<10.監視装置の説明>
次に、監視装置351について説明する。なお、監視装置351のハードウェア構成は、情報処理装置370のハードウェア構成(図4)と概ね同じであるため、ここでは説明を省略する。以下では、監視装置351の機能構成と監視処理の流れについて説明する。
(1)監視装置の機能構成
図25は、監視装置の機能構成の一例を示す図である。監視装置351には、監視プログラムと監視結果通知プログラムとがインストールされており、当該プログラムが実行されることで、監視装置351は、監視部2501及び監視結果通知部2502として機能する。
監視部2501は、プロジェクタ310_1〜310_30b、制御装置340、情報処理装置370の状態を所定周期で監視し、投影用動画像の投影に関わる不具合が発生した場合に、当該不具合の発生を検知する検知手段として機能する。また、監視部2501は、不具合の発生を検知した場合に、不具合が発生した監視対象を特定するとともに、監視対象管理部2503に格納されている監視対象管理情報を参照することで、不具合の種類を特定する。
監視結果通知部2502は、監視部2501が不具合を検知した場合に、不具合が発生した監視対象及び不具合の種類を、監視結果として、情報処理装置370に通知する。また、通知した監視結果を、ログ格納部2504にログ情報として格納する。
(2)監視対象管理情報
次に、監視対象管理部2503に格納された監視対象管理情報について説明する。図26は、監視対象管理情報の一例を示す図である。図26に示すように、監視対象管理情報2600は、情報の項目として、"監視対象"、"不具合の内容"、"不具合の種類"、"発生タイミング"を含む。
"監視対象"には、監視部2501が不具合の発生の有無を監視する対象となる装置が格納される。本実施形態において、監視部2501は、プロジェクタ310_1a〜310_30b、制御装置340、情報処理装置370を監視するため、"監視対象"には、「プロジェクタ」、「制御装置」、「プロジェクタ」のいずれかが格納される。
"不具合の内容"には、監視部2501が検知する不具合の内容として、投影用動画像の投影に関わるすべての不具合が格納される。なお、"不具合の内容"において、「映像が更新されない」とは、プロジェクタによる投影がフリーズした状態にあることを指す。監視部2501では、投影用動画像のうち、プロジェクタが現在投影中のフレーム位置に関する情報を取得し、下記の式を満たす場合に、「映像が更新されない」と判定する。
現在時刻>投影開始時刻+取得したフレーム位置までの再生にかかる時間+α
なお、αは例えば1分とする。
"不具合の種類"には、検知した不具合の種類が格納される。本実施形態において、監視部2501は、検知した不具合が、自動復旧可能な不具合であるか、自動復旧不可能な不具合であるかを分類する。このため、"不具合の種類"には、「自動復旧可」または「自動復旧不可」のいずれかが格納される。
"発生タイミング"には、"不具合の内容"が発生するタイミングについての情報が格納される。換言すると、監視部2501では、"発生タイミング"に格納されたタイミングで、監視対象について、不具合が発生したか否かの監視を行う。
例えば、監視対象="情報処理装置"について、不具合の内容="ping応答なし"は、監視部2501により投影用動画像の投影と無関係に監視され、不具合が検知された場合には、"自動復旧不可"の不具合が発生したと判定される。
また、監視対象="プロジェクタ"について、不具合の内容="ファン"は、監視部2501により投影用動画像の投影前または投影中に監視され、不具合が検知された場合には、"自動復旧可"の不具合が発生したと判定される。
(3)監視処理の流れ
次に、監視装置351による監視処理の流れについて説明する。図27は、監視処理の流れを示すフローチャートである。
ステップS2701において、監視部2501は、監視対象管理情報2600の"不具合の内容"に格納された不具合のうちのいずれかの不具合を監視するタイミングに到達したか否かを判定する。ステップS2701において、いずれかの不具合を監視するタイミングに到達していないと判定した場合には(ステップS2701においてNoの場合には)、監視するタイミングに到達したと判定するまで待機する。
一方、ステップS2701において、監視するタイミングに到達したと判定した場合には(ステップS2701においてYesの場合には)、ステップS2702に進む。ステップS2702において、監視部2501は、監視するタイミングに到達した"不具合の内容"について、不具合が発生したか否かを判定する。ステップS2701において、不具合が検知されなかった場合には、不具合が発生していないと判定し(ステップS2701においてNo)、ステップS2707に進む。
一方、ステップS2702において、不具合が検知された場合には、不具合が発生したと判定し(ステップS2702においてYes)、ステップS2703に進む。ステップS2703において、監視部2501は、不具合が発生した監視対象を特定する。
ステップS2704において、監視部2501は、監視対象管理情報2600に基づいて、不具合の種類を判定する。
ステップS2705において、監視結果通知部2502は、ステップS2703において特定した監視対象と、ステップS2704において判定した不具合の種類とを含む監視結果を、情報処理装置370に通知する。
ステップS2706において、監視結果通知部2502は、監視結果をログ格納部2504に時刻情報と対応付けて記録する。
ステップS2707において、監視部2501は、監視処理を終了するか否かを判定する。ステップS2707において監視処理を終了しないと判定した場合には(ステップS2707においてNoの場合には)、ステップS2701に戻る。一方、ステップS2707において、監視処理を終了すると判定した場合には(ステップS2707においてYesの場合には)、監視処理を終了する。
<11.まとめ>
以上の説明から明らかなように、本実施形態に係る画像投影システム300では、
・広告主より提供される動画像を反転処理する。また、建物の外面の所定領域に含まれる複数の窓ガラスの位置及び大きさに基づいて、該反転処理した動画像より抽出される各フレームの静止画像を分割し、それぞれの静止画像から複数の分割静止画像を生成する。
・同じ窓ガラスに対応する各フレームの分割静止画像を用いて、窓ガラス数分の分割静止画像群を生成し、画像情報管理部に格納する。
・建物の外面の所定領域に含まれる複数の窓ガラスそれぞれに対応する位置に配置されたプロジェクタについて校正処理を行い、校正処理の結果に基づいて生成した補正パラメータを用いて、分割静止画像群を補正する。
・補正した分割静止画像群を、更に、1つの窓ガラスに対応する位置に配置されたプロジェクタの数に応じて分割し、エンコード処理することで、プロジェクタ単位の投影用動画像群を生成する。
・生成した投影用動画像群の各投影用動画像を、対応するプロジェクタを介して、複数の窓ガラスに対応する電動スクリーンそれぞれに投影する。
これにより、複数の面を組み合わせたデジタルサイネージを実現することが可能になる。
また、本実施形態に係る画像投影システム300では、
・監視対象についての不具合の発生を検知し、自動復旧可能な不具合か、自動復旧不可能な不具合かを判定する。
・自動復旧可能な不具合であると判定した場合には、投影対象として利用している窓ガラスについて、投影対象としての利用を継続すると判定する。また、自動復旧不可能な不具合であると判定した場合には、投影対象として利用している窓ガラスについて、投影対象としての利用を継続しないと判定し、通常の窓ガラスとして利用できるよう切り替え処理を行う。
これにより、複数の面を組み合わせたデジタルサイネージにおいて、複数の面を効率的に利用できるようになる。
[その他の実施形態]
上記第1の実施形態では、監視装置351において、不具合の種類を判定する構成としたが、監視装置351は、情報処理装置370に対して不具合の内容を通知し、情報処理装置370において不具合の種類を判定する構成としてもよい。
また、上記第1の実施形態では、プロジェクタの不具合を、監視装置351が検知して、情報処理装置370に通知し、更に、情報処理装置370が監視結果を監視サーバ352に通知する構成とした。しかしながら、通知順序はこれに限定されず、プロジェクタの不具合を、情報処理装置370が検知して、監視装置351に通知し、更に、監視装置351が監視結果を監視サーバ352に通知する構成としてもよい。
また、上記第1の実施形態では、電動スクリーン及び電飾装置の不具合について特に言及しなかったが、電動スクリーン及び電飾装置の不具合の通知順序も任意である。例えば、電動スクリーン及び電飾装置から、直接、監視装置351に通知し、更に、監視装置351が監視結果を監視サーバ352に通知するように構成してもよい。あるいは、電動スクリーン及び電飾装置から、制御装置340を介して監視装置351に通知し、更に監視装置351が監視結果を監視サーバ352に通知するように構成してもよい。
また、上記第1の実施形態では、情報処理装置370とは別体に監視装置351を設ける構成としたが、監視装置351の一部または全部の機能は、情報処理装置370にて実現してもよい。あるいは、反対に、情報処理装置370の復旧部2104の機能の一部は、監視装置351にて実現してもよい。
また、上記第1の実施形態では、切り替え処理において、ランプOFF指示、スクリーンOFF指示、電飾ON指示の順に、各指示を送信する構成としたが、送信順序はこれに限定されない。
また、上記第1の実施形態では、自動復旧処理において、投影を再開する際の開始位置について特に言及しなかったが、開始位置は任意の位置が可能である。例えば、投影用動画像の1フレーム目から投影を再開してもよいし、投影終了指示を送信した際に投影していたフレームの次のフレームから投影を再開してもよい。
また、上記第1の実施形態では、情報処理装置370が、校正部371、画像処理部372、サイネージ制御部373を有するものとして説明したが、これらの機能の一部は、他のサイネージ装置において実現してもよい。
また、上記第1の実施形態では、建物110に1つの所定領域を規定し、1種類のデジタルサイネージを実現する場合について説明した。しかしながら、建物110の窓ガラス群120を2つの所定領域に分け、2種類のデジタルサイネージを実現するように構成してもよい。この場合、監視対象の不具合を検知すると、不具合が検知されたサイネージ装置がいずれの所定領域に属するかを判定し、不具合が検知されたサイネージ装置が属する所定領域に含まれる各サイネージ装置について、自動復旧処理または切り替え処理を実行する。これにより、不具合が発生していない所定領域については、デジタルサイネージを継続することが可能となる。
また、上記第1の実施形態では、建物110の外面の所定領域に取り付けられた窓ガラスを投影対象として説明したが、投影対象は、窓ガラスに限定されず、他の複数の面であってもよい。また、複数の面は、建物110の外面の所定領域に取り付けられたものに限定されず、建物110内部の所定領域に取り付けられた複数の面であってもよいし、また、建物以外の物に取り付けられた複数の面であってもよい。
また、上記第1の実施形態では、サイネージ装置が、プロジェクタ(投影装置)、電動スクリーン、電飾装置を指すものとして説明したが、サイネージ装置はこれに限定されない。例えば、建物110の内部の照明装置や、建物110の外部から建物110の壁面や看板等を照らす照明装置、建物110に設置されたオブジェ、看板等の、既に建物110に設置されている装置が、サイネージ装置に含まれていてもよい。
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。