JP2013255253A - 情報送信装置、情報送信方法、及び、プログラム - Google Patents

Abstract

【課題】 安定した情報伝送を行えるようにする。
【解決手段】 本発明の情報伝送システム（１）は、所定の領域（５）を光らせて情報を送信する発光手段（２）と、前記所定の領域を時系列的に撮像し、その撮像画像から前記情報を復号して出力する受光手段（３）とを含み、前記所定の領域は前記情報に応じて少なくとも三値に多値化して色変調された光を発するものであり、前記受光手段は、前記所定の領域の多値化された色変調情報に基づいて前記情報を復号することを特徴とする。
【選択図】 図２

Description

本発明は、空間光伝送技術を利用した情報伝送システム、受光装置、情報伝送方法、及び、プログラムにする。

近年、空間光伝送技術を利用した情報伝送システムとして、いわゆるデジタルサイネージが注目されている。デジタルサイネージとは、屋外や交通機関、店頭、公共施設など家庭以外の場所で、ネットワークに接続された表示装置を使用して情報を発信するシステムのことである。

図１は、デジタルサイネージの利用状態図である。この図において、中央に屋外の情景１００（ここでは町中の様子）が示されている。この情景１００には歩行者１０１や車両１０２が含まれているとともに、遠景のビル１０３〜１０５が含まれており、特に中央のビル１０４の壁面に大型の表示装置１０６（以下、ディスプレイ端末１０６という）が取り付けられている。

ディスプレイ端末１０６は、デジタルサイネージの表示装置であり、不図示のサーバから送られた情報１０７を可視化して表示する。この情報１０７は、たとえば、特売商品に関する情報など様々であり、図示の例では、その商品として腕時計の絵が表示されている。さて、このような特売商品についての付加情報は、たとえば、割引率や特売期間、及び、販売場所などいろいろであるが、それらの情報の全てをディスプレイ端末１０６に表示することは、表示情報の輻輳を招き、ディスプレイ端末１０６の画面を見にくくするから好ましくない。

このため、デジタルサイネージでは、付加情報などを空間光伝送技術を利用して送信し、携帯電話機等のカメラ付き携帯電子機器１０８の画面上で、当該付加情報を含む商品情報を再生表示するようにしている。

これによれば、町中で気になる商品広告（ディスプレイ端末１０６の表示）を見かけたときに、手元の携帯電子機器１０８を用いてその広告を撮影するだけで、当該商品に関する詳しい情報を知ることができる。たとえば、図示の例では、携帯電子機器１０８の画面１０９に、商品の絵１１０と、その商品に関する詳細な情報（５０％ＯＦＦなどの割引情報と、１１：３０〜１５：００までといった割引期間など）を記した吹き出し１１１を表示している。

ここで、デジタルサイネージにおける情報の伝送は、空間的な“光”の伝送技術を基本としており、図示の例では、ディスプレイ端末１０６の画面の一部（図では四隅）に光の変調領域１０６ａ〜１０６ｄを設け、これらの変調領域１０６ａ〜１０６ｄの光の時系列的な変化によって所要の情報伝送を行っている。

かかる空間的な“光”の伝送技術としては、たとえば、以下のようなものが知られている。

下記の特許文献１には、発光ユニットと受光ユニットとからなる空間光伝送システムの技術が記載されている。この技術の要旨は、「発光ユニットは、送信すべき情報を構成するビット列を論理判定し、その判定結果に応じて、予め用意された互いに相関度の低い二つのビットパターン系列より択一的にビットパターン系列を選択して、その選択結果に従って前記光を変調して送信する。受光ユニットは、前記光を受光してその光の強度に応じた二値化信号を生成し、該二値化信号に含まれるビットパターン系列が、前記二つのビットパターン系列のいずれか一方に対応するときに、論理信号１または論理信号０を発生して、前記光に含まれる情報の再生を行う。」というものである。

また、下記の特許文献２には、有色で同じ色相値の点滅信号を用いてポインティングを実現している技術が記載されており、特許文献３には、規定された色相差の変化を利用して通信を行う技術が記載されており、特許文献４には、色彩の変化に加え、うち１色を高速に点滅させるとともに、イメージセンサとは別のフォトダイオードを追加して光の強弱を検出することで別の信号を重畳させた高速な通信を実現する技術が記載されており、特許文献５には、３色の発光体の組み合わせで送信を行う技術が記載されている。

特開２００３−１７９５５６号公報 特開２００５−２６７１６９号公報 特開２００６−０７２７７８号公報 特開２０１０−２８７８２０号公報 特開２００９−１８６２０３号公報

しかしながら、特許文献１の技術にあっては、論理信号１と論理信号０を用いて光伝送を行うもの（論理信号１＝光の点灯、論理信号０＝光の消灯）であり、要するに二値的な光の明滅による伝送技術に過ぎないから、一般的なフレームレート（３０ｆｐｓ程度）の普及型カメラで二値的な光の明滅による信号を受光して情報を再現する際に、相当長い時間（およそ２秒、詳細は後述）がかかってしまうという課題がある。
また、特許文献２〜５の技術にあっては、いずれの技術も送信側の表示装置や光源などの色相値の個体差によるばらつきの影響を受けてしまい、安定した情報伝送を行うことができないという課題がある。

そこで、本発明の目的は、安定した情報伝送を行うことができる情報伝送システム、受光装置、情報伝送方法、及び、プログラムを提供することにある。

本発明の情報伝送システムは、所定の領域を光らせて情報を送信する発光手段と、前記所定の領域を時系列的に撮像し、その撮像画像から前記情報を復号して出力する受光手段とを含み、前記所定の領域は前記情報に応じて少なくとも三値に多値化して色変調された光を発するものであり、前記受光手段は、前記所定の領域の多値化された色変調情報に基づいて前記情報を復号することを特徴とする。
本発明の受光装置は、被写体を所定のフレームレートで周期的に撮像する撮像手段と、前記撮像手段によって撮像された被写体に含まれる所定の領域を前記撮像手段の周期的な撮像画像から取り出し、その所定の領域の時系列的な光の変化態様から前記所定の領域を光源として光伝送された情報を復号する復号手段と、前記復号手段によって復号された情報を出力する出力手段とを備え、前記復号手段は、前記所定の領域の少なくとも三値に多値化された色変調情報に基づいて前記情報を復号することを特徴とする。
本発明の情報伝送方法は、所定の領域を光らせて情報を送信する発光装置と、前記所定の領域を時系列的に撮像し、その撮像画像から前記情報を復号して出力する受光装置とが含まれる通信システムにおける情報伝送方法であって、前記所定の領域は前記情報に応じて少なくとも三値に多値化して色変調された光を発するものであり、前記受光装置は、前記所定の領域の多値化された色変調情報に基づいて前記情報を復号することを特徴とする。
本発明のプログラムは、撮像手段を有する電子機器のコンピュータを、前記撮像手段によって周期的に撮像されている撮像画像における被写体に含まれる所定の領域を取り出し、その所定の領域の時系列的な光の変化態様から前記所定の領域を光源として光伝送された情報を復号する復号手段、前記復号手段によって復号された情報を出力する出力手段として機能させ、更に、前記復号手段は、前記所定の領域の少なくとも三値に多値化された色変調情報に基づいて前記情報を復号することを特徴とする。

本発明によれば、安定した情報伝送を行うことができる。

デジタルサイネージの利用状態図である。 実施形態に係る情報伝送システムの構成図である。 デジタルサイネージのディスプレイ端末の一部に設けられた変調領域（発光部５）を示す図である。 色変調を採用した実施形態の光通信の物理フォーマットを示す図である。 発光装置及びカメラのカラーフィルターの特性を示す図である。 図５の色空間をＨＳＶ空間に変換した図である。 データ値を発光信号列に変換するエンコード表を示す図である。 受光装置３の全体の内部処理を示す図である。 図８のステップＳ３の処理の詳細図である。 図８のステップＳ４の処理の詳細図である。 形状評価の方法を示す図である。 ＲＡＭ１２ｃに形成されるバッファメモリのバッファリング状態を示す図である。 候補領域テーブルの例を示す図である。 図８のステップＳ７の処理の詳細図である。 図１４のステップＳ７２の処理の詳細図である。 領域テーブルの連結イメージを示す図である。 連続して連結していると判定された領域をまとめ直したイメージを示す図である。 色相データ取り出し例を示す図である。 スレッシュ設定の説明図である。 色相値上にある変化の例を示す図である。

以下、本発明の実施形態を図面を参照しながら説明する。
図２は、実施形態に係る情報伝送システムの構成図である。この図において、情報伝送システム１は、発光装置２、受光装置３及びサービスサーバ４を含む。

発光装置２は、発光部５、タグＩＤ等の情報を記憶する記憶手段６、及び、その情報で発光部５を変調駆動する変調手段７を備えており、この発光装置２は、既存のデジタルサイネージ、すなわち、屋外や交通機関、店頭、公共施設など家庭以外の場所で、ネットワークに接続された表示装置を使用して情報を発信するシステムに併設されている。かかる発光装置２を併設したデジタルサイネージの一例は、前出の図１に示されている。図１において、デジタルサイネージのディスプレイ端末１０６の一部（図では四隅）に発光部５として機能する所定の領域（変調領域１０６ａ〜１０６ｄ）が設けられており、この発光部５の発光態様（発光色や強度）により、所要の情報（タグＩＤ等の情報）を光通信で空間に送信できるようになっている。このように、ディスプレイ端末１０６の一部に変調領域１０６ａ〜１０６ｄ（発光部５）を設けることにより、光通信による長距離の情報提供を可能にしつつ、サイネージの表示面積を圧迫せずに表示コンテンツへのデザイン的影響を最小限とすることができる。

受光装置３は、撮影レンズ等を含む光学系８、カメラ９、入力センサ１０、液晶ディスプレイ等の表示手段１１及び制御・通信手段１２などを備える。この受光装置３としては、たとえば、カメラ付き携帯電話機（またはスマートフォン）などの携帯電子機器（たとえば、図１の携帯電子機器１０８を参照）も含むことができる。サービスサーバ４は、たとえば、デジタルサイネージで伝送された情報にリンクされたインターネット上の情報提供サイトや商品販売サイト（いわゆるネットショップ）を運営するサーバである。商品販売サイトの場合、携帯電子機器のユーザは、デジタルサイネージによって知り得た商品をインターネット上のネットショップから直接購入することができる。

受光装置３のカメラ９は、カラーフィルタが実装されたＣＣＤやＣＭＯＳなどの二次元撮像デバイスからなり、所定画角内の画像を毎秒数十フレームの周期で撮像して制御・通信手段１２に出力する。ここで、カメラ９の撮像周期を一般的な（汎用的ともいえる）二次元撮像デバイスの例に倣って毎秒３０フレーム（３０ｆｐｓ）とし、発光装置２の変調手段７における変調周波数をその半分、すなわち、１５Ｈｚであるとする。

受光装置３の入力センサ１０は、例えば、ユーザの操作によって入力される各種情報を検知するためのセンサであり、具体的にはテンキーを含むＱＷＥＲＴＹキーボードやタッチパネルである。
受光装置３の表示手段１１は、液晶ディスプレイ等の高精細な表示デバイスであり、制御・通信手段１２から適宜に出力される任意の情報を可視化して表示出力する。

受光装置３の制御・通信手段１２は、サービスサーバ４との通信インターフェースを備えるとともに、コンピュータまたはマイクロコンピュータ（以下、ＣＰＵ）１２ａと、読み出し専用半導体メモリ（以下、ＲＯＭ）１２ｂと、書き込み／読み出し可能な半導体メモリ（以下、ＲＡＭ）１２ｃと、不図示の周辺回路とを含むプログラム制御方式の制御要素であり、あらかじめＲＯＭ１２ｂに格納されている制御プログラムをＲＡＭ１２ｃにロードしてＣＰＵ１２ａで実行することにより、各種の処理を逐次に実行して、この受光装置３の全体動作を統括制御する。なお、ＲＯＭ１２ｂは、書き込み型の不揮発性半導体メモリ（ＰＲＯＭやＥＰＲＯＭなど）であってもよい。

［変調方法と物理フォーマット］
図３は、デジタルサイネージのディスプレイ端末の一部に設けられた変調領域（発光部５）を示す図である。（ａ）に示すように、発光部５は、デジタルサイネージのディスプレイ端末の所定部分（たとえば、端末の隅部分）におけるいくつかの画素の集合として表現されており、ここでは、説明の便宜上、２×２画素（またはピクセル；以下、画素で統一する）の集合としている。

２×２画素からなる発光部５の周囲は、デジタルサイネージの他の表示映像と分離するための画素枠（ここではＢｋと記されている１２個の画素からなる枠）で囲まれており、これらの画素枠は常時非点灯の黒画素であるが、その画素枠で囲まれた光通信用の発光部５（２×２画素）は、色調や強度を変えつつ所定の周期で発光することができるようになっている。たとえば、光通信用の発光部５をすべて赤（Ｒ）に点灯にすると、（ａ）のようになり、または、光通信用の発光部５をすべて非点灯にすると、（ｂ）のように、２×２画素の全てが黒（Ｂｋ）になる。

なお、分離枠用の１２個の画素の形はこの例に限定されない。図では、１２個の画素で四角形を構成しているが、たとえば、丸形にしたり、楕円や菱形、矩形などの他の形状にしてもよい。また、図では、分離枠用の１２個の画素を含めて４×４画素構成としているが、これに限定されない。実際の画素構成では、より多数の画素で構成するようにしてもよい。いくつの画素で構成するかは、もっぱらデジタルサイネージの他の表示映像の面積との兼ね合いによる。

図４は、本実施形態の光通信の物理フォーマットを示す図である。この図において、物理フォーマット１３は、非発光（黒）の１パルスからなるヘッダー部１３ａと、その後９パルス連続して赤（Ｒ）、青（Ｂ）、緑（Ｇ）の３色のどれかが点灯するデータ部１３ｂとで構成されている。データ部１３ｂの色数（３色）は、冒頭で説明した黒（非点灯）と白（点灯）の二値に対して、Ｒ、Ｇ、Ｂの三値であるから、いわば三値変調を行っていることになる。
ヘッダーに関して１パルスの「黒」を用いているのは、「黒」の輝度値が他の有彩色と比べて明確に大きく異なっており、混色の影響を受けずに分離しやすいからである。
なお、この図では、赤、青、緑の３色を用いているが、つまり三値変調を行っているが、これに限らず、たとえば、シアン、マゼンタ、イエローの３色を用いてもよいし、あるいは、それらに白を加えた７色を用いてもよく、要するに三値を超える多値であってもよい。いずれの色構成（多値数）を採用するかは、もっぱら設計的事項である。たとえば、カメラ部９の色分離特性やＡＷＢ（オートホワイトバランス）の特性などを考慮して適正な色構成を採用すればよい。

図５は、発光装置及びカメラのカラーフィルターの特性を示す図である。この図に示すように、赤のみが点灯していても緑の波長成分や青の波長成分が若干含まれ、現実には色分離性が悪いことが多い。
このため本実施形態では、比較的分離がしやすい原色系の赤、青、緑の３色を利用する。尚、色分離が可能であれば、これに限らず、補色系のシアン、マゼンタ、イエローの３色でもよい。また、色分離が可能なアルゴリズムの処理が実行可能であれば赤、青、緑、黄などの多色の組合せでもあってもよい。

図６は、図５の色空間をＨＳＶに変換した図である。これを見ると、有彩色であるＲ、Ｇ、Ｂなどは彩度が一定以上あり、彩度の性質によりＡＷＢが働くなどにより、その輝度が下がっても、彩度自体は変わらないので黒との区別は容易であることが分かる。

したがって本実施形態のような「色変調」（図４参照）を採用することにより、データ部の１２ｂｉｔ分を出力したい場合に、たとえば、３色の変調方法（三値変調）であれば、「３＾９≧１４ｂｉｔ」となり、９パルスで１４ｂｉｔ以上を表現することができるようになる。

図７は、データ値を発光信号列に変換するエンコード表を示す図である。このエンコード表は、受光装置３の制御・通信手段１２のＲＯＭ１２ｂにあらかじめ格納されているものである。なお、この図では３パルス分のエンコード表しか示していないが、これは説明の便宜である。すなわち、９パルス分で示すと巨大な表となるからであり、表を簡素化するために３パルス毎に区切った場合で説明している。

この表におけるエンコード信号「１」、「２」、「３」は、それぞれ「赤」、「青」、「緑」を表わしている。また、「１２３」は「赤→青→緑」の順で発光していることを表している。たとえば、エンコード信号が「１３２」のとき、つまり、「赤→緑→青」の順に発光しているとき、４種類のエンコード結果が得られる。たとえば、図示のエンコード表では、第１のエンコード結果として「８」、第２のエンコード結果として「７」、第３のエンコード結果として「７」、第４のエンコード結果として「２」が得られる。第１のエンコード結果は１〜２７までの２７値のうちの一つであり、第２のエンコード結果は１〜２４までの２４値のうちの一つであり、第３のエンコード結果は１〜８までの８値のうちの一つであり、第４のエンコード結果は１〜６までの６値のうちの一つである。以下、第１のエンコード結果のことを「冗長性無し」、第２のエンコード結果のことを「冗長性・弱」、第３のエンコード結果のことを「冗長性・中」、第４のエンコード結果のことを「冗長性・強」ということにする。

「冗長性無し」の場合では、３パルスで２７値を示すことができる。このため、従来の２値で行ってきたもの（具体的には４パルスで４値）よりも遥かに高速に多くの情報を伝えることができる。しかし、「冗長性無し」の場合は、一定時間同じ色が続くような画素領域を、変化の無い背景の画像の一部と誤認する可能性が高いため、実用的とはいえない。

これに対して、「冗長性・弱」のように、「１１１」、「２２２」、「３３３」のみをなくして僅かに冗長性を持たせると、一定時間色変化しない画素領域を含む背景を、情報復調対象の画素の候補から容易に削除できる。

また、「冗長性・中」で示しているものは、最初の色を基準として、そこからの色相の違い（距離）でエンコードしている。これは、カメラ側のＡＷＢによる色味の変化で色相が回転しても、情報信号が得られるからである。

さらに、「冗長性・強」では、得られる値が６値になってしまうが、３パルスにそれぞれ異なる色相が入り込むため、ノイズに対する影響を十分に排除できる利点が得られる。

これらのエンコード結果（冗長性無し／冗長性・弱／冗長性・中／冗長性・強）は、発光装置５を設置する機器の環境や特性に合わせて適宜選択すればよい。

次に、受光装置３の動作を説明する。
図８は、受光装置３の全体の内部処理を示す図である。この処理では、まず、ＲＡＭ１２ｃ上のフレームカウンタをリセットし（ステップＳ１）、カメラ９から出力されたフレームをＲＡＭ１２ｃにキャプチャし（ステップＳ２）、フレームの二値画像を生成し（ステップＳ３）、ＲＡＭ１２ｃに候補領域テーブルを作成し（ステップＳ４）、リストに登録する（ステップＳ５）。そして、フレームカウンタが所定値ｎであるか否かを判定し（ステップＳ６）、所定値ｎでなければステップＳ２に戻り、所定値ｎであれば復号処理を行った後（ステップＳ７）、情報の表示処理を行い（ステップＳ８）、再びステップＳ１以降を繰り返す。

このように、ステップＳ１からステップＳ６までの処理で、ＲＡＭ１２ｃにキャプチャした画像の分析を行い、また、ＲＡＭ１２ｃに候補領域テーブルを作り、それをキャプチャしたフレーム分、時系列に格納したリスト（以下、テーブルリスト）を作成するという動作を実行する。

より詳細には、ステップＳ３では、以下を処理を行う。
［フレームごとの候補領域検出と候補領域テーブルへの登録］
（ａ）カラーツイスト（色強調補正処理）：
デジタルサイネージよる変調光をカメラ９で撮影した際、ＲＧＢ色空間での値をそのまま用いて表現すると、カメラ９の性能や変調光が存在する場所の背景の色によっては、変調光における色分離性能が悪く、ＨＳＶ色空間処理において彩度Ｓや色相値Ｈを分離する上で性能が悪くなるという不都合を招くことがある。したがって、ＨＳＶ色空間処理の前段階の処理として、次式（１）のような変換マトリックスを用い、ＲＧＢからＲ′Ｇ′Ｂ′への色分離を行う。この処理により、彩度が高いものをより目立たせ、ひいては分離し易くすることができる。

式（１）の行列の各成分ａ、ｂ、ｃは、たとえば、次式（２）のような値である。ベクトル空間としては、色空間の内側の値をよりそれぞれのＲＧＢ軸に引き寄せる処理になる。

ａ＝（ａ１１，ａ２２，ａ３３）＝（−１.７，−０.６５，−０.１）
ｂ＝（ｂ１１，ｂ２２，ｂ３３）＝（−０.９，１.９，−０.１）
ｃ＝（ｃ１１，ｃ２２，ｃ３３）＝（−０.１，−０.１，１.１）
・・・・（２）

（ｂ）ＨＳＶ色空間に変換：
デジタルサイネージ等で色変調した光をカメラ９で撮影した画像の彩度は、周辺環境の影響を受けずにほぼ不変である。それに対して、ＲＧＢ分解した各色ベクトルの値では、周辺環境の影響に左右されやすいという性質がある。従来の輝度ベースによる探索におけるこのような性質に対処するために、ＲＧＢで表現する代わりにＨＳＶ表色系へ変換して探索を行うことにする。

色変調方法および、上記の物理フォーマットで示したような色変調のような場合、データ部のパルスの撮像結果は、色相が多少変動したとしても、その発光色によらず、常に彩度（Ｓ）は高い値になる。また、自己発光する送信源であれば、その明度もやはり一定の明度を持つものとして取り扱ってもよい。そしてヘッダの黒パルスのときだけ、明度も彩度も落ちるということになり、色変動の中で一定した性質を示すので、フレーム単位の中で領域候補を探すのに都合がよい。

図９は、図８のステップＳ３の処理の詳細図である。この図に示すように、ステップＳ３の処理では、キャプチャしたＲＧＢ色空間の画像をＨＳＶ色空間の画像へと変換し（ステップＳ３１）、この変換されたＨＳＶ色空間で表現される画像におけるＳ（彩度）パラメータで表現される画像（以下、Ｓ画像という）及び、Ｖ（明るさ：Ｉ（Ｉｎｔｅｎｓｉｔｙ）ともいう）パラメータで表現される画像（以下、Ｖ画像という）の各画素に対して、それぞれ適切なスレッシュ値を設定し、２値化する（ステップＳ３２）。そしてこれにより得られたＳ画像とＶ画像と論理積をとったものを通信領域の候補を現す白黒二値画像とする（ステップＳ３３）。

［ラベリング処理］
この処理で、ヘッダー部１３ａを除く光変調された領域を必ず含み偶然に色特性が一致した領域の画像が白黒二値画像として得られる。これにより、たとえば、黒い背景に色特徴の尤度の高い領域が白になっているような画像となる。

図１０は、図８のステップＳ４の処理の詳細図である。この図に示すように、まず、連続領域と基本形状パラメータとを特定する、いわゆるラベリング処理を行う（ステップＳ４１）。より具体的には、前述の候補画像の繋がった白領域毎を識別し、その形状情報を求める処理を行なう。尚、本実施形態ではその領域の重心、面積（ピクセル面積）、外接矩形領域の四隅座標が得られるとする。

続く処理で、それで得た連続領域を一つ取り出し（ステップＳ４２）、形状的条件で絞込みを行う。まず、面積（ａｒｅａｓｅｉｚｅ）であまりに小さくするぎる領域（たとえば２×２画素角）以下はノイズとして除外するようにするとよい（ステップＳ４３）。

次に、ステップＳ４ａのラベリング処理の結果によって検出された領域の形状を評価する。本実施形態では、処理の簡略化のため、縦横比をもって形状の尤度とする（ステップＳ４４）。

図１１は、形状評価の方法を示す図である。図１１（ａ）、（ｂ）は対象形状（白抜き部分）の縦横比を示す図であり、Ｈは対象形状の外接四角形の長辺長、Ｗは対象形状の外接四角形の短辺長である。また、図１１（ｃ）、（ｄ）は所定面積Ｐ（図では１０×１０画素）に対する対象形状の面積充填率を示す図であり、この面積充填率は対象形状（白抜き部分）の面積Ａを所定面積Ｐ（１０×１０画素）で除した値で与えられる。
前出の図３に示したように、変調領域は正四角形であり、カメラ９との位置関係を考えても、縦横比は１．０が望ましいが縦横比が、図１１（ａ）、（ｂ）に示すように外接四角形であること、カメラ９との位置関係などで歪むことを考慮した余裕を入れた上での閾値を設定し、それ以下であるもの（明らかに形状が異なるもの）を除外するようにする。

次に、実際に撮像した領域は、その形状によっては到底四角形に見えないものも想定されるので、そのような領域か否かを簡便に判定するものとして、外接方形の面積とその中の領域面積の比が１．０：１．０の理想値に近い閾値を設け、その閾値以上の面積充填率でないもの（小さすぎる形状のもの）を除外する（ステップＳ４５）。

こうした処理を行って除外されなかったものは、変調領域（図３の１０６ａ〜１０６ｄ参照）である可能性が高いので、候補領域テーブルに登録（ステップＳ４６）した後、変調領域の可能性がある全ての候補領域に対して処理を終えたと判断するまで（ステップＳ４７でＹＥＳ）、以上のステップＳ４２〜ステップＳ４５を繰り返し実行する。

これにより、ステップＳ１からステップＳ６まで必要フレーム数分のリストエントリが得られ、テーブルリストとして登録される。ただし、位相関係が不定なので、フレームによるサンプリングはパルス周期の２倍、つまり、１５Ｈｚパルスベースの変調に対して３０ｆｐｓである。したがって、ブロックの構成パルス数は前述の説明より１０パルスであるので、ｎ＝２×１０＝２０がこのリストエントリとなり、後述の図１２に示すようなバッファリング状態の様相となる。

なお、実際の実装においては、フレーム分析を行い、候補領域テーブルの作成、及び、テーブルリストへの追加の過程で、候補領域の検出数が０個になるのが一定数以上続くなど、現在の撮影状況（周囲環境や手振れ考慮等）、明らかに通信に適さない状況があれば、過程の途中で処理をリセットしてもよい。

［デコード処理候補の絞込処理］
図１２は、ＲＡＭ１２ｃに形成されるバッファメモリのバッファリング状態を示す図である。上段のＦ０〜Ｆｎはフレームであり、下段の表はフレームＦ０〜Ｆｎごとの候補領域テーブルのバッファリング状態を表している。
尚、候補領域テーブルはｎ（ｎは自然数）フレーム分用意され所定フレーム数に達するとその内容を書き換えることで対応するものとする。
更にこのようなフレームごとに候補領域テーブルを用いる理由は、時系列画像の処理を行うにあたって画素データレベルで時間方向で多数枚の画像を処理を行うのでなく、候補領域テーブルとして情報を圧縮したものを用いることで計算量を飛躍的に低減させるためである。

ここでキャプチャ（撮像）されたフレームごとに生成される候補領域テーブルの例を説明する。
図１３は、フレーム番号Ｆｎ＝０の候補領域テーブルの例を示す図である。この図では、領域Ｎｏ．（Ａ）の各々について、重心座標（ｃｘ，ｘｙ）と、面積（Ｓｉｚｅ）と、中心座標光信号値（ここでは色相値Ｈｕｅ）とを例示しており、たとえば、領域Ｎｏ．０について、重心座標（１０，５０）と、面積（７０）と、中心座標光信号値（８０）とを例示し、また、領域Ｎｏ．１について、重心座標（１１１，３２１）と、面積（２３）と、中心座標光信号値（２００）とを例示している。このように、本実施形態では、ラベリング処理された領域の重心座標（ｃｘ，ｘｙ）、領域の面積（Ｓｉｚｅ）、そして領域重心座標の光信号値（Ｈｕｅ）が候補領域テーブルに順次格納されていく。

なお、以下の説明について個別の候補領域の識別は、Ｆｎ：Ａｍのように表し、さらに、その内部パラメータの識別は、Ｆｎ：Ａｍ：（ｃｘ，ｃｙ）のように表すことにする。また、評価値は、単一画像解析で得られた特徴量の「近さ」つまり、同じ信号由来によるものであるかの尤度を示すものである。

典型的には、領域の重心座標を用いて、ある２つの領域重心（ｘ１，ｙ１）、（ｘ２，ｙ２）の距離を、通常の二次元上の距離「√（（ｘ２−ｘ１）＾２＋（ｙ２−ｙ１）＾２）」で評価するのが最も一般的に考えられるが、本実施形態では、さらに、確実な尤度とするため面積情報を用いることにする。

ただし、面積は座標に対してすでに二乗の次元になっているので、同じ次元の評価尺度として加算できるよう配慮する。ちなみに、この平方根演算を行わないと、面積の少しの差が二乗で効いてしまうことになり、重心距離と面積のずれの程度を重くみることができなくなる。

√（（ｘ２−ｘ１）＾２＋（ｙ２−ｙ１）＾２
＋（√Ｓｉｚｅ２−√Ｓｉｚｅ１）＾２） ・・・・（３）

式（３）は、要するに、面積を平方根したあと、通常の３次からなるベクトルの距離計算を行っていることを意味する。なお、実際にはこの式（３）は、比較的小さなスレッシュ値（たとえば、０〜１０）の範囲で運用されるため、全体の二乗などの演算量を減らしつつ同程度の評価値とするため、次式（４）のように変形してもよい。

（ｘ２−ｘ１）＋（ｙ２−ｙ１）
＋√（Ｓｉｚｅ２−Ｓｉｚｅ１） ・・・・（４）

式（３）、（４）のいずれにおいても、「評価値が小さい」＝「同じ領域である」とみなすことができる。

図１４は、図８のステップＳ７の処理の詳細を示すフローチャートである。
このフローチャートにおいて、処理対象フレームの候補点（正確にはこのデータは、座標データに加えて、面積情報、色相値なども保持する領域構造データだが、以後説明では「候補点」とする）と１〜３フレーム分過去に取得したフレームにおける候補点を、上記式（４）に入力し評価値を算出する。そしてこの評価値を用いて、処理対象となるフレームの候補点と、このフレームより１〜３フレーム分過去に取得したフレームの候補点との連結リストを作る（ステップＳ７１）。
次いで、黒（非発光）による候補点が存在しないフレームを、認められる範囲内（今回は２フレーム分）で黒データとして補間しながら、２フレーム間の連結リストを順次統合・連結させていき、１８フレームにわたる候補点群の連なりを決定していく（ステップＳ７２、詳細は図１５参照）。
次に候補点が存在しないまま３フレームが経過した不連続連結の要素は削除し、１８フレーム分の候補点群が集まった物は、連結の最初が黒になるように並べなおす（ステップＳ７３）。
（註：今回の物理フォーマットでは黒がヘッダーを意味しており、１〜２パルスは存在し、それ以上は存在しないものとする。）。
そして１８フレーム分の関連する候補点群からなる完全連結領域を取り出し（ステップＳ７４）、各々の候補点に対応するＨｕｅ値（光信号値列）を復号処理し（ステップＳ７５）、有効な復号結果（デコード値）が得られたか否かを判定する（ステップＳ７６）。
そして、得られた場合は、吹き出し１１１（図１参照）などが表示されるように表示系処理への座標、データの要求キューイングを行い（ステップＳ７７）、全ての１８フレーム分の候補点群に対する処理終了を判定する（ステップＳ７８）。また、得られなかった場合でも、そのまま全ての１８フレーム分の候補点群に対する処理終了を判定する。いずれの場合も、全ての１８フレーム分の候補点群に対する全ての処理の終了が判定されない場合はステップＳ７４以降を繰返す。

図１５は、図１４のステップＳ７２の処理の詳細を示すフローチャートである。
このフローチャートでは、先ず、処理対象フレームＦｘを定義し、これを時間において順方向に一つ進め（ステップＳ７２１）、処理対象フレームから一つの領域候補Ａｘを取り出し（ステップＳ７２２）、被処理対象フレームＦｘをＦｄ＝Ｆｎ＋１と定義する（ステップＳ７２３）。
次いで、領域候補Ａｘと被処理対象フレームＦｄの各要素との評価値を上記式（４）を用いて計算し（ステップＳ７２４）、この評価値に基づいて最小の連結組み合わせを決定する（ステップＳ７２５）。
次いで、決定された最小の連結組み合わせの評価値が、予め設定されたスレッシュ以下であるか否かを判定する（ステップＳ７２６）。ここでスレッシュ以下でないと判定した場合は、今回の被処理対象フレームＦｄがＦｎ＋３フレーム目のものであるか否かを判定する（ステップＳ７２８）。そして、被処理対象フレームＦｄがＦｎ＋３フレーム目のものであると判定された場合は連結する領域が見つからなかったと判定し（ステップＳ７２９）、再びステップＳ７２２以降を繰り返す。
一方、ステップＳ７２８にて被処理対象フレームＦｄがＦｎ＋３フレーム目のものでないと判定された場合は、ダミーデータ（“ｓｋｉｐ”）を入れるとともに、被処理対象フレームＦｄを時間において順方向に一つ先に進めた後（ステップＳ７３０）、再びステップＳ７２４以降を繰り返す。
一方、先のステップＳ７２６で最小の連結組み合わせの評価値が、予め設定されたスレッシュ以下であると判定した場合は、連結リストに今回のリストを隣接リストとして登録し（ステップＳ７２７）、処理対象フレームの全領域処理が完了したか否かを判定する（ステップＳ７３１）。そして完了していないと判定すれば、再びステップＳ７２２以降の処理を繰り返し、完了したと判定すれば、全フレームの連結評価完了したか否かを判定し（ステップＳ７３２）、完了していないと判定すれば、ステップＳ７２１に戻り、完了したと判定すれば処理を終了する。

本実施形態では、前式（４）において、たとえば、評価値が３０以下を「多少の移動や形状変動はあるが、同一のものとみなす」とする。
尚、本実施形態の物理フォーマットにおいては彩度及び明度が高い場合は連結させるものの、必ずヘッダー（黒）を含むので、図１５の処理を行った場合のフレームごとの領域テーブルの連結は、図１６に図示したようになる。

図１６は、領域テーブルの連結イメージを示す図である。
このイメージにおいて、実線でつながっている部分は、可視光通信を行っている各候補領域の連結状況を示す。
一方、点線は、明確に可視光通信を行なっていることが判っていないものの、評価値レベルで連結していると判断されている状況を示す。

前記のステップＳ７３では求めた連結を評価する。このとき変調信号の存在する領域は、必ず全２０フレームで連結したパス（復号結果のつながり）が存在する。したがってそれ以外の領域は削除する。

図１７は、連続して連結していると判定された領域をまとめ直したイメージを示す図である。そして、その連結をスキップ（ｓｋｉｐ）した画像を黒（消灯）として、彩度０として補完し、他は領域Ａｍの色相データをそれぞれ取り出す。

図１８は、色相値（Ｈｕｅ）が０〜３６０の値域をもつとしたときの色相データ取り出し例を示す図であり、図１７に図示したように、最終的に連結候補として並べなおした結果に対応して、その各候補領域要素データ（個々の、Ｆ０：Ａ０など）が保持する色相値だけを並べたものである。

このようにして、１フレームの色・形状候補から、時間的連結としての候補が決定される。前図の連結領域の持つ光信号値（本実施形態では色相値Ｈｕｅの連結に直すと）は、本実施形態では、色相値が一般的な定義どおり０〜３６０の値域をもつとすると、図１８のようになる。消灯状態であると判定し、スキップ（ｓｋｉｐ）と判断したところは、明確に色相値域から外す値（たとえば、−１）とする。

図１４のフローチャートに立ち返って説明すると、まず、ＣＰＵ１２ａは、変調領域として存在し得ない連結領域を排除する。それは、「ヘッダー部１３ａ（−１状態）がない」条件の候補領域である。前述の物理フォーマットで１９フレームサンプルした場合、信号領域であれば必ず１ないし２（信号パルスとフレームキャプチャタイミングの位相関係による）の消灯時間があるので、「一回だけ−１の１個ないし２個連続が発生していない」ものは排除する（−１から他の値をとってまた−１があるのも信号でないものとする）。この条件を満たす領域の値系列を選ぶ。たとえば、前出の図１８を例にすると、領域番号１は、消灯タイミングを持たないので除外対象となる。

次に、色相値系列を１つまたは２連続の−１から始まるように巡回シフトする。なお、可視光通信源は、複数かつ互いに非同期（パルスレベルもデータブロックのレベルでも）の場合もあるので、この巡回もそれぞれに対して行う。
ここまでが、ステップＳ７３の処理となる。

ステップＳ７４、ステップＳ７５では、それぞれの連結結果を変調としての妥当性を確認し、位相を選択して復調する。なお、本実施形態では、簡便な（数学的には汎用・最適でない）スレッシュ型、色デコード処理で行うものとするが、実装では、フレームドロップがあるため、このような単純な位相選択は行っていない。本実施形態では、説明の便宜上、シンプルな例としてこの単純なスレッシュ処理を例にして説明する。

［スレッシュの設定］
図１９は、スレッシュ設定の説明図である。この図に示すように、色相軸上に、送信側光源とカメラ側の色特性（動的なＡＷＢ制御の影響含む）を考慮した、変調信号の色発行パルスがとり得る範囲のスレッシュを設定する。たとえば、Ｒのスレッシュは０（ｏｒ３６０）付近、Ｇのスレッシュは１２０付近、Ｂのスレッシュは２４０付近である。
なお、本実施形態では固定のスレッシュとするが、このスレッシュをカメラ９の特性に合致した環境に合わせて設定したり、色相の分布のピークの谷間にスレッショルドを設けたりして動的に最適化するなどしてもよい。

さらに、これらのスレッショルド値を発光点毎に最適化すれば、色特性の異なる複数の発光信号でも、より安定的に受信できるようになるから望ましい。

さて、前述したように、１５Ｈｚ（パルス周期６６ｍｓ）で変化する色を、カメラ９によって３０ｆｐｓでサンプリングするので、１８のサンプル系列は２つの位相Ａ，Ｂからなっているとみなすことができる。前述のように、消灯とみなせるピークを先頭にして色相値上にある変化の例を図示すると、次のようになる。

図２０は、色相値上にある変化の例を示す図である。この図において、縦軸は色相値、横軸はフレーム番号であり、横軸に沿ってＡ位相とＢ位相を並べている。この図に示すように、色相値上にある変化のパターンはいろいろあるが、ここでは、上手は比較的Ａ位相が最適位相で、Ｂ位相はちょうど常に色の変わり目になっている場合を示す。なお、光源との位相関係では、ほぼＡ位相もＢ位相もスレッシュ内の値をとることもある。たとえば、０付近のＲ−＞Ｂのとき、中間値はＧでなく、ＢとＵｐｅｅｒなＲの間の３００あたりになる。逆に３４０近いほうのＲからＧに行く場合も、中間値はＢ位相でなく、Ｙの６０あたりにいく。

いずれにしろ、その領域候補が変調信号である場合、Ａ位相，Ｂ位相の系列のうち、必ず一方は、値域スレッシュの中に入っていることになる。

以上で通信している領域を決定でき、なおかつその観測値レベルの光信号変化を、デコードテーブルにかけられる色情報列とすることができた。あとは、色情報列を、図７のデコーダテーブルと照合すれば、伝送ビットデータを得ることができる。

もちろん、偶然彩度、空間的形状、時間的な連結性なども偶然一致したノイズ領域も、冗長性を持つ図７のルールで取り除かれるので、自然界の変化が偶然データにみなされることは、ここまででほぼ皆無になると考えられる。
本実施形態の処理において、自然界の変動が偶然に一致することがあるが、それはさらに上位レイヤの誤り検出や訂正等で、受信誤りを防ぐことが望ましい。

以上のとおりであるから、本実施形態によれば、以下の効果を奏することができる。
Ａ．少なくとも三値に色変調された光伝送方式としたので、たとえば、三値変調とすれば、「３＾９≧１４ｂｉｔ」となり、９パルスで１４ｂｉｔ以上を表現することができる。その結果、送信時間の短縮化を図ることができる。
Ｂ．イメージセンサ通信のデコード処理において、フレームの時間方向処理をテーブルベースで行うので、扱う処理量を飛躍的に低減することができる。
Ｃ．領域の時間的変化を、重心とサイズ変化で行ったので、妥当性の高い連結判定が可能になる
Ｄ．送信側は固定長の繰り返し送信であるので、ヘッダを探して通信のためのサンプリングを開始することなく、データブロック長分を格納してから、その中のヘッダを探すことで通信取得の応答時間を最小にすることができる。

前記の実施形態は、以下のように変更してもよい。たとえば、領域での時間連結性のさらなる正確性を期するために、形状特徴データのより詳細な値、重心まわりの二次モーメント（＝傾き方向など）等々の形状分析データを付加するものであってもよい。
また、領域の時間連結において、手振れなど画像全体のブレ＝移動成分を全体要素に対してあらかじめ影響をなくすなどすると、固定対象物に対してはより安定した検出ができるので好ましい。
また、領域連結で、より詳細に連結候補間の移動ベクトルの変異の妥当性で連結判定すれば、本実施形態のように単純にサイズ等は同じでも、移動量が多いためにキャンセルされているような動きの激しい場合においても対応することができる。

以上、本発明のいくつかの実施形態を説明したが、この発明は、これらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本件出願の特許請求の範囲に記載された発明を付記する。

（付記１）
請求項１記載の発明は、
所定の領域を光らせて情報を送信する発光手段と、
前記所定の領域を時系列的に撮像し、その撮像画像から前記情報を復号して出力する受光手段とを含み、
前記所定の領域は前記情報に応じて少なくとも三値に多値化して色変調された光を発するものであり、前記受光手段は、前記所定の領域の多値化された色変調情報に基づいて前記情報を復号することを特徴とする情報伝送システムである。

（付記２）
請求項２記載の発明は、
被写体を所定のフレームレートで周期的に撮像する撮像手段と、
前記撮像手段によって撮像された被写体に含まれる所定の領域を前記撮像手段の周期的な撮像画像から取り出し、その所定の領域の時系列的な光の変化態様から前記所定の領域を光源として光伝送された情報を復号する復号手段と、
前記復号手段によって復号された情報を出力する出力手段とを備え、
前記復号手段は、前記所定の領域の少なくとも三値に多値化された色変調情報に基づいて前記情報を復号することを特徴とする受光装置である。

（付記３）
請求項３記載の発明は、
所定の領域を光らせて情報を送信する発光装置と、前記所定の領域を時系列的に撮像し、その撮像画像から前記情報を復号して出力する受光装置とが含まれる通信システムにおける情報伝送方法であって、
前記所定の領域は前記情報に応じて少なくとも三値に多値化して色変調された光を発するものであり、前記受光装置は、前記所定の領域の多値化された色変調情報に基づいて前記情報を復号する
ことを特徴とする情報伝送方法である。

（付記４）
請求項４記載の発明は、
撮像手段を有する電子機器のコンピュータを、
前記撮像手段によって周期的に撮像されている撮像画像における被写体に含まれる所定の領域を取り出し、その所定の領域の時系列的な光の変化態様から前記所定の領域を光源として光伝送された情報を復号する復号手段、
前記復号手段によって復号された情報を出力する出力手段として機能させ、更に、前記復号手段は、前記所定の領域の少なくとも三値に多値化された色変調情報に基づいて前記情報を復号することを特徴とするプログラムである。

１ 情報伝送システム
２ 発光装置
３ 受光装置
５ 発光部
６ 記憶手段
７ 変調手段
９ カメラ
１１ 表示手段
１２ 制御・通信手段
１２ａ ＣＰＵ（コンピュータ）

本発明は、空間伝送技術を利用した情報伝送システムに適用される、情報送信装置、情報送信方法、及び、プログラムに関する。

そこで、本発明の目的は、安定した情報伝送を行うことができる情報送信装置、情報送信方法、及び、プログラムを提供することにある。

本発明は、送信されるべき情報に含まれる信号と冗長性に応じた複数段階の色変化の情報とを対応付けたテーブルと、このテーブルを参照することにより送信すべき情報を色の変化からなる信号に変調する変調手段と、この変調手段によって変調された信号に基づいて時間的に色を変化させながら発光するよう、複数色で発光する発光手段を制御する発光制御手段と、を備えること特徴とする。

Claims (4)

1. 所定の領域を光らせて情報を送信する発光手段と、
   前記所定の領域を時系列的に撮像し、その撮像画像から前記情報を復号して出力する受光手段とを含み、
   前記所定の領域は前記情報に応じて少なくとも三値に多値化して色変調された光を発するものであり、前記受光手段は、前記所定の領域の多値化された色変調情報に基づいて前記情報を復号する
   ことを特徴とする情報伝送システム。
2. 被写体を所定のフレームレートで周期的に撮像する撮像手段と、
   前記撮像手段によって撮像された被写体に含まれる所定の領域を前記撮像手段の周期的な撮像画像から取り出し、その所定の領域の時系列的な光の変化態様から前記所定の領域を光源として光伝送された情報を復号する復号手段と、
   前記復号手段によって復号された情報を出力する出力手段とを備え、
   前記復号手段は、前記所定の領域の少なくとも三値に多値化された色変調情報に基づいて前記情報を復号することを特徴とする受光装置。
3. 所定の領域を光らせて情報を送信する発光装置と、前記所定の領域を時系列的に撮像し、その撮像画像から前記情報を復号して出力する受光装置とが含まれる通信システムにおける情報伝送方法であって、
   前記所定の領域は前記情報に応じて少なくとも三値に多値化して色変調された光を発するものであり、前記受光装置は、前記所定の領域の多値化された色変調情報に基づいて前記情報を復号する
   ことを特徴とする情報伝送方法。
4. 撮像手段を有する電子機器のコンピュータを、
   前記撮像手段によって周期的に撮像されている撮像画像における被写体に含まれる所定の領域を取り出し、その所定の領域の時系列的な光の変化態様から前記所定の領域を光源として光伝送された情報を復号する復号手段、
   前記復号手段によって復号された情報を出力する出力手段として機能させ、更に、前記復号手段は、前記所定の領域の少なくとも三値に多値化された色変調情報に基づいて前記情報を復号することを特徴とするプログラム。

Images