JP6540132B2 - 復号装置、復号方法、及び、プログラム - Google Patents

Description

本発明は、復号装置、復号方法、及び、プログラムに関する。

携帯電話のカメラデバイスを利用し、可視光通信により送信された光信号の輝度の変化を、カメラデバイスを走査して情報へ復号する技術が知られている（例えば、特許文献１参照）。

特開２０１５−１５６９３号公報

上述した可視光通信により送信された情報を復号するにあたっては、送信側と受信側が時間的に同期していることが前提である。しかし、受信側の端末が所謂コンシューマ製品である場合、あらゆる性能のカメラデバイスを搭載する関係上、製品によっては性能的に可視光通信により送信された情報が受けられない、又は、復号できないものも存在しかねないという問題がある。

本願発明はこのような問題点に鑑みてなされたもので、可視光通信技術を利用し情報を復号する上において、デバイスの性能に左右されないようにしたことを目的とする。

上記目的を達成するために、本発明に係る復号装置は、
時系列的に変化する可視光が含まれる画像を連続的に取得する取得手段と、
前記取得手段によって連続的に取得された画像に含まれる可視光から順次情報へ復号する復号手段と、
前記取得手段によって取得された画像を連続的にメモリに記録する記録制御手段と、
前記取得手段の取得性能又は前記復号手段の復号性能の少なくとも何れかを記憶する性能記憶手段と、
前記性能記憶手段に記憶されたこれらの性能から、前記取得手段による前記画像の取得又は前記復号手段による復号に遅延が発生するか否かを判断し、前記取得手段による前記画像の取得又は前記復号手段による復号に遅延が発生している場合は、前記記録制御手段によって前記メモリに記録された複数の画像に含まれる可視光から順次情報へ復号し、前記遅延が発生していない場合は、前記連続的に取得された画像に含まれる可視光から順次情報へ復号するよう前記復号手段を制御する制御手段と、
を備えることを特徴とする。

本発明によれば、可視光通信技術を利用し情報を受信する上において、デバイスの性能に左右されないようにすることが可能となる。

本発明の実施形態に係る光通信システムの構成を示す図である。 図１に示す送信装置の構成を示す図である。 図１に示す受信装置の構成を示す図である。 従来の受信装置における処理のタイミングチャートである。 本発明の実施形態に係る受信装置における処理のタイミングチャートである。 受信装置による受信処理の動作を示すフローチャートである。

以下、本発明の実施の形態に係る光通信システムについて説明する。本発明の実施形態に係る光通信システム１は、図１に示すように、送信装置１００と受信装置２００とを含んで構成されている。

光通信システム１では、送信装置１００と受信装置２００とは、光を通信媒体として送信装置１００から受信装置２００への通信を行うことができる。

送信装置１００は、受信装置２００への通信対象の情報を、変調により可視光である赤（Ｒ）、緑（Ｇ）、青（Ｂ）の時系列で変化する所定長の光信号に変換して繰り返し出力する。

受信装置２００は、例えばスマートフォンであり、撮像範囲に含む送信装置１００を撮像することにより、送信装置１００からの光信号を受光する。また、受信装置２００は、撮像により得られた画像を表示する。また、受信装置２００は、受光した光信号から通信対象の情報を復号し、表示する。

次に、送信装置１００について説明する。送信装置１００は、図２に示すように、制御部１０２、メモリ１０４、送信部１１４を含んで構成される。

制御部１０２は、ＣＰＵ（Central Processing Unit）を備え、メモリ１０４に格納されているプログラムに従ってソフトウェア処理を実行し、送信装置１００が具備する各種機能を実現するために機能する。

メモリ１０４は、例えばワークエリアとなるＲＡＭ（Random Access Memory）、基本動作プログラムを記憶するＲＯＭ（Read Only Memory）である。メモリ１０４は、送信装置１００における制御等に用いられる各種情報（プログラム等）を記憶する。

制御部１０２内の符号化・変調部１１０は、通信対象である情報をビットデータ列に符号化する。更に、符号化・変調部１１０は、ビットデータ列に基づくデジタル変調を行う。変調方式として例えば周波数を２８．８（ｋＨｚ）とする搬送波を用いた４ＰＰＭ（Pulse Position Modulation）が採用される。制御部１０２内の駆動部１１２は、符号化・変調部１１０が生成した信号に基づいて、送信部１１４に対して、波長の異なる可視光である赤（Ｒ）、緑（Ｇ）、青（Ｂ）の光を同一の輝度で、変化周期ｔ１で時間的に変化させる制御を行う。

送信部１１４は、例えば発光ダイオード（ＬＥＤ：Light Emitting Diode）であり、駆動部１１２の制御により、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各波長の光を同一の輝度で、変化周期ｔ１で時間的に変化させながら出力する。

次に、受信装置２００について説明する。受信装置２００は、撮像画像を表示するとともに、送信装置１００からの情報を受信するための通信装置として機能する。受信装置２００は、図３に示すように、制御部２０２、メモリ２０４、操作部２０６、表示部２０７、無線通信部２０８、アンテナ２１０、撮像部２１４を含んで構成される。

制御部２０２は、ＣＰＵによって構成される。制御部２０２は、メモリ２０４に記憶されたプログラムに従ってソフトウェア処理を実行することにより、受信装置２００が具備する各種機能を実現するために機能する。

メモリ２０４は、例えばＲＡＭやＲＯＭである。メモリ２０４は、受信装置２００における制御等に用いられる各種情報（プログラム等）を記憶する。

操作部２０６は、表示部２０７の表示領域の上面に配置されるタッチパネルであり、ユーザの操作内容を入力するために用いられるインタフェースである。表示部２０７は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、ＥＬ（Electro-Luminescence）ディスプレイ等によって構成され、画像を表示する。

無線通信部２０８は、例えば無線周波数（ＲＦ：Radio Frequency）回路やベースバンド（ＢＢ：Base Band）回路等を用いて構成される。無線通信部２０８は、アンテナ２１０を介して、無線信号の送信及び受信を行う。また、無線通信部２０８は、送信信号の変調と、受信信号の復調とを行う。

撮像部２１４は、受信装置２００の筐体において、表示部２０７が設置された面とは反対側の面に配置される。撮像部２１４は、レンズと受光素子により構成される。レンズは、ズームレンズ等により構成され、制御部２０２によるズーム制御及び合焦制御により移動する。撮像部２１４の撮像画角、光学像は、レンズの移動によって制御される。受光素子は、受光面に規則的に二次元配列された複数の受光素子により構成される。受光素子は、例えば、フォトダイオード、ベイヤー配列のカラーフィルターを実装し、また若しくは三板式のＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像デバイスである。

撮像部２１４は、送信装置１００内の送信部１１４における光の変化周期ｔ１と同一の撮像周期ｔ１で撮像を行う。撮像部２１４は、入光された光学像を、制御部２０２からの制御信号に基づいて所定範囲の撮像画角で撮像（受光）し、その撮像画角内の画像信号を逐次、制御部２０２へ出力する。

制御部２０２内の画像生成部２３２は、撮像部２１４からの画像信号が入力される毎に、当該画像信号をデジタルデータに変換してフレームを生成（取得）する。制御部２０２内の表示制御部２３６は、フレームに対応する画像を表示部２０７に表示させる制御を行う。

制御部２０２内の復号部２３４は、時系列的に連続して入力されるフレームを走査（スキャン）し、このフレームにおける波長の変化による色相変化が生じる箇所（変化領域）の判別を行う。具体的には、復号部２３４は、フレームの画像データ内の各画素の明度を判別する。更に、復号部２３４は、明度が所定値以上である画素を、送信装置１００内の送信部１１４からの発光色に相当する波長光を受光することにより色相変化が生じる箇所（変化領域）の候補（候補領域）であると見なす。更に、復号部２３４は、直近に取得された所定数のフレームのそれぞれにおける候補領域内の同一座標において色相を判別する。判別の結果、候補領域内の座標における色相値があるフレームでは第１の所定値であり、他のフレームでは第２の所定値である場合というように、所定のパターンで大きく変化する場合には、復号部２３４は、当該候補領域を変化領域であると見なす。

変化領域が存在する場合には、復号部２３４は、その後、撮像毎にフレーム内の変化領域の色相値（波長の種類）を取得し、その色相値に対応する変化領域の色を、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の何れかに判別する。更に、復号部２３４は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色に対応するビットデータ列を復号し、通信対象の情報を取得する。更に、表示制御部２３６は、通信対象の情報の画像を表示部２０７に表示させる制御を行う。

ところで、受信装置２００のデバイスの性能等によっては、上述したフレームの取得、変化領域の判別、変化領域の色の判別、及び、ビット列データの復号に要する処理時間が、光の変化周期や撮像周期であるｔ１を超え、処理遅延が生じる場合がある。

図４は、従来の受信装置における処理のタイミングチャートである。図４（Ａ）に示すように、送信装置によって、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各波長の光が変化周期ｔ１で時間的に変化しながら出力される場合を考える。この場合、図４（Ｂ）では、受信装置におけるフレームの取得、変化領域の判別、変化領域の色の判別、及び、ビット列データの復号に要する処理時間は時間ｔ１以内である。このため、受信装置において処理遅延が生じることはなく、正確に通信対象の情報を取得することができる。

一方、図４（Ｃ）では、受信装置におけるフレームの取得、変化領域の判別、変化領域の色の判別、及び、ビット列データの復号に要する処理時間は時間ｔ１を超える。このため、受信装置において処理遅延が生じ、ビットデータ列の一部が欠落し、正確に通信対象の情報を取得することができない。

このため、本実施形態では、受信装置２００において処理遅延が発生することが想定される場合には、画像生成部２３２はフレームを取得する。更に、復号部２３４は、そのフレームを一時的にメモリ２０４に記憶しておき、その後の所定のタイミングで変化領域の判別、変化領域の色の判別、及び、ビット列データの復号を行うようにする。

具体的には、まず、復号部２３４は、受信装置２００において処理遅延が生じるか否かの判定（デバイス判定）を行う。例えば、復号部２３４は、予め認識している制御部１０２を構成するＣＰＵ（Central Processing Unit）の処理速度や、フレームの解像度等に基づいて、処理遅延が発生するか否かを判定することができる。また、復号部２３４は、処理遅延判定用のプログラムを起動し、サンプルのフレームの処理時間を計測・比較することで、その結果から処理遅延が生じるか否かを判定することができる。また、送信装置１００は、変化周期ｔ１で赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各波長の光を出力するが、ｔ１よりも長い周期ｔ２でヘッダとしての無発光の期間が生じさせている。この場合には、復号部２３４は、変化領域を判別し、更に周期ｔ２で無発光を判別することができた場合には、処理遅延が生じないと判定し、変化領域を判別したが、周期ｔ２で無発光を判別することができない場合には、処理遅延が発生すると判定する。

デバイス判定の結果、処理遅延が発生する場合には、以下の処理が行われる。図５は、受信装置２００における処理のタイミングチャートである。図５（Ａ）に示すように、送信装置によって、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各波長の光が変化周期ｔ１で時間的に変化しながら出力される場合を考える。この場合、受信装置２００におけるフレームの取得、変化領域の判別、変化領域の色の判別、及び、ビット列データの復号に要する処理時間が時間ｔ１を超えると、処理遅延が生じる。このため、図５（Ｂ）に示すように、画像生成部２３２は、撮像部２１４からの画像信号が入力される毎に、リアルタイムでフレームを生成（取得）し、復号部２３４は、このフレームを一時的にメモリ２０４に記憶する。その後、復号部２３４は、所定のタイミング（例えば、受信処理の終了後に、変化領域の判別、変化領域の色の判別、及び、ビット列データの復号を行う。

次に、光通信システム１の動作を説明する。光通信システム１においては、送信装置１００による送信処理、受信装置２００による受信処理が行われる。

送信装置１００の制御部１０２内の符号化・変調部１１０は、通信対象の情報をビットデータ列に符号化し、更に、ビットデータ列に基づくデジタル変調を行う。

次に、制御部１０２内の駆動部１１２は、符号化・変調部１１０が生成した信号に基づいて、送信部１１４に対して、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の光を発光周期ｔ１で時間的に変化させる制御を行う。これにより、送信部１１４は、駆動部１１２の制御により、変調された通信対象の情報に基づいて、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の光を同一の輝度で、発光周期ｔ１で出力する。

図６は、受信装置２００による受信処理の動作を示すフローチャートである。まず、制御部２０２内の復号部２３４は、デバイス判定を行い（ステップＳ１０１）、デバイス判定の結果、受信装置２００において処理遅延が生じるか否かを判定する（ステップＳ１０２）。

処理遅延が発生しない場合（ステップＳ１０２；ＮＯ）、制御部２０２内の画像生成部２３２は、撮像部２１４からの画像信号が入力される毎に、リアルタイムで、当該画像信号をデジタルデータに変換してフレームを生成（取得）し、表示制御部２３６は、フレームに対応する画像を表示部２０７に表示させる制御を行う（ステップＳ１０３）。

次に、復号部２３４は、時系列的に連続して入力されるフレームにおける波長の変化による色相変化が生じる箇所（変化領域：光源）の判別を行う（ステップＳ１０４）。次に、復号部２３４は、フレーム内の変化領域の色相値（波長の種類）を取得し、その色相値に対応する変化領域の色を、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の何れかに判別する（ステップＳ１０５）。更に、復号部２３４は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色に対応するビットデータ列を復号し、通信対象の情報を取得する（ステップＳ１０６）。その後、表示制御部２３６によって、通信対象の情報の画像が表示部２０７を表示させる制御が行われる。

一方、処理遅延が発生する場合（ステップＳ１０２；ＹＥＳ）、画像生成部２３２は、撮像部２１４からの画像信号が入力される毎にフレームを生成（取得）し、フレームに対応する画像を表示部２０７に表示させる制御は維持しつつも、復号部２３４は、このフレームを一時的にメモリ２０４に記憶する（ステップＳ１０８）。そしてこの記憶されたフレーム数が、所定長分（一若しくはＮ（Ｎは自然数）分の光信号の長さ）に繰り返されたか否かを判断する（ステップＳ１０９）、所定長分繰り返されたと判断されなければ（ステップＳ１０９；ＮＯ）、再びステップＳ１０８の処理に戻る。一方、所定長分繰り返されたと判断されると（ステップＳ１０９；ＹＥＳ）、復号部２３４は、その時点でフレームのメモリ２０４への記憶処理を止め、ステップＳ１０４以降の処理を実行する。更に、表示制御部２３６によって、通信対象の情報の画像が表示部２０７を表示させる制御も行われる。

以上説明したように、本実施形態に係る光通信システム１では、受信装置２００における、フレームの取得、変化領域の判別、変化領域の色の判別、及び、ビット列データの復号に要する処理時間が時間ｔ１を超え、処理遅延が発生する場合、画像生成部２３２はフレームを取得する。更に、復号部２３４は、そのフレームを一時的にメモリ２０４に記憶しておき、その後の所定のタイミングで変化領域の判別、変化領域の色の判別、及び、ビット列データの復号を行うようにする。これにより、処理遅延が生ることによって、ビットデータ列の一部が欠落し、正確に通信対象の情報を取得することができなくなることが防止される。

なお、本発明は、上記実施形態に限定されず、様々な変形及び応用が可能である。例えば、上述した実施形態では、可視光である赤（Ｒ）、緑（Ｇ）、青（Ｂ）の光を通信に用いる場合について説明したが、他の色の可視光を用いてもよく、更には、赤外線等の可視光以外の光を用いてもよい。

また、送信装置１００内の送信部１１４は、例えば、表示部の一部に構成されていてもよい。

また、受信装置２００は、撮像が可能であれば、どのような装置でもよく、撮像部２１４は、送信装置１００の送信部１１４の像のみを撮像し、走査（スキャン）するようにしてもよい。こうすることで、より処理遅延や記録すべきフレームの総データ量の増加を回避することができる。例えば、ＰＨＳ（Personal Handy-phone System）、ＰＤＡ（Personal Digital Assistant又はPersonal Data Assistance）、タブレットＰＣ（Personal Computer）、ゲーム機器、携帯型音楽再生装置等であってもよい。

また、受信装置２００の機能と送信装置１００の機能とを両方備える装置を用意し、場面に応じて、両機能を使い分けることができるようにしてもよい。

また、上記各実施形態において、実行されるプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto-Optical disc）等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをインストールすることにより、上述の処理を実行するシステムを構成することとしてもよい。

また、プログラムをインターネット等のネットワークＮＷ上の所定のサーバが有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、ダウンロード等するようにしてもよい。

なお、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、ダウンロード等してもよい。

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

（付記１）
時系列的に変化する可視光が含まれる画像を連続的に取得する取得手段と、
前記取得手段によって連続的に取得された画像に含まれる可視光から順次情報へ復号する復号手段と、
所定の速度と前記取得手段による取得速度又は前記復号手段による処理速度とに基づく判定により、前記取得手段によって取得された画像を連続的に記録する記録手段と、
を備え、
前記復号手段は、前記記録手段による前記画像の記録があった場合は、これら記録された複数の画像に含まれる可視光から順次情報へ復号することを特徴とする復号装置。

（付記２）
前記時系列的な変化は、巡回的なものであり、
前記記録手段は、前記巡回的な変化の少なくとも一周期に相当する画像を記録することを特徴とする付記１に記載の復号装置。

（付記３）
前記取得手段の取得性能又は前記復号手段の復号性能の少なくとも何れかを記憶する性能記憶手段を更に備え、
前記記録手段は、前記性能記憶手段に記憶されたこれらの性能に基づいて、前記所定の速度と前記取得手段による取得速度又は前記復号手段による処理速度とに基づく判定を行うことを特徴とする付記１又は２に記載の復号装置。

（付記４）
前記所定の速度とは、時系列的な変化の速度であることを特徴とする付記１乃至３の何れか１つに記載の復号装置。

（付記５）
時系列的に変化する可視光が含まれる画像を連続的に取得する取得ステップと、
前記取得ステップにおいて連続的に取得された画像に含まれる可視光から順次情報へ復号する復号ステップと、
所定の速度と前記取得ステップにおける取得速度又は前記復号ステップにおける処理速度とに基づく判定により、前記取得ステップにおいて取得された画像を連続的に記録する記録ステップと、
を含み、
前記復号ステップは、前記記録ステップにおける前記画像の記録があった場合は、これら記録された複数の画像に含まれる可視光から順次情報へ復号することを特徴とする復号方法。

（付記６）
コンピュータを、
時系列的に変化する可視光が含まれる画像を連続的に取得する取得手段、
前記取得手段によって連続的に取得された画像に含まれる可視光から順次情報へ復号する復号手段、
所定の速度と前記取得手段による取得速度又は前記復号手段による処理速度とに基づく判定により、前記取得手段によって取得された画像を連続的に記録する記録手段、
として機能させ、
前記復号手段は、前記記録手段による前記画像の記録があった場合は、これら記録された複数の画像に含まれる可視光から順次情報へ復号することを特徴とするプログラム。

１…光通信システム、１００…送信装置、１０２…制御部、１０４…メモリ、１１０…符号化・変調部、１１２…駆動部、１１４…送信部、２００…受信装置、２０２…制御部、２０４…メモリ、２０６…操作部、２０７…表示部、２０８…無線通信部、２１０…アンテナ、２１４…撮像部、２３２…画像生成部、２３４…復号部、２３６…表示制御部

Claims (6)

1. 時系列的に変化する可視光が含まれる画像を連続的に取得する取得手段と、
   前記取得手段によって連続的に取得された画像に含まれる可視光から順次情報へ復号する復号手段と、
   前記取得手段によって取得された画像を連続的にメモリに記録する記録制御手段と、
   前記取得手段の取得性能又は前記復号手段の復号性能の少なくとも何れかを記憶する性能記憶手段と、
   前記性能記憶手段に記憶されたこれらの性能から、前記取得手段による前記画像の取得又は前記復号手段による復号に遅延が発生するか否かを判断し、前記取得手段による前記画像の取得又は前記復号手段による復号に遅延が発生している場合は、前記記録制御手段によって前記メモリに記録された複数の画像に含まれる可視光から順次情報へ復号し、前記遅延が発生していない場合は、前記連続的に取得された画像に含まれる可視光から順次情報へ復号するよう前記復号手段を制御する制御手段と、
   を備えることを特徴とする復号装置。
2. 前記時系列的な変化は、巡回的なものであり、
   前記記録制御手段は、前記巡回的な変化の少なくとも一周期に相当する画像を前記メモリに記録することを特徴とする請求項１に記載の復号装置。
3. 前記性能記憶手段は、前記取得手段による取得速度又は前記復号手段による処理速度の少なくとも何れかを記憶し、
   前記記録制御手段は、前記取得手段による取得速度又は前記復号手段による処理速度に基づき、処理に遅延が発生すると判断した場合に、前記取得手段によって取得された画像を連続的に前記メモリに記録することを特徴とする請求項１又は２に記載の復号装置。
4. 前記制御手段は、前記遅延が発生していない場合は、前記取得手段によって取得された複数の画像を前記記録制御手段による記録をすることなく、前記連続的に取得された画像に含まれる可視光から順次情報へ復号するよう前記復号手段を制御することを特徴とする請求項１乃至３の何れかに記載の復号装置。
5. 時系列的に変化する可視光が含まれる画像を連続的に取得する取得ステップと、
   前記取得ステップにおいて連続的に取得された画像に含まれる可視光から順次情報へ復号する復号ステップと、
   前記取得ステップにて取得された画像を連続的にメモリに記録する記録制御ステップと、
   前記取得ステップでの取得性能又は前記復号ステップでの復号性能の少なくとも何れかから、前記取得ステップでの前記画像の取得又は前記復号ステップでの復号に遅延が発生しているか否かを判断し、前記取得ステップでの前記画像の取得又は前記復号ステップでの復号に遅延が発生している場合は、前記記録制御ステップにて前記メモリに記録された複数の画像に含まれる可視光から順次情報へ復号し、前記遅延が発生していない場合は、前記連続的に取得された画像に含まれる可視光から順次情報へ復号するよう前記復号ステップを制御する制御ステップと、
   を含むことを特徴とする復号方法。
6. コンピュータを、
   時系列的に変化する可視光が含まれる画像を連続的に取得する取得手段、
   前記取得手段によって連続的に取得された画像に含まれる可視光から順次情報へ復号する復号手段、
   前記取得手段によって取得された画像を連続的にメモリに記録する記録制御手段、
   前記取得手段による取得性能又は前記復号手段による復号性能の少なくとも何れかから、前記取得手段による前記画像の取得又は前記復号手段による復号に遅延が発生しているか否かを判断し、前記取得手段による前記画像の取得又は前記復号手段による復号に遅延が発生している場合は、前記記録制御手段によって前記メモリに記録された複数の画像に含まれる可視光から順次情報へ復号し、前記遅延が発生していない場合は、前記連続的に取得された画像に含まれる可視光から順次情報へ復号するよう前記復号手段を制御する制御手段、
   として機能させることを特徴とするプログラム。

Images