JP7670321B2 - 画像監視装置、方法及びプログラム - Google Patents

Description

本開示は画像監視装置、方法及びプログラムに関する。

近年、広告や店頭表示の新たな形態として、デジタルサイネージが利用される。デジタルサイネージは、ディスプレイ上にイメージを表示することによって、１つのディスプレイによって複数のコンテンツや動画を表示させることができ、紙等の媒体を用いた表示方法に比べて幅広く利用できる。しかし、ディスプレイの不具合によって、表示したい映像等が表示されないといったトラブルが発生する可能性がある。不具合とは、ディスプレイ、表示を制御する端末装置、ネットワーク機器の故障に起因するもの等、様々な事象が考えられる。

ディスプレイに映像等が表示されないことによって、ディスプレイを用いた広告の価値が劣るのみならず、例えば複数台のディスプレイを用いて１つの表示形態とする場合においては、１台のディスプレイのみが表示されない場合であっても、広告の外観的価値が大幅に下がるなど問題がある。そのため、できる限り早く不具合を自動的に検知し、管理者に知らせることが望ましい。

特許文献１には、動画から所定の間隔で画像を抽出することによって、動画の画像停止や黒画像を検出する技術が開示されている。また、特許文献２には、表示装置に表示された映像を監視することによって、当該映像が現実に表示されているか否かを判断する技術が開示されている。

特開２０１９－２１２９７０号公報 特開２０１１－１３５４７７号公報

動画から所定の間隔で画像を抽出することによって、すなわちキャプチャ画像を用いて現実の表示の変化を検知する方法によれば、実際の表示とキャプチャ画像が一致しているとは限らない。画面のキャプチャは、表示処理を行っている装置によって行われ、ディスプレイにその画像が正しく表示されているとは限らず、ディスプレイが故障している場合は実際の表示とキャプチャ画像は一致しないことがあり得るためである。また、表示処理を行っている装置の故障等により画面異常が発生している場合は、キャプチャ画像の生成ができない。

本開示は、このような問題点を解決するためになされたものであり、ディスプレイに表示させるための機器の異常によってディスプレイの表示に変化が起きなくなったことを、自動的に検知することができる画像監視装置、方法及びプログラムを提供することを目的とする。

本開示にかかる画像監視装置は、サイネージシステムにおいて用いられるディスプレイを定期的に撮影した画像を取得する取得部と、取得した前記画像に含まれる、前記ディスプレイに表示された表示画像を特定する特定部と、異なる時間に撮影された複数の前記画像それぞれにおいて、前記特定部によって特定された前記表示画像同士を比較した結果に基づいて、前記ディスプレイの表示状態を判定する判定部とを備える。

本開示にかかる画像監視方法は、サイネージシステムにおいて用いられるディスプレイを定期的に撮影した画像を取得するステップと、取得した前記画像に含まれる、前記ディスプレイに表示された表示画像を特定するステップと、異なる時間に撮影された複数の前記画像それぞれにおいて、前記特定された表示画像同士を比較した結果に基づいて、前記ディスプレイの表示状態を判定するステップを備える。

本開示にかかる画像監視プログラムは、サイネージシステムにおいて用いられるディスプレイを定期的に撮影した画像を取得する処理と、取得した前記画像に含まれる、前記ディスプレイに表示された表示画像を特定する処理と、異なる時間に撮影された複数の前記画像それぞれにおいて、前記特定された表示画像同士を比較した結果に基づいて、前記ディスプレイの表示状態を判定する処理をコンピュータに実行させる画像監視プログラムである。

本開示によれば、ディスプレイに表示させるための機器の異常によってディスプレイの表示に変化が起きなくなったことを、自動的に検知することができる画像監視装置、方法及びプログラムを提供することができる。

本開示における実施形態１にかかる画像監視装置の構成図である。 本開示における実施形態２にかかる表示異常検知装置の構成図である。 本開示における実施形態２にかかるカメラから取得した画像に対してマスク処理を行って生成した画像の概要を示す図である。 本開示における実施形態２にかかるマスク画像を多重化させた比較用画像を用いて差分値を算出するイメージを示す図である。 本開示における実施形態２にかかるディスプレイを撮影するカメラの設置イメージを示す図である。 本開示における実施形態２にかかる異常判定部が行う異常判定処理のフロー図である。

以下、図面を参照しつつ、実施の形態について説明する。なお、図面は簡略的なものであるから、この図面の記載を根拠として実施の形態の技術的範囲を狭く解釈してはならない。また、同一の要素には、同一の符号を付し、重複する説明は省略する。

＜実施形態１＞
本実施形態における画像監視装置１の構成について、図１を用いて説明する。図１は、本実施形態にかかる画像監視装置１の構成図である。画像監視装置１は、取得部２、特定部３及び判定部４を備える。

取得部２は、サイネージシステムにおいて用いられるディスプレイを定期的に撮影した画像を取得する。「定期的に」とは、一定時間間隔でないものも含まれる。特定部３は、取得部２が取得した画像に含まれる、ディスプレイに表示された表示画像を特定する。判定部４は、異なる時間に撮影された複数の画像それぞれにおいて、特定部３によって特定された表示画像同士を比較した結果に基づいて、ディスプレイの表示状態を判定する。

本実施形態における画像監視装置１によれば、ディスプレイに表示させるための機器の異常によってディスプレイの表示に変化が起きなくなったことを、自動的に検知することができる。

＜実施形態２＞
本実施形態における表示異常検知装置１０の構成について、図２を用いて説明する。図２は、本実施形態における表示異常検知装置１０の構成図である。表示異常検知装置１０は、画像取得部１１、画像格納部１２、差分算出部１３、異常判定部１４及び通報部１５を備え、カメラ２０が撮影した画像を取得する。表示異常検知装置１０は、サイネージシステムにおいて用いられるディスプレイ１６の画像に変化が起きなくなったことを、自動的に検知する。

画像取得部１１は、カメラ２０がディスプレイ１６を定期的に撮影した画像を取得する。「定期的に」とは、例えば、ディスプレイ１６に静止画が数秒ごとに切替えて表示される場合において、静止画が切り替わるタイミングである秒数であってもよいし、これに限らず任意に設定することができる。また、「定期的に」とは、一定時間間隔でないものも含まれる。画像取得部１１がカメラ２０から画像を取得するタイミングは、同じ静止画を二回以上取得しないタイミングに設定することが好ましい。

画像取得部１１は、ディスプレイ１６の表示領域外から移り込んだ映像の影響を排除するために、取得した画像に含まれる、ディスプレイ１６に表示された表示画像を特定する。特定の方法は、カメラ２０から取得した画像に対してマスク処理を行ってもよい。画像取得部１１は、カメラ２０が撮影したディスプレイ１６の画像に対して、ディスプレイ１６に表示された表示画像を含む領域を囲う枠を重畳させ、その枠からディスプレイ１６の画像の周縁部をマスク処理する。

ここで、カメラ２０から取得した画像に対してマスク処理を行って生成した画像の概要を、図３を用いて説明する。図３は、カメラ２０から取得した画像に対してマスク処理を行って生成した画像の概要を示す図である。図３に示すように、画像取得部１１は、あらかじめ設定された４点を直線で結んだ台形の枠の外側を黒く塗りつぶしたマスク画像を生成する。なお、マスク画像の生成は、４点を直線に結んだ形状に限らず、様々な多角形などの形状を用いてもよい。画像取得部１１において生成されたマスク画像は、後に述べるように差分算出部１３において比較用画像として用いられる。

画像格納部１２は、画像取得部１１が取得した、ディスプレイ１６に表示された画像を比較用画像として格納する。画像格納部１２は、ディスプレイ１６に表示された画像に対してマスク処理された比較用画像を格納してもよい。画像格納部１２は、取得した比較用画像と、その１つ前のタイミングにおいて取得した比較用画像の２枚の画像を格納する。画像格納部１２は、新しい画像が保存されると、格納されている２枚の画像のうち古い方の画像を消去してもよい。

差分算出部１３は、画像格納部１２に格納されている２枚の画像それぞれに含まれる、ディスプレイ１６の表示画像同士を比較して差分値を算出する。差分値は、２枚の表示画像における画素において異なる色のそれぞれに対応する成分値を算出することによって得られる画素値の差の合計値である。画素値は、ＲＧＢの各色成分を用いてもよい。ＲＧＢの値として、０～２５５の値を取った場合、例えば、白色はＲＧＢ＝（２５５、２５５、２５５）と表される。差分値は、ＲＧＢの各色成分の画素値を用いた、２枚の画像の画素ごとの差分に基づいて算出してもよい。また、差分値は、比較用画像内の全画素から算出してもよいし、例えば等間隔に抽出した画素のみから算出してもよい。

ここで、差分算出部１３が行う、マスク処理を行った比較用画像を用いて差分値を算出する処理の概要について、図４を用いて説明する。図４は、マスク処理を行った比較用画像を用いて差分値を算出するイメージを示す図である。図４に示すように、前回のタイミングにおいて取得された画像及び今回取得した画像のうち、マスクされていない領域について、差分値を算出するための比較をすることができる。マスク領域の差分値は、０となるためである。

差分算出部１３は、前回の取得画像と今回の取得画像に含まれる、マスクされていない領域についてのみ、差分値を算出することができる。差分算出部１３が算出した差分値は、カメラ２０が撮影した画像のうち、ディスプレイ１６の表示画像への移り込みの影響を排除した値となる。

異常判定部１４は、差分算出部１３が算出した差分値に基づいて、ディスプレイ１６に表示された画面が正常に変化しているか否かを判定する。異常判定部１４は、通報部１５に判定した結果を通知する。異常判定部１４が行う異常判定処理の詳細については、後に説明する。

通報部１５は、異常判定部１４からディスプレイ１６に表示された画面が正常に変化しているか否かを判定した結果の通知を受け、その結果を報知する。報知の手段は、例えば管理者への電子メール等の文字による手段、音声を用いた手段及び表示手段等、様々な手段を用いることができる。

ディスプレイ１６におけるカメラ２０の設置イメージを図５に示す。図５に示すように、カメラ２０は、ディスプレイ１６側を向くように設置され、ディスプレイ１６に表示される画像を撮影することができる。図５に示すように、カメラ２０は、ディスプレイ１６の斜め上から直接ディスプレイ１６に表示される画像を撮影するが、斜め上からの方向に限らず、様々な方向からディスプレイ１６を撮影することができればよい。なお、ディスプレイ１６の設置場所によってはディスプレイ１６の前を人が往来するような状況も考えられる。そのため、本実施形態においてカメラ２０はディスプレイ１６の上部に固定し、ディスプレイ１６を斜め上から見下ろすような角度で設置する。また、カメラ２０は、ディスプレイ１６への、撮影環境における照明等の映り込みを低減するために、レンズに偏光フィルタを備えてもよい。

ここで、異常判定部１４が行う異常判定処理について、図６を用いて説明する。図６は、異常判定部１４が行う異常判定処理のフロー図である。αは、ディスプレイ１６に表示された画面が正常に変化しているか否かを判定するための、差分値の閾値である。βは、差分値が閾値αである場合、すなわち画像が変化していないものと推定される回数である、異常カウント数の閾値である。閾値α及びβは、任意に設定できる。

異常判定部１４は、差分算出部１３が算出した差分値を取得する（ステップ１０１）。異常判定部１４は、前回取得画像と今回取得画像との差分値が閾値αを超えた場合、画面は正常に変化していると判定し、（ステップ１０２のＮＯ）、異常カウント数を０にクリアする（ステップ１０３）。異常判定部１４は、算出された差分値が閾値α以下の場合は（ステップ１０２のＹＥＳ）、画面に変化がないものとして異常カウント数を１加算する（ステップ１０４）。異常判定部１４は、異常カウント数が閾値β未満であれば（ステップ１０５のＮＯ）、次の差分値が入力されるまで現在の異常カウント数を保持し、待機する。異常判定部１４は、異常カウント数が閾値β以上となれば（ステップ１０５のＹＥＳ）、ディスプレイ１６に表示された画面に異常が発生していると判定し、異常が発生した旨を通報部１５に通知し（ステップ１０６）、処理を終了する。

上述のとおり、表示異常検知装置１０は、ディスプレイ１６の外部に設置したカメラ２０が撮影した画像に基づいて、ディスプレイ１６に表示された画像の変化を検知する。そのため、表示異常検知装置１０の処理が、他の機器が行うディスプレイ１６の表示処理に何らかの影響が生じることを抑制することができる。また、表示異常検知装置１０は、カメラ２０が撮影した画像間の差分に基づいて異常を検知する。そのため、表示異常検知装置１０は、ディスプレイ１６に表示される動画や静止画を事前に記憶させる必要はなく、現実に表示された画像と比較するための膨大な画像を予め記憶するという手間がかからない。また、カメラ２０は高い解像度でなくてもよく、歪み補正等の機能を備える必要がない。

本実施形態における表示異常検知装置１０によれば、ディスプレイ１６に表示させるための機器の異常によってディスプレイ１６の表示に変化が起きなくなったことを自動的に検知することができる。

＜実施形態３＞
本実施形態における表示異常検知装置１０の差分算出部１３は、画像を複数の領域に区切り、区切った領域ごとに、画像取得部１１が取得した画像と画像格納部１２に格納されている画像とを比較し、差分値を算出する。異常判定部１４は、差分算出部１３が算出した差分値に基づいて、ディスプレイ１６における表示異常の有無を判定する。

したがって、異常判定部１４は、算出された差分値を、前回取得した画像と、今回取得した画像における対応する領域ごとに設けた差分の閾値αと比較する。異常判定部１４は、それぞれの画像に含まれる全ての領域の差分が閾値αを超えたときのみ、ディスプレイ１６に表示された画像が正常に変化していると判定する。

本実施形態における表示異常検知装置１０は、このような構成にすることによって、ディスプレイ１６に表示される画像の一部分において異常が発生しているような場合であっても、異常を検出することができる。

＜その他の実施形態＞
本開示における画像監視装置１は、例えば、画像監視方法としての実施形態を備える。すなわち画像監視方法は、サイネージシステムにおいて用いられるディスプレイを定期的に撮影した画像を取得するステップと、取得した前記画像に含まれる、前記ディスプレイに表示された表示画像を特定するステップと、異なる時間に撮影された複数の前記画像それぞれにおいて、前記特定された表示画像同士を比較した結果に基づいて、前記ディスプレイの表示状態を判定するステップを備える。

上記の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体は、例えば、磁気記録媒体、光磁気記録媒体、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリを含む。半導体メモリは、例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory）などである。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

上記プログラムは、サイネージシステムにおいて用いられるディスプレイを定期的に撮影した画像を取得する処理と、取得した前記画像に含まれる、前記ディスプレイに表示された表示画像を特定する処理と、異なる時間に撮影された複数の前記画像それぞれにおいて、前記特定された表示画像同士を比較した結果に基づいて、前記ディスプレイの表示状態を判定する処理をコンピュータに実行させる画像監視プログラムである。

なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

１ 画像監視装置
２ 取得部
３ 特定部
４ 判定部
１０ 表示異常検知装置
１１ 画像取得部
１２ 画像格納部
１３ 差分算出部
１４ 異常判定部
１５ 通報部
１６ ディスプレイ
２０ カメラ

Claims (7)

1. サイネージシステムにおいて用いられるディスプレイの方向を向くように、前記ディスプレイを斜め上から見下ろすような角度で前記ディスプレイの上部に設置されたカメラを用いて、前記ディスプレイを定期的に撮影した画像を取得する取得部と、
   取得した前記画像に含まれる、前記ディスプレイに表示された表示画像を特定する特定部と、
   異なる時間に撮影された複数の前記画像それぞれにおいて、前記特定部によって特定された前記表示画像同士を比較した結果に基づいて、前記ディスプレイの表示状態を判定する判定部と、
   を備え、
   前記特定部は、撮影された前記ディスプレイの画像に対して、前記ディスプレイに表示された前記表示画像を含む領域を囲う、下底よりも長い上底を有する台形の枠を重畳させ、前記枠から前記ディスプレイの画像の周縁部をマスク処理する、
   画像監視装置。
2. 前記判定部は、異なる時間に撮影された２枚の前記画像それぞれに含まれる前記表示画像同士を比較して差分値を算出し、算出した当該差分値に基づいて、前記表示状態を判定する、
   請求項１に記載の画像監視装置。
3. 前記判定部は、前記差分値が閾値以下である回数を算出し、当該回数が閾値以上である場合に、前記ディスプレイに表示異常があると判定する、
   請求項２に記載の画像監視装置。
4. 前記判定部は、２枚の前記表示画像に対応する領域における画素において異なる色のそれぞれに対応する成分値を算出することによって得られる画素値の差の合計値を差分値として算出する、
   請求項２又は３に記載の画像監視装置。
5. 前記判定部は、２つの前記表示画像をそれぞれ複数の領域に区切り、対応する前記領域ごとに前記差分値を算出することによって前記ディスプレイにおける表示異常の有無を判定する、
   請求項２～４のいずれか１項に記載の画像監視装置。
6. サイネージシステムにおいて用いられるディスプレイの方向を向くように、前記ディスプレイを斜め上から見下ろすような角度で前記ディスプレイの上部に設置されたカメラを用いて、前記ディスプレイを定期的に撮影した画像を取得するステップと、
   取得した前記画像に含まれる、前記ディスプレイに表示された表示画像を特定するステップと、
   異なる時間に撮影された複数の前記画像それぞれにおいて、前記特定された表示画像同士を比較した結果に基づいて、前記ディスプレイの表示状態を判定するステップと、
   を備え、
   前記特定するステップでは、撮影された前記ディスプレイの画像に対して、前記ディスプレイに表示された前記表示画像を含む領域を囲う、下底よりも長い上底を有する台形の枠を重畳させ、前記枠から前記ディスプレイの画像の周縁部をマスク処理する、
   画像監視方法。
7. サイネージシステムにおいて用いられるディスプレイの方向を向くように、前記ディスプレイを斜め上から見下ろすような角度で前記ディスプレイの上部に設置されたカメラを用いて、前記ディスプレイを定期的に撮影した画像を取得する処理と、
   取得した前記画像に含まれる、前記ディスプレイに表示された表示画像を特定する処理と、
   異なる時間に撮影された複数の前記画像それぞれにおいて、前記特定された表示画像同士を比較した結果に基づいて、前記ディスプレイの表示状態を判定する処理と、
   をコンピュータに実行させ、
   前記特定する処理では、撮影された前記ディスプレイの画像に対して、前記ディスプレイに表示された前記表示画像を含む領域を囲う、下底よりも長い上底を有する台形の枠を重畳させ、前記枠から前記ディスプレイの画像の周縁部をマスク処理する、
   画像監視プログラム。

Images