JP7703365B2 - 注視領域の自動表示システムおよびそれを用いた遠隔状態監視システム - Google Patents

Description

本発明は、遠隔状態監視を支援する技術に係り、特に物体検出技術を用いて設定した注視領域の自動抽出・切り出しによって情報量を削減して無線伝送する技術に関する。

労働人口の減少や熟練者の引退による人手不足を補う、もしくは少ない人員で効率よく監視をする等の目的で、遠隔状態監視システムは適用しうる。導入にかかるコストの観点から、監視ビデオカメラシステムでは１台の監視カメラで可能な限り広範な監視を行いたいという要望があるが、その場合、所望の解像度の映像が得られず、監視対象に重要なイベントが発生した場合にも必要な情報が得られない事例が起こる場合がある。

本技術分野における背景技術として特許文献１がある。特許文献１では、撮像領域における注視領域をあらかじめ設定し、対象物の状態、すなわち、位置や移動状態などに応じて注視領域から表示する領域を決定する情報処理装置が開示されている。

国際公開第２０１９／０８７５７７号

特許文献１では、対象物が移動した場合においても、表示装置には適切な場所の映像が自動で表示されるものの、注視領域や表示位置を決めるのは撮影者側であり、観察者側は映された映像を見るだけとなり、所望の観察位置を設定することができないという課題がある。

遠隔状態監視システムでは、１台の監視カメラで可能な限り広範な監視を行いつつ、監視対象に重要なイベントが発生した場合に詳細を確認できるように、監視対象は高解像度な映像で監視する必要がある。例えば、第５世代移動通信システム（５Ｇ）のような高速・大容量・低遅延な無線通信を使うことで、高解像度のカメラ映像を遠隔状態監視システムに利用することができるが、高解像度のカメラ映像を常に利用し続けるのは通信帯域や情報処理装置への負荷が大きいことから避けたい。また、常に高解像度の物体画像を記憶するのは、記憶装置に高い負荷がかかるため避けたい。さらに、監視対象は監視を実施している観察者が設定する方が使い勝手がよく、観察者が適宜監視をしながら対象を設定、解除する仕組みを有することが望ましい。

本発明の目的は、上記課題を鑑み、遠隔監視をする観察者が、設定した注視領域映像を自動で取得し表示することができる注視領域の自動表示システムおよびそれを用いた遠隔状態監視システムを提供することである。

本発明は、その一例を挙げるならば、注視領域の自動表示システムであって、映像入力部と、映像入力部から入力された全体映像の中から特定の物体を検出する物体検出部と、物体検出部で検出された物体の一部もしくは全体が入る領域、もしくは全体映像内の所定の領域を注視領域として設定する注視領域設定部と、設定した注視領域情報に対応する制御信号を受信する制御信号受信部と、制御信号に従って全体映像から注視領域を取得する注視領域取得部と、取得した注視領域の映像を出力する映像出力部とを備え、映像入力部、制御信号受信部、注視領域取得部は入力端末に配置され、注視領域設定部、映像出力部は出力端末に配置され、入力端末と出力端末の間は無線通信によって情報を伝送する。

本発明によれば、設定した注視領域映像を自動で取得し表示することができる。

実施例１における注視領域の自動表示システムの構成を示すブロック図である。 実施例１における注視物体の注視領域を設定する設定画面のＧＵＩを示すイメージ図である。 実施例１における注視物体の注視領域を設定する設定画面のＧＵＩを示すイメージ図である。 実施例１における注視物体の注視領域を設定する設定画面のＧＵＩを示すイメージ図である。 実施例１における注視物体の注視領域を設定する設定画面のＧＵＩを示すイメージ図である。 実施例１における画面上の注視領域を設定する設定画面のＧＵＩを示すイメージ図である。 実施例１における画面上の注視領域を設定する設定画面のＧＵＩを示すイメージ図である。 実施例１における画面上の注視領域を設定する設定画面のＧＵＩを示すイメージ図である。 実施例１における画面上の注視領域を設定する設定画面のＧＵＩを示すイメージ図である。 実施例２における注視領域の自動表示システムの構成を示すブロック図である。 実施例２における映像合成部で合成する方法を説明する図である。 実施例２における映像合成部で合成する方法を説明する図である。 実施例２における映像合成部で合成する方法を説明する図である。 実施例２における合成映像の例を示すイメージ図である。 実施例２における合成映像の他の例を示すイメージ図である。 実施例３における注視領域の自動表示システムの構成を示すブロック図である。 実施例４における注視領域の自動表示システムの構成を示すブロック図である。 実施例５における遠隔状態監視システムの構成を示すブロック図である。 実施例５における多拠点で監視する遠隔状態監視システムの構成を示すブロック図である。

以下、本発明の実施例について図面を参照して説明する。

図１は、本実施例における注視領域の自動表示システムの構成を示すブロック図である。図１において、入力端末１００は撮像装置１２０から全体映像が入力されるコンピュータ端末である。また、出力端末１１０は入力端末１００から伝送された映像を表示装置１３０に出力するコンピュータ端末である。コンピュータ端末は、一般的なパーソナルコンピュータやサーバー機器、ＩｏＴデバイスなどから情報を収集する情報処理端末など、所望の情報処理が可能な端末であればよい。すなわち、コンピュータ端末のハードウェアイメージとしては、一般的なＣＰＵ（Central Processing Unit）等の処理プロセッサと記憶装置で構成され、記憶装置からそれぞれの機能を実現するプログラムや情報を読み出して、所定の処理をソフトウェア処理にて実行する。

図１において、入力端末１００に配置された映像入力部１０１から入力された全体映像は、入力端末１００に配置された映像圧縮部１０２で入力映像よりも解像度の低い圧縮映像となり、出力端末１１０に配置された物体検出部１１７に伝送される。物体検出部１１７では、テンプレートマッチングや深層学習による物体検出ＡＩなど、既知の物体検出技術を用いて全体画像の中に含まれる特定の物体（人・物）を検出する。

出力端末１１０に配置された注視領域設定部１１２では、物体検出部１１７で検出された物体の一部もしくは全体が入る注視領域を設定する。入力端末１００に配置された制御信号受信部１０３では、注視領域設定部１１２で設定した注視領域情報に対応する制御信号を受け取る。入力端末１００に配置された注視領域取得部１０４では、制御信号に従って全体映像から注視領域を取得する。出力端末１１０に配置された映像出力部１１３では、注視領域映像を受け取り、表示装置１３０に映像を出力する。これら入力端末１００および出力端末１１０の間は、無線通信によって情報を伝送する。

図１において、入力端末１００と出力端末１１０の間の無線通信は５Ｇのような高速・大容量・低遅延な無線通信を使用するため、伝送遅延は少ない。さらに、伝送される映像は圧縮映像や全体映像から切り出された注視領域映像のため、通信帯域や物体検出部での情報演算の負荷を抑えることができる。また、注視領域設定部１１２が出力端末１１０に配置されていることから、遠隔監視をする観察者が出力端末１１０を操作し、表示装置１３０の映像を見ながら注視領域を設定することができる。

次に、注視物体の注視領域設定について説明する。図２Ａから図２Ｄは、図１の注視領域設定部１１２において、観察者が入力する注視領域情報を設定する設定画面のＧＵＩ(Graphical User Interface) を示すイメージ図である。遠隔状態監視システムの観察者は、ＧＵＩを用いて注視対象の物体や領域を設定することができる。このＧＵＩは、表示装置１３０に表示してもよいし、専用モニターを設置して表示してもよい。

図２Ａにおいて、観察者は画面上のポインタ６０３をマウス等で操作して条件を設定する。全体画面が表示される注視領域設定画面６００には物体検出部１１７で物体検出された全体映像が表示されており、複数の第１の物体６０４（例えば人）および第２の物体６０５（例えば車）は物体検出結果としてバウンディングボックス(Bounding box)６０６で囲まれている。選択ボタン６０１を選択すると、注視物体の選択モードとなり、解除ボタン６０２を選択すると、選択されている注視物体および注視領域を解除する。切替ボタン６０９を押すと、表示装置１３０に表示される映像は、注視領域映像から全体映像に切り替わる。

選択ボタン６０１を選択すると、図２Ｂのように注視物体を選択するモードになる。ここでは真ん中の第１の物体６０４を選択するため、ポインタ６０３を移動させた場合を示している。第１の物体６０４を選択すると、図２Ｃのように選択した注視物体に対して注視領域を設定する注視選択窓６０７が表示される。ここで、注視選択窓６０７は、ポインタ６０３の指示ポイントを中心に観察者が事前に任意のサイズで設定することができる。注視選択窓６０７を注視物体の特に観察したい場所が映るように配置し、選択することで注視領域を決定する。

注視領域を決定すると、図２Ｄのように、選択ボタン６０１の選択モード表示は消え、注視領域を表す注視領域情報である注視窓６０８が表示される。この結果、注視物体の注視領域設定が完了する。

次に、画面上の注視領域設定について説明する。図２Ａから図２Ｄでは、特定の物体を選択し、その物体を追従するように所定の部分が注視領域の中心となるように設定した。図３Ａから図３Ｄは、物体ではなく画面上の特定の領域を注視するように設定する方法についての説明図である。図３Ａにおいて、図２Ａと同様に選択ボタン６０１を選択すると、注視物体の選択モードとなり、解除ボタン６０２を選択すると、選択されている注視物体および注視領域を解除する。選択ボタン６０１を選択すると、図３Ｂのように注視物体を選択するモードになる。図３Ｂでは、注視領域設定画面６００の左下の領域を注視領域として設定するために、バウンディングボックスで囲まれた物体のない領域を選択する。このため、ポインタ６０３を左下に移動させた場合を示している。

バウンディングボックスで囲まれた物体のない領域を選択すると、図３Ｃのように注視領域を設定する注視選択窓７０７が表示される。注視選択窓７０７を観察場所に配置し、選択することで注視領域を決定する。注視領域を決定すると、図３Ｄのように、選択ボタン６０１の選択モード表示は消え、注視領域を表す注視領域情報である注視窓７０８が表示される。この結果、画面上の注視領域の設定が完了する。

以上のように本実施例によれば、注視領域設定部が出力端末に配置されていることから、遠隔監視をする観察者が、出力端末を操作し、設定した注視領域映像を自動で取得し表示することで、表示装置の映像を見ながら注視領域を設定することができる。また、入力端末と出力端末の間の無線通信は５Ｇのような高速・大容量・低遅延な無線通信を使用するため、伝送遅延を低減できる。さらに、伝送される映像は圧縮映像や全体映像から切り出された注視領域映像のため、通信帯域や物体検出部での情報演算の負荷を抑えることができる。

図４は、本実施例における注視領域の自動表示システムの構成を示すブロック図である。図４において、図１と同じ機能は同じ符号を付し、その説明は省略する。図４において、図１と異なる点は、出力端末２１０内に全体映像加工部２１５および映像合成部２１６が追加で配置されている点である。

図４において、注視領域設定部１１２で設定した注視領域情報に対応する制御信号が制御信号受信部１０３および全体映像加工部２１５に伝送・入力される。全体映像加工部２１５では、映像圧縮部１０２より伝送される圧縮された全体映像に注視領域情報を追記加工する。さらに、映像合成部２１６では、全体映像加工部２１５から入力される加工映像と注視領域取得部１０４から伝送される注視領域映像を合成し、映像出力部１１３に入力する。

この結果、圧縮された解像度の低い全体映像と、全体映像から切り出された注視領域映像を同時に表示できることから、注視領域の周辺状況も含めた遠隔状態監視が可能となる。この構成の場合、映像合成部２１６において、全体映像加工部２１５から入力される映像に比べ、注視領域取得部１０４から伝送・入力される映像に遅延が生じる。しかしながら、５Ｇのような低遅延な無線通信を使用する場合には、その遅延を無視して使用することも可能であるし、映像情報に付加されたタイムスタンプで同期をとる制御を行ってもよい。

次に、図４の映像合成部２１６で合成する際の方法について説明する。図５Ａは映像入力部１０１に入力された全体映像を示す。図５Ｂは全体映像加工部２１５で注視領域情報を追記加工された、圧縮された全体映像を示す。図５Ｃは注視領域取得部１０４で高解像度の全体映像から切り出した注視領域映像を示す。図５Ｂの圧縮された全体映像と図５Ｃの注視領域映像から、映像を合成する。

図６は図５Ｂの圧縮された全体映像と図５Ｃの注視領域映像を並べて配置して合成した映像を示す。このように合成する場合は特別な制御を必要とせず、一般的な動画編集ソフトを用いることで並べて配置した映像を合成することができる。また合成する必要がない場合は、それぞれの映像を個別に起動した動画再生ソフトで表示することもできる。

図７は図５Ｂの圧縮された全体映像を元の映像のサイズに拡大表示し、さらに図５Ｃの注視領域映像を所定の位置の領域に埋め込み合成した映像を示す。このように合成する場合、注視領域を埋め込み合成する位置制御が必要になり、また映像の遅延が顕著に見えてしまうことから同期制御が必須となる。一方で、圧縮された低解像度の全体映像を確認しながら注視領域を高解像度で見ることができるため、遠隔状態監視システムとしてはより監視のしやすい映像表示となる。

以上のように本実施例によれば、圧縮された解像度の低い全体映像と、全体映像から切り出された注視領域映像を同時に表示できることから、注視領域の周辺状況も含めた遠隔状態監視が可能となる。

図８は、本実施例における注視領域の自動表示システムの構成を示すブロック図である。図８において、図４と同じ機能は同じ符号を付し、その説明は省略する。図８において、図４と異なる点は、全体映像加工部２１５および映像合成部２１６が入力端末３００内に配置されている点である。

図８において、注視領域設定部１１２で設定した注視領域情報に対応する制御信号が制御信号受信部１０３に伝送され、その後、注視領域取得部１０４および全体映像加工部２１５に各々の制御信号が入力される。注視領域取得部１０４では、映像入力部１０１より入力される全体映像から制御信号に従って注視領域を切り出し取得する。全体映像加工部２１５では、映像圧縮部１０２より入力される圧縮された全体映像に注視領域情報を追記加工し、それぞれの映像が映像合成部２１６に入力される。その後、映像合成部２１６で映像を合成し、映像出力部１１３に合成映像を伝送する。

この構成の場合、制御信号受信部１０３から同時に出力される制御信号によって注視領域映像の切り取りおよび全体映像の追記加工が実施されるため、図４の構成と比べて合成する映像間の遅延が非常に少なくなる。このため、映像間の遅延を無視して使用することができる。もちろん、映像情報に付加されたタイムスタンプで同期をとる制御を行ってもよい。

なお、遠隔状態監視システムにおいて、観察者が表示装置１３０で監視中に異常を察知した際、注視領域設定部１１２において、図２Ａで示した切替ボタン６０９を押すことで、高解像度の全体映像を取得することができる。この時、制御信号受信部１０３から注視領域取得部１０４には全体映像の画面全体を選択する信号が入力され、全体映像加工部２１５には映像合成部２１６に対して映像出力しないよう制御する信号が入力される。この結果、映像合成部２１６から高解像度の全体映像が出力されることとなる。この状態から再度、切替ボタン６０９を押すことで、元の注視領域映像と圧縮された全体映像に追記加工された映像の合成映像に戻すことができる。なお、このように手動で切替ボタン６０９を押すことで全体映像の出力切替えを行う代わりに、あらかじめ設定したトリガーに応じて自動で全体映像の出力切替えを行ってもよい。このように、手動もしくはあらかじめ設定したトリガーに応じて自動で、映像入力部１０１から入力された全体映像を映像出力部１１３に伝送する。

以上のように本実施例によれば、実施例２の効果に加えて、合成する映像間の遅延を少なくできるという効果がある。

図９は、本実施例における注視領域の自動表示システムの構成を示すブロック図である。図９において、図１と同じ機能は同じ符号を付し、その説明は省略する。図９において、図１と異なる点は、物体検出部１１７が入力端末４００内に配置されている点である。この構成にすることで、図１の場合と比べて入力端末４００から出力端末４１０に映像を伝送する回数を１回減らすことができ、システム全体の伝送遅延を減らすことができる。

なお、入力端末内で物体検出をする構成は図１に適用した図９に限ったものではなく、図４や図８の構成においても物体検出部１１７を入力端末内に配置してもよく、同様の伝送遅延削減効果が得られる。

図１０は、本実施例における遠隔監視システムの構成を示すブロック図である。図１０において、図１と同じ機能は同じ符号を付し、その説明は省略する。図１０において、図１と異なる点は、出力端末１１０に異常状態出力部１１１８を追加し、新たな出力端末１１１０とし、さらに異常出力装置１１４０を備えた点である。

図１０において、物体検出部１１７は、異常状態（人や物の転倒、過剰接近、接触、負傷、火災、浸水など）を検知した際に異常信号を出力する。そして、異常状態出力部１１１８は、異常信号に応じた異常状態信号を出力し、異常状態出力部１１１８に接続された異常出力装置１１４０が動作する。異常出力装置１１４０としては、異常表示灯、表示装置への表示、警告音、緊急停止信号、録画、録音など、一般的な異常の表示方法、記録方法を使用できる。なお、異常状態の検知対象は、全体映像の画面全体としてもよいし、注視領域としてもよい。また、異常出力装置１１４０を表示装置１３０と兼用してもよい。

図１１は図１０の遠隔監視システムの構成において、さらに追加で第２の出力端末１２５０を備えた構成を示す。この構成の場合、出力端末１１１０で設定した注視領域映像を、出力端末１１１０とは異なる場所に配置された、出力端末１２１０に異常状態出力部１２１８を追加した第２の出力端末１２５０で受信することができ、表示装置１２３０で観察することができる。また、異常出力装置１１４０と同一の異常出力装置１２４０を配置しておくことで、異常状態が出力される。このような多拠点監視は、例えば自動車や電車などの周囲を安全監視する場合に、監視者と運転者で情報を共有することができ、異常が発生した緊急時に素早く対応することができる。

なお、異常状態出力部および異常出力装置を有する構成は図１に適用した図１０、１１に限ったものではなく、図４や図８の構成に適用してもよく、同様の伝送遅延削減効果が得られる。

以上実施例について説明したが、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、映像データは録画して使用してもよい。また、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１００、３００、４００：入力端末、１０１：映像入力部、１０２：映像圧縮部、１０３：制御信号受信部、１０４：注視領域取得部、１１０、２１０、４１０、１１１０、１２１０：出力端末、１１２：注視領域設定部、１１３：映像出力部、１１７：物体検出部、１２０：撮像装置、１３０、１２３０：表示装置、２１５：全体映像加工部、２１６：映像合成部、６００：注視領域設定画面、６０１：選択ボタン、６０２：解除ボタン、６０３：ポインタ、６０４：第１の物体、６０５：第２の物体、６０６：バウンディングボックス、６０７、７０７：注視選択窓、６０８、７０８：注視窓、６０９：切替ボタン、１１１８、１２１８：異常状態出力部、１１４０、１２４０：異常出力装置、１２５０：第２の出力端末

Claims (12)

1. 映像を入力する映像入力部と、
   前記映像入力部から入力された全体映像の中から特定の物体を検出する物体検出部と、
   前記物体検出部で検出された物体の一部もしくは全体が入る領域、もしくは前記全体映像内の所定の領域を注視領域として設定する注視領域設定部と、
   前記注視領域設定部で設定した注視領域情報に対応する制御信号を受信する制御信号受信部と、
   前記制御信号に従って前記全体映像から前記注視領域を取得する注視領域取得部と、
   前記注視領域取得部で取得した前記注視領域の映像を出力する映像出力部を備え、
   前記映像入力部、前記制御信号受信部、前記注視領域取得部は入力端末に配置され、
   前記注視領域設定部、前記映像出力部は出力端末に配置され、
   前記入力端末と前記出力端末の間は無線通信によって情報を伝送する注視領域の自動表示システムにおいて、
   入力された前記全体映像を圧縮する映像圧縮部を前記入力端末に備え、
   前記圧縮された全体映像を前記出力端末に配置される前記物体検出部に入力して物体を検出することを特徴とする注視領域の自動表示システム。
2. 請求項１に記載の注視領域の自動表示システムにおいて、
   前記注視領域設定部で設定した前記注視領域情報を前記映像圧縮部で圧縮された全体映像に表示する全体映像加工部と、
   前記全体映像加工部と前記注視領域取得部から入力された映像を合成する映像合成部を備え、
   前記合成された映像を前記映像出力部から出力することを特徴とする注視領域の自動表示システム。
3. 請求項２に記載の注視領域の自動表示システムにおいて、
   前記全体映像加工部および前記映像合成部を出力端末に備えることを特徴とする注視領域の自動表示システム。
4. 請求項２に記載の注視領域の自動表示システムにおいて、
   前記全体映像加工部および前記映像合成部を入力端末に備え、
   前記全体映像加工部で前記制御信号受信部からの前記注視領域情報に対応する前記制御信号をもとに前記設定した注視領域情報を前記圧縮された全体映像に表示することを特徴とする注視領域の自動表示システム。
5. 請求項１から４の何れか１項に記載の注視領域の自動表示システムにおいて、
   手動もしくはあらかじめ設定したトリガーに応じて前記映像入力部から入力された全体映像を映像出力部に伝送することを特徴とする注視領域の自動表示システム。
6. 請求項２から５の何れか１項に記載の注視領域の自動表示システムにおいて、
   前記物体検出部が入力端末に配置されることを特徴とする注視領域の自動表示システム。
7. 請求項２から４の何れか１項に記載の注視領域の自動表示システムにおいて、
   前記映像合成部は、前記全体映像加工部と前記注視領域取得部から入力された映像を並べて配置した映像を合成することを特徴とする注視領域の自動表示システム。
8. 請求項２から４の何れか１項に記載の注視領域の自動表示システムにおいて、 前記映像合成部は、前記全体映像加工部から入力された映像を元の映像のサイズに拡大表示し、前記注視領域取得部から入力された映像を前記拡大表示した全体映像の所定の位置に埋め込み配置した映像を合成することを特徴とする注視領域の自動表示システム。
9. 請求項１から８の何れか１項に記載の注視領域の自動表示システムを備え、
   前記物体検出部が異常状態を検知すると異常信号を出力することを特徴とする遠隔状態監視システム。
10. 請求項９に記載の遠隔状態監視システムにおいて、
    前記異常信号を受信すると、異常表示、警告音、緊急停止信号、録画のうち少なくともいずれか１つを含む異常処理を実行するための異常状態信号を出力する異常状態出力部を前記出力端末に備えることを特徴とする遠隔状態監視システム。
11. 請求項１０に記載の遠隔状態監視システムにおいて、
    前記異常状態出力部とは異なる第２の異常状態出力部を有する第２の出力端末を少なくとも１つ以上備え、
    前記出力端末および前記第２の出力端末を異なる拠点に配置し、複数拠点で監視することを特徴とする遠隔状態監視システム。
12. 映像を入力する第１のステップと、
    前記入力された全体映像の中から特定の物体を検出する第２のステップと、
    前記検出された物体の一部もしくは全体が入る領域、もしくは前記全体映像内の所定の領域を注視領域として設定する第３のステップと、
    前記設定した注視領域情報に対応する制御信号を受信する第４のステップと、
    前記制御信号に従って前記全体映像から前記注視領域を取得する第５のステップと、
    前記取得した前記注視領域の映像を出力する第６のステップを有し、
    前記第１のステップ、第４のステップ、第５のステップは入力端末で実施され、
    前記第３のステップ、第６のステップは出力端末で実施され、
    前記入力端末と前記出力端末の間は無線通信によって情報を伝送する注視領域の自動表示方法において、
    さらに入力された前記全体映像を圧縮する第７のステップを前記入力端末で実施し、
    前記圧縮された全体映像を前記出力端末に入力して前記第２のステップで物体を検出することを特徴とする注視領域の自動表示方法。

Images