JP4722178B2

JP4722178B2 - 天候変化検出装置、天候変化検出方法及び天候変化検出プログラム

Info

Publication number: JP4722178B2
Application number: JP2008301522A
Authority: JP
Inventors: 英朋境野
Original assignee: Nippon Telegraph and Telephone Corp; NTT Inc USA
Current assignee: NTT Inc; NTT Inc USA
Priority date: 2008-11-26
Filing date: 2008-11-26
Publication date: 2011-07-13
Anticipated expiration: 2028-11-26
Also published as: JP2010128711A

Description

本発明は、天候の変化を検出する天候変化検出装置、天候変化検出方法及び天候変化検出プログラムの技術に関する。

現在、将来の天候を予測したり現在の天候状況を検出する方法としては、気象レーダ観測を用いる技術が一般的である。このような気象レーダ観測は、雨雲等の天候状態を日本全土や世界的規模の広範囲で把握できるため、気象庁等で用いられている（非特許文献１参照）。
"天気予報のできるまで"、［online］、［平成20年11月18日検索］、インターネット＜URL : http://contest.thinkquest.jp/tqj2001/40457/weather/weather_yohou_other.html＞ J.L. Barron、他２名、「Performance of Optical Flow Techniques」、IJCV、1994、vol.12、no.1、p.43-77 中川徹、外１名、「最小二乗法による実験データ解析」、東京大学出版会、1995、p.168-169

しかしながら、気象衛星や気象観測船等の多地点で採取された膨大な観測データを特定の集中装置に伝送し、この観測データを均一にコンピュータで計算して現在の天候状態を検出したり将来の天候を予測するため、気象データを観測してから配信するまでに時間を要するという問題がある。

また、気象レーダ観測における空間分解能は約２．５ｋｍであるため、それよりも小さい対流セルからなる雷雲等を把握できないという問題もある。

本発明は、上記を鑑みてなされたものであり、数秒単位かつ数百メートル単位で観測できる映像の利点を活かして、天候観測カメラで撮影された映像を用いて簡易かつ正確に天候の変化を検出する天候変化検出装置、天候変化検出方法及び天候変化検出プログラムを提供することを課題とする。

第１の請求項に係る発明は、天候観測カメラで撮影された現在映像を入力する入力手段と、前記現在映像を時系列な複数の画像フレームとして記憶する記憶手段と、前記記憶手段から前記画像フレームを読み出して、当該画像フレームにおける各画素のＲＧＢカラー情報をＨＳＶカラーモデルに変換し、当該ＨＳＶカラーモデルを構成している色相成分、彩度成分、明度成分を複合的に用いて天候が悪化するに従って次第に高くなるような色彩値を検出する色彩値検出手段と、前記記憶手段から時間的に連続する２枚の前記画像フレームを読み出して、観測対象の領域に位置している各画素の時間的な輝度変動量を計算し、当該各画素の近傍に位置する複数の画素の前記輝度変動量を用いて高速フーリエ変換した後にガウス関数との畳み込み積分を行って逆フーリエ変換を施して各画素における低空間周波数成分での時間変動成分を求め、当該時間変動成分を適用した輝度変動条件と前記観測対象における速度の滑らかさ条件とを拘束条件として、オプティカルフロー法を用いて計算された速度ベクトルを前記観測対象の動きとして検出する動き検出手段と、検出された前記速度ベクトルを用いて、少なくとも発散度及び渦度に関する前記観測対象のテクスチャを検出するテクスチャ検出手段と、前記複数の画像フレームを用いて検出された前記色彩値と前記観測対象の動きと前記観測対象のテクスチャとを時系列に表示する表示手段と、前記色彩値と前記観測対象の動きと前記観測対象のテクスチャとを用いて天候が悪化するに従って次第に高くなるような統合値Ｔを以下の式（ただし、Ｉ（ｉ，ｊ）は画素（ｉ，ｊ）での輝度値であり、ｕ _ｉ，ｊとｖ _ｉ，ｊとは画素（ｉ，ｊ）での観測対象の動きであり、Ｃ _ｉ，ｊは画素（ｉ，ｊ）での色彩値であり、ｄｉｖｄ（ｉ，ｊ）は画素（ｉ，ｊ）での発散度に関する観測対象のテクスチャであり、ｃｕｒｌｄ（ｉ，ｊ）は画素（ｉ，ｊ）での渦度に関する観測対象のテクスチャである）より計算し、当該統合値Ｔが所定の閾値以上の場合に悪天候であると判定する判定手段と、を有することを要旨とする。

第２の請求項に係る発明は、前記天候観測カメラで過去に撮影された複数の過去映像を蓄積しておく蓄積手段と、前記蓄積手段から前記複数の過去映像を読み出して、前記色彩値と前記観測対象の動きと前記観測対象のテクスチャとに関する特徴量を各過去映像についてそれぞれ検出し、前記現在映像から検出された前記特徴量との類似度が所定の閾値以上である場合には、当該閾値以上の前記過去映像を用いて検出される前記特徴量を将来の天候とし、当該所定の閾値以上でない場合には、前記現在映像から検出された前記特徴量に対して自己回帰モデルを適用して繰り返し計算された特徴量を将来の天候として予測する予測手段と、を更に有することを要旨とする。

第３の請求項に係る発明は、コンピュータにより、天候観測カメラで撮影された現在映像を入力するステップと、前記現在映像を時系列な複数の画像フレームとして記憶手段に記憶するステップと、前記記憶手段から前記画像フレームを読み出して、当該画像フレームにおける各画素のＲＧＢカラー情報をＨＳＶカラーモデルに変換し、当該ＨＳＶカラーモデルを構成している色相成分、彩度成分、明度成分を複合的に用いて天候が悪化するに従って次第に高くなるような色彩値を検出するステップと、前記記憶手段から時間的に連続する２枚の前記画像フレームを読み出して、観測対象の領域に位置している各画素の時間的な輝度変動量を計算し、当該各画素の近傍に位置する複数の画素の前記輝度変動量を用いて高速フーリエ変換した後にガウス関数との畳み込み積分を行って逆フーリエ変換を施して各画素における低空間周波数成分での時間変動成分を求め、当該時間変動成分を適用した輝度変動条件と前記観測対象における速度の滑らかさ条件とを拘束条件として、オプティカルフロー法を用いて計算された速度ベクトルを前記観測対象の動きとして検出するステップと、検出された前記速度ベクトルを用いて、少なくとも発散度及び渦度に関する前記観測対象のテクスチャを検出するステップと、前記複数の画像フレームを用いて検出された前記色彩値と前記観測対象の動きと前記観測対象のテクスチャとを時系列に表示するステップと、前記色彩値と前記観測対象の動きと前記観測対象のテクスチャとを用いて天候が悪化するに従って次第に高くなるような統合値Ｔを以下の式（ただし、Ｉ（ｉ，ｊ）は画素（ｉ，ｊ）での輝度値であり、ｕ _ｉ，ｊとｖ _ｉ，ｊとは画素（ｉ，ｊ）での観測対象の動きであり、Ｃ _ｉ，ｊは画素（ｉ，ｊ）での色彩値であり、ｄｉｖｄ（ｉ，ｊ）は画素（ｉ，ｊ）での発散度に関する観測対象のテクスチャであり、ｃｕｒｌｄ（ｉ，ｊ）は画素（ｉ，ｊ）での渦度に関する観測対象のテクスチャである）より計算し、当該統合値Ｔが所定の閾値以上の場合に悪天候であると判定するステップと、を有することを要旨とする。

第４の請求項に係る発明は、前記天候観測カメラで過去に撮影された複数の過去映像を蓄積手段に蓄積しておくステップと、前記蓄積手段から前記複数の過去映像を読み出して、前記色彩値と前記観測対象の動きと前記観測対象のテクスチャとに関する特徴量を各過去映像についてそれぞれ検出し、前記現在映像から検出された前記特徴量との類似度が所定の閾値以上である場合には、当該閾値以上の前記過去映像を用いて検出される前記特徴量を将来の天候とし、当該所定の閾値以上でない場合には、前記現在映像から検出された前記特徴量に対して自己回帰モデルを適用して繰り返し計算された特徴量を将来の天候として予測するステップと、を更に有することを要旨とする。

第５の請求項に係る発明は、請求項３又は４に記載の天候変化検出方法における各ステップをコンピュータによって実行させることを要旨とする。

本発明によれば、天候観測カメラで撮影された映像を用いて簡易かつ正確に天候の変化を検出する天候変化検出装置、天候変化検出方法及び天候変化検出プログラムを提供することができる。

図１は、本実施の形態に係る天候変化検出装置の機能構成を示す機能構成図である。この天候変化検出装置１００は、入力部１１と、色彩値検出部１２と、動き検出部１３と、テクスチャ検出部１４と、判定部１５と、予測部１６と、表示部１７と、記憶部３１と、蓄積部３２とを備えた構成である。

入力部１１は、天候観測カメラ２００で現在撮影された現在映像や、過去に撮影された複数の過去映像の入力を受け付ける機能を備えている。例えば、図２に示すような晴天から悪天候へ変化する映像が入力される。図２（ａ）の左側に示す画像には青空に白い雲が漂っている様子が撮影されているが、１時間経過後の右側の画像では、天候が急変して厚い雲により青空が見えなくなっている。また、図２（ｂ）や（ｃ）にあっては、悪天候の変化として景観が次第に暗くなり、雲のテクスチャも複雑に変化している。景観が暗くなり雲が灰色に変化するのは、地上を照らしていた太陽光が発達した雲により遮断もしくは乱反射されるためである。本実施の形態では、このような画像上の視覚的な変化、すなわち、輝度変動（濃淡変動）を用いて悪天候を検知することを目的としている。

記憶部３１は、入力部１１で受け付けた後に入力された現在映像を時系列な複数の画像フレームとして記憶する機能を備えている。記憶される現在映像とは、現在継続的に撮影されている映像である。一方、蓄積部３２は、入力部１１で受け付けた後に入力された複数の過去映像を蓄積しておく機能を備えている。蓄積される複数の過去映像とは、春夏秋冬や梅雨等の季節単位、年・日・時間単位、午前・午後単位等のさまざまな単位を基準に撮影された映像である。なお、このような記憶部３１、蓄積部３２としては、例えばメモリ、ハードディスク等の記憶装置を用いることが一般的であり、天候変化検出装置１００の内部のみならず、インターネットや電話回線等の通信ネットワークを介して電気的に接続可能な外部の記憶装置を用いることも可能である。

色彩値検出部１２は、記憶部３１から画像フレームを読み出して、この画像フレームにおける各画素のＲＧＢカラー情報をＨＳＶカラーモデルに変換し、変換後のＨＳＶカラーモデルを構成している色相成分（Ｈ：Ｈｕｅ）、彩度成分（Ｓ：Ｓａｔｕｒａｔｉｏｎ・Ｃｈｒｏｍａ）、明度成分（Ｖ：Ｂｒｉｇｈｔｎｅｓｓ・Ｌｉｇｈｔｎｅｓｓ・Ｖａｌｕｅ）を複合的に用いて天候が悪化するに従って次第に高く又は低くなるような色彩値を検出する機能を備えている。以下、色彩値に関する具体的な計算方法について説明する。

Ｒ、Ｇ、Ｂが０を最小値、２５５を最大値とする０〜２５５の範囲（２５６階調の範囲）にあり、（Ｒ，Ｇ，Ｂ）で定義された色が与えられたとすると、この（Ｒ，Ｇ，Ｂ）に対応する（Ｈ，Ｓ，Ｖ）カラーは式（１）〜式（３）に基づいて決定することができる。なお、ＭＡＸを（Ｒ，Ｇ，Ｂ）値の最大値と等しく、ＭＩＮを（Ｒ，Ｇ，Ｂ）値の最小値とする。

この計算結果から、図３に示すように、Ｈについては、赤色が０°（３６０°）、黄色が６０°、緑色が１２０°、水色が１８０°、青色が２４０°、紫色が３００°といった０°〜３６０°まで変化する色相角度（Ｈｕｅａｎｇｌｅ）で表現されることになる。また、Ｓについては、薄（無彩色）い側が０、濃い（有色色）い側が１といった０〜１の実数値で表現され、Ｖについては、弱い側が０、強い側が１といった０〜１の実数値で表現されることになる。

そして、天候が悪化する場合には画像フレームに撮影されている景観が次第に暗くなっていくので、ＳとＨは１付近から０付近に近づいていく。そこで、式（１）〜式（３）により決定されたＨ、Ｓ、Ｖの値を複合的に用いて、悪天候になるに従って次第に値が大きくなるように導出させる式（４）を用いて色彩値Ｃ_ｉ、ｊを検出する。なお、式（４）のＨについては、２４０°を基準として相対的な変化を検出するようにしている。また、ｅｘｐは指数関数である。πは、ＨＳＶを用いて計算された値を全体的に調整する調整係数であって、例えば１．０を用いることができる。

記憶部３１に記憶されている全ての画像フレームについて色彩値をそれぞれ計算し、全ての計算結果を表示部１７で時系列に表示することにより、時間軸に沿って色彩値が次第に低くなる場合には天候が回復傾向にあり、一方、色彩値が次第に高くなる場合には天候が悪化している傾向にあるとの検出結果を得ることが可能となる。また、色彩値Ｃ_ｉ、ｊが特定のノイズ値よりも小さい場合には利用しないとすることで、細かいノイズからの影響を緩和することが可能となる。

従来、ＲＧＢカラー情報をＨＳＶカラーモデルに変換した場合、Ｈ、Ｓ、Ｖをそれぞれ独立に用いて画像処理を行う技術が殆どであり、例えばＨのみを用いた場合には、悪天候であっても一部晴れ間が雲の間に生じたときには青色成分のみの影響を受けてしまい正確な天候を検出することができなかった。しかしながら、本実施の形態によれば、式（４）に示すようにＨＳＶを複合的に用いているので、より高い精度で色彩情報を得ることが可能となる。

なお、色相成分、彩度成分、明度成分を用いて色彩値を計算する方法について説明したが、ＲＧＢカラー情報を用い、式（４）と同様な計算結果が得られる式を用いて色彩値を計算した場合であっても同じ効果を得ることが可能である。以下では、Ｒ、Ｇ、Ｂの計算方法について付言しておく。式（１）〜式（３）に基づいて決定された（Ｈ，Ｓ，Ｖ）カラーを用いて（Ｒ，Ｇ，Ｂ）カラーを計算する。Ｈ÷６０の整数部をｉ、小数部をｆとし、得られたＨ、Ｓ、Ｖを式（５）に代入してｐ１〜ｐ３を計算する。

そして、式（６）を用いてＲ、Ｇ、Ｂを計算することができる。ｉの値に応じて異なる変数を用いてＲＧＢを検出することが可能となる。

動き検出部１３は、記憶部３１から時間的に連続する２枚の画像フレームを読み出して、雲や樹木等の観測対象の領域に位置している各画素の時間的な輝度変動量を計算し、各画素の近傍に位置する複数の画素の輝度変動量を用いて高速フーリエ変換した後に逆フーリエ変換を施して各画素における低空間周波数成分での時間変動成分を求め、求めた時間変動成分を適用した輝度変動条件と前記観測対象における速度の滑らかさ条件とを拘束条件として、オプティカルフロー法を用いて計算された速度ベクトルを観測対象の動きとして検出する機能を備えている。以下、観測対象の動きに関する具体的な計算方法について説明する。

オプティカルフローとは撮影された観測対象の見かけの速度ベクトルのことを意味している（非特許文献２参照）。図４に示すように、時刻ｔにおいて座標（ｘ，ｙ）にある輝度（濃淡）Ｉが、δｔ時間経過した後に座標（ｘ＋δｘ，ｙ＋δｙ）に移動したとき、後者について（ｘ，ｙ，ｔ）のまわりでテイラー展開すると式（７）を得ることができる。

そして、式（７）に示す右辺の第２項〜第４項をδｔで割った値が２枚の画像フレーム間の輝度変動量に相当するため、この輝度変動量をαＩとして式（８）を導出する。なお、従来におけるオプティカルフローを用いる技術は、この輝度変動量αＩを０（ゼロ）とする技術が殆どであったが、本実施の形態によれば、輝度変動量を所定値（例えばα＝０．１）を与えているため、雲や雷が突発的に出現した場合であっても適切に観測対象の動きを把握することが可能となる。

ここで、δｔの極限としてδｔ→０とすると式（９）を得ることができる。

式（９）がオプティカルフローを計算する基本式であり、式（１０）に示すようにｄｘ／ｄｔとｄｙ／ｄｔとを計算することにより、速度ベクトルｄを求めることができる。

ここで、この基本式を計算するには拘束条件を与える必要があるが、本実施の形態では、輝度変動条件と観測対象の動きの滑らかさ条件とを拘束条件としている。

最初に、輝度変動条件について説明する。式（９）に示す（∂ｘ／∂ｔ）をＩ_ｘ、（∂ｙ／∂ｔ）をＩ_ｙ、（∂Ｉ／∂ｔ）をＩ_ｔとし、式（９）を用いて誤差ｅｒｒを式（１１）のように定義する。

差分法に基づいて（ｉ、ｊ）格子上で式（１１）の各変数を離散化すると、画素（ｉ、ｊ）における誤差ｅｒｒ_ｉ，ｊは式（１２）で表現することができる。なお、ｎは時間方向の分割数である。

ここで、式（１２）で示す（Ｉ_ｉ，ｊ ^ｎ−Ｉ_ｉ，ｊ ^ｎ−１）に対して、換言すれば、時刻ｔ（ｎに対応）と時刻ｔ−１（ｎ−１に対応）との２枚の画像フレーム間における画素（ｉ，ｊ）の輝度変動量に対して、その画素の近傍に位置する領域Ωの輝度変動量を用いて高速フーリエ変換ＦＦＴを施して空間周波数を求め、更に逆フーリエ変換を施して、画素（ｉ，ｊ）における低空間周波数成分での時間変動成分Ｆ_ｉ，ｊを計算する。具体的には、式（１３）に示すように、ガウス関数と時間差分との畳み込み積分を行って、低空間周波数成分での時間変動成分Ｆ_ｉ，ｊを求める。

そして、式（１２）について観測対象の領域をΩとした式（１４）と式（１３）とが輝度変動条件となる。

次に、観測対象の動きの滑らかさ条件について説明する。この滑らかさ条件については、観測対象である雲等の動きは微小であり、その速度成分の空間的な変化が滑らかであると仮定して、式（１５）に示すように速度ベクトルの変数ｕ，ｖの１次微分を用いる。

最終的には、式（１４）に示す輝度変動条件と式（１５）に示す観測対象の動きの滑らか条件とから得られた拘束条件（式（１６））を用いて、３つの未知数（ｕ，ｖ，α）を最小二乗法を用いて推定する。なお、λは滑らかさ条件に対する調整量である。

この最小二乗法の解法については、それら３つの未知数で式（１６）をそれぞれ偏微分した３つの線形連立方程式を計算することで求めることが可能となる。なお、最小二乗法に関する具体的な計算方法については非特許文献３に記載された方法を用いることが可能であることを付言しておく。

本実施の形態によれば、オプティカルフロー法を用いて観測対象の動きを計算するに際し、輝度変動や低空間周波数成分での時間変動成分を考慮しているため、緩やかに変化する雲であっても確実に検出することが可能となる。

テクスチャ検出部１４は、動き検出部１３で検出された速度ベクトルを用いて、少なくとも発散度及び渦度に関する観測対象のテクスチャを検出する機能を備えている。発散度ｄｉｖや渦度ｃｕｒｌについては式（１７）や式（１８）を用いて計算することができる。

なお、これら２つの式に基づいて計算機上で実際に計算処理させる場合には、式（１９）や式（２０）に示すように、有限差分法に従って離散化近似させて計算することにより発散度及び渦度の計算が可能となる。

判定部１５は、色彩値検出部１２と動き検出部１３とテクスチャ検出部１４とでそれぞれ検出された色彩値と観測対象の動きと観測対象のテクスチャとを用いて天候が悪化するに従って次第に高くなるような統合値を計算し、この統合値が所定の閾値以上の場合に悪天候であると判定する機能を備えている。具体的には、現在映像から上記３種類の値が検出されるが、天候状況をより容易に把握するために、式（２１）に示すように各値を複合的に用いて統合値Ｔを算出する。この式（２１）は、悪天候になるに従って次第に値が高くなるようになっている。

そして、悪天候である基準をｔｈとしておき、統合値Ｔが基準ｔｈ以上の場合には悪天候と判断する。

予測部１６は、蓄積部３２から複数の過去映像を読み出して、色彩値と観測対象の動きと観測対象のテクスチャとに関する特徴量を各過去映像についてそれぞれ検出し、現在映像から検出されている特徴量（色彩値と観測対象の動きと観測対象のテクスチャ）との類似度が所定の閾値以上である場合には、この閾値以上に該当する過去映像を用いて別途計算される特徴量を将来の天候とし、この所定の閾値以上でない場合には、現在映像から検出された特徴量に対して自己回帰（ＡＲ）モデルを適用して繰り返し計算された特徴量を将来の天候として予測する機能を備えている。

具体的には、まず、前述した色彩値検出部１２と動き検出部１３とテクスチャ検出部１４での処理と同様に、各過去映像に対する特徴量をそれぞれ計算する。そして、現在映像の特徴量を用いて各過去映像に対する類似性をそれぞれ比較し、事前に規定されている閾値以上の場合には該当する過去映像に近い天候状態になると仮定し、現在以降の時刻における天候については、その過去映像を用いて予測する。

一方、その閾値以上でない場合には、過去のいずれの天候状態も参考にならないため、現在撮影された現在映像から検出された特徴量や、式（２１）で計算された統合値に対してＡＲモデルを適用し、前述の最小二乗法を用いて３つの未知数を推定することを繰り返して、現在以降の時刻における天候を予測する。

表示部１７は、図５に示すように、記憶部３１に記憶された複数の画像フレームを用いて検出された色彩値と観測対象の動きと観測対象のテクスチャと、判定部１５で計算された統合値及び判定結果と、予測部１６で予測された予測結果とを時系列に表示する機能を備えている。

続いて、本実施の形態に係る天候変化検出装置の処理フローについて説明する。図６は、本実施の形態に係る天候変化検出装置の処理フローを示すフロー図である。なお、蓄積部３２には予め過去映像が蓄積されているものとする。最初に、入力部１１が、天候観測カメラ２００で現在撮影された現在映像の入力を受け付ける（ステップＳ１０１）。

次に、記憶部３１が、受け付けて入力された現在映像を時系列な複数の画像フレームとして記憶する（ステップＳ１０２）。

その後、色彩値検出部１２が、画像フレームにおける各画素のＲＧＢカラー情報から変換された色相成分、彩度成分、明度成分を複合的に用いて、天候が悪化するに従って次第に高くなるような色彩値を検出する（ステップＳ１０３）。

続いて、動き検出部１３が、時間的に連続する２枚の画像フレームを用いて、観測対象の領域に位置している各画素の時間的な輝度変動量を計算し、各画素の近傍に位置する複数の画素の輝度変動量を用いて高速フーリエ変換した後に逆フーリエ変換を施して各画素における低空間周波数成分での時間変動成分を求め、求めた時間変動成分を適用した輝度変動条件と前記観測対象における速度の滑らかさ条件とを拘束条件として、オプティカルフロー法を用いて計算された速度ベクトルを観測対象の動きとして検出する（ステップＳ１０４）。

そして、テクスチャ検出部１４が、動き検出部１３で検出された速度ベクトルを用いて、発散度及び渦度に関する観測対象のテクスチャを検出する（ステップＳ１０５）。

その後、判定部１５が、検出された色彩値と観測対象の動きと観測対象のテクスチャとを用いて天候が悪化するに従って次第に高くなるような統合値を計算し、この統合値が所定の閾値以上の場合に悪天候であると判定する（ステップＳ１０６）。

そして、予測部１６が、色彩値と観測対象の動きと観測対象のテクスチャとに関する特徴量を各過去映像についてそれぞれ検出し、現在映像から検出されている特徴量との類似度が所定の閾値以上である場合には、この閾値以上に該当する過去映像を用いて検出される特徴量を将来の天候とし、この所定の閾値以上でない場合には、現在映像から検出された特徴量に対して自己回帰モデルを適用して繰り返し計算された特徴量を将来の天候として予測する（ステップＳ１０７）。

最後に、表示部１７が、検出された色彩値と観測対象の動きと観測対象のテクスチャと、統合値及び判定結果と、予測結果とを時系列に表示する（ステップＳ１０８）。

本実施の形態によれば、映像から得られた色相成分、彩度成分、明度成分を複合的に用いて色彩を検出しているので、悪天候の状況変化を適切に把握することが可能となる。また、低空間周波数成分の時間変化成分を用いて動きを検出しているので、雲のようにテクスチャが不明瞭な低空間周波数成分に富んだ対象を含む画像からでも安定してその動きを検出することができる。さらに、色彩値と観測対象の動きと観測対象のテクスチャといった複数の検出結果を統合した統合値を用いているので、誤検出を最小化することができる。

最後に、各実施の形態で説明した天候変化検出装置は、コンピュータで構成され、各機能ブロックの各処理はプログラムで実行されるようになっている。また、各実施の形態で説明した天候変化検出装置の各処理動作をプログラムとして例えばコンパクトディスクやフロッピー（登録商標）ディスク等の記録媒体に記録して、この記録媒体をコンピュータに組み込んだり、若しくは記録媒体に記録されたプログラムを、任意の通信回線を介してコンピュータにダウンロードしたり、又は記録媒体からインストールし、該プログラムでコンピュータを動作させることにより、上述した各処理動作を天候変化検出装置として機能させることができるのは勿論である。

なお、本実施の形態で説明した天候変化検出装置は、天候変化を知るための画像処理分野、気象分野、河川分野、これら分野について監視業務を主とする分野、映像配信に関わる通信分野において応用可能であることを付言しておく。

本実施の形態に係る天候変化検出装置の機能構成を示す機能構成図である。天候カメラで撮影された現在映像の一例を示す図である。ＨＳＶ色彩空間を示す図である。微少時間の明るさの移動を示す図である。表示結果を示す図である。本実施の形態に係る天候変化検出装置の処理フローを示すフロー図である。

符号の説明

１１…入力部
１２…色彩値検出部
１３…動き検出部
１４…テクスチャ検出部
１５…判定部
１６…予測部
１７…表示部
３１…記憶部
３２…蓄積部
１００…天候変化検出装置
２００…天候観測カメラ
Ｓ１０１〜Ｓ１０８…ステップ

Claims

天候観測カメラで撮影された現在映像を入力する入力手段と、
前記現在映像を時系列な複数の画像フレームとして記憶する記憶手段と、
前記記憶手段から前記画像フレームを読み出して、当該画像フレームにおける各画素のＲＧＢカラー情報をＨＳＶカラーモデルに変換し、当該ＨＳＶカラーモデルを構成している色相成分、彩度成分、明度成分を複合的に用いて天候が悪化するに従って次第に高くなるような色彩値を検出する色彩値検出手段と、
前記記憶手段から時間的に連続する２枚の前記画像フレームを読み出して、観測対象の領域に位置している各画素の時間的な輝度変動量を計算し、当該各画素の近傍に位置する複数の画素の前記輝度変動量を用いて高速フーリエ変換した後にガウス関数との畳み込み積分を行って逆フーリエ変換を施して各画素における低空間周波数成分での時間変動成分を求め、当該時間変動成分を適用した輝度変動条件と前記観測対象における速度の滑らかさ条件とを拘束条件として、オプティカルフロー法を用いて計算された速度ベクトルを前記観測対象の動きとして検出する動き検出手段と、
検出された前記速度ベクトルを用いて、少なくとも発散度及び渦度に関する前記観測対象のテクスチャを検出するテクスチャ検出手段と、
前記複数の画像フレームを用いて検出された前記色彩値と前記観測対象の動きと前記観測対象のテクスチャとを時系列に表示する表示手段と、
前記色彩値と前記観測対象の動きと前記観測対象のテクスチャとを用いて天候が悪化するに従って次第に高くなるような統合値Ｔを以下の式（ただし、Ｉ（ｉ，ｊ）は画素（ｉ，ｊ）での輝度値であり、ｕ _ｉ，ｊとｖ _ｉ，ｊとは画素（ｉ，ｊ）での観測対象の動きであり、Ｃ _ｉ，ｊは画素（ｉ，ｊ）での色彩値であり、ｄｉｖｄ（ｉ，ｊ）は画素（ｉ，ｊ）での発散度に関する観測対象のテクスチャであり、ｃｕｒｌｄ（ｉ，ｊ）は画素（ｉ，ｊ）での渦度に関する観測対象のテクスチャである）より計算し、当該統合値Ｔが所定の閾値以上の場合に悪天候であると判定する判定手段と、
を有することを特徴とする天候変化検出装置。
前記天候観測カメラで過去に撮影された複数の過去映像を蓄積しておく蓄積手段と、
前記蓄積手段から前記複数の過去映像を読み出して、前記色彩値と前記観測対象の動きと前記観測対象のテクスチャとに関する特徴量を各過去映像についてそれぞれ検出し、前記現在映像から検出された前記特徴量との類似度が所定の閾値以上である場合には、当該閾値以上の前記過去映像を用いて検出される前記特徴量を将来の天候とし、当該所定の閾値以上でない場合には、前記現在映像から検出された前記特徴量に対して自己回帰モデルを適用して繰り返し計算された特徴量を将来の天候として予測する予測手段と、
を更に有することを特徴とする請求項１に記載の天候変化検出装置。
コンピュータにより、
天候観測カメラで撮影された現在映像を入力するステップと、
前記現在映像を時系列な複数の画像フレームとして記憶手段に記憶するステップと、
前記記憶手段から前記画像フレームを読み出して、当該画像フレームにおける各画素のＲＧＢカラー情報をＨＳＶカラーモデルに変換し、当該ＨＳＶカラーモデルを構成している色相成分、彩度成分、明度成分を複合的に用いて天候が悪化するに従って次第に高くなるような色彩値を検出するステップと、
前記記憶手段から時間的に連続する２枚の前記画像フレームを読み出して、観測対象の領域に位置している各画素の時間的な輝度変動量を計算し、当該各画素の近傍に位置する複数の画素の前記輝度変動量を用いて高速フーリエ変換した後にガウス関数との畳み込み積分を行って逆フーリエ変換を施して各画素における低空間周波数成分での時間変動成分を求め、当該時間変動成分を適用した輝度変動条件と前記観測対象における速度の滑らかさ条件とを拘束条件として、オプティカルフロー法を用いて計算された速度ベクトルを前記観測対象の動きとして検出するステップと、
検出された前記速度ベクトルを用いて、少なくとも発散度及び渦度に関する前記観測対象のテクスチャを検出するステップと、
前記複数の画像フレームを用いて検出された前記色彩値と前記観測対象の動きと前記観測対象のテクスチャとを時系列に表示するステップと、
前記色彩値と前記観測対象の動きと前記観測対象のテクスチャとを用いて天候が悪化するに従って次第に高くなるような統合値Ｔを以下の式（ただし、Ｉ（ｉ，ｊ）は画素（ｉ，ｊ）での輝度値であり、ｕ _ｉ，ｊとｖ _ｉ，ｊとは画素（ｉ，ｊ）での観測対象の動きであり、Ｃ _ｉ，ｊは画素（ｉ，ｊ）での色彩値であり、ｄｉｖｄ（ｉ，ｊ）は画素（ｉ，ｊ）での発散度に関する観測対象のテクスチャであり、ｃｕｒｌｄ（ｉ，ｊ）は画素（ｉ，ｊ）での渦度に関する観測対象のテクスチャである）より計算し、当該統合値Ｔが所定の閾値以上の場合に悪天候であると判定するステップと、
を有することを特徴とする天候変化検出方法。
前記天候観測カメラで過去に撮影された複数の過去映像を蓄積手段に蓄積しておくステップと、
前記蓄積手段から前記複数の過去映像を読み出して、前記色彩値と前記観測対象の動きと前記観測対象のテクスチャとに関する特徴量を各過去映像についてそれぞれ検出し、前記現在映像から検出された前記特徴量との類似度が所定の閾値以上である場合には、当該閾値以上の前記過去映像を用いて検出される前記特徴量を将来の天候とし、当該所定の閾値以上でない場合には、前記現在映像から検出された前記特徴量に対して自己回帰モデルを適用して繰り返し計算された特徴量を将来の天候として予測するステップと、
を更に有することを特徴とする請求項３に記載の天候変化検出方法。
請求項３又は４に記載の天候変化検出方法における各ステップをコンピュータによって実行させることを特徴とする天候変化検出プログラム。