JP7370840B2 - 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体 - Google Patents

Description

本発明は、画像処理装置等に関する。

近年、撮像装置等の画像処理装置で所定の領域を撮影して、撮影した画像を解析することによって画像中の人物の数を計測するシステムが提案されている。このようなシステムは、公共の空間での混雑の検知及び混雑時の人の流れを把握することでイベント時の混雑解消や災害時の避難誘導への活用が期待されている。

このような画像中の人物の数を計測する方法としては、特許文献１に示されているように、機械学習によって得た認識モデルを用いて、画像の所定の領域に映る人数を推定する方法がある。以下、この方法を「回帰ベース人数推定法」と呼ぶ。また、回帰ベース人数推定法で作成する小領域を回帰領域と呼ぶ。

特開２０１８－２２３４０号公報

回帰ベース人数推定法は、人が高密度で存在する場合や小さく映る場合においても人数を推定できる。しかしながら、回帰ベース人数推定法は、画像上に小さい人体が存在すると仮定して、回帰領域を設定するため解析に時間がかかる。
そこで、本発明は、検出対象とする最小サイズに基づき、回帰領域の数を削減し演算効率を向上した画像処理装置を提供することを目的とする。

本発明の画像処理装置は、
画像を取得する画像取得手段と、
前記画像における特定物体のサイズを取得するサイズ取得手段と、
前記サイズ取得手段によって取得された前記特定物体のサイズに基づき、前記画像を複数の画像領域に分割して、前記特定物体の数を推定するための回帰領域を設定すると共に、検出対象とする前記特定物体の最小サイズに対応した所定サイズより小さい画像領域が、前記回帰領域として設定されないようにする設定手段と、
設定された前記回帰領域に対して、前記特定物体の数を推定する回帰処理を施すことで前記画像に含まれる前記特定物体の数を推定する推定手段と、を有することを特徴とする。

本発明によれば、回帰領域の数を削減し演算効率を向上した画像処理装置を得ることができる。

発明の実施例の画像処理装置に係るシステム構成、及び、ハードウェア構成の一例を示す図である。 発明の実施例に係る画像処理装置の機能ブロック図である。 発明の実施例に係る処理を示すフローチャートである。 発明の実施例に係る処理の一例を説明するための図である。 発明の実施例に係る処理の他の例を説明するための図である。

以下、添付図面を参照して、本発明の好適な実施形態について実施例を用いて説明する。なお、各図において、同一の部材ないし要素については同一の参照番号を付し、重複する説明は省略ないし簡略化する。
＜実施例１＞

図１は、例えばネットワークカメラシステムに用いられる画像処理装置１００のハードウェア構成の一例を示す図である。
画像処理装置１００は、ハードウェア構成として、コンピュータとしてのＣＰＵ１０と、メモリ１１と、ネットワークＩ／Ｆ１２と、表示装置１３と、入力装置１４と、を含む。ＣＰＵ１０は、画像処理装置１００の全体の制御を司る。メモリ１１は、ＣＰＵ１０が処理に利用するデータ、コンピュータプログラム等を記憶し、記憶媒体として機能する。ネットワークＩ／Ｆ１２は、画像処理装置１００をネットワークに接続するインタフェースであり、表示装置１３は、液晶表示装置等であり、ＣＰＵ１０による処理の結果等を表示する。

入力装置１４は、マウス、又はボタン等を含み、ユーザの操作を画像処理装置１００に入力する。
ＣＰＵ１０がメモリ１１に記憶されたコンピュータプログラムに基づき処理を実行することにより、後述する図２の画像処理装置１００の機能構成及び後述する図３のフローチャートの処理が実現される。
次に、図２は画像処理装置１００のＣＰＵ１０により実行される画像処理の機能ブロック図である。

画像処理装置１００は、機能構成として、画像取得部１０１、人体サイズ取得部１０２、回帰領域作成部１０３、回帰領域判定部１０４、人数推定部１０５、表示部１０６を含む。
画像取得部１０１は、画像を取得するための画像取得手段として機能する。画像取得部１０１は、例えば、ＣＭＯＳセンサやＣＣＤセンサ等の固体撮像素子を有するネットワークカメラからネットワークを介して画像を取得してもよいし、ハードディスク等のメモリ１１から画像を取得してもよい。
人体サイズ取得部１０２は、人数を推定する対象となる画像の人体サイズを取得し、画像における特定物体のサイズを取得するサイズ取得手段として機能する。

例えば、表示装置１３、及び入力装置１４等を介したユーザの人体サイズのマニュアル設定操作に基づき、人体サイズを決定する。ユーザが、画像上の複数の地点における人体の平均的な大きさを教示することで、画像上の任意の地点における人体の平均的な大きさを補間により推定するようにしても良い。または、既知のパターン認識や機械学習の各種手法を利用し、自動的に人体検出を行うことによって、人体の位置を示す人体枠の集合を取得しても良い。ここで、人体検出とは、顔や人体の全体又はその一部等、予め定められた部位の位置を特定する処理を指す。画像上の座標（ｘ，ｙ）における人体枠の大きさをｓとしたとき、ｓは、ｘ、ｙ及び未知の１個以上のパラメータによって表せると仮定する。

例えば、ｓ＝ａｘ＋ｂｙ＋ｃと仮定する。この例では、未知のパラメータはａ、ｂ及びｃである。所定の学習画像群から取得した人体枠の集合を用いて、未知のパラメータを、例えば最小二乗法等の統計処理により求めることができる。この方法により、画像に存在する人体サイズを自動的に推定する。
また、時間帯や状況に応じて動的に上記のパラメータ（ａ～ｃ）を変化させてもよい。なお、人体サイズの取得は任意の方法で良く、これらに限定されるものではない。

回帰領域作成部１０３は、画像に対して、暫定的な回帰領域の作成を実施する作成手段として機能している。人体サイズ取得部１０２によって取得した、人体サイズのパラメータによって回帰領域サイズと人体サイズとの比率がほぼ一定となるように、画像を分割して暫定的な回帰領域を作成する。例えば、回帰領域作成部１０３は、画像に対して複数の回帰領域を暫定的に作成するにあたって、当該複数の解析領域の各々について、回帰領域サイズと、当該回帰領域内における人体サイズとの比率がほぼ一定になるよう、当該複数の回帰領域を作成する。

回帰領域判定部１０４は、回帰領域作成部１０３が作成した暫定的な回帰領域のサイズを判定する判定手段として機能している。例えば、人体を検出するための回帰領域を設定する際に、検出対象とする最小の人体サイズ（以下、最小人体サイズ）に所定の係数をかけた所定サイズより小さい回帰領域を人数推定用の回帰領域として設定しないようにする。なお、ここでの最小の人体サイズとは、ユーザにより予め設定された値であってもよいし、人体サイズ取得部１０２によって取得した画像上の任意の人体サイズのうち最小の人体サイズであってもよい。

ここで、所定のサイズを算出する方法の一例について説明する。回帰領域において検出可能な人体サイズの範囲比率がａ倍～ｂ倍（ｂ＞ａ）であるものとする。このとき、上記所定サイズは、例えば、最小人体サイズＣに対しａの逆数（１／ａ）を所定の係数として乗じることで算出される。例えば、回帰領域において検出可能な人体サイズの範囲比率が０．１６～０．２４、暫定的に作成された回帰領域のサイズが２００ｐｘ、検出対象とする最小人体サイズが４０ｐｘとする。この場合、前述の暫定的に作成された回帰領域から検出できる人体サイズは３２ｐｘ～４８ｐｘとなり、最小人体サイズ４０ｐｘ未満の人体も検出可能となっている。

このとき、所定のサイズは、最小人体サイズ４０ｐｘに対し０．１６の逆数を所定の係数として乗じた値である２５０ｐｘとなる。
２５０ｐｘの回帰領域は、検出可能な人体サイズは４０ｐｘ～６０ｐｘであり、最小人体サイズ以上の人体が検出可能である。このとき、２５０ｐｘ未満のサイズの回帰領域では、最小人体サイズである４０ｐｘ未満のサイズが検出可能となる。したがって、回帰領域判定部１０４は、最小人体サイズ４０ｐｘに所定の係数をかけた所定サイズ２５０ｐｘより小さい回帰領域は、最小人体サイズ未満のサイズの物体を誤検出してしまうため、人数推定用の回帰領域として設定しないようにする。

人数推定部１０５は、設定された回帰領域に対して、既知の回帰ベース人数推定手法を利用し、人数を推定する。例として、ある固定サイズの小画像を入力とし、その小画像に映る人の数を出力とする回帰器を用いる手法について説明する。予め、人数が既知である大量の小画像を学習データとして、サポートベクターマシンや深層学習等既知の機械学習手法に基づいて回帰器を学習しておく。人数推定時には、人数推定を行う単位で入力画像を回帰領域に分割する。そして、各回帰領域を固定サイズにリサイズして、回帰器の入力とすることで、各回帰領域の人数を推定する。回帰ベース人数推定については、例えば特許文献１に記載された方法を用いる。

推定する人数は必ずしも整数とは限らず、実数を取ることもありえる。実数を四捨五入により整数に丸めて扱ってもよいし、実数のまま扱ってもよい。また、人体サイズ取得部１０２で求められた人体の大きさの推定値を利用することで、画像上で異なるサイズの回帰領域をとることができる。
表示部１０６は、人数推定部１０５による人数推定結果を、表示装置１３に表示する。例えば、推定された回帰領域における人数推定結果を表示する。または、画像の位置ごとに推定人数が分かるように、回帰ベース人数推定時に分割した回帰領域ごとに、推定人数を表示してもよい。このように人数推定部１０５は、回帰領域に対して、特定物体の数を推定する回帰処理を施すことで特定物体の数を推定する推定手段として機能している。

図３は画像処理装置１００のＣＰＵ１０により実行される画像処理の一例を示すフローチャートである。
ステップＳ３０１において、画像取得部１０１は、人数推定する画像を取得する。ステップＳ３０２において、人体サイズ取得部１０２は、人数推定する画像の人体サイズを取得する。ステップＳ３０３において、回帰領域作成部１０３は、ステップＳ３０２で取得した人体サイズに基づいて、暫定的な回帰領域を作成する。ステップＳ３０４において、回帰領域判定部１０４は、回帰領域作成部１０３が作成した暫定的な回帰領域が、検出対象とする最小人体サイズの縦または横の幅に所定の係数をかけた所定サイズより小さいか否かを判定する。

ステップＳ３０４において、暫定的な回帰領域が、検出対象とする最小人体サイズに所定の係数をかけた所定サイズより小さい場合にはステップＳ３０５に進む。ステップＳ３０５において、回帰領域判定部１０４は、その暫定的な回帰領域を人数推定のための回帰領域として設定しない（用いない）。即ち、暫定的な回帰領域のサイズが、検出対象とする最小人体サイズ（最小サイズ）に応じた所定サイズよりも小さいと判定された場合には、前記所定サイズよりも小さい回帰領域を人数推定のための回帰領域として設定しないようにする。

ステップＳ３０４において、暫定的な回帰領域の縦または横の幅が、検出対象とする最小人体サイズの縦または横の幅に所定の係数をかけた所定サイズ以上の場合には、ステップＳ３０６に進む。ステップＳ３０６において、回帰領域判定部１０４は、その暫定的な回帰領域を人数推定のための回帰領域として設定する（用いる）。
なお、ステップＳ３０５において人数推定のための回帰領域が設定されなかった画像領域に対して、検出対象とする最小人体サイズに所定の係数をかけた所定サイズの回帰領域を人数推定のための回帰領域として再設定しても良い。

即ち、暫定的な回帰領域のサイズが所定サイズより小さいと判定された画像領域に対して、前記所定サイズの回帰領域を、特定物体の数を推定するための回帰領域として設定しても良い。ただし、その場合に、図４（Ｃ）に示すように画面サイズからはみ出したり、他の回帰領域と重なったりする場合がある。即ち、所定サイズより小さいと判定された画像領域に対して、前記所定サイズの回帰領域を、特定物体の数を推定するための回帰領域として設定しても良い。なお、図４（Ｃ）については後述する。

或いは、ステップＳ３０４で、暫定的な回帰領域のサイズが、検出対象とする最小人体サイズに所定の係数をかけた所定サイズより小さいと判別されたとする。その場合に、検出できる人体サイズに合わせて、回帰領域作成部１０３が作成した暫定的な回帰領域を拡大しても良い。即ち、暫定的な回帰領域のサイズが所定サイズより小さいと判定された画像領域に対して、前記所定サイズより大きい回帰領域を、特定物体の数を推定するための回帰領域として設定しても良い。詳細は図５（Ｂ）を用いて後述する。

ステップＳ３０７において、回帰領域作成部１０３で人数推定のための回帰領域の設定が終了していない場合は、ステップＳ３０３に戻り暫定的な回帰領域作成をおこなう。終了している場合は、ステップＳ３０８の人数推定処理を行う。回帰領域の設定の終了は、画像全体に人数推定のための回帰領域を設定した場合に終了と判断する。
あるいは、検出対象とする最小人体サイズに対応した所定サイズの回帰領域を、人数推定のための回帰領域として設定した場合に終了と判断しても良い。

以上のように、本実施例ではステップＳ３０３～ステップＳ３０７によって、特定物体としての人体の検出対象とする最小人体サイズに基づき、前記画像を複数の領域に分割して、特定物体の数を推定するための回帰領域を設定している。更にまた、前記特定物体の検出対象とする最小人体サイズに対応した所定サイズより小さい回帰領域が、前記特定物体の数を推定するための回帰領域として設定されないようにしている。そしてステップＳ３０３～ステップＳ３０７によって、上記の設定を行うための設定手段が構成されている。

また、ステップＳ３０８において、人数推定部１０５は、ステップＳ３０３～ステップＳ３０７にて設定された回帰領域に対して、既知の回帰ベース人数推定手法を利用し、人数を推定する。次に、表示部１０６は、人数推定部１０５による人数推定結果を、表示装置１３に表示する。なお、本実施例では、ステップＳ３０３で暫定的に回帰領域を作成してから人数推定のための回帰領域として設定するか否かを判定するようにしているが、暫定的な回帰領域の作成前に判定処理を行っても良い。

次に、図４を用いて画像処理装置により撮像される画像４０１の一例を示す。図４のように、画像処理装置に近い手前側の人体は大きく、画像処理装置から離れた奥側の人体は小さく映る。４０２は、回帰領域作成部１０３によって作成した暫定的な回帰領域である。人体４０３は、画像４０１に表示されている人体である。
図４（Ａ）は、回帰領域作成部１０３によって、人体サイズ取得部１０２から取得した、人体サイズのパラメータを用いて回帰領域サイズと人体サイズとの比率ができるだけほぼ一定となるように暫定的な回帰領域を設定した時の例である。

図４（Ｂ）は、回帰領域作成部１０３によって作成した暫定的な回帰領域をステップＳ３０４で回帰領域判定部１０４がサイズを判定し、ステップＳ３０５で回帰領域４０２を人数推定のための回帰領域として設定しない場合の例を説明する図である。図４（Ａ）の画像上部の暫定的な回帰領域４０２は、検出対象とする最小人体サイズに所定の係数をかけた所定サイズより上下方向の幅が小さい回帰領域となっている。従って、ステップＳ３０４ではＹｅｓとなり、ステップＳ３０５で画像上部の正方形の回帰領域４０２を人数推定のための回帰領域として設定しないようにする。

図４（Ｃ）は、回帰領域判定部１０４で暫定的な回帰領域４０２が人数推定のための回帰領域として設定されなかった画像領域に対して、前記の所定サイズの回帰領域を人数推定のための回帰領域として再設定した時の例である。検出対象とする最小人体サイズに所定の係数をかけた所定サイズの回帰領域を画像上部に一部がかかるように設定している。
このように、画像上の人体サイズを取得し、検出対象とする最小人体サイズに合わせた所定サイズ以上の回帰領域を用いて画像を分割して人数推定のための回帰領域を設定する。それによって、図４（Ａ）に比べ、図４（Ｂ）、（Ｃ）は、人数推定のための回帰領域の数を削減することができる。

次に、図５で回帰領域判定部１０４によって回帰領域を拡大する一例を示す。
図５（Ａ）は、回帰領域作成部１０３によって作成した、図４（Ａ）に示すような暫定的な回帰領域を回帰領域判定部１０４によって拡大した場合の例である。例えば、回帰領域作成部１０３が作成した暫定的な回帰領域のサイズが２００ｐｘとする。人数推定部１０５の回帰領域サイズと人体サイズとの比率が０．２で、検出できる人体サイズの範囲比率が、０．１６～０．２４で検出可能とする。この場合、サイズが２００ｐｘである当該回帰領域から検出できる人体サイズは３２ｐｘ～４８ｐｘとなる。画像内の任意の位置における人体サイズが３５ｐｘ～４０ｐｘの場合に、検出対象とする最小人体サイズを３５ｐｘと考えると、回帰領域サイズを２１６ｐｘとしても、検出できる人体サイズは３５ｐｘ～５２ｐｘの範囲で検出が可能である。

このため、２００ｐｘである回帰領域のサイズを２１６ｐｘまで拡大して設定することができる。
また、検出対象とする最小人体サイズを仮にユーザが予め設定した４０ｐｘである場合を想定する。このとき上述したように、回帰領域のサイズに対して検出できる人体サイズの範囲比率が０．１６～０．２４とすると、回帰領域サイズを２５０ｐｘとしても、検出できる人体サイズは４０ｐｘ～６０ｐｘの範囲で検出が可能である。このため、検出対象とする最小人体サイズに基づき、２００ｐｘである回帰領域のサイズを２５０ｐｘまで拡大して設定することができる。

このように、検出対象とする最小人体サイズに基づき、人数推定のための回帰領域を拡大して設定することができる。即ち、予め最大の回帰領域サイズが事前に設定されていた場合であっても、検出対象とする最小人体サイズに応じて最大の回帰領域サイズを拡大することによって、回帰領域数を削減することができる。
図５（Ｂ）は、ステップＳ３０５で暫定的な回帰領域が人数推定のための回帰領域として設定されなかった画像領域（画面上部の領域）や、それ以外の画像領域に対しても、拡大した回帰領域４０４を人数推定のための回帰領域として設定した場合の例である。これにより、回帰領域数を削減し、かつ画像全体の人体の数を推定することが可能になる。
＜実施例２＞

なお、実施例１においては、ステップＳ３０３で一旦暫定的な回帰領域を作成したが、暫定的な回帰領域を作成しなくても良い。
例えば、表示装置１３や入力装置１４等を用いたユーザによるマニュアル設定操作や画像認識によって、人数推定を実施するための解析領域を画像に対して１つ以上設定する。そして、解析領域ごとに、人体サイズ取得部１０２によって、検出対象とする最小人体サイズを取得する。そして、回帰領域作成部１０３、回帰領域判定部１０４により、設定した各解析領域における最小人体サイズに合わせて、直接的に人数推定のための回帰領域を作成しても良い。なお、ここでの解析領域ごとの最小人体サイズとは、人体サイズ取得部１０２によって取得された人体サイズのうち解析領域各々で映る最小の人体サイズであってもよいし、解析領域各々に対してユーザに設定された検出対象とする最小人体サイズでもよい。

なお、人数推定部１０５は、各解析領域における回帰領域で処理を行うことで人数を推定しても良い。このように、各解析領域における最小人体サイズを取得して人数推定のための回帰領域を直接設定することによって、回帰領域の数を少なくすることもできる。
以上のような実施形態によれば、取得した最小人体サイズに所定の係数をかけた所定サイズより小さい回帰領域を人数推定のための回帰領域として設定しないように制御することによって、人数推定のための演算に用いる回帰領域の数を削減することができる。

また、回帰領域が設定されなかった画像領域に対して、取得した最小人体サイズに所定の係数をかけたサイズを検出する回帰領域を再設定する。あるいは、検出する最小の人体サイズに合わせて回帰領域を拡大することによって、回帰領域の数を削減することができる。その結果、特定物体の数を推定する際に用いる回帰領域の数が減るので人数解析のための演算処理時間を短縮することができる。
なお、上述した実施形態では、推定の対象（特定物体）として人を例にとって説明を行った。しかし、人以外の例えば動物や自動車、自転車、微生物等の任意の特定物体に適用することで、上述した実施形態の構成、情報処理を任意の特定物体の数の推定に利用することができる。

以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。
なお、本実施例における制御の一部または全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して画像処理装置に供給するようにしてもよい。そしてその画像処理装置におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。

１００：画像処理装置
１０：ＣＰＵ
４０１：画像
４０２：（暫定的な）回帰領域
４０３：人体

Claims (11)

1. 画像を取得する画像取得手段と、
   前記画像における特定物体のサイズを取得するサイズ取得手段と、
   前記サイズ取得手段によって取得された前記特定物体のサイズに基づき、前記画像を複数の画像領域に分割して、前記特定物体の数を推定するための回帰領域を設定すると共に、検出対象とする前記特定物体の最小サイズに対応した所定サイズより小さい画像領域が、前記回帰領域として設定されないようにする設定手段と、
   設定された前記回帰領域に対して、前記特定物体の数を推定する回帰処理を施すことで前記画像に含まれる前記特定物体の数を推定する推定手段と、を有することを特徴とする画像処理装置。
2. 前記設定手段は、前記所定サイズより小さい画像領域に対して、前記所定サイズの画像領域を、前記回帰領域として設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記設定手段は、前記所定サイズより小さい画像領域に対して、前記所定サイズより大きい画像領域を、前記回帰領域として設定することを特徴とする請求項１に記載の画像処理装置。
4. 前記画像を分割した候補領域を作成する作成手段と、
   前記候補領域のサイズを判定する判定手段と、を更に有し、
   前記設定手段は、前記判定手段により前記候補領域のサイズが所定サイズよりも小さいと判定された当該候補領域に前記所定サイズより小さい回帰領域を設定しないようにすることを特徴とする請求項１に記載の画像処理装置。
5. 前記設定手段は、前記候補領域のサイズが所定サイズよりも小さいと判定された当該候補領域に対して、前記所定サイズの画像領域を、前記回帰領域として設定することを特徴とする請求項４に記載の画像処理装置。
6. 前記設定手段は、前記候補領域のサイズが所定サイズよりも小さいと判定された当該候補領域に対して、前記所定サイズより大きい画像領域を、前記回帰領域として設定することを特徴とする請求項４に記載の画像処理装置。
7. 前記サイズ取得手段は、前記画像に対して解析領域を設定し、前記解析領域ごとに前記最小サイズを取得するものであることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記推定手段は、前記回帰領域を固定サイズにリサイズした画像を、固定サイズの画像に含まれる人数を推定する学習済みモデルに入力することにより、前記画像に含まれる前記特定物体の数を推定することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 画像を取得する画像取得工程と、
   前記画像における特定物体のサイズを取得するサイズ取得工程と、
   前記サイズ取得工程において取得された前記特定物体のサイズに基づき、前記画像を複数の画像領域に分割して、前記特定物体の数を推定するための回帰領域を設定すると共に、検出対象とする前記特定物体の最小サイズに対応した所定サイズより小さい画像領域が、前記回帰領域として設定されないようにする設定工程と、
   設定された前記回帰領域に対して、前記特定物体の数を推定する回帰処理を施すことで前記画像に含まれる前記特定物体の数を推定する推定工程と、を有することを特徴とする画像処理方法。
10. 請求項１～８のうちいずれか１項に記載の前記画像処理装置の各手段としてコンピュータを機能させるためのコンピュータプログラム。
11. 請求項１０に記載のコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。

Images