JP2019200697A - 棚管理システムおよびプログラム - Google Patents

Abstract

【課題】 商品を配置する棚の分析に必要なデータを高精度に取得できる棚管理システムを提供する。【解決手段】 実施形態によれば、棚管理システムは、インターフェースとメモリとプロセッサとを有する。インターフェースは、商品を含むオブジェクトを配置する棚に対する撮影位置を変えて撮影した複数の撮影画像と各撮影画像の撮影位置を示す撮影位置情報とを含む撮影画像情報を入力する。メモリは、前記複数の撮影画像のうち１つの撮影画像を基準画像として保持する。プロセッサは、前記基準画像と他の撮影画像とを撮影位置と画像特徴量とに基づいてマッチング処理を実行し、前記マッチング処理の結果によって判定する前記棚にあるオブジェクトに関する情報を出力する。【選択図】図２

Description

本発明の実施形態は、棚管理システムおよびプログラムに関する。

従来、店舗などに配置された商品棚（商品陳列台）を撮影し、撮影した画像から商品棚にある商品や棚ラベル等に関する情報を取得する棚管理システムが提案されている。実際の店舗では、複数の商品棚の配置や通路幅が狭い等の制約から、一度の撮影で商品棚の全範囲を画像処理に十分な解像度で撮影することは困難であることが多い。このため、実際の運用においては、店舗内の各商品棚に配置された商品に関する情報は、複数回の撮影で得られた複数の撮影画像から取得する必要がある。

従来の技術としては、複数回の撮影で得られた複数の撮影画像に対し、各撮影画像内の特徴や相関によって単一の画像を得る技術がある。しかし、商品棚には同一又は酷似する商品が数多く陳列されることが多い。このため、従来の各撮影画像に含まれる情報のみを用いた画像処理では高精度な画像処理結果が得られないという課題がある。また、棚管理システムは、商品棚における商品や棚ラベルの情報を取得するものであるから、複数の画像から単一の画像を生成することだけを目的として複雑な処理を適用するのは効率的ではない。

特開２００９−１８７４８２号公報

本発明は、上記した課題を解決するために、商品を配置する棚の分析に必要なデータを高精度に取得できる棚管理システムおよびプログラムを提供することを目的とする。

実施形態によれば、棚管理システムは、インターフェースとメモリとプロセッサとを有する。インターフェースは、商品を含むオブジェクトを配置する棚に対する撮影位置を変えて撮影した複数の撮影画像と各撮影画像の撮影位置を示す撮影位置情報とを含む撮影画像情報を入力する。メモリは、前記複数の撮影画像のうち１つの撮影画像を基準画像として保持する。プロセッサは、前記基準画像と他の撮影画像とを撮影位置と画像特徴量とに基づいてマッチング処理を実行し、前記マッチング処理の結果によって判定する前記棚にあるオブジェクトに関する情報を出力する。

図１は、実施形態に係る棚管理システムとしての棚データ処理システムの構成例を示すブロック図である。 図２は、実施形態に係る棚管理システムとしての棚データ処理システムを構成する各装置の構成例を示すブロック図である。 図３は、第１の実施形態に係る棚管理システムにおける移動撮影装置の構成を示す外観図である。 図４は、第１の実施形態に係る棚管理システムにおける移動撮影装置の構成を示す外観図である。 図５は、第１の実施形態に係る棚管理システムの移動撮影装置におけるカメラの撮影範囲と商品棚との関係を説明するための図である。 図６は、第１の実施形態に係る棚管理システムの移動撮影装置におけるカメラの撮影範囲と商品棚における商品の配置状態との関係を説明するための図である。 図７は、第１の実施形態に係る棚管理システムの移動撮影装置におけるカメラの撮影範囲を簡易的に求める例を説明するための模式図である。 図８は、第１の実施形態に係る棚管理システムの移動撮影装置におけるカメラが撮影する店舗における棚のレイアウト例を模式的に示した平面図である。 図９は、第１の実施形態に係る棚管理システムの移動撮影装置の動作例を説明するためのフローチャートである。 図１０は、第１の実施形態に係る棚管理システムの画像処理装置における画像処理の動作例を説明するためのフローチャートである。 図１１は、第１の実施形態に係る棚管理システムの画像処理装置による画像処理の動作例を説明するためのフローチャートである。 図１２は、第１の実施形態に係る棚管理システムの画像処理装置による画像処理の動作例を説明するためのフローチャートである。 図１３は、第１の実施形態に係る棚管理システムの画像処理装置による画像処理で得られるデータの例を示す図である。 図１４は、第１の実施形態に係る棚管理システムの画像処理装置による画像処理で得られる撮影画像における各オブジェクトに関するデータの例を示す図である。 図１５は、第１の実施形態に係る棚管理システムの棚分析装置による棚割に関するデータ処理を説明するためのフローチャートである。 図１６は、第１の実施形態に係る棚管理システムの棚分析装置による棚札に関するデータ処理の例を説明するためのフローチャートである。 図１７は、第１の実施形態に係る棚管理システムの棚分析装置による商品棚における商品の在庫状況などを確認するための処理の例を説明するためのフローチャートである。 図１８は、第２の実施形態に係る棚管理システムの構成例を示すブロック図である。 図１９は、第２の実施形態に係る棚管理システムにおける携帯端末の外観構成の例を示す図である。 図２０は、第２の実施形態に係る棚管理システムにおける携帯端末による商品棚の撮影例を説明するための図である。 図２１は、第２の実施形態に係る棚管理システムにおける携帯端末の動作例を説明するためのフローチャートである。

以下、第１及び第２の実施形態について、図面を参照しながら説明する。
以下に説明する実施形態に係る棚管理システムは、店舗内に配置した商品棚（商品陳列台）における商品および棚ラベル等のオブジェクトを管理する画像処理システムである。棚管理システムは、移動しながら商品棚を撮影し、撮影した複数の画像から各商品棚にある商品等のオブジェクトに関する情報を取得する。ここで、店舗などに設置される商品棚には、商品および棚ラベル（棚札）などのオブジェクトが配置されるものとする。商品は、商品棚の各段に並べて配置される。棚ラベルは、棚に配置された商品の価格情報などを示すラベルであり、商品の配置位置に対応する位置に配置される。

また、実施形態において、店舗に設置される各商品棚に陳列する商品および棚ラベルなどは、棚割に基づいて管理されるものとする。棚割は、店舗内においてどの商品棚のどこに何の商品を陳列するかを示すものである。例えば、棚割を示す情報（棚割情報）は、商品棚情報と商品情報とを元に計画される。商品棚情報とは、商品棚に関する情報であり、商品棚の種類、サイズ、棚の段数、段の奥行及び高さなどの情報である。商品情報は、商品に関する情報であり、各商品の種別、パッケージサイズ、価格、在庫数などの情報である。

例えば、コンピュータは、棚割を管理するための専用のソフトウェアを実行することで、商品棚情報および商品情報を用いて棚割を作成する。店舗では、作成された棚割を元に商品が陳列され、定期的に既存の棚割（棚割計画）と実際の商品の陳列状態とを照合するなどの運用が行われる。

また、棚割は、店舗に設置された商品棚における商品の陳列状態を元に作成しても良い。棚割は、店舗における商品棚及び商品の配置状態を元に作成しても良い。この場合、棚割作成に必要な情報は、商品に対応する位置に設置された棚ラベルに記載された情報（商品を特定するバーコード情報など）を読み取ることで得る。また、棚割作成に必要な情報（商品棚及び商品の配置状態を示す情報）は、商品棚の撮影画像から取得しても良い。

棚割は、商品の配置状態を管理するだけでなく、棚ラベルの記載内容（例えば値段の表記や賞味期限、棚陳列期限など）を確認するためにも活用される。また、棚割は、商品の棚在庫状況を確認するために、商品や棚ラベルの位置情報を管理するデータとしても活用される。棚ラベルの記載内容や商品の棚在庫状況は、商品や棚ラベルの陳列状態を示す情報と見做せることから、これらの情報も本実施形態では棚割関連情報として扱うこととする。

（第１の実施形態）
次に、第１の実施形態に係る棚管理システムとしての画像処理システムの構成について説明する。
図１は、第１の実施形態に係る棚管理システムとしての画像処理システムの構成例を示す図である。
棚管理システム（画像処理システム）は、移動撮影装置１、画像処理装置２、および、棚分析装置３などにより構成する。移動撮影装置１は、移動しながら複数の画像を撮影する装置である。移動撮影装置１は、商品が配置される棚（商品棚）に沿って移動しながら画像を撮影することで、連続した複数の商品棚の画像を撮影する。移動撮影装置１は、画像を撮影すると、撮影画像、撮影位置を示す撮影位置情報、および、その他の撮影条件（撮影時刻、撮影距離、撮影条件等）を示す撮影条件情報を生成する。移動撮影装置１は、画像を撮影するごと（撮影時刻ごと）に、撮影画像、撮影位置情報および撮影情報を関連づけて記憶デバイスに保存する。また、移動撮影装置１は、撮影時刻ごとに、互いに関連づけた撮影画像、撮影位置情報および撮影情報などの情報（撮影画像情報）を画像処理装置２へ供給する。

画像処理装置２は、移動撮影装置１から撮影画像とともに撮影画像に対応する撮影位置情報および撮影条件情報などの情報を取得する。画像処理装置２は、移動撮影装置１から取得する撮影画像を撮影画像とともに取得する撮影位置情報などの情報に基づいて画像処理する。画像処理装置２は、複数の撮影画像から商品棚にある商品および棚ラベルなどのオブジェクトを認識し、各撮影画像に含まれる商品棚のオブジェクトに関する情報を生成する。画像処理装置２は、画像処理した結果を示すデータを棚分析装置３へ出力する。

棚分析装置３は、移動撮影装置１が撮影した撮影画像に対する画像処理の結果を示すデータを画像処理装置２から取得する。棚分析装置３は、画像処理装置２から取得する画像処理の結果を示すデータに基づいて棚に関するデータを分析する処理を行う。例えば、棚分析装置３は、店舗内の各商品棚における商品の配置を示す棚割情報の生成、既存の棚割情報との照合、あるいは、棚割関連情報の照合（各棚における商品在庫の確認）などを行う。

図２は、第１の実施形態に係る棚管理システムを構成する各装置の構成例を示すブロック図である。
図２に示す構成例において、移動撮影装置１は、プロセッサ１１、メモリ１２、データメモリ１３、インターフェース（Ｉ／Ｆ）１４、撮影機１５、位置計測機１６、移動機構１７などを有する。

プロセッサ１１は、移動撮影装置１を制御する。プロセッサ１１は、プログラムを実行することにより各種の処理を実現する。プロセッサ１１は、例えばＣＰＵである。プロセッサ１１は、メモリ１２あるいはデータメモリ１３が記憶するプログラムを実行することにより各部の動作制御およびデータ処理などを実現する。

メモリ１２は、各種のメモリデバイスで構成する。例えば、メモリ１２は、ＲＡＭ、ＲＯＭおよびＮＶＭなどのメモリデバイスを含む。ＲＡＭは、揮発性のワーキングメモリとして機能し、各種のデータを一時的に保持する。ＲＯＭは、不揮発性のメモリであり、プログラムおよび制御データなどを記憶する。ＮＶＭは、書換え可能な不揮発性のメモリであり、プログラムおよび制御データなどを記憶する。

データメモリ１３は、各種のデータを記憶する。データメモリ１３は、例えば、ＨＤＤ（ハードディスクドライブ）、ＳＳＤ（ソリッドステートドライブ）などの書換え可能な記憶装置で構成する。データメモリ１３は、撮影画像を記憶する記憶領域１３ａ、撮影位置情報を記憶する記憶領域１３ｂ、および、撮影条件情報を記憶する記憶領域１３ｃなどを含むものとする。

インターフェース１４は、画像処理装置２と通信するためのインターフェースである。インターフェース１４は、撮影画像、撮影位置情報および撮影情報などを画像処理装置２へ転送する。インターフェース１４は、有線による情報伝送を行うものであっても良いし、無線伝送による情報通信を行うものであっても良い。インターフェース１４は、例えば、ＵＳＢ（ユニバーサルシリアルバス）、ＬＡＮ（ローカルエリアネットワーク）ポート、無線アンテナなどの情報入力端子を介して情報を入力する。

撮影機１５は、画像を撮影する。撮影機１５は、例えば、カメラである。撮影機１５が撮影した画像は、撮影画像として記憶領域１３ａに記憶される。位置計測機１６は、画像を撮影した位置を計測する。位置計測機１６は、撮影機１５が画像を撮影した際の位置を撮影位置として特定する。撮影位置を示す情報は、撮影位置情報として記憶領域１３ｂに記憶される。例えば、撮影機１５と位置計測機１６とは、同期処理によって同期した動作で撮影機１５が撮影する撮影画像と撮影実行時の撮影位置情報とを対応づける。

移動機構１７は、移動撮影装置１の各部を搭載した筐体を移動させる機構である。例えば、移動機構１７は、プロセッサ１１により動作が制御されるモータ等の電動機から動力によって移動撮影装置１の筐体を移動させる。また、移動機構１７は、人力によって筐体を移動させる構成を有するものであっても良い。

また、図２に示す構成例において、画像処理装置２は、プロセッサ２１、メモリ２２、データメモリ２３、インターフェース（Ｉ／Ｆ）２４、インターフェース（Ｉ／Ｆ）２５などを有する。
プロセッサ２１は、画像処理装置２の制御およびデータ処理などを司る。プロセッサ２１は、プログラムを実行することにより各種の処理を実現する。プロセッサ２１は、例えばＣＰＵである。プロセッサ２１は、メモリ２２あるいはデータメモリ２３が記憶するプログラムを実行することにより各部の動作制御およびデータ処理などを実現する。

メモリ２２は、各種のメモリデバイスで構成する。例えば、メモリ２２は、ＲＡＭ、ＲＯＭおよびＮＶＭなどのメモリデバイスを含む。ＲＡＭは、揮発性のワーキングメモリとして機能し、各種のデータを一時的に保持する。ＲＯＭは、不揮発性のメモリであり、プログラムおよび制御データなどを記憶する。ＮＶＭは、書換え可能な不揮発性のメモリであり、プログラムおよび制御データなどを記憶する。

データメモリ２３は、各種のデータを記憶する。データメモリ２３は、例えば、ＨＤＤ、ＳＳＤなどの書換え可能な不揮発性の記憶装置で構成する。データメモリ２３は、撮影画像を処理するために基準とする画像（基準画像）を記憶する記憶領域２３ａを有する。ただし、基準画像は、メモリ２２のＲＡＭなどに記憶するようにしても良い。

インターフェース２４は、移動撮影装置１と通信するためのインターフェースである。インターフェース２４は、撮影画像、撮影位置情報および撮影条件情報などを移動撮影装置１から受信する入力インターフェースとして機能する。インターフェース２５は、棚分析装置３と通信するためのインターフェースである。インターフェース２５は、画像処理の結果などを棚分析装置３へ転送する。

なお、インターフェース２４およびインターフェース２５は、有線による情報伝送を行うものであっても良いし、無線伝送による情報通信を行うものであっても良い。インターフェース２４およびインターフェース２５は、例えば、ＵＳＢ、ＬＡＮポート、無線アンテナなどの情報入力端子を介して情報を入力する。また、インターフェース２４およびインターフェース２５は、１つの通信ユニットとして構成しても良い。

また、図２に示す構成例において、棚分析装置３は、プロセッサ３１、メモリ３２、データメモリ３３、インターフェース（Ｉ／Ｆ）３４、出力インターフェース（Ｉ／Ｆ）３５、ディスプレイ３６などを有する。
プロセッサ３１は、棚分析装置３の制御およびデータ処理などを司る。プロセッサ３１は、プログラムを実行することにより各種の処理を実現する。プロセッサ３１は、例えばＣＰＵである。プロセッサ３１は、メモリ３２あるいはデータメモリ３３が記憶するプログラムを実行することにより各部の動作制御およびデータ処理などを実現する。

メモリ３２は、各種のメモリデバイスで構成する。例えば、メモリ３２は、ＲＡＭ、ＲＯＭおよびＮＶＭなどのメモリデバイスを含む。ＲＡＭは、揮発性のワーキングメモリとして機能し、各種のデータを一時的に保持する。ＲＯＭは、不揮発性のメモリであり、プログラムおよび制御データなどを記憶する。ＮＶＭは、書換え可能な不揮発性のメモリであり、プログラムおよび制御データなどを記憶する。

データメモリ３３は、各種のデータを記憶する。データメモリ３３は、例えば、ＨＤＤ（ハードディスクドライブ）、ＳＳＤ（ソリッドステートドライブ）などの書換え可能な不揮発性の記憶装置で構成する。データメモリ３３は、各種のデータを記憶するための記憶領域３３ａ〜３３ｅを有する。

インターフェース３４は、画像処理装置２と通信するためのインターフェースである。インターフェース３４は、画像処理の結果を示すデータなどを画像処理装置２から受信する入力インターフェースとして機能する。出力インターフェース３５は、棚分析装置３による処理結果が外部装置へ出力するためのインターフェースである。

なお、インターフェース３４およびインターフェース３５は、有線による情報伝送を行うものであっても良いし、無線伝送による情報通信を行うものであっても良い。インターフェース３４およびインターフェース３５は、例えば、ＵＳＢ、ＬＡＮポート、無線アンテナなどの情報入力端子を介して情報を入出力する。また、インターフェース３４およびインターフェース３５は、１つの通信ユニットとして構成しても良い。

ディスプレイ３６は、情報を表示する表示装置である。例えば、ディスプレイ３６は、棚分析装置３による処理結果を表示画面に表示する。また、入力デバイス３７は、オペレータが情報を入力するためのデバイスである。入力デバイス３７は、キーボードあるいはタッチパネルなどで構成する。例えば、ディスプレイ３６および入力デバイス３７は、タッチパネル付きの表示装置として構成しても良い。

また、データメモリ３３の各記憶領域３３ａ〜３３ｅは、各種データを記憶するデータベースとして構成する。
例えば、記憶領域３３ａは、商品棚データベースとして機能する。商品棚データベースは、当該店舗に存在する商品棚について、棚の種類、サイズ、棚の段数、段の奥行、高さなどの情報を商品棚情報として格納する。
また、記憶領域３３ｂは、商品データベースとして機能する。商品データベースは、商品毎に、商品の種別、パッケージサイズ、価格、在庫数などの棚割に必要な情報を商品情報として格納する。

また、記憶領域３３ｃは、店舗レイアウトデータベースとして機能する。店舗レイアウトデータベースは、店舗の平面図、商品棚の配置などの店内における地図に関連する情報を店舗レイアウトデータとして格納する。
また、記憶領域３３ｄは、商品マスタとして機能する。商品マスタは、棚割情報そのものには含まれないが、棚割情報に密接に関連する棚割関連情報に相当する情報を格納する。例えば、商品マスタは、商品毎に、価格、在庫数量、注文数、賞味期限などの情報を棚割関連情報に相当する情報として格納する。
また、記憶領域３３ｅは、棚割データベースとして機能する。棚割データベースは、店舗内の各商品棚に配置される商品を示す棚割情報を格納する。また、棚割データベースは、後述する処理によって作成される棚割を示す情報に書換えられるようにしても良い。

なお、上述した各記憶領域３３ａ〜３３ｅに記憶する一部又は全部の各データベースは、外部装置のメモリに設けても良い。すなわち、上述した各データベースは、棚管理システムからのアクセスが可能なデータサーバに設けても良い。外部装置のメモリにデータベースを設ける場合、棚分析装置３は、当該データベースを設けた外部装置へアクセスするための入出力インターフェースを設ける。

また、移動撮影装置１、画像処理装置２および棚分析装置３は、適宜組み合わせて同一の筐体で実現しても良い。例えば、移動撮影装置１および画像処理装置２は、１つの筐体で実現しても良いし、画像処理装置２および棚分析装置３は、１つの筐体で実現しても良い。

次に、第１の実施形態に係る移動撮影装置１（１Ａ）の構成例について説明する。
図３および図４は、第１の実施形態に係る移動撮影装置１の構成例としての移動撮影装置１Ａの構成を示す外観図である。
図３及び図４に示す移動撮影装置１Ａは、店舗内を自律的に移動して各商品棚の撮影を行う自律移動型の撮影装置（棚撮影用の移動ロボット）である。なお、図３及び図４に示す移動撮影装置１Ａは、画像処理装置２を搭載した構成としても良いし、画像処理装置２と棚分析装置３とを搭載した構成としても良い。

図３及び図４に示すように、移動撮影装置１Ａは、台車４１、ポール４２、および、カメラ４３を有する。さらに、移動撮影装置１Ａは、プロセッサ１１、メモリ１２、データメモリ１３、インターフェース（Ｉ／Ｆ）１４、位置計測機１６および移動機構１７などを有する制御ユニットが搭載されるものとする。
台車４１は、駆動モータなどを含む移動機構１７によって駆動する車輪などが設けられる。台車４１は、プロセッサ１１による制御に従って自律的に移動する。

ポール４２は、鉛直方向に立てた状態で一端部（下端部）が台車４１上に固定される。ポール４２は、プロセッサ１１が制御する移動機構１７によって伸縮自在な構成を有するものとする。ポール４２は、下端部が台車４１に固定されるため、伸縮によって上端部（先端部）が上下方向に移動する。例えば、ポール４２は、伸長することで上端部（先端部）が上方へ移動する。また、ポール４２は、収縮することで上眼部（先端部）が下方に移動する。

カメラ４３は、撮影機１５の一例である。カメラ４３は、ポール４２の先端部（上端部）に設置される。従って、カメラ４３は、台車４１の移動によって水平方向（商品棚に対して横方向）に移動し、ポール４２の伸縮によって鉛直方向（商品棚に対して上下方向）に移動する。また、カメラ４３は、特定の撮影範囲５０を有する。カメラ４３は、プロセッサ１１からの撮影命令に応じて撮影範囲５０の画像を撮影する。

図４に示す構成例において、カメラ４３は、商品棚６０の正面側に向くように設置される。カメラ４３の撮影範囲５０は、台車４１の移動に伴って横方向に移動し、ポール４２の伸縮に伴って上下方向に移動する。例えば、台車４１が商品棚６０に沿って平行に移動すると、カメラ４３の撮影範囲５０は、商品棚６０の正面側を移動するように設定される。上記の構成により、カメラ４３は、台車４１の移動およびポール４２の伸縮によって各商品棚６０における正面側の全体を撮影できる。

図５は、移動撮影装置１Ａにおけるカメラ４３の撮影範囲５０と商品棚６０との関係を説明するための図である。
ここで、商品棚６０の正面側の面（商品が目視できるように陳列する側の面）をカメラ４３の撮影対象面とする。移動撮影装置１Ａは、店舗内における各商品棚６０の撮影対象面に対してカメラ４３の撮影方向が向くように台車４１を移動させる。第１の実施形態において、移動撮影装置１Ａは、カメラ４３から撮影対象面までの距離（商品棚までの撮影距離）を一定に保つように台車４１を移動制御するものとする。移動撮影装置１Ａは、カメラ４３から撮影対象面までの撮影距離（ワーキングディスタンス、Ｗｄ）を一定に保って台車４１を商品棚６０の正面に対して平行に移動させる。

図５に示す例において、移動撮影装置１Ａのカメラ４３は、撮影位置Ａにおいて撮影距離Ｗｄで撮影対象面を撮影する。撮影位置Ａで画像を撮影した後、移動撮影装置１Ａは、撮影距離Ｗｄを保持したままで台車４１を移動させて撮影位置Ｂにおいてカメラ４３が撮影を実行する。

図６は、商品棚６０における商品の配置状態とカメラ４３の撮影範囲との関係を説明するための図である。
図６に示す例において、商品棚６０は、４段の棚段（棚板）６１を有する。棚段６１の上には様々な商品６２が陳列され、棚段６１の正面側には棚ラベル（棚札）６３が掲示されている。図６では、カメラ４３が撮影位置Ａで撮影する撮影範囲と撮影位置Ｂで撮影する撮影範囲とが点線で例示されている。図６に示すように、撮影位置Ａでの撮影範囲と撮影位置Ｂでの撮影範囲とは、一部の領域が重複する。このため、カメラ４３は、撮影位置Ａと撮影位置Ｂとでは、一部の商品および棚ラベルが重複する撮影画像を撮影する。

図７は、撮影範囲５０の幅Ｘおよび高さＹを簡易的に求める例を説明するための模式図である。
図７では、カメラ４３が画像を撮影した場合に撮影条件情報として取得する情報を示している。ここで、カメラ４３のイメージセンササイズをＳｘ（イメージセンサのｘ方向における大きさ）及びＳｙ（イメージセンサのｙ方向における大きさ）とし、カメラ４３のレンズの焦点距離をｆ［ｍｍ］とする。この場合、幅Ｘ、高さＹは、近似的に以下の式で算出される。
Ｘ＝Ｗｄ・Ｓｘ／ｆ
Ｙ＝Ｗｄ・Ｓｙ／ｆ
即ち、撮影条件として、レンズ焦点距離ｆ、イメージセンササイズＳｘ、Ｓｙ、撮影距離Ｗｄが与えられれば、近似的に撮影範囲５０を求めることが可能となる。

図８は、複数の商品棚が配置される店舗内のレイアウトの例を模式的に示した平面図である。
第１の実施形態に係る自律移動型の移動撮影装置１Ａは、図８に示すような店舗内レイアウトを地図として保有し、設定された経路５１に従って移動する。図８に示す経路５１によれば、移動撮影装置１Ａは、店舗内に設置された商品棚６０をカメラ４３で撮影可能な状態で移動する。自律移動型の移動撮影装置１Ａに設定される地図は、地図内における位置情報が、平面図における２次元座標及び向き（方向成分）で示される。

例えば、移動撮影装置１Ａは、地図における位置を示す位置情報に時刻情報ｔを加えて、撮影画像と同期した撮影位置情報として記録する。これにより、移動撮影装置１Ａは、撮影画像が店舗におけるどの位置からどの商品棚６０を撮影した画像であるかを特定することが可能となる。なお、店舗内の地図における位置情報としての平面図における２次元座標に高さ方向を加えた座標系は、店舗内の撮影位置を表すグローバル座標系として機能する。

図９は、第１の実施形態に係る自律移動型の移動撮影装置１Ａの動作例を説明するためのフローチャートである。
ここで、自律移動型の移動撮影装置１Ａは、店舗内の商品棚を撮影するため、店舗内の地図情報と店舗内における移動経路を示す経路情報とが設定される。プロセッサ１１は、移動経路に基づいて撮影機１５としてのカメラ４３による撮影範囲を移動させる（ＡＣＴ１１）。例えば、プロセッサ１１は、経路情報に基づいて移動機構１７により台車４１を移動させる。台車４１での移動は、商品棚を配置した店舗における平面方向での移動となる。また、プロセッサ１１は、ポール４２を伸縮させることによりカメラ４３の撮影範囲を上下方向に移動させる。

台車４１の移動を開始した後、プロセッサ１１は、位置計測機１６が計測する位置情報などに基づいてカメラ４３が撮影位置へ達したかを判断する（ＡＣＴ１２）。例えば、プロセッサ１１は、経路上に設定した撮影位置で撮影を実行する。また、プロセッサ１１は、所定の速度で経路を移動しながら特定の間隔（時間間隔または移動距離間隔など）ごとに撮影を実行するようにしても良い。

撮影位置に到達すると（ＡＣＴ１２、ＹＥＳ）、プロセッサ１１は、撮影機１５としてのカメラ４３を用いた撮影処理を開始する（ＡＣＴ１３）。プロセッサ１１は、撮影処理として、カメラ４３による画像の撮影、画像を撮影した撮影位置の特定、および、撮影条件情報の取得などの各処理を実行する。プロセッサ１１は、時刻を同期させた時刻同期処理として、カメラ４３による撮影画像の取得、撮影位置の特定、撮影条件情報の取得などの撮影処理に含まれる各処理を実行する。また、プロセッサ１１は、撮影画像、撮影位置情報および撮影条件情報を撮影画像ＩＤ（識別情報）に関連づけた撮影画像情報として管理する。

すなわち、プロセッサ１１は、撮影位置に達したと判断した場合（撮影処理を開始する場合）、カメラ４３に対して画像の撮影命令を送る（ＡＣＴ１４）。カメラ４３は、プロセッサ１１からの撮影命令に応じて画像を撮影する。カメラ４３が画像を撮影すると、プロセッサ１１は、データメモリ１３の記憶領域１３ａにカメラ４３が撮影した撮影画像を記憶する（ＡＣＴ１５）。例えば、プロセッサ１１は、カメラ４３から取得する撮影画像を撮影処理ごとに識別するための識別情報（撮影画像ＩＤ）に対応づけて記憶領域１３ａに記憶する。

また、プロセッサ１１は、カメラ４３に撮影命令を送るとともに、カメラ４３が画像を撮影する時刻における撮影位置を取得する処理を行う（ＡＣＴ１６）。プロセッサ１１は、位置計測機１６が計測する位置情報に基づいてカメラ４３が画像を撮影する時刻における撮影位置を特定する。また、プロセッサ１１は、経路上の所定の撮影位置に達した際にカメラ４３へ撮影命令を供給する場合、カメラ４３に撮影命令を出力したときの位置を撮影位置としても良い。また、台車４１が一定の移動速度で経路上を移動するものとすれば、プロセッサ１１は、経路開始位置からの移動開始時刻と経過時間とにより撮影位置を算出しても良い。また、経路を移動しながら所定の時間間隔で画像を撮影する場合、プロセッサ１１は、移動速度と撮影する時間間隔とから撮影位置を特定しても良い。

プロセッサ１１は、特定した撮影位置を示す情報を撮影位置情報とする。撮影位置情報を取得すると、プロセッサ１１は、撮影画像に対応づけた撮影位置情報をデータメモリ１３の記憶領域１３ｂに保存する（ＡＣＴ１７）。例えば、プロセッサ１１は、撮影処理ごとの識別情報（撮影画像ＩＤ）に対応づけて記憶領域１３ｂに撮影位置情報を記憶する。

また、プロセッサ１１は、カメラ４３に撮影命令を供給するとともに、カメラ４３が撮影する画像に関連する撮影条件情報を取得する処理を行う（ＡＣＴ１８）。プロセッサ１１は、カメラ４３から撮影対象となる商品棚６０の正面までの距離（撮影距離）、撮影時刻、撮影条件などの撮影条件情報を取得する。

例えば、撮影条件としては、図７に示すような、カメラ４３のイメージセンササイズＳｘ、Ｓｙ、焦点距離ｆなどを含むようにしても良い。また、プロセッサ１１は、撮影位置情報と撮影対象である商品棚の位置とから撮影距離Ｗｄを算出するようにしても良い。また、プロセッサ１１は、カメラ４３から撮影距離を取得しても良いし、別途設けたセンサの検知結果によって撮影距離を特定しても良い。

撮影条件情報を取得すると、プロセッサ１１は、撮影画像に対応づけた撮影条件情報をデータメモリ１３の記憶領域１３ｃに保存する（ＡＣＴ１９）。例えば、プロセッサ１１は、撮影処理ごとの識別情報（撮影画像ＩＤ）に対応づけて記憶領域１３ｃに撮影条件情報を記憶する。

なお、商品棚との距離が一定となる経路が設定される場合、移動撮影装置１Ａの移動精度が高ければ、撮影条件情報として撮影距離Ｗｄを記録する処理は省略しても良い。これは、商品棚との距離が一定となる経路を高精度で移動する場合、撮影距離Ｗｄは一定の固定値となるためである。

１度の撮影処理が終了するごとに、プロセッサ１１は、撮影を終了するか否かを判断する（ＡＣＴ２０）。すなわち、プロセッサ１１は、撮影画像、撮影位置情報および撮影条件情報を関連づけてデータメモリ１３に記憶すると、次の画像を撮影すべきであるか否かを判断する。次の撮影を実行する場合（ＡＣＴ２０、ＹＥＳ）、プロセッサ１１は、ＡＣＴ１１へ戻って移動を継続し、次の撮影位置へ向かう。

以上の処理によって、移動撮影装置１Ａは、複数の撮影位置において商品棚を撮影する。移動撮影装置１は、撮影ごとに、撮影画像、撮影位置情報および撮影条件情報を関連づけた情報（撮影画像情報）を取得する。また、移動撮影装置１Ａは、撮影ごとの撮影画像、撮影位置情報および撮影条件情報を互いに関連付けてデータメモリ１３に記憶する。移動撮影装置１Ａは、データメモリ１３に記憶した複数の撮影画像を各撮影画像に関連する撮影位置情報および撮影条件情報とともに画像処理装置２へ送信する。これにより、移動撮影装置１Ａは、商品棚全体を複数回にわけて撮影した複数の撮影画像と各撮影画像に関連する情報とを画像処理装置２へ供給できる。

なお、移動撮影装置１Ａは、撮影ごとにリアルタイムで、撮影画像、撮影位置情報および撮影条件情報を画像処理装置２へ転送するようにしても良い。この場合、プロセッサ１１は、上述したＡＣＴ１５、１７、１９の処理に替えて、撮影画像、撮影位置情報、撮影条件情報を画像処理装置２に転送する処理を実行すれば良い。

次に、第１の実施形態に係る画像処理装置２の動作について説明する。
まず、第１の実施形態に係る画像処理装置２が移動撮影装置１Ａから取得する撮影画像を含む撮影画像情報に対する処理について説明する。
図１０は、画像処理装置２における画像処理として移動撮影装置１Ａからの撮影画像情報を処理する動作例を説明するためのフローチャートである。
第１の実施形態では、図１に示すように、画像処理装置２が移動撮影装置１（自律移動型の移動撮影装置１Ａ）とは別の装置として構成されるものとする。画像処理装置２は、上述した処理によって移動撮影装置１Ａがデータメモリ１３に記録した撮影画像、撮影位置情報、撮影条件情報を取得するものとする。例えば、画像処理装置２は、所謂オフライン処理として、移動撮影装置１Ａから撮影画像、撮影位置情報および撮影条件情報を取得するものとする。

まず、画像処理装置２のプロセッサ２１は、初期設定として、画像処理の基準となる基準画像を含む基準画像情報を設定する（ＡＣＴ２１）。ここで、基準画像情報とは、基準画像として選択する撮影画像と、当該撮影画像を撮影した際の撮影位置情報及び撮影条件情報とを含む情報であるものとする。プロセッサ２１は、基準画像情報をデータメモリ２３の記憶領域２３ａに格納することにより基準画像情報を設定する。初期設定における基準画像としては、例えば、移動撮影装置１Ａが設定された経路における最初の撮影位置で撮影した撮影画像を用いることができる。

基準画像情報を設定すると、プロセッサ２１は、基準画像情報に含まれる基準画像の撮影範囲を設定する（ＡＣＴ２２）。例えば、図５および図７を用いて説明した関係によれば、基準画像の撮影範囲は、撮影条件情報に含まれる撮影距離などの情報を用いて算出できる。すなわち、プロセッサ２１は、基準画像情報に基づいて基準画像と関連づけられた情報から基準画像の撮影範囲を推定する。

基準画像および基準画像の撮影範囲を設定すると、プロセッサ２１は、画像処理の対象となる撮影画像を入力する（ＡＣＴ３３）。例えば、画像処理の対象となる撮影画像は、基準画像として設定した撮影画像の次に撮影した撮影画像を用いる。但し、画像処理の対象となる撮影画像は、数フレーム後の撮影画像を設定しても良い。また、最初の画像処理では、初期設定として基準画像に選択した撮影画像と同じ撮影画像を画像処理の対象となる撮影画像として設定しても構わない。

画像処理の対象となる撮影画像を入力するとともに、プロセッサ２１は、画像処理の対象となる撮影画像に対応する撮影位置情報および撮影条件情報を入力する（ＡＣＴ３４）。第１の実施形態では、複数の撮影画像と各撮影画像に対応する撮影位置情報および撮影条件情報とは、上述した動作によって移動撮影装置１がデータメモリ１３に記憶しておくものとする。このため、プロセッサ２１は、画像処理の対象となる撮影画像と当該撮影画像に対応する撮影位置情報および撮影条件情報を移動撮影装置１から取得する。

画像処理の対象となる撮影画像（以下、対象画像と称する）を入力すると、プロセッサ２１は、対象画像の撮影範囲を算出する（ＡＣＴ３５）。プロセッサ２１は、対象画像の撮影範囲を基準画像の撮影範囲と同様な手法によって算出できる。

対象画像の撮影範囲を算出すると、プロセッサ２１は、基準画像の撮影範囲と対象画像の撮影範囲との比較を行う（ＡＣＴ３６）。プロセッサ２１は、基準画像と対象画像とのそれぞれの撮影位置情報と撮影範囲とに基づいて幾何学的な重なり領域を算出する。例えば、撮影位置Ａでの撮影画像と撮影位置Ｂでの撮影画像とは、図５および図６に示すように、重なり領域が幾何学的に算出される。

プロセッサ２１は、双方の画像相関を効率的に比較するため、基準画像に含まれる画像特徴量と対象画像に含まれる画像特徴量とを比較する範囲（画像比較範囲）を決定する（ＡＣＴ３７）。プロセッサ２１は、基準画像と対象画像との画像相関を効率的に比較するため、双方の画像における画像特徴量を比較する範囲を限定する。

画像比較範囲を決定すると、プロセッサ２１は、画像比較範囲において基準画像と対象画像とのマッチング処理を行う（ＡＣＴ３８）。プロセッサ２１は、マッチング処理として、基準画像と対象画像との双方に含まれる局所特徴量を抽出する。基準画像および対象画像から局所特徴量を抽出すると、プロセッサ２１は、基準画像の局所特徴量と対象画像の局所特徴量とをマッチングして共通の画像特徴を探索する。

プロセッサ２１は、基準画像と対象画像とのマッチング処理の結果に基づいて対象画像に関する撮影範囲とホモグラフィ成分とを決定する（ＡＣＴ３９）。プロセッサ２１は、基準画像と対象画像とのマッチングによって、基準画像情報から対象画像の撮影範囲を求めることができる。また、プロセッサ２１は、基準画像と対象画像とのマッチングに基づき、基準画像に対する撮影画像の幾何学的な重なりの範囲をホモグラフィ行列算出により求めることができる。

ここで、基準画像と撮影画像との各々における撮影位置情報及び撮影範囲は既に撮影位置情報と撮影情報から概略把握できている。このため、プロセッサ２１は、算出したホモグラフィ行列が適切な条件に収まっているかどうかを判定することが可能である。ホモグラフィ行列の算出結果に著しい乖離があった場合、プロセッサ２１は、パラメータを再調整して再計算するようにしても良い。

対象画像の撮影範囲とホモグラフィ成分とを決定すると、プロセッサ２１は、基準画像に更新する（ＡＣＴ４０）。例えば、プロセッサ２１は、対象画像としていた撮影画像を基準画像として更新する。この場合、プロセッサ２１は、対象画像としていた撮影画像の撮影位置情報および撮影条件情報を含む撮影画像情報を基準画像情報として更新する。また、プロセッサ２１は、対象画像としていた撮影画像の撮影範囲を基準画像の撮影範囲として更新する。プロセッサ２１は、画像処理の対象となる次の撮影画像があれば（ＡＣＴ４１、ＹＥＳ）、ＡＣＴ３３へ戻り、次の撮影画像に対して上述した処理を実行する。

以上の処理によって、画像処理装置２は、各撮影画像の撮影範囲と基準画像に対するホモグラフィ成分とが得られる。また、撮影した順番に撮影画像を基準画像とし、基準画像の次に撮影した撮影画像を対象画像とすれば、順番に撮影した撮影画像間のホモグラフィ成分が得られる。

次に、撮影画像に写っている商品棚に関する情報を分析するために必要なデータを取得する処理について説明する。
図１１は、画像処理装置２による画像処理として撮影画像から商品棚を分析するためのデータを取得する処理の動作例を説明するためのフローチャートである。
画像処理装置２のプロセッサ２１は、処理対象とする撮影画像を入力する（ＡＣＴ５１）。対象とする撮影画像を入力すると、プロセッサ２１は、当該撮影画像に写る商品棚について、陳列されている商品、棚ラベル、棚段などの構成物を画像認識処理により分析する。ここでは、陳列された商品、棚ラベル、棚段などの商品棚にある構成物を総称してオブジェクトと称するものとする。

すなわち、プロセッサ２１は、処理対象として入力した撮影画像から棚の分析に関連するオブジェクトを探索する探索処理を行う（ＡＣＴ５２）。プロセッサ２１は、オブジェクトの探索処理として、撮影画像に存在するオブジェクトを検出し、検出したオブジェクトの画像領域を切り出す。オブジェクトを探索すると、プロセッサ２１は、探索した各オブジェクトの画像領域に対してオブジェクトの認識処理を実行する（ＡＣＴ５３）。

なお、ＡＣＴ５２および５３の処理は、撮影画像に存在する全てのオブジェクトを認識できる処理であれば良い。すなわち、ＡＣＴ５２および５３の処理は、認識の対象とするオブジェクトの種別や認識の方法によって、様々な手法や処理を適用することが可能である。例えば、プロセッサ１１は、撮影画像において、商品のパッケージ、或は、棚に掲示されるラベルの境界領域を逐次反復処理によって領域切出しの正確性を追求しても良い。また、プロセッサ１１は、商品又はラベル等のオブジェクトに記載されているバーコードの領域を切出し、バーコードのデコード処理によりオブジェクトを認識しても良い。また、プロセッサ１１は、オブジェクトに記載されている管理コード或は文字列を領域毎に切出し、切出した領域に対するＯＣＲ処理によってオブジェクトを認識しても良い。

撮影画像からオブジェクトを認識すると、プロセッサ２１は、認識したオブジェクトに対して整理番号（インデックス）を付与する（ＡＣＴ５４）。ここでは、撮影画像における整理番号としてのインデックスをオブジェクトに付与するものとする。さらに、プロセッサ２１は、認識したオブジェクトの位置を示す位置情報を算出する（ＡＣＴ５５）。プロセッサ２１は、認識したオブジェクトの代表点を特定し、代表点の撮影画像内における位置に基づく位置座標を位置情報として算出する。プロセッサ２１は、認識したオブジェクトの整理番号とオブジェクトの位置情報とを対応づけて管理する。

なお、上述したＡＣＴ５１における撮影画像の入力処理は、図１０における撮影画像の入力処理（ＡＣＴ３３）と同等である。このため、プロセッサ２１は、図１０に示すＡＣＴ３３〜ＡＣＴ４０の処理と図１１に示すＡＣＴ５１〜ＡＣＴ５５は並列処理するようにしても良い。

次に、複数の撮影画像に存在するオブジェクトを一意に特定する処理について説明する。
図１２は、画像処理装置２による画像処理として各撮影画像のオブジェクトと他の撮影画像のオブジェクトとを比較する処理を説明するためのフローチャートである。
図１２に示す処理は、各撮影画像に含まれるオブジェクトが前後の撮影画像に含まれるオブジェクトと同一のものであるか否かを判定する処理である。図１２に示す処理は、図１１に示す処理（オブジェクトの認識処理）に続く後段の処理として実施される。

まず、プロセッサ２１は、初期設定として基準画像情報を設定する（ＡＣＴ６１）。基準画像情報の設定は、上述した図１０に示すＡＣＴ３１の処理と同様であって良い。基準画像情報を設定した後、プロセッサ２１は、処理対象とする撮影画像（対象画像）を入力する（ＡＣＴ６２）。例えば、対象画像としては、基準画像の次に撮影された撮影画像（基準画像と撮影領域が隣接（一部が重複）する撮影画像）が入力される。

対象画像を入力すると、プロセッサ２１は、基準画像と対象画像との間のホモグラフィ行列を取得する（ＡＣＴ６３）。ホモグラフィ行列は、図１０に示す処理によって算出可能である。ここでは、実行済みの図１０に示す処理によって既に算出した結果としてのホモグラフィ行列を取得するものとする。

基準画像と対象画像との間のホモグラフィ行列を取得すると、プロセッサ２１は、対象画像に含まれるオブジェクトと基準画像に含まれるオブジェクトとを比較する（ＡＣＴ６４）。プロセッサ２１は、対象画像におけるオブジェクトの位置情報とホモグラフィ行列情報とに基づき、基準画像において当該オブジェクトがある位置を推定する。すなわち、プロセッサ２１は、各オブジェクトについて対象画像における位置と基準画像における位置との位置関係を計算する。プロセッサ２１は、計算した位置関係に基づいて基準画像における相当する位置に類似のオブジェクトが存在するか否かを探索する。例えば、プロセッサ２１は、対象画像と基準画像との位置関係を参照して、対象画像で棚ラベルと認識したオブジェクトと類似するものが基準画像に存在するかを探索する。

探索対象のオブジェクトと類似するオブジェクトを基準画像から見つけると、プロセッサ２１は、両画像間の位置情報の一致度からオブジェクトが同一か否かを判定する（ＡＣＴ６５）。プロセッサ２１は、対象画像における探索対象のオブジェクトの位置と基準画像から見つけた類似のオブジェクトの位置との一致度から両オブジェクトが同一かを判定する。

プロセッサ２１は、基準画像における同一のオブジェクトの有無に応じて、対象画像のオブジェクトに対する整理番号の付与とグローバル座標の特定とを実行する（ＡＣＴ６６）。基準画像に同一のオブジェクトが存在すると判定した場合、プロセッサ２１は、当該オブジェクトには、基準画像のオブジェクトと同一の整理番号を付与する。これにより、複数の撮影画像に含まれる各オブジェクトには、統一的な整理番号（統合インデックス）が付与できる。また、プロセッサ２１は、対象画像に含まれる各オブジェクトの位置情報を当該撮影画像におけるローカル座標からグローバル座標に変換する。これにより、複数の撮影画像に含まれる各オブジェクトには、全ての撮影画像に渡って統一的に扱えるような位置情報が特定される。

プロセッサ２１は、対象画像に含まれる各オブジェクトに対してＡＣＴ６４−６６の処理を実行する。１つの対象画像に含まれる全てのオブジェクトに対してＡＣＴ６４−６６の処理が終了すると（ＡＣＴ６７、ＹＥＳ）、プロセッサ２１は、基準画像情報を上述の処理が終了した処理対象とする撮影画像に関する各情報（撮影画像情報）に更新（設定）する（ＡＣＴ６８）。基準画像情報を更新するとともに、プロセッサ２１は、次に撮影画像があるかを判断する（ＡＣＴ６９）。次の撮影画像があれば（ＡＣＴ６９、ＹＥＳ）、プロセッサ２１は、次の撮影画像に対してＡＣＴ６２−６６の処理を行う。次の撮影画像がなければ（ＡＣＴ６９、ＮＯ）、プロセッサ２１は、一連の処理を終了する。

なお、図１０、図１１及び図１２に示す処理は、組合せて実行することが可能である。図１２に示すＡＣＴ６２は、図１０に示すＡＣＴ３３および図１１に示すＡＣＴ５１に相当する。また、図１２に示すＡＣＴ６３は図１０に示すＡＣＴ３９に相当する。さらに、図１２に示すＡＣＴ６８は、図１０に示すＡＣＴ６８の処理を含む処理である。従って、図１１と図１０とを並列処理し、さらに、図１２に示すＡＣＴ６３〜ＡＣＴ６８を図１０に示すＡＣＴ３９およびＡＣＴ４０に代替して組み入れて実施できる。

次に、画像処理装置２における上述した画像処理によって得られるデータの具体例について説明する。
図１３は、画像処理装置２による図１０に示す処理で得られるデータの例を表示形式で示す図である。
上述したように、画像処理装置２は、移動撮影装置１が撮影する複数の撮影画像を撮影画像ごとに撮影位置情報と撮影条件情報とを対応づけた入力データ（撮影画像情報）として取得する。画像処理装置２は、各撮影画像に対する撮影範囲を図５および図７に示すような幾何学的な条件に基づいて算出する。画像処理装置２は、撮影画像ごとに基準画像との画像相関によって基準画像に対するホモグラフィ行列を算出する。これにより、画像処理装置２は、ホモグラフィ行列と撮影位置情報とから各撮影画像の位置を示す情報をグローバル座標で示すことができる。

図１３に示す例では、撮影画像ごとに、撮影画像ＩＤ、撮影条件情報、撮影位置情報、撮影範囲、基準画像ＩＤ、ホモグラフィ行列および画像代表点のグローバル座標を示す。図１３に示す各情報は、移動撮影装置１が店舗内で商品棚を撮影した複数の撮影画像について撮影位置および撮影範囲などを特定するためのデータである。これらの情報は、店舗内の商品棚における、棚割の照合、棚割の作成および棚における商品在庫などを分析するために必要なデータである。すなわち、画像処理装置２は、図１０に示す処理で図１３に示す各情報を取得することにより撮影画像ごとの棚分析に必要なデータを出力できる。

図１４は、画像処理装置２による図１１及び図１２に示す処理で得られる撮影画像における各オブジェクトに関するデータの例を表示形式で示す図である。
図１４では、撮影画像ＩＤが００００１の撮影画像（以下、撮影画像０００１と記載する）における各オブジェクトと撮影画像ＩＤが００００２の撮影画像（以下、撮影画像０００２と記載する）における各オブジェクトとに関する情報の例を示す。また、図１４に示す例において、撮影画像０００１は、撮影画像０００２に対する基準画像として設定されるものとする。ここで、撮影画像００００２の商品０２と撮影画像００００１の商品０３とは同一であると判定され、撮影画像００００２の棚札０１と撮影画像００００１の棚札０２とも同一であると判定され、撮影画像００００２の棚札０２と撮影画像００００１の棚札０３とも同一であると判定されるものとする。

撮影画像００００２の商品０２（撮影画像００００２のオブジェクトインデックス００２）には、同一と判定された撮影画像００００１の商品０３（撮影画像００００１のオブジェクトインデックス００４）と同じ統合インデックス（０００４）が付与される。また、撮影画像００００２の棚札０１（撮影画像００００２のオブジェクトインデックス００４）には、同一と判定された撮影画像００００１の棚札０２と同じ統合インデックス（０００６）が付与される。また、撮影画像００００２の棚札０２（撮影画像００００２のオブジェクトインデックス００３）には、同一と判定された撮影画像００００１の棚札０３（撮影画像００００１のオブジェクトインデックス００７）と同じ統合インデックス（０００７）が付与される。

また、撮影画像００００２のオブジェクトインデックス００１、００３、００５、００６のオブジェクトは、基準画像（撮影画像００００１）には含まれていない。これらのオブジェクトには、新たなオブジェクトとして新規の整理番号が統合インデックスとして付与される。また、各オブジェクトのグローバル座標は、撮影画像が有するグローバル座標と、当該撮影画像内のローカル座標から算出される。

次に、棚分析装置３の動作について説明する。
棚分析装置３は、上述した画像処理装置２による画像処理の結果に基づいて棚に関するデータの分析処理を実行する。ここで、棚分析装置３は、分析処理として、棚割に関するデータ処理、棚札に関するデータ処理、および、商品の在庫管理に関するデータ処理などの処理を実行するものとする。

図１５は、棚分析装置３による棚割に関するデータ処理を説明するためのフローチャートである。
棚分析装置３のプロセッサ３１は、Ｉ／Ｆ３４により画像処理装置２から画像処理結果を撮影画像毎に入力する（ＡＣＴ７１）。画像処理結果は、撮影位置などの撮影画像に関する情報と撮影画像に含まれるオブジェクトの情報とを含む。プロセッサ３１は、撮影画像の撮影位置情報から店舗レイアウトデータベース３３ｃを参照することにより、店舗におけるどの商品棚を撮影した画像であるかを特定できる。また、プロセッサ３１は、商品棚データベース３３ａを参照することで、撮影位置情報から特定した商品棚における棚の段数及び寸法などの商品棚に関する情報を特定できる。

プロセッサ３１は、入力した撮影画像に含まれるオブジェクトのうち棚割に関連するオブジェクトの情報を各種のデータベースにて照会する（ＡＣＴ７２）。すなわち、プロセッサ３１は、棚割に関するオブジェクトの情報を各種のデータベースに照会することで当該撮影画像における棚割情報を生成する。例えば、プロセッサ３１は、棚ラベルの記載内容を商品データベース３３ｂに問い合わせる。プロセッサ３１は、商品データベース３３ｂから棚ラベルが示す商品を特定し、特定した商品のサイズ情報などを取得する。プロセッサ３１は、商品のサイズ情報を取得した後、棚ラベルの位置情報と商品のサイズ情報とを元に商品棚に陳列される商品を示す商品情報を生成する。

また、プロセッサ３１は、撮影画像に含まれるオブジェクトに関する情報として画像処理装置２による商品の認識結果を用いて商品情報を生成しても良い。この場合、プロセッサ３１は、商品の認識結果に基づいて商品データベース３３ｂから当該商品を示す商品情報を特定する。商品データベース３３ｂから商品情報を特定すると、プロセッサ３１は、特定した商品情報にフェース情報などを付与して棚割情報を生成する。

プロセッサ３１は、撮影画像に含まれる各オブジェクトに関する情報に対してＡＣＴ７２の処理を実行する。１つの撮影画像に含まれる各オブジェクトの照会が終了すると（ＡＣＴ７３、ＹＥＳ）、プロセッサ３１は、全ての撮影画像に対する処理が完了するまで、ＡＣＴ７１へ戻り、次の撮影画像に対する処理を実行する。

全ての撮影画像に対する処理が終了すると（ＡＣＴ７４、ＹＥＳ）、プロセッサ３１は、棚割に関連するオブジェクトの最終確定処理を実行する（ＡＣＴ７５）。プロセッサ３１は、最終確定処理として、同一の商品棚の構成物に対し複数のオブジェクトがあるかをチェックする。これにより、プロセッサ３１は、全ての撮影画像から得る商品情報（棚割情報）に基づいて店舗内の各商品棚における棚割情報（店舗全体の棚割情報）を生成できる。プロセッサ３１は、最終確定処理を行った後の店舗全体における棚割情報を出力する（ＡＣＴ７６）。例えば、プロセッサ３１は、移動撮影装置１が撮影した複数の撮影画像から生成した棚割情報を新たな棚割情報として棚割データベース３３ｅに保存する。

また、プロセッサ３１は、移動撮影装置１が撮影した複数の撮影画像から生成した棚割情報（現状の棚割）と既存の棚割情報とを照合しても良い。棚割の照合を行う場合、プロセッサ３１は、移動撮影装置１が撮影した複数の撮影画像から生成した棚割情報と棚割データベース３３ｅに登録されている棚割情報とを照合する（ＡＣＴ７７）。この場合、プロセッサ３１は、生成した棚割情報と既存の棚割情報との照合結果を示す情報を出力する（ＡＣＴ７８）。例えば、プロセッサ３１は、生成した棚割情報と既存の棚割情報との整合性を示す情報（例えば不一致となった情報など）を照合結果としてディスプレイ３６に表示する。

以上のような処理によれば、棚分析装置は、移動しながら店舗内の商品棚を撮影した複数の撮影画像に対する画像処理結果に基づいて店舗内の棚割を生成できる。また、棚分析装置は、移動しながら店舗内の商品棚を撮影した複数の撮影画像に対する画像処理結果に基づいて生成した棚割と既存の棚割とを照合できる。これにより、棚分析装置は、店舗内を移動しながら撮影した複数の撮影画像に基づいて現在の配置状態が既存の棚割と異なる場合にはオペレータに報知できる。

図１６は、棚分析装置３による棚札に関するデータ処理の例を説明するためのフローチャートである。
図１６に示す処理は、棚割情報そのものではなく、商品棚に掲示されている棚ラベルに記載された記載情報と商品マスタ３３ｄの登録情報とを照合する処理を含む処理である。
棚分析装置３のプロセッサ３１は、Ｉ／Ｆ３４により画像処理装置２から画像処理結果を撮影画像毎に入力する（ＡＣＴ８１）。プロセッサ３１は、撮影画像に含まれるオブジェクトのうち棚ラベルに関するオブジェクトを抽出する（ＡＣＴ８２）。例えば、プロセッサ３１は、撮影画像に含まれるオブジェクトのうち棚ラベルのオブジェクトの画像領域を抽出し、当該画像領域から棚ラベルの記載情報を抽出する。棚ラベルの記載情報は、商品管理コード、商品名、プライス、賞味期限、棚陳列期限などに関する情報である。プロセッサ３１は、撮影画像における当該オブジェクトの画像に対する画像認識及びＯＣＲ処理によって棚ラベルの記載情報を抽出する。また、棚ラベルの記載情報は、画像処理装置２における画像認識あるいはＯＣＲ処理で得られる情報であっても良い。

１つの撮影画像に含まれる各棚ラベルの記載情報の抽出が終了すると（ＡＣＴ８３、ＹＥＳ）、プロセッサ３１は、ＡＣＴ８１へ戻り、次の撮影画像に対して同様な処理を実行する。全ての撮影画像について各棚ラベルの記載情報の抽出が終了すると（ＡＣＴ８４、ＹＥＳ）、プロセッサ３１は、棚ラベルの最終確定処理を実行する（ＡＣＴ８５）。プロセッサ３１は、最終確定処理として、同一の商品棚の構成物に対し複数の棚ラベルがあるかをチェックして店舗全体における棚ラベルの記載情報を特定する。

棚ラベルの最終確定処理が終了すると、プロセッサ３１は、抽出した棚ラベルの記載情報と商品マスタ３３ｄに登録されている情報とを照合する（ＡＣＴ８６）。プロセッサ３１は、棚ラベルの記載情報と商品マスタ３３ｄの登録情報との照合により撮影画像に含まれる棚ラベルが所定位置に掲示されているかをチェックする。棚ラベルの記載情報と商品マスタ３３ｄとを照合すると、プロセッサ３１は、棚ラベルの記載情報と商品マスタ３３ｄの登録情報との照合結果を示す情報を出力する（ＡＣＴ８７）。例えば、プロセッサ３１は、棚ラベルの記載情報の照合結果を示す情報をディスプレイ３６に表示する。また、プロセッサ３１は、棚ラベルの記載情報の照合結果を棚割情報に関連付けて出力しても良い。これにより、プロセッサ３１は、棚ラベルが問題のある表示を掲示している場所を素早く特定することが可能となる。

以上のような処理によれば、棚分析装置は、移動しながら店舗内の商品棚を撮影した複数の撮影画像に対する画像処理結果に基づいて店舗内の棚ラベルの正当性を確認する。また、棚分析装置は、店舗内における棚ラベルの正当性の確認結果を示す情報を出力する。これにより、棚分析装置は、店舗内を移動しながら撮影した複数の撮影画像から店舗内における各棚ラベルが正しく掲示されているかをオペレータに報知できる。

図１７は、棚分析装置３によって商品棚における商品の在庫状況などを確認するための処理の例を説明するためのフローチャートである。
棚分析装置３のプロセッサ３１は、Ｉ／Ｆ３４により画像処理装置２から画像処理結果を撮影画像毎に入力する（ＡＣＴ９１）。プロセッサ３１は、撮影画像に含まれるオブジェクトのうち棚の商品在庫に関連するオブジェクトを抽出する（ＡＣＴ９２）。例えば、プロセッサ３１は、撮影画像に含まれるオブジェクトのうち棚の商品在庫に関連するオブジェクトとして棚ラベルを抽出する。この場合、プロセッサ３１は、撮影画像から棚ラベルのオブジェクトの画像領域を抽出し、当該画像領域から棚ラベルの記載情報を抽出する。棚ラベルの記載情報は、商品管理コード、商品名、プライス、賞味期限、棚陳列期限などに関する情報である。プロセッサ３１は、撮影画像における当該オブジェクトの画像に対する画像認識及びＯＣＲ処理によって棚ラベルの記載情報を抽出する。また、棚ラベルの記載情報は、画像処理装置２における画像認識あるいはＯＣＲ処理で得られる情報であっても良い。

１つの撮影画像に含まれる棚の商品在庫に関するオブジェクトの抽出が終了すると（ＡＣＴ９３、ＹＥＳ）、プロセッサ３１は、ＡＣＴ９１へ戻り、次の撮影画像に対して同様な処理を実行する。全ての撮影画像について処理が終了すると（ＡＣＴ９８４、ＹＥＳ）、プロセッサ３１は、店舗全体における棚の商品在庫に関するオブジェクトの最終確定処理を実行する（ＡＣＴ９５）。プロセッサ３１は、最終確定処理として、同一の商品棚の構成物に対し複数のオブジェクトがあるかをチェックして店舗全体における各商品棚の商品在庫に関するオブジェクトを特定する。

最終確定処理が終了すると、プロセッサ３１は、各撮影画像に含まれる棚の商品在庫に関するオブジェクトから商品棚における各商品の陳列数を推定する（ＡＣＴ９６）。例えば、プロセッサ３１は、棚の商品在庫に関するオブジェクトとしての商品の認識結果を用いて商品棚にある商品数を推定する。また、プロセッサ３１は、撮影画像に含まれる商品のオブジェクト情報だけでなく、棚ラベルの記載情報で特定される商品の在庫数等を用いて商品の陳列数を推定しても良い。例えば、プロセッサ３１は、商品マスタ３３ｄを参照することで、棚ラベルの記載情報から特定される商品の最大在庫数あるいは理論在庫数が取得できる。この場合、プロセッサ３１は、撮影画像に含まれる商品棚にある商品数を最大在庫数あるいは理論在庫数を用いて推定することが可能となる。

商品の陳列数を推定すると、プロセッサ３１は、推定した商品の陳列数から各商品の欠品および品薄を判定する（ＡＣＴ９７）。例えば、プロセッサ３１は、棚ラベルの記載情報が示す商品が撮影画像から検出できない場合には当該商品が欠品であると判定する。また、プロセッサ３１は、推定した商品の陳列数が品薄を判定するための所定数よりも少ない場合には当該商品が品薄であると判定する。また、プロセッサ３１は、商品棚における商品の陳列状況に基づいて品薄を判定する判定アルゴリズムを援用して品薄を判定しても良い。

欠品および品薄の判定結果が得られると。プロセッサ３１は、商品棚における各商品に関する欠品および品薄の判定結果を出力する（ＡＣＴ９８）。例えば、プロセッサ３１は、欠品と判定した商品および品薄と判定した商品をディスプレイ３６に表示しても良い。また、プロセッサ３１は、欠品と判定した商品および品薄と判定した商品が配置される商品棚を示す情報をディスプレイ３６に表示するようにしても良い。

以上のような処理によれば、棚分析装置は、移動しながら店舗内の商品棚を撮影した複数の撮影画像に対する画像処理結果に基づいて商品の欠品および品薄を判定する。棚分析装置は、店舗内における商品の欠品および品薄の判定結果をディスプレイに表示する。これにより、棚分析装置は、店舗内を移動しながら撮影した複数の撮影画像から店舗内の商品の欠品および品薄を判定でき、欠品および品薄などをオペレータに報知できる。

（第２の実施形態）
以下、第２の実施形態について説明する。
第２の実施形態は、小規模なデバイスを用いて短時間で撮影位置を移動しながら撮影した領域にある商品棚に関する情報を取得する棚管理システムを想定する。第２の実施形態に係る棚管理システムは、例えば、小規模なデバイスとしてカメラ付きのスマートフォンなどの携帯端末を用いて第１の実施形態で説明した各種の処理を実現する。

図１８は、第２の実施形態に係る棚管理システムの構成例を示すブロック図である。
図１８に示す構成例では、棚管理システムは、携帯端末１０１と棚分析装置３とで構成される。携帯端末１０１は、第１の実施形態で説明した移動撮影装置１と画像処理装置２との機能を実現するデバイスである。携帯端末１０１は、例えば、カメラ機能付のスマートフォンあるいはカメラ付きのタブレットＰＣなどである。携帯端末１０１は、各種の処理を実行する機能を有し、オペレータ自身が手に持って撮影位置を移動させるデバイスであれば良い。

なお、第２の実施形態に係る棚分析装置３は、第１の実施形態で説明した図１及び図２に示す棚分析装置３と同等のものであって良い。また、棚分析装置３は、携帯端末１０１が通信可能なネットワーク上に配置したクラウドサーバで実現しても良い。さらに、第２の実施形態に係る棚管理システムは、第１の実施形態で説明した棚分析装置３による処理機能を携帯端末１０１が実現しても良い。例えば、第１の実施形態で説明した図１５乃至図１７に示す処理は、携帯端末１０１にインストールするアプリケーションプログラムによって実現しても良い。

図１８に示す構成例において、携帯端末１０１は、プロセッサ１１１、メモリ１１２、データメモリ１１３、インターフェース（Ｉ／Ｆ）１１４、撮影機（カメラ）１１５、ディスプレイ１１６、入力デバイス１１７およびセンサ群１１８などを有する。

プロセッサ１１は、携帯端末１０１全体の制御を司る。プロセッサ１１１は、プログラムを実行することにより各種の処理を実現する。プロセッサ１１１は、例えばＣＰＵである。プロセッサ１１１は、メモリ１１２あるいはデータメモリ１１３が記憶するプログラムを実行することにより各部の動作制御およびデータ処理などを実現する。メモリ１１２は、各種のメモリデバイスで構成する。例えば、メモリ１１２は、ＲＡＭ、ＲＯＭおよびＮＶＭなどのメモリデバイスを含む。

データメモリ１１３は、各種のデータを記憶する。データメモリ１１３は、例えば、ＨＤＤ（ハードディスクドライブ）、ＳＳＤ（ソリッドステートドライブ）などの書換え可能な記憶装置で構成する。データメモリ１１３は、カメラ１１５で撮影した画像、撮影位置情報および撮影条件情報などを記憶する。また、データメモリ１１３は、データ処理を実行する場合に、ある撮影画像を処理するための基準画像（例えば、直前に撮影した画像）を保持する記憶領域１１３ａを有する。

インターフェース１１４は、棚分析装置３と通信するためのインターフェースである。インターフェース１１４は、画像処理の結果などを棚分析装置３へ転送する。インターフェース１１４は、有線による情報伝送を行うものであっても良いし、無線伝送による情報通信を行うものであっても良い。インターフェース１１４は、例えば、ＵＳＢ、ＬＡＮポート、無線アンテナなどの情報入力端子を介して情報を入力する。

カメラ１１５は、画像を撮影する。カメラ１１５は、光電変換素子で構成するイメージセンサおよび撮影範囲の映像をイメージセンサに導くレンズなどを有する。カメラ１１５のイメージセンサは、既知のサイズ（Ｓｘ、Ｓｙ）を有する。また、カメラ１１５は、所定の焦点距離（ｆ）で画像を撮影するものとする。

ディスプレイ１１６は、情報を表示する表示装置である。また、入力デバイス１１７は、オペレータが情報を入力するためのデバイスである。入力デバイス１１７は、タッチパネルあるいはキーボードなどで構成する。例えば、ディスプレイ１１６および入力デバイス１１７は、タッチパネル付きの表示装置として構成しても良い。本第２の実施形態では、携帯端末１０１が、ディスプレイ１１６および入力デバイス１１７としてのタッチパネル付きの表示装置を有することを想定して説明する。

センサ群１１８は、画像を撮影した位置を特定するための情報を検知する種々のセンサを含む。携帯端末１０１は、撮影位置情報を得るためのセンサとして、加速度センサ、ジャイロセンサ、磁気センサ、気圧センサなどを備える。センサ群１１８は、携帯端末１０１（またはカメラ１１５）の向き及び動きを計測することができるセンサを含むものであれば良い。また、センサ群１１８には、店舗の平面図における位置を計測するセンサを設けても良い。ただし、店舗の平面上の位置を計測するセンサを携帯端末１０１に設けるのは実際には容易ではない。携帯端末１０１は、撮影開始位置からセンサ群１１８の各センサが向き及び動きを計測することで、撮影画像と次の撮影画像の幾何学的な位置関係を示すホモグラフィ成分を算出できる。

次に、携帯端末１０１を用いた商品棚の撮影動作について説明する。
図１９は、携帯端末１０１の外観構成の例を示す図である。また、図２０は、携帯端末１０１を用いて商品棚を撮影する様子を示す図である。
携帯端末１０１は、図１９に示すように、タッチパネル付のディスプレイを備える。携帯端末１０１は、オペレータの操作に応じて商品棚の撮影を実行する。携帯端末１０１は、撮影を開始する前に、撮影関連情報を入力する画面をディスプレイ１１６に表示する。オペレータは、ディスプレイ１１６に表示されるガイドに従って入力デバイス１１７により撮影関連情報を入力する。

図１９に示す例では、携帯端末１０１のディスプレイ１１６は、商品棚に対する撮影方向（撮影経路）を示す表示欄１２１を表示する。また、ディスプレイ１１６は、棚位置情報の入力を指示するアイコン１２２および整理番号などの棚情報の入力を指示するアイコン１２３なども表示する。例えば、携帯端末１０１は、入力される棚位置情報および棚情報などに応じてカメラ１１５で商品棚を撮影するための撮影方向を決定し、撮影方向を表示欄１２１に表示する。

オペレータは、撮影関連情報が入力された後、ディスプレイ１１６に表示される撮影方向に従って携帯端末１０１（カメラ１１５）を移動させる。図２０に示す撮影経路では、カメラ１１５の撮影領域４０を商品棚の左上から横方向にスワイプしながら右下に向かって移動させることで商品棚全体を撮影する。携帯端末１０１は、図２０に示す撮影経路をディスプレイ１１６に表示することにより、撮影領域に抜けがなく商品棚全体を撮影する動作を支援する。

オペレータが図２０に示す撮影経路に沿って携帯端末１０１を動かすと、カメラ１１５は、図２０に示すような撮影範囲となる複数の画像を撮影する。例えば、携帯端末１０１は、カメラ１１５が撮影する複数の撮影画像をスティッチング処理した画像が実時間でディスプレイ１１６に表示する。これにより、オペレータは、ディスプレイ１１６に表示される画像によって撮影範囲（携帯端末１０１の動き）が適正であるかを目視で確認できる。また、携帯端末１０１は、撮影完了などの情報をディスプレイ１１６に表示し、撮影完了を報知するようにしても良い。

携帯端末１０１は、画像を撮影しながら、第１の実施形態で説明した画像処理装置２と同様な画像処理を行うものとする。例えば、携帯端末１０１は、カメラ１１５が撮影する撮影画像を取得するごとに、直前に撮影した撮影画像を基準画像として画像処理を実行する。撮影が終了すると、携帯端末１０１は、撮影画像に対する画像処理の結果を棚分析装置３へ出力する。これにより、棚分析装置３は、携帯端末１０１からの画像処理の結果に基づいて図１５乃至１７に示す処理などを実行できる。

次に、第２の実施形態に係る携帯端末１０１の動作について説明する。
図２１は、第２の実施形態に係る棚管理システムにおける携帯端末１０１の動作例を説明するためのフローチャートである。
図２１は、第１の実施形態で説明した図９に示す移動撮影装置１による画像の撮影処理と図１０に示す画像処理装置２による画像処理とに準じた処理である。すなわち、第２の実施形態に係る携帯端末１０１は、第１の実施形態で説明した移動撮影装置１による撮影処理と画像処理装置２による画像処理とを連続的に実行するものである。

まず、携帯端末１０１のプロセッサ１１１は、棚管理システムによる撮影処理と画像処理を実行するためのプログラムを実行する。例えば、携帯端末１０１のプロセッサ１１１は、図１９に示すように、商品棚を撮影するための操作案内などをディスプレイ１１６に表示する。これにより、オペレータは、ディスプレイ１１６に表示される案内に従って携帯端末１０１を操作する。

携帯端末１０１のプロセッサ１１１は、オペレータの操作に応じてカメラ１１５による画像の撮影を行う（ＡＣＴ１００）。プロセッサ１１１は、センサ群１１８の各センサによって当該携帯端末１０１の移動状態（移動方向および移動量等）を検知しながらカメラ１１５による画像の撮影を行う。例えば、プロセッサ１１１は、センサ群１１８が検知する携帯端末１０１の移動に応じてカメラ１１５を動作させて画像を撮影する。また、プロセッサ１１１は、オペレータが携帯端末１０１を移動させている間、所定の周期でカメラ１１５による画像撮影を行うようにしても良い。

カメラ１１５が画像を撮影すると、プロセッサ１１１は、撮影画像、撮影位置を示す撮影位置情報および撮影条件情報などを含む撮影画像情報を取得する（ＡＣＴ１０１）。例えば、プロセッサ１１１は、撮影画像、撮影位置情報および撮影条件情報を撮影画像ＩＤに関連づけた撮影画像情報として管理する。例えば、プロセッサ１１１は、図９に示すＡＣＴ１４、１６、１８と同等な処理によって撮影画像、撮影位置情報および撮影条件情報を取得する。ただし、携帯端末１０１のプロセッサ１１１は、撮影位置情報として撮影開始位置からの移動位置を示す情報を取得するようにして良い。

撮影画像情報を取得する場合、プロセッサ１１１は、取得した撮影画像の撮影範囲を推定する（ＡＣＴ１０２）。例えば、プロセッサ１１１は、図１０のＡＣＴ３２又はＡＣＴ３５と同様に、図５および図７を用いて説明した関係などに基づいて撮影画像の撮影範囲を算出する。例えば、携帯端末１０１のプロセッサ１１１は、センサ群１１８の各センサが検出する情報に基づいて撮影距離などを推定する。

撮影画像情報および撮影範囲を得ると、プロセッサ１１１は、基準画像が既に設定済みかを確認する（ＡＣＴ１０３）。基準画像が設定されていない場合、つまり、最初に撮影した撮影画像である場合（ＡＣＴ１０３、ＮＯ）、プロセッサ１１１は、取得した撮影画像を基準画像に設定する（ＡＣＴ１０８）。

また、基準画像が既に設定されている場合（ＡＣＴ１０３、ＹＥＳ）、プロセッサ１１１は、撮影画像の撮影範囲と基準画像の撮影範囲とを比較する処理を行う（ＡＣＴ１０４）。例えば、プロセッサ１１１は、基準画像の撮影位置と撮影画像の撮影位置との差分などにより基準画像の撮影範囲と撮影画像の撮影範囲との幾何学的な重なり領域を算出する。

基準画像と撮影画像との重なり領域を算出すると、プロセッサ１１１は、基準画像に含まれる画像特徴量と撮影画像に含まれる画像特徴量とを比較する範囲（画像比較範囲）を決定する（ＡＣＴ１０５）。ここで、プロセッサ１１１は、基準画像と撮影画像との画像相関を効率良く比較するために、双方の画像に含まれる画像特徴量を比較する範囲を限定する。

画像比較範囲を決定すると、プロセッサ１１１は、画像比較範囲において基準画像と対象画像とのマッチング処理を行う（ＡＣＴ１０６）。プロセッサ２１は、マッチング処理として、基準画像に含まれる局所特徴量と撮影画像に含まれる局所特徴量とを抽出する。基準画像および撮影画像から局所特徴量を抽出すると、プロセッサ２１は、基準画像の局所特徴量と対象画像の局所特徴量とをマッチングすることで共通の画像特徴を探索する。

プロセッサ２１は、基準画像と撮影画像とのマッチング処理の結果に基づいて両画像間のホモグラフィ成分を決定する（ＡＣＴ１０７）。例えば、プロセッサ２１は、基準画像と撮影画像とのマッチングに基づき、基準画像に対する撮影画像の幾何学的な重なりの範囲をホモグラフィ行列算出により求めることができる。また、プロセッサ２１は、基準画像と撮影画像とのマッチングによって、基準画像情報から撮影画像の撮影範囲を算出しても良い。

撮影画像の撮影範囲とホモグラフィ成分とを決定すると、プロセッサ２１は、撮影画像を基準画像として設定する（ＡＣＴ１０８）。プロセッサ２１は、撮影画像の撮影位置情報および撮影条件情報を含む撮影画像情報を基準画像情報とし、撮影画像の撮影範囲を基準画像の撮影範囲として設定（更新）する。

撮影画像を基準画像として設定すると、プロセッサ１１１は、オペレータによる携帯端末１０１の操作に応じてカメラ１１５の撮影位置を移動させる（ＡＣＴ１０９）。プロセッサ１１１は、カメラ１１５による画像の撮影が終了でなければ（ＡＣＴ１１０、ＮＯ）、ＡＣＴ１００へ戻り、次の画像の撮影を実行する。

以上の処理によって、携帯端末１０１は、カメラ１１５による複数の撮影画像の撮影範囲と基準画像に対するホモグラフィ成分とを取得する。携帯端末１０１は、上述した処理によって取得した情報を用いて、第１の実施形態で説明した図１１及び図１２に示す処理を実行できる。これにより、第２の実施形態においても、第１の実施形態と同様な画像の撮影と画像処理とをオペレータが携帯可能な小規模のデバイスである携帯端末を用いて実施できる。

以上説明したように、第１及び第２の実施形態によれば、棚管理システムは、移動しながら複数の撮影画像で棚全体を撮影する。棚管理システムは、各撮影画像の撮影位置を基準とする他の撮影画像の撮影位置からの移動量を算出する。棚管理システムは、２つの撮影画像間の移動量に応じて設定する範囲において両画像の画像情報を比較（例えば、画像特徴量の比較）する。また、棚管理システムは、移動量と画像情報の比較とによって撮影範囲の重なる領域を特定する。棚管理システムは、判定した撮影範囲の重なり領域を考慮して棚全体におけるオブジェクトの状態を特定する。

これにより、棚管理システムは、画像特徴量の相関、即ち、画像情報の比較だけで２つの撮影画像の重なりを判定するよりも、ロバストで正確且つ効率良く２つの撮影画像の相関関係を特定できる。この結果、棚管理システムは、移動しながら撮影した複数の撮影画像から店舗内の棚にあるオブジェクトを高精度かつ効率良く特定でき、棚の分析を高精度で行うことができる。

また、店舗に設置する商品棚を移動しながら撮影する場合、各撮影画像には、無地の段ボール箱や壁などの特徴の少ないオブジェクトが多数含まれることが想定される。また、同一商品が並べて配置されることが多い商品棚では、撮影画像間で比較する画像特徴量が少なかったり、類似の画像特徴量が撮影画像内に繰り返し生じたりすることがある。このような場合であっても、第１及び第２の実施形態に係る棚管理システムでは、撮影画像間の移動量を加味して高精度かつ効率良く撮影画像間の重なりを判定できる。この結果、第１及び第２の実施形態に係る棚管理システムは、店舗内を移動しながら撮影した複数の撮影画像から各商品棚にあるオブジェクトの判定を高精度で実施できる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１（１Ａ）…移動撮影装置、２…画像処理装置、３…棚分析装置、１１…プロセッサ、１２…メモリ、１３…データメモリ、１４…インターフェース、１５…撮影機、１６…位置計測機、１７…移動機構、２１…プロセッサ、２２…メモリ、２３…データメモリ、２４…インターフェース、２５…インターフェース、３１…プロセッサ、３２…メモリ、３４…インターフェース、３５…インターフェース、３６…ディスプレイ、４３…カメラ、１０１…携帯端末、１１１…プロセッサ、１１２…メモリ、１１４…インターフェース、１１５…撮影機（カメラ）、１１６…ディスプレイ、１１８…センサ群。

Claims (6)

1. 商品を含むオブジェクトを配置する棚に対する撮影位置を変えて撮影した複数の撮影画像と各撮影画像の撮影位置を示す撮影位置情報とを含む撮影画像情報を入力するインターフェースと、
   前記複数の撮影画像のうち１つの撮影画像を基準画像として保持するメモリと、
   前記基準画像と他の撮影画像とを撮影位置と画像特徴量とに基づいてマッチング処理を実行し、前記マッチング処理の結果によって判定する前記棚にあるオブジェクトに関する情報を出力するプロセッサと、
   を有する棚管理システム。
2. 前記撮影画像情報は、撮影画像の撮影範囲を特定するための撮影条件を示す撮影条件情報を含む、
   請求項１記載の棚管理システム。
3. 前記プロセッサは、前記基準画像の撮影位置と前記他の撮影画像の位置情報とに基づく画像比較範囲において画像特徴量のマッチングを実行する、
   請求項１又は２の何れかに記載の棚管理システム。
4. 前記オブジェクトは、前記棚に配置される商品と前記棚に掲示されるラベルとを含む、
   請求項１乃至３の何れか１項に記載の棚管理システム。
5. 前記プロセッサが複数の撮影画像から特定した前記棚にあるオブジェクトに関する情報をデータベースに登録されている情報と照合する第２のプロセッサをさらに有する、
   請求項１乃至４の何れか１項に記載の棚管理システム。
6. コンピュータに、
   商品を含むオブジェクトを配置する棚に対する撮影位置を変えて撮影する複数の撮影画像と各撮影画像の撮影位置を示す撮影位置情報とを含む撮影画像情報を入力し、
   前記複数の撮影画像のうち１つの画像を基準画像としてメモリに記録し、
   前記基準画像と他の撮影画像とを撮影位置と画像特徴量とに基づいてマッチング処理を実行し、前記マッチング処理の結果によって判定する前記棚にあるオブジェクトに関する情報を出力する、
   処理を実行させる棚管理プログラム。