JP7740227B2 - 処理装置、処理方法及びプログラム - Google Patents

処理装置、処理方法及びプログラム

Info

Publication number
JP7740227B2
JP7740227B2 JP2022505851A JP2022505851A JP7740227B2 JP 7740227 B2 JP7740227 B2 JP 7740227B2 JP 2022505851 A JP2022505851 A JP 2022505851A JP 2022505851 A JP2022505851 A JP 2022505851A JP 7740227 B2 JP7740227 B2 JP 7740227B2
Authority
JP
Japan
Prior art keywords
image
processing device
equipment
information
managed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022505851A
Other languages
English (en)
Other versions
JPWO2021181990A1 (ja
Inventor
淳 内村
裕司 田原
莉奈 富田
康代 加増
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021181990A1 publication Critical patent/JPWO2021181990A1/ja
Application granted granted Critical
Publication of JP7740227B2 publication Critical patent/JP7740227B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional [3D] objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/44Event detection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、処理装置、処理方法及びプログラムに関する。
特許文献1は、店舗の床に付与したマーカと、画像内のマーカとの位置に基づいて、店舗のマップ上の位置(座標)と、画像上の位置(座標)とを対応付ける技術を開示している。
特許文献2は、施設内のレイアウトを描画した施設マップ画像上に、対象エリアを設定する技術を開示している。
特開2016-149654号公報 特開2017-182654号公報
本発明者らは、店舗に設置されたカメラ(監視カメラ等)が生成した画像を用いて、店舗の設備の状況を監視する技術を検討した。監視内容は、商品棚の状況(欠品の有無、異物の有無等)の監視等が例示されるが、これらに限定されない。そして、当該技術を検討した結果、次のような課題を新たに見出した。
上述のような設備の監視を行うためには、各カメラが生成した画像にどの設備が含まれているかを特定する必要がある。当該特定がなされていない場合、画像解析で所定の事象(欠品、異物の存在等)が検出されても、その事象がどの設備に生じているのか不明となる。人が画像を閲覧して各画像に含まれる設備を特定し、その内容を入力する手段の場合、人の負担が大きくなる。特許文献1及び2は、当該課題及びその解決手段を開示していない。
本発明は、店舗に設置されたカメラ(監視カメラ等)が生成した画像に含まれる設備を特定する技術を提供することを課題とする。
本発明によれば、
管理対象の画像を取得する取得手段と、
前記管理対象における設備のレイアウト情報を用いて、前記画像に含まれる前記設備を特定する特定手段と、
を有する処理装置が提供される。
また、本発明によれば、
コンピュータが、
管理対象の画像を取得し、
前記管理対象における設備のレイアウト情報を用いて、前記画像に含まれる前記設備を特定する処理方法が提供される。
また、本発明によれば、
コンピュータを、
管理対象の画像を取得する取得手段、
前記管理対象における設備のレイアウト情報を用いて、前記画像に含まれる前記設備を特定する特定手段、
として機能させるプログラムが提供される。
本発明によれば、店舗に設置されたカメラ(監視カメラ等)が生成した画像に含まれる設備を特定する技術が実現される。
本実施形態の処理装置のハードウエア構成の一例を示す図である。 本実施形態の処理装置の機能ブロック図の一例である。 本実施形態の処理装置が処理する情報の一例を模式的に示す図である。 本実施形態の処理装置が処理する情報の一例を模式的に示す図である。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の処理装置の機能ブロック図の一例である。 本実施形態の処理装置が処理する情報の一例を模式的に示す図である。 本実施形態の処理装置の機能ブロック図の一例である。 本実施形態の処理装置の機能ブロック図の一例である。 本実施形態の処理装置の機能ブロック図の一例である。
<第1の実施形態>
本実施形態の処理装置は、管理対象(店舗等)に設置されたカメラ(監視カメラ等)が生成した管理対象の画像を取得すると、管理対象における設備のレイアウト情報を用いて、画像に含まれる設備を特定する。以下、処理装置の構成を詳細に説明する。
まず、処理装置のハードウエア構成の一例を説明する。本実施形態の処理装置が備える機能部は、任意のコンピュータのCPU(Central Processing Unit)、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット(あらかじめ装置を出荷する段階から格納されているプログラムのほか、CD(Compact Disc)等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる)、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
図1は、本実施形態の処理装置のハードウエア構成を例示するブロック図である。図1に示すように、処理装置は、プロセッサ1A、メモリ2A、入出力インターフェイス3A、周辺回路4A、バス5Aを有する。周辺回路4Aには、様々なモジュールが含まれる。なお、周辺回路4Aは有さなくてもよい。なお、処理装置は物理的及び/又は論理的に一体となった1つの装置で構成されてもよいし、物理的及び/又は論理的に分かれた複数の装置で構成されてもよい。物理的及び/又は論理的に分かれた複数の装置で構成される場合、複数の装置各々が上記ハードウエア構成を備えることができる。
バス5Aは、プロセッサ1A、メモリ2A、周辺回路4A及び入出力インターフェイス3Aが相互にデータを送受信するためのデータ伝送路である。プロセッサ1Aは、例えばCPU、GPU(Graphics Processing Unit)等の演算処理装置である。メモリ2Aは、例えばRAM(Random Access Memory)やROM(Read Only Memory)等のメモリである。入出力インターフェイス3Aは、入力装置、外部装置、外部サーバ、外部センサ、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイス等を含む。入力装置は、例えばキーボード、マウス、マイク、タッチパネル、物理ボタン、カメラ等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ1Aは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
次に、処理装置の機能構成を説明する。図2に、処理装置10の機能ブロック図の一例を示す。図示するように、処理装置10は、取得部11と、特定部12とを有する。なお、処理装置10は管理対象毎(すなわち店舗毎等)に設置され、各管理対象を管理する装置であってもよい。その他、処理装置10は、センター等に設置され、複数の管理対象を管理するサーバであってもよい。
取得部11は、管理対象の画像を取得する。管理対象には、画像解析で所定の事象を検出する対象である複数の設備が設置されている。本実施形態では、管理対象は店舗である。そして、設備は、例えば商品棚、カウンター、通路、コピー機、イートインコーナーの椅子やテーブル、駐車場等である。そして、所定の事象は、欠品、異物の存在等である。なお、ここでの管理対象、設備及び所定の事象の例示はあくまで一例であり、これに限定されない。例えば、管理対象は倉庫やオフィス等であってもよい。また、所定の事象は、画像から検出できるその他の事象であってもよい。
管理対象には、管理対象を撮影するカメラが設置されている。カメラが生成した画像には、管理対象に設置された設備が含まれる。取得部11は、そのカメラが生成した画像を取得する。なお、管理対象には複数のカメラが設置されていてもよい。そして、取得部11は、複数のカメラ各々が生成した画像を取得してもよい。
カメラは、動画像を連続的に生成しているものとするが、その他、カメラは所定のタイミングで静止画像を生成してもよい。また、カメラは魚眼レンズを備えてもよいし、標準レンズ(例えば画角40°前後~60°前後)を備えてもよい。
なお、本明細書において、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置が他の装置や記憶媒体に格納されているデータを取りに行くこと(能動的な取得)」、たとえば、他の装置にリクエストまたは問い合わせして受信すること、他の装置や記憶媒体にアクセスして読み出すこと等を含んでもよい。また、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置に他の装置から出力されるデータを入力すること(受動的な取得)」、たとえば、配信(または、送信、プッシュ通知等)されるデータを受信すること等を含んでもよい。また、「取得」とは、受信したデータまたは情報の中から選択して取得すること、及び、「データを編集(テキスト化、データの並び替え、一部データの抽出、ファイル形式の変更等)などして新たなデータを生成し、当該新たなデータを取得すること」を含んでもよい。
特定部12は、管理対象における設備のレイアウト情報を用いて、画像に含まれる設備を特定する。
特定部12が処理する画像は、標準レンズで撮影された画像であってもよいし、魚眼レンズで撮影された画像(図4参照)であってもよいし、魚眼レンズで撮影された画像(図4参照)を平面展開した画像であってもよい。
図3に、レイアウト情報の一例を模式的に示す。図示するレイアウト情報は、管理対象における設備(商品棚、レジカウンター、コピー機及び端末)の設置位置を示す。また、図示するレイアウト情報は、C1乃至C9の記号で9個のカメラ各々の設置位置を示す。また、図示するレイアウト情報は、M1乃至M18の記号で管理対象に設置された18個のマーカ各々の位置を示す。
ここで、レイアウト情報を用いて、画像に含まれる設備を特定する処理の一例を説明する。
まず、特定部12は、処理対象の画像の中から管理対象に設置されたマーカを抽出する。予め、複数のマーカ各々の外観の特徴量が登録されており、特定部12は、当該特徴量に基づき画像から各マーカを抽出する。なお、複数のマーカの外観は互いに異なり、外観から複数のマーカを互いに識別可能になっている。
また、特定部12は、処理対象の画像の中から物体を抽出する。物体抽出技術は広く知られているので、ここでの説明は省略する。
そして、特定部12は、抽出したマーカと物体との相対的な位置関係に基づき、抽出した物体がいずれの設備に該当するか特定する。例えば、図3に示すカメラC4が生成した画像には、商品棚10、11、14及び15、マーカM8及びM9等が含まれることが考えられる。図3より、マーカM9は、商品棚10と11との境目、及び、商品棚14と15との境目付近に設置されている。また、商品棚10及び11は通路を挟んで同じ側に設置され、商品棚14及び15は通路を挟んで同じ側に設置されている。そして、商品棚10及び11と、商品棚14及び15とは通路を挟んで反対側に設置されている。そして、マーカM8及びM9は、その通路に設置されている。そして、カメラC4は、商品棚11よりも商品棚10よりに、また、商品棚15よりも商品棚14よりに設置されている。
この場合、例えば、マーカM9よりもカメラ側に位置するか遠くに位置するかにより、商品棚10及び14と、商品棚11及び15とを識別することができる。そして、例えば、マーカM8とマーカM9とを結ぶ線よりもカメラから見て右側に位置するか左側に位置するかにより、商品棚10と14とを識別し、商品棚11と15とを識別することができる。そこで、例えば特定部12は、カメラC4が生成した画像から抽出した複数の物体がマーカM9よりもカメラ側に位置するか否かや、マーカM8とマーカM9とを結ぶ線よりもカメラから見て右側に位置するか左側に位置するか等の解析結果に基づき、カメラC4が生成した画像から抽出した複数の物体が、いずれの商品棚に該当するかを特定することができる。
その他の例として、特定部12は、画像に含まれるマーカに基づき、図3に示すようなレイアウト情報に定めた店舗座標と、画像上の座標とを対応付けてもよい。この対応関係により、特定部12は、レイアウト情報における店舗座標を、画像上の座標に変換することが可能となる。そこで、特定部12は、レイアウト情報で示される各設備の位置座標を、画像上の座標に変換することで、画像に含まれる設備を特定するとともに、画像内おける各設備の位置を特定してもよい。
その他の例として、複数の設備各々に各々を識別するマーカを付しておいてもよい。そして、特定部12は、画像から抽出した物体に付与されているマーカに基づき、画像から抽出した物体がどの設備であるか特定してもよい。
その他、特別なマーカを管理対象に設置する代わりに、管理対象の設備をマーカとして利用してもよい。
なお、ここで説明したアルゴリズムはあくまで一例であり、これに限定されない。
このような特定部12による処理により、画像に含まれる設備が特定される。また、画像内における設備の位置(占有するエリア)が特定される。また、取得部11が複数のカメラ各々が生成した画像を取得した場合、複数のカメラ各々が生成した画像各々に含まれる設備が特定され、各画像内における設備の位置(占有するエリア)が特定される。
次に、図5のフローチャートを用いて、処理装置10の処理の流れの一例を説明する。取得部11が管理対象の画像を取得すると(S10)、特定部12が管理対象における設備のレイアウト情報(図3参照)を用いて、画像に含まれる設備を特定する(S20)。
図6のフローチャートを用いて、S20の処理の流れの一例を説明する。特定部12は、予め登録されている複数のマーカ各々の特徴量に基づき、画像の中からマーカを抽出する(S21)。また、特定部12は、任意の物体検出技術を用いて、画像の中から物体を抽出する(S22)。なお、S21及びS22の処理順は図示するものに限定されない。
その後、特定部12は、抽出した物体及びマーカの相対的な位置関係と、レイアウト情報とを照合し、抽出した物体各々がレイアウト情報で示される設備のいずれであるかを特定する(S23)。
以上説明した本実施形態の処理装置10によれば、管理対象における設備のレイアウト情報に基づき、管理対象の画像に含まれる設備が特定される。また、処理装置10によれば、管理対象の画像内における設備の位置(占有するエリア)が特定される。また、処理装置10によれば、複数のカメラ各々が生成した各画像に含まれる設備が特定される。また、処理装置10によれば、複数のカメラ各々が生成した各画像内における設備の位置(占有するエリア)が特定される。当該処理装置10によれば、人が画像を閲覧して各画像に含まれる設備を特定し、その内容を入力する必要がないので、人の負担が軽減される。
<第2の実施形態>
図7に、本実施形態の処理装置10の機能ブロック図の一例を示す。図示するように、処理装置10は、取得部11と、特定部12と、記憶部13とを有する。
特定部12は、カメラを識別する情報と、各カメラが生成した画像に含まれることを特定した設備を識別する情報と、画像内における設備の位置を示す情報とを紐付けて、記憶部13に記憶させる。
図8に、記憶部13が記憶する情報の一例を模式的に示す。図示する例では、カメラ識別情報と、設備情報とが紐づけられている。図示する設備情報は、各カメラが生成した画像に含まれる設備を識別する情報と、画像内における各設備の位置(占有するエリア)を示す情報とを含む。図示する例の場合、画像内における各設備の輪郭線上の点の座標で、画像内における各設備の位置(占有するエリア)を示しているが、これに限定されない。
処理装置10のその他の構成は、第1の実施形態と同様である。
以上、本実施形態の処理装置10によれば、第1の実施形態と同様な作用効果が実現される。また、本実施形態の処理装置10によれば、管理対象に設置された複数のカメラ各々が生成した画像に含まれる設備を識別する情報、及び、画像内における各設備の位置(占有するエリア)を示す情報を含むデータベース(図8参照)を生成することができる。このデータベースを参照することで、管理対象に設置された複数のカメラ各々が生成した画像に含まれる設備を容易に把握できる。また、複数のカメラ各々が生成した画像内における各設備の位置(占有するエリア)を容易に把握できる。
<第3の実施形態>
本実施形態の処理装置10は、第2の実施形態の処理装置10が生成したデータベースに基づき各種処理を実行する。図9に、本実施形態の処理装置10の機能ブロック図の一例を示す。図示するように、処理装置10は、取得部11と、特定部12と、記憶部13と、出力部15とを有する。
出力部15は、複数のカメラが生成した画像をディスプレイに出力する。例えば、出力部15は、複数のカメラが生成した画像を1つずつ順に切り替えながらディスプレイに出力することができる。そして、出力部15は、ユーザ入力に基づき1つの設備を指定すると、特定部12が生成した図8に示すようなデータベースに基づき、指定された設備を含む画像を生成するカメラを特定し、特定したカメラが生成した画像を順に切り替えながら出力することができる。
例えば、ユーザ入力に基づき「商品棚01」が指定され、図8に示すようなデータベースに基づき、指定された設備「商品棚01」を含む画像を生成するカメラとして、「カメラC1」、「カメラC2」及び「カメラC4」が特定されたとする。この場合、出力部15は、複数のカメラの中の一部である「カメラC1」、「カメラC2」及び「カメラC4」が生成した画像のみを、順に切り替えながらディスプレイに出力する。例えば、出力部15は、ユーザ入力に基づき、「カメラC1」、「カメラC2」及び「カメラC4」が生成した画像を順に切り替えながらディスプレイに出力してもよい。
なお、ユーザによる設備の指定方法は様々である。例えば、出力部15は、図3に示すような設備のレイアウト情報をディスプレイに出力してもよい。そして、そのレイアウト情報上で1つの設備の表示エリアを選択する入力により、1つの設備が指定できてもよい。その他、任意のUI(user interface)部品で、設備の識別情報が直接入力又は選択入力できてもよい。
処理装置10のその他の構成は、第1及び第2の実施形態と同様である。
以上、本実施形態の処理装置10によれば、第1及び第2の実施形態と同様な作用効果が実現される。また、本実施形態の処理装置10によれば、特定部12が生成した情報(図8参照)に基づき、特徴的な方法で情報を提供することができる。
具体的には、ユーザから閲覧対象として1つの設備を指定する入力を受け付けると、処理装置10は、特定部12が生成した情報に基づき指定された設備を含む画像を生成するカメラを特定し、特定したカメラの画像を順に切り替えながら出力することができる。このような表示の仕方によれば、ユーザは、確認したい設備を、複数のカメラが生成した画像に基づき確認することができる。また、確認したい設備を含まない画像は表示されないので、ユーザは、無駄なく効率的に確認作業を行うことができる。
<第4の実施形態>
本実施形態の処理装置10は、第2の実施形態の処理装置10が生成したデータベースに基づき各種処理を実行する。本実施形態の処理装置10の機能ブロック図の一例は図9で示される。
出力部15は、特定部12による特定結果(図8参照)に基づき、レイアウト情報に含まれる設備の中のいずれのカメラが生成した画像にも含まれない設備を特定し、特定結果を出力する。出力は、ディスプレイ、プリンター、メーラ等の各種出力装置を介して実現される。
処理装置10のその他の構成は、第1乃至第3の実施形態と同様である。
以上、本実施形態の処理装置10によれば、第1乃至第3の実施形態と同様な作用効果が実現される。また、本実施形態の処理装置10によれば、特定部12による特定結果(図8参照)に基づき、レイアウト情報に含まれる設備の中のいずれのカメラが生成した画像にも含まれない設備を特定し、特定結果を出力することができる。当該出力結果に基づき、ユーザは、カメラが生成した画像に基づく監視の対象から漏れる設備を把握することができる。
<第5の実施形態>
本実施形態の処理装置10は、管理対象に設置されたカメラ(監視カメラ等)が生成した画像に基づく監視により、所定の事象(欠品、異物の存在等)を検出するとともに、特定部12による特定結果に基づきその事象がどの設備に生じているのかを特定する。
図10に、本実施形態の処理装置10の機能ブロック図の一例を示す。図示するように、処理装置10は、取得部11と、特定部12と、検出部14と、出力部15とを有する。なお、図11に示すように、処理装置10は、さらに記憶部13を有してもよい。
検出部14は、管理対象の画像に基づき所定の事象を検出する。例えば、検出部14は、異物の存在及び欠品の少なくとも一方を検出してもよい。また、検出部14は、その他の事象を検出してもよい。
画像解析での異物の検出手法は特段制限されないが、以下一例を説明する。例えば、予め設備の色情報が登録されておいてもよい。そして、検出部14は、画像内における各設備の位置(占有するエリア)において、各設備の色と異なる色が存在する場合、それを異物として検出してもよい。さらに、予め設備ごとに異物でない物、すなわちそこに存在することが許可される物(以下、「許可物」)の外観の特徴量が登録されていてもよい。許可物は、例えば、商品棚に陳列される商品等である。そして、検出部14は、各設備の色と異なる色が存在する領域を検出した場合、当該情報を用いて、その領域に許可物が存在するか否かを判断してもよい。そして、許可物が存在しないと判断した場合、検出部14はそれを異物として検出してもよい。なお、検出部14は、特定部12による特定結果に基づき、各カメラが生成した画像に含まれる設備、及び、画像内における各設備の位置(占有するエリア)を認識することができる。
また、予め設備ごとに異物として検出する大きさの下限値が規定されていてもよい。そして、検出部14は、下限値以上の大きさの物を異物として検出してもよい。画像内で検出した物の大きさを推定する技術は様々である。例えば、図3に示すようなレイアウト情報において、各設備の実際の大きさ(幅、高さ、奥行きなど)が登録されていてもよい。そして、検出部14は、画像内で検出した異物候補の画像内での大きさと、画像内での任意の設備の大きさと、レイアウト情報で示されるその設備の実寸とに基づく比率を用いた演算により、異物の実際の大きさを推定してもよい。
画像解析での欠品の検出手法は特段制限されないが、以下一例を説明する。例えば、予め商品棚の商品が陳列される棚板の色情報が登録されておいてもよい。そして、検出部14は、画像内における各商品棚の位置(占有するエリア)において、各商品棚の色と同一の色が存在するエリア(棚板が露出しているエリア)の大きさに基づき、欠品の有無を判断してもよい。欠品状態でない場合、商品の存在のため商品棚部分の露出は少なくなる一方で、欠品状態である場合、商品棚部分の露出は多くなる。このため、画像内における各商品棚の色と同一の色が存在するエリア(棚板が露出しているエリア)の大きさに基づき、欠品状況を判断することができる。例えば、検出部14は、当該エリアの大きさが基準以上である場合に欠品と判断し、当該エリアの大きさが基準未満である場合に欠品でないと判断してもよい。
出力部15は、画像内の設備の位置で所定の事象が検出された場合、検出結果と、設備を識別する情報とを紐づけて出力する。出力は、ディスプレイ、プリンター、メーラ等の各種出力装置を介して実現される。例えば、店舗に設置された装置(POS(point of sale)レジスター、バックヤードに設置される装置等)が有するディスプレイに、当該情報が出力されてもよい。その他、予め店舗の店長やオーナの連絡先(電子メールアドレス等)が登録されていてもよい。そして、その連絡先宛で当該情報が送信されてもよい。
処理装置10のその他の構成は、第1乃至第4の実施形態と同様である。
以上、本実施形態の処理装置10によれば、第1乃至第4の実施形態と同様な作用効果が実現される。また、本実施形態の処理装置10によれば、管理対象に設置されたカメラ(監視カメラ等)が生成した画像に基づく監視により、所定の事象(欠品、異物の存在等)を検出するとともに、特定部12による特定結果に基づきその事象がどの設備に生じているのかを特定することができる。さらに、処理装置10は、特定部12による特定結果に基づき画像内における設備の位置を特定し、その結果を利用して各種事象の検出を行うことができる。
このような処理装置10によれば、ユーザは、検出された事象がどの設備で生じているのか把握できる。また、処理装置10は、画像に含まれる設備や画像内における設備の位置を特定した上で、各種事象を検出する処理を行うことができるので、検出アルゴリズムの幅が広がり(例えば、各商品棚の色情報の利用、各商品棚に陳列される商品を示す情報の利用等)、検出精度の向上などが期待される。
以下、参考形態の例を付記する。
1. 管理対象の画像を取得する取得手段と、
前記管理対象における設備のレイアウト情報を用いて、前記画像に含まれる前記設備を特定する特定手段と、
を有する処理装置。
2. 前記特定手段は、前記画像に含まれることを特定した前記設備を識別する情報と、前記画像内における前記設備の位置を示す情報とを紐付けて、記憶手段に記憶させる1に記載の処理装置。
3. 前記画像に基づき所定の事象を検出する検出手段と、
前記画像内の前記設備の位置で前記所定の事象が検出された場合、検出結果と、前記設備を識別する情報とを紐づけて出力する出力手段と、
を有する1又は2に記載の処理装置。
4. 前記特定手段は、前記画像に含まれる前記設備の特定結果に基づき、前記管理対象のどの領域が前記画像に含まれるかを特定する1から3のいずれかに記載の処理装置。
5. 前記特定手段は、前記画像を生成したカメラを識別する情報と、前記画像に含まれる前記管理対象の一部領域を示す情報とを紐付けて、記憶手段に記憶させる4に記載の処理装置。
6. 前記画像に基づき所定の事象を検出する検出手段と、
前記所定の事象が検出された場合、検出結果と、前記画像に含まれる前記管理対象の一部領域を示す情報とを紐づけて出力する出力手段と、
を有する4又は5に記載の処理装置。
7. 前記取得手段は、複数のカメラ各々が生成した前記画像を取得し、
前記特定手段は、複数のカメラ各々が生成した前記画像に、いずれの前記設備が含まれるかを特定する1から6のいずれかに記載の処理装置。
8. 前記特定手段は、複数のカメラの各々が生成した前記画像に、前記管理対象のどの領域が含まれるかを特定する7に記載の処理装置。
9. コンピュータが、
管理対象の画像を取得し、
前記管理対象における設備のレイアウト情報を用いて、前記画像に含まれる前記設備を特定する処理方法。
10. コンピュータを、
管理対象の画像を取得する取得手段、
前記管理対象における設備のレイアウト情報を用いて、前記画像に含まれる前記設備を特定する特定手段、
として機能させるプログラム。
以上、実施形態(及び実施例)を参照して本願発明を説明したが、本願発明は上記実施形態(及び実施例)に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、2020年3月13日に出願された日本出願特願2020-044091号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
1A プロセッサ
2A メモリ
3A 入出力I/F
4A 周辺回路
5A バス
10 処理装置
11 取得部
12 特定部
13 記憶部
14 検出部
15 出力部
C1乃至C9 カメラ
M1乃至M18 マーカ

Claims (10)

  1. 管理対象の画像を取得する取得手段と、
    前記管理対象に設置された複数の設備及び前記設備から離れた位置に設置された複数の目印の間の相対的な位置関係を示すレイアウト情報を用いて、前記画像に含まれる前記設備を特定する特定手段と、
    を有する処理装置。
  2. 前記特定手段は、前記画像に含まれることを特定した前記設備を識別する情報と、前記画像内における前記設備の位置を示す情報とを紐付けて、記憶手段に記憶させる請求項1に記載の処理装置。
  3. 前記画像に基づき所定の事象を検出する検出手段と、
    前記画像内の前記設備の位置で前記所定の事象が検出された場合、検出結果と、前記設備を識別する情報とを紐づけて出力する出力手段と、
    を有する請求項1又は2に記載の処理装置。
  4. 前記特定手段は、前記画像に含まれる前記設備の特定結果に基づき、前記管理対象のどの領域が前記画像に含まれるかを特定する請求項1から3のいずれか1項に記載の処理装置。
  5. 前記特定手段は、前記画像を生成したカメラを識別する情報と、前記画像に含まれる前記管理対象の一部領域を示す情報とを紐付けて、記憶手段に記憶させる請求項4に記載の処理装置。
  6. 前記画像に基づき所定の事象を検出する検出手段と、
    前記所定の事象が検出された場合、検出結果と、前記画像に含まれる前記管理対象の一部領域を示す情報とを紐づけて出力する出力手段と、
    を有する請求項4又は5に記載の処理装置。
  7. 前記取得手段は、複数のカメラ各々が生成した前記画像を取得し、
    前記特定手段は、複数のカメラ各々が生成した前記画像に、いずれの前記設備が含まれるかを特定する請求項1から6のいずれか1項に記載の処理装置。
  8. 前記特定手段は、複数のカメラの各々が生成した前記画像に、前記管理対象のどの領域が含まれるかを特定する請求項7に記載の処理装置。
  9. コンピュータが、
    管理対象の画像を取得し、
    前記管理対象に設置された複数の設備及び前記設備から離れた位置に設置された複数の目印の間の相対的な位置関係を示すレイアウト情報を用いて、前記画像に含まれる前記設備を特定する処理方法。
  10. コンピュータを、
    管理対象の画像を取得する取得手段、
    前記管理対象に設置された複数の設備及び前記設備から離れた位置に設置された複数の目印の間の相対的な位置関係を示すレイアウト情報を用いて、前記画像に含まれる前記設備を特定する特定手段、
    として機能させるプログラム。
JP2022505851A 2020-03-13 2021-02-10 処理装置、処理方法及びプログラム Active JP7740227B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020044091 2020-03-13
JP2020044091 2020-03-13
PCT/JP2021/004975 WO2021181990A1 (ja) 2020-03-13 2021-02-10 処理装置、処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2021181990A1 JPWO2021181990A1 (ja) 2021-09-16
JP7740227B2 true JP7740227B2 (ja) 2025-09-17

Family

ID=77671409

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022505851A Active JP7740227B2 (ja) 2020-03-13 2021-02-10 処理装置、処理方法及びプログラム

Country Status (3)

Country Link
US (1) US12205384B2 (ja)
JP (1) JP7740227B2 (ja)
WO (1) WO2021181990A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016038774A1 (ja) 2014-09-11 2016-03-17 パナソニックIpマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
WO2016084305A1 (ja) 2014-11-26 2016-06-02 パナソニックIpマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
JP2016149654A (ja) 2015-02-12 2016-08-18 キヤノン株式会社 表示制御装置及び表示制御方法
WO2017154488A1 (ja) 2016-03-11 2017-09-14 パナソニックIpマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
JP2017182654A (ja) 2016-03-31 2017-10-05 パナソニックIpマネジメント株式会社 施設内活動分析装置、施設内活動分析システムおよび施設内活動分析方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3413720B2 (ja) * 1998-06-26 2003-06-09 ソニー株式会社 画像符号化方法及び装置、並びに画像復号方法及び装置
US7305131B2 (en) * 2002-10-01 2007-12-04 Hewlett-Packard Development Company, L.P. Extracting graphical bar codes from an input image
FI20105934L (fi) * 2010-09-08 2012-03-09 Palodex Group Oy Menetelmä ja järjestelmä tietokonetomografiakuvauksen ohjaamiseksi
US10474858B2 (en) * 2011-08-30 2019-11-12 Digimarc Corporation Methods of identifying barcoded items by evaluating multiple identification hypotheses, based on data from sensors including inventory sensors and ceiling-mounted cameras
WO2014148395A1 (ja) * 2013-03-21 2014-09-25 株式会社日立国際電気 映像監視システム、映像監視方法、および映像監視装置
KR102347248B1 (ko) * 2014-11-26 2022-01-04 삼성전자주식회사 터치 제스쳐 인식 방법 및 장치
JP6512283B2 (ja) * 2015-03-18 2019-05-15 日本電気株式会社 情報処理装置及び発注支援方法
US9864969B2 (en) * 2015-06-26 2018-01-09 Toshiba Tec Kabushiki Kaisha Image processing apparatus for generating map of differences between an image and a layout plan
JP6895242B2 (ja) * 2016-11-25 2021-06-30 株式会社東芝 ロボット制御装置、ロボット制御方法及びピッキング装置
US10311760B1 (en) * 2017-05-31 2019-06-04 Amazon Technologies, Inc. Infrared ink labeling system
JP7038543B2 (ja) * 2017-12-19 2022-03-18 キヤノン株式会社 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム
JP7234495B2 (ja) * 2018-01-25 2023-03-08 富士フイルムビジネスイノベーション株式会社 画像処理装置及びプログラム
JP7157629B2 (ja) * 2018-11-02 2022-10-20 株式会社Screenホールディングス 基板処理装置および基板処理方法
US20200167701A1 (en) * 2018-11-14 2020-05-28 Michael Debono Systems and methods for managing the use of furniture items
JP7056540B2 (ja) * 2018-12-18 2022-04-19 株式会社デンソー センサ校正方法およびセンサ校正装置
US11046518B2 (en) * 2019-01-14 2021-06-29 Mujin, Inc. Controller and control method for robot system
JP7015802B2 (ja) * 2019-03-18 2022-02-03 株式会社東芝 電子装置および方法
US12189816B2 (en) * 2019-07-10 2025-01-07 Micro Focus Llc Automated test replay with sensitive information obfuscation
US12223466B2 (en) * 2019-09-27 2025-02-11 Ncr Voyix Corporation Real-time shelf inventory and notification
US10783410B1 (en) * 2020-01-31 2020-09-22 Core Scientific, Inc. System and method for identifying computing devices in a data center

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016038774A1 (ja) 2014-09-11 2016-03-17 パナソニックIpマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
WO2016084305A1 (ja) 2014-11-26 2016-06-02 パナソニックIpマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
JP2016149654A (ja) 2015-02-12 2016-08-18 キヤノン株式会社 表示制御装置及び表示制御方法
WO2017154488A1 (ja) 2016-03-11 2017-09-14 パナソニックIpマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
JP2017182654A (ja) 2016-03-31 2017-10-05 パナソニックIpマネジメント株式会社 施設内活動分析装置、施設内活動分析システムおよび施設内活動分析方法

Also Published As

Publication number Publication date
US12205384B2 (en) 2025-01-21
US20230070529A1 (en) 2023-03-09
JPWO2021181990A1 (ja) 2021-09-16
WO2021181990A1 (ja) 2021-09-16

Similar Documents

Publication Publication Date Title
JP7485140B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US20220156827A1 (en) Computer vision system and method for automatic checkout
JP6686290B2 (ja) システム及び方法
US20140003655A1 (en) Method, apparatus and system for providing image data to represent inventory
US12136061B2 (en) Retail shelf image processing and inventory tracking system
JP7435587B2 (ja) 物品推定装置、物品推定方法、及びプログラム
JP2021135620A (ja) 不正防止システム、及び不正防止プログラム
JP5673888B1 (ja) 情報通知プログラム及び情報処理装置
JP6520218B2 (ja) 情報処理装置及び情報処理プログラム
CN111523830B (zh) 基于多维度数据指导市场监督的方法、装置、设备及介质
EP4002855B1 (en) Obfuscation of areas of a physical environment depicted in a video
US20230386210A1 (en) Processing device, processing method, and non-transitory storage medium
JP7134694B2 (ja) 処理システム、処理方法及びプログラム
JP7740227B2 (ja) 処理装置、処理方法及びプログラム
JP7235110B2 (ja) 操作ログ取得装置、操作ログ取得方法および操作ログ取得プログラム
JP7619427B2 (ja) 処理装置、処理方法及びプログラム
WO2018210039A1 (zh) 数据处理方法、数据处理装置及存储介质
KR102941345B1 (ko) 정보 처리 프로그램, 정보 처리 방법 및 정보 처리 장치
US20230274227A1 (en) Retail shelf image processing and inventory tracking system
WO2019163095A1 (ja) 登録装置、登録方法及びプログラム
JP7540820B2 (ja) 情報処理装置及び制御方法
US20240153124A1 (en) Methods and apparatuses for amount of object using two dimensional image
JP7428241B2 (ja) 処理装置、処理方法及びプログラム
JP7464263B2 (ja) 検出装置、検出方法及びプログラム
JP7380689B2 (ja) 処理装置、処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20241008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241108

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20250204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250805

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250818

R150 Certificate of patent or registration of utility model

Ref document number: 7740227

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150