JP6484603B2 - 情報処理装置、システム、情報処理方法、及び、プログラム - Google Patents

情報処理装置、システム、情報処理方法、及び、プログラム Download PDF

Info

Publication number
JP6484603B2
JP6484603B2 JP2016250731A JP2016250731A JP6484603B2 JP 6484603 B2 JP6484603 B2 JP 6484603B2 JP 2016250731 A JP2016250731 A JP 2016250731A JP 2016250731 A JP2016250731 A JP 2016250731A JP 6484603 B2 JP6484603 B2 JP 6484603B2
Authority
JP
Japan
Prior art keywords
analysis
setting
marker
setting pattern
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016250731A
Other languages
English (en)
Other versions
JP2018106345A (ja
Inventor
正知 小宮山
正知 小宮山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NS Solutions Corp
Original Assignee
NS Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NS Solutions Corp filed Critical NS Solutions Corp
Priority to JP2016250731A priority Critical patent/JP6484603B2/ja
Priority to MX2019007283A priority patent/MX374318B/es
Priority to CN201780057544.3A priority patent/CN109791597B/zh
Priority to PCT/JP2017/046219 priority patent/WO2018123900A1/ja
Priority to CA3047233A priority patent/CA3047233C/en
Priority to US16/335,145 priority patent/US10755100B2/en
Publication of JP2018106345A publication Critical patent/JP2018106345A/ja
Application granted granted Critical
Publication of JP6484603B2 publication Critical patent/JP6484603B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1408Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/14172D bar codes
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1439Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1443Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393Score-carding, benchmarking or key performance indicator [KPI] analysis
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • Toxicology (AREA)
  • Electromagnetism (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Educational Administration (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、情報処理装置、システム、情報処理方法、及び、プログラムに関する。
従来から、特許文献1や特許文献2にあるように、画像に写されたマーカの解析に関する技術が知られている。
特開2010−122770号公報 特許5908113号公報
画像に写されたマーカを解析する処理を行う際は、通常、ソフトウェア等の設定値を予め決定しておく必要がある。
しかしながら、マーカを解析する目的、画像が撮影された環境、及び、撮影されるマーカの大きさ等によって、マーカの解析に適した設定値は異なる。さらに、設定項目が複数あることも通常である。このような状況の下で、オペレータが設定値を調整して適切な設定値を決定することは極めて煩雑な作業である。
本発明の情報処理装置は、作業環境を撮影した複数の画像を取得する第1の取得手段と、画像に写されたマーカの解析に関する設定値である解析設定値を含む複数の設定パターンを取得する第2の取得手段と、前記第2の取得手段によって取得される複数の前記設定パターンの各々に含まれる前記解析設定値に基づいて前記第1の取得手段によって取得される各画像からマーカを解析する解析手段と、前記解析手段による前記設定パターンに対応したマーカの解析処理に基づく集計情報を、前記設定パターンごとに生成する生成手段と、を有する。
本発明によれば、適切な設定値の決定を簡素化できる。
図1は、倉庫の一例を示す図である。 図2Aは、棚の一例を示す斜視図である。 図2Bは、棚の一例を示す正面図である。 図3は、画像処理システムの構成の一例を示す図である。 図4Aは、サーバのハードウェア構成の一例を示す図である。 図4Bは、サーバのソフトウェア構成の一例を示す図である。 図5Aは、情報処理端末のハードウェア構成の一例を示す図である。 図5Bは、情報処理端末のソフトウェア構成の一例を示す図である。 図6は、第1実施形態の集計情報一覧を生成する処理の概念図である。 図7は、第1実施形態の設定パターン決定処理のフローチャートである。 図8は、第1実施形態の副決定処理のフローチャートである。 図9は、総認識数の決定方法を説明する図である。 図10は、総処理時間の決定方法を説明する図である。 図11は、集計情報チャートの一例を示す図である。 図12は、実作業での解析処理のフローチャートである。 図13は、解析画面の一例を示す図である。 図14は、第1設定パターンの重み付け評価値の決定方法を説明する図である。 図15は、第3実施形態の集計情報一覧を生成する処理の概念図である。 図16は、第3実施形態の副決定処理のフローチャートである。
<第1実施形態>
[倉庫等]
本実施形態の画像処理システム1は、倉庫100等の作業環境で使われるマーカ120の解析に関するシステムである。まず、図1を参照して、作業環境の例である倉庫100について説明する。図1は、倉庫100の一例を示す図であり、倉庫100の平面図である。
本実施形態では、倉庫100には、第1倉庫100A、第2倉庫100B、第3倉庫100Cがある。それぞれの倉庫100には出入り口101がある。第1倉庫100Aには第1出入り口101Aと第2出入り口101Bとがある。第2倉庫100Bには第2出入り口101Bと第3出入り口101Cとがある。第3倉庫100Cには、第3出入り口101Cがある。第1出入り口101Aは、外と第1倉庫100Aとをつなぐ。第2出入り口101Bは、第1倉庫100Aと第2倉庫100Bとをつなぐ。第3出入り口101Cは、第2倉庫100Bと第3倉庫100Cとをつなぐ。
倉庫100には、作業環境内を移動可能な移動体の例であるフォークリフト130が配置され、倉庫100の中で物品115の運搬等の各種作業を行う。フォークリフト130は、出入り口101を通って、倉庫100間を移動できる。
それぞれの倉庫100には棚110が配置される。図2A、図2Bを参照して、棚110について説明する。図2Aは、棚110の一例を示す斜視図である。図2Bは、棚110の一例を示す正面図である。図2A、図2Bに示すように、棚110には、物品115が配置可能であり、フォークリフト130は、棚110に物品115を置いたり、棚110から物品115を取り出したりできる。
図2Bに示すように、棚110や物品115にはマーカ120が付されている。マーカ120は、光学読取式のコードであり、所定の情報が記録されている。マーカ120として、例えば、カラービット(登録商標)やQRコード(登録商標)等の二次元コードや、バーコードが使われるが、その他のコードであってもよい。マーカ120には、マーカ120が付された棚110を特定可能な情報である棚110の識別IDや、マーカ120が付された物品115を特定可能な情報である物品115の識別ID等が記録される。
図1に示すように、倉庫100の出入り口101の近辺には、出入り口101の先にある倉庫100を特定するためのマーカである倉庫マーカ121が付されている。第1出入り口101Aの近辺の外側には、第1倉庫100Aを表す情報が記録された第1倉庫マーカ121Aが付されている。第2出入り口101Bの近辺の第1倉庫100Aの側には、第2倉庫100Bを表す情報が記録された第2倉庫マーカ121Bが付されている。第2出入り口101Bの近辺の第2倉庫100Bの側には、第1倉庫100Aを表す情報が記録された第3倉庫マーカ121Cが付されている。第3出入り口101Cの近辺の第2倉庫100Bの側には、第3倉庫100Cを表す情報が記録された第4倉庫マーカ121Dが付されている。第3出入り口101Cの近辺の第3倉庫100Cの側には、第2倉庫100Bを表す情報が記録された第5倉庫マーカ121Eが付されている。
フォークリフト130に取り付けられた情報処理端末170は、フォークリフト130が出入り口101を通って倉庫100の出入りをする際に倉庫マーカ121を解析することで、フォークリフト130がいる倉庫100を特定できる。
[画像処理システム]
次に、図3を参照して、画像処理システム1の構成について説明する。画像処理システム1は、既に説明したフォークリフト130と、サーバ140と、情報処理端末170とを有する。サーバ140と情報処理端末170とは無線LAN等の通信ネットワークで相互に通信が可能である。
情報処理端末170は、図2Aに示すようにフォークリフト130に取り付けられており、フォークリフト130と共に移動して、後述の撮影装置172によって倉庫100の中を撮影する。倉庫100の中の棚110や物品115には、上記の通りマーカ120が付されているため、情報処理端末170が撮影する画像にはマーカ120が写される。
次に、図4Aを参照して、情報処理装置であるサーバ140のハードウェア構成について説明する。図4Aは、サーバ140のハードウェア構成の一例を示す図である。サーバ140は、CPU141と、表示装置142と、入力装置143と、記憶装置144と、通信インタフェース145と、媒体インタフェース146と、これらを接続するバス147とを有する。
CPU141は、サーバ140の全体を制御する。CPU141が記憶装置144等に記憶されているプログラムに基づき処理を実行することによってサーバ140のソフトウェア構成及び後述の図7、図8に示すサーバ140の処理が実現される。
表示装置142は、液晶モニタ等であって画像を表示できる。
入力装置143は、タッチパネル、マウス、又は、キーボード等であり、オペレータ等の指示を受け付ける。
記憶装置144は、RAM、ROM、HDD等の記憶装置であって、プログラムを記憶したり、CPU141がプログラムに基づき処理を実行する際に利用するデータ等を記憶したりする。
通信インタフェース145は、サーバ140と、情報処理端末170等の外部装置との通信の制御を司る。
媒体インタフェース146は、サーバ140と接続可能な記録媒体とのインタフェースである。記録媒体として、例えば、SDメモリカードが使われるが、SDメモリカードに限定されるものではない。
次に、図5Aを参照して、情報処理装置である情報処理端末170のハードウェア構成について説明する。図5Aは、情報処理端末170のハードウェア構成の一例を示す図である。情報処理端末170は、CPU171と、撮影装置172と、表示装置173と、記憶装置174と、通信インタフェース175と、媒体インタフェース176と、これらを接続するバス177とを有する。
CPU171は、情報処理端末170の全体を制御する。CPU171が記憶装置174等に記憶されているプログラムに基づき処理を実行することによって情報処理端末170のソフトウェア構成及び後述の図12に示す情報処理端末170の処理が実現される。
撮影装置172は、画像の撮影を行う。撮影装置172は、レンズ、及び、撮像素子等を有する。
表示装置173は、液晶モニタ等であって画像を表示できる。
記憶装置174は、RAM、ROM、HDD等の記憶装置であって、プログラムを記憶したり、CPU171がプログラムに基づき処理を実行する際に利用するデータ等を記憶したりする。
通信インタフェース175は、情報処理端末170と、サーバ140等の外部装置との通信の制御を司る。
媒体インタフェース176は、情報処理端末170と接続可能な記録媒体とのインタフェースである。記録媒体として、例えば、SDメモリカードが使われるが、SDメモリカードに限定されるものではない。
次に、図6を参照して、画像処理システム1で行われる集計情報一覧192を生成する処理の概要について説明する。図6は、集計情報一覧192を生成する処理の概念図である。
情報処理端末170は、フォークリフト130に取り付けられており、フォークリフト130と共に移動して、後述の撮影装置172によって倉庫100の中を撮影できる。
まず、情報処理端末170は、倉庫100でのフォークリフト130の実作業に先立って、フォークリフト130と共に移動して倉庫100の中を撮影する。サーバ140は、情報処理端末170が撮影した倉庫100の中の画像191と、予め用意された設定パターン一覧190とに基づいて、集計情報一覧192を生成する。そして、サーバ140は、集計情報一覧192に基づいて、倉庫100についての適切な設定パターンを決定する。適切な設定パターンは、倉庫100の中を撮影した画像からマーカ120を解析する際の、適切な設定値となる。
倉庫100でのフォークリフト130を使った実作業の際には、情報処理端末170は、サーバ140によって決定された設定パターンに基づいて、撮影した画像からマーカ120を解析する。
次に、図6を参照して、設定パターン一覧190について説明する。設定パターン一覧190は、例えば、予めサーバ140の記憶装置144に記憶されている情報であり、第1設定パターンから第N設定パターン(Nは2以上の自然数)までの複数の設定パターンから構成される。
それぞれの設定パターンは、第1解析設定値から第M解析設定値(Mは2以上の自然数)までの解析設定値を含む。本実施形態では、設定パターンは複数の解析設定値を含むが、設定パターンは1つの解析設定値のみを含むものであってもよい。第1解析設定値から第M解析設定値までは、それぞれ、第1解析設定項目から第M解析設定項目までに対応する設定値である。
解析設定値は、画像に写されたマーカ120の解析に関する設定値である。後述のサーバ140の第1解析部152は、解析設定値に基づいて画像からマーカ120を解析する。同じ画像であっても解析設定値が異なると、第1解析部152は、解析するマーカ120の数や誤認識するマーカ120の数が増減したり、マーカ120の解析処理の処理時間が増減したりする。
第1解析部152は、全ての解析設定値に基づいて画像からマーカ120を解析する必要はない。第1解析部152は、解析するマーカ120の種別に対応する解析設定値に基づいて、画像からマーカ120を解析する。マーカ120の種別には、例えば、上記のカラービット、QRコード、及び、バーコードが含まれる。第1解析部152は、画像からカラービットを解析する際は、例えば、第1解析設定値から第9解析設定値までを使用する。また、第1解析部152は、画像からQRコードを解析する際は、例えば、第10解析設定値から第15解析設定値までを使用する。
第1設定パターンから第N設定パターンまでの任意の2つの設定パターンは、少なくとも1つの解析設定値が異なる。したがって、設定パターン一覧190には、全ての解析設定値が同一である複数の設定パターンが含まれることはない。
次に、図6を参照して、集計情報一覧192について説明する。集計情報一覧192は、設定パターンごとの集計情報の一覧である。集計情報は、設定パターンごとに生成される情報であり、サーバ140の第1解析部152による設定パターンに対応したマーカ120の解析処理に基づく情報である。より具体的には、第1解析部152による設定パターンに対応したマーカ120の解析処理は、設定パターンに含まれる解析設定値に基づいた、各画像191からの、第1解析部152によるマーカ120の解析処理である。
それぞれの設定パターンの集計情報には、総認識数、及び、総処理時間が含まれる。総認識数は、設定パターンに対応したマーカ120の解析処理で解析されたマーカ120の総数である。総処理時間は、設定パターンに対応したマーカ120の解析処理の処理時間の合計である。総認識数、及び、総処理時間の算出方法の詳細は後述する。
次に、図4Bを参照して、サーバ140の機能を実現するソフトウェア構成について説明する。図4Bは、サーバ140のソフトウェア構成の一例を示す図である。サーバ140は、第1画像取得部150と、設定パターン取得部151と、第1解析部152と、生成部153と、決定部154と、基準情報取得部155と、第1制御部156とを有する。
第1画像取得部150は、倉庫100を撮影した複数の画像を取得する。
設定パターン取得部151は、設定パターン一覧190を取得する。
第1解析部152は、設定パターン一覧190の各設定パターンに含まれる解析設定値に基づいて、第1画像取得部150によって取得された各画像からマーカ120を解析する。
生成部153は、第1解析部152による設定パターンに対応したマーカ120の解析処理に基づく集計情報を、設定パターンごとに生成する。
決定部154は、生成部153によって生成された集計情報に基づいて、倉庫100について適用する設定パターンを決定する。
基準情報取得部155は、倉庫100についての設定パターンの採用基準を表す基準情報を取得する。基準情報の詳細は後述する。
第1制御部156は、各種の制御を行う。
次に、図5Bを参照して、情報処理端末170の機能を実現するソフトウェア構成について説明する。図5Bは、情報処理端末170のソフトウェア構成の一例を示す図である。情報処理端末170は、特定部180と、第2画像取得部181と、第2解析部182と、表示制御部183と、第2制御部184とを有する。
特定部180は、フォークリフト130が配置された倉庫100を特定する。
第2画像取得部181は、情報処理端末170の撮影装置172によって撮影された画像を取得する。
第2解析部182は、特定部180によって特定された倉庫100について決定部154によって決定された設定パターンに含まれる解析設定値に基づいて、撮影装置172によって撮影された画像からマーカ120を解析する。第2解析部182は、サーバ140の第1解析部152と同様の機能を持つ。ソフトウェアとしては、第2解析部182は、第1解析部152と同じものであってもよい。
表示制御部183は、情報処理端末170の表示装置173に後述の解析画面193を表示させる制御を行う。
第2制御部184は、各種の制御を行う。
[設定パターン決定処理]
次に、図7を参照して、設定パターン決定処理について説明する。図7は、設定パターン決定処理のフローチャートである。設定パターン決定処理は、倉庫100でのフォークリフト130の実作業に先立って行われる処理であり、倉庫100についての適切な設定パターンを決定する処理である。設定パターン決定処理は、サーバ140が行う。
S100において、第1制御部156は、第1ループ処理の開始処理を行う。第1ループ処理は、S100からS102までの処理である。第1制御部156は、第1ループ処理の開始処理として、次の処理を行う。すなわち、第1制御部156は、作業環境グループのうち、第1ループ処理で処理対象グループになっていない作業環境グループがあるとき、第1ループ処理で処理対象グループになっていない作業環境グループの1つを、処理対象グループにする。第1制御部156は、作業環境グループのうち、第1ループ処理で処理対象グループになっていない作業環境グループがないとき、第1ループ処理を終了する。図7から分かるように、第1ループ処理の終了により、設定パターン決定処理が終了する。
ここで、作業環境グループについて説明する。作業環境グループは、作業環境の例である倉庫100の集まりである。倉庫100は、所定の分類基準で予め何れかの作業環境グループに分類されている。例えば、第1倉庫100A、及び、第3倉庫Cは第1作業環境グループに属し、第2倉庫Bは第2作業環境グループに属する。
分類基準は、同じ作業環境グループに属する倉庫100の環境が近似するように定められる。例えば、分類基準は、倉庫100の明るさ、及び、倉庫100で使われるマーカ120の種別に基づいて定められる。より具体的には、明るさの相違が所定の範囲内であり、かつ、マーカ120の種別が同じ、という条件を満たすと倉庫100は、同じ作業環境グループに属するものと定められる。分類基準は、ここで説明したもの以外であってもよい。
S101において、副決定処理が実行される。副決定処理は次に説明する。
S102において、第1制御部156は、第1ループ処理の終了処理を行う。第1制御部156は、第1ループ処理の終了処理として、処理をS100に戻す。
次に、図8を参照して、副決定処理について説明する。図8は、副決定処理のフローチャートである。
S200において、第1画像取得部150は、処理対象グループに属するいずれかの倉庫100を撮影した動画を取得する。第1画像取得部150は、フォークリフト130と共に移動する情報処理端末170から通信ネットワークを介して、倉庫100を撮影した動画を取得してもよい。また、情報処理端末170が倉庫100を撮影した動画が記録された記録媒体を介して、倉庫100を撮影した動画を取得してもよい。
S201において、第1画像取得部150は、S200で取得された動画から複数の画像を生成する。ここで生成される画像は静止画である。S201で生成される画像は、情報処理端末170の撮影装置172が撮影した動画の各フレームの画像であり、情報処理端末170の撮影装置172が撮影した画像である。
S202において、設定パターン取得部151は、設定パターン一覧190を取得することで、設定パターン一覧190に含まれる複数の設定パターンを取得する。設定パターン取得部151は、サーバ140の記憶装置144から設定パターン一覧190を取得するが、ネットワークを介して外部の情報処理装置から設定パターン一覧190を取得してもよい。
S203において、第1制御部156は、第2ループ処理の開始処理を行う。第2ループ処理は、S203からS207までの処理である。第1制御部156は、第2ループ処理の開始処理として、次の処理を行う。すなわち、第1制御部156は、S202で取得された複数の設定パターンのうち、第2ループ処理で処理対象設定パターンになっていない設定パターンがあるとき、第2ループ処理で処理対象設定パターンになっていない設定パターンの1つを、処理対象設定パターンにする。第1制御部156は、S202で取得された複数の設定パターンのうち、第2ループ処理で処理対象設定パターンになっていない設定パターンがないとき、第2ループ処理を終了して処理をS208に進める。
S204において、第1制御部156は、第3ループ処理の開始処理を行う。第3ループ処理は、S204からS206までの処理である。第1制御部156は、第3ループ処理の開始処理として、次の処理を行う。すなわち、第1制御部156は、S201で生成された複数の画像のうち、今回の第3ループ処理で処理対象画像になっていない画像があるとき、第3ループ処理で処理対象画像になっていない画像の1つを、処理対象画像にする。第1制御部156は、S201で生成された複数の画像のうち、今回の第3ループ処理で処理対象画像になっていない画像がないとき、第3ループ処理を終了して処理をS207に進める。
S205において、第1解析部152は、処理対象設定パターンに含まれる解析設定値に基づいて、処理対象画像からマーカ120を解析する。このとき、第1解析部152は、解析したマーカ120の数、及び、マーカ120の解析処理の処理時間を、サーバ140の記憶装置144に記憶させる。
S206において、第1制御部156は、第3ループ処理の終了処理を行う。第1制御部156は、第3ループ処理の終了処理として、処理をS204に戻す。
S207において、第1制御部156は、第2ループ処理の終了処理を行う。第1制御部156は、第2ループ処理の終了処理として、処理をS203に戻す。
S208において、生成部153は、第1解析部152によるマーカ120の解析結果を集計して、集計情報一覧192を生成する。集計情報一覧192は、図6を参照して説明したように、設定パターンごとの集計情報の一覧である。集計情報には、総認識数、及び、総処理時間が含まれる。
まず、図9を参照して、第1設定パターンの総認識数の決定方法について説明する。図9は、総認識数の決定方法を説明する図である。図9において、第1画像から第L画像(Lは2以上の自然数)までは、S201で生成された画像である。
生成部153は、第1解析部152が、第1設定パターンに含まれる解析設定値に基づいて、第1画像から第L画像までのそれぞれから解析したマーカ120の数の総数を、第1設定パターンの総認識数と決定する。
同様に、生成部153は、第2設定パターンから第N設定パターンまでのそれぞれの設定パターンの総認識数を決定する。
次に、図10を参照して、第1設定パターンの総処理時間の決定方法について説明する。図10は、総処理時間の決定方法を説明する図である。図10の第1画像から第L画像までは、図9と同様に、S201で生成された画像である。
生成部153は、第1解析部152による、第1設定パターンに含まれる解析設定値に基づいた、第1画像から第L画像までのそれぞれからのマーカ120の解析処理時間の合計を、第1設定パターンの総処理時間と決定する。
同様に、生成部153は、第2設定パターンから第N設定パターンまでのそれぞれの設定パターンの総処理時間を決定する。
S209において、第1制御部156は、第4ループ処理の開始処理を行う。第4ループ処理は、S209からS212までの処理である。第1制御部156は、第4ループ処理の開始処理として、次の処理を行う。すなわち、第1制御部156は、処理対象グループに属する倉庫100のうち、第4ループ処理で処理対象倉庫になっていない倉庫100があるとき、第4ループ処理で処理対象倉庫になっていない倉庫100の1つを、処理対象倉庫にする。第1制御部156は、処理対象グループに属する倉庫100のうち、第4ループ処理で処理対象倉庫になっていない倉庫100がないとき、第4ループ処理を終了する。図8から分かるように、第4ループ処理の終了により、副決定処理が終了する。
S210において、基準情報取得部155は、処理対象倉庫についての基準情報を取得する。
ここで、基準情報について説明する。基準情報は、それぞれの倉庫100についての設定パターンの採用基準を表す情報であり、倉庫100ごとに予め定められている。本実施形態では、基準情報として、総認識数に基づく第1基準情報、総処理時間に基づく第2基準情報、並びに、総認識数、及び、総処理時間に基づく第3基準情報がある。
第1基準情報の一例は、総認識数が最大になる設定パターンを採用することを表す情報である。第2基準情報の一例は、総処理時間が最小になる設定パターンを採用することを表す情報である。第3基準情報の一例は、総処理時間が所定時間以下の条件下で、総認識数が最大になる設定パターンを採用することを表す情報である。
基準情報は、上記の通り倉庫100ごとに予め定められており、例えば、サーバ140の記憶装置144に記憶されていて、基準情報取得部155は、記憶装置144から処理対象倉庫についての基準情報を取得する。
S211において、決定部154は、直近のS210で取得された基準情報、及び、S208で生成された集計情報に基づいて、処理対象倉庫の設定パターンを決定する。そして、決定部154は、処理対象倉庫となる倉庫100を表す情報と、処理対象倉庫について決定した設定パターンとを関連付けて、通信ネットワークを介して、情報処理端末170に送信する。情報処理端末170は、倉庫100を表す情報と、この倉庫100に対応する設定パターンを受信し、両者を関連付けて、情報処理端末170の記憶装置174等に記憶する。S211で処理対象倉庫について決定された設定パターンが、処理対象倉庫についての適切な設定パターンである。
図11を参照して、決定部154による決定の例を説明する。図11は、集計情報チャートの一例を示す図である。集計情報チャートは、集計情報をプロットした図である。集計情報チャートの横軸は総処理時間であり、縦軸は総認識数である。図11は、設定パターンとして、第1設定パターンから第5設定パターンまでの5つの設定パターンがあるときの例である。
まず、基準情報が第1基準情報(総認識数が最大になる設定パターンを採用することを表す情報)である倉庫100の例について説明する。図11から分かるように、総認識数が最大になる設定パターンは第1設定パターンである。したがって、決定部154は、基準情報が第1基準情報である倉庫100の設定パターンを、第1設定パターンに決定する。
次に、基準情報が第2基準情報(総処理時間が最小になる設定パターンを採用することを表す情報)である倉庫100の例について説明する。図11から分かるように、総処理時間が最小になる設定パターンは第5設定パターンである。したがって、決定部154は、基準情報が第2基準情報である倉庫100の設定パターンを、第5設定パターンに決定する。
次に、基準情報が第3基準情報(総処理時間が所定時間以下の条件下で、総認識数が最大になる設定パターンを採用することを表す情報)である倉庫100の例について説明する。図11から分かるように、総処理時間が所定時間以下の条件下で、総認識数が最大になる設定パターンは第3設定パターンである。したがって、決定部154は、基準情報が第3基準情報である倉庫100の設定パターンを、第3設定パターンに決定する。
[実作業での解析処理]
次に、図12を参照して、実作業での解析処理について説明する。図12は、実作業での解析処理のフローチャートである。実作業での解析処理は、倉庫100の中でフォークリフト130が実作業を行うとき等に、設定パターン決定処理で決定された設定パターンに基づいて、画像からマーカ120を解析する処理である。実作業での解析処理は、情報処理端末170によって行われる。実作業での解析処理に先立って、図7の設定パターン決定処理が終了しているものとする。
S300において、特定部180は、情報処理端末170が取り付けられているフォークリフト130が現在配置されている倉庫100を特定する。
特定部180は、例えば、次のように、フォークリフト130が現在配置されている倉庫100を特定する。すなわち、特定部180は、直近に解析された倉庫マーカ121(図1を参照)に記録された倉庫100を、情報処理端末170が取り付けられているフォークリフト130が現在配置されている倉庫100と特定する。
直近に解析された倉庫マーカ121とは、後述のS302で取得される画像のうち、倉庫マーカ121が写された直近の画像から解析された倉庫マーカ121である。この解析処理は、S302において、第2解析部182によって行われる。
フォークリフト130が出入り口101を通るごとに第2解析部182が倉庫マーカ121を解析する。したがって、直近に解析された倉庫マーカ121から、情報処理端末170が取り付けられているフォークリフト130が現在配置されている倉庫100を特定できる。
特定部180は、他の方法で、情報処理端末170が取り付けられているフォークリフト130が現在配置されている倉庫100を特定してもよい。例えば、情報処理端末170はGPSモジュールを備え、特定部180は、GPSモジュールの出力に基づいて、フォークリフト130が現在配置されている倉庫100を特定してもよい。
S301において、第2制御部184は、直近のS300で特定された倉庫100に対応する設定パターンを設定する。より具体的には、第2制御部184は、直近のS300で特定された倉庫100に対応する設定パターンに含まれる解析設定値に基づいて第2解析部182がマーカ120を解析するような設定を行う。
S302において、第2画像取得部181は、情報処理端末170の撮影装置172によって撮影された画像を取得する。
S303において、第2解析部182は、直近のS301で設定された設定パターンに含まれる解析設定値に基づいて、直近のS302で取得された画像からマーカ120を解析する。
S304において、表示制御部183は、情報処理端末170の表示装置173に解析画面193を表示させる制御を行う。
ここで、図13を参照して、解析画面193について説明する。図13は、解析画面193の一例を示す図である。解析画面193は、第2解析部182によるマーカ120の解析結果を表示する画面である。解析画面193には、背景画像194と、解析枠195とが表示される。
背景画像194は、直近のS302で取得された画像であり、倉庫100にある棚110等が写されている。
解析枠195は、直近のS303で第2解析部182によって解析されたマーカ120を囲む枠である。解析枠195によって、解析画面193を見るオペレータ等は、情報処理端末170によるマーカ120に解析の状態を認識できる。
S305において、第2制御部184は、実作業での解析処理を終了するか否かを判定する。第2制御部184は、実作業での解析処理を終了すると判定したときは、図12に示す実作業での解析処理を終了する。第2制御部184は、実作業での解析処理を終了しないと判定したときは、処理をS300に戻す。第2制御部184は、例えば、オペレータ等による、情報処理端末170の入力装置への操作に基づいて、実作業での解析処理を終了するか否かを判定する。
[効果]
以上説明したように、生成部153は、第1解析部152による設定パターンに対応したマーカ120の解析処理に基づく集計情報を、設定パターンごとに生成する。よって、集計情報により設定パターンごとの特性が明確になり、集計情報に基づいて倉庫100の適切な設定パターンを決定できるようになる。したがって、例えば、画像処理システムのオペレータが複数の設定値を調整して適切な設定値を導く場合と比べて、適切な設定値の決定を簡素化できる。また、画像処理システムのオペレータが複数の設定値を調整して適切な設定値を導く場合、オペレータが設定値を調整するための操作画面等が必要になる。これに対して、本実施形態の画像処理システム1では、オペレータによる設定値の調整が不要であって、オペレータが設定値を調整するための操作画面等が不要であるため、操作画面の制御等のための処理負荷が軽減される。
また、決定部154は、基準情報、及び、集計情報に基づいて、倉庫100の設定パターンを決定する。したがって、倉庫100の設定パターンの決定にオペレータ等が関与する必要がなくなる。
また、情報処理端末170は、情報処理端末170が取り付けられているフォークリフト130が現在配置されている倉庫100を特定し、特定した倉庫100に対応する設定パターンに基づいて、画像からマーカ120を解析する。倉庫100に対応する設定パターンは、サーバ140によって決定された倉庫100の適切な設定パターンである。したがって、フォークリフト130が倉庫100間を移動しても、倉庫100に適したマーカ120の解析を行うことができる。
<第2実施形態>
次に、本実施形態の画像処理システム1について説明する。上記の実施形態と同様の点については、上記の実施形態を同じ符号を用い、説明を省略する。
本実施形態では、集計情報一覧192に含まれる設定パターンごとの集計情報には、総認識数、総処理時間、重み付け評価値、及び、総誤認識数の少なくとも何れかが含まれる。総認識数、及び、総処理時間は既に説明した通りである。
重み付け評価値は、設定パターンに対応したマーカ120の解析処理で解析されたマーカ120の重み付け値の合計値である。重み付け値は、マーカ120ごとに定められる。
次に、図14を参照して、第1設定パターンの重み付け評価値の決定方法について説明する。図14は、第1設定パターンの重み付け評価値の決定方法を説明する図である。
図14のカッコ内の数値は、対応するマーカ120の重み付け値である。例えば、第1マーカ120の重み付け値は1.5、第2マーカ120の重み付け値は1.1、第500マーカ120の重み付け値は0.7である。
また、図14の「○」は、第1解析部152が対応する画像から対応するマーカ120を解析したことを表す。例えば、図14では、第1解析部152は、第1画像から第1マーカ120、及び、第2マーカ120を解析したことが表されている。図14の「×」は、第1解析部152が対応する画像から対応するマーカ120を解析できなかったことを表す。図14では、第1解析部152は、第1画像から第500マーカ120を解析できなかったことが表されている。
また、図14の総重み付け値は、マーカ120ごとに定められる値であり、「(マーカ120が解析された画像の数)×(マーカ120の重み付け値)」で表される。
例えば、第1マーカ120は、第1画像から第L画像までのうち、12枚の画像から解析されたとする。また、第1マーカ120の重み付け値は1.5である。このとき、生成部153は、第1マーカ120の総重み付け値を、上記の式を用いた「12×1.5」の計算によって18と決定する。生成部153は、他のマーカ120についても同様に総重み付け値を決定する。
そして、生成部153は、図14に示す全てのマーカ120の総重み付け値の合計値を算出して、第1設定パターンの重み付け評価値とする。
同様に、生成部153は、第2設定パターンから第N設定パターンまでのそれぞれの設定パターンの重み付け評価値を決定する。
マーカ120の重み付け値は、マーカ120の種類、マーカ120が付された物品、又は、マーカ120との距離に基づいて定められる。
マーカ120の種類には、QRコード等のマーカ120の種別やマーカ120の大きさが含まれる。マーカ120が付された物品は、マーカ120に記録される識別IDから特定できる。
マーカ120との距離は、情報処理端末170の撮影装置172と、撮影時のマーカ120との距離である。マーカ120との距離は、マーカ120が写された画像を解析したり、情報処理端末170が有するGPSモジュールの出力に基づいて撮影装置172の前方にある棚110との距離を算出したりして、得られる。
マーカ120の重み付け値は、ここに挙げた以外にも種々ありえる。例えば、マーカ120の種類、及び、マーカ120との距離に基づいて定めてもよい。マーカ120としてQRコードとカラービットとを比べると、QRコードは、距離が離れると解析が困難であるという特徴がある。そこで、マーカ120との距離が所定の距離より長い場合、QRコードの重み付け値をカラービットの重み付け値より小さくする。
総誤認識数は、設定パターンに対応したマーカ120の解析処理で誤認識されたマーカ120の総数である。
誤認識とは、第1解析部152が解析したマーカ120に記録された識別IDが、倉庫100で使用される識別IDの範囲外であったり、第1解析部152がマーカ120の解析時に誤り検出をしたりした場合のことである。誤り検出には、例えばチェックサムやパリティ符号が使われるが、他の方法が使われてもよい。
総誤認識数は、総認識数と同様に決定される。ただし、総誤認識数の決定の際は、第1解析部152が第1画像から第L画像までのそれぞれから解析したマーカ120の数の代わりに、第1解析部152が第1画像から第L画像までのそれぞれから誤認識したマーカ120の数が使われる。
本実施形態で使われる基準情報は、本実施形態の集計情報に対応するものが含まれていてもよい。例えば、集計情報として重み付け評価値が使われる場合、基準情報には重み付け評価値に基づく情報が含まれていてもよく、集計情報として総誤認識数が使われる場合、基準情報には総誤認識数に基づく情報が含まれていてもよい。
図11に示す集計情報チャートの縦軸、又は、横軸には、重み付け評価値や総誤認識数が使われてもよい。
以上説明したように、集計情報には、重み付け評価値が含まれてもよい。重み付け値は、倉庫100の状態や倉庫100内のマーカ120の解析の目的に応じて、重要なマーカ120が認識されるように定める。これにより、倉庫100の状態や倉庫100内のマーカ120の解析の目的に応じた適切な設定パターンを決定できる。
例えば、倉庫100の中で、マーカ120としてQRコード及びカラービットが使われる場合を考える。この倉庫100ではQRコードの解析が重要な場合、QRコードの重み付け値を、カラービットの重み付け値より大きくすることで、QRコードの解析に適した設定パターンを決定できる。
また、集計情報には、総誤認識数が含まれていてもよい。これにより、誤認識が減るような設定パターンを決定できる。
また、上記の実施形態と同様に、適切な設定値の決定を簡素化できる。
<第3実施形態>
次に、本実施形態の画像処理システム1について説明する。上記の実施形態と同様の点については、上記の実施形態を同じ符号を用い、説明を省略する。
まず、図15を参照して、画像処理システム1で行われる集計情報一覧192を生成する処理の概要について説明する。図15は、集計情報一覧192を生成する処理の概念図である。本実施形態の画像処理システム1は、上記実施形態の画像処理システム1と同様に、情報処理端末170が撮影した倉庫100の中の画像191と、予め用意された設定パターン一覧190とに基づいて、集計情報一覧192を生成する。
上記の実施形態の設定パターンは解析設定値を含むものであるが、本実施形態の設定パターンは、解析設定値に加えて、撮影設定値を含む。撮影設定値は、画像の撮影に関する設定値である。撮影設定値として、例えば、情報処理端末170の撮影装置172が有するレンズの画角や、ピントがあるが、これら以外であってもよい。
図15の例では、それぞれの設定パターンは、第1撮影設定値から第M’撮影設定値(M’は2以上の自然数)までの撮影設定値を含む。本実施形態では、設定パターンは複数の撮影設定値を含むが、設定パターンは1つの撮影設定値のみを含むものであってもよい。第1撮影設定値から第M’撮影設定値までは、それぞれ、第1撮影設定項目から第M’撮影設定項目までに対応する設定値である。
設定パターン一覧190に基づいて、撮影設定パターン一覧が予め定められる。撮影設定パターン一覧は、第1撮影設定パターンから第N’撮影設定パターン(N’は2以上の自然数)までの撮影設定パターンを含む。それぞれの撮影設定パターンは、第1設定パターンから第N設定パターンまでのいずれかの設定パターンに含まれる第1撮影設定値から第M’ 撮影設定値までを含む。また、第1撮影設定パターンから第N’撮影設定パターンまでの任意の2つの撮影設定パターンは、少なくとも1つの撮影設定値が異なる。したがって、撮影設定パターン一覧には、全ての撮影設定値が同一である複数の撮影設定パターンが含まれることはない。
画像191は、情報処理端末170が、倉庫100でのフォークリフト130の実作業に先立って、倉庫100の中を撮影した動画に基づくものである。
まず、情報処理端末170は、情報処理端末170の撮影装置172について第1撮影設定パターンの撮影設定値を適用して、動画を撮影する。同様に、情報処理端末170は、情報処理端末170の撮影装置172について第2撮影設定パターンから第N’撮影設定パターンのそれぞれの撮影設定値を適用して、動画を撮影する。それぞれの撮影設定パターンを適用した撮影では、倉庫100の中でフォークリフト130を同じように動かして撮影する。
本実施形態の集計情報一覧192は、上記の実施形態と同様に、設定パターンごとの集計情報の一覧である。集計情報は、設定パターンごとに生成される情報であり、サーバ140の第1解析部152による設定パターンに対応したマーカ120の解析処理に基づく情報である。本実施形態において、集計情報は、より具体的に説明すると、設定パターンに含まれる解析設定値に基づいた、設定パターンに含まれる撮影設定値を用いて撮影された各画像からの、第1解析部152によるマーカ120の解析処理に基づく情報である。
次に、図16を参照して、本実施形態の副決定処理について説明する。図16は、副決定処理のフローチャートである。
S400において、第1画像取得部150は、情報処理端末170が第1撮影設定パターンから第N’撮影設定パターンまでのそれぞれの撮影設定パターンを適用して、処理対象グループに属するいずれかの倉庫100を撮影した動画を取得する。
S401において、第1画像取得部150は、S400で取得された動画から複数の画像を生成する。ここで生成される画像は静止画である。S401で生成される画像は、情報処理端末170の撮影装置172が撮影した動画の各フレームの画像であり、情報処理端末170の撮影装置172が、第1撮影設定パターンから第N’撮影設定パターンまでの何れかの撮影設定パターンを適用して撮影した画像である。
S402、S403は、それぞれ、図8のS202、S203と同様の処理である。
S404において、第1制御部156は、第3ループ処理の開始処理を行う。第3ループ処理は、S404からS406までの処理である。第1制御部156は、第3ループ処理の開始処理として、次の処理を行う。すなわち、第1制御部156は、次に説明する選択条件を満たす画像のうち、今回の第3ループ処理で処理対象画像になっていない画像があるとき、第3ループ処理で処理対象画像になっていない画像の1つを、処理対象画像にする。第1制御部156は、選択条件を満たす複数の画像のうち、今回の第3ループ処理で処理対象画像になっていない画像がないとき、第3ループ処理を終了して処理をS407に進める。
S404の選択条件は、S401で生成された画像であること、かつ、処理対象設定パターンに含まれる撮影設定値を適用した撮影された画像であること、である。
S405からS407までは、図8のS205からS207までと同様の処理である。
S408において、生成部153は、第1解析部152によるマーカ120の解析結果を集計して、集計情報一覧192を生成する。
ここで、集計情報に含まれる総認識数の決定方法について説明する。
まず、第1設定パターンの総認識数の決定方法について説明する。
生成部153は、第1解析部152が、第1設定パターンに含まれる解析設定値に基づいて、第1設定パターンに含まれる撮影設定値を適用して撮影された各画像から解析したマーカ120の数の総数を、第1設定パターンの総認識数と決定する。
同様に、生成部153は、第2設定パターンから第N設定パターンまでのそれぞれの設定パターンの総認識数を決定する。
次に、集計情報に含まれる総処理時間の決定方法について説明する。
まず、第1設定パターンの総処理時間の決定方法について説明する。
生成部153は、第1解析部152による、第1設定パターンに含まれる解析設定値に基づいた、第1設定パターンに含まれる撮影設定値を適用して撮影された各画像からのマーカ120の解析処理時間の合計を、第1設定パターンの総処理時間と決定する。
同様に、生成部153は、第2設定パターンから第N設定パターンまでのそれぞれの設定パターンの総処理時間を決定する。
S409からS412までは、図8のS209からS212までと同様の処理である。
次に、本実施形態における実作業での解析処理について説明する。本実施形態における実作業での解析処理は、図12の実作業での解析処理とS301の処理が異なり、他の処理は図12の実作業での解析処理と同様である。
本実施形態のS301において、第2制御部184は、直近のS300で特定された倉庫100に対応する設定パターンを設定する。より具体的には、第2制御部184は、直近のS300で特定された倉庫100に対応する設定パターンに含まれる解析設定値に基づいて第2解析部182がマーカ120を解析するような設定を行う。
更に、第2制御部184は、直近のS300で特定された倉庫100に対応する設定パターンに含まれる撮影設定値を、情報処理端末170の撮影装置172に適用する設定を行う。これにより、S302において、第2画像取得部181は、S301で適用された撮影設定値に基づいて撮影装置172によって撮影された画像を取得する。
以上説明したように、本実施形態の設定パターンには撮影設定値が含まれる。よって、倉庫100の適切な設定パターンを決定することで、倉庫100の適切な撮影設定値を決定することになる。そして、この撮影設定値を使って撮影を行った画像からマーカ120を解析することで、他の撮影設定値を使って撮影を行った画像からマーカ120を解析するときと比べて、倉庫100に適したマーカ120の解析を行うことができる。また、上記の実施形態と同様に、適切な設定値の決定を簡素化できる。
<第4実施形態>
次に、本実施形態の画像処理システム1について説明する。上記の実施形態と同様の点については、上記の実施形態を同じ符号を用い、説明を省略する。上記の実施形態では、サーバ140の決定部154は、基準情報、及び、集計情報に基づいて、倉庫100について適用する設定パターンを決定する。一方、本実施形態では、画像処理システム1の管理者等からの指示に基づいて、サーバ140の決定部154は倉庫100について適用する設定パターンを決定する。この点ついて、以下に説明する。
まず、本実施形態のサーバ140の機能を実現するソフトウェア構成について説明する。サーバ140は、図4Bに示した各部に加えて、更に、サーバ表示制御部と受付部とを有する。
サーバ表示制御部は、サーバ140の表示装置142に集計情報画面を表示させる制御を行う。集計情報画面は、サーバ140の生成部153によって生成された集計情報に基づく情報を表示する画面であり、例えば、図11に示す集計情報チャートを表示する画面である。
受付部は、サーバ140の入力装置143の出力信号に基づいて、それぞれの倉庫100について適用する設定パターンの選択を受け付ける。決定部154は、受付部による受け付けに基づいて、倉庫100について適用する設定パターンを決定する。
次に、本実施形態の副決定処理について説明する。本実施形態の副決定処理は、次に説明する点を除いて、上記の実施形態の副決定処理と同様である。本実施形態の副決定処理では、上記の実施形態の副決定処理の第4ループ処理に代わって以下の処理が行われる。
まず、サーバ表示制御部は、上記のサーバ140の表示装置142に集計情報画面を表示させる制御を行う。
画像処理システム1の管理者等は、例えば、集計情報画面を参照した上で、サーバ140の入力装置143を操作して、処理対象グループに属するそれぞれの倉庫100について適用する設定パターンを選択する。
次に、サーバ140の受付部は、サーバ140の入力装置143の出力信号に基づいて、それぞれの倉庫100について適用する設定パターンの選択を受け付ける。
次に、決定部154は、受付部による受け付けに基づいて、処理対象グループに属するそれぞれの倉庫100について適用する設定パターンを決定する。この決定は、集計情報に基づく情報を表示する集計情報画面を表示した後の受付部による受け付けに基づくものであるため、全体としては、集計情報に基づく決定といえる。そして、決定部154は、それぞれの倉庫100を表す情報と、それぞれの倉庫100について決定した設定パターンとを関連付けて、通信ネットワークを介して、情報処理端末170に送信する。情報処理端末170は、倉庫100を表す情報と、この倉庫100に対応する設定パターンを受信し、両者を関連付けて、情報処理端末170の記憶装置174等に記憶する。
以上説明したように、画像処理システム1の管理者等は、集計情報画面を参照して、倉庫100ごとの適切な設定パターンを決定できる。したがって、画像処理システム1の管理者等は、倉庫100の環境に応じた適切な設定パターンの決定を簡易に行うことができる。
<その他の実施形態>
上記の実施形態では、作業環境の例として、物品115が保管等される倉庫100を挙げたが、作業環境は、ベルトコンベアが配置されるような環境であってもよい。この場合、物品115はベルトコンベアで搬送される。また、情報処理端末170は、ベルトコンベアを搬送される物品115が撮影できる位置に配置される。サーバ140は、作業環境の照度やベルトコンベアを搬送される物品115のサイズ、形状、及び、色等に応じた適切な設定パターンを決定できる。作業環境の照度やベルトコンベアを搬送される物品115に応じた適切な設定パターンを適用することで、画像からマーカ120を適切に解析することが可能となる。
また、上記の実施形態では、棚110は固定されているが、棚110は動くことが可能であってもよい。
また、上記の実施形態ではサーバ140は1台である。しかし、上記の実施形態の1台のサーバ140が行う処理を、複数台のサーバ140に分散させてもよい。
本発明は、上記の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
なお、上記の実施形態を任意に組み合わせて実施してもよい。
1 画像処理システム
100 倉庫
110 棚
115 物品
120 マーカ
140 サーバ
170 情報処理端末

Claims (14)

  1. 作業環境を撮影した複数の画像を取得する第1の取得手段と、
    画像に写されたマーカの解析に関する設定値である解析設定値を含む複数の設定パターンを取得する第2の取得手段と、
    前記第2の取得手段によって取得される複数の前記設定パターンの各々に含まれる前記解析設定値に基づいて前記第1の取得手段によって取得される各画像からマーカを解析する解析手段と、
    前記解析手段による前記設定パターンに対応したマーカの解析処理に基づく集計情報を、前記設定パターンごとに生成する生成手段と、
    を有する情報処理装置。
  2. 前記設定パターンには、画像の撮影に関する設定値である撮影設定値が更に含まれ、
    前記第1の取得手段は、前記第2の取得手段によって取得される複数の前記設定パターンの各々に含まれる前記撮影設定値を用いて撮影された複数の画像を取得し、
    前記解析手段による前記設定パターンに対応したマーカの解析処理は、前記設定パターンに含まれる前記解析設定値に基づいた、前記設定パターンに含まれる前記撮影設定値を適用して撮影された各画像からの、前記解析手段によるマーカの解析処理である請求項1記載の情報処理装置。
  3. 前記集計情報には、少なくとも、総認識数、及び、総処理時間の何れかが含まれ、
    前記総認識数は、前記解析手段による前記設定パターンに対応したマーカの解析処理で解析されたマーカの総数であり、
    前記総処理時間は、前記解析手段による前記設定パターンに対応したマーカの解析処理の処理時間の合計である請求項1又は2記載の情報処理装置。
  4. 前記集計情報には、重み付け評価値が含まれ、
    前記重み付け評価値は、前記解析手段による前記設定パターンに対応したマーカの解析処理で解析されたマーカの重み付け値の合計値であり、
    前記重み付け値は、各マーカについて定められた値である請求項1乃至3何れか1項記載の情報処理装置。
  5. 前記重み付け値は、マーカの種類、マーカが付された物品、又は、マーカとの距離に基づいて定められた値であり、
    マーカとの距離は、前記第1の取得手段によって取得される画像を撮影する撮影手段と、撮影時のマーカとの距離である請求項4記載の情報処理装置。
  6. 前記集計情報には、総誤認識数が含まれ、
    前記総誤認識数は、前記解析手段による前記設定パターンに対応したマーカの解析処理で誤認識されたマーカの総数である請求項1乃至5何れか1項記載の情報処理装置。
  7. 前記生成手段によって生成された前記集計情報に基づいて、前記作業環境について適用する前記設定パターンを決定する決定手段を更に有する請求項1乃至6何れか1項記載の情報処理装置。
  8. 前記作業環境についての前記設定パターンの採用基準を表す基準情報を取得する第3の取得手段を更に有し、
    前記決定手段は、前記第3の取得手段によって取得された前記基準情報、及び、前記生成手段によって生成された前記集計情報に基づいて、前記作業環境について適用する前記設定パターンを決定する請求項7記載の情報処理装置。
  9. 前記生成手段によって生成された前記集計情報に基づく情報を表示する制御を行う表示制御手段と、
    何れかの前記設定パターンの選択を受け付ける受付手段と、
    を更に有し、
    前記決定手段は、前記受付手段による受け付けに基づいて、前記作業環境について適用する前記設定パターンを決定する請求項7記載の情報処理装置。
  10. 前記作業環境は複数あり、
    前記作業環境は、予め何れかの作業環境グループに分類されており、
    前記第1の取得手段は、前記作業環境グループごとに、前記作業環境グループに含まれる何れかの前記作業環境を撮影した複数の画像を取得し、
    前記解析手段は、前記作業環境グループごとに、前記第2の取得手段によって取得される複数の前記設定パターンの各々に含まれる前記解析設定値に基づいて、前記第1の取得手段によって取得される各画像からマーカを解析し、
    前記生成手段は、前記解析手段による前記設定パターンに対応したマーカの解析処理に基づく集計情報を、前記作業環境グループごと、かつ、前記設定パターンごとに生成する請求項1乃至9何れか1項記載の情報処理装置。
  11. 作業環境を撮影した複数の画像を取得する第1の取得手段と、
    画像に写されたマーカの解析に関する設定値である解析設定値を含む複数の設定パターンを取得する第2の取得手段と、
    前記第2の取得手段によって取得される複数の前記設定パターンの各々に含まれる前記解析設定値に基づいて、前記第1の取得手段によって取得される各画像からマーカを解析する第1の解析手段と、
    前記第1の解析手段による前記設定パターンに対応したマーカの解析処理に基づく集計情報を、前記設定パターンごとに生成する生成手段と、
    前記生成手段によって生成された前記集計情報に基づいて、前記作業環境について適用する前記設定パターンを決定する決定手段と、
    移動体に取り付けられる撮影手段と、
    前記決定手段によって決定された前記設定パターンに含まれる前記解析設定値に基づいて、前記撮影手段によって撮影された画像からマーカを解析する第2の解析手段と、
    を有するシステム。
  12. 前記作業環境は複数あり、
    前記作業環境は、予め何れかの作業環境グループに分類されており、
    前記第1の取得手段は、前記作業環境グループごとに、前記作業環境グループに含まれる何れかの前記作業環境を撮影した複数の画像を取得し、
    前記第1の解析手段は、前記作業環境グループごとに、前記第2の取得手段によって取得される複数の前記設定パターンの各々に含まれる前記解析設定値に基づいて、前記第1の取得手段によって取得される各画像からマーカを解析し、
    前記生成手段は、前記第1の解析手段による前記設定パターンに対応したマーカの解析処理に基づく集計情報を、前記作業環境グループごと、かつ、前記設定パターンごとに生成し、
    前記決定手段は、前記作業環境ごとに、前記作業環境について適用する前記設定パターンを決定し、
    前記移動体が配置された前記作業環境を特定する特定手段を更に有し、
    前記第2の解析手段は、前記特定手段によって特定された前記作業環境について前記決定手段によって決定された前記設定パターンに含まれる前記解析設定値に基づいて、前記撮影手段によって撮影された画像からマーカを解析する請求項11記載のシステム。
  13. 作業環境を撮影した複数の画像を取得する第1の取得ステップと、
    画像に写されたマーカの解析に関する設定値である解析設定値を含む複数の設定パターンを取得する第2の取得ステップと、
    前記第2の取得ステップによって取得される複数の前記設定パターンの各々に含まれる前記解析設定値に基づいて前記第1の取得ステップによって取得される各画像からマーカを解析する解析ステップと、
    前記解析ステップでの前記設定パターンに対応したマーカの解析処理に基づく集計情報を、前記設定パターンごとに生成する生成ステップと、
    を有する情報処理方法。
  14. コンピュータを請求項1乃至10何れか1項記載の情報処理装置の各手段として機能させるためのプログラム。
JP2016250731A 2016-12-26 2016-12-26 情報処理装置、システム、情報処理方法、及び、プログラム Active JP6484603B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2016250731A JP6484603B2 (ja) 2016-12-26 2016-12-26 情報処理装置、システム、情報処理方法、及び、プログラム
MX2019007283A MX374318B (es) 2016-12-26 2017-12-22 Dispositivo de procesamiento de información, sistema, método de procesamiento de la información y medio de almacenamiento.
CN201780057544.3A CN109791597B (zh) 2016-12-26 2017-12-22 信息处理装置、系统、信息处理方法和存储介质
PCT/JP2017/046219 WO2018123900A1 (ja) 2016-12-26 2017-12-22 情報処理装置、システム、情報処理方法、及び、記憶媒体
CA3047233A CA3047233C (en) 2016-12-26 2017-12-22 Information processing device, system, information processing method, and storage medium
US16/335,145 US10755100B2 (en) 2016-12-26 2017-12-22 Information processing device, system, information processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016250731A JP6484603B2 (ja) 2016-12-26 2016-12-26 情報処理装置、システム、情報処理方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2018106345A JP2018106345A (ja) 2018-07-05
JP6484603B2 true JP6484603B2 (ja) 2019-03-13

Family

ID=62707460

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016250731A Active JP6484603B2 (ja) 2016-12-26 2016-12-26 情報処理装置、システム、情報処理方法、及び、プログラム

Country Status (6)

Country Link
US (1) US10755100B2 (ja)
JP (1) JP6484603B2 (ja)
CN (1) CN109791597B (ja)
CA (1) CA3047233C (ja)
MX (1) MX374318B (ja)
WO (1) WO2018123900A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462463B (zh) * 2020-03-02 2021-07-30 清华大学 预警信息发送方法和装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4412214B2 (ja) * 2005-03-29 2010-02-10 日本電気株式会社 パターン認識装置、パターン認識方法およびそのパターン認識装置をもつ電子機器
KR20080024476A (ko) * 2005-06-14 2008-03-18 고쿠리쓰다이가쿠호진 덴키쓰신다이가쿠 위치 검출 장치, 위치 검출 방법, 위치 검출 프로그램 및복합 현실 제공 시스템
JP4968093B2 (ja) * 2008-02-05 2012-07-04 株式会社デンソーウェーブ 光学的情報読取装置
US8237807B2 (en) * 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
JP2010122770A (ja) 2008-11-17 2010-06-03 B-Core Inc 光学式自動認識コード読み取り方法及び装置
JP5262869B2 (ja) * 2009-03-12 2013-08-14 株式会社リコー 画像処理システム、画像処理サーバ、mfp及び画像処理方法
JP2011244394A (ja) * 2010-05-21 2011-12-01 Mitsubishi Electric Corp 監視カメラおよび監視システム
US20150153172A1 (en) * 2011-10-31 2015-06-04 Google Inc. Photography Pose Generation and Floorplan Creation
JP5851261B2 (ja) * 2012-01-30 2016-02-03 株式会社東芝 画像センサシステム、情報処理装置、情報処理方法及びプログラム
EP2921997B1 (en) 2012-11-13 2021-01-06 Kyodo Printing Co., Ltd. Two-dimensional code
JP2015032213A (ja) * 2013-08-05 2015-02-16 株式会社東芝 情報処理装置、方法、及びプログラム
JP6139375B2 (ja) * 2013-10-25 2017-05-31 ユーピーアール株式会社 パレット管理システム、パレット管理装置およびフォークリフト
JP6024683B2 (ja) * 2014-02-21 2016-11-16 コニカミノルタ株式会社 画像形成システム、情報処理装置、集計情報送信方法及びプログラム
JP6420591B2 (ja) * 2014-08-19 2018-11-07 キヤノン株式会社 画像処理装置、その制御方法及びプログラム
CN107076992A (zh) * 2014-10-03 2017-08-18 精工爱普生株式会社 适应于环境的头戴式显示装置
US9256775B1 (en) * 2014-12-23 2016-02-09 Toshiba Tec Kabushiki Kaisha Image recognition apparatus and commodity information processing apparatus
US10026228B2 (en) * 2015-02-25 2018-07-17 Intel Corporation Scene modification for augmented reality using markers with parameters
US10311596B2 (en) * 2015-10-16 2019-06-04 Seiko Epson Corporation Image processing device, robot, robot system, and marker
JPWO2018101135A1 (ja) * 2016-12-01 2019-10-24 シャープ株式会社 撮影調整情報導出装置、撮影装置、撮影調整情報導出方法、制御プログラム、および記録媒体
CN117891335A (zh) * 2017-05-19 2024-04-16 奇跃公司 用于虚拟、增强和混合现实显示系统的键盘
CN109583285B (zh) * 2017-09-29 2023-03-07 阿里巴巴集团控股有限公司 对象识别方法
US11182614B2 (en) * 2018-07-24 2021-11-23 Magic Leap, Inc. Methods and apparatuses for determining and/or evaluating localizing maps of image display devices

Also Published As

Publication number Publication date
CA3047233A1 (en) 2018-07-05
US20190278996A1 (en) 2019-09-12
CA3047233C (en) 2019-12-17
JP2018106345A (ja) 2018-07-05
MX374318B (es) 2025-03-06
US10755100B2 (en) 2020-08-25
CN109791597A (zh) 2019-05-21
CN109791597B (zh) 2020-04-10
WO2018123900A1 (ja) 2018-07-05
MX2019007283A (es) 2019-09-06

Similar Documents

Publication Publication Date Title
US11900316B2 (en) Information processing apparatus, control method, and program
JP5783885B2 (ja) 情報提示装置、その方法及びそのプログラム
US9367753B2 (en) Method and system for recognizing information on a card
JP6549558B2 (ja) 売上登録装置、プログラム及び売上登録方法
JP6684475B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN108921098B (zh) 人体运动分析方法、装置、设备及存储介质
JP2017187988A (ja) コード認識装置
US11810304B1 (en) Perspective distortion correction of discrete optical patterns in images using depth sensing
US11350024B1 (en) High speed continuously adaptive focus and deblur
JP6687199B2 (ja) 商品棚位置登録プログラム、及び情報処理装置
JP2018173818A (ja) 携帯型の情報処理装置及び当該情報処理装置を用いた方法及びプログラム
CN109454004B (zh) 机器人扫描分拣系统及方法
JP5674933B2 (ja) 倉庫内の物体の位置を特定するための方法及び装置
CN109743497B (zh) 一种数据集采集方法、系统及电子装置
JP6484603B2 (ja) 情報処理装置、システム、情報処理方法、及び、プログラム
JP5310402B2 (ja) 画像変換パラメータ算出装置、画像変換パラメータ算出方法およびプログラム
WO2018037891A1 (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム記録媒体
JP2018092507A (ja) 画像処理装置、画像処理方法及びプログラム
KR20150137698A (ko) 농장에서의 움직임 개체의 이동 궤적 트래킹 방법 및 장치
CN114973145A (zh) 一种图像去重方法、装置、设备及可读存储介质
US11503200B2 (en) Photographing device and photographing method
JP7613366B2 (ja) 画像管理装置、制御方法、及びプログラム
CN119273282A (zh) 商品出库复核方法、装置、设备及存储介质
CN109840832A (zh) 商品图像标注方法、装置、电子设备及系统
JP6532114B1 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180731

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180731

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180801

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190218

R150 Certificate of patent or registration of utility model

Ref document number: 6484603

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250