JP7434986B2 - 物品判別システム - Google Patents

物品判別システム Download PDF

Info

Publication number
JP7434986B2
JP7434986B2 JP2020021778A JP2020021778A JP7434986B2 JP 7434986 B2 JP7434986 B2 JP 7434986B2 JP 2020021778 A JP2020021778 A JP 2020021778A JP 2020021778 A JP2020021778 A JP 2020021778A JP 7434986 B2 JP7434986 B2 JP 7434986B2
Authority
JP
Japan
Prior art keywords
article
identification information
target article
unit
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020021778A
Other languages
English (en)
Other versions
JP2021128456A (ja
Inventor
渉 清川
圭吾 高橋
淳 味生
和俊 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daifuku Co Ltd
Original Assignee
Daifuku Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daifuku Co Ltd filed Critical Daifuku Co Ltd
Priority to JP2020021778A priority Critical patent/JP7434986B2/ja
Priority to EP21156105.5A priority patent/EP3866061B1/en
Priority to CN202110181304.2A priority patent/CN113255428B/xx
Priority to US17/173,538 priority patent/US11594047B2/en
Publication of JP2021128456A publication Critical patent/JP2021128456A/ja
Application granted granted Critical
Publication of JP7434986B2 publication Critical patent/JP7434986B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional [3D] objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Description

本発明は、物品の外観画像データを用いた物品判別システムに関する。
上記のような物品判別システムの一例が、特開2015-43175号公報(特許文献1)に開示されている。以下、背景技術の説明において括弧内に示す符号は特許文献1のものである。特許文献1では、容器(51)から物品(50)を取り出す場面で取り出し対象の物品(50)の位置を認識する物品認識装置(3)に、物品判別システムが適用されている。この物品認識装置(3)は、物品(50)の外面の模様を含むテンプレート画像を用いて、物品(50)の位置を認識する。具体的には、物品認識装置(3)は、物品(50)を収容した容器(51)の撮影画像に含まれる、テンプレート画像との一致度が予め定められた閾値以上である領域を物品存在領域(M)として検出することで、物品(50)の位置を認識する。このように、特許文献1には、外観画像データとしてのテンプレート画像を用いた物品判別システムが開示されている。
特開2015-43175号公報
ところで、外面の模様等の物品の外観デザインは、同じ種類の物品であっても変更される場合がある。例えば、物品が商品を収容する容器(例えば、食品を収容する段ボール箱)である場合、同じ種類の容器(具体的には、同じ種類の商品が収容された容器)であっても、容器の外面のデザイン(パッケージデザイン)は、季節に応じて或いはセール等の販売促進活動によって変更され得る。物品判別システムにおいて適切な判別を行うためには、物品の外観デザインが変更された場合に、変更後の外観デザインに対応する外観画像データが必要となる。そこで、物品の外観デザインが変更される度に外観画像データを新たに生成して登録することが考えられるが、この場合、外観画像データの生成及び登録の頻度が高くなることで、物品判別システムを運用する作業者の手間の増加や、物品判別システムが適用される装置(特許文献1では物品認識装置)の処理速度の低下等を招くおそれがある。
そこで、外観画像データの生成及び登録の頻度を低く抑えることが可能な物品判別システムの実現が望まれる。
本開示に係る物品判別システムは、物品の外観画像のデータである外観画像データを、当該物品の識別情報に関連付けて記憶する記憶部と、判別対象の物品である対象物品の識別情報を取得する識別情報取得部と、前記対象物品の外観を撮影する撮影部と、前記撮影部により撮影された前記対象物品の撮影画像と、前記識別情報取得部が取得した識別情報に関連付けられて前記記憶部に記憶された前記外観画像データとの一致度を導出し、前記一致度が判定閾値以上となる前記外観画像データが存在する正常状態であるか否かを判定する判定部と、前記判定部により前記正常状態ではないと判定された場合に学習処理を実行する学習処理部と、を備え、前記学習処理は、前記一致度が前記判定閾値以上の前記対象物品の識別情報に関連付けられた前記外観画像データが存在しなかった前記撮影画像のデータを新たな前記外観画像データとして、前記識別情報取得部が取得した前記対象物品の識別情報に関連付けて前記記憶部に記憶させる処理であり、前記記憶部は、当該記憶部に記憶された時点が新しいものから順に2以上の規定数の前記外観画像データを、1つの識別情報に関連付けて記憶する。
本構成によれば、判定部により正常状態ではないと判定された場合には、すなわち、対象物品の撮影画像との一致度が判定閾値以上となる外観画像データが記憶部に存在しない場合には、学習処理により、対象物品の当該撮影画像を新たな外観画像データとして、当該対象物品の識別情報に関連付けて記憶部に記憶させることができる。よって、対象物品の外観デザインが変更された場合には、変更後の外観デザインに対応する外観画像データを生成して登録することができる。これにより、変更後の外観デザインに対応する外観画像データを生成して登録する作業を、作業者が手動で行う場合に比べて、作業者の手間を低減することができる。
ところで、対象物品の外観デザインは、複数の外観デザインの間で周期的に変更される場合や、一時的に変更された後に元のデザインに戻される場合がある。例えば、対象物品が商品を収容する容器である場合、対象物品の外観デザインは、複数の外観デザインの間で季節に応じて周期的に変更され、或いは、セール等の販売促進活動によって一時的に変更された後に元のデザインに戻される。これらの場合、対象物品の変更後の外観デザインは、当該対象物品の変更前或いはそれ以前の外観デザインと同じものとなる。この点に着目し、本構成では、記憶部に記憶された時点が新しいものから順に規定数の外観画像データが、1つの識別情報に関連付けて記憶部に記憶される。これにより、対象物品の外観デザインが、複数の外観デザインの間で周期的に変更される場合や、一時的に変更された後に元のデザインに戻される場合に、変更後の外観デザインに対応する外観画像データが記憶部に存在するようにすることが可能となっている。変更後の外観デザインに対応する外観画像データが記憶部に存在する場合には、変更後の外観デザインに対応する外観画像データを生成して登録する必要はないため、その分、外観画像データの生成及び登録の頻度を低く抑えることができる。
なお、本構成では、上記規定数の外観画像データよりも前に記憶部に記憶された外観画像データは、記憶部から削除されるが、対象物品の変更後の外観デザインが、当該対象物品の以前の外観デザインと同じものとなる場合であっても、当該以前の外観デザインは、一般に、比較的最近に使用されたものであることが多い。そのため、本構成によれば、1つの識別情報に関連付けて記憶される外観画像データの数を規定数以下に制限することで、記憶部に必要となる記憶容量の低減を図りつつ、再度使用される可能性が高い外観デザインに対応する外観画像データを記憶部に残すことが可能となっている。
物品判別システムの更なる特徴と利点は、図面を参照して説明する実施形態についての以下の記載から明確となる。
物品判別システムが適用された物流設備の一部を示す斜視図 物品判別システムの概略構成を示すブロック図 制御フローの一例を示すフローチャート 制御フローの別例を示すフローチャート
物品判別システムの実施形態について、図面を参照して説明する。
物品判別システム1は、判別対象の物品80である対象物品81について、物品80の外観画像のデータである外観画像データを用いた判別を行うシステムである。本実施形態では、図1に例示するような物流設備100に、物品判別システム1を適用している。図1には、物流設備100における取出箇所Pの近傍のみを示している。取出箇所Pには、第1搬送装置91及び第2搬送装置92が設けられている。第1搬送装置91は、パレット等の支持体10を取出箇所Pに搬入する。支持体10には、複数の物品80の群である物品群8が載せられている。取出箇所Pでは、支持体10に載せられた物品群8から対象物品81を順次選択し、選択した対象物品81を支持体10から取り出す取出処理が実行される。第2搬送装置92は、支持体10から取り出された対象物品81(処理済み物品83)を取出箇所Pから搬出する。
物品80は、当該物品80の種類に応じた外観(外観デザイン)を有する。互いに異なる種類の物品80は、基本的に、互いに異なる外観を有する。物品80の外観を構成する要素として、物品80の外面に印刷や貼付等によって設けられた標章(文字、図形、写真、絵、記号、又はこれらの組み合わせ等)、物品80の外面の模様、物品80の外面の色彩、物品80の形状(例えば、外面の外縁形状)を例示することができる。なお、物品80の外観デザインは、同じ種類の物品80であっても変更される場合がある。図1に示す例では、取出箇所Pに搬入されている支持体10(第1支持体11)に載せられた物品80は、取出箇所Pに次に搬入される予定の支持体10(第2支持体12)に載せられた物品80と同じ種類の物品80であるが、上面Sの外観は異なっている。なお、図1では、処理済み物品83については上面Sに設けられる標章や模様等を省略している。
同じ種類の物品80は、同じ外形及び同じ寸法を有する。互いに異なる種類の複数の物品80の間で、外形及び寸法のうちの一方又は双方が共通となる場合もある。図1に示すように、本実施形態では、物品80は、外形が直方体状(立方体状を含む)に形成されている。そして、物品80は、1つの外面が上側を向く姿勢で、言い換えれば、物品80の外形を成す直方体の1つの頂点から延びる3辺のうちの1辺が鉛直方向Vに沿う姿勢で、配置される。すなわち、物品80は、上面S(天面)を含む6つの外面を有している。
本実施形態では、物品80は、荷(商品等)を収容する容器である。そのため、物品80の種類は、物品80に収容された荷の種類に応じて定まる。すなわち、同じ種類の荷を収容する2つの物品80は、同じ種類の物品80として取り扱われる。一方、互いに異なる種類の荷を収容する2つの物品80は、これら2つの物品80が同じ種類の容器である場合であっても、異なる種類の物品80として取り扱われる。1つの物品80には、1つの荷が収容され、又は、同一種類の複数の荷が収容される。物品80は、例えば、段ボール箱やコンテナ等とされる。
支持体10は、物品群8を下方から支持する。図1に示すように、本実施形態では、1つの支持体10に、複数の物品80が、互いに直交する2つの水平方向に並べて配置される。互いに直交する2つの水平方向は、鉛直方向Vに直交する水平面において、互いに直交する2つの方向である。また、本実施形態では、1つの支持体10に、複数の物品80が段積みされる(言い換えれば、鉛直方向Vに重ねて配置される)。本実施形態では、1つの支持体10には、同じ種類の複数の物品80が載せられる。すなわち、支持体10に載せられた物品群8は、同一種類の複数の物品80の群とされる。図1に示す例では、1つの支持体10に載せられた物品群8には、互いに異なる向きで配置された複数の物品80が含まれている。すなわち、1つの支持体10に載せられた物品群8を構成する物品80の向きは揃っていない。
図2に示すように、物品判別システム1は、記憶部21と、識別情報取得部22と、撮影部23と、判定部31と、学習処理部32と、を備えている。本実施形態では、物品判別システム1は、更に、寸法計測部24と、操作部25と、取出処理部33と、を備えている。本実施形態では、物品判別システム1は、制御装置20を備えており、制御装置20が、判定部31、学習処理部32、及び取出処理部33を含む、複数の機能部を備えている。なお、物品判別システム1が、寸法計測部24、操作部25、及び取出処理部33の少なくともいずれかを備えない構成とすることもできる。
制御装置20は、記憶部21に対するデータの読み書きが可能に構成されている。また、制御装置20は、識別情報取得部22が取得した対象物品81の識別情報、撮影部23が撮影した対象物品81の撮影画像、及び、寸法計測部24が計測した対象物品81の寸法を、取得可能に構成されている。また、制御装置20は、操作部25の作動を制御可能に構成されている。このように、制御装置20は、記憶部21、識別情報取得部22、撮影部23、寸法計測部24、及び操作部25のそれぞれと、通信可能に有線又は無線で接続されている。第1搬送装置91及び第2搬送装置92の作動は、制御装置20により制御され、或いは制御装置20と通信可能な他の制御装置により制御される。制御装置20は、CPU(Central Processing Unit)等の演算処理装置を備えると共にメモリ等の周辺回路を備え、これらのハードウェアと、演算処理装置等のハードウェア上で実行されるプログラムとの協働により、制御装置20の各機能が実現される。
制御装置20が備える複数の機能部は、互いに情報の受け渡しを行うことができるように構成されている。なお、制御装置20が備える複数の機能部は、少なくとも論理的に区別されるものであり、物理的には必ずしも区別される必要はない。また、制御装置20が備える複数の機能部は、共通のハードウェアで実現される必要はなく、互いに通信可能な複数のハードウェアに分かれて実現されてもよい。すなわち、制御装置20は、1つのハードウェアではなく、互いに通信可能な複数のハードウェアを用いて構成されてもよい。
記憶部21は、物品80の外観画像のデータである外観画像データを、当該物品80の識別情報に関連付けて記憶している。ここでは、識別情報は、物品80の種類を識別するための情報(すなわち、種類情報)である。外観画像データには、例えば、物品80の外面に設けられた標章の情報、物品80の外面の模様の情報、物品80の外面の色彩の情報、物品80の形状(例えば、外面の外縁形状)の情報等が含まれる。本実施形態では、外観画像データは、物品80の上面Sの画像データである。そのため、外観画像データには、例えば、物品80の上面Sに設けられた標章の情報、物品80の上面Sの模様の情報、物品80の上面Sの色彩の情報、物品80の上面Sの形状(例えば、上面Sの外縁形状)の情報等が含まれる。
記憶部21は、当該記憶部21に記憶された時点が新しいものから順に2以上の規定数の外観画像データを、1つの識別情報に関連付けて記憶する。すなわち、規定数の外観画像データよりも前に記憶された外観画像データは、記憶部21から削除される。そのため、1つの識別情報に関連付けて記憶される外観画像データの数は、規定数以下に制限される。規定数は、例えば5とされる。なお、これまでに生成された外観画像データの数が規定数に満たない識別情報については、規定数未満の外観画像データが当該識別情報に関連付けられて記憶部21に記憶された状態となる。
外観画像データは、予め収集されて記憶部21に記憶され、又は、後述する学習処理により生成されて記憶部21に記憶されている。外観画像データの収集は、例えば、物品判別システム1による判別対象となり得る物品80(すなわち、対象物品81となり得る物品80)を対象として行われる。例えば、取出箇所Pに搬入されることが予定されている支持体10に載せられた物品80が、対象物品81となり得る。後述する一致度導出処理において、対象物品81の撮影画像に対して特徴量抽出処理が行われる場合、記憶部21に、同様の特徴量抽出処理が行われた外観画像データが記憶されていてもよい。
本実施形態では、記憶部21は、更に、物品80の寸法のデータである寸法データを、当該物品80の識別情報に関連付けて記憶している。記憶部21には、対象物品81となり得る物品80の寸法データが、予め収集されて記憶されている。本実施形態では、寸法データは、物品80の3次元寸法のデータである。上述したように、本実施形態では、物品80は、外形が直方体状に形成されており、寸法データには、物品80の外形を成す直方体の1つの頂点から延びる3辺の各辺の寸法の情報が含まれる。
記憶部21は、例えばフラッシュメモリやハードディスク等の、情報を記憶及び書き換え可能な記憶媒体をハードウェア構成として備える。図2では、記憶部21が制御装置20とは別の装置により構成される場合を例示しているが、制御装置20が備える記憶装置を用いて記憶部21を構成してもよい。また、記憶部21が、制御装置20と通信可能なサーバ又はクラウドサーバに設けられてもよい。
識別情報取得部22は、対象物品81の識別情報を取得する。なお、“対象物品81の識別情報を取得する”とは、既に対象物品81として選択されている物品80の識別情報を取得することと、対象物品81として選択される予定の物品80の識別情報を取得することとの、双方を含む概念である。図1に示すように、識別情報取得部22は、対象物品81の識別情報を読み取る読取装置60を備えている。識別情報取得部22は、読取装置60が読み取った対象物品81の識別情報を取得する。識別情報取得部22が取得する識別情報(言い換えれば、読取装置60が読み取る識別情報)は、識別情報保持部70に保持されている。識別情報保持部70は、物品80の識別情報を外部から読み取り可能な状態で保持している。読取装置60は、識別情報保持部70が保持する識別情報を読み取り可能に構成されている。例えば、識別情報保持部70が識別情報をバーコードで表す場合、読取装置60は、バーコードを読み取るバーコードリーダとされる。識別情報保持部70は、バーコードのような1次元コードではなく、QRコード(登録商標)のような2次元コードや、文字や記号等の標章であってもよい。また、識別情報保持部70は、識別情報が記憶されて無線通信により当該識別情報が読み取り可能なICタグ等であってもよい。なお、図1に示す読取装置60の設置形態は一例であり、読取装置60の設置形態(設置位置や個数等)は適宜変更可能である。
識別情報保持部70は、物品80毎に設けられ、或いは、物品群8毎に設けられる。識別情報保持部70が物品80毎に設けられる場合、識別情報保持部70は、例えば、各物品80の外面に印刷や貼付等によって設けられる。また、識別情報保持部70が物品群8毎に設けられる場合、識別情報保持部70は、例えば、物品群8を構成する1つの物品80の外面に貼付等によって設けられ、或いは、物品群8を支持する支持体10の外面に貼付等によって設けられる。例えば、識別情報保持部70が入荷ラベルである場合に、識別情報保持部70は貼付等によって対象物(物品80や支持体10等)に設けられる。
上述したように、本実施形態では、支持体10に載せられた物品群8は、同一種類の複数の物品80の群とされる。このように、支持体10に載せられた物品群8が同一種類の複数の物品80の群である場合には、識別情報保持部70を物品群8毎に設けることができる。なお、支持体10に載せられた物品群8が同一種類の複数の物品80の群である場合であっても、識別情報保持部70を物品80毎に設けてもよい。この場合、物品群8を構成する1つの物品80に設けられた識別情報保持部70から識別情報を読み取ることで、当該物品群8を構成する全ての物品80の識別情報を取得することができる。
なお、物品80の識別情報が、当該物品80を支持する支持体10の識別情報と関連付けて記憶部21に記憶されている場合には、識別情報保持部70が、支持体10の識別情報を保持する構成とすることもできる。この場合、読取装置60が、支持体10に設けられた識別情報保持部70から当該支持体10の識別情報を読み取り、識別情報取得部22が、記憶部21を参照して当該支持体10の識別情報に関連付けられた物品80の識別情報を取得するように構成される。
撮影部23は、対象物品81の外観を撮影する。図1に示すように、撮影部23は、第1カメラ41を用いて対象物品81の外観を撮影する。本実施形態では、撮影部23は、対象物品81の上面Sを撮影する。そのため、第1カメラ41は、対象物品81に対して鉛直方向Vの上側に配置されている。第1カメラ41として、例えば、カラー画像を撮影するカラーカメラを用いることができる。なお、図1に示す第1カメラ41の設置形態は一例であり、第1カメラ41の設置形態(設置位置や個数等)は適宜変更可能である。
寸法計測部24は、対象物品81の寸法を計測する。なお、“対象物品81の寸法を計測する”とは、既に対象物品81として選択されている物品80の寸法を計測することと、対象物品81として選択される予定の物品80の寸法を計測することとの、双方を含む概念である。図1に示すように、本実施形態では、寸法計測部24は、対象物品81に対して鉛直方向Vの上側に配置された第2カメラ42を用いて、対象物品81の寸法を計測する。本実施形態では、寸法計測部24は、対象物品81の3次元寸法を計測する。すなわち、寸法計測部24は、対象物品81の平面視(鉛直方向Vに沿う方向視)での寸法と、対象物品81の高さ(鉛直方向Vの寸法)とを計測する。ここでは、第2カメラ42として、TOF(Time Of Flight)カメラ(すなわち、TOF方式の距離画像センサ)を用いている。寸法計測部24は、第2カメラ42による対象物品81の撮影により得られた距離画像(距離情報を有する画像)に基づき、対象物品81の寸法を計測する。なお、TOF方式では、光が対象物で反射して戻ってくるまでの光の飛行時間に基づき、対象物までの距離を検出する。第2カメラ42として、ステレオカメラ等を用いてもよい。ステレオカメラは、2つの視点から対象物を撮影するように構成され、これら2つの視点間の視差に基づき対象物までの距離を導出することで、距離画像が生成される。なお、図2に示す第2カメラ42の設置形態は一例であり、第2カメラ42の設置形態(設置位置や個数等)は適宜変更可能である。
寸法計測部24は、例えば以下に述べるように、対象物品81の3次元寸法を取得する。寸法計測部24は、第2カメラ42による対象物品81の撮影画像(距離画像)から対象物品81の輪郭を抽出して、対象物品81の平面視での寸法(具体的には、対象物品81の上面Sの外縁を成す四角形の2辺の寸法)を取得する。また、寸法計測部24は、第2カメラ42による対象物品81の撮影画像(距離画像)から、対象物品81の上面Sの高さと、対象物品81の下面の高さとの差を導出して、対象物品81の高さを取得する。なお、対象物品81の下面は、支持体10の上面、又は当該対象物品81より1つ下の段の物品80の上面Sと同じ高さに配置されるため、対象物品81の下面の高さは、これら2つの上面のいずれかの高さから取得することができる。
操作部25は、対象物品81を移動させる。図1に示すように、操作部25は、物品80を保持する保持部50と、保持部50を移動させる移動機構51と、を備えている。本実施形態では、保持部50は、物品80の上面Sを保持する。具体的には、保持部50は、物品80の上面Sを吸着保持する。操作部25は、対象物品81を保持した状態の保持部50を、移動機構51により移動させることで、対象物品81を移動させる。本実施形態では、移動機構51は、第1搬送装置91によって取出箇所Pに搬入された支持体10(図1に示す例では、第1支持体11)の上方の位置と、第2搬送装置92の上方の位置とに、保持部50を移動させることが可能に構成されている。これにより、操作部25は、支持体10から取り出した対象物品81を第2搬送装置92に移動させることが可能に構成されている。詳細は省略するが、図1に示す例では、移動機構51は、旋回台を回転させると共に、旋回台に支持された多関節アームを屈伸させることで、多関節アームの先端に連結された保持部50を移動させるように構成されている。
図1に示すように、本実施形態では、対象物品81は、支持体10に載せられた物品群8(ここでは、同一種類の複数の物品80の群)に含まれ、且つ、上方に他の物品80が載せられていない物品80である。そして、本実施形態では、物品判別システム1は、操作部25により対象物品81を隣接する他の物品80(隣接物品82)との間に隙間が形成されるように移動させた状態で、寸法計測部24により対象物品81の寸法を計測するように構成されている。なお、対象物品81は、保持部50による保持が解除されても支持体10に載せられた状態が維持される範囲内で、操作部25により移動される。図1では、支持体10(具体的には、第1支持体11)に載せられている対象物品81が、2つの隣接物品82のそれぞれとの間に隙間が形成されるように移動された後の状態を示している。このような状態で寸法計測部24によって対象物品81の寸法を計測することで、対象物品81の輪郭の抽出精度を高めて、対象物品81の平面視での寸法の計測精度の向上を図ることができると共に、対象物品81の下面と同じ高さに配置される面の高さの検出精度を高めて、対象物品81の高さの計測精度の向上を図ることができる。なお、隣接物品82との間に隙間が形成されるように操作部25により対象物品81を移動させる処理は、対象物品81の寸法を適切に計測できない場合等の、予め定められた条件が満たされる場合にのみ行ってもよい。
判定部31は、撮影部23により撮影された対象物品81の撮影画像と、識別情報取得部22が取得した識別情報に関連付けられて記憶部21に記憶された外観画像データとの一致度を導出し、一致度が判定閾値以上となる外観画像データが存在する正常状態であるか否かを判定する機能部である。すなわち、判定部31は、一致度を導出する一致度導出処理を行って、正常状態であるか否かを判定する。判定部31は、一致度が判定閾値以上となる外観画像データが記憶部21に存在した場合に、正常状態であると判定し、一致度が判定閾値以上となる外観画像データが記憶部21に存在しなかった場合に、正常状態ではないと判定する。判定部31は、対象物品81の撮影画像と外観画像データとのマッチング処理を行って、一致度を導出する。具体的には、マッチング処理で得られるマッチングスコア(一致度の指標)を、一致度として導出する。
上述したように、記憶部21には、当該記憶部21に記憶された時点が新しいものから順に規定数の外観画像データが、1つの識別情報に関連付けて記憶されている。本実施形態では、判定部31は、一致度導出処理を、記憶部21に記憶された時点が新しい外観画像データから順に実行し、一致度が判定閾値以上となる外観画像データが検出されると、一致度導出処理を終了して正常状態であると判定する。なお、本実施形態のように、1つの支持体10に同じ種類の複数の物品80の群が載せられている場合には、以下のような構成としてもよい。すなわち、物品群8から選択された対象物品81について、記憶部21に記憶された時点が新しい外観画像データから順に一致度導出処理を実行する。そして、一致度が判定閾値以上となる外観画像データが、記憶部21に記憶された複数の外観画像データの中の記憶部21に記憶された時点が最も新しい外観画像データ以外から検出された場合には、当該物品群8から次に選択された対象物品81については、初めにこの検出された外観画像データを用いて一致度導出処理を実行し、一致度が判定閾値未満であった場合には、残りの外観画像データについて記憶部21に記憶された時点が新しい外観画像データから順に一致度導出処理を実行する。
学習処理部32は、判定部31により正常状態ではないと判定された場合に学習処理を実行する機能部である。学習処理は、撮影部23により撮影された対象物品81の撮影画像のデータを、新たな外観画像データとして、識別情報取得部22が取得した識別情報に関連付けて記憶部21に記憶させる処理である。なお、記憶部21は、当該記憶部21に記憶された時点が新しいものから順に規定数の外観画像データを、1つの識別情報に関連付けて記憶する。そのため、学習処理部32は、撮影部23により撮影された対象物品81の撮影画像のデータを、新たな外観画像データとして、識別情報取得部22が取得した識別情報に関連付けて記憶部21に記憶させる場合に、規定数の外観画像データが当該識別情報に関連付けて記憶部21に既に記憶されている場合には、当該規定数の外観画像データのうちの記憶部21に記憶された時点が最も古い外観画像データを記憶部21から削除して、上記新たな外観画像データを記憶部21に記憶させる。
本実施形態では、学習処理部32は、判定部31により正常状態ではないと判定された場合に、寸法計測部24により計測された対象物品81の寸法が、識別情報取得部22が取得した識別情報に関連付けられて記憶部21に記憶された寸法データを基準とする、許容寸法範囲に収まることを条件に学習処理を実行し、寸法計測部24により計測された対象物品81の寸法が許容寸法範囲に収まらない場合には、異常状態であると判定して学習処理を実行しないように構成されている。許容寸法範囲は、例えば、記憶部21に記憶された寸法データの95%~105%の範囲(言い換えれば、当該寸法データを基準とする±5%の範囲)とされる。本実施形態では、学習処理部32は、寸法計測部24により計測された対象物品81の寸法が、3次元の各方向において許容寸法範囲に収まることを条件に、学習処理を実行する。具体的には、学習処理部32は、寸法計測部24により計測された対象物品81の寸法が、物品80の外形を成す直方体の1つの頂点から延びる3辺の各延在方向において許容寸法範囲に収まることを条件に、学習処理を実行する。学習処理部32が異常状態であると判定した場合、物品判別システム1は、例えば、異常状態であることを管理者等の作業者に知らせる通知(音声、警告灯の点灯等)を行う。
取出処理部33は、対象物品81を支持体10から取り出す取出処理を実行する機能部である。取出処理部33は、操作部25を制御して取出処理を実行する。図1に示す例では、取出処理において、支持体10から取り出した対象物品81を第2搬送装置92に移載するように、操作部25が制御される。本実施形態では、取出処理部33は、判定部31により正常状態であると判定された場合に、又は、判定部31により正常状態ではないと判定された場合であって学習処理部32により学習処理が実行された場合に、対象物品81を支持体10から取り出す。すなわち、学習処理部32が異常状態であると判定した場合には、取出処理部33は取出処理を実行しない。
図1に示すように、本実施形態では、対象物品81は、支持体10に載せられた物品群8(ここでは、同一種類の複数の物品80の群)に含まれ、且つ、上方に他の物品80が載せられていない物品80である。取出処理部33は、取出処理において、物品群8から対象物品81を順次選択し、選択した対象物品81を支持体10から取り出す。この際、判定部31は、取出処理の対象となる対象物品81が取出処理部33により選択される度に、新たに選択された対象物品81の撮影画像に基づき正常状態であるか否かを判定する。
次に、本実施形態の物品判別システム1により実行される物品判別処理の手順について、図3に示す例と図4に示す例とを順に説明する。
まず、図3に示す例について説明する。図3は、識別情報取得部22による対象物品81の識別情報の取得処理を、対象物品81毎に実行する場合の制御フローの一例を示している。なお、図3は、1つの対象物品81に対する物品判別処理の制御フローを示している。すなわち、対象物品81が選択される度に、図3に示す一連の処理が実行される。対象物品81として選択される物品80の種類が、対象物品81の選択毎に変化し得る場面では、図3に示す制御フローのように、識別情報取得部22による対象物品81の識別情報の取得処理が、対象物品81毎に実行される。例えば、複数種類の物品80が載せられた支持体10から対象物品81が順次選択される場合や、複数種類の物品80が1つずつ物品判別処理が行われる箇所(図1に示す例では、取出箇所P)に搬入され、当該箇所に先に搬入された物品80から順に対象物品81として選択される場合に、対象物品81として選択される物品80の種類が、対象物品81の選択毎に変化し得る。
図3に示すように、制御装置20は、識別情報取得部22を制御して、対象物品81の識別情報を識別情報取得部22により取得する識別情報取得処理を実行する(ステップ#1)。また、制御装置20は、撮影部23を制御して、対象物品81の外観を撮影部23により撮影する撮影処理を実行する(ステップ#2)。なお、撮影処理(ステップ#2)は、識別情報取得処理(ステップ#1)の実行後ではなく、識別情報取得処理(ステップ#1)と同時期に実行し、或いは、識別情報取得処理(ステップ#1)の実行前に実行してもよい。そして、判定部31は、撮影処理(ステップ#2)にて撮影された対象物品81の撮影画像と、識別情報取得処理(ステップ#1)にて取得された識別情報に関連付けられて記憶部21に記憶された外観画像データとに基づき、一致度導出処理を実行する(ステップ#3)。なお、以前に選択された対象物品81に対する撮影処理で得られた撮影画像に、現在選択されている対象物品81が含まれている場合には、すなわち、現在選択されている対象物品81の撮影画像が既に存在する場合には、撮影処理(ステップ#2)は行わず、当該撮影画像を用いて一致度導出処理(ステップ#3)を実行してもよい。
判定部31は、一致度導出処理(ステップ#3)にて導出された一致度に基づき正常状態であるか否かを判定する。具体的には、判定部31は、一致度が判定閾値以上となる外観画像データが記憶部21に存在した場合には、正常状態であると判定し(ステップ#4:Yes)、処理は終了する。上述したように、本実施形態では、一致度導出処理を、記憶部21に記憶された時点が新しい外観画像データから順に実行し、一致度が判定閾値以上となる外観画像データが検出されると、一致度導出処理を終了して正常状態であると判定する。なお、正常状態であると判定されて処理が終了した場合や、後述する学習処理(ステップ#7)が実行されて処理が終了した場合には、例えば、物品判別処理が行われる箇所(図1に示す例では、取出箇所P)から対象物品81を搬出する処理が行われる。
一方、判定部31は、一致度が判定閾値以上となる外観画像データが記憶部21に存在しなかった場合には、正常状態ではないと判定し(ステップ#4:No)、制御装置20は、寸法計測部24を制御して、対象物品81の寸法を寸法計測部24により計測する寸法計測処理を実行する(ステップ#5)。そして、寸法計測処理(ステップ#5)にて計測された対象物品81の寸法が、識別情報取得処理(ステップ#1)にて取得された識別情報に関連付けられて記憶部21に記憶された寸法データを基準とする、許容寸法範囲に収まる場合には(ステップ#6:Yes)、学習処理部32は、対象物品81の撮影画像のデータを新たな外観画像データとして、識別情報取得処理(ステップ#1)にて取得された識別情報に関連付けて記憶部21に記憶させる学習処理を実行する(ステップ#7)。なお、新たな外観画像データとする対象物品81の撮影画像は、撮影処理(ステップ#2)にて得られた対象物品81の撮影画像とされ、或いは、寸法計測処理(ステップ#5)にて計測された対象物品81の寸法が許容寸法範囲に収まると判定された後に、撮影部23により撮影された対象物品81の撮影画像とされる。一方、寸法計測処理(ステップ#5)にて計測された対象物品81の寸法が許容寸法範囲に収まらない場合には(ステップ#6:No)、学習処理部32は異常状態であると判定し(ステップ#8)、処理は終了する。
次に、図4に示す例について説明する。図4は、識別情報取得部22による対象物品81の識別情報の取得処理を、物品群8毎に(言い換えれば、支持体10毎に)実行する場合の制御フローの一例を示している。例えば、対象物品81が、支持体10に載せられた同一種類の複数の物品80の群から順次選択される場合に、図4に示す制御フローに従って物品判別処理が実行される。
図4に示すように、制御装置20は、支持体10(図1に示す例では、第1支持体11)が取出箇所Pに搬入されると(ステップ#10:Yes)、識別情報取得部22を制御して、支持体10に載せられた物品80(対象物品81として選択される予定の物品80)の識別情報を識別情報取得部22により取得する識別情報取得処理を実行する(ステップ#11)。そして、識別情報取得処理(ステップ#11)にて取得された識別情報に対応する物品80が、取出処理の対象となる物品80でない場合には(ステップ#12:No)、制御装置20は、異常状態であると判定して(ステップ#22)、処理は終了する。例えば、取出処理の対象ではない物品80が載せられた支持体10が誤って取出箇所Pに搬入された場合に、このように異常状態であると判定される。
一方、識別情報取得処理(ステップ#11)にて取得された識別情報に対応する物品80が、取出処理の対象となる物品80である場合には(ステップ#12:Yes)、取出処理部33は、支持体10に載せられた物品群8から対象物品81を選択する対象物品選択処理を実行する(ステップ#13)。対象物品81は、上方に他の物品80が載せられていない物品80の中から選択される。次に、制御装置20は、撮影部23を制御して、対象物品選択処理(ステップ#13)にて選択された対象物品81の外観を撮影部23により撮影する撮影処理を実行する(ステップ#14)。そして、判定部31は、撮影処理(ステップ#14)にて撮影された対象物品81の撮影画像と、識別情報取得処理(ステップ#11)にて取得された識別情報に関連付けられて記憶部21に記憶された外観画像データとに基づき、一致度導出処理を実行する(ステップ#15)。なお、以前に選択された対象物品81に対する撮影処理で得られた撮影画像に、現在選択されている対象物品81が含まれている場合には、すなわち、現在選択されている対象物品81の撮影画像が既に存在する場合には、撮影処理(ステップ#14)は行わず、当該撮影画像を用いて一致度導出処理(ステップ#15)を実行してもよい。
判定部31は、一致度導出処理(ステップ#15)にて導出された一致度に基づき正常状態であるか否かを判定する。具体的には、判定部31は、一致度が判定閾値以上となる外観画像データが記憶部21に存在した場合には、正常状態であると判定し(ステップ#16:Yes)、取出処理部33は、対象物品81を支持体10から取り出す取出処理を実行する(ステップ#17)。図1に示す例では、取出処理(ステップ#17)において、支持体10から取り出された対象物品81は第2搬送装置92に移載された後、第2搬送装置92によって取出箇所Pから搬出される。そして、支持体10に物品80が残存している場合には(ステップ#18:Yes)、処理はステップ#13に戻される。そのため、対象物品選択処理(ステップ#13)にて対象物品81(ここでは、取出処理の対象となる対象物品81)が選択される度に、一致度導出処理(ステップ#15)にて新たに選択された対象物品81の撮影画像に基づき正常状態であるか否かが判定される。一方、支持体10に物品80が残存していない場合には(ステップ#18:No)、処理は終了する。
このように、図4に示す制御フローでは、対象物品選択処理(ステップ#13)にて対象物品81が選択される度に、一致度導出処理(ステップ#15)が実行される。図4に示す制御フローは、例えば、対象物品81が、支持体10に載せられた同一種類の複数の物品80の群から順次選択される場合に用いられる。この場合、一致度導出処理(ステップ#15)において、一致度が判定閾値以上となる外観画像データが、記憶部21に記憶された複数の外観画像データの中の記憶部21に記憶された時点が最も新しい外観画像データ以外から検出された場合には、次の対象物品81に対して実行される一致度導出処理(ステップ#15)においても、この検出された外観画像データの一致度が大きくなる可能性が高い。
この点を考慮して、例えば以下のような構成とすることができる。すなわち、基本的には、物品群8から選択された対象物品81について、記憶部21に記憶された時点が新しい外観画像データから順に一致度導出処理を実行する。そして、一致度が判定閾値以上となる外観画像データが、記憶部21に記憶された複数の外観画像データの中の記憶部21に記憶された時点が最も新しい外観画像データ以外から検出された場合には、当該物品群8から次に選択された対象物品81については、初めにこの検出された外観画像データを用いて一致度導出処理を実行し、一致度が判定閾値未満であった場合には、残りの外観画像データについて記憶部21に記憶された時点が新しい外観画像データから順に一致度導出処理を実行する。
判定部31は、一致度が判定閾値以上となる外観画像データが記憶部21に存在しなかった場合には、正常状態ではないと判定し(ステップ#16:No)、制御装置20は、寸法計測部24を制御して、対象物品81の寸法を寸法計測部24により計測する寸法計測処理を実行する(ステップ#19)。そして、寸法計測処理(ステップ#19)にて計測された対象物品81の寸法が、識別情報取得処理(ステップ#11)にて取得された識別情報に関連付けられて記憶部21に記憶された寸法データを基準とする、許容寸法範囲に収まらない場合には(ステップ#20:No)、学習処理部32は異常状態であると判定し(ステップ#22)、処理は終了する。
一方、寸法計測処理(ステップ#19)にて計測された対象物品81の寸法が許容寸法範囲に収まる場合には(ステップ#20:Yes)、学習処理部32は、対象物品81の撮影画像のデータを新たな外観画像データとして、識別情報取得処理(ステップ#11)にて取得された識別情報に関連付けて記憶部21に記憶させる学習処理を実行し(ステップ#21)、取出処理部33は、対象物品81を支持体10から取り出す取出処理を実行する(ステップ#17)。このように、取出処理部33は、正常状態であると判定された場合に、又は、正常状態ではないと判定された場合であって学習処理が実行された場合に、取出処理を実行する。なお、学習処理(ステップ#21)において新たな外観画像データとする対象物品81の撮影画像は、撮影処理(ステップ#14)にて得られた対象物品81の撮影画像とされ、或いは、寸法計測処理(ステップ#19)にて計測された対象物品81の寸法が許容寸法範囲に収まると判定された後に、撮影部23により撮影された対象物品81の撮影画像とされる。
なお、取出処理(ステップ#17)を実行する際には、対象物品81の外観画像と外観画像データとを用いた画像解析により対象物品81の向きを判別することで、支持体10から取り出した対象物品81を同じ向きで移載先(図1に示す例では、第2搬送装置92)に移載することができる。これにより、図1に示す例とは異なり物品80の上面Sが正方形状に形成されている場合であっても、例えば、支持体10から取り出された対象物品81(処理済み物品83)を、上面Sに設けられた蓋の開閉方向を揃えて取出箇所Pから搬出することが可能となっている。
〔その他の実施形態〕
次に、物品判別システムのその他の実施形態について説明する。
(1)上記の実施形態では、学習処理部32が、判定部31により正常状態ではないと判定された場合に、寸法計測部24により計測された対象物品81の寸法が許容寸法範囲に収まることを条件に、学習処理を実行する構成を例として説明した。しかし、本開示はそのような構成に限定されず、学習処理部32が学習処理を実行する条件に、寸法計測部24により計測された対象物品81の寸法が許容寸法範囲に収まることに加えて、他の条件も含めてもよい。また、学習処理部32が学習処理を実行する条件に、寸法計測部24により計測された対象物品81の寸法が許容寸法範囲に収まることを含めないこともできる。この場合、例えば、物品判別システム1が寸法計測部24を備えず、学習処理部32が、判定部31により正常状態ではないと判定された場合に、他の条件を考慮せずに(すなわち、無条件に)学習処理を実行する構成とすることができる。このように物品判別システム1が寸法計測部24を備えない場合には、記憶部21が、物品80の寸法データを当該物品80の識別情報に関連付けて記憶しない構成としてもよい。
(2)上記の実施形態では、複数の物品80が互いに直交する2つの水平方向に並べて1つの支持体10に配置される構成を例として説明した。しかし、本開示はそのような構成に限定されず、複数の物品80が1つの水平方向にのみ並べて1つの支持体10に配置される構成や、1つの支持体10における同じ高さに1つの物品80のみが配置される構成とすることもできる。また、上記の実施形態では、複数の物品80が支持体10に段積みされる構成を例として説明した。しかし、本開示はそのような構成に限定されず、物品80が支持体10に段積みされない構成とすることもできる。
(3)上記の実施形態では、1つの支持体10に、同じ種類の複数の物品80が載せられる構成を例として説明した。しかし、本開示はそのような構成に限定されず、1つの支持体10に、互いに異なる種類の複数の物品80が載せられる構成とすることもできる。また、1つの支持体10に1つの物品80のみが支持される構成とすることや、物品80が第1搬送装置91の搬送面に直接支持される構成とすることもできる。
(4)上記の実施形態では、物品80の外形が直方体状に形成されている構成を例として説明した。しかし、本開示はそのような構成に限定されず、物品80の外形は直方体状以外の形状であってもよい。また、上記の実施形態では、物品80が荷を収容する容器である構成を例として説明した。しかし、本開示はそのような構成に限定されず、物品80は容器以外の物品であってもよい。
(5)上記の実施形態では、物流設備100における取出箇所P(図1に示す例では、デパレタイズ作業箇所)に、物品判別システム1を適用した場合を例として説明した。しかし、本開示はそのような構成に限定されず、本開示に係る物品判別システムを、物品80の種類及び個数を搬送オーダの内容(例えば、配送伝票に記載された内容)と照合する作業(検品作業)が行われる箇所や、物品80の種類及び個数をデータベース化する作業が行われる箇所等に適用することもできる。
(6)なお、上述した各実施形態で開示された構成は、矛盾が生じない限り、他の実施形態で開示された構成と組み合わせて適用すること(その他の実施形態として説明した実施形態同士の組み合わせを含む)も可能である。その他の構成に関しても、本明細書において開示された実施形態は全ての点で単なる例示に過ぎない。従って、本開示の趣旨を逸脱しない範囲内で、適宜、種々の改変を行うことが可能である。
〔上記実施形態の概要〕
以下、上記において説明した物品判別システムの概要について説明する。
物品判別システムは、物品の外観画像のデータである外観画像データを、当該物品の識別情報に関連付けて記憶する記憶部と、判別対象の物品である対象物品の識別情報を取得する識別情報取得部と、前記対象物品の外観を撮影する撮影部と、前記撮影部により撮影された前記対象物品の撮影画像と、前記識別情報取得部が取得した識別情報に関連付けられて前記記憶部に記憶された前記外観画像データとの一致度を導出し、前記一致度が判定閾値以上となる前記外観画像データが存在する正常状態であるか否かを判定する判定部と、前記判定部により前記正常状態ではないと判定された場合に学習処理を実行する学習処理部と、を備え、前記学習処理は、前記撮影画像のデータを新たな前記外観画像データとして、前記識別情報取得部が取得した識別情報に関連付けて前記記憶部に記憶させる処理であり、前記記憶部は、当該記憶部に記憶された時点が新しいものから順に2以上の規定数の前記外観画像データを、1つの識別情報に関連付けて記憶する。
本構成によれば、判定部により正常状態ではないと判定された場合には、すなわち、対象物品の撮影画像との一致度が判定閾値以上となる外観画像データが記憶部に存在しない場合には、学習処理により、対象物品の当該撮影画像を新たな外観画像データとして、当該対象物品の識別情報に関連付けて記憶部に記憶させることができる。よって、対象物品の外観デザインが変更された場合には、変更後の外観デザインに対応する外観画像データを生成して登録することができる。これにより、変更後の外観デザインに対応する外観画像データを生成して登録する作業を、作業者が手動で行う場合に比べて、作業者の手間を低減することができる。
ところで、対象物品の外観デザインは、複数の外観デザインの間で周期的に変更される場合や、一時的に変更された後に元のデザインに戻される場合がある。例えば、対象物品が商品を収容する容器である場合、対象物品の外観デザインは、複数の外観デザインの間で季節に応じて周期的に変更され、或いは、セール等の販売促進活動によって一時的に変更された後に元のデザインに戻される。これらの場合、対象物品の変更後の外観デザインは、当該対象物品の変更前或いはそれ以前の外観デザインと同じものとなる。この点に着目し、本構成では、記憶部に記憶された時点が新しいものから順に規定数の外観画像データが、1つの識別情報に関連付けて記憶部に記憶される。これにより、対象物品の外観デザインが、複数の外観デザインの間で周期的に変更される場合や、一時的に変更された後に元のデザインに戻される場合に、変更後の外観デザインに対応する外観画像データが記憶部に存在するようにすることが可能となっている。変更後の外観デザインに対応する外観画像データが記憶部に存在する場合には、変更後の外観デザインに対応する外観画像データを生成して登録する必要はないため、その分、外観画像データの生成及び登録の頻度を低く抑えることができる。
なお、本構成では、上記規定数の外観画像データよりも前に記憶部に記憶された外観画像データは、記憶部から削除されるが、対象物品の変更後の外観デザインが、当該対象物品の以前の外観デザインと同じものとなる場合であっても、当該以前の外観デザインは、一般に、比較的最近に使用されたものであることが多い。そのため、本構成によれば、1つの識別情報に関連付けて記憶される外観画像データの数を規定数以下に制限することで、記憶部に必要となる記憶容量の低減を図りつつ、再度使用される可能性が高い外観デザインに対応する外観画像データを記憶部に残すことが可能となっている。
ここで、前記判定部は、前記一致度を導出する一致度導出処理を、前記記憶部に記憶された時点が新しい前記外観画像データから順に実行し、前記一致度が前記判定閾値以上となる前記外観画像データが検出されると、前記一致度導出処理を終了して前記正常状態であると判定すると好適である。
本構成によれば、一致度導出処理を、一致度が大きくなる可能性が高い外観画像データから順に実行することができる。よって、一致度が判定閾値以上となる外観画像データが記憶部に記憶されている場合に、正常状態であると判定されるまでの処理時間の短縮を図ることができる。
また、前記対象物品の寸法を計測する寸法計測部を更に備え、前記記憶部は、物品の寸法のデータである寸法データを、当該物品の識別情報に関連付けて記憶し、前記学習処理部は、前記判定部により前記正常状態ではないと判定された場合に、前記寸法計測部により計測された前記対象物品の寸法が、前記識別情報取得部が取得した識別情報に関連付けられて前記記憶部に記憶された前記寸法データを基準とする、許容寸法範囲に収まることを条件に前記学習処理を実行し、前記寸法計測部により計測された前記対象物品の寸法が前記許容寸法範囲に収まらない場合には、異常状態であると判定して前記学習処理を実行しないと好適である。
本構成によれば、判定部により正常状態ではないと判定された場合に、対象物品が、識別情報取得部が取得した識別情報に対応する物品(以下、「識別物品」という)であるか否かを、寸法計測部により計測された対象物品の寸法が上記許容寸法範囲に収まるか否かによって判定することができる。そして、寸法計測部により計測された対象物品の寸法が上記許容寸法範囲に収まることを条件に学習処理が実行されるため、対象物品が識別物品である可能性が低い場合には、学習処理が実行されない構成とすることができる。これにより、対象物品が識別物品ではない場合に、当該対象物品の撮影画像のデータが新たな外観画像データとして、対象物品とは異なる物品の識別情報に関連付けて誤って記憶部に記憶されることを、回避しやすくなっている。
上記の構成において、前記対象物品を移動させる操作部を更に備え、前記対象物品は、支持体に載せられた同一種類の複数の物品の群に含まれ、且つ、上方に他の物品が載せられていない物品であり、前記操作部により前記対象物品を隣接する他の物品との間に隙間が形成されるように移動させた状態で、前記寸法計測部により前記対象物品の寸法を計測すると好適である。
本構成によれば、対象物品が支持体に載せられた同一種類の複数の物品の群に含まれる場合に、対象物品の寸法を寸法計測部によって精度よく計測しやすくなる。よって、対象物品が識別物品であるか否かの判定精度の向上を図ることができる。
また、前記寸法計測部は、TOF(Time Of Flight)カメラ又はステレオカメラを備えていると好適である。
本構成によれば、寸法計測部により対象物品の3次元寸法を計測することができる。よって、寸法計測部により計測された対象物品の寸法が上記許容寸法範囲に収まるか否かの判定において、対象物品の3次元形状を考慮することができ、対象物品が識別物品であるか否かの判定精度の向上を図ることができる。
上記の各構成の物品判別システムにおいて、前記対象物品は、支持体に載せられた複数の物品の群である物品群に含まれ、且つ、上方に他の物品が載せられていない物品であり、前記物品群から前記対象物品を順次選択し、選択した前記対象物品を前記支持体から取り出す取出処理を実行する取出処理部を更に備え、前記判定部は、前記取出処理の対象となる前記対象物品が前記取出処理部により選択される度に、新たに選択された前記対象物品の撮影画像に基づき前記正常状態であるか否かを判定し、前記取出処理部は、前記判定部により前記正常状態であると判定された場合に、又は、前記判定部により前記正常状態ではないと判定された場合であって前記学習処理部により前記学習処理が実行された場合に、選択した前記対象物品を前記支持体から取り出すと好適である。
本構成によれば、支持体に載せられた物品群から対象物品を順次選択して支持体から取り出す取出処理の実行時に、対象物品のそれぞれについて判定部により正常状態であるか否かを判定し、対象物品の外観デザインが変更されている場合には、変更後の外観デザインに対応する外観画像データを生成して登録することができる。すなわち、本構成によれば、取出処理の機会を利用して、対象物品の外観デザインが変更されている場合の外観画像データの生成及び登録を行うことができる。なお、本構成によれば、例えば、取出処理の実行時に外観画像データを用いて対象物品の向きを認識することで、支持体から取り出した対象物品の向きを揃えることもできる。
本開示に係る物品判別システムは、上述した各効果のうち、少なくとも1つを奏することができればよい。
1:物品判別システム
8:物品群
10:支持体
21:記憶部
22:識別情報取得部
23:撮影部
24:寸法計測部
25:操作部
31:判定部
32:学習処理部
33:取出処理部
80:物品
81:対象物品

Claims (6)

  1. 物品の外観画像のデータである外観画像データを、当該物品の識別情報に関連付けて記憶する記憶部と、
    判別対象の物品である対象物品の識別情報を取得する識別情報取得部と、
    前記対象物品の外観を撮影する撮影部と、
    前記撮影部により撮影された前記対象物品の撮影画像と、前記識別情報取得部が取得した識別情報に関連付けられて前記記憶部に記憶された前記外観画像データとの一致度を導出し、前記一致度が判定閾値以上となる前記外観画像データが存在する正常状態であるか否かを判定する判定部と、
    前記判定部により前記正常状態ではないと判定された場合に学習処理を実行する学習処理部と、を備え、
    前記学習処理は、前記一致度が前記判定閾値以上の前記対象物品の識別情報に関連付けられた前記外観画像データが存在しなかった前記撮影画像のデータを新たな前記外観画像データとして、前記識別情報取得部が取得した前記対象物品の識別情報に関連付けて前記記憶部に記憶させる処理であり、
    前記記憶部は、当該記憶部に記憶された時点が新しいものから順に2以上の規定数の前記外観画像データを、1つの識別情報に関連付けて記憶する、物品判別システム。
  2. 前記判定部は、前記一致度を導出する一致度導出処理を、前記記憶部に記憶された時点が新しい前記外観画像データから順に実行し、前記一致度が前記判定閾値以上となる前記外観画像データが検出されると、前記一致度導出処理を終了して前記正常状態であると判定する、請求項1に記載の物品判別システム。
  3. 前記対象物品の寸法を計測する寸法計測部を更に備え、
    前記記憶部は、物品の寸法のデータである寸法データを、当該物品の識別情報に関連付けて記憶し、
    前記学習処理部は、前記判定部により前記正常状態ではないと判定された場合に、前記寸法計測部により計測された前記対象物品の寸法が、前記識別情報取得部が取得した識別情報に関連付けられて前記記憶部に記憶された前記寸法データを基準とする、許容寸法範囲に収まることを条件に前記学習処理を実行し、前記寸法計測部により計測された前記対象物品の寸法が前記許容寸法範囲に収まらない場合には、異常状態であると判定して前記学習処理を実行しない、請求項1又は2に記載の物品判別システム。
  4. 前記対象物品を移動させる操作部を更に備え、
    前記対象物品は、支持体に載せられた同一種類の複数の物品の群に含まれ、且つ、上方に他の物品が載せられていない物品であり、
    前記操作部により前記対象物品を隣接する他の物品との間に隙間が形成されるように移動させた状態で、前記寸法計測部により前記対象物品の寸法を計測する、請求項3に記載の物品判別システム。
  5. 前記寸法計測部は、TOF(Time Of Flight)カメラ又はステレオカメラを備えている、請求項3又は4に記載の物品判別システム。
  6. 前記対象物品は、支持体に載せられた複数の物品の群である物品群に含まれ、且つ、上方に他の物品が載せられていない物品であり、
    前記物品群から前記対象物品を順次選択し、選択した前記対象物品を前記支持体から取り出す取出処理を実行する取出処理部を更に備え、
    前記判定部は、前記取出処理の対象となる前記対象物品が前記取出処理部により選択される度に、新たに選択された前記対象物品の撮影画像に基づき前記正常状態であるか否かを判定し、
    前記取出処理部は、前記判定部により前記正常状態であると判定された場合に、又は、前記判定部により前記正常状態ではないと判定された場合であって前記学習処理部により前記学習処理が実行された場合に、選択した前記対象物品を前記支持体から取り出す、請求項1から5のいずれか一項に記載の物品判別システム。
JP2020021778A 2020-02-12 2020-02-12 物品判別システム Active JP7434986B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020021778A JP7434986B2 (ja) 2020-02-12 2020-02-12 物品判別システム
EP21156105.5A EP3866061B1 (en) 2020-02-12 2021-02-09 Article distinguishing system
CN202110181304.2A CN113255428B (en) 2020-02-12 2021-02-10 Article discriminating system
US17/173,538 US11594047B2 (en) 2020-02-12 2021-02-11 Article distinguishing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020021778A JP7434986B2 (ja) 2020-02-12 2020-02-12 物品判別システム

Publications (2)

Publication Number Publication Date
JP2021128456A JP2021128456A (ja) 2021-09-02
JP7434986B2 true JP7434986B2 (ja) 2024-02-21

Family

ID=74586786

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020021778A Active JP7434986B2 (ja) 2020-02-12 2020-02-12 物品判別システム

Country Status (3)

Country Link
US (1) US11594047B2 (ja)
EP (1) EP3866061B1 (ja)
JP (1) JP7434986B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7754686B2 (ja) * 2021-11-08 2025-10-15 株式会社日立製作所 物品認識装置及び物品認識方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002269560A (ja) 2001-03-06 2002-09-20 Seiko Epson Corp テンプレートマッチング方法、それを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体、テンプレートマッチング装置、位置決め装置および実装装置
JP2006276948A (ja) 2005-03-28 2006-10-12 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記憶した記録媒体
JP2013229394A (ja) 2012-04-24 2013-11-07 Hitachi High-Technologies Corp パターンマッチング方法及び装置
JP2015042586A (ja) 2013-08-26 2015-03-05 株式会社ダイフク 物品保管設備
US20190236531A1 (en) 2018-01-10 2019-08-01 Trax Technologies Solutions Pte Ltd. Comparing planogram compliance to checkout data
JP6632106B1 (ja) 2018-10-30 2020-01-15 株式会社Mujin 制御装置、移送装置、プログラム、及び、制御方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6052103B2 (ja) 2013-08-26 2016-12-27 株式会社ダイフク 物品認識装置及び物品認識設備
JP6141208B2 (ja) * 2014-01-08 2017-06-07 東芝テック株式会社 情報処理装置及びプログラム
JP6880599B2 (ja) * 2016-08-17 2021-06-02 株式会社Ihi 寸法計測装置
JP6687591B2 (ja) * 2017-12-26 2020-04-22 ファナック株式会社 物品搬送装置、ロボットシステムおよび物品搬送方法
JP6795007B2 (ja) * 2018-04-27 2020-12-02 株式会社ダイフク ピッキング設備

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002269560A (ja) 2001-03-06 2002-09-20 Seiko Epson Corp テンプレートマッチング方法、それを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体、テンプレートマッチング装置、位置決め装置および実装装置
JP2006276948A (ja) 2005-03-28 2006-10-12 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記憶した記録媒体
JP2013229394A (ja) 2012-04-24 2013-11-07 Hitachi High-Technologies Corp パターンマッチング方法及び装置
JP2015042586A (ja) 2013-08-26 2015-03-05 株式会社ダイフク 物品保管設備
US20190236531A1 (en) 2018-01-10 2019-08-01 Trax Technologies Solutions Pte Ltd. Comparing planogram compliance to checkout data
JP6632106B1 (ja) 2018-10-30 2020-01-15 株式会社Mujin 制御装置、移送装置、プログラム、及び、制御方法
JP2020069637A (ja) 2018-10-30 2020-05-07 株式会社Mujin 制御装置、移送装置、プログラム、及び、制御方法

Also Published As

Publication number Publication date
EP3866061B1 (en) 2023-11-22
JP2021128456A (ja) 2021-09-02
US11594047B2 (en) 2023-02-28
EP3866061A1 (en) 2021-08-18
US20210248352A1 (en) 2021-08-12
EP3866061C0 (en) 2023-11-22
CN113255428A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
US20250190941A1 (en) Method for tracking placement of products on shelves in a store
US9505554B1 (en) Capturing packaging image via scanner
US20190087663A1 (en) Information processing apparatus, information processing method, and information processing system
US20180218185A1 (en) Distributed Autonomous Robot Systems and Methods with RFID Tracking
US20160117631A1 (en) Orphaned item identification
US11100303B2 (en) Method, system and apparatus for auxiliary label detection and association
CN113264302A (zh) 仓储机器人的控制方法、装置、机器人和仓储系统
JP6011490B2 (ja) 物品保管設備
JPWO2015145982A1 (ja) 情報処理装置、情報処理システム、情報処理方法およびコンピュータプログラム
US20180215545A1 (en) Systems and Methods for Resolving Issues in a Distributed Autonomous Robot System
JP6679891B2 (ja) 検品処理装置、検品システム、検品処理方法及びプログラム
US11797912B2 (en) Unique object face ID
US12020199B2 (en) Method and apparatus for tracking, damage detection and classification of a shipping object using 3D scanning
JP5780083B2 (ja) 検品装置、検品システム、検品方法及びプログラム
CN110785363A (zh) 货物判定装置、货物分拣系统以及货物判定方法
US20080118335A1 (en) Automatic Warehouse
JP7434986B2 (ja) 物品判別システム
JP2021151917A (ja) 作業監視システム
JP7129616B2 (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
CN113255428B (en) Article discriminating system
JP6981495B2 (ja) 検品処理装置
CN116472239A (zh) 跟踪装置、跟踪方法、跟踪数据的数据结构以及程序
JP2020184145A (ja) 物品認識システム
JP7207141B2 (ja) 物品認識システム
WO2025079141A1 (ja) 画像処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200714

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240122

R150 Certificate of patent or registration of utility model

Ref document number: 7434986

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150