JP6484603B2 - 情報処理装置、システム、情報処理方法、及び、プログラム - Google Patents
情報処理装置、システム、情報処理方法、及び、プログラム Download PDFInfo
- Publication number
- JP6484603B2 JP6484603B2 JP2016250731A JP2016250731A JP6484603B2 JP 6484603 B2 JP6484603 B2 JP 6484603B2 JP 2016250731 A JP2016250731 A JP 2016250731A JP 2016250731 A JP2016250731 A JP 2016250731A JP 6484603 B2 JP6484603 B2 JP 6484603B2
- Authority
- JP
- Japan
- Prior art keywords
- analysis
- setting
- marker
- setting pattern
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1417—2D bar codes
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
- G06K7/1443—Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Development Economics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Entrepreneurship & Innovation (AREA)
- Multimedia (AREA)
- Strategic Management (AREA)
- Toxicology (AREA)
- Electromagnetism (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Computational Biology (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Educational Administration (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Game Theory and Decision Science (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Description
しかしながら、マーカを解析する目的、画像が撮影された環境、及び、撮影されるマーカの大きさ等によって、マーカの解析に適した設定値は異なる。さらに、設定項目が複数あることも通常である。このような状況の下で、オペレータが設定値を調整して適切な設定値を決定することは極めて煩雑な作業である。
[倉庫等]
本実施形態の画像処理システム1は、倉庫100等の作業環境で使われるマーカ120の解析に関するシステムである。まず、図1を参照して、作業環境の例である倉庫100について説明する。図1は、倉庫100の一例を示す図であり、倉庫100の平面図である。
本実施形態では、倉庫100には、第1倉庫100A、第2倉庫100B、第3倉庫100Cがある。それぞれの倉庫100には出入り口101がある。第1倉庫100Aには第1出入り口101Aと第2出入り口101Bとがある。第2倉庫100Bには第2出入り口101Bと第3出入り口101Cとがある。第3倉庫100Cには、第3出入り口101Cがある。第1出入り口101Aは、外と第1倉庫100Aとをつなぐ。第2出入り口101Bは、第1倉庫100Aと第2倉庫100Bとをつなぐ。第3出入り口101Cは、第2倉庫100Bと第3倉庫100Cとをつなぐ。
倉庫100には、作業環境内を移動可能な移動体の例であるフォークリフト130が配置され、倉庫100の中で物品115の運搬等の各種作業を行う。フォークリフト130は、出入り口101を通って、倉庫100間を移動できる。
図2Bに示すように、棚110や物品115にはマーカ120が付されている。マーカ120は、光学読取式のコードであり、所定の情報が記録されている。マーカ120として、例えば、カラービット(登録商標)やQRコード(登録商標)等の二次元コードや、バーコードが使われるが、その他のコードであってもよい。マーカ120には、マーカ120が付された棚110を特定可能な情報である棚110の識別IDや、マーカ120が付された物品115を特定可能な情報である物品115の識別ID等が記録される。
フォークリフト130に取り付けられた情報処理端末170は、フォークリフト130が出入り口101を通って倉庫100の出入りをする際に倉庫マーカ121を解析することで、フォークリフト130がいる倉庫100を特定できる。
情報処理端末170は、図2Aに示すようにフォークリフト130に取り付けられており、フォークリフト130と共に移動して、後述の撮影装置172によって倉庫100の中を撮影する。倉庫100の中の棚110や物品115には、上記の通りマーカ120が付されているため、情報処理端末170が撮影する画像にはマーカ120が写される。
CPU141は、サーバ140の全体を制御する。CPU141が記憶装置144等に記憶されているプログラムに基づき処理を実行することによってサーバ140のソフトウェア構成及び後述の図7、図8に示すサーバ140の処理が実現される。
表示装置142は、液晶モニタ等であって画像を表示できる。
記憶装置144は、RAM、ROM、HDD等の記憶装置であって、プログラムを記憶したり、CPU141がプログラムに基づき処理を実行する際に利用するデータ等を記憶したりする。
通信インタフェース145は、サーバ140と、情報処理端末170等の外部装置との通信の制御を司る。
媒体インタフェース146は、サーバ140と接続可能な記録媒体とのインタフェースである。記録媒体として、例えば、SDメモリカードが使われるが、SDメモリカードに限定されるものではない。
CPU171は、情報処理端末170の全体を制御する。CPU171が記憶装置174等に記憶されているプログラムに基づき処理を実行することによって情報処理端末170のソフトウェア構成及び後述の図12に示す情報処理端末170の処理が実現される。
撮影装置172は、画像の撮影を行う。撮影装置172は、レンズ、及び、撮像素子等を有する。
表示装置173は、液晶モニタ等であって画像を表示できる。
通信インタフェース175は、情報処理端末170と、サーバ140等の外部装置との通信の制御を司る。
媒体インタフェース176は、情報処理端末170と接続可能な記録媒体とのインタフェースである。記録媒体として、例えば、SDメモリカードが使われるが、SDメモリカードに限定されるものではない。
情報処理端末170は、フォークリフト130に取り付けられており、フォークリフト130と共に移動して、後述の撮影装置172によって倉庫100の中を撮影できる。
まず、情報処理端末170は、倉庫100でのフォークリフト130の実作業に先立って、フォークリフト130と共に移動して倉庫100の中を撮影する。サーバ140は、情報処理端末170が撮影した倉庫100の中の画像191と、予め用意された設定パターン一覧190とに基づいて、集計情報一覧192を生成する。そして、サーバ140は、集計情報一覧192に基づいて、倉庫100についての適切な設定パターンを決定する。適切な設定パターンは、倉庫100の中を撮影した画像からマーカ120を解析する際の、適切な設定値となる。
倉庫100でのフォークリフト130を使った実作業の際には、情報処理端末170は、サーバ140によって決定された設定パターンに基づいて、撮影した画像からマーカ120を解析する。
解析設定値は、画像に写されたマーカ120の解析に関する設定値である。後述のサーバ140の第1解析部152は、解析設定値に基づいて画像からマーカ120を解析する。同じ画像であっても解析設定値が異なると、第1解析部152は、解析するマーカ120の数や誤認識するマーカ120の数が増減したり、マーカ120の解析処理の処理時間が増減したりする。
第1設定パターンから第N設定パターンまでの任意の2つの設定パターンは、少なくとも1つの解析設定値が異なる。したがって、設定パターン一覧190には、全ての解析設定値が同一である複数の設定パターンが含まれることはない。
それぞれの設定パターンの集計情報には、総認識数、及び、総処理時間が含まれる。総認識数は、設定パターンに対応したマーカ120の解析処理で解析されたマーカ120の総数である。総処理時間は、設定パターンに対応したマーカ120の解析処理の処理時間の合計である。総認識数、及び、総処理時間の算出方法の詳細は後述する。
第1画像取得部150は、倉庫100を撮影した複数の画像を取得する。
設定パターン取得部151は、設定パターン一覧190を取得する。
第1解析部152は、設定パターン一覧190の各設定パターンに含まれる解析設定値に基づいて、第1画像取得部150によって取得された各画像からマーカ120を解析する。
決定部154は、生成部153によって生成された集計情報に基づいて、倉庫100について適用する設定パターンを決定する。
基準情報取得部155は、倉庫100についての設定パターンの採用基準を表す基準情報を取得する。基準情報の詳細は後述する。
第1制御部156は、各種の制御を行う。
特定部180は、フォークリフト130が配置された倉庫100を特定する。
第2画像取得部181は、情報処理端末170の撮影装置172によって撮影された画像を取得する。
第2解析部182は、特定部180によって特定された倉庫100について決定部154によって決定された設定パターンに含まれる解析設定値に基づいて、撮影装置172によって撮影された画像からマーカ120を解析する。第2解析部182は、サーバ140の第1解析部152と同様の機能を持つ。ソフトウェアとしては、第2解析部182は、第1解析部152と同じものであってもよい。
表示制御部183は、情報処理端末170の表示装置173に後述の解析画面193を表示させる制御を行う。
第2制御部184は、各種の制御を行う。
次に、図7を参照して、設定パターン決定処理について説明する。図7は、設定パターン決定処理のフローチャートである。設定パターン決定処理は、倉庫100でのフォークリフト130の実作業に先立って行われる処理であり、倉庫100についての適切な設定パターンを決定する処理である。設定パターン決定処理は、サーバ140が行う。
S100において、第1制御部156は、第1ループ処理の開始処理を行う。第1ループ処理は、S100からS102までの処理である。第1制御部156は、第1ループ処理の開始処理として、次の処理を行う。すなわち、第1制御部156は、作業環境グループのうち、第1ループ処理で処理対象グループになっていない作業環境グループがあるとき、第1ループ処理で処理対象グループになっていない作業環境グループの1つを、処理対象グループにする。第1制御部156は、作業環境グループのうち、第1ループ処理で処理対象グループになっていない作業環境グループがないとき、第1ループ処理を終了する。図7から分かるように、第1ループ処理の終了により、設定パターン決定処理が終了する。
分類基準は、同じ作業環境グループに属する倉庫100の環境が近似するように定められる。例えば、分類基準は、倉庫100の明るさ、及び、倉庫100で使われるマーカ120の種別に基づいて定められる。より具体的には、明るさの相違が所定の範囲内であり、かつ、マーカ120の種別が同じ、という条件を満たすと倉庫100は、同じ作業環境グループに属するものと定められる。分類基準は、ここで説明したもの以外であってもよい。
S102において、第1制御部156は、第1ループ処理の終了処理を行う。第1制御部156は、第1ループ処理の終了処理として、処理をS100に戻す。
S200において、第1画像取得部150は、処理対象グループに属するいずれかの倉庫100を撮影した動画を取得する。第1画像取得部150は、フォークリフト130と共に移動する情報処理端末170から通信ネットワークを介して、倉庫100を撮影した動画を取得してもよい。また、情報処理端末170が倉庫100を撮影した動画が記録された記録媒体を介して、倉庫100を撮影した動画を取得してもよい。
S201において、第1画像取得部150は、S200で取得された動画から複数の画像を生成する。ここで生成される画像は静止画である。S201で生成される画像は、情報処理端末170の撮影装置172が撮影した動画の各フレームの画像であり、情報処理端末170の撮影装置172が撮影した画像である。
S206において、第1制御部156は、第3ループ処理の終了処理を行う。第1制御部156は、第3ループ処理の終了処理として、処理をS204に戻す。
S207において、第1制御部156は、第2ループ処理の終了処理を行う。第1制御部156は、第2ループ処理の終了処理として、処理をS203に戻す。
生成部153は、第1解析部152が、第1設定パターンに含まれる解析設定値に基づいて、第1画像から第L画像までのそれぞれから解析したマーカ120の数の総数を、第1設定パターンの総認識数と決定する。
同様に、生成部153は、第2設定パターンから第N設定パターンまでのそれぞれの設定パターンの総認識数を決定する。
生成部153は、第1解析部152による、第1設定パターンに含まれる解析設定値に基づいた、第1画像から第L画像までのそれぞれからのマーカ120の解析処理時間の合計を、第1設定パターンの総処理時間と決定する。
同様に、生成部153は、第2設定パターンから第N設定パターンまでのそれぞれの設定パターンの総処理時間を決定する。
ここで、基準情報について説明する。基準情報は、それぞれの倉庫100についての設定パターンの採用基準を表す情報であり、倉庫100ごとに予め定められている。本実施形態では、基準情報として、総認識数に基づく第1基準情報、総処理時間に基づく第2基準情報、並びに、総認識数、及び、総処理時間に基づく第3基準情報がある。
第1基準情報の一例は、総認識数が最大になる設定パターンを採用することを表す情報である。第2基準情報の一例は、総処理時間が最小になる設定パターンを採用することを表す情報である。第3基準情報の一例は、総処理時間が所定時間以下の条件下で、総認識数が最大になる設定パターンを採用することを表す情報である。
基準情報は、上記の通り倉庫100ごとに予め定められており、例えば、サーバ140の記憶装置144に記憶されていて、基準情報取得部155は、記憶装置144から処理対象倉庫についての基準情報を取得する。
次に、基準情報が第2基準情報(総処理時間が最小になる設定パターンを採用することを表す情報)である倉庫100の例について説明する。図11から分かるように、総処理時間が最小になる設定パターンは第5設定パターンである。したがって、決定部154は、基準情報が第2基準情報である倉庫100の設定パターンを、第5設定パターンに決定する。
次に、基準情報が第3基準情報(総処理時間が所定時間以下の条件下で、総認識数が最大になる設定パターンを採用することを表す情報)である倉庫100の例について説明する。図11から分かるように、総処理時間が所定時間以下の条件下で、総認識数が最大になる設定パターンは第3設定パターンである。したがって、決定部154は、基準情報が第3基準情報である倉庫100の設定パターンを、第3設定パターンに決定する。
次に、図12を参照して、実作業での解析処理について説明する。図12は、実作業での解析処理のフローチャートである。実作業での解析処理は、倉庫100の中でフォークリフト130が実作業を行うとき等に、設定パターン決定処理で決定された設定パターンに基づいて、画像からマーカ120を解析する処理である。実作業での解析処理は、情報処理端末170によって行われる。実作業での解析処理に先立って、図7の設定パターン決定処理が終了しているものとする。
特定部180は、例えば、次のように、フォークリフト130が現在配置されている倉庫100を特定する。すなわち、特定部180は、直近に解析された倉庫マーカ121(図1を参照)に記録された倉庫100を、情報処理端末170が取り付けられているフォークリフト130が現在配置されている倉庫100と特定する。
直近に解析された倉庫マーカ121とは、後述のS302で取得される画像のうち、倉庫マーカ121が写された直近の画像から解析された倉庫マーカ121である。この解析処理は、S302において、第2解析部182によって行われる。
フォークリフト130が出入り口101を通るごとに第2解析部182が倉庫マーカ121を解析する。したがって、直近に解析された倉庫マーカ121から、情報処理端末170が取り付けられているフォークリフト130が現在配置されている倉庫100を特定できる。
S302において、第2画像取得部181は、情報処理端末170の撮影装置172によって撮影された画像を取得する。
S303において、第2解析部182は、直近のS301で設定された設定パターンに含まれる解析設定値に基づいて、直近のS302で取得された画像からマーカ120を解析する。
ここで、図13を参照して、解析画面193について説明する。図13は、解析画面193の一例を示す図である。解析画面193は、第2解析部182によるマーカ120の解析結果を表示する画面である。解析画面193には、背景画像194と、解析枠195とが表示される。
背景画像194は、直近のS302で取得された画像であり、倉庫100にある棚110等が写されている。
解析枠195は、直近のS303で第2解析部182によって解析されたマーカ120を囲む枠である。解析枠195によって、解析画面193を見るオペレータ等は、情報処理端末170によるマーカ120に解析の状態を認識できる。
以上説明したように、生成部153は、第1解析部152による設定パターンに対応したマーカ120の解析処理に基づく集計情報を、設定パターンごとに生成する。よって、集計情報により設定パターンごとの特性が明確になり、集計情報に基づいて倉庫100の適切な設定パターンを決定できるようになる。したがって、例えば、画像処理システムのオペレータが複数の設定値を調整して適切な設定値を導く場合と比べて、適切な設定値の決定を簡素化できる。また、画像処理システムのオペレータが複数の設定値を調整して適切な設定値を導く場合、オペレータが設定値を調整するための操作画面等が必要になる。これに対して、本実施形態の画像処理システム1では、オペレータによる設定値の調整が不要であって、オペレータが設定値を調整するための操作画面等が不要であるため、操作画面の制御等のための処理負荷が軽減される。
また、情報処理端末170は、情報処理端末170が取り付けられているフォークリフト130が現在配置されている倉庫100を特定し、特定した倉庫100に対応する設定パターンに基づいて、画像からマーカ120を解析する。倉庫100に対応する設定パターンは、サーバ140によって決定された倉庫100の適切な設定パターンである。したがって、フォークリフト130が倉庫100間を移動しても、倉庫100に適したマーカ120の解析を行うことができる。
次に、本実施形態の画像処理システム1について説明する。上記の実施形態と同様の点については、上記の実施形態を同じ符号を用い、説明を省略する。
本実施形態では、集計情報一覧192に含まれる設定パターンごとの集計情報には、総認識数、総処理時間、重み付け評価値、及び、総誤認識数の少なくとも何れかが含まれる。総認識数、及び、総処理時間は既に説明した通りである。
重み付け評価値は、設定パターンに対応したマーカ120の解析処理で解析されたマーカ120の重み付け値の合計値である。重み付け値は、マーカ120ごとに定められる。
図14のカッコ内の数値は、対応するマーカ120の重み付け値である。例えば、第1マーカ120の重み付け値は1.5、第2マーカ120の重み付け値は1.1、第500マーカ120の重み付け値は0.7である。
また、図14の「○」は、第1解析部152が対応する画像から対応するマーカ120を解析したことを表す。例えば、図14では、第1解析部152は、第1画像から第1マーカ120、及び、第2マーカ120を解析したことが表されている。図14の「×」は、第1解析部152が対応する画像から対応するマーカ120を解析できなかったことを表す。図14では、第1解析部152は、第1画像から第500マーカ120を解析できなかったことが表されている。
例えば、第1マーカ120は、第1画像から第L画像までのうち、12枚の画像から解析されたとする。また、第1マーカ120の重み付け値は1.5である。このとき、生成部153は、第1マーカ120の総重み付け値を、上記の式を用いた「12×1.5」の計算によって18と決定する。生成部153は、他のマーカ120についても同様に総重み付け値を決定する。
同様に、生成部153は、第2設定パターンから第N設定パターンまでのそれぞれの設定パターンの重み付け評価値を決定する。
マーカ120の種類には、QRコード等のマーカ120の種別やマーカ120の大きさが含まれる。マーカ120が付された物品は、マーカ120に記録される識別IDから特定できる。
マーカ120との距離は、情報処理端末170の撮影装置172と、撮影時のマーカ120との距離である。マーカ120との距離は、マーカ120が写された画像を解析したり、情報処理端末170が有するGPSモジュールの出力に基づいて撮影装置172の前方にある棚110との距離を算出したりして、得られる。
誤認識とは、第1解析部152が解析したマーカ120に記録された識別IDが、倉庫100で使用される識別IDの範囲外であったり、第1解析部152がマーカ120の解析時に誤り検出をしたりした場合のことである。誤り検出には、例えばチェックサムやパリティ符号が使われるが、他の方法が使われてもよい。
総誤認識数は、総認識数と同様に決定される。ただし、総誤認識数の決定の際は、第1解析部152が第1画像から第L画像までのそれぞれから解析したマーカ120の数の代わりに、第1解析部152が第1画像から第L画像までのそれぞれから誤認識したマーカ120の数が使われる。
図11に示す集計情報チャートの縦軸、又は、横軸には、重み付け評価値や総誤認識数が使われてもよい。
例えば、倉庫100の中で、マーカ120としてQRコード及びカラービットが使われる場合を考える。この倉庫100ではQRコードの解析が重要な場合、QRコードの重み付け値を、カラービットの重み付け値より大きくすることで、QRコードの解析に適した設定パターンを決定できる。
また、集計情報には、総誤認識数が含まれていてもよい。これにより、誤認識が減るような設定パターンを決定できる。
また、上記の実施形態と同様に、適切な設定値の決定を簡素化できる。
次に、本実施形態の画像処理システム1について説明する。上記の実施形態と同様の点については、上記の実施形態を同じ符号を用い、説明を省略する。
まず、図15を参照して、画像処理システム1で行われる集計情報一覧192を生成する処理の概要について説明する。図15は、集計情報一覧192を生成する処理の概念図である。本実施形態の画像処理システム1は、上記実施形態の画像処理システム1と同様に、情報処理端末170が撮影した倉庫100の中の画像191と、予め用意された設定パターン一覧190とに基づいて、集計情報一覧192を生成する。
図15の例では、それぞれの設定パターンは、第1撮影設定値から第M’撮影設定値(M’は2以上の自然数)までの撮影設定値を含む。本実施形態では、設定パターンは複数の撮影設定値を含むが、設定パターンは1つの撮影設定値のみを含むものであってもよい。第1撮影設定値から第M’撮影設定値までは、それぞれ、第1撮影設定項目から第M’撮影設定項目までに対応する設定値である。
まず、情報処理端末170は、情報処理端末170の撮影装置172について第1撮影設定パターンの撮影設定値を適用して、動画を撮影する。同様に、情報処理端末170は、情報処理端末170の撮影装置172について第2撮影設定パターンから第N’撮影設定パターンのそれぞれの撮影設定値を適用して、動画を撮影する。それぞれの撮影設定パターンを適用した撮影では、倉庫100の中でフォークリフト130を同じように動かして撮影する。
S400において、第1画像取得部150は、情報処理端末170が第1撮影設定パターンから第N’撮影設定パターンまでのそれぞれの撮影設定パターンを適用して、処理対象グループに属するいずれかの倉庫100を撮影した動画を取得する。
S401において、第1画像取得部150は、S400で取得された動画から複数の画像を生成する。ここで生成される画像は静止画である。S401で生成される画像は、情報処理端末170の撮影装置172が撮影した動画の各フレームの画像であり、情報処理端末170の撮影装置172が、第1撮影設定パターンから第N’撮影設定パターンまでの何れかの撮影設定パターンを適用して撮影した画像である。
S402、S403は、それぞれ、図8のS202、S203と同様の処理である。
S404の選択条件は、S401で生成された画像であること、かつ、処理対象設定パターンに含まれる撮影設定値を適用した撮影された画像であること、である。
S405からS407までは、図8のS205からS207までと同様の処理である。
ここで、集計情報に含まれる総認識数の決定方法について説明する。
まず、第1設定パターンの総認識数の決定方法について説明する。
生成部153は、第1解析部152が、第1設定パターンに含まれる解析設定値に基づいて、第1設定パターンに含まれる撮影設定値を適用して撮影された各画像から解析したマーカ120の数の総数を、第1設定パターンの総認識数と決定する。
同様に、生成部153は、第2設定パターンから第N設定パターンまでのそれぞれの設定パターンの総認識数を決定する。
まず、第1設定パターンの総処理時間の決定方法について説明する。
生成部153は、第1解析部152による、第1設定パターンに含まれる解析設定値に基づいた、第1設定パターンに含まれる撮影設定値を適用して撮影された各画像からのマーカ120の解析処理時間の合計を、第1設定パターンの総処理時間と決定する。
同様に、生成部153は、第2設定パターンから第N設定パターンまでのそれぞれの設定パターンの総処理時間を決定する。
S409からS412までは、図8のS209からS212までと同様の処理である。
本実施形態のS301において、第2制御部184は、直近のS300で特定された倉庫100に対応する設定パターンを設定する。より具体的には、第2制御部184は、直近のS300で特定された倉庫100に対応する設定パターンに含まれる解析設定値に基づいて第2解析部182がマーカ120を解析するような設定を行う。
更に、第2制御部184は、直近のS300で特定された倉庫100に対応する設定パターンに含まれる撮影設定値を、情報処理端末170の撮影装置172に適用する設定を行う。これにより、S302において、第2画像取得部181は、S301で適用された撮影設定値に基づいて撮影装置172によって撮影された画像を取得する。
次に、本実施形態の画像処理システム1について説明する。上記の実施形態と同様の点については、上記の実施形態を同じ符号を用い、説明を省略する。上記の実施形態では、サーバ140の決定部154は、基準情報、及び、集計情報に基づいて、倉庫100について適用する設定パターンを決定する。一方、本実施形態では、画像処理システム1の管理者等からの指示に基づいて、サーバ140の決定部154は倉庫100について適用する設定パターンを決定する。この点ついて、以下に説明する。
サーバ表示制御部は、サーバ140の表示装置142に集計情報画面を表示させる制御を行う。集計情報画面は、サーバ140の生成部153によって生成された集計情報に基づく情報を表示する画面であり、例えば、図11に示す集計情報チャートを表示する画面である。
受付部は、サーバ140の入力装置143の出力信号に基づいて、それぞれの倉庫100について適用する設定パターンの選択を受け付ける。決定部154は、受付部による受け付けに基づいて、倉庫100について適用する設定パターンを決定する。
まず、サーバ表示制御部は、上記のサーバ140の表示装置142に集計情報画面を表示させる制御を行う。
画像処理システム1の管理者等は、例えば、集計情報画面を参照した上で、サーバ140の入力装置143を操作して、処理対象グループに属するそれぞれの倉庫100について適用する設定パターンを選択する。
次に、決定部154は、受付部による受け付けに基づいて、処理対象グループに属するそれぞれの倉庫100について適用する設定パターンを決定する。この決定は、集計情報に基づく情報を表示する集計情報画面を表示した後の受付部による受け付けに基づくものであるため、全体としては、集計情報に基づく決定といえる。そして、決定部154は、それぞれの倉庫100を表す情報と、それぞれの倉庫100について決定した設定パターンとを関連付けて、通信ネットワークを介して、情報処理端末170に送信する。情報処理端末170は、倉庫100を表す情報と、この倉庫100に対応する設定パターンを受信し、両者を関連付けて、情報処理端末170の記憶装置174等に記憶する。
上記の実施形態では、作業環境の例として、物品115が保管等される倉庫100を挙げたが、作業環境は、ベルトコンベアが配置されるような環境であってもよい。この場合、物品115はベルトコンベアで搬送される。また、情報処理端末170は、ベルトコンベアを搬送される物品115が撮影できる位置に配置される。サーバ140は、作業環境の照度やベルトコンベアを搬送される物品115のサイズ、形状、及び、色等に応じた適切な設定パターンを決定できる。作業環境の照度やベルトコンベアを搬送される物品115に応じた適切な設定パターンを適用することで、画像からマーカ120を適切に解析することが可能となる。
また、上記の実施形態では、棚110は固定されているが、棚110は動くことが可能であってもよい。
また、上記の実施形態ではサーバ140は1台である。しかし、上記の実施形態の1台のサーバ140が行う処理を、複数台のサーバ140に分散させてもよい。
以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
なお、上記の実施形態を任意に組み合わせて実施してもよい。
100 倉庫
110 棚
115 物品
120 マーカ
140 サーバ
170 情報処理端末
Claims (14)
- 作業環境を撮影した複数の画像を取得する第1の取得手段と、
画像に写されたマーカの解析に関する設定値である解析設定値を含む複数の設定パターンを取得する第2の取得手段と、
前記第2の取得手段によって取得される複数の前記設定パターンの各々に含まれる前記解析設定値に基づいて前記第1の取得手段によって取得される各画像からマーカを解析する解析手段と、
前記解析手段による前記設定パターンに対応したマーカの解析処理に基づく集計情報を、前記設定パターンごとに生成する生成手段と、
を有する情報処理装置。 - 前記設定パターンには、画像の撮影に関する設定値である撮影設定値が更に含まれ、
前記第1の取得手段は、前記第2の取得手段によって取得される複数の前記設定パターンの各々に含まれる前記撮影設定値を用いて撮影された複数の画像を取得し、
前記解析手段による前記設定パターンに対応したマーカの解析処理は、前記設定パターンに含まれる前記解析設定値に基づいた、前記設定パターンに含まれる前記撮影設定値を適用して撮影された各画像からの、前記解析手段によるマーカの解析処理である請求項1記載の情報処理装置。 - 前記集計情報には、少なくとも、総認識数、及び、総処理時間の何れかが含まれ、
前記総認識数は、前記解析手段による前記設定パターンに対応したマーカの解析処理で解析されたマーカの総数であり、
前記総処理時間は、前記解析手段による前記設定パターンに対応したマーカの解析処理の処理時間の合計である請求項1又は2記載の情報処理装置。 - 前記集計情報には、重み付け評価値が含まれ、
前記重み付け評価値は、前記解析手段による前記設定パターンに対応したマーカの解析処理で解析されたマーカの重み付け値の合計値であり、
前記重み付け値は、各マーカについて定められた値である請求項1乃至3何れか1項記載の情報処理装置。 - 前記重み付け値は、マーカの種類、マーカが付された物品、又は、マーカとの距離に基づいて定められた値であり、
マーカとの距離は、前記第1の取得手段によって取得される画像を撮影する撮影手段と、撮影時のマーカとの距離である請求項4記載の情報処理装置。 - 前記集計情報には、総誤認識数が含まれ、
前記総誤認識数は、前記解析手段による前記設定パターンに対応したマーカの解析処理で誤認識されたマーカの総数である請求項1乃至5何れか1項記載の情報処理装置。 - 前記生成手段によって生成された前記集計情報に基づいて、前記作業環境について適用する前記設定パターンを決定する決定手段を更に有する請求項1乃至6何れか1項記載の情報処理装置。
- 前記作業環境についての前記設定パターンの採用基準を表す基準情報を取得する第3の取得手段を更に有し、
前記決定手段は、前記第3の取得手段によって取得された前記基準情報、及び、前記生成手段によって生成された前記集計情報に基づいて、前記作業環境について適用する前記設定パターンを決定する請求項7記載の情報処理装置。 - 前記生成手段によって生成された前記集計情報に基づく情報を表示する制御を行う表示制御手段と、
何れかの前記設定パターンの選択を受け付ける受付手段と、
を更に有し、
前記決定手段は、前記受付手段による受け付けに基づいて、前記作業環境について適用する前記設定パターンを決定する請求項7記載の情報処理装置。 - 前記作業環境は複数あり、
前記作業環境は、予め何れかの作業環境グループに分類されており、
前記第1の取得手段は、前記作業環境グループごとに、前記作業環境グループに含まれる何れかの前記作業環境を撮影した複数の画像を取得し、
前記解析手段は、前記作業環境グループごとに、前記第2の取得手段によって取得される複数の前記設定パターンの各々に含まれる前記解析設定値に基づいて、前記第1の取得手段によって取得される各画像からマーカを解析し、
前記生成手段は、前記解析手段による前記設定パターンに対応したマーカの解析処理に基づく集計情報を、前記作業環境グループごと、かつ、前記設定パターンごとに生成する請求項1乃至9何れか1項記載の情報処理装置。 - 作業環境を撮影した複数の画像を取得する第1の取得手段と、
画像に写されたマーカの解析に関する設定値である解析設定値を含む複数の設定パターンを取得する第2の取得手段と、
前記第2の取得手段によって取得される複数の前記設定パターンの各々に含まれる前記解析設定値に基づいて、前記第1の取得手段によって取得される各画像からマーカを解析する第1の解析手段と、
前記第1の解析手段による前記設定パターンに対応したマーカの解析処理に基づく集計情報を、前記設定パターンごとに生成する生成手段と、
前記生成手段によって生成された前記集計情報に基づいて、前記作業環境について適用する前記設定パターンを決定する決定手段と、
移動体に取り付けられる撮影手段と、
前記決定手段によって決定された前記設定パターンに含まれる前記解析設定値に基づいて、前記撮影手段によって撮影された画像からマーカを解析する第2の解析手段と、
を有するシステム。 - 前記作業環境は複数あり、
前記作業環境は、予め何れかの作業環境グループに分類されており、
前記第1の取得手段は、前記作業環境グループごとに、前記作業環境グループに含まれる何れかの前記作業環境を撮影した複数の画像を取得し、
前記第1の解析手段は、前記作業環境グループごとに、前記第2の取得手段によって取得される複数の前記設定パターンの各々に含まれる前記解析設定値に基づいて、前記第1の取得手段によって取得される各画像からマーカを解析し、
前記生成手段は、前記第1の解析手段による前記設定パターンに対応したマーカの解析処理に基づく集計情報を、前記作業環境グループごと、かつ、前記設定パターンごとに生成し、
前記決定手段は、前記作業環境ごとに、前記作業環境について適用する前記設定パターンを決定し、
前記移動体が配置された前記作業環境を特定する特定手段を更に有し、
前記第2の解析手段は、前記特定手段によって特定された前記作業環境について前記決定手段によって決定された前記設定パターンに含まれる前記解析設定値に基づいて、前記撮影手段によって撮影された画像からマーカを解析する請求項11記載のシステム。 - 作業環境を撮影した複数の画像を取得する第1の取得ステップと、
画像に写されたマーカの解析に関する設定値である解析設定値を含む複数の設定パターンを取得する第2の取得ステップと、
前記第2の取得ステップによって取得される複数の前記設定パターンの各々に含まれる前記解析設定値に基づいて前記第1の取得ステップによって取得される各画像からマーカを解析する解析ステップと、
前記解析ステップでの前記設定パターンに対応したマーカの解析処理に基づく集計情報を、前記設定パターンごとに生成する生成ステップと、
を有する情報処理方法。 - コンピュータを請求項1乃至10何れか1項記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016250731A JP6484603B2 (ja) | 2016-12-26 | 2016-12-26 | 情報処理装置、システム、情報処理方法、及び、プログラム |
| MX2019007283A MX374318B (es) | 2016-12-26 | 2017-12-22 | Dispositivo de procesamiento de información, sistema, método de procesamiento de la información y medio de almacenamiento. |
| CN201780057544.3A CN109791597B (zh) | 2016-12-26 | 2017-12-22 | 信息处理装置、系统、信息处理方法和存储介质 |
| PCT/JP2017/046219 WO2018123900A1 (ja) | 2016-12-26 | 2017-12-22 | 情報処理装置、システム、情報処理方法、及び、記憶媒体 |
| CA3047233A CA3047233C (en) | 2016-12-26 | 2017-12-22 | Information processing device, system, information processing method, and storage medium |
| US16/335,145 US10755100B2 (en) | 2016-12-26 | 2017-12-22 | Information processing device, system, information processing method, and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016250731A JP6484603B2 (ja) | 2016-12-26 | 2016-12-26 | 情報処理装置、システム、情報処理方法、及び、プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018106345A JP2018106345A (ja) | 2018-07-05 |
| JP6484603B2 true JP6484603B2 (ja) | 2019-03-13 |
Family
ID=62707460
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016250731A Active JP6484603B2 (ja) | 2016-12-26 | 2016-12-26 | 情報処理装置、システム、情報処理方法、及び、プログラム |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10755100B2 (ja) |
| JP (1) | JP6484603B2 (ja) |
| CN (1) | CN109791597B (ja) |
| CA (1) | CA3047233C (ja) |
| MX (1) | MX374318B (ja) |
| WO (1) | WO2018123900A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111462463B (zh) * | 2020-03-02 | 2021-07-30 | 清华大学 | 预警信息发送方法和装置 |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4412214B2 (ja) * | 2005-03-29 | 2010-02-10 | 日本電気株式会社 | パターン認識装置、パターン認識方法およびそのパターン認識装置をもつ電子機器 |
| KR20080024476A (ko) * | 2005-06-14 | 2008-03-18 | 고쿠리쓰다이가쿠호진 덴키쓰신다이가쿠 | 위치 검출 장치, 위치 검출 방법, 위치 검출 프로그램 및복합 현실 제공 시스템 |
| JP4968093B2 (ja) * | 2008-02-05 | 2012-07-04 | 株式会社デンソーウェーブ | 光学的情報読取装置 |
| US8237807B2 (en) * | 2008-07-24 | 2012-08-07 | Apple Inc. | Image capturing device with touch screen for adjusting camera settings |
| JP2010122770A (ja) | 2008-11-17 | 2010-06-03 | B-Core Inc | 光学式自動認識コード読み取り方法及び装置 |
| JP5262869B2 (ja) * | 2009-03-12 | 2013-08-14 | 株式会社リコー | 画像処理システム、画像処理サーバ、mfp及び画像処理方法 |
| JP2011244394A (ja) * | 2010-05-21 | 2011-12-01 | Mitsubishi Electric Corp | 監視カメラおよび監視システム |
| US20150153172A1 (en) * | 2011-10-31 | 2015-06-04 | Google Inc. | Photography Pose Generation and Floorplan Creation |
| JP5851261B2 (ja) * | 2012-01-30 | 2016-02-03 | 株式会社東芝 | 画像センサシステム、情報処理装置、情報処理方法及びプログラム |
| EP2921997B1 (en) | 2012-11-13 | 2021-01-06 | Kyodo Printing Co., Ltd. | Two-dimensional code |
| JP2015032213A (ja) * | 2013-08-05 | 2015-02-16 | 株式会社東芝 | 情報処理装置、方法、及びプログラム |
| JP6139375B2 (ja) * | 2013-10-25 | 2017-05-31 | ユーピーアール株式会社 | パレット管理システム、パレット管理装置およびフォークリフト |
| JP6024683B2 (ja) * | 2014-02-21 | 2016-11-16 | コニカミノルタ株式会社 | 画像形成システム、情報処理装置、集計情報送信方法及びプログラム |
| JP6420591B2 (ja) * | 2014-08-19 | 2018-11-07 | キヤノン株式会社 | 画像処理装置、その制御方法及びプログラム |
| CN107076992A (zh) * | 2014-10-03 | 2017-08-18 | 精工爱普生株式会社 | 适应于环境的头戴式显示装置 |
| US9256775B1 (en) * | 2014-12-23 | 2016-02-09 | Toshiba Tec Kabushiki Kaisha | Image recognition apparatus and commodity information processing apparatus |
| US10026228B2 (en) * | 2015-02-25 | 2018-07-17 | Intel Corporation | Scene modification for augmented reality using markers with parameters |
| US10311596B2 (en) * | 2015-10-16 | 2019-06-04 | Seiko Epson Corporation | Image processing device, robot, robot system, and marker |
| JPWO2018101135A1 (ja) * | 2016-12-01 | 2019-10-24 | シャープ株式会社 | 撮影調整情報導出装置、撮影装置、撮影調整情報導出方法、制御プログラム、および記録媒体 |
| CN117891335A (zh) * | 2017-05-19 | 2024-04-16 | 奇跃公司 | 用于虚拟、增强和混合现实显示系统的键盘 |
| CN109583285B (zh) * | 2017-09-29 | 2023-03-07 | 阿里巴巴集团控股有限公司 | 对象识别方法 |
| US11182614B2 (en) * | 2018-07-24 | 2021-11-23 | Magic Leap, Inc. | Methods and apparatuses for determining and/or evaluating localizing maps of image display devices |
-
2016
- 2016-12-26 JP JP2016250731A patent/JP6484603B2/ja active Active
-
2017
- 2017-12-22 US US16/335,145 patent/US10755100B2/en active Active
- 2017-12-22 WO PCT/JP2017/046219 patent/WO2018123900A1/ja not_active Ceased
- 2017-12-22 CA CA3047233A patent/CA3047233C/en active Active
- 2017-12-22 CN CN201780057544.3A patent/CN109791597B/zh active Active
- 2017-12-22 MX MX2019007283A patent/MX374318B/es active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| CA3047233A1 (en) | 2018-07-05 |
| US20190278996A1 (en) | 2019-09-12 |
| CA3047233C (en) | 2019-12-17 |
| JP2018106345A (ja) | 2018-07-05 |
| MX374318B (es) | 2025-03-06 |
| US10755100B2 (en) | 2020-08-25 |
| CN109791597A (zh) | 2019-05-21 |
| CN109791597B (zh) | 2020-04-10 |
| WO2018123900A1 (ja) | 2018-07-05 |
| MX2019007283A (es) | 2019-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11900316B2 (en) | Information processing apparatus, control method, and program | |
| JP5783885B2 (ja) | 情報提示装置、その方法及びそのプログラム | |
| US9367753B2 (en) | Method and system for recognizing information on a card | |
| JP6549558B2 (ja) | 売上登録装置、プログラム及び売上登録方法 | |
| JP6684475B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN108921098B (zh) | 人体运动分析方法、装置、设备及存储介质 | |
| JP2017187988A (ja) | コード認識装置 | |
| US11810304B1 (en) | Perspective distortion correction of discrete optical patterns in images using depth sensing | |
| US11350024B1 (en) | High speed continuously adaptive focus and deblur | |
| JP6687199B2 (ja) | 商品棚位置登録プログラム、及び情報処理装置 | |
| JP2018173818A (ja) | 携帯型の情報処理装置及び当該情報処理装置を用いた方法及びプログラム | |
| CN109454004B (zh) | 机器人扫描分拣系统及方法 | |
| JP5674933B2 (ja) | 倉庫内の物体の位置を特定するための方法及び装置 | |
| CN109743497B (zh) | 一种数据集采集方法、系统及电子装置 | |
| JP6484603B2 (ja) | 情報処理装置、システム、情報処理方法、及び、プログラム | |
| JP5310402B2 (ja) | 画像変換パラメータ算出装置、画像変換パラメータ算出方法およびプログラム | |
| WO2018037891A1 (ja) | 画像処理装置、画像処理システム、画像処理方法およびプログラム記録媒体 | |
| JP2018092507A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| KR20150137698A (ko) | 농장에서의 움직임 개체의 이동 궤적 트래킹 방법 및 장치 | |
| CN114973145A (zh) | 一种图像去重方法、装置、设备及可读存储介质 | |
| US11503200B2 (en) | Photographing device and photographing method | |
| JP7613366B2 (ja) | 画像管理装置、制御方法、及びプログラム | |
| CN119273282A (zh) | 商品出库复核方法、装置、设备及存储介质 | |
| CN109840832A (zh) | 商品图像标注方法、装置、电子设备及系统 | |
| JP6532114B1 (ja) | 情報処理装置、情報処理方法、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180731 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180731 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180801 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181016 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181026 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190129 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190218 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6484603 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |