JP7287823B2 - 情報処理方法及び情報処理システム - Google Patents

情報処理方法及び情報処理システム Download PDF

Info

Publication number
JP7287823B2
JP7287823B2 JP2019076509A JP2019076509A JP7287823B2 JP 7287823 B2 JP7287823 B2 JP 7287823B2 JP 2019076509 A JP2019076509 A JP 2019076509A JP 2019076509 A JP2019076509 A JP 2019076509A JP 7287823 B2 JP7287823 B2 JP 7287823B2
Authority
JP
Japan
Prior art keywords
recognition result
recognition
candidate
likelihood
candidates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019076509A
Other languages
English (en)
Other versions
JP2020042765A (ja
Inventor
グドフスキー デニス
拓也 山口
育規 石井
宗太郎 築澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to CN201980005088.7A priority Critical patent/CN111213180A/zh
Priority to PCT/JP2019/027259 priority patent/WO2020049864A1/ja
Priority to EP19857798.3A priority patent/EP3848889A4/en
Publication of JP2020042765A publication Critical patent/JP2020042765A/ja
Priority to US16/849,334 priority patent/US11449706B2/en
Application granted granted Critical
Publication of JP7287823B2 publication Critical patent/JP7287823B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Description

本開示は、情報処理方法等に関する。
従来、ディープニューラルネットワークの反応を可視化する方法が提案されている（例えば、非特許文献１）。
Ｌｕｉｓａ Ｍ Ｚｉｎｔｇｒａｆ、他３名、「Ｖｉｓｕａｌｉｚｉｎｇ Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｄｅｃｉｓｉｏｎｓ： Ｐｒｅｄｉｃｔｉｏｎ Ｄｉｆｆｅｒｅｎｃｅ Ａｎａｌｙｓｉｓ」、２０１７年２月１５日、ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１７０２．０４５９５．ｐｄｆ
しかしながら、物体検出等のような認識処理では、物体が検出されない場合があり、認識処理の出力の分析が困難な場合がある。
そこで、本開示は、認識処理において物体が検出されない場合であっても認識処理の出力の分析のための情報の出力が可能な情報処理方法等を提供することを目的とする。
本開示の一態様に係る情報処理方法では、コンピュータが、機械学習で訓練されたモデルであって認識処理を実行するモデルにセンシングデータを入力して得られる、前記センシングデータ上の複数の認識結果候補、及び、前記複数の認識結果候補それぞれの尤度を取得し、前記センシングデータのうちの分析対象の部分を指定する指示を取得し、前記複数の認識結果候補それぞれと前記部分との関係、及び、前記複数の認識結果候補それぞれの前記尤度に基づいて、前記複数の認識結果候補から少なくとも１つの認識結果候補を選出し、選出された前記少なくとも１つの認識結果候補を出力し、前記関係とは、前記複数の認識結果候補それぞれと前記部分との重複の有無であり、前記複数の認識結果候補から選出される前記少なくとも１つの認識結果候補は、前記複数の認識結果候補のうち、前記尤度が閾値よりも高く、かつ指定された前記部分に対し重複がある認識結果候補であり、前記コンピュータが、前記複数の認識結果候補から前記関係、前記尤度及び前記閾値に基づいて選出される認識結果候補の数が所定数以下である場合、前記閾値を下げ、前記関係、前記尤度、及び、下げられた前記閾値に基づいて、前記少なくとも１つの認識結果候補を選出する。
なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、又は、コンピュータ読み取り可能なＣＤ－ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム、及び、記録媒体の任意な組み合わせで実現されてもよい。
本開示の一態様に係る情報処理方法等により、認識処理において物体が検出されない場合であっても認識処理の出力の分析のための情報の出力が可能である。
図１は、参考例における識別処理に用いられる入力画像を示すイメージ図である。 図２は、参考例における識別処理によって得られる識別結果を示すイメージ図である。 図３は、参考例における検出処理に用いられる入力画像を示すイメージ図である。 図４は、参考例における検出処理によって得られる検出結果を示すイメージ図である。 図５は、参考例における識別結果に対する正の寄与度を示すイメージ図である。 図６は、参考例における識別結果に対する負の寄与度を示すイメージ図である。 図７は、実施の形態における情報処理システムの構成を示すブロック図である。 図８は、実施の形態における情報処理システムの態様を示すイメージ図である。 図９は、実施の形態における情報処理システムの処理を示すフローチャートである。 図１０は、実施の形態における認識部の処理を示す概念図である。 図１１は、実施の形態における指定部の処理を示す概念図である。 図１２は、実施の形態における指定部の処理の別の態様を示す概念図である。 図１３は、実施の形態における指定部の処理のさらに別の態様を示す概念図である。 図１４は、実施の形態における指定部の処理のさらに別の態様を示す概念図である。 図１５は、実施の形態における選出部の処理を示す概念図である。 図１６は、実施の形態における選出部の処理を示すフローチャートである。 図１７は、実施の形態における選出部の処理の別の態様を示すフローチャートである。 図１８は、実施の形態における指定座標から分析対象の領域を導出する処理を示す概念図である。 図１９は、実施の形態における指定座標から分析対象の領域を導出する処理の別の態様を示す概念図である。 図２０は、実施の形態における分析部の処理を示す概念図である。
（本開示の基礎となった知見）
近年、ニューラルネットワーク型の認識モデルが利用され始めている。ニューラルネットワークは生物の神経が模擬された数理モデルであり、この数理モデルは複数の層を有し得る。ニューラルネットワーク型の認識モデルは、ニューラルネットワークで構成されるモデルであって、認識処理を行うためのモデルである。例えば、ニューラルネットワーク型の認識モデルに画像等のセンシングデータが入力され、ニューラルネットワーク型の認識モデルによってセンシングデータの内容が認識される。
また、様々な認識モデルによって、様々な認識処理が行われるが、これらの認識処理は、識別処理、検出処理、及び、セグメンテーション処理等に分類される。例えば、識別処理では、センシングデータが何を表しているかが識別される。識別処理は、分類処理とも表現され、例えば、センシングデータが複数の種類のいずれかに分類される。また、例えば、検出処理では、センシングデータにおいて検出対象の内容を表す部分が検出される。あるいは、検出処理では、センシングデータのどの部分が何を表しているかが検出される。
図１は、参考例における識別処理に用いられる入力画像を示すイメージ図である。例えば、図１に示された入力画像が、識別処理を行う認識モデルに入力される。
図２は、参考例における識別処理によって得られる識別結果を示すイメージ図である。例えば、図１に示された入力画像が、識別処理を行う認識モデルに入力されることにより、図２に示された識別結果が得られる。具体的には、入力画像が犬を表していることが識別結果として得られる。
図３は、参考例における検出処理に用いられる入力画像を示すイメージ図である。例えば、図３に示された入力画像が、検出処理を行う認識モデルに入力される。
図４は、参考例における検出処理によって得られる検出結果を示すイメージ図である。例えば、図３に示された入力画像が、検出処理を行う認識モデルに入力されることにより、図４に示された識別結果が得られる。具体的には、犬を表す部分が検出結果として得られる。言い換えれば、図４の点線枠部分が犬を表していることが検出結果として得られる。
また、センシングデータの識別処理を行う認識モデルを解析するため、識別結果に対して、センシングデータに含まれる複数の値それぞれの寄与度を導出する方法が提案されている。
具体的には、ＰＤＡ（Ｐｒｅｄｉｃｔｉｏｎ Ｄｉｆｆｅｒｅｎｃｅ Ａｎａｌｙｓｉｓ）、ＬＩＭＥ（Ｌｏｃａｌ Ｉｎｔｅｒｐｒｅｔａｂｌｅ Ｍｏｄｅｌ－ａｇｎｏｓｔｉｃ Ｅｘｐｌａｎａｔｉｏｎｓ）、Ｇｒａｄ－ＣＡＭ（Ｇｒａｄｉｅｎｔ－ｗｅｉｇｈｔｅｄ Ｃｌａｓｓ Ａｃｔｉｖａｔｉｏｎ Ｍａｐｐｉｎｇ）、又は、Ｇ Ｂａｃｋ Ｐｒｏｐ（Ｇｕｉｄｅｄ Ｂａｃｋ Ｐｒｏｐａｇａｔｉｏｎ）等のような方法がある。非特許文献１は、その一例である。
このような方法に基づいて、例えば、入力されるセンシングデータが画像である場合、画像の識別結果に対して、画像に含まれる複数の画素値それぞれの寄与度が導出される。
図５は、図２に示された識別結果に対する正の寄与度を示すイメージ図である。便宜上、図５には、入力画像が犬を表しているという識別結果に肯定的に寄与した度合いが点の密度で表現されている。実際には、画素毎に色の濃度等で、識別結果に肯定的に寄与した度合いが表現されてもよい。
この例において、入力画像において犬の頭が映る部分、及び、入力画像において犬の尾が映る部分が、入力画像が犬を表しているという識別結果に肯定的に寄与している。つまり、犬の頭が映る部分、及び、犬の尾が映る部分が、入力画像が犬を表しているという方向へ識別結果を導いている。
図６は、図２に示された識別結果に対する負の寄与度を示すイメージ図である。便宜上、図６には、入力画像が犬を表しているという識別結果に否定的に寄与した度合いが点の密度で表現されている。実際には、画素毎に色の濃度等で、識別結果に否定的に寄与した度合いが表現されてもよい。
この例において、入力画像において犬の前足が映る部分が、入力画像が犬を表しているという識別結果に否定的に寄与している。つまり、犬の前足が映る部分は、入力画像が犬を表していないという方向へ識別結果を導いている。
ここでは、正の寄与度と負の寄与度とが分けられて表現されているが、正の寄与度と負の寄与度とが組み合わされて表現されてもよい。例えば、赤色の濃度で、識別結果に肯定的に寄与した度合いが表現され、青色の濃度で、識別結果に否定的に寄与した度合いが表現されてもよい。
図５及び図６に示された情報に従って、入力画像が犬を表しているという識別結果の要因が示される。このような情報は、認識モデルの精度向上に有用である。例えば、識別結果が誤りである場合、その要因に基づいて、認識モデルのパラメータの調整、又は、再学習等を行うことが可能である。よって、認識モデルの精度を効率的に向上させることが可能である。
しかしながら、識別処理の識別結果は単純であるが、検出処理の検出結果は複雑である。したがって、識別処理において寄与度を導出する処理を検出処理に適用することは困難である。
例えば、検出処理において、物体が正しく検出された場合、あるいは、物体が誤って検出された場合、物体の検出に寄与した度合いを画像の画素毎に導出することが可能であるかもしれない。一方、検出処理において、物体が検出されない場合がある。この場合、物体の検出に寄与した度合いが存在せず、寄与度を導出することは困難である。
したがって、検出処理において、画像に物体が映っているにもかかわらず、物体が検出されなかった場合等では、その検出結果を分析することが困難であり、認識モデルの精度を効率的に向上させることが困難である。
そこで、例えば、本開示の一態様に係る情報処理方法では、コンピュータが、機械学習で訓練されたモデルであって認識処理を実行するモデルにセンシングデータを入力して得られる、前記センシングデータ上の複数の認識結果候補、及び、前記複数の認識結果候補それぞれの尤度を取得し、前記センシングデータのうちの分析対象の部分を指定する指示を取得し、前記複数の認識結果候補それぞれと前記部分との関係、及び、前記複数の認識結果候補それぞれの前記尤度に基づいて、前記複数の認識結果候補から少なくとも１つの認識結果候補を選出し、選出された前記少なくとも１つの認識結果候補を出力する。
これにより、認識処理において有効な認識結果が得られない場合であっても、指定された部分に基づいて、分析処理等に有用な認識結果候補を出力することが可能になる。すなわち、認識処理において物体が検出されない場合であっても認識処理の出力の分析のための情報の出力が可能になる。
例えば、さらに、前記コンピュータが、出力された前記少なくとも１つの認識結果候補に基づいて処理結果を提示する。
これにより、選出された認識結果候補に基づく分析処理等の処理結果を提示することが可能になる。
また、例えば、前記処理結果は、前記センシングデータに含まれる複数の値それぞれが、出力された前記少なくとも１つの認識結果候補それぞれの前記尤度に寄与する度合いを示す。
これにより、選出された認識結果候補に対して、センシングデータにおける複数の値それぞれの寄与度を提示することが可能になる。
また、例えば、前記関係は、前記複数の認識結果候補それぞれと前記部分との重複の有無、及び、前記重複の程度のうち少なくとも１つである。
これにより、指定された部分に対する重複の有無又は程度に基づいて選出された認識結果候補を出力することが可能になる。
また、例えば、前記複数の認識結果候補から選出される前記少なくとも１つの認識結果候補それぞれは、前記複数の認識結果候補のうち、前記尤度が閾値よりも高い認識結果候補である。
これにより、尤度が高い認識結果候補を選出することが可能になり、より有用な認識結果候補を出力することが可能になる。
また、例えば、前記コンピュータが、前記複数の認識結果候補から前記関係、前記尤度及び前記閾値に基づいて選出される認識結果候補の数が所定数以下である場合、前記閾値を下げ、前記関係、前記尤度、及び、下げられた前記閾値に基づいて、前記少なくとも１つの認識結果候補を選出する。
これにより、閾値よりも尤度が高い認識結果候補が存在しない場合等において、閾値を下げ、下げられた閾値よりも尤度が高い認識結果候補を選出することが可能になる。
また、例えば、さらに、前記コンピュータが、選出された前記少なくとも１つの認識結果候補それぞれの前記尤度を出力する。
これにより、分析処理等に有用な情報として、選出された認識結果候補の尤度を出力することが可能になる。
また、例えば、前記センシングデータは、画像であり、前記認識処理は、前記画像上の物体認識処理であり、前記複数の認識結果候補それぞれは、前記画像に映る物体の候補である。
これにより、画像上の物体認識処理に関して、画像に映る物体の候補を出力することが可能になる。
また、例えば、本開示の一態様に係る情報処理システムは、機械学習で訓練されたモデルであって認識処理を実行するモデルにセンシングデータを入力して得られる、前記センシングデータ上の複数の認識結果候補、及び、前記複数の認識結果候補それぞれの尤度を取得し、前記センシングデータのうちの分析対象の部分を指定する指示を取得し、前記複数の認識結果候補それぞれと前記部分との関係、及び、前記複数の認識結果候補それぞれの前記尤度に基づいて、前記複数の認識結果候補から少なくとも１つの認識結果候補を選出し、選出された前記少なくとも１つの認識結果候補を出力するコンピュータを備える。
これにより、情報処理システムは、認識処理において有効な認識結果が得られない場合であっても、指定された部分に基づいて、分析処理等に有用な認識結果候補を出力することができる。すなわち、情報処理システムは、認識処理において物体が検出されない場合であっても認識処理の出力の分析のための情報を出力することができる。
さらに、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、又は、コンピュータ読み取り可能なＣＤ－ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム、及び、記録媒体の任意な組み合わせで実現されてもよい。
以下、実施の形態について図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
（実施の形態）
図７は、本実施の形態における情報処理システムの構成を示すブロック図である。図７に示された情報処理システム１００は、認識部１０１、指定部１０２、選出部１０３及び分析部１０４を備える。例えば、各構成要素は、電気回路で構成され、有線又は無線の通信、あるいは、入出力回路等を介して、他の構成要素へ情報を伝達することができる。
認識部１０１は、センシングデータを取得し、センシングデータに対して認識処理を行う情報処理部である。例えば、認識部１０１は、認識モデルにセンシングデータを入力することにより、センシングデータに対して認識処理を行い、認識結果を取得する。その際、認識部１０１は、認識モデルにセンシングデータを入力することにより、センシングデータ上の複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を取得する。そして、認識部１０１は、尤度が閾値以上である認識結果候補を示す最終的な認識結果を取得する。
また、例えば、センシングデータは、画像であり、認識処理は、画像における物体の検出処理であり、認識結果は、図４のような検出結果であり、複数の認識結果候補それぞれは、画像における物体の候補である。また、認識モデルは、機械学習によって訓練されたモデルであり、認識処理を実行するモデルである。認識部１０１が、正解データを用いて認識モデルを訓練してもよい。
また、認識モデルは、ニューラルネットワークと呼ばれる数理モデルであってもよい。具体的には、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）、Ｆａｓｔｅｒ－ＲＣＮＮ（Ｆａｓｔｅｒ Ｒｅｇｉｏｎ－ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、又は、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）等のような物体検出方法に対応する認識モデルが用いられてもよい。
また、認識部１０１は、センシングデータ上の複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を選出部１０３へ出力する。つまり、認識部１０１は、センシングデータ上の複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を示す情報を選出部１０３へ出力する。必ずしも、認識部１０１は、尤度が閾値以上である認識結果候補を示す最終的な認識結果を取得しなくてもよいし、最終的な認識結果を出力しなくてもよい。
指定部１０２は、センシングデータのうちの分析対象の部分を指定する指示を取得する情報処理部である。例えば、センシングデータが画像である場合、指定部１０２は、画像に含まれる部分を分析対象の部分として指定する指示を取得する。
また、指定部１０２は、指示を取得するための入力インタフェース又は通信インタフェースを備えていてもよい。ここで、入力インタフェースは、タッチパネル、キーボード、マウス又はマイクロフォン等である。また、通信インタフェースは、通信ネットワークを介して指示を取得するための通信端子又はアンテナ等である。
選出部１０３は、センシングデータ上の複数の認識結果候補から少なくとも１つの認識結果候補を選出する情報処理部である。
具体的には、上述した通り、認識部１０１が、認識モデルにセンシングデータを入力することにより、センシングデータ上の複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を取得する。選出部１０３は、認識部１０１から、センシングデータ上の複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を取得する。
そして、選出部１０３は、複数の認識結果候補それぞれと、指定された部分との関係、及び、複数の認識結果候補それぞれの尤度に基づいて、複数の認識結果候補から少なくとも１つの認識結果候補を選出する。そして、選出部１０３は、選出された少なくとも１つの認識結果候補を出力する。つまり、選出部１０３は、選出された少なくとも１つの認識結果候補を示す情報を出力する。
例えば、複数の認識結果候補それぞれと、指定された部分との上記の関係は、複数の認識結果候補それぞれと、指定された部分との重複の有無であってもよいし、重複の程度であってもよい。具体的には、選出部１０３によって選出される少なくとも１つの認識結果候補は、複数の認識結果候補のうち、指定された部分に対して重複がある認識結果候補であってもよいし、複数の認識結果候補のうち、指定された部分に対して重複が大きい認識結果候補であってもよい。
また、例えば、複数の認識結果候補それぞれと、指定された部分との上記の関係は、複数の認識結果候補それぞれと、指定された部分とのユークリッド距離であってもよい。具体的には、選出部１０３によって選出される少なくとも１つの認識結果候補は、複数の認識結果候補のうち、指定された部分から所定のユークリッド距離の範囲内の認識結果候補であってもよい。
また、選出部１０３によって選出される少なくとも１つの認識結果候補は、複数の認識結果候補のうち、尤度が閾値よりも高い認識結果候補であってもよい。つまり、選出部１０３は、認識部１０１から得られる複数の認識結果候補のうち、尤度が閾値よりも高く、かつ、指定された部分に対して重複がある又は大きい認識結果候補を選出してもよい。選出部１０３が認識結果候補を選出するための閾値は、認識部１０１が認識結果を取得するための閾値よりも低くてもよい。
また、選出部１０３は、複数の認識結果候補から所定数の認識結果候補が選出されるまで、閾値を下げて、複数の認識結果候補から少なくとも１つの認識結果候補を選出してもよい。
分析部１０４は、分析処理を行う情報処理部である。例えば、分析部１０４は、選出部１０３から出力された少なくとも１つの認識結果候補に基づいて、分析処理を行い、分析処理の処理結果を提示する。分析部１０４は、処理結果を提示するための出力インタフェース又は通信インタフェースを備えていてもよい。ここで、出力インタフェースは、タッチパネル、ディスプレイ又はスピーカ等である。また、通信インタフェースは、通信ネットワークを介して処理結果を提示するための通信端子又はアンテナ等である。
具体的には、分析部１０４は、センシングデータに含まれる複数の値それぞれが、選出部１０３から出力された少なくとも１つの認識結果候補それぞれの尤度に寄与する度合いを示す処理結果を提示する。認識結果候補の尤度に複数の値それぞれが寄与する度合いは、認識結果候補の尤度に対する複数の値それぞれの寄与度とも表現され得る。例えば、センシングデータが、複数の画素値を含む画像である場合、処理結果は、認識結果候補の尤度に対する複数の画素値それぞれの寄与度を示す。
また、分析部１０４は、ＰＤＡ、ＬＩＭＥ、Ｇｒａｄ－ＣＡＭ、及び、Ｇ Ｂａｃｋ Ｐｒｏｐ等と呼ばれる複数の方法のいずれかを用いて、分析処理を行ってもよい。そして、これにより、分析部１０４は、認識結果候補の尤度に対する複数の画素値それぞれの寄与度を示す処理結果を提示してもよい。
なお、認識部１０１及び分析部１０４は、任意の構成要素であって、情報処理システム１００は、これらを備えなくてもよい。例えば、他の認識システムが認識部１０１を備えていてもよいし、他の分析システムが分析部１０４を備えていてもよい。
また、情報処理システム１００において用いられる処理対象のセンシングデータは、画像でなくてもよい。例えば、センシングデータは、画像などのような２次元データに限られず、例えばマイクロフォン又は慣性センサによって得られる波形データ等のような１次元データであってもよい。また、センシングデータは、例えばＬｉＤＡＲ又はレーダによって得られる点群データ、若しくは、時系列の複数の画像である動画データ等のような３次元データであってもよい。また、センシングデータは、その他の次元のデータであってよい。
また、処理対象のセンシングデータの次元が変更されてもよい。例えば、センシングデータが波形データである場合、所定期間の波形データが用いられることによって、センシングデータが２次元データとして用いられてもよい。また、センシングデータが波形データである場合、ケプストラムのように波形データを時間と周波数とからなる２次元データに変換することで、センシングデータの次元が変更されてもよい。
また、センシングデータが水平方向、垂直方向及び奥行方向における位置で特定される点で構成される点群データである場合、奥行方向における特定の位置において水平方向及び垂直方向に得られる点群データ（すなわち２次元データ）が用いられてもよい。つまり、この場合、奥行方向における特定の位置における平面上のセンシングデータが用いられてもよい。
また、例えば、音声認識において、センシングデータは、音声の波形データを表す音声信号であってもよい。そして、音声認識において、認識対象の要素は、単語、文、又は、発話区間等であってもよい。３次元の物体検出において、センシングデータは、３次元データである点群データであってもよい。そして、３次元の物体検出において、認識対象の要素、つまり検出対象の要素は、３次元の物体であってもよい。
指定部１０２では、上記のような次元におけるセンシングデータのうち分析対象の部分を指定する指示が取得される。そして、選出部１０３が認識結果候補を選出する際に、複数の認識結果候補それぞれと、指定された部分との関係が用いられる。その際、分析対象の部分として指定された領域と、認識結果候補との重なり率が用いられてもよい。あるいは、分析対象の部分として指定された座標と、認識結果候補とのユークリッド距離が用いられてもよい。
例えば、分析対象の部分として指定された領域と、認識結果候補との重なり率が所定の重なり率以上であることが、選出の条件に用いられてもよい。また、分析対象の部分として指定された座標と、認識結果候補とのユークリッド距離が所定のユークリッド距離以下であることが、選出の条件に用いられてもよい。
また、上述したように、認識結果候補の尤度が閾値よりも高いことが、選出部１０３における選出の条件に用いられてもよい。
あるいは、選出部１０３は、認識部１０１が出力する複数の認識結果候補から、複数の認識結果候補それぞれと、指定された部分との関係に基づいて抽出される１つ以上の認識結果候補のうち、尤度が相対的に高い少なくとも１つの認識結果候補を選出してもよい。例えば、選出部１０３は、１つ以上の認識結果候補のうち、尤度が最も高い認識結果候補を選出してもよいし、尤度の高い順に所定数の認識結果候補を選出してもよい。
図８は、図７に示された情報処理システム１００の態様を示すイメージ図である。例えば、情報処理システム１００は、図７に示された情報処理システム１００が備える複数の構成要素に対応するコンピュータ１１０を備える。そして、コンピュータ１１０は、図７に示された情報処理システム１００が備える複数の構成要素の役割を果たしてもよい。また、コンピュータ１１０は、分散して配置される複数の装置を備えてもよい。
また、コンピュータ１１０は、図７に示された認識部１０１、指定部１０２、選出部１０３及び分析部１０４のうち、指定部１０２及び選出部１０３のみの役割を果たしてもよい。コンピュータ１１０とは異なる他の１つ以上の装置が、認識部１０１及び分析部１０４の役割を果たしてもよい。
図９は、図７に示された情報処理システム１００の処理を示すフローチャートである。まず、認識部１０１が、センシングデータに対して認識処理を行う（Ｓ１０１）。具体的には、認識部１０１は、センシングデータを認識モデルに入力することにより、複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を取得する。そして、認識部１０１は、複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を出力する。
選出部１０３は、認識部１０１から、複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を取得する（Ｓ１０２）。また、指定部１０２は、センシングデータのうちの分析対象の部分を指定する指示を取得する（Ｓ１０３）。そして、選出部１０３は、指定部１０２を介して、センシングデータのうちの分析対象の部分を指定する指示を取得する。
次に、選出部１０３は、複数の認識結果候補それぞれと、指定された部分との関係、及び、複数の認識結果候補それぞれの尤度に基づいて、複数の認識結果候補から少なくとも１つの認識結果候補を選出する（Ｓ１０４）。そして、選出部１０３は、選出された少なくとも１つの認識結果候補を出力する（Ｓ１０５）。
次に、分析部１０４は、選出部１０３から出力された少なくとも１つの認識結果候補に基づいて、分析処理を行い、分析処理の処理結果を提示する（Ｓ１０６）。
上述された処理によって、情報処理システム１００は、認識処理において有効な認識結果が得られない場合であっても、指定された部分に基づいて、分析処理に有用な認識結果候補を出力することができる。したがって、情報処理システム１００は、認識結果候補に基づく適切な分析処理の処理結果を提示することができる。以下、例を用いて、より具体的な処理を説明する。なお、以下は例であり、情報処理システム１００が行う処理は、以下の例に限定されない。
図１０は、図７に示された認識部１０１の処理を示す概念図である。認識部１０１は、センシングデータを取得し、センシングデータに対して認識処理を行う。この例において、センシングデータは、画像であり、認識処理は、画像における物体の検出処理である。すなわち、認識部１０１は、入力画像を取得し、入力画像に対して物体の検出処理を行う。
具体的には、物体の検出処理において、認識部１０１は、多層構造のニューラルネットワークを用いて、入力画像から、複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を取得する。ここで、認識結果候補は、入力画像における認識対象物体の候補、つまり、入力画像における検出対象物体の候補である。
より具体的には、認識部１０１は、入力画像を多層構造のニューラルネットワークの入力層に入力し、多層構造のニューラルネットワークに含まれる複数の処理層それぞれにおいて、入力画像の特徴を示す特徴マップを導出する。そして、認識部１０１は、特徴マップに適合する認識結果候補、及び、その尤度を導出する。これにより、認識部１０１は、１つ以上の特徴マップから、複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を導出する。
そして、認識部１０１は、複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を選出部１０３へ出力する。
また、認識部１０１は、複数の認識結果候補それぞれの尤度に基づいて、認識結果候補が、認識対象物体であるか否か、つまり検出対象物体であるか否かを判定してもよい。そして、認識部１０１は、認識対象物体であると判定された認識結果候補を認識対象物体つまり検出対象物体として示す認識結果を出力してもよい。ただし、認識対象物体であるか否かの判定、及び、認識結果の出力は、行われなくてもよい。
図１１は、図７に示された指定部１０２の処理を示す概念図である。指定部１０２は、センシングデータのうちの分析対象の部分を指定する指示を取得する。この例において、センシングデータは、画像であり、指定部１０２は、画像に含まれる部分を分析対象の部分として指定する指示を取得する。分析対象の部分は、分析対象の点又は位置、つまり分析対象の座標であってもよい。あるいは、分析対象の部分は、幅又は大きさ等を有する領域であってもよい。図１１の例では、座標が分析対象の部分として指定されている。
例えば、情報処理システム１００のユーザが、指定部１０２が備える入力インタフェースを介して、センシングデータのうちの分析対象の部分を指定する。指定部１０２は、指定された部分を示す情報を指示として取得する。
より具体的には、指定部１０２は、画像を表示する画面と、入力を取得するマウスとを備えていてもよい。そして、指定部１０２は、認識部１０１へ入力された画像を取得し、取得された画像を画面に表示する。そして、指定部１０２は、画像が表示された画面において、マウスでクリックされた座標を分析対象の部分として、より具体的には分析対象の部分を指定する指示として取得してもよい。
例えば、ユーザは、画面において表示されている物体をマウスでクリックすることで、分析対象の部分を指定することができ、指定部１０２は、分析対象の部分を指定する指示を取得することができる。
画面とマウスとの組み合わせに代えて、タッチパネルが用いられてもよい。指定部１０２は、タッチパネルでタッチされた座標を分析対象の部分として取得してもよい。
図１２は、図７に示された指定部１０２の処理の別の態様を示す概念図である。分析対象の部分に対応する領域をマウスで塗りつぶす操作によって、分析対象の部分が指定されてもよい。そして、指定部１０２は、塗りつぶされた領域を分析対象の部分として取得してもよい。
図１３は、図７に示された指定部１０２の処理のさらに別の態様を示す概念図である。分析対象の部分に対応する領域をマウスで囲む操作によって、分析対象の部分が指定されてもよい。例えば、マウスによって矩形の枠が分析対象の部分として指定されてもよい。このような指定方法は、矩形選択とも呼ばれる。ただし、矩形に限らず、その他の多角形又はその他の形状によって分析対象の部分が指定されてもよい。
図１４は、図７に示された指定部１０２の処理のさらに別の態様を示す概念図である。指定部１０２は、正解データを読み込み、正解データが示す物体の領域を分析対象の部分として取得してもよい。正解データは、記録媒体等を介して入力されてもよい。また、正解データは、認識部１０１へ画像と共に入力されてもよい。そして、指定部１０２は、認識部１０１から正解データを取得してもよい。
図１１～図１４に示された通り、分析対象の部分を指定する方法として複数の方法が存在し、これらの複数の方法は、分析対象の座標を指定する方法（図１１）と、分析対象の領域を指定する方法（図１２～図１４）とに大別される。これら複数の方法のうち、１つの方法が利用可能であってもよいし、２つ以上の方法が利用可能であってもよい。
分析対象の座標を分析対象の部分として指定する指示において指定される座標は、単に指定座標とも表現される。分析対象の領域を分析対象の部分として指定する指示において指定される領域は、単に指定領域とも表現される。分析対象の部分を指定する指示において指定される部分は、単に指定部分とも表現される。指定部１０２は、分析対象の座標又は領域を分析対象の部分として指定する指示を選出部１０３へ出力する。
図１５は、図７に示された選出部１０３の処理を示す概念図である。選出部１０３は、センシングデータ上の複数の認識結果候補から少なくとも１つの認識結果候補を選出する。選出部１０３は、認識部１０１から、センシングデータ上の複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を取得する。また、選出部１０３は、指定部１０２から、分析対象の部分を指定する指示を取得する。
そして、選出部１０３は、複数の認識結果候補の中から、複数の認識結果候補それぞれの尤度、及び、指定された部分に基づいて、少なくとも１つの認識結果候補を選出し、選出された少なくとも１つの認識結果候補を出力する。例えば、選出部１０３は、複数の認識結果候補の中から、指定された部分に対応し、かつ、高い尤度を有する認識結果候補を選出する。選出部１０３は、複数の認識結果候補を選出してもよい。具体的には、選出部１０３は、尤度に基づいて、上位３つの認識結果候補を選出してもよい。
例えば、認識部１０１が行う検出処理において、物体が検出されない場合でも、選出部１０３は、指定された部分に対応する少なくとも１つの認識結果候補、つまり、指定された部分に対応する少なくとも１つの検出結果候補を選出して出力する。
図１６は、図１５に示された選出部１０３の処理を示すフローチャートである。この例は、分析対象の部分として分析対象の領域が指定された場合の処理に対応する。
まず、選出部１０３は、分析対象の領域を指定する指示を指定部１０２から取得することにより、指定された領域を分析対象の領域として取得する（Ｓ２０１）。そして、選出部１０３は、選出候補数が所定数よりも大きくなるまで、尤度閾値ループを繰り返す（Ｓ２０２～Ｓ２１２）。
尤度閾値ループにおいて、選出部１０３は、複数の認識結果候補それぞれの尤度、及び、閾値に基づいて、尤度が閾値よりも高い認識結果候補で構成される認識結果候補リストを取得する（Ｓ２０３）。選出部１０３は、尤度閾値ループにおいて、認識部１０１から尤度及び閾値に基づいて認識結果候補リストを取得してもよい。あるいは、選出部１０３は、尤度閾値ループの前に、認識部１０１から、複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を予め取得し、尤度閾値ループにおいて、予め取得された複数の認識結果候補等から、認識結果候補リストを取得してもよい。
次に、選出部１０３は、選出候補リストを初期化する（Ｓ２０４）。例えば、尤度閾値ループにおいて、選出候補リストに認識結果候補が追加されている可能性がある。選出部１０３は、選出候補リストに追加されている認識結果候補を選出候補リストから削除する。そして、選出部１０３は、認識結果候補リストが空になるまで、認識結果候補リストループ（Ｓ２０５～Ｓ２１０）を繰り返す。
認識結果候補リストループにおいて、選出部１０３は、認識結果候補リストから１つの認識結果候補を抽出し、抽出された認識結果候補を認識結果候補リストから削除する（Ｓ２０６）。そして、選出部１０３は、分析対象の領域と、抽出された認識結果候補の領域との重なり率を導出する（Ｓ２０７）。例えば、重なり率は、抽出された認識結果候補の領域が、分析対象の領域に含まれている割合に対応する。重なり率にＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）が用いられてもよい。
そして、選出部１０３は、重なり率が閾値以上であるか否かを判定する（Ｓ２０８）。重なり率が閾値以上である場合（Ｓ２０８でＹｅｓ）、選出部１０３は、選出候補リストを更新する（Ｓ２０９）。つまり、この場合、選出部１０３は、抽出された認識結果候補を選出候補リストに追加する。重なり率が閾値よりも小さい場合（Ｓ２０８でＮｏ）、選出部１０３は、選出候補リストを更新しない。つまり、この場合、選出部１０３は、抽出された認識結果候補を選出候補リストに追加しない。
選出部１０３は、認識結果候補リストが空になるまで、認識結果候補リストループ（Ｓ２０５～Ｓ２１０）を繰り返し、その後、選出部１０３は、尤度の閾値を下げる（Ｓ２１１）。そして、選出部１０３は、選出候補数が所定数よりも大きくなるまで、尤度閾値ループを繰り返す（Ｓ２０２～Ｓ２１２）。選出候補数は、選出候補リストに含まれる認識結果候補の数に対応する。つまり、所定数よりも多い認識結果候補が選出されるまで、閾値を下げながら、認識結果候補を選出する。
選出候補数が所定数よりも大きくなった後、選出部１０３は、選出候補リストを出力する（Ｓ２１３）。
選出部１０３は、上記の処理によって、複数の認識結果候補の中から、複数の認識結果候補それぞれの尤度、及び、指定された部分に基づいて、少なくとも１つの認識結果候補を選出し、選出された少なくとも１つの認識結果候補を出力することができる。
図１７は、図１５に示された選出部１０３の処理の別の態様を示すフローチャートである。この例は、分析対象の部分として分析対象の座標が指定された場合の処理に対応する。
まず、選出部１０３は、分析対象の座標を指定する指示を指定部１０２から取得することにより、指定された座標を取得する（Ｓ３０１）。そして、選出部１０３は、指定された座標に基づいて分析対象の領域を導出することにより、分析対象の領域を取得する（Ｓ３０２）。その後の処理は、図１６において分析対象の領域が取得された後の処理と同じである（Ｓ２０２～Ｓ２１３）。
図１８は、図１５に示された選出部１０３において指定座標から分析対象の領域を導出する処理を示す概念図である。選出部１０３は、指定座標から相対的に定められる範囲の領域を分析対象の領域として導出してもよい。図１８の例では、分析対象の領域は、指定座標を中心に有し、かつ、一定の半径を有する円によって定められる領域である。この例に限らず、分析対象の領域は、指定座標を重心に有する矩形の領域であってもよいし、指定座標を重心に有するその他の多角形の領域であってもよい。
指定部１０２は、分析対象の領域の形状及びサイズの少なくとも一方を指定する指示を取得し、その指示を選出部１０３に出力してもよい。選出部１０３は、指定座標、及び、指定された形状又はサイズに基づいて、分析対象の領域を導出してもよい。
図１９は、図１５に示された選出部１０３において指定座標から分析対象の領域を導出する処理の別の態様を示す概念図である。選出部１０３は、認識部１０１に入力された画像のセグメンテーション結果と、指定座標とに基づいて、分析対象の領域を導出してもよい。つまり、選出部１０３は、画像のセグメンテーション結果が示す複数のセグメントのうち、指定座標を含むセグメントの領域を分析対象の領域として導出してもよい。
画像のセグメンテーションは、ニューラルネットワークによって行われてもよいし、画像のエッジ検出等によって行われてもよい。また、画像のセグメンテーションは、認識部１０１において行われてもよいし、指定部１０２において行われてもよいし、選出部１０３において行われてもよいし、その他の構成要素において行われてもよい。また、選出部１０３は、画像のセグメンテーション結果を情報処理システム１００の外部から取得してもよい。
なお、図１８及び図１９に示された処理は例であって、同等の結果が得られる別の処理が行われてもよい。
また、上記の説明では、指定部１０２において、座標を指定する指示が取得された場合に、選出部１０３において、指定された座標から分析対象の領域が導出されている。しかし、指定部１０２において、指定された座標から分析対象の領域が導出されてもよい。そして、指定部１０２は、センシングデータにおいて座標を指定する指示を分析対象の領域を指定する指示として取得してもよい。この場合、分析対象の部分として、座標が利用されず、領域が利用される。
図２０は、図７に示された分析部１０４の処理を示す概念図である。分析部１０４は、選出部１０３から出力された少なくとも１つの認識結果候補に基づいて、分析処理を行い、分析処理の処理結果を提示する。具体的には、分析部１０４は、センシングデータに含まれる複数の値それぞれが、選出部１０３から出力された少なくとも１つの認識結果候補それぞれの尤度に寄与する度合いを示す処理結果を提示する。ここでは、センシングデータは画像であり、処理結果は、認識結果候補の尤度に対する複数の画素値それぞれの寄与度を示す。
具体的には、分析部１０４は、識別結果に対する寄与度の導出と同様に、ＰＤＡ、ＬＩＭＥ、Ｇｒａｄ－ＣＡＭ、及び、Ｇ Ｂａｃｋ Ｐｒｏｐ等と呼ばれる複数の方法のいずれかを用いて、認識結果候補の尤度に対する寄与度を導出する。そして、分析部１０４は、寄与度を示す処理結果を分析部１０４が備える画面等に提示する。
この例では、正の寄与度として、認識結果候補の尤度に肯定的に寄与した度合いが点の密度で表現されている。認識結果候補の尤度に肯定的に寄与した度合いは、画素毎に色の濃度等で表現されてもよい。具体的には、犬の頭が映る部分、及び、入力画像において犬の尾が映る部分が、認識結果候補の尤度に肯定的に寄与している。つまり、犬の頭が映る部分、及び、犬の尾が映る部分が、認識結果候補の尤度が高くなる方向へ導いている。
また、負の寄与度として、認識結果候補の尤度に否定的に寄与した度合いが点の密度で表現されている。認識結果候補の尤度に否定的に寄与した度合いは、画素毎に色の濃度等で表現されてもよい。具体的には、犬の前足が映る部分が、認識結果候補の尤度に否定的に寄与している。つまり、犬の前足が映る部分は、認識結果候補の尤度が低くなる方向へ導いている。
また、ここでは、正の寄与度と負の寄与度とが分けられて表現されているが、正の寄与度と負の寄与度とが組み合わされて表現されてもよい。例えば、赤色の濃度で、認識結果候補の尤度に肯定的に寄与した度合いが表現され、青色の濃度で、認識結果候補の尤度に否定的に寄与した度合いが表現されてもよい。
また、分析部１０４は、複数の認識結果候補それぞれに対して分析処理を行って処理結果を提示することにより、複数の認識結果候補に対して複数の処理結果を提示してもよい。あるいは、分析部１０４は、複数の認識結果候補に対して得られる複数の処理結果を統合して、１つの処理結果を提示してもよい。
なお、上述した情報処理システム１００は、画像に対する複数種の物体の検出処理に適用され得る。また、図１０～図２０では認識処理として物体検出処理が用いられているが、セグメンテーション処理のようなその他の認識処理が用いられてもよい。
以上、情報処理システム１００の態様を実施の形態等に基づいて説明したが、情報処理システム１００の態様は、実施の形態等に限定されない。実施の形態等に対して当業者が思いつく変形が施されてもよいし、実施の形態等における複数の構成要素が任意に組み合わされてもよい。例えば、実施の形態等において特定の構成要素によって実行される処理を特定の構成要素の代わりに別の構成要素が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
また、情報処理システム１００の各構成要素が行うステップを含む情報処理方法が任意の装置又はシステムによって実行されてもよい。例えば、情報処理方法は、プロセッサ、メモリおよび入出力回路等を備えるコンピュータ（コンピュータ１１０又は他のコンピュータ）によって実行されてもよい。その際、コンピュータに情報処理方法を実行させるためのプログラムがコンピュータによって実行されることにより、情報処理方法が実行されてもよい。
また、非一時的なコンピュータ読み取り可能な記録媒体に、プログラムが記録されていてもよい。
例えば、上記のプログラムは、コンピュータに、機械学習で訓練されたモデルであって認識処理を実行するモデルにセンシングデータを入力して得られる、前記センシングデータ上の複数の認識結果候補、及び、前記複数の認識結果候補それぞれの尤度を取得し、前記センシングデータのうちの分析対象の部分を指定する指示を取得し、前記複数の認識結果候補それぞれと前記部分との関係、及び、前記複数の認識結果候補それぞれの前記尤度に基づいて、前記複数の認識結果候補から少なくとも１つの認識結果候補を選出し、選出された前記少なくとも１つの認識結果候補を出力する情報処理方法を実行させる。
また、情報処理システム１００の複数の構成要素は、専用のハードウェアで構成されてもよいし、上記のプログラム等を実行する汎用のハードウェアで構成されてもよいし、これらの組み合わせで構成されてもよい。また、汎用のハードウェアは、プログラムが記録されたメモリ、及び、メモリからプログラムを読み出して実行する汎用のプロセッサ等で構成されてもよい。ここで、メモリは、半導体メモリ又はハードディスク等でもよいし、汎用のプロセッサは、ＣＰＵ等でもよい。
また、専用のハードウェアが、メモリ及び専用のプロセッサ等で構成されてもよい。例えば、専用のプロセッサが、認識モデルの情報が記録されたメモリを参照して、上記の情報処理方法を実行してもよい。
また、情報処理システム１００の各構成要素は、電気回路であってもよい。これらの電気回路は、全体として１つの電気回路を構成してもよいし、それぞれ別々の電気回路であってもよい。また、これらの電気回路は、専用のハードウェアに対応していてもよいし、上記のプログラム等を実行する汎用のハードウェアに対応していてもよい。
以下、本開示の一態様における情報処理システム１００の基本的な構成及び代表的な変形例等を示す。これらは、互いに組み合わされてもよいし、上記の実施の形態等の一部と組み合わされてもよい。
（１）本開示の一態様における情報処理方法では、コンピュータ１１０が、モデルにセンシングデータを入力して得られる、センシングデータ上の複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を取得する（Ｓ１０２）。ここで、モデルは、機械学習で訓練されたモデルであって認識処理を実行するモデルである。
また、コンピュータ１１０は、センシングデータのうちの分析対象の部分を指定する指示を取得する（Ｓ１０３）。そして、コンピュータ１１０は、複数の認識結果候補それぞれと、分析対象の部分との関係、及び、複数の認識結果候補それぞれの尤度に基づいて、複数の認識結果候補から少なくとも１つの認識結果候補を選出する（Ｓ１０４）。そして、コンピュータ１１０は、選出された少なくとも１つの認識結果候補を出力する（Ｓ１０５）。
これにより、認識処理において有効な認識結果が得られない場合であっても、指定された部分に基づいて、分析処理等に有用な認識結果候補を出力することが可能になる。すなわち、認識処理において物体が検出されない場合であっても認識処理の出力の分析のための情報の出力が可能になる。
（２）例えば、コンピュータ１１０は、出力された少なくとも１つの認識結果候補に基づいて処理結果を提示する。これにより、選出された認識結果候補に基づく分析処理等の処理結果を提示することが可能になる。
（３）例えば、処理結果は、センシングデータに含まれる複数の値それぞれが、出力された少なくとも１つの認識結果候補それぞれの尤度に寄与する度合いを示す。これにより、選出された認識結果候補に対して、センシングデータにおける複数の値それぞれの寄与度を提示することが可能になる。
（４）例えば、複数の認識結果候補それぞれと、分析対象の部分との関係は、複数の認識結果候補それぞれと、分析対象の部分との重複の有無、及び、複数の認識結果候補それぞれと、分析対象の部分との重複の程度のうち少なくとも１つである。これにより、指定された部分に対する重複の有無又は程度に基づいて選出された認識結果候補を出力することが可能になる。
（５）例えば、複数の認識結果候補から選出される少なくとも１つの認識結果候補それぞれは、複数の認識結果候補のうち、尤度が閾値よりも高い認識結果候補である。これにより、尤度が高い認識結果候補を選出することが可能になり、より有用な認識結果候補を出力することが可能になる。
（６）例えば、複数の認識結果候補から、関係、尤度及び閾値に基づいて選出される認識結果候補の数が所定数以下である場合、コンピュータ１１０は、閾値を下げる。そして、コンピュータ１１０は、関係、尤度、及び、下げられた閾値に基づいて、少なくとも１つの認識結果候補を選出する。
ここで、関係は、複数の認識結果候補それぞれと、分析対象の部分との関係であり、尤度は、複数の認識結果候補それぞれの尤度であり、閾値は、少なくとも１つの認識結果候補を選出するための閾値である。
これにより、閾値よりも尤度が高い認識結果候補が存在しない場合等において、閾値を下げ、下げられた閾値よりも尤度が高い認識結果候補を選出することが可能になる。なお、この所定数は、０であってもよいし、１であってもよいし、２以上の数であってもよい。
（７）例えば、コンピュータ１１０は、選出された少なくとも１つの認識結果候補それぞれの尤度を出力する。これにより、分析処理等に有用な情報として、選出された認識結果候補の尤度を出力することが可能になる。
（８）例えば、センシングデータは、画像であり、認識処理は、画像上の物体認識処理であり、複数の認識結果候補それぞれは、画像に映る物体の候補である。これにより、画像上の物体認識処理に関して、画像に映る物体の候補を出力することが可能になる。
（９）本開示の一態様における情報処理システム１００は、コンピュータ１１０を備える。コンピュータ１１０は、機械学習で訓練されたモデルであって認識処理を実行するモデルにセンシングデータを入力して得られる、センシングデータ上の複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を取得する（Ｓ１０２）。
また、コンピュータ１１０は、センシングデータのうちの分析対象の部分を指定する指示を取得する（Ｓ１０３）。そして、コンピュータ１１０は、複数の認識結果候補それぞれと、分析対象の部分との関係、及び、複数の認識結果候補それぞれの尤度に基づいて、複数の認識結果候補から少なくとも１つの認識結果候補を選出する（Ｓ１０４）。そして、コンピュータ１１０は、選出された少なくとも１つの認識結果候補を出力する（Ｓ１０５）。
これにより、情報処理システム１００は、認識処理において有効な認識結果が得られない場合であっても、指定された部分に基づいて、分析処理等に有用な認識結果候補を出力することができる。すなわち、情報処理システム１００は、認識処理において物体が検出されない場合であっても認識処理の出力の分析のための情報を出力することができる。
本開示は、認識処理を分析するための情報の出力に利用可能であり、認識システム又は分析システムを改善するための情報処理システム等に適用可能である。
１００ 情報処理システム
１０１ 認識部
１０２ 指定部
１０３ 選出部
１０４ 分析部
１１０ コンピュータ

Claims (6)

  1. コンピュータが、
    機械学習で訓練されたモデルであって認識処理を実行するモデルにセンシングデータを入力して得られる、前記センシングデータ上の複数の認識結果候補、及び、前記複数の認識結果候補それぞれの尤度を取得し、
    前記センシングデータのうちの分析対象の部分を指定する指示を取得し、
    前記複数の認識結果候補それぞれと前記部分との関係、及び、前記複数の認識結果候補それぞれの前記尤度に基づいて、前記複数の認識結果候補から少なくとも１つの認識結果候補を選出し、
    選出された前記少なくとも１つの認識結果候補を出力し、
    前記関係とは、前記複数の認識結果候補それぞれと前記部分との重複の有無であり、
    前記複数の認識結果候補から選出される前記少なくとも１つの認識結果候補は、前記複数の認識結果候補のうち、前記尤度が閾値よりも高く、かつ指定された前記部分に対し重複がある認識結果候補であり、
    前記コンピュータが、
    前記複数の認識結果候補から前記関係、前記尤度及び前記閾値に基づいて選出される認識結果候補の数が所定数以下である場合、前記閾値を下げ、
    前記関係、前記尤度、及び、下げられた前記閾値に基づいて、前記少なくとも１つの認識結果候補を選出する
    情報処理方法。
  2. さらに、前記コンピュータが、出力された前記少なくとも１つの認識結果候補に基づいて処理結果を提示する
    請求項１に記載の情報処理方法。
  3. 前記処理結果は、前記センシングデータに含まれる複数の値それぞれが、出力された前記少なくとも１つの認識結果候補それぞれの前記尤度に寄与する度合いを示す
    請求項２に記載の情報処理方法。
  4. さらに、前記コンピュータが、選出された前記少なくとも１つの認識結果候補それぞれの前記尤度を出力する
    請求項１～３のいずれか１項に記載の情報処理方法。
  5. 前記センシングデータは、画像であり、
    前記認識処理は、前記画像上の物体認識処理であり、
    前記複数の認識結果候補それぞれは、前記画像に映る物体の候補である
    請求項１～４のいずれか１項に記載の情報処理方法。
  6. 機械学習で訓練されたモデルであって認識処理を実行するモデルにセンシングデータを入力して得られる、前記センシングデータ上の複数の認識結果候補、及び、前記複数の認識結果候補それぞれの尤度を取得し、
    前記センシングデータのうちの分析対象の部分を指定する指示を取得し、
    前記複数の認識結果候補それぞれと前記部分との関係、及び、前記複数の認識結果候補それぞれの前記尤度に基づいて、前記複数の認識結果候補から少なくとも１つの認識結果候補を選出し、
    選出された前記少なくとも１つの認識結果候補を出力するコンピュータを備え、
    前記関係とは、前記複数の認識結果候補それぞれと前記部分との重複の有無であり、
    前記複数の認識結果候補から選出される前記少なくとも１つの認識結果候補は、前記複数の認識結果候補のうち、前記尤度が閾値よりも高く、かつ指定された前記部分に対し重複がある認識結果候補であり、
    前記コンピュータは、さらに、
    前記複数の認識結果候補から前記関係、前記尤度及び前記閾値に基づいて選出される認識結果候補の数が所定数以下である場合、前記閾値を下げ、
    前記関係、前記尤度、及び、下げられた前記閾値に基づいて、前記少なくとも１つの認識結果候補を選出する
    情報処理システム。
JP2019076509A 2018-09-07 2019-04-12 情報処理方法及び情報処理システム Active JP7287823B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201980005088.7A CN111213180A (zh) 2018-09-07 2019-07-10 信息处理方法以及信息处理系统
PCT/JP2019/027259 WO2020049864A1 (ja) 2018-09-07 2019-07-10 情報処理方法及び情報処理システム
EP19857798.3A EP3848889A4 (en) 2018-09-07 2019-07-10 INFORMATION PROCESSING PROCESS AND SYSTEM
US16/849,334 US11449706B2 (en) 2018-09-07 2020-04-15 Information processing method and information processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862728418P 2018-09-07 2018-09-07
US62/728,418 2018-09-07

Publications (2)

Publication Number Publication Date
JP2020042765A JP2020042765A (ja) 2020-03-19
JP7287823B2 true JP7287823B2 (ja) 2023-06-06

Family

ID=69798467

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019076509A Active JP7287823B2 (ja) 2018-09-07 2019-04-12 情報処理方法及び情報処理システム

Country Status (4)

Country Link
US (1) US11449706B2 (ja)
EP (1) EP3848889A4 (ja)
JP (1) JP7287823B2 (ja)
CN (1) CN111213180A (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325494B (zh) * 2018-08-27 2021-09-17 腾讯科技（深圳）有限公司 图片处理方法、任务数据处理方法和装置
US11636331B2 (en) * 2019-07-09 2023-04-25 International Business Machines Corporation User explanation guided machine learning
US12387361B2 (en) * 2020-01-17 2025-08-12 Sony Semiconductor Solutions Corporation Information processing to appropriately interpret a recognition result of an object recognition model
WO2021215005A1 (ja) * 2020-04-24 2021-10-28 富士通株式会社 解析装置及び解析プログラム
WO2021215006A1 (ja) * 2020-04-24 2021-10-28 富士通株式会社 解析装置及び解析プログラム
US12072957B2 (en) 2020-05-28 2024-08-27 Nec Corporation Data classification system, data classification method, and recording medium
JP2022118467A (ja) * 2021-02-02 2022-08-15 日本放送協会 分類装置およびプログラム
JP7700068B2 (ja) * 2022-03-10 2025-06-30 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP7683814B2 (ja) * 2022-03-16 2025-05-27 日本電気株式会社 情報処理装置、情報処理方法、及び記録媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002074368A (ja) 2000-08-25 2002-03-15 Matsushita Electric Ind Co Ltd 移動物体認識追跡装置
JP2013125524A (ja) 2011-12-16 2013-06-24 Hitachi High-Technologies Corp 学習用装置、および、遺伝子学習方法
JP2018010626A (ja) 2016-06-30 2018-01-18 キヤノン株式会社 情報処理装置、情報処理方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408742B (zh) * 2014-10-29 2017-04-05 河海大学 一种基于空间‑时间频谱联合分析的运动目标检测方法
US10192129B2 (en) * 2015-11-18 2019-01-29 Adobe Systems Incorporated Utilizing interactive deep learning to select objects in digital visual media
US10032072B1 (en) * 2016-06-21 2018-07-24 A9.Com, Inc. Text recognition and localization with deep learning
CN106934346B (zh) * 2017-01-24 2019-03-15 北京大学 一种目标检测性能优化的方法
WO2018232378A1 (en) * 2017-06-16 2018-12-20 Markable, Inc. Image processing system
CN108345890B (zh) * 2018-03-01 2022-10-28 腾讯科技（深圳）有限公司 图像处理方法、装置和相关设备
US10902051B2 (en) * 2018-04-16 2021-01-26 Microsoft Technology Licensing, Llc Product identification in image with multiple products
EP3741102A4 (en) * 2018-04-23 2020-11-25 Guangdong Oppo Mobile Telecommunications Corp., Ltd. AUTOMATIC FRAME FREQUENCY SWITCHING PROCESSES FOR CAPTURE AND PLAYBACK OF VIDEO

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002074368A (ja) 2000-08-25 2002-03-15 Matsushita Electric Ind Co Ltd 移動物体認識追跡装置
JP2013125524A (ja) 2011-12-16 2013-06-24 Hitachi High-Technologies Corp 学習用装置、および、遺伝子学習方法
JP2018010626A (ja) 2016-06-30 2018-01-18 キヤノン株式会社 情報処理装置、情報処理方法

Also Published As

Publication number Publication date
US11449706B2 (en) 2022-09-20
CN111213180A (zh) 2020-05-29
US20200242398A1 (en) 2020-07-30
EP3848889A4 (en) 2021-11-03
JP2020042765A (ja) 2020-03-19
EP3848889A1 (en) 2021-07-14

Similar Documents

Publication Publication Date Title
JP7287823B2 (ja) 情報処理方法及び情報処理システム
CN107766839B (zh) 基于3d卷积神经网络的动作识别方法和装置
WO2018099194A1 (zh) 一种字符识别方法及装置
KR20210107667A (ko) 이미지 분할 방법 및 장치, 전자 기기 및 저장 매체
CN107392141B (zh) 一种基于显著性检测和lsd直线检测的机场提取方法
CN113887605A (zh) 形状自适应的旋转目标检测方法、系统、介质及计算设备
KR102161052B1 (ko) 영상에서 객체를 분리하는 방법 및 장치.
EP2980755A1 (en) Method for partitioning area, and inspection device
JP7156515B2 (ja) 点群アノテーション装置、方法、及びプログラム
CN111382637A (zh) 行人检测跟踪方法、装置、终端设备及介质
CN110222641A (zh) 用于识别图像的方法和装置
US11769322B2 (en) Program creation device, object detection system, anchor setting method, and anchor setting program
JP2018206260A (ja) 画像処理システム、評価モデル構築方法、画像処理方法及びプログラム
JP6255944B2 (ja) 画像解析装置、画像解析方法及び画像解析プログラム
CN112740201B (zh) 墨水数据生成装置、方法及程序产品
CN113850264A (zh) 评估目标检测模型的方法和系统
CN109544516B (zh) 图像检测方法及装置
JP7016680B2 (ja) 生体情報処理装置、生体情報処理方法およびプログラム
CN116246161B (zh) 领域知识引导下的遥感图像目标精细类型识别方法及装置
JP2022182149A (ja) 情報処理装置、画像処理方法
US11164036B2 (en) Human-assisted machine learning through geometric manipulation and refinement
CN115690554A (zh) 目标识别方法、系统、电子设备及存储介质
CN114037865B (zh) 图像处理方法、装置、设备、存储介质和程序产品
KR101967858B1 (ko) 3d 깊이 이미지 기반 객체 분리 장치 및 그 방법
KR20200005853A (ko) 심층 구조 학습 기반 사람 계수 방법 및 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230525

R150 Certificate of patent or registration of utility model

Ref document number: 7287823

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150