JP7285203B2 - 生成装置、データ解析システム、生成方法、および生成プログラム - Google Patents

生成装置、データ解析システム、生成方法、および生成プログラム Download PDF

Info

Publication number
JP7285203B2
JP7285203B2 JP2019215695A JP2019215695A JP7285203B2 JP 7285203 B2 JP7285203 B2 JP 7285203B2 JP 2019215695 A JP2019215695 A JP 2019215695A JP 2019215695 A JP2019215695 A JP 2019215695A JP 7285203 B2 JP7285203 B2 JP 7285203B2
Authority
JP
Japan
Prior art keywords
inference
data
analysis target
result
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019215695A
Other languages
English (en)
Other versions
JP2021086451A (ja
Inventor
敦 根尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2019215695A priority Critical patent/JP7285203B2/ja
Priority to EP20893600.5A priority patent/EP4068201B1/en
Priority to US17/779,367 priority patent/US12488258B2/en
Priority to PCT/JP2020/038295 priority patent/WO2021106387A1/ja
Publication of JP2021086451A publication Critical patent/JP2021086451A/ja
Application granted granted Critical
Publication of JP7285203B2 publication Critical patent/JP7285203B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/259—Fusion by voting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7796—Active pattern-learning, e.g. online learning of image or video features based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/817—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level by voting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)

Description

本発明は、教師データを生成する生成装置、データ解析システム、生成方法、および生成プログラムに関する。
本技術分野の背景技術として、下記特許文献１がある。下記特許文献１のデータ処理装置は、時系列データから特定タイミングにおけるデータである教師データ候補を抽出するデータ抽出部と、上記教師データ候補を分類可能なラベルと、上記教師データ候補とに基づいて、教師データを生成する教師データ生成部と、特定の上記教師データ候補と、当該特定の上記教師データ候補よりも上記時系列において前のタイミングにおける他の上記教師データ候補との間の変化の程度に基づいて、該特定の上記教師データ候補と当該他の上記教師データ候補との間に存在する上記時系列データから、教師データ候補を更に抽出する教師データ補完部と、を備え、上記教師データ作成部は、上記抽出された教師データ候補に対してラベルを付与し、そのデータを上記教師データに追加する。
特開２０１６－０７６０７３号公報
機械学習を用いた画像解析装置では、一般に高い認識精度を実現するため膨大な量の教師データが必要になる。教師データは、たとえば、解析対象の画像に人手による解析結果を付帯させることで生成するが、この手法では教師データの生成に多くの工数を要する。この課題に対して、上記特許文献１に記載された技術では教師データセット生成部の認識精度によって生成される教師データの品質は左右され、精度の低い教師データセット生成部を用いては、品質の悪い教師データを生成する可能性が生じる。
本発明は、教師データセットの品質向上を図ることを目的とする。
本願において開示される発明の一側面となる生成装置は、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する生成装置であって、前記プロセッサは、複数の推論モデルに同一の解析対象データを入力し、前記複数の推論モデルから前記解析対象データに含まれる同一の物体に関する複数の推論結果を出力する推論処理と、前記推論処理によって出力された複数の推論結果の中から、前記複数の推論結果に基づいて、特定の推論結果を判別する判別処理と、前記判別処理によって判別された特定の推論結果と、前記解析対象データと、を含む教師データセットを生成する生成処理と、を実行することを特徴とする。
本発明の代表的な実施の形態によれば、教師データセットの品質向上を図ることができる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
図１は、実施例１にかかるデータ解析システムのシステム構成例を示す説明図である。 図２は、コンピュータのハードウェア構成例を示すブロック図である。 図３は、解析環境例１を示す説明図である。 図４は、解析環境例２を示す説明図である。 図５は、実施例１にかかるエッジシステムの機能的構成例を示すブロック図である。 図６は、実施例１にかかる生成装置の機能的構成例を示すブロック図である。 図７は、実施例１にかかる生成装置の動作例を示す説明図である。 図８は、教師データ判別部に蓄積された複数フレーム分の推論結果のデータ構造の一例を示す説明図である。 図９は、骨格検出結果の具体例を示す説明図である。 図１０は、実施例１にかかるデータ解析システムの動作シーケンス例１を示すシーケンス図である。 図１１は、実施例１にかかるデータ解析システムの動作シーケンス例２を示すシーケンス図である。 図１２は、図１１に示した学習処理（ステップＳ１１０６）の詳細な処理手順例を示すフローチャートである。 図１３は、解析環境例３を示す説明図である。 図１４は、実施例２にかかる生成装置の機能的構成例を示すブロック図である。
以下、本発明に係る実施の形態を図面に基づいて説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。また、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、「Ａからなる」、「Ａよりなる」、「Ａを有する」、「Ａを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。
本明細書等における「第１」、「第２」、「第３」などの表記は、構成要素を識別するために付するものであり、必ずしも、数、順序、もしくはその内容を限定するものではない。また、構成要素の識別のための番号は文脈毎に用いられ、一つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。
図面等において示す各構成の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面等に開示された位置、大きさ、形状、範囲などに限定されない。
＜データ解析システム＞
図１は、実施例１にかかるデータ解析システムのシステム構成例を示す説明図である。データ解析システム１００は、中央管理装置１０１と、生成装置１０２と、１以上のエッジシステム１０３と、を有する。中央管理装置１０１、生成装置１０２およびエッジシステム１０３は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ），ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ），インターネットなどのネットワーク１０４を介して通信可能である。
中央管理装置１０１は、エッジシステム１０３を管理する。具体的には、たとえば、中央管理装置１０１は、エッジシステム１０３から取得したデータに基づいて、エッジシステム１０３に制御データを送信することにより、エッジシステム１０３を制御する。なお、中央管理装置１０１は、オペレータ１１０の判断により、エッジシステム１０３を制御してもよい。
生成装置１０２は、エッジシステム１０３からの解析対象データを複数の推論モデルに与えて教師データを推論する。そして、生成装置１０２は、複数の推論モデルからの推論結果のうち最適な推論結果を教師データとすることにより学習モデルを生成する。生成装置１０２は、生成した学習モデルをエッジシステム１０３に配備する。
エッジシステム１０３は、エッジ管理装置１３１と、複数のエッジ装置１３２と、を有する。エッジ管理装置１３１は、複数のエッジ装置１３２を管理する。エッジ管理装置１３１は、ＬＡＮ，ＷＡＮ，インターネットなどの情報制御ネットワーク１３３を介して複数のエッジ装置１３２と通信可能である。エッジ管理装置１３１は、解析対象データが取得される解析環境に配置され、エッジ装置１３２はそれぞれ、解析環境の特定の箇所に配置される。解析環境は、たとえば、工場または電車である。
エッジ装置１３２は、センサ１３４を有する。センサ１３４は、解析環境から解析対象データを検出する。センサ１３４は、たとえば、静止画または動画を撮像するカメラである。また、センサ１３４は、音声や匂いを検出してもよい。エッジ装置１３２は、センサ１３４が検出した解析対象データをセンサ１３４から取得して、エッジ管理装置１３１に渡す。
エッジ装置１３２は、生成装置１０２から配備された学習モデルに解析対象データを入力することで、解析対象データを推論し、推論結果をエッジ管理装置１３１に送信する。解析環境が工場である場合、エッジ管理装置１３１は、推論結果を用いて、工場内での作業員の作業監視や、製品の欠陥検査などに適用可能である。解析環境が電車である場合、エッジ管理装置１３１は、推論結果を用いて、電車内での乗客の監視や車内設備の監視、火災などの災害検知などに適用可能である。
また、エッジ装置１３２は、解析対象データを、エッジ管理装置１３１を介して生成装置１０２に送信する。これにより、生成装置１０２は、エッジシステム１０３からの解析対象データを複数の推論モデルに与えて教師データを推論することが可能になる。
なお、中央管理装置１０１、生成装置１０２、エッジ管理装置１３１、およびエッジ装置１３２のうち少なくとも２つは、一つのコンピュータで実現されてもよい。中央管理装置１０１、生成装置１０２、エッジ管理装置１３１、およびエッジ装置１３２の機能ごとに、複数のコンピュータの各々で当該機能の処理が実行されてもよい。
＜コンピュータのハードウェア構成例＞
図２は、コンピュータ（中央管理装置１０１、生成装置１０２、エッジ管理装置１３１、およびエッジ装置１３２）のハードウェア構成例を示すブロック図である。コンピュータ２００は、プロセッサ２０１と、記憶デバイス２０２と、入力デバイス２０３と、出力デバイス２０４と、通信インターフェース（通信ＩＦ）２０５と、を有する。プロセッサ２０１、記憶デバイス２０２、入力デバイス２０３、出力デバイス２０４、および通信ＩＦ２０５は、バス２０６により接続される。プロセッサ２０１は、コンピュータ２００を制御する。記憶デバイス２０２は、プロセッサ２０１の作業エリアとなる。また、記憶デバイス２０２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス２０２としては、たとえば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリがある。入力デバイス２０３は、データを入力する。入力デバイス２０３としては、たとえば、キーボード、マウス、タッチパネル、テンキー、スキャナがある。出力デバイス２０４は、データを出力する。出力デバイス２０４としては、たとえば、ディスプレイ、プリンタがある。通信ＩＦ２０５は、ネットワークと接続し、データを送受信する。
＜解析環境＞
図３は、解析環境例１を示す説明図である。解析環境例１は、工場３００内である。工場３００内には、たとえば、作業員３０１と、作業ロボット３０２と、作業レーン３０３と、が存在する。また、センサ１３４の一例として監視カメラ（以降、監視カメラ１３４）も存在する。
監視カメラ１３４は、工場３００内の作業員３０１、作業ロボット３０２、および作業レーン３０３を撮像する。監視カメラ１３４は、撮像した工場３００内の静止画または動画を解析対象データとして、接続先のエッジ装置１３２に送信する。エッジ装置１３２は、解析対象データを推論して、推論結果を解析対象データの撮像時刻とともに、エッジ管理装置１３１に送信する。これにより、エッジ管理装置１３１は、推論結果を用いて、工場３００内での作業員の作業監視や、製品の欠陥検査を行うことができる。
図４は、解析環境例２を示す説明図である。解析環境例２は、電車４０１内である。電車４０１（他の電車４０２も同様）は、電車４０１を操作する運転台４１１と、出入口４１２と、座席４１３と、エッジ管理装置１３１と、エッジ装置１３２と、無線送受信機４１４と、情報制御ネットワーク１３３と、監視カメラ１３４と、を有する。無線送受信機４１４は、エッジ管理装置１３１と他の電車４０２や中央管理装置１０１とを相互に通信可能に接続する。
監視カメラ１３４は、撮像した電車４０１内の静止画または動画を解析対象データとして、接続先のエッジ装置１３２に送信する。エッジ装置１３２は、解析対象データを推論して、推論結果を解析対象データの撮像時刻とともに、エッジ管理装置１３１を介して中央管理装置１０１に送信する。
エッジ管理装置１３１は、推論結果から、たとえば、電車４０１内で人４１５が倒れるなどの電車４０１内の異常を判断し、判断結果を電車４０１内の乗務員４１６に、電車４０１内のスピーカで、または、乗務員４１６が携行する端末に通知することができる。通知を受けた乗務員４１６は、救護などの適切な対応を行う。また、エッジ管理装置１３１は、推論結果から、たとえば、他の電車４０２を止める必要のある救護の可能性を判断し、判断結果を示す管理データを中央管理装置１０１に送信する。
中央管理装置１０１は、この判断結果に基づいて、運行停止の必要な他の電車４０２を特定し、特定した他の電車４０２のエッジ管理装置１３１に電車停止の制御データを送信する。他の電車４０２内のエッジ管理装置１３１は、運行停止を乗務員４１６に通知したり、他の電車４０２の運行停止の制御を実行したりする。
なお、中央管理装置１０１は、判断結果に基づいて、電車停止の制御データを自動的に生成してもよく、判断結果を表示した結果、オペレータ１１０の判断により、電車停止の制御データを生成してもよい。
また、エッジ装置１３２からの推論結果やエッジ管理装置１３１の判断対象は、救護の要否に限定されず、たとえば、電車４０１内の乗客同士の喧嘩などのトラブルや、窓や出入口などの電車部品の破損、電車４０１内の火災などでもよい。
また、無線送受信機４１４の通信帯域が所定帯域よりも低い場合がある。このような場合、エッジ管理装置１３１と生成装置１０２との間の通信ではなく、エッジ管理装置１３１内のデータを可搬な記憶デバイス２０２に格納して、当該記憶デバイス２０２をメンテナンス員４３０が持ち運び、生成装置１０２に接続する。同様に、生成装置１０２内のデータを可搬な記憶デバイス２０２に格納して、当該記憶デバイス２０２をメンテナンス員４３０が持ち運び、エッジ管理装置１３１に接続する。
ただし、無線送受信機４１４の通信帯域が所定帯域以上ある場合には、メンテナンス員４３０による記憶デバイス２０２の持ち運びではなく、無線送受信機４１４を介したデータの送受信が実行されてもよい。
同様に、電車４０１が車庫に入ったとき、電車４０１のメンテナンスのとき、または電車４０１が駅に停車したときにおいて、専用の高速な通信路を構築可能である場合には、メンテナンス員４３０による記憶デバイス２０２の持ち運びではなく、無線送受信機４１４を介したデータの送受信が実行されてもよい。また、エッジシステム１０３の適用先は電車４０１のみに限らず、たとえば、バス、飛行機、船舶など別の移動手段に適用可能である。
＜エッジシステム１０３の機能的構成例＞
図５は、実施例１にかかるエッジシステム１０３の機能的構成例を示すブロック図である。エッジ装置１３２は、データ取得部５０１と、蓄積制御部５０２と、エッジ情報推論部５０３と、を有する。データ取得部５０１、蓄積制御部５０２、およびエッジ情報推論部５０３は、具体的には、たとえば、記憶デバイス２０２に記憶されたプログラムをプロセッサ２０１に実行させることにより実現される機能である。
データ取得部５０１は、センサ１３４によって検出された解析対象データを取得する。データ取得部５０１は、取得した解析対象データを蓄積制御部５０２およびエッジ情報推論部５０３に出力する。
蓄積制御部５０２は、解析対象データに容量圧縮や暗号化を施すことで解析対象データを所定の形式に変換する。蓄積制御部５０２は、たとえば、解析対象データが動画像であれば、フレーム単位の動画形式に変換し、解析対象データが静止画であれば１フレームの静止画像形式に変換する。蓄積制御部５０２は、変換の際、解析対象データの取得時刻を解析対象データに追加してもよい。蓄積制御部５０２は、情報制御ネットワークを介して解析対象データをエッジ管理装置１３１のデータ蓄積部に送信する。
また、蓄積制御部５０２は、データ蓄積部５０４における当該エッジ装置１３２分の使用容量も管理し、当該使用容量が所定容量に達した場合には、新たなデータの蓄積を中止する処理や、取得時刻の古いデータから順に削除する処理を実行してもよい。
エッジ情報推論部５０３は、解析対象データから物体および物体の行動を推論し、推論結果を、情報制御ネットワーク１３３を介してエッジ管理部５０６に送信する。エッジ情報推論部５０３による推論は、生成装置１０２から与えられた学習モデルに解析対象データを入力することにより実行される。また、エッジ情報推論部５０３は、推論結果を、情報制御ネットワーク１３３を介してデータ蓄積部５０４に送信してもよい。
エッジ管理装置１３１は、データ蓄積部５０４と、学習モデル配備部５０５と、エッジ管理部５０６と、を有する。データ蓄積部５０４、学習モデル配備部５０５およびエッジ管理部５０６は、具体的には、たとえば、記憶デバイス２０２に記憶されたプログラムをプロセッサ２０１に実行させることにより実現される機能である。
データ蓄積部５０４は、蓄積制御部５０２から出力される解析対象データと、エッジ情報推論部５０３から出力される推論結果を記憶デバイス２０２に蓄積する。データ蓄積部５０４は、蓄積したデータを生成装置１０２に送信する。
なお、エッジ管理装置１３１と生成装置１０２との間の通信路がリアルタイムに形成され、当該通信路により、データ蓄積部５０４に蓄積されたデータが、生成装置１０２に送信される。また、エッジ管理装置１３１と生成装置１０２との間の通信路が一定期間だけ通信可能であり、その際に、データ蓄積部５０４に蓄積されたデータがまとめて、生成装置１０２に送信されてもよい。
また、エッジ管理装置１３１と生成装置１０２との間の通信路が形成されない場合、メンテナンス員４３０がデータ蓄積部５０４に接続された記憶デバイス２０２を抜脱し、生成装置１０２に持ち運んで、生成装置１０２に接続してもよい。この場合、メンテナンス員４３０は、別の記憶デバイス２０２をデータ蓄積部５０４に接続する。
学習モデル配備部５０５は、生成装置１０２によって生成された学習モデルを、情報制御ネットワーク１３３を介してエッジ情報推論部５０３に出力し、学習モデルを推論モデルとして配備する。これにより、エッジ情報推論部５０３は、新たに配備された推論モデルを用いて、センサ１３４からの解析対象データから現在の物体およびその物体の行動を推論することができる。
エッジ管理部５０６は、エッジ情報推論部５０３からの推論結果に基づいて、上述した解析環境の異常を判断する。そして、エッジ管理部５０６は、異常ありと判断した場合に、異常ありを示す管理データを中央管理装置１０１に送信する。また、エッジ管理部５０６は、中央管理装置１０１からの制御データに応じた処理を実行する。たとえば、上述したように、エッジ管理部５０６は、電車停止を乗務員に通知したり、運行停止の制御を実行したりする。
＜生成装置１０２の機能的構成例＞
図６は、実施例１にかかる生成装置１０２の機能的構成例を示すブロック図である。生成装置１０２は、教師データ推論部６０１と、教師データ判別部６０２と、教師データセット生成部６０３と、学習モデル決定部６０４と、学習部６０５と、学習モデル判定部６０６と、を有する。
教師データ推論部６０１、教師データ判別部６０２、教師データセット生成部６０３、学習モデル決定部６０４、学習部６０５、および学習モデル判定部６０６は、具体的には、たとえば、記憶デバイス２０２に記憶されたプログラムをプロセッサ２０１に実行させることにより実現される機能である。
教師データ推論部６０１は、予め用意された学習済みの複数の推論モデル７０１の各々に、解析対象データを入力し、複数の推論モデル７０１の各々からの推論結果７０２を、教師データ判別部６０２に出力する。教師データ推論部６０１の詳細は、図７で後述する。
教師データ判別部６０２は、教師データ推論部６０１からの複数の推論結果７０２の各々について、教師データとして適切かを判別し、適切と判別された特定の推論結果７０２を教師データとして教師データセット生成部６０３に出力する。また、教師データ判別部６０２は、教師データの生成元となる特定の推論モデル７０１を、学習モデル決定部６０４に出力する。教師データ判別部６０２の詳細は、図７および図８で後述する。
教師データセット生成部６０３は、教師データ判別部６０２から逐次入力されてくる教師データを集約し、教師データセットとして、学習部６０５に出力する。教師データセット生成部６０３の詳細は、図７で後述する。
学習モデル決定部６０４は、教師データ判別部６０２から逐次入力されてくる複数の特定の推論モデルから、学習部６０５に出力する特定の推論モデル（以下、学習モデル）を決定する。学習モデル決定部６０４の詳細は、図７で後述する。
学習部６０５は、教師データセット生成部６０３によって生成された教師データセットと、学習モデル決定部６０４によって決定された学習モデルと、を用いて、たとえば、深層学習のような機械学習により、教師データセットを推論可能になるよう学習モデルに学習させ、学習モデルを学習モデル判定部６０６に出力する。
教師データセットの特定の推論結果と、教師データセットを用いた学習中の特定の推論モデル７０１から得られるあらたな推論結果と、の誤差を出力する関数が、損失関数である。学習部６０５は、損失関数が小さくなるよう学習を繰り返す。また、学習部６０５は、損失関数も学習モデル判定部６０６に出力する。
学習モデル判定部６０６は、学習部６０５での学習には用いられていないテストデータを保有する。学習モデル判定部６０６は、このテストデータを用いた学習モデルの推論確度と、損失関数と、を用いて、学習モデルの合否を判定する。学習モデルが合格した場合は、学習モデル判定部６０６は、学習モデルをエッジ管理装置１３１の学習モデル配備部５０５に出力する。
具体的には、たとえば、学習モデル判定部６０６は、テストデータを学習モデルに入力した場合に学習モデルから出力される学習結果に含まれる推論確度が、予め定められた推論確度以上であるか否かを判定する。予め定められた推論確度以上であれば、学習モデル判定部６０６は、学習モデルが合格したとして、学習モデルをエッジ管理装置１３１の学習モデル配備部５０５に出力する。
また、学習モデル判定部６０６は、解析対象データを学習モデルに入力した場合に得られる推論結果と、テストデータを学習モデルに入力した場合に得られる学習結果と、を用いた損失関数の値が所定のしきい値以下であるか否かを判断する。所定のしきい値以下であれば、学習モデル判定部６０６は、学習モデルが合格したとして、学習モデルをエッジ管理装置１３１の学習モデル配備部５０５に出力する。
なお、学習モデル判定部６０６は、テストデータを用いた学習モデルの推論確度および損失関数のうち少なくとも一方を用いればよい。両方を用いる場合、学習モデル判定部６０６は、テストデータを学習モデルに入力した場合に学習モデルから出力される学習結果に含まれる推論確度が、予め定められた推論確度以上であり、かつ、上述した損失関数の値が所定のしきい値以下である場合に、学習モデル判定部６０６は、学習モデルが合格したとして、学習モデルをエッジ管理装置１３１の学習モデル配備部５０５に出力してもよい。
また、両方を用いる場合、学習モデル判定部６０６は、テストデータを学習モデルに入力した場合に学習モデルから出力される学習結果に含まれる推論確度が、予め定められた推論確度以上、または、上述した損失関数の値が所定のしきい値以下のいずれか一方を充足する場合に、学習モデル判定部６０６は、学習モデルが合格したとして、学習モデルをエッジ管理装置１３１の学習モデル配備部５０５に出力してもよい。
なお、学習モデルが合格しなかった場合は、学習モデル判定部６０６は、その旨を示すデータを出力する。この場合、教師データ判別部６０２は、以前判別に用いた手法とは別の手法で、教師データ推論部６０１からの複数の教師データの各々について、教師データとして適切かを判別する。
別の手法については、具体的には、たとえば、学習モデル判定部６０６は、教師データ推論部６０１に、あらたな解析対象データ７００を入力して、教師データを推論するように指示してもよい。
また、別の手法については、学習モデル判定部６０６は、教師データ判別部６０２に、教師データ７０３の導出方法の変更を指示してもよい。具体的には、たとえば、下記式（１Ａ）～（１Ｎ）の移動量Ｌｄｉｓをより小さくすることにより、移動量Ａｄｉｓ～Ｎｄｉｓが予め定めた移動量Ｌｄｉｓ以上となる教師データ７０３が増加し、そのような物体検出結果８０２は教師データ７０３としては不適切であるとして除外される。したがって、高精度な教師データ７０３を得ることができる。
また、学習モデル決定部６０４は、図７に示した推論モデル７０１Ａ～７０１Ｎの中から最も多くの教師データ７０３を出力した特定の推論モデルを、学習モデル７０４として学習部６０５に出力する。したがって、別の手法については、学習モデル判定部６０６は、この学習モデル７０４が予め定められた推論確度を充足しない場合は、別の手法として、つぎに多くの教師データ７０３を出力した特定の推論モデルを、学習モデル７０４として学習部６０５に出力するよう、学習モデル決定部６０４に指示してもよい。
また、別の手法については、学習モデル決定部６０４は、予め定められた推論確度を変更してもよい。たとえば、予め定められた推論確度を充足する学習モデルが存在しない場合には、学習モデル判定部６０６は、予め定められた推論確度を低くする。また、予め定められた推論確度を充足する学習モデルが所定数以上存在する場合には、学習モデル判定部６０６は、予め定められた推論確度を高くして、予め定められた推論確度を充足する学習モデルの数を制限してもよい。
なお、エッジ管理装置１３１と生成装置１０２との間の通信路がリアルタイムに形成され、当該通信路により、生成装置１０２からのデータが、エッジ管理装置１３１に送信される。また、エッジ管理装置１３１と生成装置１０２との間の通信路が一定期間だけ通信可能であり、その際に、生成装置１０２からのデータがまとめて、エッジ管理装置１３１に送信されてもよい。
また、エッジ管理装置１３１と生成装置１０２との間の通信路が形成されない場合、メンテナンス員４３０が生成装置１０２に接続された記憶デバイス２０２を抜脱し、エッジ管理装置１３１に持ち運んで、エッジ管理装置１３１に接続してもよい。この場合、メンテナンス員４３０は、別の記憶デバイス２０２を生成装置１０２に接続する。
＜生成装置１０２の動作例＞
図７は、実施例１にかかる生成装置１０２の動作例を示す説明図である。解析対象データ７００は、たとえば、センサ１３４によって検出され、エッジ装置１３２、情報制御ネットワーク１３３、およびエッジ管理装置１３１を介して送信され、生成装置１０２に受信された画像フレームである。解析対象データ７００は、教師データ推論部６０１に入力される。
教師データ推論部６０１は、予め用意された学習済みの複数の推論モデル７０１Ａ～７０１Ｎを保有する。推論モデル７０１Ａ～７０１Ｎはそれぞれ、たとえば、解析対象データ７００に映る物体の形状（たとえば、物体が人であれば骨格。以下、物体が人であっても物であってもそれらの形状を「骨格」と称す）を推論する骨格検出モデルと解析対象データ７００に映る物体を検出する物体検出モデルとを組み合わせたモデルである。ただし、推論モデル７０１Ａ～７０１Ｎは、このようなモデルに限られない。
また、推論モデル７０１Ａ～７０１Ｎの機能は同一であるが、ニューラルネットの段数など推論に用いるアルゴリズムは互いに異なる。このため推論結果７０２Ａ～７０２Ｎや、推論結果７０２Ａ～７０２Ｎと共に出力される推論確度は、それぞれ異なる場合がある。なお、推論モデル７０１Ａ～７０１Ｎを区別しない場合は、単に推論モデル７０１と表記する。
教師データ推論部６０１は、解析対象データ７００を推論モデル７０１Ａ～７０１Ｎに入力し、推論モデル７０１Ａ～７０１Ｎから推論結果７０２Ａ～７０２Ｎを出力する。推論結果７０２Ａ～７０２Ｎを区別しない場合は、単に推論結果７０２と表記する。推論結果７０２Ａ～７０２Ｎの各々は、骨格検出結果と物体検出結果とを含む。教師データ推論部６０１は、推論結果７０２Ａ～７０２Ｎを教師データ判別部６０２に出力する。
教師データ判別部６０２は、教師データ推論部６０１によって推論された複数の推論結果７０２Ａ～７０２Ｎの各々について、教師データとして適切かを判別し、適切と判別された特定の推論結果７０２を教師データ７０３として教師データセット生成部６０３に出力する。教師データ判別部６０２の詳細は、図８で後述する。
教師データセット生成部６０３は、解析対象データ７００と教師データ７０３とを関連付けて教師データセットを生成する。教師データセット生成部６０３は、生成装置１０２に解析対象データ７００が入力される都度、教師データセットを生成し、これまでに生成された教師データセットに追加する。教師データセット生成部６０３は、集約した教師データセットを学習部６０５に出力する。
学習モデル決定部６０４は、教師データ判別部６０２から逐次入力されてくる複数の推論モデル７０１から、学習モデル７０４を決定する。具体的には、たとえば、学習モデル決定部６０４は、推論モデル７０１Ａ～７０１Ｎの中から最も多くの教師データ７０３（特定の推論結果７０２）を出力した特定の推論モデル７０１を、学習モデル７０４として学習部６０５に出力する。すなわち、教師データ７０３（特定の推論結果７０２）の出力回数が最大の推論モデル７０１が特定の推論モデル７０１に決定される。なお、出力回数が最大の推論モデル７０１に限られず、学習モデル決定部６０４は、出力回数が最小ではない推論モデル７０１のいずれかを特定の推論モデル７０１に決定してもよい。
また、学習モデル決定部６０４は、予め定めたニューラルネットの段数の推論モデル７０１Ａ～７０１Ｎ中で最も多くの教師データ７０３を出力した特定の推論モデル７０１を、学習モデル７０４として学習部６０５に出力してもよい。また、学習モデル決定部６０４は、予め定めた推論モデル７０１を学習モデル７０４として学習部６０５に出力してもよい。
＜教師データ判別部６０２の動作例＞
つぎに、教師データ判別部６０２の動作例について図８～図１０を用いて説明する。教師データ判別部６０２は、教師データ推論部６０１によって推論された複数の推論結果７０２Ａ～７０２Ｎの各々について、教師データとして適切かを判別し、適切と判別された特定の推論結果７０２を教師データ７０３として教師データセット生成部６０３に出力する。
図８は、教師データ判別部６０２に蓄積された複数フレーム分の推論結果７０２のデータ構造の一例を示す説明図である。図８の例では、推論モデル７０１ごとに解析対象データ７００であるフレームがｎ枚処理された場合の例を示す。
データ構造８００は、推論モデル７０１ごとに、フレームごとの骨格検出結果８０１Ａ～８０１Ｎと物体検出結果８０２Ａ～８０２Ｎと、を有する。骨格検出結果８０１Ａ～８０１Ｎを区別しない場合は、単に骨格検出結果８０１と表記する。同様に、物体検出結果８０２Ａ～８０２Ｎを区別しない場合も、単に物体検出結果８０２と表記する。
骨格検出結果８０１は、解析対象データ７００内の物体の骨格を示すデータである。具体的には、たとえば、図７に示した推論結果７０２Ａ～７０２Ｎ内の「Ｓｋｅｌｔｏｎ Ａ」～「Ｓｋｅｌｔｏｎ Ｎ」が骨格検出結果８０１Ａ～８０１Ｎである。
図９は、骨格検出結果８０１の具体例を示す説明図である。骨格検出結果８０１は、たとえば、解析対象データ７００から検出された物体の骨格データ群である。図９の（Ａ）は、物体の種類「ｐｅｒｓｏｎ」の骨格検出結果８０１を示す。骨格検出結果８０１は、複数（図９では例として１１個）の骨格点９００～９１０により構成される。（Ｂ）は、骨格点９００～９１０のＸ軸座標値９２１とＹ軸座標値９２２と推論確度９２３とを示す骨格検出結果８０１のデータ構造９２０である。
図８に戻り、物体検出結果８０２は、解析対象データ７００のうち、検出した物体の種類を示す分類と、分類した物体の推論確度と、検出した物体の位置を示す検出開始点と検出終了点と、により構成される。具体的には、たとえば、図７に示した推論結果７０２Ａ内の「ｐｅｒｓｏｎ」や「ｂａｇ」が分類であり、「０．９０」が「ｐｅｒｓｏｎ」の推論確度であり、「０．８６」が「ｂａｇ」の推論確度であり、（Ａｘ１ １，Ａｙ１ １）が「ｐｅｒｓｏｎ」の検出開始点であり、（Ａｘ１ ２，Ａｙ１ ２）が「ｂａｇ」の検出開始点であり、（Ａｘ２ １，Ａｙ２ １）が「ｐｅｒｓｏｎ」の検出終了点であり、（Ａｘ２ ２，Ａｙ２ ２）が「ｂａｇ」の検出終了点である。
つぎに、物体検出結果８０２を用いた教師データ７０３の導出方法について説明する。教師データ判別部６０２は、物体検出結果８０２のうち、検出開始点および検出終了点を用いて、下記式（１Ａ）～（１Ｎ）に従って、フレーム間での検出した物体の移動量Ａｄｉｓ～Ｎｄｉｓを算出し、予め定めた移動量Ｌｄｉｓと比較する。
Figure 0007285203000001
移動量Ａｄｉｓ～Ｎｄｉｓが移動量Ｌｄｉｓより小さければ、教師データ判別部６０２は、教師データセット生成部６０３に出力する教師データ７０３の候補として物体検出結果８０２を保存しておく。一方、移動量Ａｄｉｓ～Ｎｄｉｓが予め定めた移動量Ｌｄｉｓ以上であれば、教師データ７０３としては不適切と判別して該当する物体検出結果８０２を除外する。
なお、式（１Ａ）～（１Ｎ）では、教師データ判別部６０２は、隣接するフレーム間の移動量を算出したが、数フレーム前の検出開始点および検出終了点を用いてフレーム間の移動量を算出してもよい。また、教師データ判別部６０２は、複数枚のフレームの検出開始点および検出終了点を用いて、移動量Ａｄｉｓ～Ｎｄｉｓの各々を平均化してもよい。このように、フレーム間での移動量Ａｄｉｓ～Ｎｄｉｓの算出方法は限定されない。
また、教師データ判別部６０２は、推論モデル７０１間で推論結果７０２の分類が異なる場合は、たとえば、少数派の分類を示す物体検出結果８０２は教師データとしては不適切であると判別して、該当する物体検出結果８０２を除外してもよい。
また、教師データ判別部６０２は、推論モデル７０１の推論結果７０２のいずれの分類も所定数以下である場合には、すべての物体検出結果８０２を教師データとしては不適切と判別して該当する物体検出結果８０２を除外し、該当するフレームからの推論結果７０２を教師データには用いないこととしてもよい。
また、教師データ判別部６０２は、フレーム間での移動量Ａｄｉｓ～Ｎｄｉｓが予め定めた移動量Ｌｄｉｓより小さい物体検出結果８０２のうち、推論確度が最も高い推論結果７０２を教師データ７０３として教師データセット生成部６０３に出力してもよい。なお、推論確度が最も高い推論結果７０２に限られず、推論確度がしきい値以上の推論結果７０２でもよく、推論確度が上位Ｍ（Ｍは１以上の整数）番目までの推論結果７０２でもよい。
また、教師データ判別部６０２は、推論確度の大きさを期待値として、各推論モデル７０１の推論確度に付随する検出開始点および検出終了点から、教師データ７０３として出力する検出開始点と検出終了点を算出してもよい。このように、教師データ判別部６０２が出力する教師データ７０３の算出方法は限定されない。
また、教師データ判別部６０２は、推論確度について予めしきい値を定めておき、当該しきい値を満たさない物体検出結果８０２については教師データ７０３としては不適切と判別して当該物体検出結果８０２を除外してもよい。
つぎに、骨格検出結果８０１を用いた教師データ７０３の導出方法について説明する。図９に示した通り、骨格検出結果８０１は複数の骨格点９００～９１０とその推論確度９２３を有する。これらのうち、教師データ判別部６０２は、下記式（２）に従って各推論モデル７０１Ａ～７０１Ｎで推論された骨格検出結果８０１の各骨格点９００～９１０のフレーム間の移動量の合計（下記式（２）の左辺）を算出し、算出した移動量の合計を予め定めた移動量ＬＳｕｍＫｅｙと比較する。
Figure 0007285203000002
教師データ判別部６０２は、算出した移動量の合計が移動量ＬＳｕｍＫｅｙより小さければ、教師データセット生成部６０３に出力する推論結果７０２の候補として骨格検出結果８０１を保存しておく。一方、教師データ判別部６０２は、算出した移動量の合計が移動量ＬＳｕｍＫｅｙ以上であれば、骨格検出結果８０１は教師データ７０３としては不適切と判別して該当する骨格検出結果８０１を除外する。
なお、上記式（２）では、教師データ判別部６０２は、隣接するフレーム間の移動量の合計を算出したが、数フレーム前の骨格点９００～９１０を用いてフレーム間の移動量を算出してもよいし、複数フレームからフレーム間の移動量を平均して算出してもよく、フレーム間での移動量の算出方法は限定されない。
また、教師データ判別部６０２は、フレーム間の移動量の合計が移動量ＬＳｕｍＫｅｙより小さい骨格検出結果８０１のうち、推論確度９２３の合計が最も高い推論結果７０２を、教師データ７０３として教師データセット生成部６０３に出力してもよい。なお、推論確度９２３の合計が最も高い推論結果７０２に限られず、推論確度９２３の合計がしきい値以上の推論結果７０２でもよく、推論確度９２３の合計が上位Ｍ（Ｍは１以上の整数）番目までの推論結果７０２でもよい。
また、教師データ判別部６０２は、推論確度９２３の大きさを期待値として、各推論モデル７０１の推論確度９２３に付随する骨格検出結果８０１から、教師データ７０３として出力する骨格検出結果８０１を算出してもよい。このように、教師データ判別部６０２が出力する教師データ７０３の算出方法は限定されない。
また、骨格検出結果８０１を推論モデル７０１毎に用いず、下記式（３）に示す通り、教師データ判別部６０２は、骨格検出結果８０１単位でフレーム間の移動量（下記式（３）の左辺）を算出し、移動量ＬＫｅｙと比較してもよい。
Figure 0007285203000003
この場合、教師データ判別部６０２は、算出した移動量が移動量ＬＫｅｙより小さければ、教師データセット生成部６０３に出力する教師データ７０３の候補として骨格検出結果８０１を保存しておく。一方、教師データ判別部６０２は、算出した移動量が移動量ＬＫｅｙ以上であれば、教師データ７０３としては不適切と判別して該当する骨格検出結果８０１を除外する。具体的には、たとえば、教師データ判別部６０２は、算出した移動量が１つでも移動量ＬＫｅｙ以上であれば、その骨格検出結果８０１を除外してもよく、所定数以上の算出した移動量が移動量ＬＫｅｙ以上であれば、その骨格検出結果８０１を除外してもよい。
なお、上記式（３）では、教師データ判別部６０２は、隣接するフレーム間の移動量を算出したが、数フレーム前の骨格点９００～９１０を用いてフレーム間の移動量を算出してもよいし、複数フレームからフレーム間の移動量を平均して算出してもよく、フレーム間での移動量の算出方法は限定されない。
このように、骨格検出結果８０１単位で算出された移動量が移動量ＬＫｅｙよりも小さい物体検出結果８０２のうち、推論確度の合計が最も高い推論結果７０２を教師データ７０３として教師データセット生成部６０３に出力してもよい。また、教師データ判別部６０２は、推論確度９２３の大きさを期待値として、各推論モデル７０１の推論確度９２３に付随する骨格検出結果８０１から教師データ７０３として出力する骨格検出結果８０１を算出してもよい。このように、教師データ判別部６０２が出力する教師データ７０３の算出方法は限定されない。
また、下記式（４）に示す通り、教師データ判別部６０２は、推論確度９２３（Ｓｎ＝Ｓ０～Ｓ１０）について予め閾値ＬＳを定めておき、予め定められた閾値ＬＳを満たさない骨格検出結果８０１については教師データ７０３としては不適切と判別して該当する骨格検出結果８０１を除外してもよい。
Figure 0007285203000004
具体的には、たとえば、教師データ判別部６０２は、推論確度Ｓｎが１つでも閾値ＬＳを満たさなければ、その骨格検出結果８０１を除外してもよく、所定数以上の推論確度Ｓｎが閾値ＬＳを満たさなければ、その骨格検出結果８０１を除外してもよい。
＜データ解析システムの動作シーケンス例＞
図１０は、実施例１にかかるデータ解析システムの動作シーケンス例１を示すシーケンス図である。動作シーケンス例１は、エッジシステム１０３からの情報に応じて、中央管理装置１０１がエッジシステム１０３を制御する動作シーケンス例である。
エッジ装置１３２は、データ取得部５０１により解析対象データ７００を取得し（ステップＳ１００１）、エッジ情報推論部５０３により推論を実行する（ステップＳ１００２）。そして、エッジ装置１３２は、推論結果をエッジ管理装置１３１に送信する（ステップＳ１００３）。
エッジ管理装置１３１は、エッジ管理部５０６により、推論結果に基づいて解析環境の異常を判断し（ステップＳ１００４）、異常ありと判断された場合に、異常ありを示す管理データを中央管理装置１０１に送信する（ステップＳ１００５）。
中央管理装置１０１は、管理データに基づいて、エッジシステム１０３を制御するための制御データを生成し（ステップＳ１００６）、エッジ管理装置１３１に送信する（ステップＳ１００７）。エッジ管理装置１３１は、エッジ管理部５０６により、中央管理装置１０１からの制御データに応じた処理を実行する（ステップＳ１００８）。たとえば、上述したように、エッジ管理部５０６は、電車停止を乗務員に通知したり、運行停止の制御を実行したりする。
図１１は、実施例１にかかるデータ解析システム１００の動作シーケンス例２を示すシーケンス図である。動作シーケンス例２は、エッジシステム１０３からの解析対象データ７００から教師データを生成して、さらに学習モデル７０４を生成して、エッジ装置１３２に返す動作シーケンス例である。なお、動作シーケンス例２は、動作シーケンス例１と同じ解析対象データ７００が取得されたタイミングで実行されてもよく、異なるタイミングで実行されてもよい。
エッジ装置１３２は、データ取得部５０１により、解析対象データ７００を取得し（ステップＳ１００１）、蓄積制御部５０２により、取得した解析対象データ７００をエッジ管理装置１３１に送信する（ステップＳ１１０２）。エッジ管理装置１３１は、データ蓄積部５０４により、エッジ装置１３２からの解析対象データ７００を蓄積する（ステップＳ１１０３）。エッジ管理装置１３１は、解析対象データ７００を生成装置１０２に送信する（ステップＳ１１０４）。
生成装置１０２は、解析対象データ７００を受信すると、教師データ推論部６０１による推論を実行するり（ステップＳ１１０５）。そして、生成装置１０２は、学習処理を実行する（ステップＳ１１０６）。学習処理（ステップＳ１１０６）の詳細は、図１２で後述する。学習処理（ステップＳ１１０６）のあと、生成装置１０２は、学習処理（ステップＳ１１０６）によって得られた学習モデル７０４をエッジ管理装置１３１に送信する（ステップＳ１１０７）。
エッジ管理装置１３１は、学習モデル７０４を受信すると、解析対象データ７００の送信元のエッジ装置１３２に学習モデル７０４を配備する（ステップＳ１１０８）。これにより、エッジ装置１３２は、配備された学習モデル７０４により、図１０のエッジ推論を実行することができる。
図１２は、図１１に示した学習処理（ステップＳ１１０６）の詳細な処理手順例を示すフローチャートである。ステップＳ１１０５のあと、生成装置１０２は、教師データ判別部６０２により、教師データ推論部６０１からの複数の推論結果７０２Ａ～７０２Ｎの各々について、教師データとして適切かを判別し、適切と判別された推論結果７０２を教師データとして教師データセット生成部６０３に出力する。また、教師データ判別部６０２は、教師データの生成元となる特定の推論モデル７０１を、学習モデル決定部６０４に出力する（ステップＳ１２０１）。
つぎに、生成装置１０２は、教師データセット生成部６０３により、教師データ判別部６０２から逐次入力されてくる教師データを集約し、教師データセットとして、学習部６０５に出力する。（ステップＳ１２０２）。
そして、生成装置１０２は、学習モデル決定部６０４により、教師データ判別部６０２から逐次入力されてくる複数の特定の推論モデル７０１から、学習モデル７０４を決定する（ステップＳ１２０３）。つぎに、生成装置１０２は、学習部６０５により、教師データセット生成部６０３によって生成された教師データセットと、学習モデル決定部６０４によって決定された学習モデル７０４と、を用いて、たとえば、深層学習のような機械学習により、教師データセットを推論可能になるよう学習モデル７０４に学習させ、学習モデル７０４を学習モデル判定部６０６に出力する（ステップＳ１２０４）。
そして、生成装置１０２は、学習モデル判定部６０６により、テストデータを用いた場合の学習モデル７０４の推論確度を算出し、その推論確度と、学習部６０５からの損失関数と、を用いて、学習モデル７０４が予め定められた推論確度を充足するか否かを判定する（ステップＳ１２０５）。予め定められた推論確度を充足する場合（ステップＳ１２０６：Ｙｅｓ）、ステップＳ１１０６に移行する。
一方、学習モデル７０４が予め定められた推論確度を充足しない場合（ステップＳ１２０６：Ｎｏ）、生成装置１０２は、学習モデル判定部６０６により、その旨を示すデータを教師データ判別部６０２に出力する。この場合、生成装置１０２は、教師データ判別部６０２により、以前判別に用いた判別手法とは別の判別手法に変更し（ステップＳ１２０７）、ステップＳ１２０１に戻る。
これにより、生成装置１０２は、教師データ判別部６０２により、あらたな判別方法で教師データ判別を実行することができる（ステップＳ１２０１）。また、判別方法の変更ではなく、学習モデルの決定方法（ステップＳ１２０３）や学習モデルの判定方法を変更してもよい。
このように、実施例１によれば、生成装置１０２により、教師データセットの品質向上を図ることができる。また、生成装置１０２により、高品質の教師データセットの生成速度の向上を図ることができる。これにより、機械学習を用いたデータ解析システム１００の持続的な性能向上を実現することができる。また、実施例１は、解析環境として、作業ロボット３０２や作業員３０１の作業が監視される工場３００でもよく、また、電車４０１などの移送手段においても実現可能である。
実施例２を、実施例１との相違点を中心に説明する。なお、実施例１と共通する点については、同一符号を付し、その説明を省略する。実施例２では、電車４０１内部に設置される複数のエッジ装置１３２に配備される学習モデル７０４は、電車４０１やエッジ装置１３２が配備される位置に応じて異なる。たとえば、電車４０１内で女性専用車両に設置されるエッジ装置１３２に配備される学習モデル７０４は、そうでない一般車両に設置されるエッジ装置１３２に配備される学習モデル７０４と異なる。
図１３は、解析環境例３を示す説明図である。解析環境例３は、解析環境例２と同様、電車４０１内である。複数のエッジ装置１３２を、例として、６台のエッジ装置１３２Ａ～１３２Ｆとする。
生成装置１０２は、アドレス情報テーブル１３００を有する。アドレス情報テーブル１３００は、フィールドとして、エッジＩＤ１３０１と、アドレス１３０２と、を有する。エッジＩＤ１３０１は、エッジ装置１３２を一意に特定する識別情報である。図１３では、エッジＩＤ１３０１としてエッジ装置１３２の符号を用いる。アドレス１３０２は、エッジ装置１３２に割り当てられた固有の物理アドレスａｄｒＡ～ａｄｒＦである。
また、センサ１３４が取得する解析対象データ７００の偏りに応じてエッジ情報推論部５０３に配備される学習モデル７０４は異なる場合がある。具体的には、たとえば、解析対象データ７００の偏りごとに異なる学習モデル７０４が配備されてもよい。また、車両内のエッジ装置１３２やセンサ１３４の設置位置に応じて異なる学習モデル７０４が配備されてもよい。
また、配備される学習モデル７０４の種類が多いほど総合的な学習時間は増加するため、総合的な学習時間が長いほど学習モデル７０４の種類を制限してもよい。この場合、制限された種類の中で解析対象データ７００の偏りに応じて異なる学習モデル７０４が配備されてもよい。
図１４は、実施例２にかかる生成装置１０２の機能的構成例を示すブロック図である。図６に示した実施例１にかかる生成装置１０２との相違点は、実施例２にかかる生成装置１０２は、網羅性判断部を有する点である。網羅性判断部は、具体的には、たとえば、記憶デバイス２０２に記憶されたプログラムをプロセッサ２０１に実行させることにより実現される機能である。
実施例２では、エッジ装置１３２の蓄積制御部５０２は、センサ１３４によって検出された解析対象データ７００をアドレス１３０２と関連付けて、エッジ管理装置１３１のデータ蓄積部５０４に蓄積する。
網羅性判断部１４００は、エッジ装置１３２のアドレス３１０２毎にエッジ管理装置１３１からの解析対象データ７００の偏りを分析する。具体的には、たとえば、網羅性判断部１４００は、年齢推論モデルや性別推論モデルを有し、これらのモデルに解析対象データ７００を入力する。網羅性判断部１４００は、アドレス１３０２毎に年齢や性別など、年齢推論モデルや性別推論モデルからの分析結果が示す特徴に一定の偏りがあるか否かを判断する。そして、網羅性判断部１４００は、一定の偏りの有無を示す情報をアドレス１３０２に関連付けて解析対象データ７００を教師データ推論部６０１に出力する。
教師データセット生成部６０３は、一定の偏りがあるアドレス１３０２と、一定の偏りがないアドレス１３０２と、を区別して、教師データセットを生成する。学習モデル決定部６０４も、一定の偏りがあるアドレス１３０２と、一定の偏りがないアドレス１３０２と、を区別して、教師データ判別部６０２から逐次入力されてくる複数の特定の推論モデルから、学習モデル７０４を決定する。
学習部６０５も、一定の偏りがあるアドレス１３０２と、一定の偏りがないアドレス１３０２と、を区別して、教師データセットを推論可能になるよう学習モデル７０４に学習させ、学習モデル７０４を学習モデル判定部６０６に出力する。また、学習部６０５は、一定の偏りがあるアドレス１３０２と、一定の偏りがないアドレス１３０２と、を区別して、損失関数を生成し、学習モデル判定部６０６に出力する。
学習モデル判定部６０６も、一定の偏りがあるアドレス１３０２と、一定の偏りがないアドレス１３０２と、を区別して、学習部６０５での学習には用いられていないテストデータを保有する。学習モデル判定部６０６は、一定の偏りがあるアドレス１３０２と、一定の偏りがないアドレス１３０２と、を区別して、テストデータを用いた学習モデル７０４の推論確度と、損失関数と、を用いて、学習モデル７０４が予め定められた推論確度を充足するか否かを判定する。
予め定められた推論確度を充足する場合は、学習モデル判定部６０６は、学習モデル７０４をエッジ管理装置１３１の学習モデル配備部５０５に出力する。一方、学習モデル７０４が予め定められた推論確度を充足しない場合は、学習モデル判定部６０６は、その旨を示すデータを教師データ判別部６０２に出力する。この場合、教師データ判別部６０２は、以前判別に用いた手法とは別の手法で、教師データ推論部６０１からの複数の教師データの各々について、教師データとして適切かを判別する。
そして、生成装置１０２は、エッジ管理装置１３１の学習モデル配備部５０５に学習モデル７０４を送信する。学習モデル配備部５０５は、教師データセットの生成元となった解析対象データ７００を取得したエッジ装置１３２に、生成した学習モデル７０４を配備する。
つまり、エッジ装置１３２から得られる解析対象データ７００について年齢推論モデルや性別推論モデルが示す特徴に偏りが見られる場合は、生成装置１０２は、そのエッジ装置１３２から取得した解析対象データ７００のみを用いて学習モデル７０４を生成し、エッジ管理装置１３１は、そのエッジ装置１３２のみに学習モデル７０４を配備する。こうすることで、偏りの高い解析対象データ７００を取得するエッジ装置１３２により、他の特徴を持つエッジ装置１３２の推論精度に悪影響を与えることを防ぐとともに、偏りのある解析対象データ７００を取得するエッジ装置１３２の推論精度の向上を図ることができる。
なお、網羅性判断部１４００に年齢推論モデルや性別推論モデルを適用したが、分析結果を生成するモデルが扱う属性は、年齢や性別だけに限らず、解析対象データ７００を取得した時刻、天候、または全光量を推論したり計算したりするモデルでもよい。
このように、実施例２によれば、配備されるエッジ装置１３２の位置に応じて取得される解析対象データ７００の特徴に偏りが生ずる場合においても、偏りの高い解析対象データ７００を取得するエッジ装置１３２により、他のエッジ装置１３２の推論精度に悪影響を与えることを防ぐとともに、偏りのある解析対象データ７００を取得するエッジ装置１３２の推論精度の向上を図ることができる。
なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加、削除、または置換をしてもよい。
また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサ２０１がそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。
各機能を実現するプログラム、テーブル、ファイル等のデータは、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置、又は、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）カード、ＳＤカード、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）の記録媒体に格納することができる。
また、制御線やデータ線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線やデータ線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。
１００ データ解析システム
１０１ 中央管理装置
１０２ 生成装置
１０３ エッジシステム
１３１ エッジ管理装置
１３２ エッジ装置
１３４ センサ（監視カメラ）
５０１ データ取得部
５０２ 蓄積制御部
５０３ エッジ情報推論部
５０４ データ蓄積部
５０５ 学習モデル配備部
５０６ エッジ管理部
６０１ 教師データ推論部
６０２ 教師データ判別部
６０３ 教師データセット生成部
６０４ 学習モデル決定部
６０５ 学習部
６０６ 学習モデル判定部
７００ 解析対象データ
７０１ 推論モデル
７０２ 推論結果
７０３ 教師データ
７０４ 学習モデル
１３００ アドレス情報テーブル
１４００ 網羅性判断部

Claims (15)

  1. プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する生成装置であって、
    前記プロセッサは、
    複数の推論モデルに同一の解析対象データを入力し、前記複数の推論モデルから前記解析対象データに含まれる同一の物体に関する複数の推論結果を出力する推論処理と、
    前記推論処理によって出力された複数の推論結果の中から、前記複数の推論結果に基づいて、特定の推論結果を判別する判別処理と、
    前記判別処理によって判別された特定の推論結果と、前記解析対象データと、を含む教師データセットを生成する生成処理と、
    を実行することを特徴とする生成装置。
  2. 請求項１に記載の生成装置であって、
    前記解析対象データは、複数の時系列なフレームを含む画像データである、
    ことを特徴とする生成装置。
  3. 請求項２に記載の生成装置であって、
    前記判別処理では、前記プロセッサは、前記複数の推論結果の各々における第１フレームと第２フレームとの間の前記物体の移動量に基づいて、前記複数の推論結果の中から、前記特定の推論結果を判別する、
    ことを特徴とする生成装置。
  4. 請求項２に記載の生成装置であって、
    前記判別処理では、前記プロセッサは、前記複数の推論結果の各々における第１フレームと第２フレームとの間の前記物体の骨格を構成する骨格点の移動量に基づいて、複数の推論結果の中から、前記特定の推論結果を判別する、
    ことを特徴とする生成装置。
  5. 請求項１に記載の生成装置であって、
    前記判別処理では、前記プロセッサは、前記複数の推論結果の各々に含まれる前記物体の推論確度に基づいて、前記複数の推論結果の中から、前記特定の推論結果を判別する、
    ことを特徴とする生成装置。
  6. 請求項１に記載の生成装置であって、
    前記判別処理では、前記プロセッサは、前記複数の推論結果の各々に含まれる前記物体の骨格を構成する骨格点の推論確度に基づいて、前記複数の推論結果の中から、前記特定の推論結果を判別する、
    ことを特徴とする生成装置。
  7. 請求項１に記載の生成装置であって、
    前記判別処理では、前記プロセッサは、前記複数の推論結果の各々に含まれる前記物体の分類が異なる場合、少数派の分類を含む推論結果を前記複数の推論結果から除外する、
    ことを特徴とする生成装置。
  8. 請求項１に記載の生成装置であって、
    前記プロセッサは、
    前記推論モデルごとの前記特定の推論結果の出力回数に基づいて、前記複数の推論モデルから特定の推論モデルを決定する決定処理、
    を実行することを特徴とする生成装置。
  9. 請求項８に記載の生成装置であって、
    前記プロセッサは、
    前記生成処理によって生成された学習データセットを用いて、前記決定処理によって決定された特定の推論モデルを学習させ、学習モデルとして出力する学習処理、
    を実行することを特徴とする生成装置。
  10. 請求項９に記載の生成装置であって、
    前記プロセッサは、
    前記複数の推論モデルには入力されていないテストデータを前記学習処理によって出力された学習モデルに入力した結果得られる学習結果に含まれる推論確度が、所定の推論確度以上であるか否かを判定する判定処理を実行する、
    ことを特徴とする生成装置。
  11. 請求項１０に記載の生成装置であって、
    前記判定処理では、前記プロセッサは、学習結果に含まれる推論確度が、所定の推論確度以上である場合、前記学習モデルを出力する、
    ことを特徴とする生成装置。
  12. 請求項１０に記載の生成装置であって、
    前記判別処理では、前記プロセッサは、前記判定処理によって、前記学習結果に含まれる推論確度が、所定の推論確度以上でないと判定された場合、前記複数の推論結果のうち前記特定の推論結果として判別されなかった残余の推論結果の中から、前記残余の推論結果に基づいて、前記特定の推論結果を判別する、
    ことを特徴とする生成装置。
  13. 学習モデルを生成する生成装置と、解析対象データを取得するエッジシステムと、を有するデータ解析システムであって、
    前記生成装置は、
    第１解析対象データを複数の推論モデルに入力し、前記複数の推論モデルから前記第１解析対象データに含まれる物体に関する複数の推論結果を出力する第１推論処理と、
    前記第１推論処理によって出力された複数の推論結果の中から、前記複数の推論結果に基づいて、特定の推論結果を判別する判別処理と、
    前記判別処理によって判別された特定の推論結果と、前記解析対象データと、を含む教師データセットを生成する生成処理と、
    前記推論モデルごとの前記特定の推論結果の出力回数に基づいて、前記複数の推論モデルから特定の推論モデルを決定する決定処理と、
    前記生成処理によって生成された学習データセットを用いて、前記決定処理によって決定された特定の推論モデルを学習させ、学習モデルとして出力する学習処理と、を実行し、
    前記エッジシステムは、
    前記第１解析対象データおよび第２解析対象データを解析環境から取得する取得処理と、
    前記取得処理によって取得された第１解析対象データを出力する出力処理と、
    前記取得処理によって取得された第２解析対象データを、前記学習処理によって出力された学習モデルに入力し、前記学習モデルから前記第２解析対象データに含まれる物体に関する推論結果を出力する第２推論処理と、
    を実行することを特徴とするデータ解析システム。
  14. プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する生成装置が実行する生成方法であって、
    前記生成方法は、
    前記プロセッサが、
    複数の推論モデルに同一の解析対象データを入力し、前記複数の推論モデルから前記解析対象データに含まれる同一の物体に関する複数の推論結果を出力する推論処理と、
    前記推論処理によって出力された複数の推論結果の中から、前記複数の推論結果に基づいて、特定の推論結果を判別する判別処理と、
    前記判別処理によって判別された特定の推論結果と、前記解析対象データと、を含む教師データセットを生成する生成処理と、
    を実行することを特徴とする生成方法。
  15. プロセッサに、
    複数の推論モデルに同一の解析対象データを入力し、前記複数の推論モデルから前記解析対象データに含まれる同一の物体に関する複数の推論結果を出力する推論処理と、
    前記推論処理によって出力された複数の推論結果の中から、前記複数の推論結果に基づいて、特定の推論結果を判別する判別処理と、
    前記判別処理によって判別された特定の推論結果と、前記解析対象データと、を含む教師データセットを生成する生成処理と、
    を実行させることを特徴とする生成プログラム。
JP2019215695A 2019-11-28 2019-11-28 生成装置、データ解析システム、生成方法、および生成プログラム Active JP7285203B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019215695A JP7285203B2 (ja) 2019-11-28 2019-11-28 生成装置、データ解析システム、生成方法、および生成プログラム
EP20893600.5A EP4068201B1 (en) 2019-11-28 2020-10-09 Generation device, data analysis system, generation method and generation program
US17/779,367 US12488258B2 (en) 2019-11-28 2020-10-09 Data analysis and training data, generation device, system, method, and generation program
PCT/JP2020/038295 WO2021106387A1 (ja) 2019-11-28 2020-10-09 生成装置、データ解析システム、生成方法、および生成プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019215695A JP7285203B2 (ja) 2019-11-28 2019-11-28 生成装置、データ解析システム、生成方法、および生成プログラム

Publications (2)

Publication Number Publication Date
JP2021086451A JP2021086451A (ja) 2021-06-03
JP7285203B2 true JP7285203B2 (ja) 2023-06-01

Family

ID=76087801

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019215695A Active JP7285203B2 (ja) 2019-11-28 2019-11-28 生成装置、データ解析システム、生成方法、および生成プログラム

Country Status (4)

Country Link
US (1) US12488258B2 (ja)
EP (1) EP4068201B1 (ja)
JP (1) JP7285203B2 (ja)
WO (1) WO2021106387A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7505598B2 (ja) * 2021-01-14 2024-06-25 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法、及び、プログラム
CN113488178B (zh) * 2021-07-20 2022-07-12 上海弗莱特智能医疗科技有限公司 一种信息生成方法、装置、存储介质及电子设备
CN115393708B (zh) * 2022-07-15 2025-11-11 西安电子科技大学 基于多级协同的多源遥感图像融合及目标感知方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012190159A (ja) 2011-03-09 2012-10-04 Canon Inc 情報処理装置、情報処理方法及びプログラム
JP2016076073A (ja) 2014-10-06 2016-05-12 日本電気株式会社 データ処理装置、データ処理方法、及び、コンピュータ・プログラム
WO2018089221A1 (en) 2016-11-09 2018-05-17 Microsoft Technology Licensing, Llc Neural network-based action detection

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060018516A1 (en) * 2004-07-22 2006-01-26 Masoud Osama T Monitoring activity using video information
CN107273782B (zh) * 2016-04-08 2022-12-16 微软技术许可有限责任公司 使用递归神经网络的在线动作检测
US10467509B2 (en) * 2017-02-14 2019-11-05 Microsoft Technology Licensing, Llc Computationally-efficient human-identifying smart assistant computer
GB2560177A (en) * 2017-03-01 2018-09-05 Thirdeye Labs Ltd Training a computational neural network
US11074359B2 (en) * 2017-06-05 2021-07-27 International Business Machines Corporation Privacy focused network sensor device object recognition
US10210391B1 (en) * 2017-08-07 2019-02-19 Mitsubishi Electric Research Laboratories, Inc. Method and system for detecting actions in videos using contour sequences
US20190095764A1 (en) * 2017-09-26 2019-03-28 Panton, Inc. Method and system for determining objects depicted in images
US11144786B2 (en) * 2017-11-02 2021-10-12 Canon Kabushiki Kaisha Information processing apparatus, method for controlling information processing apparatus, and storage medium
JP7115052B2 (ja) 2018-06-13 2022-08-09 富士フイルムビジネスイノベーション株式会社 画像処理装置およびプログラム
US11580325B2 (en) * 2019-01-25 2023-02-14 Yahoo Assets Llc Systems and methods for hyper parameter optimization for improved machine learning ensembles
US11902705B2 (en) * 2019-09-03 2024-02-13 Nvidia Corporation Video prediction using one or more neural networks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012190159A (ja) 2011-03-09 2012-10-04 Canon Inc 情報処理装置、情報処理方法及びプログラム
JP2016076073A (ja) 2014-10-06 2016-05-12 日本電気株式会社 データ処理装置、データ処理方法、及び、コンピュータ・プログラム
WO2018089221A1 (en) 2016-11-09 2018-05-17 Microsoft Technology Licensing, Llc Neural network-based action detection

Also Published As

Publication number Publication date
EP4068201A1 (en) 2022-10-05
WO2021106387A1 (ja) 2021-06-03
JP2021086451A (ja) 2021-06-03
US20220405620A1 (en) 2022-12-22
US12488258B2 (en) 2025-12-02
EP4068201B1 (en) 2026-01-07
EP4068201A4 (en) 2023-12-27

Similar Documents

Publication Publication Date Title
JP7285203B2 (ja) 生成装置、データ解析システム、生成方法、および生成プログラム
KR102416474B1 (ko) 기계학습 기반 고장 진단 장치 및 방법
JP6844564B2 (ja) 検査システム、識別システム、及び学習データ生成装置
CN110969130A (zh) 一种基于yolov3司机危险动作识别方法及系统
JP2018173914A (ja) 画像処理システム、撮像装置、学習モデル作成方法、情報処理装置
JP2021179740A (ja) 監視装置、監視方法、プログラムおよびモデル訓練装置
EP4276741A1 (en) Analysis device, analysis system, analysis program, and analysis method
KR102260123B1 (ko) 지역내 이벤트감지장치 및 그 장치의 구동방법
JP6587268B1 (ja) プラットホーム危険度判別プログラム及びシステム
JP6583947B1 (ja) 踏切危険度判別プログラム及びシステム
WO2023007535A1 (ja) 下水管内異状診断支援システム、下水管内異状診断支援システム用のクライアントマシン、サーバマシン、及び関連する方法
CN119671283A (zh) 一种电气作业人员行为分析与安全风险防控系统
WO2016038872A1 (ja) 情報処理装置、表示方法およびプログラム記憶媒体
CN118172720A (zh) 一种在油田作业场景下的危险施工姿势检测方法
JP2011186727A (ja) 監視装置、及びプログラム
KR102521000B1 (ko) 플랜트 설비 관리 시스템 및 방법
Monteiro et al. Detecting defects in sanitary wares using deep learning
JPH088998A (ja) 通信プロトコル障害解析装置
CN119440897B (zh) 一种基于机器学习的群体机器人系统中分布式故障检测方法
KR102716981B1 (ko) 항공기 파트 제조환경의 화재감시시스템
Güneş Unsupervised learning approach for detection and localization of structural damage using output-only measurements
EP4375876A1 (en) Computer implemented methods
CN120633906B (zh) 基于知识图谱和跨模态关联的地铁运营决策优化方法
CN114022826B (zh) 一种基于区块链的铁轨检测方法及系统
JP7647884B2 (ja) 混雑度特定装置、制御方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230302

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230522

R150 Certificate of patent or registration of utility model

Ref document number: 7285203

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150