JP7010774B2 - 中間工程状態推定方法 - Google Patents

中間工程状態推定方法 Download PDF

Info

Publication number
JP7010774B2
JP7010774B2 JP2018120646A JP2018120646A JP7010774B2 JP 7010774 B2 JP7010774 B2 JP 7010774B2 JP 2018120646 A JP2018120646 A JP 2018120646A JP 2018120646 A JP2018120646 A JP 2018120646A JP 7010774 B2 JP7010774 B2 JP 7010774B2
Authority
JP
Japan
Prior art keywords
input
label
state
generator
generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018120646A
Other languages
English (en)
Other versions
JP2020003906A (ja
Inventor
哲也 梶本
裕 佐々木
誠 三輪
勇太 林田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota School Foundation
Toyota Motor Corp
Original Assignee
Toyota School Foundation
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota School Foundation, Toyota Motor Corp filed Critical Toyota School Foundation
Priority to JP2018120646A priority Critical patent/JP7010774B2/ja
Priority to US16/400,203 priority patent/US10970601B2/en
Priority to CN201910522672.1A priority patent/CN110647997B/zh
Publication of JP2020003906A publication Critical patent/JP2020003906A/ja
Application granted granted Critical
Publication of JP7010774B2 publication Critical patent/JP7010774B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)
  • Injection Moulding Of Plastics Or The Like (AREA)

Description

本発明は、初期状態から複数の中間成形物を経て最終状態に至る成形工程に対し、成形に最適な初期状態から最終状態に至る変形過程における中間工程状態を時系列で推定する中間工程状態推定方法に関する。
近年、敵対的ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）などの、ディープラーニング（深層学習）を利用した機械学習手法が提案されている。ＧＡＮは、生成器（Ｇｅｎｅｒａｔｏｒ）と識別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）の２種類のニューラルネットワークを有し、生成器と識別器を敵対的に学習させる機械学習手法である。すなわち、ＧＡＮでは、生成器が識別器を欺こうとして学習し、識別器がより正確に識別しようとして学習する、というように、生成器と識別器が対立し合って学習していく。
例えば、ＧＡＮを顔画像の生成を目的として用いる場合、生成器が、［－１，１］の範囲でランダムに選択されたベクトルである潜在ノイズを入力として生成画像を生成し、識別器に、当該生成画像か、顔の訓練用画像か、のいずれかをランダムに与える。識別器では、与えられた画像が生成画像か訓練用画像かを識別する。識別器における識別の正誤を誤差逆伝播することにより生成器と識別器を敵対的に学習させることで、生成器は、顔の訓練用画像の特徴を捉えた生成画像を出力するようになる。
さらに、非特許文献１には、上述したＧＡＮの技術をベースとし、顔の入力画像をラベルベクトルの表す年齢層に対応して変化させるようにした、Ａｇｅ－ｃＧＡＮ（Ａｇｅ－ｃｏｎｄｉｔｉｏｎａｌ ＧＡＮ）の技術が開示されている。Ａｇｅ－ｃＧＡＮでは、エンコーダにより顔の入力画像に基づいて推定された潜在ノイズとともに、人のある年齢層（例えば６０代）を表すラベルベクトルを、ＧＡＮで学習済みの生成器に入力する。そして、当該生成器では、顔の入力画像がラベルベクトルの年齢層に対応するように変化させた生成画像を出力する。
Grigory Antipov, Moez Baccouche, Jean-Luc Dugelay, arXiv:1702.01983v2, 30 May 2017
ところで、鍛造成形工程のように、初期状態（素材の形状）から複数の中間成形物を経て最終状態（最終成形物の形状）に至る成形工程では、予め分かっている初期状態と最終状態から、成形に最適な中間工程状態を時系列的に推定する必要がある。初期状態から最終状態に至る変形過程は成形性を考慮したものでなくてはならない。例えば、鍛造成形工程では、複数の中間成形物と最終成形物を得るための金型を予め製作する必要がある。初期状態から最終状態に至る変形過程が成形性を考慮したものでないとすると、最終状態において意図しない欠陥が生じる、金型の寿命が短くなる、といった不具合が生じる。
このようなことから、初期状態から複数の中間成形物を経て最終状態に至る成形工程では、初期状態である素材の形状と最終状態である最終成形物の形状から、成形に適した変形過程を推定しなくてはならない。このような成形工程に対して、成形に適した変形過程における中間工程状態を時系列で推定する作業は、熟練の技術者が過去の経験と勘に基づいて行っていた。そして、ＣＡＥなどのシミュレーションツールによる解析で、熟練の技術者が推定した中間工程状態の妥当性を確認した上で中間工程状態の設計を確定させていた。
上述したように、初期状態から複数の中間成形物を経て最終状態に至る成形工程に対して、成形に最適な変形過程における中間工程状態を時系列で推定するためには熟練を要する。このため、このような成形工程に対し、ディープラーニングを利用した生成モデルにより、成形に最適な変形過程における中間工程状態を時系列で推定する技術が望まれる。
しかしながら、非特許文献１に開示されたＡｇｅ－ｃＧＡＮの技術では、時系列関係を学習させることが困難である。例えば、Ａｇｅ－ｃＧＡＮにおいて、エンコーダにより顔の入力画像に基づいて推定された潜在ノイズとともに、６０代の年齢を表すラベルベクトルを生成器に入力した場合、生成器は入力画像を６０代に対応するように変化させる。しかし、非特許文献１に開示されたＡｇｅ－ｃＧＡＮでは、例えば、４５歳前後、５０歳前後、５５歳前後、６０歳前後、を表すラベルベクトルをそれぞれ生成器に入力した場合、生成器によってそれぞれ出力された生成画像が時系列（年齢）通りにはならないことがあった。
このため、非特許文献１に開示されたＡｇｅ－ｃＧＡＮの技術では、初期状態から複数の中間成形物を経て最終状態に至る成形工程に対し、成形に最適な変形過程における中間工程状態を時系列で精度良く推定することができなかった。つまり、非特許文献１に開示されたＡｇｅ－ｃＧＡＮの技術で予測した、一連の中間工程状態は、時系列の前後で加工量が逆転してしまっている（例えば、工程が後の中間工程状態において、工程が前の中間工程状態に対し突出している部分ができている）など、実際の成形工程では実現できないものとなっている場合がある。
本発明は、以上の背景に鑑みなされたものであり、初期状態から複数の中間成形物を経て最終状態に至る成形工程に対し、成形に最適な変形過程における中間工程状態を時系列で良好に推定することができる中間工程状態推定方法を提供することを目的とする。
本発明は、初期状態から複数の中間成形物を経て最終状態に至る成形工程に対し、成形に最適な初期状態から最終状態に至る変形過程における中間工程状態を時系列で推定する中間工程状態推定方法であって、入力ノイズ、及び、前記成形工程の有する複数のステップに含まれるステップに対応したラベルが入力されることにより当該ラベルに対応した生成データを生成する生成器を２つ用い、それぞれの生成器には共通の入力ノイズを入力すると共に、一方の生成器には前記複数のステップのうちのあるステップに対応したラベルを入力し、他方の生成器には前記複数のステップのうちの前記あるステップとは異なるステップに対応したラベルを入力して、前記それぞれの生成器において、入力されたラベルに対応した生成データを生成させ、前記一方の生成器が生成した生成データに対応のラベルをリンクしたもの及び前記他方の生成器が生成した生成データに対応のラベルをリンクしたものからなる生成データ対と、前記一方の生成器に入力されたラベルに対応した訓練用データに対応のラベルをリンクしたもの及び前記他方の生成器に入力されたラベルに対応した訓練用データに対応のラベルをリンクしたものからなる訓練用データ対と、のいずれか一方がランダムに入力され、入力されたデータ対が前記生成データ対か前記訓練用データ対かを識別する識別器を用い、前記識別器における識別の正誤の結果から前記それぞれの生成器及び前記識別器を敵対的に学習させ、学習済みの前記それぞれの生成器のいずれか一方に、前記初期状態から複数の中間成形物を経て最終状態に至る成形工程で成形される所望の最終状態に対応する入力ノイズ、及び、前記複数のステップに含まれる中間工程状態を推定したいステップに対応したラベルを入力し、当該生成器が生成した生成データに基づいて当該推定したいステップにおける中間工程状態を推定するものである。
初期状態から複数の中間成形物を経て最終状態に至る成形工程に対し、成形に最適な変形過程における中間工程状態を時系列で良好に推定することができる。
さらに、前記成形工程を複数のサブ工程に分割し、前記サブ工程における各ステップのラベルは、当該サブ工程に対応したベクトル要素の値を、当該サブ工程におけるステップの時系列順の最初を０、最後を１として正規化した数値とするものである。
以上のようにＰａｉｒＧＡＮの手法における、各ステップに対応したラベルを設定することで、各ステップを表すラベルによって時系列の前後関係を表現することができる。
さらに、前記成形工程で成形される所望の最終状態に対応する入力ノイズは、前記所望の最終状態のデータ及び前記複数のステップにおける最終状態に対応したラベルを、学習済みのエンコーダに入力することで生成し、前記エンコーダの学習は、学習済みの前記生成器に入力ノイズ及び前記複数のステップに含まれる各ステップに対応したラベルをランダムに変えて入力してエンコーダ訓練用データを生成し、前記エンコーダ訓練用データ及び前記エンコーダ訓練用データを生成する際に用いたラベルを前記エンコーダに入力させて前記エンコーダに入力ノイズを生成させ、当該入力ノイズと前記エンコーダ訓練用データを生成する際に用いたラベルとを前記生成器に入力させて前記生成器に生成データを生成させ、当該生成データと前記エンコーダ訓練用データとの誤差を前記エンコーダに逆伝播させることによって行うものである。エンコーダを用いることで、初期状態から複数の中間成形物を経て最終状態に至る成形工程における任意のステップの中間工程状態を良好に推定することができる。
本発明によれば、初期状態から複数の中間成形物を経て最終状態に至る成形工程に対し、成形に最適な変形過程における中間工程状態を時系列で良好に推定することができる。
本実施の形態にかかる中間工程状態推定方法を適用する鍛造成形工程に対し、形状を画像として扱う実施例について説明する模式図である。 本実施の形態にかかる中間工程状態推定方法で用いるＰａｉｒＧＡＮの手法における学習方法について説明する模式図である。 図２を参照して説明した学習方法により学習済みの生成器を用いて中間工程状態を推定する方法について説明する模式図である。 ＰａｉｒＧＡＮの手法における、各ステップに対応したラベルの設定方法について説明する模式図である。 第１部分工程におけるステップのラベルの例を示す模式図である。 第２部分工程におけるステップのラベルの例を示す模式図である。 第３部分工程におけるステップのラベルの例を示す模式図である。 エンコーダの学習方法について説明する模式図である。 エンコーダの学習方法について説明する模式図である。 初期状態から複数の中間成形物を経て最終状態に至る成形工程で成形される所望の最終状態に対応する入力ノイズを生成する方法について説明する模式図である。 比較例における中間工程状態の推定方法で用いるＡｇｅ－ｃＧＡＮにおける学習方法について説明する模式図である。 比較例において、図１１を参照して説明した学習方法により学習済みの生成器を用いて中間工程状態を推定する方法について説明する模式図である。 実施例における初期状態から最終状態に至る変形過程の推定結果と、比較例における初期状態から最終状態に至る変形過程の推定結果と、を示す図である。
以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
本実施の形態にかかる中間工程状態推定方法は、Ａｇｅ－ｃＧＡＮの手法を改変した手法（以下、ＰａｉｒＧＡＮの手法という）を用いて、初期状態から複数の中間成形物を経て最終状態に至る成形工程における成形に最適な初期状態から最終状態に至る変形過程における中間工程状態を時系列で推定するものである。本実施の形態では、初期状態から複数の中間成形物を経て最終状態に至る成形工程が鍛造成形工程であるとして説明する。
図１は、本実施の形態にかかる中間工程状態推定方法を適用する鍛造成形工程に対し、形状を画像として扱う実施例について説明する模式図である。図１の上段左側に示すように、鍛造成形工程において、成形物の状態（形状）は軸対称であるので、ＰａｉｒＧＡＮの手法では、図１の上段右側に示すように、成形物の初期状態、最終状態および中間工程状態について、断面図を白黒画像で表現する。また、図１の下段に示すように、成形物の初期状態と最終状態との間における一連の変形過程を、複数のステップに分割する。例えば、鍛造成形工程は、３つのサブ工程（第１部分工程、第２部分工程、第３部分工程）に分けられ、第１部分工程を約３０ステップ、第２部分工程を約２０ステップ、第３部分工程を約３０ステップに分割する。すなわち、鍛造成形工程は約８０ステップに分割される。
図２は、本実施の形態にかかる中間工程状態推定方法で用いるＰａｉｒＧＡＮの手法における学習方法について説明する模式図である。図２に示すように、本実施の形態にかかる中間工程状態推定方法で用いるＰａｉｒＧＡＮの手法では、２つの生成器１、２と、識別器３と、を用いている。
生成器１、２は、入力ノイズ及び成形工程の有する複数のステップに含まれるステップに対応したラベルが入力されることによりラベルに対応した生成データとしての生成画像を生成するものである。一方の生成器１には、入力ノイズと、複数のステップのうちのあるステップｉに対応したラベルと、を入力する。ここで、入力ノイズは、例えば［－１，１］の範囲でランダムに選択されたベクトル（潜在ノイズ）である。他方の生成器２には、生成器１に入力したものと共通の入力ノイズと、複数のステップのうちのあるステップｉとは異なるステップｊに対応したラベルを入力する。そして、それぞれの生成器１、２において、入力されたラベルに対応した生成画像を生成させる。
識別器３には、生成データ対と訓練用データ対とのいずれか一方が入力される。ここで、生成データ対は、一方の生成器１が生成した生成データに対応のラベルをリンクしたもの及び他方の生成器２が生成した生成データに対応のラベルをリンクしたものからなる。訓練用データ対は、一方の生成器１に入力されたラベルｉに対応した訓練用データとしての訓練用画像に対応のラベルをリンクしたもの及び他方の生成器２に入力されたラベルｊに対応した訓練用データとしての訓練用画像に対応のラベルをリンクしたものからなる。識別器３は、入力されたデータ対が生成データ対か訓練用データ対かを識別する。
そして、識別器３における、入力されたデータ対が生成データ対か訓練用データ対かについての識別の正誤の結果から、それぞれの生成器１、２及び識別器３を敵対的に学習させる。
図３は、図２を参照して説明した学習方法により学習済みの生成器１または２を用いて中間工程状態を推定する方法について説明する模式図である。図３に示すように、学習済みの生成器１に、初期状態から複数の中間成形物を経て最終状態に至る成形工程で成形される所望の最終状態に対応する入力ノイズ（推定ノイズ）、及び、成形工程に含まれる複数のステップにおける中間工程状態を推定したいステップに対応したラベルを入力する。なお、推定ノイズの生成方法については後述する。そして、生成器１が生成した生成画像に基づいて当該推定したいステップにおける中間工程状態を推定する。つまり、生成器１が生成した生成画像が、成形に最適な初期状態から最終状態に至る変形過程の推定したいステップにおける中間工程状態であると推定する。なお、生成器１と生成器２は、内部パラメータを共有しており、どちらを用いても良い。
次に、ＰａｉｒＧＡＮの手法における、各ステップに対応したラベルの設定方法について説明する。
図４は、ＰａｉｒＧＡＮの手法における、各ステップに対応したラベルの設定方法について説明する模式図である。図４に示すように、ラベルは４つのベクトル要素（第１要素～第４要素）から構成されるベクトルである。上述したように、初期状態から複数の中間成形物を経て最終状態に至る成形工程は、複数のサブ工程に分割され、複数のサブ工程がさらに複数のステップに分割されている。ここでは、工程が３つのサブ工程（第１部分工程、第２部分工程、第３部分工程）に分割され、第１部分工程が３０ステップ、第２部分工程が２０ステップ、第３部分工程が３０ステップに分割されているとする。
ステップが第１部分工程にある場合、ラベルにおいて、第１要素ｖ１と第２要素ｖ２を使用する。ステップが第２部分工程にある場合、ラベルにおいて、第２要素ｖ２と第３要素ｖ３を使用する。ステップが第３部分工程にある場合、ラベルにおいて、第３要素ｖ３と第４要素ｖ４を使用する。使用しない要素には０を入れる。
サブ工程における各ステップのラベルは、当該サブ工程に対応したベクトル要素の値を、当該サブ工程におけるステップの時系列順の最初を０、最後を１として正規化した数値とする。第１部分工程に含まれる各ステップにおいて、上記正規化した数値は第２要素ｖ２に入れ、第１要素ｖ１には１から第２要素ｖ２の値を引いた値を入れ、第３要素ｖ３及び第４要素ｖ４には０を入れる。第２部分工程に含まれる各ステップにおいて、上記正規化した数値は第３要素ｖ３に入れ、第２要素ｖ２には１から第３要素ｖ３の値を引いた値を入れ、第１要素ｖ１及び第４要素ｖ４には０を入れる。第３部分工程に含まれる各ステップにおいて、上記正規化した数値は第４要素ｖ４に入れ、第３要素ｖ３には１から第４要素ｖ４の値を引いた値を入れ、第１要素ｖ１及び第２要素ｖ２には０を入れる。
図５は、第１部分工程におけるステップのラベルの例を示す模式図である。図５の上段に示すように、第１部分工程のステップ６における上記正規化した数値は０．２（６／３０＝０．２）であるので、第２要素ｖ２には０．２を入れ、第１要素ｖ１には１から第２要素ｖ２の値０．２を引いた値である０．８（１－０．２＝０．８）を入れる。また、図５の下段に示すように、第１部分工程のステップ２４における上記正規化した数値は０．８（２４／３０＝０．８）であるので、第２要素ｖ２には０．８を入れ、第１要素ｖ１には１から第２要素ｖ２の値０．８を引いた値である０．２（１－０．８＝０．２）を入れる。
第２部分工程の場合も同様である。図６は、第２部分工程におけるステップのラベルの例を示す模式図である。図６の上段に示すように、第２部分工程のステップ４における上記正規化した数値は０．２（４／２０＝０．２）であるので、第３要素ｖ３には０．２を入れ、第２要素ｖ２には１から第３要素ｖ３の値０．２を引いた値である０．８（１－０．２＝０．８）を入れる。また、図６の下段に示すように、第２部分工程のステップ１６における上記正規化した数値は０．８（１６／２０＝０．８）であるので、第３要素ｖ３には０．８を入れ、第２要素ｖ２には１から第３要素ｖ３の値０．８を引いた値である０．２（１－０．８＝０．２）を入れる。
第３部分工程の場合も同様である。図７は、第３部分工程におけるステップのラベルの例を示す模式図である。図７の上段に示すように、第３部分工程のステップ６における上記正規化した数値は０．２（６／３０＝０．２）であるので、第４要素ｖ４には０．２を入れ、第３要素ｖ３には１から第４要素ｖ４の値０．２を引いた値である０．８（１－０．２＝０．８）を入れる。また、図７の下段に示すように、第３部分工程のステップ２４における上記正規化した数値は０．８（２４／３０＝０．８）であるので、第４要素ｖ４には０．８を入れ、第３要素ｖ３には１から第４要素ｖ４の値０．８を引いた値である０．２（１－０．８＝０．２）を入れる。
以上のようにＰａｉｒＧＡＮの手法における、各ステップに対応したラベルを設定することで、各ステップを表すラベルによって時系列の前後関係を表現することができる。
次に、初期状態から複数の中間成形物を経て最終状態に至る成形工程で成形される所望の最終状態に対応する入力ノイズである推定ノイズを生成する方法について説明する。推定ノイズの生成にはエンコーダ（オートエンコーダ）を用いる。当該エンコーダは学習済みのものを用いる必要がある。
図８及び図９は、エンコーダ４の学習方法について説明する模式図である。図８に示すように、エンコーダ４の学習において、まず、学習済みの生成器１に入力ノイズとしての潜在ノイズ及び複数のステップにおける各ステップに対応したラベルをランダムに変えて入力してエンコーダ訓練用データとしてのエンコーダ訓練用画像を生成する。
続いて、図９に示すように、エンコーダ訓練用画像及びエンコーダ訓練用画像を生成する際に用いたラベルをエンコーダ４に入力させて、エンコーダ４に入力ノイズを生成させる。続いて、当該入力ノイズとエンコーダ訓練用画像を生成する際に用いたラベルとを学習済みの生成器１に入力させて当該生成器１に生成画像を生成させる。そして、当該生成画像とエンコーダ訓練用画像との誤差をエンコーダ４に逆伝播させることによってエンコーダ４を学習させる。
図１０は、初期状態から複数の中間成形物を経て最終状態に至る成形工程で成形される所望の最終状態に対応する入力ノイズを生成する方法について説明する模式図である。図１０に示すように、初期状態から複数の中間成形物を経て最終状態に至る成形工程で成形される所望の最終状態に対応する入力ノイズは、所望の最終状態のデータ（画像）及び複数のステップにおける最終状態に対応したラベルを、学習済みのエンコーダ４に入力することで生成する。このようにエンコーダ４を用いることで、初期状態から複数の中間成形物を経て最終状態に至る成形工程における任意のステップの中間工程状態を良好に推定することができる。
次に、本実施の形態にかかる中間工程状態推定方法の妥当性についての検証について説明する。
本検証では、本実施の形態にかかる中間工程状態推定方法であるＰａｉｒＧＡＮの手法を用いて中間工程状態を推定した結果（実施例）と、Ａｇｅ－ｃＧＡＮの手法を用いて中間工程状態を推定した結果（比較例）について比較を行った。
まず、比較例における中間工程状態の推定方法について説明する。図１１は、比較例における中間工程状態の推定方法で用いるＡｇｅ－ｃＧＡＮにおける学習方法について説明する模式図である。図１１に示すように、比較例における中間工程状態の推定方法で用いるＡｇｅ－ｃＧＡＮの手法では、生成器９０１と、識別器９０３と、を用いている。
生成器９０１は、入力ノイズ、及び、複数のステップに含まれるステップに対応したラベルが入力されることによりラベルに対応した生成データとしての生成画像を生成するものである。生成器９０１には、入力ノイズと、複数のステップのうちのあるステップｉに対応したラベルと、を入力する。ここで、入力ノイズは、［－１，１］の範囲でランダムに選択されたベクトル（潜在ノイズ）である。生成器９０１において、入力されたラベルに対応した生成画像を生成させる。
識別器９０３には、生成データに対応のラベルをリンクしたものか訓練用データに対応のラベルをリンクしたもののいずれか一方がランダムに入力される。識別器９０３は、入力されたデータが生成データか訓練用データかを識別する。そして、識別器９０３における、入力されたデータが生成データか訓練用データかについての識別の正誤の結果から、それぞれの生成器９０１及び識別器９０３を敵対的に学習させる。
図１２は、比較例において、図１１を参照して説明した学習方法により学習済みの生成器９０１を用いて中間工程状態を推定する方法について説明する模式図である。図１２に示すように、学習済みの生成器９０１に、初期状態から複数の中間成形物を経て最終状態に至る成形工程で成形される所望の最終状態に対応する入力ノイズ（推定ノイズ）、及び、初期状態から複数の中間成形物を経て最終状態に至る成形工程における中間工程状態を推定したいステップに対応したラベルを入力する。そして、生成器９０１が生成した生成画像が、成形に最適な変形過程の推定したいステップにおける中間工程状態であると推定する。
次に、本検証の検証結果について説明する。図１３は、実施例における初期状態から最終状態に至る変形過程の推定結果と、比較例における初期状態から最終状態に至る変形過程の推定結果と、を示す図である。図１３において、上段には訓練用画像における初期状態から最終状態に至る変形過程を、中段には実施例において推定した初期状態から最終状態に至る変形過程を、下段には比較例において推定した初期状態から最終状態に至る変形過程を示す。図１３に示すように、実施例において推定した変形過程の方が、比較例において推定した変形過程よりも訓練用画像における変形過程により近くなっている。
鍛造成形工程では、初期状態から最終状態に至る変形過程において、体積が常に一定となる。すなわち、初期状態から最終状態に至る変形過程において、推定したそれぞれの中間工程状態の体積の初期状態の体積からのずれ（体積誤差）が小さいことが、初期状態から最終状態に至る変形過程の推定の妥当性を測る上での一つの判断基準となる。本評価において、体積誤差は、訓練用画像における初期状態から最終状態に至る変形過程で２．７％であるのに対し、実施例において推定した初期状態から最終状態に至る変形過程で４．１％、比較例において推定した初期状態から最終状態に至る変形過程で５．８％となった。よって、実施例において推定した初期状態から最終状態に至る変形過程の方が比較例において推定した初期状態から最終状態に至る変形過程よりも妥当性が高いと判断できる。成形に最適な初期状態から最終状態に至る変形過程における中間工程状態を時系列で推定する。
以上より、本実施の形態にかかる中間工程状態推定方法では、ＰａｉｒＧＡＮの手法を用いることで、初期状態から複数の中間成形物を経て最終状態に至る成形工程に対し、成形に最適な変形過程における中間工程状態を時系列で良好に推定することができる。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。上記実施の形態では、訓練用データ、生成データ、入力データが画像データであるとして説明したが、これに限るものではない。訓練用データ、生成データ、入力データが、画像データに加えて、画像データ以外のデータ、例えば、応力、温度に関するデータなどを含んでいてもよい。
２ 生成器
３ 識別器
４ エンコーダ
９０１ 生成器
９０３ 識別器

Claims (3)

  1. 初期状態から複数の中間成形物を経て最終状態に至る成形工程に対し、成形に最適な初期状態から最終状態に至る変形過程における中間工程状態を時系列で推定する中間工程状態推定方法であって、
    入力ノイズ、及び、前記成形工程の有する複数のステップに含まれるステップに対応したラベルが入力されることにより当該ラベルに対応した生成データを生成する生成器を２つ用い、それぞれの生成器には共通の入力ノイズを入力すると共に、一方の生成器には前記複数のステップのうちのあるステップに対応したラベルを入力し、他方の生成器には前記複数のステップのうちの前記あるステップとは異なるステップに対応したラベルを入力して、前記それぞれの生成器において、入力されたラベルに対応した生成データを生成させ、
    前記一方の生成器が生成した生成データに対応のラベルをリンクしたもの及び前記他方の生成器が生成した生成データに対応のラベルをリンクしたものからなる生成データ対と、前記一方の生成器に入力されたラベルに対応した訓練用データに対応のラベルをリンクしたもの及び前記他方の生成器に入力されたラベルに対応した訓練用データに対応のラベルをリンクしたものからなる訓練用データ対と、のいずれか一方がランダムに入力され、入力されたデータ対が前記生成データ対か前記訓練用データ対かを識別する識別器を用い、前記識別器における識別の正誤の結果から前記それぞれの生成器及び前記識別器を敵対的に学習させ、
    学習済みの前記それぞれの生成器のいずれか一方に、前記初期状態から複数の中間成形物を経て最終状態に至る成形工程で成形される所望の最終状態に対応する入力ノイズ、及び、前記複数のステップに含まれる中間工程状態を推定したいステップに対応したラベルを入力し、当該生成器が生成した生成データに基づいて当該推定したいステップにおける中間工程状態を推定する、中間工程状態推定方法。
  2. 前記成形工程を複数のサブ工程に分割し、前記サブ工程における各ステップのラベルは、当該サブ工程に対応したベクトル要素の値を、当該サブ工程におけるステップの時系列順の最初を０、最後を１として正規化した数値とする、請求項１に記載の中間工程状態推定方法。
  3. 前記成形工程で成形される所望の最終状態に対応する入力ノイズは、前記所望の最終状態のデータ及び前記複数のステップにおける最終状態に対応したラベルを、学習済みのエンコーダに入力することで生成し、
    前記エンコーダの学習は、学習済みの前記生成器に入力ノイズ及び前記複数のステップに含まれる各ステップに対応したラベルをランダムに変えて入力してエンコーダ訓練用データを生成し、前記エンコーダ訓練用データ及び前記エンコーダ訓練用データを生成する際に用いたラベルを前記エンコーダに入力させて前記エンコーダに入力ノイズを生成させ、当該入力ノイズと前記エンコーダ訓練用データを生成する際に用いたラベルとを前記生成器に入力させて前記生成器に生成データを生成させ、当該生成データと前記エンコーダ訓練用データとの誤差を前記エンコーダに逆伝播させることによって行う、請求項１または２に記載の中間工程状態推定方法。
JP2018120646A 2018-06-26 2018-06-26 中間工程状態推定方法 Active JP7010774B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018120646A JP7010774B2 (ja) 2018-06-26 2018-06-26 中間工程状態推定方法
US16/400,203 US10970601B2 (en) 2018-06-26 2019-05-01 Intermediate process state estimation method
CN201910522672.1A CN110647997B (zh) 2018-06-26 2019-06-17 中间过程状态估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018120646A JP7010774B2 (ja) 2018-06-26 2018-06-26 中間工程状態推定方法

Publications (2)

Publication Number Publication Date
JP2020003906A JP2020003906A (ja) 2020-01-09
JP7010774B2 true JP7010774B2 (ja) 2022-01-26

Family

ID=68981984

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018120646A Active JP7010774B2 (ja) 2018-06-26 2018-06-26 中間工程状態推定方法

Country Status (3)

Country Link
US (1) US10970601B2 (ja)
JP (1) JP7010774B2 (ja)
CN (1) CN110647997B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10762337B2 (en) * 2018-04-27 2020-09-01 Apple Inc. Face synthesis using generative adversarial networks
CN111260545B (zh) * 2020-01-20 2023-06-20 北京百度网讯科技有限公司 生成图像的方法和装置
CN111275784B (zh) * 2020-01-20 2023-06-13 北京百度网讯科技有限公司 生成图像的方法和装置
US20230409110A1 (en) * 2020-11-18 2023-12-21 Sony Group Corporation Information processing apparatus, information processing method, computer-readable recording medium, and model generating method
JP7679630B2 (ja) * 2021-01-28 2025-05-20 富士通株式会社 情報処理プログラム，情報処理方法および情報処理装置
US12050640B2 (en) 2021-11-16 2024-07-30 Samsung Electronics Co., Ltd. Probabilistic procedure planning for instructional videos
US12148119B2 (en) * 2022-01-14 2024-11-19 Adobe Inc. Utilizing a generative neural network to interactively create and modify digital images based on natural language feedback

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030219155A1 (en) 1998-06-18 2003-11-27 Hidemasa Azuma Resin appearance designing method and apparatus
WO2018078213A1 (en) 2016-10-27 2018-05-03 Nokia Technologies Oy A method for analysing media content

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9409312B2 (en) * 2013-01-14 2016-08-09 Geoffrey Gretton Durable earthenware engraving process
US10548690B2 (en) * 2015-10-07 2020-02-04 uLab Systems, Inc. Orthodontic planning systems
WO2018064349A1 (en) * 2016-09-30 2018-04-05 Velo3D, Inc. Three-dimensional objects and their formation
CN107590478A (zh) * 2017-09-26 2018-01-16 四川长虹电器股份有限公司 一种基于深度学习的年龄估计方法
US10783629B2 (en) * 2017-09-29 2020-09-22 Align Technology, Inc. Aligner image based quality control system
EP3698702B1 (en) * 2017-10-17 2023-06-07 FUJIFILM Corporation Medical image processing device and endoscope device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030219155A1 (en) 1998-06-18 2003-11-27 Hidemasa Azuma Resin appearance designing method and apparatus
WO2018078213A1 (en) 2016-10-27 2018-05-03 Nokia Technologies Oy A method for analysing media content

Also Published As

Publication number Publication date
US10970601B2 (en) 2021-04-06
CN110647997B (zh) 2023-06-27
CN110647997A (zh) 2020-01-03
US20190392259A1 (en) 2019-12-26
JP2020003906A (ja) 2020-01-09

Similar Documents

Publication Publication Date Title
JP7010774B2 (ja) 中間工程状態推定方法
US11117328B2 (en) Systems, methods, and media for manufacturing processes
JP7289171B2 (ja) 製造プロセスのためのシステム、方法、および媒体
EP3816864A1 (en) Device and method for the generation of synthetic data in generative networks
KR102102685B1 (ko) 로봇의 인간 얼굴 표정 학습 및 표정 구현 방법
JP2020191096A5 (ja) 推論方法、推論プログラム、モデル生成方法、モデル生成プログラム、推論装置及び学習装置
CN111684475B (zh) 学习支援装置、处理系统、学习支援方法以及存储介质
Lechevalier et al. A neural network meta-model and its application for manufacturing
KR101901307B1 (ko) 가중 퍼지 소속함수 기반 심층 신경망을 이용한 클래스 분류 방법, 장치 및 컴퓨터 판독 가능한 기록매체
Ogundare et al. No code ai: Automatic generation of function block diagrams from documentation and associated heuristic for context-aware ml algorithm training
Sheptunov et al. Simulating reliability of the robotic system software on the basis of artificial intelligence
CN115210744A (zh) 用于制造过程的系统、方法和介质
KR20250134563A (ko) 지능형 플라스틱 금형설계방법
Strasser et al. An Approach for Adaptive Parameter Setting in Manufacturing Processes.
CN114758397B (zh) 模型训练方法和装置、人脸识别方法和设备、存储介质
CN111783273A (zh) 一种3d打印组织预测方法
CN115688601A (zh) 基于bls和lstm的剩余使用寿命预测方法及系统
JP7320884B2 (ja) 製造プロセスのためのシステム、方法、および媒体
Zhou et al. Identification of manufacturability constraints through process simulation and data mining
Sandhu et al. Data mining application in process control of smart material manufacturing [J]
CN121640082A (zh) 生成物体的形状数据的装置和生成物体的形状数据的方法
Latinovic et al. Adaptive genetic fuzzy systems in industry: current framework and new trends
Otworowska et al. The robohavioral methodology: Developing neuroscience theories with FOES
Meng et al. ViIK: Flow-based Vision Inverse Kinematics Solver with Fusing Collision Checking
CN121219715A (zh) 用于生成训练数据并基于生成的训练数据进行训练的计算机实现的方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201211

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220113

R151 Written notification of patent or utility model registration

Ref document number: 7010774

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250