JP7264408B2 - ニューラルネットワークモデルの生成方法、及びニューラルネットワークモデルを用いた制御装置 - Google Patents

ニューラルネットワークモデルの生成方法、及びニューラルネットワークモデルを用いた制御装置 Download PDF

Info

Publication number
JP7264408B2
JP7264408B2 JP2021503283A JP2021503283A JP7264408B2 JP 7264408 B2 JP7264408 B2 JP 7264408B2 JP 2021503283 A JP2021503283 A JP 2021503283A JP 2021503283 A JP2021503283 A JP 2021503283A JP 7264408 B2 JP7264408 B2 JP 7264408B2
Authority
JP
Japan
Prior art keywords
time
series data
neural network
network model
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021503283A
Other languages
English (en)
Other versions
JPWO2020178936A1 (ja
Inventor
徳康 安曽
雅俊 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Transtron Inc
Original Assignee
Transtron Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Transtron Inc filed Critical Transtron Inc
Publication of JPWO2020178936A1 publication Critical patent/JPWO2020178936A1/ja
Application granted granted Critical
Publication of JP7264408B2 publication Critical patent/JP7264408B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • G06N3/0442Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/09Supervised learning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Automation & Control Theory (AREA)
  • Medical Informatics (AREA)
  • Combined Controls Of Internal Combustion Engines (AREA)
  • Feedback Control In General (AREA)

Description

本発明は,ニューラルネットワークモデルの生成方法、及びニューラルネットワークモデルを用いた制御装置に関する。
ニューラルネットワークモデルを用いた制御装置は、例えば、エンジン制御装置などである。かかる制御装置内には、エンジンの過渡運転状態を推定するプラントモデルや圧力計や温度計などのソフトセンサが設けられ、それらプラントモデルやソフトセンサは、ニューラルネットワークモデルにより構成される。
例えばエンジンの過渡運転状態を推定するニューラルネットワークモデルは、エンジン回転数や燃料噴射量など各種アクチュエータの操作量を入力とし、制御したい制御量であるトルクを出力とする。ニューラルネットワークモデルでは、例えば、前述の操作量とトルクを有する訓練データを使用して学習を行い、ニューラルネットワーク内の重みやバイアスなどのパラメータが調整される。この学習プロセスでは、大量の訓練データが必要である。
一般に画像分類などを行うニューラルネットワークでは、学習に必要な訓練データを収集する場合、取得した画像を回転や反転などの画像処理により数倍もしくは数十倍にデータ数を拡張することが行われる。
特開平6-274207号公報 特開2018-142160号公報
しかしながら、エンジンの過渡運転状態を推定するニューラルネットワークモデルの場合、前述したとおり、アクチュエータの操作量を入力とし、制御量であるトルクを出力とする。そして、訓練データに必要な操作量とトルクは、時刻と共に変化する時系列データである。そのため、画像分類のような画像の回転や反転によるデータ拡張の手法を取ることができない。
そこで,本実施の形態の第1の側面の目的は,ニューラルネットワークの訓練データに含まれる時系列データを簡便にデータ拡張する、ニューラルネットワークモデルの生成方法、及びニューラルネットワークモデルを用いた制御装置を提供することにある。
本実施の形態の第1の側面は,ニューラルネットワークモデルの動作周期より短い第1の周期の第1の時系列データを取得する取得工程と、前記第1の時系列データから、前記第1の周期より長い第2の周期の第2の時系列データを複数抽出する抽出工程と、前記複数の第2の時系列データを有する訓練データを使用して、前記ニューラルネットワークモデルの学習を実行する学習工程を有する、ニューラルネットワークモデルの生成方法である。
第1の側面によれば,訓練データに含まれる時系列データを簡便にデータ拡張することができる。
時系列データの例を示す図である。 時系列データにホワイトノイズを追加して拡張した時系列データの例を示す図である。 本実施の形態におけるNNモデルの生成を行うNNモデル生成装置の構成を示す図である。 本実施の形態におけるNNモデルの学習方法のフローチャートを示す図である。 NNモデルの仮想的な構成例を示す図である。 学習済みのNNモデルの構成を示す図である。 生成されたNNモデルを用いたエンジン制御装置の構成を示す図である。 操作量の時系列データの一例を示す図である。 図4の学習のフローチャートに示したデータ拡張S2のフローチャートを示す図である。 NNモデルの動作周期より短周期の時系列データと、補間処理により生成した短周期の時系列データとを示す図である。 短周期の時系列データから異なる位相で抽出した拡張された時系列データを示す図である。 異なる位相で抽出した拡張された時系列データの具体例を示す図である。 実エンジンなどから取得した時系列データにノイズが発生した例を示す図である。 時系列データから計測点のタイミングを無作為にずらした時系列データの抽出を示す図である。 実環境で取得した時系列データとそれから抽出した拡張後の時系列データの例を示す図である。 実施例及び比較例のNNモデルの構成を示す図である。 実施例と比較例の交差検証の結果の例を示す図である。
[時系列データの例]
図1は、時系列データの例を示す図である。この例は、エンジンの過渡運転状態を推定するニューラルネットワークモデル(以下NNモデル(NNはNeural Network)と称する。)の入力である、例えば操作量、または、出力である、制御量、の時系列データである。図1には、3つの時系列データdata01~data03が示される。
これら時系列データdata01~data03は、時間軸上のデータ取得タイミング毎の操作量や制御量を有する。データ取得タイミングは、図1中、三角形で示され、NNモデルの動作周期、具体的には計算周期、で繰り返されるタイミングである。また、縦軸は、操作量または制御量を示す。
これら時系列データは、例えば、実エンジンをエンジンベンチ上で運転させ、エンジンから取得される。すなわち、時系列データは、運輸省や国際試験モデルの運転モードでエンジンを運転し、エンジンから取得される。また、同時に、エンジンの内部状態や環境状態(外気温や外気圧など)も、時系列データとして取得されてもよい。
ニューラルネットワークモデルを学習により生成するためには、膨大な量の訓練データが必要である。一方、上記のように、実エンジンを運転させて操作量や制御量などの時系列データを取得することは、多くの工数を必要とし、取得可能な訓練データの数は一定の限界がある。
画像分類を行うNNモデルは、訓練データに使用する画像を、取得済み画像を回転させたり反転させたりすることで、容易にデータ拡張することができる。しかし、時系列データの場合、画像のように回転や反転を行うことはできない。
図2は、時系列データにホワイトノイズを追加して拡張した時系列データの例を示す図である。図1の実エンジンから取得した時系列データdata01の各タイミングの計測値に、ホワイトノイズを加えて、新たな時系列データdata01’, data01’’を生成することで、比較的容易にデータ拡張することができる。
しかし、拡張した時系列データdata01’, data01’’は、取得した時系列データdata01の計測値に微小なノイズを加えただけであり、取得済み時系列データdata01と同じ傾向のデータである。そのため、拡張した時系列データdata01’, data01’’を訓練データに使用してNNモデルを学習させると、複数の訓練データがもつ同じ傾向に基づいて、NNモデルに偏りが生じることがある。また、取得済み時系列データの計測値に加えるノイズの大きさが大きいと、学習後のNNモデルの精度が低下する恐れがあり、ノイズの大きさの設定は容易ではない。
[本実施の形態]
図3は、本実施の形態におけるNNモデルの生成を行うNNモデル生成装置の構成を示す図である。NNモデル生成装置1は、高性能コンピュータ、サーバ、パーソナルコンピュータなどの情報処理装置である。NNモデル生成装置1は、プロセッサであるCPU10、プロセッサがアクセスするメインメモリ12と、大容量の補助記憶装置20を有する。補助記憶装置20は、例えば、ハードディスクドライブはソリッドステートドライブである。
補助記憶装置20は、NNモデルの学習処理をプロセッサに実行させるNN学習プログラム22と、NNモデルの演算または計算をプロセッサ10に実行させるNNプログラム24と、NNモデルの学習に使用される訓練データ26と、実エンジンなどから取得した取得済み時系列データ28などを格納する。
プロセッサ10は、訓練データ26を使用し、NN学習プログラム22と、NNプログラム24を実行して、NNモデルの学習を実行し、NNモデル内の重みやバイアスなどのパラメータを調整し、NNモデルを生成する。また、プロセッサ10は、NN学習プログラム22を実行し、取得済み時系列データ28のデータ拡張を行い、NNモデルの学習に使用する訓練データの時系列データの数を増やす。
図4は、本実施の形態におけるNNモデルの学習方法のフローチャートを示す図である。プロセッサ10は、NN学習プログラム22を実行し、補助記憶装置20に格納されている取得済み時系列データ28から時系列データを取得する(S1)。そして、プロセッサ10は、取得済み時系列データから後述するデータ拡張により複数の時系列データを生成する(S2)。プロセッサは、データ拡張により生成した時系列データを有する訓練データを、補助記憶装置20に格納し、訓練データの数を増大させる。これにより、以後実行するNNモデルの学習に使用する訓練データの準備が完了する。
次に、プロセッサ10は、NNモデルの初期調整を実行する(S3)。この初期調整では、例えば、プロセッサは、NNモデル内の各層のニューロン数や学習関数などのハイパーパラメータの初期調整を行う。
そして、プロセッサは、所定数の訓練データを使用して、NN学習プログラム22とNNプログラム24を実行し、NNモデルの学習を実行する(S4)。
図5は、NNモデルの仮想的な構成例を示す図である。このNNモデルは、入力層30と、出力層32との間に、単層または複数層の隠れ層34を有する。さらに、隠れ層34内の値を一時的に蓄積する一種のメモリ機能を有する過去の隠れ層36を有する。エンジンのNNモデルのように、時系列データを入力するNNモデルは、このようなメモリ機能を有する過去の隠れ層36を有するリカレントニューロンネットワーク(再帰型ニューロンネットワーク)が望ましい。
エンジンのNNモデルを例にして説明すると、NNモデルの学習処理は、次の通りである。まず、入力層30に、操作量(例えば、エンジン回転数、燃料噴射量、EGR開度(EGR:exhaust gas recirculationのEGRバルブ開度)、タービン開度)と、エンジンの内部状態データ、環境データなどが入力される。操作量は、NNモデルの動作周期(演算周期または計算周期)の時系列データである。
プロセッサは、入力層30の入力データをNNモデルの各層の演算を順方向に実行し、出力層32に出力データとして制御量、例えばトルク、を時系列に出力する。次に、プロセッサは、出力層32に出力した制御量と、訓練データの入力の操作量に対応する制御量との差分に基づいて、誤差を算出する。更に、プロセッサは、算出した誤差をNNの逆方向に(入力層に向かって)逆伝搬し、各層の誤差を算出する。そして、プロセッサは、各層で算出された誤差を小さくするよう、各層の重みやバイアスなどのパラメータを調整する。
プロセッサは、上記の順方向演算と、逆方向演算と、パラメータの調整を、全訓練データについて実行する。これで、ミニバッチ学習を終了する。一般に、プロセッサは、複数のミニバッチ学習を繰り返す。
図4に戻り、プロセッサは、例えば、複数回のミニバッチ学習を実行した後(S4)、NNモデルの評価を実行する(S5)。NNモデルの評価では、プロセッサは、例えば、訓練データと同様に入力データと出力データを有する訓練データとは別の評価データを使用して、学習後のNNモデルの評価を実行する。具体的には、プロセッサは、評価データの入力データをNNモデルに入力し、それにより演算された出力データと、評価データの正解データ(出力データ)とを比較し、誤差が所定の基準値未満か否かを判定する。
プロセッサは、NNモデルの評価結果が良くない場合(S5のNO)、NNの初期調整S3に戻り、もしくは、データ拡張が必要な場合は(S6のYES)、データ拡張S2に戻り、再度NNモデルの学習S4と評価S5を繰り返す。プロセッサは、NNモデルの評価結果が良ければ(S5のYES)、NNモデルの学習を終了する。
図6は、学習済みのNNモデルの構成を示す図である。学習済みのNNモデルは、前述のNNモデルの学習によって生成されたモデルである。前述の通り、NNモデルの訓練データを使用した学習により、調整された内部パラメータ、重みやバイアス等、が生成される。調整された内部パラメータは、NNモデルの演算を実行するNNプログラム24に含まれる。
学習により生成されたNNモデル40は、プロセッサ42と、プロセッサがアクセスするメモリ44と、推論時(本番時)に、入力データを入力し、NNモデルの出力データを出力する入出力部46と、バス48と、NNプログラム24を格納する補助記憶装置とを有する。
図7は、生成されたNNモデルを用いたエンジン制御装置の構成を示す図である。エンジン制御装置50は、NNモデルによるエンジン推定部51と、運転手によるアクセスペダルなどの操作に基づいて目標制御量であるトルクS54を設定する目標制御量設定部54とを有する。さらに、エンジン制御装置50は、エンジン推定部51が出力する推定制御量の推定トルクS51と目標制御量の目標トルクS54の差分S52を算出する制御部52と、トルクの差分S52に基づいて、エンジン内のアクチュエータの操作量を決定または生成するアクチュエータ操作量生成部53を有する。アクチュエータ操作量生成部53は、トルクの差分S52をなくすためには、どの操作量をどのように変動させるべきかを算出し、変動後の操作量に対応する操作信号S53を実エンジンシステム55に出力する。これに伴い、実エンジンシステム55は、制御量であるトルクを出力する。
エンジン推定部51は、学習済みのNNモデル40である。NNモデル40には、実エンジンシステムに出力される操作量の時系列データが入力され、更に、NNモデル40には、実エンジンの内部状態データや環境データ(温度や圧力等)が入力されても良い。
実エンジンシステムが生成する制御量であるトルクは、センサにより検出することが困難である。そこで、エンジン制御装置では、NNモデル40をエンジン推定部51に使用し、実エンジンシステムと同じように操作量を与えられたNNモデル40が算出する制御量(トルク)を、実エンジンシステムが出力する制御量(トルク)と推定する。
[データ拡張方法]
図8は、操作量の時系列データの一例を示す図である。操作量、例えばエンジン回転数、燃料噴射量、EGR開度、噴射時期は、図8に示すような時間と共に周波数成分が変化するチャープ信号である。例えば、回転数は、正弦波のように増減し、且つその正弦波の周波数が時間と共に変化する。他の操作量も同様である。
図9は、図4の学習のフローチャートに示したデータ拡張S2のフローチャートを示す図である。データ拡張は、複数のデータ拡張処理を有する。例えば、(1)実エンジンなどから取得した時系列データに補間処理を行うことでNNモデルの動作周期より短い周期の時系列データを取得する処理S11,S12と、(2)短周期の時系列データから、異なる位相で所定周期の複数の時系列データを抽出して時系列データを増やす処理S13,S14と、(3)時系列データの計測点を無作為に時間軸上でずらした時系列データを抽出して時系列データを増やす処理S15,S16と、(4)時系列データの値にホワイトノイズを加算して別の時系列データを生成する処理S17,S18などである。
上記の(1)の処理S11,S12では、実エンジンなどから取得した時系列データの周期が、NNモデルの動作周期と同等の場合(S11)、補間で求めたデータを追加して、NNモデルの動作周期より短周期の時系列データを取得する(S12)。
図10は、NNモデルの動作周期より短周期の時系列データと、補間処理により生成した短周期の時系列データとを示す図である。図10には、時系列データのタイミングを三角形で示し、時系列データの値は示していない。
取得した時系列データdata01_aは、NNモデルの動作周期Tのデータとそれより短周期のデータを含む、動作周期Tより短周期の時系列データである。実エンジンなどから時系列データdata01_aを取得できる場合は、補間処理は不要である(S11のNO)。
一方、取得した時系列データdata00は、NNモデルの動作周期Tのデータである。この場合は、補間処理が必要であり(S11のYES)、プロセッサは、取得した時系列データdata00の周期Tのデータ(図中黒三角形のタイミングのデータ)間の時間軸方向の補間データ(図中白三角形のタイミングのデータ)を生成し、補間データを加えて、補間後の時系列データdata01_bを生成する。補間後の時系列データdata01_bは、NNモデルの動作周期Tよりも短周期のデータを有する。
図11は、短周期の時系列データから異なる位相で抽出した拡張された時系列データを示す図である。次に、プロセッサは、異なる位相のデータを抽出してデータ拡張する場合(S13のYES)、NNモデルの動作周期Tより短周期の時系列データdata01から、異なる位相で所定の周期の複数の時系列データdata01_1~data01_5を抽出して、拡張した複数の時系列データを生成する(S14)。
短周期の時系列データdata01は、図10の時系列データdata01_a, data01_bと同じであり、NNモデルの動作周期Tのタイミングのデータ(黒三角形)と、そのデータ間の短周期のデータ(白三角形)とを有する。一方、拡張した時系列データdata01_1~data01_5は、短周期の時系列データdata01から、位相をずらして所定周期のデータを抽出した時系列データである。図11の例では、拡張された時系列データは、NNモデルの動作周期Tと同じ周期のデータである。本実施の形態では、拡張された時系列データの所定周期は、必ずしも動作周期Tと同じである必要はないが、少なくとも短周期の時系列データdata01の周期より長い。
図12は、異なる位相で抽出した拡張された時系列データの具体例を示す図である。図12には、短周期の時系列データdata01の各タイミングのデータから、それぞれ位相をずらしてNNモデルの動作周期Tと同じ周期の拡張された時系列データdata01_1, data01_2, data01_3が示される。短周期の時系列データdata01は、正弦波の時系列データである。
拡張された時系列データdata01_1は、四角形のタイミングのデータを抽出したものであり、時系列データdata01_2は、三角形のタイミングのデータを抽出したものであり、時系列データdata01_3は、丸のタイミングのデータを抽出したものである。
時系列データdata01が正弦波であるので、これら拡張された時系列データdata01_1~data01_3は、NNモデルの動作周期Tと同じ周期の時系列データであるが、それぞれのデータの値が異なる。それにより、拡張された時系列データはそれぞれ異なる複数の傾向を有するので、それらを訓練データに使用した学習済みNNモデルは、偏りが抑制され、汎化性の高いモデルになる。
図13は、実エンジンなどから取得した時系列データにノイズが発生した例を示す図である。図中、時系列データdata01_cは、四角形のタイミングで菱形のノイズが発生した例である。このノイズは、例えば、実環境下で実エンジンなどから時系列データを取得したときに、計測環境に由来する突発的または周期的に発生したものである。取得した時系列データdata01_cのように、突発的または周期的にノイズが含まれていたとしても、時系列データdata01_cから異なる位相で所定周期のデータを抽出して拡張された時系列データを生成することで、ノイズが含まれない拡張された時系列データ(図12のdata01_2, data01_3)を得ることができる。
したがって、拡張された時系列データのうち、図13に示された時系列データdata01_1nには、ノイズに起因するデータが含まれるが、ノイズのタイミングとずれたタイミングの時系列データ(図12のdata01_2, data01_3)にはノイズに起因するデータは含まれない。したがって、実環境下で取得した時系列データに突発的または周期的ノイズのデータが含まれている場合に、NNモデルがそのようなノイズのデータを有する時系列データdata01_1nによる学習で過学習することを抑制できる。
図14は、時系列データから計測点のタイミングを無作為にずらした時系列データの抽出を示す図である。プロセッサは、計測点のタイミングをずらした時系列データを生成する場合(S15)、短周期の時系列データdata01の所定周期Tのタイミング(図中黒三角形)から無作為に時間軸上の早いタイミングまたは遅いタイミングにずらしたデータdata_sftを抽出し、拡張された時系列データdata01_1sを取得する(S16)。
このような抽出のタイミングがずれたデータdata_sftを含む時系列データdata01_1sを訓練データとして学習させることで、学習後のNNモデルは、実環境で起こりうる計測タイミングのずれを有する時系列データを許容する汎化性の高いモデルになる。よって、データ拡張に加えて、汎化性を高める訓練データの生成が可能になる。
図9に戻り、プロセッサは、データ拡張で、ホワイトノイズを加えた時系列データを生成する場合(S17のYES)、時系列データの値にホワイトノイズを加算して別の時系列データを生成する(S18)。最後に、プロセッサは、抽出した複数の時系列データをメモリに格納する(S19)。
[実施例]
本発明者らが行った実験では、NNモデルの訓練データとして、運輸省の通常の運転パターンと過渡運転データを用いた。過渡運転データは、各操作量について上下限を設定したチャープ信号に基づいて、連続的に運転条件を変化させて、過渡運転データを取得した。チャープ信号の一例は図8で示した。
図15は、実環境で取得した時系列データとそれから抽出した拡張後の時系列データの例を示す図である。実施例では、NNモデルの動作周期が0.8秒に対し、それより短周期の0.08秒間隔で操作量や制御量の時系列データdata01を取得した。そして、取得した時系列データから、抽出開始時刻をそれぞれ0.08秒、0.32秒、0.64秒ずらした位相で且つNNモデルの動作周期と同じ周期0.8秒の3種類の時系列データdata01_1~data01_3を抽出し、訓練データに含めた。
一方、比較例では、抽出開始時刻が0.08秒で周期0.8で抽出した時系列データを訓練データとした。また、訓練データの時系列データは、3L直列4気筒ディーゼルエンジンをエンジンベンチ上で運転させて取得した。
図16は、実施例及び比較例のNNモデルの構成を示す図である。このNNモデルは、入力層30と、隠れ層34_a、34_bと、出力層32を有し、入力層には4つの制御量、回転数、燃料噴射量、EGR開度、タービン開度を入力し、出力層には制御量、例えばインテークマニホールド圧力、が出力される。隠れ層のニューロン数は10個,隠れ層の活性化関数と、線形関数は図示されるとおりである。
図17は、実施例と比較例の交差検証の例を示す図である。実施例と比較例の学習済みのNNモデルについて、WHTC(World Harmonized Vehicle Cycle 世界統一試験サイクル)の運転モードでエンジンを運転して取得したデータを用いて、交差検証を行い、適合度、RMSE(Root Mea Square Error平均二乗誤差)、及びR2を求めた。図17に記載されたそれぞれの評価の値から、適合値、RMSE、R2のいずれも実施例のほうが比較例より優れていることが理解できる。
図17に示した正解値と推定値の図は、WHTCの運転モードで運転したエンジンから取得したデータの入力値をNNモデルに入力して演算された出力(推定値)と、取得したデータの出力(正解値)とをプロットしたものである。横軸をx,縦軸をyとした場合、実施例は、比較例よりも、y=xの軸上により多くのデータがプロットされているので、実施例の優位性が証明された。
以上のとおり、本実施の形態によれば、NNモデルの動作周期より短い周期の時系列データを取得し、その時系列データから、位相が異なる所定周期のデータを抽出した複数の時系列データや、タイミングをランダムに時間軸上の前後にずらしたデータを抽出した時系列データで、教師データを拡張する。そのため、取得した時系列データから様々な傾向の時系列データを簡単に生成し、より多くの訓練データを生成することができる。それにより、そのような訓練データを使用してNNモデルを学習させることで、汎化性の高い、また過学習されてないNNモデルを生成することができる。
1:ニューラルネットワークモデル生成装置
22:NN学習プログラム
24:NNプログラム
26:教師データ
28:時系列データ
data01:短周期の時系列データ
data01_1~data01_3:拡張された時系列データ

Claims (9)

  1. ニューラルネットワークモデルの動作周期より短い第1の周期の第1の時系列データを取得する取得工程と、
    前記第1の時系列データから、異なる位相で、前記第1の周期より長い第2の周期の第2の時系列データを複数抽出する抽出工程と、
    前記複数の第2の時系列データを有する訓練データを使用して、前記ニューラルネットワークモデルの学習を実行する学習工程を有する、ニューラルネットワークモデルの生成方法。
  2. ニューラルネットワークモデルの動作周期の第3の時系列データを取得し、前記第3の時系列データの時間軸上の隣接するデータ間を補間して前記隣接するデータ間に複数の時系列データを追加することで、前記ニューラルネットワークモデルの動作周期より短い第1の周期の第1の時系列データを取得する取得工程と、
    前記第1の時系列データから、前記第1の周期より長い第2の周期の第2の時系列データを複数抽出する抽出工程と、
    前記複数の第2の時系列データを有する訓練データを使用して、前記ニューラルネットワークモデルの学習を実行する学習工程を有する、ニューラルネットワークモデルの生成方法。
  3. 前記抽出工程は、
    前記第1の時系列データから、前記第2の周期に対応する時刻を前または後ろにずらした時刻のデータを抽出し、前記第2の周期が一部で短いまたは長い前記第2の時系列データを抽出する、請求項1または2に記載のニューラルネットワークモデルの生成方法。
  4. 更に、
    前記学習工程後に、学習後の前記ニューラルネットワークモデルを評価する評価工程と、
    前記評価工程の評価が基準レベルに達していない場合、前記抽出工程を実行して、前記第2の時系列データの数を増やす工程を有し、
    前記学習工程は、前記増やした第2の時系列データを有する訓練データを使用して、前記ニューラルネットワークモデルの学習を実行する、請求項1または2に記載のニューラルネットワークモデルの生成方法。
  5. 前記第1の時系列データは、前記ニューラルネットワークモデルの入力または出力の時系列データである、請求項1または2に記載のニューラルネットワークモデルの生成方法。
  6. 前記入力の時系列データは、周波数が変化するチャープ信号である、請求項に記載のニューラルネットワークモデルの生成方法。
  7. 前記ニューラルネットワークモデルは、リカレントニューラルネットワークである、請求項1または2に記載のニューラルネットワークモデルの生成方法。
  8. 請求項1または2に記載のニューラルネットワークモデルの生成方法により生成されたニューラルネットワークモデルを有する、ニューラルネットワークモデルを用いた制御装置。
  9. 前記ニューラルネットワークモデルは、エンジンの状態を推定するモデルであり、
    更に、
    前記ニューラルネットワークモデルの出力に基づいて、前記エンジンへの操作量を算出する操作量算出生成部を有する、請求項に記載のニューラルネットワークモデルを用いた制御装置。
JP2021503283A 2019-03-04 2019-03-04 ニューラルネットワークモデルの生成方法、及びニューラルネットワークモデルを用いた制御装置 Active JP7264408B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/008339 WO2020178936A1 (ja) 2019-03-04 2019-03-04 ニューラルネットワークモデルの生成方法、及びニューラルネットワークモデルを用いた制御装置

Publications (2)

Publication Number Publication Date
JPWO2020178936A1 JPWO2020178936A1 (ja) 2020-09-10
JP7264408B2 true JP7264408B2 (ja) 2023-04-25

Family

ID=72338253

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021503283A Active JP7264408B2 (ja) 2019-03-04 2019-03-04 ニューラルネットワークモデルの生成方法、及びニューラルネットワークモデルを用いた制御装置

Country Status (4)

Country Link
US (1) US20210390412A1 (ja)
EP (1) EP3937088A4 (ja)
JP (1) JP7264408B2 (ja)
WO (1) WO2020178936A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7576496B2 (ja) * 2021-03-19 2024-10-31 株式会社豊田中央研究所 学習モデル生成装置、状態量推定装置、学習モデル生成方法、およびコンピュータプログラム
JP7248755B1 (ja) 2021-09-10 2023-03-29 みずほリサーチ&テクノロジーズ株式会社 学習データ生成システム、学習データ生成方法及び学習データ生成プログラム
JP7759029B2 (ja) * 2021-10-29 2025-10-23 株式会社トランストロン 制御装置、制御方法、および制御プログラム
WO2023089888A1 (ja) * 2021-11-18 2023-05-25 コニカミノルタ株式会社 機械学習方法、機械学習プログラム、機械学習装置、および情報処理装置
WO2023139760A1 (ja) * 2022-01-21 2023-07-27 日本電気株式会社 データ拡張装置、データ拡張方法、及び非一時的なコンピュータ可読媒体
US20250217703A1 (en) * 2022-03-28 2025-07-03 Hitachi Energy Ltd Reducing class imbalance in machine-learning training dataset
US12554795B2 (en) 2022-03-28 2026-02-17 Hitachi Energy Ltd Reducing class imbalance in machine-learning training dataset
JP7655287B2 (ja) * 2022-08-05 2025-04-02 トヨタ自動車株式会社 車両評価システム
DE112023003878T5 (de) * 2022-09-17 2025-06-26 Cummins Inc. Digitaler zwilling für ein kraftstoffsystem

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006004399A (ja) 2004-05-20 2006-01-05 Fujitsu Ltd 情報抽出プログラムおよびその記録媒体、情報抽出装置ならびに情報抽出規則作成方法
JP2010095067A (ja) 2008-10-15 2010-04-30 Hino Motors Ltd ハイブリッド自動車およびコンピュータ装置ならびにプログラム
WO2019026193A1 (ja) 2017-08-02 2019-02-07 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法、及び、記録媒体

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06274207A (ja) 1993-03-22 1994-09-30 Yamatake Honeywell Co Ltd 非線形制御装置
JPH10176578A (ja) * 1996-05-28 1998-06-30 Matsushita Electric Ind Co Ltd 空燃比制御装置
US10496927B2 (en) * 2014-05-23 2019-12-03 DataRobot, Inc. Systems for time-series predictive data analytics, and related methods and apparatus
US20160217379A1 (en) * 2015-01-27 2016-07-28 University Of Southern California Shapelet-Based Oilfield Equipment Failure Prediction and Detection
US20170091615A1 (en) * 2015-09-28 2017-03-30 Siemens Aktiengesellschaft System and method for predicting power plant operational parameters utilizing artificial neural network deep learning methodologies
US20200034745A1 (en) * 2015-10-19 2020-01-30 Nutanix, Inc. Time series analysis and forecasting using a distributed tournament selection process
JP6791800B2 (ja) * 2017-04-05 2020-11-25 株式会社日立製作所 計算機システム及び再帰型ニューラルネットワークを用いた演算方法
US11200489B2 (en) * 2018-01-30 2021-12-14 Imubit Israel Ltd. Controller training based on historical data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006004399A (ja) 2004-05-20 2006-01-05 Fujitsu Ltd 情報抽出プログラムおよびその記録媒体、情報抽出装置ならびに情報抽出規則作成方法
JP2010095067A (ja) 2008-10-15 2010-04-30 Hino Motors Ltd ハイブリッド自動車およびコンピュータ装置ならびにプログラム
WO2019026193A1 (ja) 2017-08-02 2019-02-07 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法、及び、記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
UM T, Terry et al.,Data Augmentation of Wearable Sensor Data for Parkinson's Disease Monitoring using Convolutional Neural Networks,Proceedings of the 19th ACM International Conference on Multimodal Interaction,英国,2017年11月13日,第216~220ページ,インターネット:<URL:https://dl.acm.org/citation.cfm?id=3136817>[検索日:2019.04.09] <DOI:10.1145/3136755.3136817>

Also Published As

Publication number Publication date
WO2020178936A1 (ja) 2020-09-10
JPWO2020178936A1 (ja) 2020-09-10
US20210390412A1 (en) 2021-12-16
EP3937088A4 (en) 2022-03-23
EP3937088A1 (en) 2022-01-12

Similar Documents

Publication Publication Date Title
JP7264408B2 (ja) ニューラルネットワークモデルの生成方法、及びニューラルネットワークモデルを用いた制御装置
Xu et al. An improved hybrid modeling method based on extreme learning machine for gas turbine engine
US11199147B2 (en) Engine control device and neural network program provided therein
CN113153521A (zh) 一种利用人工神经网络预测车辆发动机扭矩的系统和方法
EP3696395A1 (en) State detection system for internal combustion engine, data analysis device, and vehicle
CN111749788A (zh) 内燃机的失火检测装置、系统及方法、数据解析装置、内燃机的控制装置、及接收执行装置
JP2021025438A (ja) 内燃機関の状態検出システム、データ解析装置、及び車両
Gutjahr et al. Advanced modeling and optimization for virtual calibration of internal combustion engines
CN113189561A (zh) 一种海杂波参数估计方法、系统、设备及存储介质
JP2014206163A (ja) エンジン制御装置内で点火角度を決定する方法及び装置
Kim et al. Application of adaptive control to the fluctuation of engine speed at idle
Jeyamoorthy et al. Development and comparison of virtual sensors constructed using AI techniques to estimate the performances of IC engines
Planakis et al. Recurrent and time-delay neural networks as virtual sensors for NOx emissions in marine diesel powertrains
Taglialatela Scafati et al. Artificial intelligence for modeling and control of nonlinear phenomena in internal combustion engines
Ali et al. Reconstruction of cylinder pressure using crankshaft speed fluctuations
CN114997285A (zh) 车辆故障诊断方法和设备、计算机可读存储介质
Karabacak Condition monitoring of internal combustion engines with vibration signals and fault detection by using machine learning techniques
JP2022012351A (ja) 要因分析装置、要因分析方法、及び要因分析プログラム
Prokhorov Virtual sensors and their automotive applications
JP7347251B2 (ja) 写像の学習方法
Potenza et al. Multicylinder engine pressure reconstruction using NARX neural networks and crank kinematics
US20250265499A1 (en) Method and Apparatus for Feature Extraction of Time Series and Generation of Synthetic Time Series Based on the Extracted Features
Salehian et al. Application of Hidden Markov Models for Fault Detection in Automotive Engines
Bertram et al. Augmentation of an Artificial Neural Network (ANN) model with expert knowledge of critical combustion features for optimizing a compression ignition engine using multiple injections
Tzoumezi Parameters estimation in marine powertrain using neural networks

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230405

R150 Certificate of patent or registration of utility model

Ref document number: 7264408

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150