JP4270218B2 - 燃焼装置を有する制御対象物の制御装置、及びボイラを有するプラントの制御装置 - Google Patents

Description

本発明は、燃焼装置を備えた制御対象物の制御装置に関する。

従来、プラント制御の分野ではＰＩＤ制御を基本とする制御ロジックが主流である。また、ニューラルネットワークに代表される教師付き学習機能により、プラントの特性に柔軟に対応できる技術も多数提案されている。

教師付き学習機能を用いて制御装置を構成するためには、教師データとなる成功事例を予め準備する必要があるため、教師なし学習方法も提案されている。

教師なし学習の例として、強化学習法がある。

強化学習法は制御対象などの環境との試行錯誤的な相互作用を通じて、環境から得られる計測信号が望ましいものとなるように、環境への操作信号を生成する学習制御の枠組みである。これにより、成功事例が予め準備できない場合でも、望ましい状態を定義しておくだけで、自ら環境に応じて望ましい行動を学習できるという利点がある。

強化学習では、環境から得られる計測信号を用いて計算されるスカラー量の評価値（強化学習では、報酬と呼ばれている）を手がかりに、現状態から将来までに得られる評価値の期待値が最大となるように、環境への操作信号を生成する学習機能を持つ。このような学習機能を実装する方法として、例えば非特許文献１に述べられているActor-Critic，Ｑ学習，実時間Dynamic Programmingなどのアルゴリズムがある。

また、上述の手法を発展させた強化学習の枠組みとして、Dyna−アーキテクチャと呼ばれる枠組みが上記文献に紹介されている。これは、制御対象を模擬するモデルを対象にどのような操作信号を生成するのが良いかを予め学習し、この学習結果を用いて制御対象に印加する操作信号を決定する方法である。また、制御対象とモデルの誤差を小さくするモデル調整機能を持っている。

また、燃焼装置を備えたプラントの制御装置では、例えば石炭燃料のように燃料性状が一定でない場合や石炭種類を変更した場合等には、プラントの燃焼特性や伝熱特性が変化するといった課題がある。この課題に対応する方法として、例えば特許文献１に述べられている技術が挙げられる。

これは、石炭焚きボイラにおいて主蒸気圧力の実測値と設定値との偏差から燃料発熱量比を演算する方法である。

また、特許文献２は石炭焚きボイラの火炉における温度，圧力，流量等に関する流体計測データに基づいて推定される火炉の吸収熱量推定値を算出する第１の推定手段と、最終再燃器における温度，圧力，流量等に関する流体計測データに基づいて推定される最終再燃器の吸収熱量推定値を算出する第２の推定手段と、前記第１の推定手段にて算出された火炉の吸収熱量推定値と前記第２の推定手段にて算出された最終再燃器の吸収熱量推定値との比を求める手段と、この手段により求められた吸収熱量推定値の比に基づいてボイラの燃焼特性を把握し、ガス分配ダンパ設定値およびガス再循環通風機の回転数設定値およびボイラ入力加速設定値を出力する演算手段とから構成されているものである。

特開２００４−１９０９１３号公報 特開平８−２００６０４号公報 強化学習（Reinforcement Learning），三上貞芳・皆川雅章共訳，森北出版株式会社，２０００年１２月２０日出版

上記文献は、発電出力値，温度，圧力等の変化から熱収支を計算するなどして燃料発熱量の変化を推定して制御するもので、伝熱性能への影響を考慮したものである。しかし、燃料性状の変化は伝熱性能のみならず、燃焼ガス組成にも影響する。

ＮＯｘ，ＣＯなどが増加すると、対外環境へ影響を与えたり、排ガス処理装置の負荷が上昇するなどの可能性があるが、上記文献には燃焼ガス組成への影響を考慮した方法は記載されていない。

また、燃焼現象は燃料と空気（ガス）の流動，伝熱と燃焼反応の複雑な複合現象であるため、その挙動を制御することは難しい課題である。

特に、燃料性状の変化に対する排ガス組成の変化について適切な操作方法を導出することは困難であった。前述の強化学習理論を用いても、試行錯誤的に多様な燃料性状に対してその操作方法を学習するためには長時間の学習期間が必要であり、かつ、学習期間は排ガス性状が悪化する可能性もあった。

本発明は、燃料組成の変化に対しても燃焼ガス成分を適切に制御可能な制御装置を提供することを目的としている。

本発明は、燃焼装置を有する制御対象物の計測データを入力し前記制御対象物への操作指令値を演算する基本制御指令演算手段と、前記燃焼装置へ供給する燃料の複数の燃料組成に対して、前記燃焼装置の操作パラメータと前記ガス中成分のデータセットを格納する燃料データ格納手段と、前記制御対象物の過去の運転実績値を格納する運転実績データベースと、前記制御対象物の過去の運転実績値と前記データセットのデータ間距離を算出し、データ間距離が最短となるデータセットを決定するデータ作成手段と、前記データ作成手段により決定されたデータセットを用いて、前記燃焼装置の操作パラメータと前記燃焼装置の燃焼ガス中成分との関係をモデル化するモデル化手段と、前記モデル化手段のモデルを用いて現在のガス中成分より良い条件となる燃焼装置の操作パラメータを算出し、前記基本制御指令演算手段の操作指令値を算出した操作パラメータで補正する補正手段とを有する制御装置である。

本発明は上記手段から構成され、燃料組成（性状）が変化しても、自動的に排ガス成分を適切に制御できるので、排ガス中のＮＯｘ，ＣＯ等の有害物質の発生量を低減できる。

以下、最良の実施形態について、図を参照しながら説明する。図１は第一の実施形態を示している。本発明の制御装置２００は制御対象であるプラント１００からプロセス値の計測情報２０５を受け取り、これを使用して制御装置２００内に予めプログラムされた演算を行ってプラント１００への操作指令信号（制御信号）２８５を送信する。プラント
１００は受け取った操作指令信号２８５に従って、例えばバルブの開度やダンパ開度といったアクチュエータを動作させてプラントの状態をコントロールしている。

本実施例は火力発電プラントの燃焼制御に適用した例である。本例では特に、排ガス中のＮＯｘ及びＣＯ濃度を低下することを目的とした制御機能に適用した例を中心に説明する。

図７に制御対象である火力発電プラントの構成を示す。燃料となる石炭と石炭搬送用の１次空気、及び燃焼調整用の２次空気をバーナ１０２を介してボイラ１０１に投入し、ボイラ１０１にて石炭を燃焼する。石炭と１次空気は配管１３４から、２次空気は配管141から導かれる。また、２段燃焼用のアフタエアを、アフタエアポート１０３を介してボイラ１０１に投入する。このアフタエアは、配管１４２から導かれる。

石炭の燃焼により発生した高温のガスは、ボイラ１０１の経路に沿って流れた後、エアーヒーター１０４を通過する。その後、排ガス処理装置にて有害物質を除去した後、煙突をから大気に放出される。

ボイラ１０１を循環する給水は、給水ポンプ１０５を介してボイラ１０１に導かれ、熱交換器１０６においてガスにより過熱され、高温高圧の蒸気となる。尚、本実施形態では熱交換器の数を１つとしているが、熱交換器を複数個配置してもよい。

熱交換器１０６を通過した高温高圧の蒸気は、タービンガバーナ１０７を介して蒸気タービン１０８に導かれる。蒸気の持つエネルギーによって蒸気タービン１０８を駆動し、発電機１０９で発電する。

次に、バーナ１０２から投入される１次空気、及び２次空気，アフタエアポート１０３から投入されるアフタエアの経路について説明する。

１次空気は、ファン１２０から配管１３０に導かれ、途中でエアーヒーターを通過する配管１３２と通過しない１３１に分岐し、再び配管１３３にて合流し、ミル１１０に導かれる。エアーヒーターを通過する空気は、ガスにより過熱される。この１次空気を用いて、ミル１１０で生成される石炭（微粉炭）をバーナ１０２に搬送する。

２次空気、及びアフタエアは、ファン１２１から配管１４０に導かれ、エアーヒーター１０４で過熱された後、２次空気用の配管１４１と、アフタエア用の配管１４２とに分岐し、それぞれバーナ１０２とアフタエアポート１０３に導かれる。

制御装置２００は、ＮＯｘおよびＣＯ濃度を低減するため、バーナから投入する空気量と、アフタエアポートから投入する空気量を調整する機能を持っている。また、図７には示していないが、燃焼排ガスの一部を火炉に戻すガス再循環設備を備えた場合や、バーナの噴出角度を上下に可変とする装置を備えている場合があり、これらを制御操作の対象としても良い。制御操作の対象となる、バーナへ供給する燃料流量，バーナ空気流量，エアポートへ供給する空気流量，ガス再循環設備の操作量，バーナの噴出角度等は、ボイラへの操作パラメータである。

制御装置２００は基本制御指令演算手段２３０と、基本制御指令演算手段２３０から出力される基本操作指令値２３５を変更または補正する補正手段２６０と、プロセス計測値２０５，オペレータの入力信号，上位制御システムからの指令信号等から成る運転実績データを蓄積・格納している運転実績データベース２４０と、制御対象プラント１００またはオペレータ等とのデータ授受のための入出力インターフェース２２０と、オペレータが各種データを見たり、設定値や運転モード、手動運転の際の操作指令等を入力したりするための入出力手段２２１とから構成されている。

基本制御指令演算手段２３０はＰＩＤ（比例・積分・微分）制御器を基本構成要素とし、プロセス計測値２０５，オペレータの入力信号，上位制御システムからの指令信号等を入力としてプラント１００に設置されているバルブ，ダンパ，モータ等の各種動作機器に対する基本操作指令値２３５を演算して出力する。

基本操作指令値２３５の機能及び構成は従来の火力発電所の制御装置と同じであるため、ここでは説明を省略する。

本発明の特徴は、データ作成手段２１０とモデル化手段２５０と補正手段２６０と燃料データ格納手段２７０とを備えた点にある。以下、それぞれの機能について説明する。

モデル化手段２５０は、操作パラメータである燃料流量，空気流量等と、その操作パラメータにおける排ガス中のある特定成分濃度との関係を模擬したモデルを作成する機能を有する。

燃料データ格納手段２７０からデータ２７５を読込み，入力層，中間層，出力層からなるニューラルネットワークで、誤差逆伝播法（バックプロパゲーション法）を用いて入出力関係を学習する。ニューラルネットワークの構成及び学習方法は一般的な方法であり、また、これらの方法が他の方法であっても良く、本発明はニューラルネットワークの構成や学習方法には依存しないので、ここでは詳細な説明を省略する。

入力データはバーナ及びアフタエアポートの各位置毎の空気流量，バーナ毎の燃料流量，発電機出力であり、出力データはＮＯｘ及びＣＯ濃度である。

本例で燃料流量，空気流量，発電出力とＮＯｘ及びＣＯ濃度の関係をモデル化しているが、本発明は入力項目及び出力項目をこれだけに限定するものではい。また、モデル化方法もニューラルネットワークに限定するものではなく、回帰モデル等の他の統計的手法を用いてモデルを作成しても良い。

燃料データ格納手段２７０には石炭の種類（石炭は産地によって性質が異なる）毎に、モデル化手段２５０の入力データと出力データのデータセットが複数蓄えられている。

データセットは、運転実績データベース２４０から過去の実績データを抽出したものと、ボイラ内の燃焼数値解析を実施して事前に計算した計算結果とがある。

運転実績データのみでは、運転データが蓄積されるまでモデルが作れない。また、使用経験が無い石炭種類は当然、モデルを作ることができない。そこで、本発明では、対象プラントのデザインと運用条件を忠実に模擬した計算体系で燃焼数値解析を実施して、その結果を燃料データ格納手段２７０に格納している。

燃焼現象は燃料と空気（ガス）の流動，伝熱と燃焼反応等の複雑な複合現象であるため、その挙動を把握することは一般に難しい。しかし、例えば燃料性状（組成，粒径），燃焼雰囲気等の条件を変えた燃焼基礎実験を実施し、その結果から要素現象をモデル化することで、火力発電所のボイラのような大型で複雑な内部挙動をもつ現象も実用的な精度で解析できる。

また、数値解析の技術は従来からあったが、特にボイラのような大型装置をある程度精度良く解析するには膨大な計算格子（メッシュ）数を必要とし、工業的にこれを計算するのは計算時間がかかり過ぎるために事実上不可能であった。

しかし、例えば特開２００３−２８１４６２号公報に述べられているような数値解析技術を用いることにより、精度を保ちつつ高速に解析できるようになっており、また、近年の計算機の性能向上もあって、大型プラントの詳細現象の数値解析が実現できるようになった。

燃焼数値解析では、複数の石炭組成について計算している。石炭組成は代表的な石炭銘柄（種類）について組成分析を実施して決定する。石炭は天然資源であるため、同じ産地でもその組成が全く同じでない場合が多い。そこで複数ケースのサンプルを分析し、その平均組成を用いている。

また、発電所では石炭を屋外に貯蔵している場合が多く、天候の影響で含有水分量が日によって変化するため、同じ種類の石炭であっても特性が変化する場合がある。

そこで、同一種類の石炭について水分含有量を複数ケース変化させて燃焼数値解析を実施し、その結果も格納している。そのため、含有水分量によるＮＯｘ及びＣＯ濃度への影響度を評価することが可能である。

次に、データ作成手段２１０について図４を用いて説明する。

ステップ５００では、モデル化手段２５０で使用するデータセットを変更するかどうかを判断するための基準値（データ間距離許容値）を読込む。基準値はキーボード２２２から入力可能で、一度入力するとその値が記憶される。また、後で、基準値を変更することも可能である。

ステップ５１０では、運転実績データベース２４０から所定期間（例えば１ヶ月）前から現在までのバーナ及びアフタエアポートの各位置毎の空気流量，バーナ毎の燃料流量，発電機出力，ＮＯｘ濃度，ＣＯ濃度の実績値２４５を読込む。

ステップ５２０では現在使用しているモデル作成に使用した数値解析結果データセットを燃料データ格納手段２７０から読込む。

ステップ５３０では、ステップ５１０で読込んだ運転実績データ２４５とバーナ及びアフタエアポートの各位置毎の空気流量，バーナ毎の燃料流量，発電機出力の値がそれぞれ同じなるように、ステップ５２０で読込んだ数値解析データセットのデータ間を補間して、その時のＮＯｘ濃度，ＣＯ濃度の補間値を計算する。

補間の方法としては３次スプライン補間を用いているが、その他の補間方法を用いてもよい。

数値解析データセットは予め定めた条件で計算した離散データであるため、運転実績データと全く同じ条件にはならない場合が多いため、このようなデータ補間を実施して、運転実績データと条件を合わせる。

ステップ５４０では、ステップ５１０で読込んだ実績値のデータ点と、ステップ５３０で計算した数値解析データの補間値とのデータ間距離を求める。

データ間距離は、式（１）に示すユークリッド距離で定義する。２データ点Ｐ，Ｑの座標が（Ｘｐ１，Ｘｐ２，Ｘｐ３，…，Ｘｐｎ），(Ｘｑ１，Ｘｑ２，Ｘｑ３，…，Ｘｑｎ)で与えられる時、２点間の距離ｄ_jkの二乗は数式１で求められる。ここで、座標となる
Ｘｐｉ，Ｘｑｉはバーナ及びアフタエアポートの各位置毎の空気流量，バーナ毎の燃料流量，発電機出力，ＮＯｘ濃度，ＣＯ濃度である。また、ｊは燃料データセット番号、ｋはｊ番の燃料データセット中のＮＯｘ及びＣＯの計測データ数である。

ステップ５５０では、燃料データ格納手段２７０に格納されている燃料組成データセットの全てに対して、運転実績データ２４５の各データ点との距離を計算したかどうかを判定する。

全ての燃料組成データセットに対して計算が終了した場合はステップ５６０に進む。未計算の燃料組成データセットが残っている場合は、ステップ５２０に戻って、計算対象とする燃料組成データセットを変更して同様の手順でデータ間距離を計算する。

ステップ５６０では、まず各燃料データセットについて、運転実績データ２４５との平均距離ｄ_{j_ave}を式（２）で求める。

次に、ｄ_{j_ave}が最小となるデータセットを選択する。

ステップ５７０では、ステップ５００で読込んだ基準値（許容値）とｄ_{j_ave} を比較し、ｄ_{j_ave}が許容値以下であれば、モデル化手段２５０にｄ_{j_ave}ｄ_{j_ave} 最小のデータセット番号の情報２１５をを送信して終了する。

また、ｄ_{j_ave}が許容値を超えている場合は、ステップ５８０へ進む。

ステップ５８０では、新規データセットを作成し、モデル修正指令信号をモデル化手段２５０へ出力する。ｄ_{j_ave} が許容値を超えている場合は、既存の燃料組成データセットでは最近の運転実績データに合わないことを意味している。従って、ｄ_{j_ave} が最小の燃料組成データセットに、最近の運転実績データを加えたデータセットを加えて新規のデータセットを作成する。その際に、数値解析データと運転実績データとを区別できるようにデータフラグを設けている。

モデル化手段２５０に、新規に作成したデータセット番号とモデル修正指令信号の情報２１５を出力する。

モデル化手段２５０は、モデル修正指令情報２１５を受取ると、新たなデータセット番号を参照し、そのデータセットのデータを用いてモデルを作り直す。モデル作成方法は前述と同じであるが、運転実績データをデータフラグで識別し、運転実績データの重みを重視するよるにモデルを作成する。具体的には、運転実績データの入力回数を増やすことで、他の数値解析データよりもモデル特性に強く反映させるようにしている。

これにより、少なくとも運転実績が存在するデータ点近傍については、運転実績データに近い特性をモデル化できるため、モデルの誤差が減少する。

データ作成手段２１０は例えば１週間間隔で実行される。ｄ_{j_ave} が許容値を超えている場合は、１週間分新たに蓄積された運転実績データを追加して、再びモデルを作成し直すため、モデル作成に用いるデータセット中の運転実績データの割合が増加し、モデル特性が実際の運転特性に近づいていく。

次に、補正手段２６０について説明する。補正手段２６０はモデル化手段２５０に操作パラメータに相当する模擬操作指令信号２６５を出力する。モデル化手段２５０は作成したモデルに、バーナ及びアフタエアポートの各位置毎の空気流量，バーナ毎の燃料流量，発電機出力等の模擬操作指令信号２６５を入力し、モデルの出力値であるＮＯｘ及びＣＯ濃度を計算してこれらのガス成分情報２５５を補正手段２６０に出力する。

補正手段２６０では、運転データ２０５から現在のプラント状態である各操作量値を読込み、その状態を基準にしてバーナ及びアフタエアポートの各位置毎の空気流量を次操作までの時間で変化可能な変化幅の範囲で変化させて、それら模擬操作指令信号２６５として出力する。

操作量の変可幅は予め登録してあるダンパやバルブ等のアクチュエータ動作速度と操作（制御）インターバルから求める。また、各操作量の変化可能幅を所定数に分割し、それらの全組合せについて操作量を変化させる。

このようにして変化させた各模擬操作指令信号２６５毎にモデル化手段２５０でＮＯｘ及びＣＯ濃度を計算する。その中から、式（３）で定義する評価値Ｊが最小となる模擬操作指令信号を抽出する。ここで、Ｃ_NOx，Ｃ_COはそれぞれＮＯｘ及びＣＯ濃度の計算値、Ａ₁，Ａ₂は係数である。

式（３）に、ＮＯｘ及びＣＯ濃度の現在計測値を入力して計算した評価値をＪ_R とする。モデルの計算値で評価したＪと現在計測値で評価したＪ_R を比較し、式（４）の条件が成立する場合は、基本操作指令値２３５に補正を加えて操作指令信号２８５として出力する。

式（４）が成り立つ場合は、現在の計測値であるガス中成分より、モデルの模擬操作指令信号２６５によるガス中成分の方がより良い条件であることを示している。

補正の方法について図１１を用いて説明する。

減算器２８１で基本操作指令値２３５と評価値Ｊが最小となった模擬操作指令信号265の偏差信号２８７を計算し、これを加算器２８４で基本操作指令値２３５に加算して補正操作指令値２８８を作成する。

もし、入力データの異常または演算回路の異常によりモデル化手段２５０の出力値であるＮＯｘ及びＣＯ濃度計算値２５５が異常になった場合には偏差信号２８７に乗算器283で乗じる係数をゼロにすることで補正操作指令値２８８は基本操作指令値２３５と等しくなるため、誤って異常信号を出力する危険性が低減される。

モデル化手段２５０の出力値であるＮＯｘ及びＣＯ濃度計算値２５５が異常か否かは、モデル化手段２５０への入力データ及び出力データの上下限値チェック及び変化率の上下限チェックで判定する。少なくとも一つでも予め設定した上下限値を逸脱する場合は、切替器２８２の出力信号を０とすることで異常の可能性がある状態で評価した模擬操作指令信号２６５の出力を防止する。切替器２８２は、それ以外の場合は出力信号を１としている。

切替器２８６は式（４）の判定結果を受けて、基本操作指令値２３５と補正操作指令値２８８のどちらかを選択して操作指令信号２８５として出力する。

以上により、操作量とＮＯｘ及びＣＯ発生量との関係を燃焼数値解析の結果に基づいたモデルを用いて評価することで、ＮＯｘ及びＣＯの発生量を低減する操作が可能である。

また、燃料性状（石炭種）が変化した場合に対しても、適切な数値解析データセットを選択できるため、モデルの精度を高く維持できる。このため、石炭種が変更された場合にもＮＯｘ及びＣＯに対する制御性能低下を抑制することができる。

従って、従来、燃料性状変化の情報をオペレータが制御装置に入力したり、オペレータの経験と知識に依存して制御パラメータを変更していたものが自動化される。そのため、オペレータの技術力に依存することなく高性能で安定な運転が可能であり、オペレータの作業負荷を低減することができる。

さらに、予め準備した数値解析結果データセットと運転実績データの偏差が大きい場合には、運転実績データを追加した新規データセットを作成するため、運転実績データに近いモデルに逐次モデルを自動変更可能である。

なお、本実施形態の例では制御対象プロセス値をＮＯｘ及びＣＯ濃度としているが、本発明はこれに限らず、ガス中のＣＯ₂ ，ＳＯｘ，Ｈｇ（水銀）量，フッ素，煤塵またはミストから成る微粒子類，ＶＯＣ（揮発性有機化合物）を対象としても良い。

次に、第二の実施形態について図２を用いて説明する。

前述の第一の実施形態と異なる点は、強化学習手段２９０を用いてＮＯｘ及びＣＯを低減する操作方法を学習する点である。

強化学習手段２９０は運転実績データベース２４０に蓄積された運転データを用いて強化学習理論によりプラント状態に対応した適切な操作方法を学習する機能を有している。

強化学習理論の詳細な説明は、例えば“強化学習（Reinforcement Learning），三上貞芳・皆川雅章共訳，森北出版株式会社，２０００年１２月２０日出版”に述べられているので、ここでは強化学習の概念のみを説明する。

図９に強化学習理論による制御の概念を示す。制御装置６１０は制御対象６００に対して操作指令６３０を出力する。制御対象６００は制御指令６３０に従って動作する。この時、制御指令６３０による動作により制御対象６００の状態が変化する。変化した状態が制御装置６１０にとって望ましいか、または、望ましくないか、また、それらがどの程度かを示す量である報酬６２０を制御対象６００から受取る。

実際には制御対象から受取る情報は制御対象の状態量であって、それに基づいて制御装置６１０が報酬を計算するのが一般的である。一般に、望ましい状態に近づくほど報酬が大きくなり、望ましくない状態になるほど報酬が小さくなるように設定される。

制御装置６１０は試行錯誤的に操作を実施して、報酬が最大になる（すなわち、できるだけ望ましい状態に近づく）ような操作方法を学習することにより、制御対象６００の状態に応じて適切な操作（制御）ロジックが自動的に構築されるのである。

ニューラルネットワークに代表される教師付学習理論は、予め成功事例を教師データとして提供する必要があり、新規プラントや現象が複雑で予め成功事例を準備できない場合には不向きである。

これに対して強化学習理論は教師なし学習に分類され、自らが試行錯誤的に望ましい操作を生成する能力を持っている点で、制御対象の特性が必ずしも明確でない場合に対しても適用可能な利点を持っている。

本第二の実施形態では、この強化学習理論を利用している。

強化学習は試行錯誤的に学習するが、プラント制御の場合に実プラントを直接相手にして試行錯誤的に操作することは運転の危険性やプラントの製造製品へのダメージなどの点で実現困難である。そこで、本発明では、プラントの運転実績から運転特性モデルを作成し、このモデルを相手に学習する方式としている。

強化学習手段２９０はモデル化手段２５０で作成したモデルに対して、バーナ及びアフタエアポートの各位置毎の空気流量，バーナ毎の燃料流量からなる模擬操作指令信号265を出力する。模擬操作指令信号２６５はプラントの操作条件に対応しており、それぞれ上下限値，変化幅（刻み幅）、一回の操作で取り得る最大変化幅が設定してある。模擬操作指令信号２６５の各量は取り得る値の範囲内でランダムに各数値が決定される。

モデル化手段２５０は作成済みのモデルに模擬操作指令信号２６５を入力し、出力データ２５５となるＮＯｘ及びＣＯ濃度を計算する。

強化学習手段２９０はモデル化手段２５０の出力データ２５５を受信し、報酬値を計算する。

報酬は式（５）で定義する、ここで、Ｒは報酬値、Ｏ_NOxはＮＯｘ値、Ｏ_CO はＣＯ値、Ｓ_NOx及びＳ_COはＮＯｘ及びＣＯの目標設定値、ｋ₁，ｋ₂，ｋ₃，ｋ₄は正の定数である。

式（５）に示すように、目標設定値よりもＮＯｘ，ＣＯ値が低下した場合は報酬Ｒ₁ 及びＲ₂ を与え、さらに、目標設定値よりも低下した場合はその偏差に比例して報酬を与えるようになっている。

なお、報酬の定義方法は他にも多様な方法が考えられ、式（５）の方法に限定されるものではない。

強化学習手段２９０は式（５）で計算される報酬が最大になるように模擬操作指令信号２６５の組合せ、すなわち操作量を学習するため、結果的に現状態に対応してＮＯｘ，
ＣＯを低減する操作量の組合せを学習することができる。

強化学習手段２９０は学習が終了した状態で、現在時刻の運転データ２０５を読込み、学習結果に基づいて式（５）の報酬が最大となる操作量２９５を出力する。

補正手段２６０は基本操作指令値２３５に、補正を加えて操作指令信号２８５として出力する。

補正方法は基本的に第一の実施形態と同じである。図１３に補正回路を示すように、図１１に示した第一の実施の形態と異なる点は、模擬操作指令信号２６５の代りに強化学習手段２９０で計算した操作量２９５を用いる点である。

通常は切替器２８２の出力には１が設定されており、基本操作指令値２３５に基本操作指令値２３５と操作量２９５との偏差が加算器２８４で基本操作指令値２３５に加算されて強化学習指令値２８８となる。

切替器２８６は通常は強化学習指令値２８８を選択して操作指令値２８５として出力する。

ただし、モデル化手段２５０の入出力値または強化学習手段２９０の入出力値のうち何れか一つでも上下限値および変化率の制限範囲を逸脱する場合は、切替器２８２の出力として０が選択されると共に、切替器２８６では基本操作指令値２３５を選択して出力するように設定されている。

これにより、データや演算回路の異常によって異常操作指令値が出力されるのを二重に防止している。

また、強化学習指令値２８８による制御結果として、制御偏差が所定範囲を超える場合、または、その頻度や継続時間が所定範囲を超える場合には、強化学習指令値２８８の効果がないものと判断して、切替器２８２および２８６にデータ異常時と同様の選択(処理)をして強化学習指令値２８８の出力を停止することができる。この時でも基本操作指令値２３５によって運転は継続でき、プラントの運転に支障をきたすことはない。

以上より、第二の実施形態では強化学習手段２９０により、最適な操作方法を自動的に構築することができる。また、学習が終了した状態では、現在の運転状態データ２０５を入力すると瞬時に報酬を最大とする操作量を出力するため、第一の実施形態のように毎制御タイミング毎に模擬操作指令信号２６５の組合せを変えながら適切な操作量の組合せを求める必要がなく、制御時の計算機負荷を低減できる。これにより、計算機動作の安定性高まり、制御装置の信頼性が向上するため、プラント運転の安全性，安定性も高まるという効果もある。

次に、第三の実施形態について、図３を用いて説明する。

第二の実施形態と異なる点は、状態評価手段３００とデータセット切替手段３１０とを備えた点である。状態評価手段３００はモデル化手段２５０で作成したモデルの計算値
２５５とそれに対応する運転実績データ２０５との偏差であるモデル誤差を監視している。

状態評価手段３００とデータセット切替手段３１０の処理手順を図１２を用いて説明する。

ステップ６００では、モデル誤差に対する許容値の設定値を読込む。

ステップ６１０では、運転実績データ２０５とその時の操作量実績値をモデルに入力して得られる計算値２５５とを読込む。

ステップ６２０では、ステップ６１０で読込んだ運転実績データ２０５と対応する操作条件におけるモデル計算値２５５との偏差（モデル誤差）を計算する。

ステップ６３０では、ステップ６２０で計算したモデル誤差の過去の時系列データに対して移動平均値を計算し、移動平均値，移動平均値の所定時間間隔における変化率を計算する。

ステップ６４０では、ステップ６３０で計算したモデル誤差の移動平均値，移動平均値の変化率値および時刻ごとのモデル誤差と、ステップ６００で読込んだそれぞれに対する各許容値とを比較する。

許容範囲内であれば処理を終了し、許容範囲外の場合はデータセット切替指示３１５をデータ作成手段２１０に出力し、モデル変更指示３１６をモデル化手段２５０に出力する。

ステップ６００からステップ６３０までは状態評価手段３００で実行し、ステップ640はデータセット切替手段３１０で実行する。

図５に状態評価手段３００の演算結果の画面出力例を示す。

表示画面４００にはモデル誤差の時系列グラフがグラフエリア４０１に表示される。グラフには各時刻毎のモデル誤差４０８と、その移動平均値４０９が示されている。

グラフの縦軸はモデル誤差（％）であり、入力欄４０３に表示する範囲値（例えば０，１００）を入力することができる。横軸は時刻であり表示欄４０４に日付または時刻が表示される。また、横軸はスクロールバー４０２をマウスで操作することで、表示時間を変更することができる。

表示期間は、表示期間選択ボタン４０５を用いて、年単位，月単位，週単位，日単位，時間単位を選択できる。表示期間選択ボタン４０５の何れかのボタンをマウスで選択すると、表示期間入力ウインドウ４１０が表示され、表示する期間の開始時刻を指定することができる。何も入力せずに「ＯＫ」ボタンを押すと、選択した現在時刻を基準にして選択した表示期間に従って表示開始時刻が自動選択される。また、「戻る」ボタンを押すと、入力した情報はキャンセルされる。

この画面により、モデル誤差の推移を時系列的に監視することができ、モデル誤差の許容値４０７に対して、使用中のモデルがどのような状態にあるかを把握することが容易である。許容値の設定変更は、「設定」ボタン４０６をクリックすることで設定画面へ移行するようになっている。

また、データセット切替手段３１０で演算した結果、許容範囲を超えた場合は警告として画面上に表示される。警告内容には、「モデル誤差の許容値オーバー」，「モデル誤差許容値オーバーの継続時間表示」，「モデル誤差変化率の許容値オーバー」がある。

何れかの警告が出ると、自動的に表示画面４００が表示され、オペレータに注意を促す。これと同時にデータセット切替手段３１０はデータセット切替指示３１５をデータ作成手段２１０に出力し、モデル変更指示３１６をモデル化手段２５０に出力する。

特に、「モデル誤差変化率の許容値オーバー」と「モデル誤差の許容値オーバー」の場合は、プラント特性の急激な変化とみなすことができる。この場合、燃料性状が変化した可能性が高く、第一の実施形態で説明した方法で燃料組成データセットを変更または新規データセットを作成し、モデルを再構築する。また、再構築したモデルを対象に強化学習を実施して、状態変化に自動的に追従する。

これにより、モデル誤差の傾向を常に自動監視することが可能であり、監視結果に基づいてモデル変更及び強化学習の再学習が可能であるため、常に安定した制御性能を維持できる。

図６はデータ作成手段２１０で燃料データセットを変更してモデルを再構築し、モデル誤差を評価した結果を表示した例である。燃料組成Ａ〜Ｄについてのモデル誤差を表示している。データ作成手段２１０のデータセット選択の基準として、図６に表示しているモデル誤差の平均値を計算し、この平均値が最小となる燃料組成データセットを選択するようにしても良い。

図１０はデータ作成手段２１０で選択した燃料組成データセットの表示画面例４３０である。画面の上段には、選択したデータセットの組成が円グラフ４３１と表４３３で表示される。

また、下段の入力画面では、オペレータが実際に使用している燃料性状を入力することができる。複数の石炭種をブレンドしている場合は、入力欄４３５に石炭種類名とその配合率を入力することができる。

この情報は、解析センタ３０に送付することができる。図８に示すように、解析センタ３０は専用通信回線網４０を介して複数の発電所５０，５１，５２と接続されており、相互にデータの授受が可能である。

燃料組成データセットの表示画面例４３０で、「解析センタへ送信」ボタン４３４を押すと、オペレータが入力欄４３５に入力した情報が解析センタ３０に送信される。また、データ作成手段２１０で選択したデータセット名と、最近の運転実績データ（操作指令値、プロセス値）が同時に解析センタ３０に送信される。

解析センタ３０では、発電所５０〜５１から上記の情報を受信すると、燃焼数値解析の対象プラント構造データと受信した操作量実績値を解析モデルに入力し、計算条件の一つである燃料組成データを種々変更しながらＮＯｘ及びＣＯ濃度を計算し、受信したＮＯｘ及びＣＯ濃度の実測値との誤差が最小となる燃料組成データを選択する。

このようにして選択した燃料組成データセットと、このデータセットから構築したモデル及びこのモデルを対象に強化学習した学習結果とを専用通信回線網４０を介して対象発電所に送信する。

制御装置２００はこの受信情報を確認すると、新たに受信した燃料組成データセットを燃料データ格納手段２７０に保存し、受信したモデルをモデル化手段２５０にセットし、受信した強化学習結果を強化学習手段２９０にセットする。

解析センタ３０におけるモデル構築方法および強化学習方法は前述の第一及び第二の実施形態で述べた方法と同じである。

以上により、燃料変更に関する詳細情報が得られる場合はより精度の高いデータセット及びそれを用いたモデルに更新することができるため、高性能な制御性能を維持することができる。

本例では、発電所からデータを受信してから解析センタ３０で燃料組成データセットを変化させた数値解析とモデル構築及び強化学習を実施しているが、事前に燃料組成を種々変化させた数値解析を多ケース実施して結果を保存しておけば、燃料性状変更のデータを受信した際に保存した解析結果からデータセットまたはモデル等を選択するだけで良く、即座に発電所に新しいモデルを提供することが可能である。そのため、燃料変更によって制御性能が低下する時間を短縮することができる。

また、発電所から燃料性状データを受信する前に、事前に種々の燃料性状に対して解析を実施しておき、あらたな燃料組成データセット、それを用いて構築したモデル及びそのモデルを対象に強化学習した学習結果を逐次発電所に送信し、発電所でこれらの情報を保存しておくことも可能である。

この場合、発電所側の記憶容量，通信負荷，通信コストが増加する可能性があるが、炭種変更時に解析センタ３０と通信する必要が無く、迅速に新しいモデルまたは新しい強化学習結果に変更できるため、炭種変更により制御性能が低下するリスクが発生する時間を短縮できる。

上記実施例による効果として、以下が挙げられる。

燃料組成（性状）が変化しても、自動的に排ガス成分を適切に制御できるので、排ガス中のＮＯｘ，ＣＯ等の有害物質の発生量を低減できる。

また、長時間の学習期間を不要とし、制御装置の効果を初期から発揮できる。一般に、学習中の試行錯誤運転では、有害物質排出量が増加する可能性があるが、本発明では試行錯誤運転による学習が不要であるため、有害物質の排出量を低減できる。

さらに、排ガス中のＮＯｘ量等が低減するため、脱硝装置のアンモニア使用量などのユーティリティ量を削減でき、脱硝装置の小型化や触媒の寿命延長も期待できる。

また、燃料性状の変化に自動追従できるため、オペレータの調整作業負荷を低減することができる他、オペレータの経験や知識に依存することなく適切な制御が実現でき、プラント運転の信頼性が向上するメリットもある。

上記実施例では、主にボイラを有するプラントの制御装置として説明したが、本制御装置は、燃焼装置を有する制御対象物を制御する場合に使用できる。

本発明の第一の実施形態に係る制御装置の構成を説明する図である。 本発明の第二の実施形態に係る制御装置の構成を説明する図である。 本発明の第三の実施形態に係る制御装置の構成を説明する図である。 データ作成手段の演算手順を説明する図である。 モデル誤差の表示画面例を説明する図である。 モデル誤差の表示画面例を説明する図である。 火力発電プラントの構成を説明する図である。 発電所群と解析センタの通信関係を説明する図である。 強化学習の概念を説明する図である。 燃料データセット表示及び燃料性状入力画面例を説明する図である。 補正回路を説明する図である。 状態評価手段３００とデータセット切替手段３１０の処理手順を説明する図である。 補正回路を説明する図である。

符号の説明

１００…プラント、２００…制御装置、２１０…データ作成手段、２２０…入出力インターフェース、２２１…入出力手段、２３０…基本制御指令演算手段、２４０…運転実績データベース、２５０…モデル化手段、２６０…補正手段、２７０…燃料データ格納手段。

Claims (8)

1. 燃焼装置を有する制御対象物の計測データを入力し前記制御対象物への操作指令値を演算する基本制御指令演算手段と、
   前記燃焼装置へ供給する燃料の複数の燃料組成に対して、前記燃焼装置の操作パラメータと前記ガス中成分のデータセットを格納する燃料データ格納手段と、
   前記制御対象物の過去の運転実績値を格納する運転実績データベースと、
   前記制御対象物の過去の運転実績値と前記データセットのデータ間距離を算出し、データ間距離が最短となるデータセットを決定するデータ作成手段と、
   前記データ作成手段により決定されたデータセットを用いて、前記燃焼装置の操作パラメータと前記燃焼装置の燃焼ガス中成分との関係をモデル化するモデル化手段と、
   前記モデル化手段のモデルを用いて現在のガス中成分より良い条件となる燃焼装置の操作パラメータを算出し、前記基本制御指令演算手段の操作指令値を算出した操作パラメータで補正する補正手段とを有することを特徴とする燃焼装置を有する制御対象物の制御装置。
2. 請求項１に記載の燃焼装置を有する制御対象物の制御装置において、
   前記補正手段は、前記モデル化手段のモデルを用いて現在のガス中成分より良い条件となる燃焼装置の操作パラメータを算出する場合に、前記モデル化手段で作成したモデルに対して操作パラメータに相当する複数の模擬操作信号を入力して前記ガス中成分を計算し、少なくとも該計算値を用いて予め定めた方法で操作パラメータに対する報酬値を計算して、該報酬値を最大または最小にする操作パラメータ値を、強化学習理論に基づいて学習する強化学習手段を有することを特徴とする燃焼装置を有する制御対象物の制御装置。
3. 請求項１に記載の燃焼装置を有する制御対象物の制御装置において、
   前記モデル化手段のモデルで計算した前記ガス中成分の計算値とそれに対応する実測値とを比較して偏差を計算し、該偏差量の時間的変化率，偏差量の最大値または最小値，偏差量の時間平均値，偏差量の分散のうち少なくとも一つのモデル誤差情報を演算する状態評価手段を有することを特徴とする燃焼装置を有する制御対象物の制御装置。
4. 請求項３に記載の燃焼装置を有する制御対象物の制御装置において、
   前記状態評価手段で演算したモデル誤差情報に基づいて、前記モデル化手段でモデルを新たに作成するか否かを判定するデータセット切替判定手段を有することを特徴とする燃焼装置を有する制御対象物の制御装置。
5. 請求項１に記載の燃焼装置を有する制御対象物の制御装置において、
   前記データ作成手段は、前記制御対象物の前記操作パラメータ指令値または測定値と前記ガス中成分の測定値とからなる多次元空間におけるデータ点と前記燃料データ格納手段に保存されているデータ点またはそれらデータ点間の内挿点とのデータ間距離の総和または平均距離が最小の燃料組成データセットに、予め定めた所定期間の測定値を加えて、新たなデータセットを作成することを特徴とする燃焼装置を有する制御対象物の制御装置。
6. 請求項１に記載の燃焼装置を有する制御対象物の制御装置において、
   燃料組成または燃料種類名または複数の燃料種類の配合割合の少なくとも一つを含む燃料性状情報を入力する入力手段と、該燃料性状情報を通信手段を用いて制御装置の外部へ送信する手段を有することを特徴とする燃焼装置を有する制御対象物の制御装置。
7. 請求項１〜６に記載の燃焼装置を有する制御対象物の制御装置において、
   前記複数の燃料組成について、前記プラントの操作パラメータとその操作条件時の燃焼ガス中の窒素酸化物，一酸化炭素，二酸化炭素，硫黄酸化物，水銀，フッ素，煤塵またはミストから成る微粒子類，揮発性有機化合物の少なくとも一つからなるガス中成分の数値解析結果を制御装置外から受信する手段を有し、
   受信した数値解析結果を前記燃料データ格納手段に保存することを特徴とする燃焼装置を有する制御対象物の制御装置。
8. 請求項１に記載の燃焼装置を有する制御対象物の制御装置において、
   前記燃焼装置を有する制御対象物の制御装置はボイラを有するプラントであって、
   前記操作パラメータは、前記ボイラのバーナへ供給する燃料流量、前記ボイラのバーナへ供給する空気流量、前記ボイラのエアポートへ供給する空気流量のいずれかであり、
   前記ガス中成分は、窒素酸化物，一酸化炭素，二酸化炭素，硫黄酸化物，水銀，フッ素，微粒子類，揮発性有機化合物のいずれかであることを特徴とするボイラを有するプラントの制御装置。

Images