JPH0944671A - 高輝度物体認識装置 - Google Patents

Abstract

(57)【要約】 【課題】 刻々とその位置，形状が変化する高輝度の背
景（例えば火炎）の中から、背景と同程度に高輝度の物
体（例えばふきこぼれ溶銑）を、背景の変化に影響され
ずに、画像処理によって正確かつ短時間に認識する高輝
度物体認識装置を提供する。 【解決手段】 高輝度背景から高輝度物体を認識すべき
入力画像に対して、微分処理によるエッジ抽出を行って
（Ｓ３）各個体を強調し、エッジであるか否かを区別す
るために２値化処理を行い（Ｓ４）、各個体の区別を行
うためにそれぞれの個体にラベリング処理を施し（Ｓ
５）、その個体数を計数し（Ｓ６）、その計数値が閾値
以上である場合に、高輝度背景に存在する高輝度物体を
認識する（Ｓ７）。計数値が閾値未満である場合には、
高輝度物体は存在しないと判断する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理の手法を
用いて、刻々と変化する高輝度の背景の中から、背景と
輝度レベルが同程度である高輝度物体を認識する装置に
関する。

【０００２】

【従来の技術】製鋼工程における溶銑脱硫処理におい
て、鍋から溶銑のふきこぼれが発生しているか否かの監
視は、従来、作業員による数時間に１回の割合での目視
確認にて行われている。従って、このような目視確認に
よる溶銑のふきこぼれの監視作業は、製鋼工程の完全自
動化を進める上での障害の１つになっている。溶銑のふ
きこぼれを監視する自動システムとしては、監視カメラ
にて鍋の周囲を定期的に撮影し、得られた撮影画像に画
像処理を施して、背景となる火炎の中から認識対象のふ
きこぼれ溶銑を見つける手法が考えられる。

【０００３】しかしながら、画像処理によるふきこぼれ
溶銑の監視は実現されていない。これは、背景となる火
炎が高輝度であり、また、認識すべき溶銑も火炎と同じ
程度に輝度が高いことに起因している。１画面の背景
（火炎）全体に対して、ある閾値レベル以上の輝度レベ
ルを有する画素数を計数し、その計数値に基づいて被認
識物体（ふきこぼれ溶銑）を認識しようとした場合、背
景（火炎）自体が高輝度であるので、被認識物体（ふき
こぼれ溶銑）が存在しないときでも、その計数値が大き
くなって被認識物体が存在しているかのように過認識を
起こしてしまう。

【０００４】また、パターンマッチングを用いて、ふき
こぼれ溶銑を認識する手法も考えられるが、背景となる
火炎及び被認識物体となるふきこぼれ溶銑は、何れもそ
の形状が一定でなくて経時的に不規則に変化するので、
ふきこぼれ溶銑を認識することは不可能である。

【０００５】ところで、溶鋼工程における画像処理技術
の１つの応用例が、ＮＫＫ設備技術センター設備技術部
の計測技術分科会第３回研究発表会資料「小断面ＢＴＣ
Ｃモールド内監視装置の開発」に示されている。このシ
ステムは、各ストランド毎にテレビカメラを設置し、連
続鋳造設備のモールド内を撮影し、その撮影画像からパ
ウダの燃焼等により発生する火炎像を除去し、未溶融パ
ウダ層が薄くなることにより観察される輻射光量変化を
検知するものである。このシステムにおける画像処理で
は、時系列方向の最小輝度値を求め、画像情報をこの最
小輝度値で置き換えることによって火炎像を除去する手
法が用いられている。

【０００６】

【発明が解決しようとする課題】上述した従来技術で
は、位置，形状が刻々と変化する火炎像の除去が可能で
あるので、ふきこぼれ溶銑を認識する際の画像処理にこ
の従来技術を適用できそうであるが、以下に述べるよう
な問題点があるので、その適用には無理がある。火炎の
除去後に画像に残る物体は、高輝度な火炎像よりも非常
に輝度レベルが低いものしか対応できない、また、画像
情報を時系列方向の最小輝度値で置き換える手法では、
火炎の除去に伴って短時間に発生する高輝度物体（ふき
こぼれ溶銑）も除去されてしまう。

【０００７】以上のように、火炎のような高輝度な背景
の中からふきこぼれ溶銑のような同じく高輝度な物体を
画像処理によって認識することは困難であった。

【０００８】本発明は斯かる事情に鑑みてなされたもの
であり、刻々とその位置，形状が変化する高輝度の背景
の中から、背景と同程度に高輝度の物体を、背景の変化
に影響されずに、画像処理によって正確かつ短時間に認
識することができる高輝度物体認識装置を提供すること
を目的とする。

【０００９】

【課題を解決するための手段】本発明に係る高輝度物体
認識装置は、撮影された高輝度の背景の画像から、該背
景と輝度レベルが同程度である高輝度物体を認識する装
置であって、撮影された画像に対して、エッジ強調処
理，所定の輝度レベルによる２値化処理及び個体数の計
数処理を含む画像処理を施す画像処理手段を備えること
を特徴とする。

【００１０】本発明の高輝度物体認識装置では、入力し
た画像をエッジ抽出して個体を強調した後に２値化し、
区分けされた個体数を計数し、その計数値に基づいて認
識すべき高輝度物体が存在するか否かを判断する。高輝
度背景は分離されておらず全域がつながっているので、
以上のような画像処理を行うとその個体数は“０”また
は“１”となる。一方、認識すべき高輝度物体について
は、エッジが強調されるので確実に個々が分離されて個
体数が計数されるので、その計数値は複数となる。よっ
て、単に輝度レベルのみでは判別できない高輝度背景と
高輝度物体とが混在する場合においても、上述した個体
数の計数値に基づいて、高輝度物体を認識できる。計数
値が“０”または“１”である場合には高輝度物体が存
在せず、計数値が“２”以上である場合には高輝度物体
が存在する。

【００１１】図１は、本発明の高輝度物体認識装置にお
ける画像処理のロジックを示すフローチャートであり、
このフローチャートを参照して本発明の高輝度物体認識
装置での手法の概念について以下に説明する。

【００１２】まず、カメラにて撮影した画像を入力する
（ステップＳ１）。入力した画像について、輝度レベル
が高い高輝度体が存在するか否かを判断する（ステップ
Ｓ２）。この場合、所定の閾値レベルを超えた輝度レベ
ルを有する画素が所定数以上であるか否かを調べ、閾値
レベルを超えた画素が所定数以上あるときには、高輝度
体が存在すると判断してステップＳ３に進み、閾値レベ
ルを超えた画素が所定数未満であるときには、高輝度体
が存在しないと判断してステップＳ１に戻る。

【００１３】次に、認識すべき高輝度物体の各個体を強
調するために、微分処理によるエッジ抽出を行う（ステ
ップＳ３）。そして、エッジであるか否かを区別するた
めに２値化処理を行い（ステップＳ４）、その２値化結
果に応じて各個体の区別を行うためにそれぞれの個体に
ラベリング処理を施す（ステップＳ５）。その後、ラベ
リングが付された個体数を計数し（ステップＳ６）、そ
の計数値が閾値（２以上の所定値）以上であるか否かを
判断する（ステップＳ７）。計数値が閾値以上であると
きには、高輝度物体の存在を認識して（ステップＳ
８）、終了する。一方、計数値が閾値未満であるときに
は、高輝度物体は存在しないと判断してステップＳ１に
戻る。

【００１４】

【発明の実施の形態】以下、本発明の高輝度物体認識装
置の実施の形態について、製鋼工程における溶銑脱硫処
理過程にあって、高輝度背景として火炎、高輝度物体と
してふきこぼれ溶銑を例として、具体的に説明する。

【００１５】図２は、本発明の高輝度物体認識装置の構
成を示す模式図である。図２において、11は溶銑脱硫処
理を行う地下ピットであり、地下ピット11内には処理対
象の溶銑を収容する鍋12が設けられている。また、地下
ピット11内の鍋12の斜め上方には、鍋12の上面近傍を撮
影するためのＣＣＤカメラ１が設けられている。

【００１６】ＣＣＤカメラ１にて撮影された画像は、画
像処理装置２に送られる。画像処理装置２は、入力画像
に対して、微分処理，ラベリング処理等を含む後述する
ような画像処理を施し、高輝度物体（ふきこぼれ溶銑
Ｂ）が存在するか否かを認識し、その認識結果を認識結
果表示モニタ３に出力する。なお、画像処理装置２は、
入力画像及び画像処理に伴って変化する各種の画像を表
示するＣＲＴモニタ2aを備えている。認識結果表示モニ
タ３は、画像処理装置２による認識結果を表示して作業
者に告知する。なお、溶銑ふきこぼれが存在する場合に
は、認識結果表示モニタ３から警告を発するような構成
にしても良い。

【００１７】図３は、溶銑脱硫処理中にＣＣＤカメラ１
にて撮影された画像を示す模式図である。その撮影され
た画像には、鍋12から立ち上がる火炎Ａ及び鍋12からこ
ぼれ落ちるふきこぼれ溶銑Ｂが含まれている。また図４
は、火炎，ふきこぼれ溶銑それぞれについての各フレー
ムの画像を示す図である。火炎はいつも発生していると
は限らず、また、その形状も経時的に変化する。また、
ふきこぼれ溶銑も刻々とその位置，形状が変化する。更
に、これに加えて、ふきこぼれ溶銑が落下する間に障害
物に当たることによって飛散粒子が発生する。よって、
本実施例では、高輝度背景である火炎の中から高輝度物
体である複数の溶銑ふきこぼれ粒子を認識することとす
る。

【００１８】火炎Ａ及びふきこぼれ溶銑Ｂを撮影するの
で、ＣＣＤカメラ１には高輝度体撮像用の調整が施され
ている。全自動のカメラでは撮影画像の輝度レベルによ
り調整に時間を要し、また、サチレーションを起こした
画像では画像処理で誤認識が発生する。このような事情
により、ＣＣＤカメラ１の設定は下記表１のように行っ
た。

【００１９】

【表１】

【００２０】図５は、本例での画像処理装置２における
画像処理の手順を示すフローチャートであり、このフロ
ーチャートを参照して本発明の特徴部分である画像処理
について以下に説明する。

【００２１】まず、ＣＣＤカメラ１にて撮影した画像を
画像処理装置２に入力する（ステップＳ11）。入力され
た画像は画像処理装置２のＣＲＴモニタ2aに表示され
る。なお、画像処理装置２にて以下に述べるような画像
処理が行われるが、ＣＲＴモニタ2aにはその画像処理の
実行に合わせて処理後の画像が逐次表示される。

【００２２】入力した画像に対して、各画素毎に所定の
輝度レベル（火炎及びふきこぼれ溶銑の輝度レベルの何
れもより低いレベル）で２値化する（ステップＳ12）。
所定の輝度レベルを超えた画素数が所定数以上であるか
否かを判断する（ステップＳ13）。これによって、高輝
度体（火炎及び／またはふきこぼれ溶銑）が存在するか
否かを判断できる。所定の輝度レベルを超えた画素が所
定数以上存在するときには、高輝度体が存在すると判断
してステップＳ14に進み、所定の輝度レベルを超えた画
素が所定数未満であるときには、高輝度体が存在しない
と判断してステップＳ11に戻る。このステップＳ13での
処理は、図３のフレーム４に相当する。

【００２３】次いで、図３のフレーム５〜９に相当する
分だけ入力待ちを行った（ステップＳ14）後に、図３の
フレーム10に相当する画像（飛散したふきこぼれ溶銑粒
子の撮影画像）を入力する（ステップＳ15）。入力した
画像に対して、平滑化処理を行う（ステップＳ16）。こ
の平滑化処理により、単板ＣＣＤカメラ＋白黒画像処理
ボードの組み合わせで発生したノイズ成分を除去する。
このノイズ成分の除去により、後の個体数（ふきこぼれ
溶銑の飛散粒子の数）の計数処理を正確に行える。

【００２４】次に、認識すべき高輝度物体（飛散粒子）
の各個体を強調するために、直交２方向における微分処
理によるエッジ抽出を行う（ステップＳ17）。そして、
エッジであるか否かを区別するために２値化処理を行う
（ステップＳ18）。その２値化結果に応じて、鍋12の右
側に存在するそれぞれの飛散粒子にラベリング処理を施
し（ステップＳ19）、鍋12の右側でラベリングが付され
た個体数を計数する（ステップＳ20）。同様に、その２
値化結果に応じて、鍋12の左側に存在するそれぞれの飛
散粒子にラベリング処理を施し（ステップＳ21）、鍋12
の左側でラベリングが付された個体数を計数する（ステ
ップＳ22）。

【００２５】次に、得られた鍋12の右側，左側での計数
値をそれぞれ、所定の閾値と比較し、各計数値が閾値以
上であるか否かを判断する（ステップＳ23）。この場
合、鍋12の右側，左側での計数値に対する所定の閾値は
異なっている。例えば、右側の計数値に対する閾値は５
であり、左側の計数値に対する閾値は13とする。このよ
うに閾値を異ならせているのは、鍋12の右側及び左側に
て同程度の溶銑のふきこぼれが発生しても、ＣＣＤカメ
ラ１の取り付け位置によっては、鍋12の右側（または左
側）が影の部分になることがあるためである。

【００２６】そして、右側及び／または左側の計数値が
閾値以上であるときには、右側及び／または左側にふき
こぼれ溶銑を認識して（ステップＳ24）、終了する。一
方、計数値が何れも閾値未満であるときには、ふきこぼ
れ溶銑は存在しないと判断してステップＳ11に戻る。

【００２７】図６は、ステップＳ18での２値化処理を行
った後の鍋12の右側の画像の模式図である。微分処理で
エッジを強調し、その微分画像を所定の輝度レベルで２
値化するので、例えば８ビットにて輝度レベルを表現す
る場合、飛散粒子のエッジは“２５５”、それ以外は
“０”となる。図６に示す例では、６個の飛散粒子が検
出されている。そして、このような２値化処理画像に対
してラベリングを行う。このラベリングは、“０”から
“２５５”までを用いて、各個体毎に背景（“０”）か
ら各飛散粒子まで順に輝度値をラベリング番号とする。
この状態を図７に示す。付けられた輝度値（ラベリング
番号）により区別された各個体の大きさは、それぞれの
画素数（図７の縦軸）にて表される。そして、図７にお
いて画素数が０より大きいものについて輝度値（ラベリ
ング番号）の最大値を求めると、その最大値が飛散粒子
の個体数となる。得られた個体数（本例では６個）が所
定の閾値（本例では５個）を超えるので、鍋12の右側に
溶銑のふきこぼれが発生したことを認識する。

【００２８】また、鍋12の左側の画像に対しても、上述
した右側の場合と同様の処理を行って、鍋12の左側に溶
銑のふきこぼれが発生したか否かを認識する。

【００２９】以上のような画像処理により得られた溶銑
のふきこぼれが発生しているか否かの認識結果は、認識
結果表示モニタ３に出力されて表示され、作業者に告知
される。

【００３０】上述した手法により実際にふきこぼれ溶銑
の検出を行った場合の結果を、下記表２に示す。表２に
示されるように、ふきこぼれ溶銑の検出率 100％、高輝
度背景である火炎の影響による過検出率０％を達成する
ことができた。

【００３１】

【表２】

【００３２】なお、上述した例では、得られた飛散粒子
の個体数に応じてふきこぼれ溶銑の有無のみを認識する
ようにしたが、大規模な溶銑のふきこぼれが発生した場
合にはその飛散粒子の数も多くなるので、飛散粒子の個
体数に基づいてふきこぼれ溶銑の有無だけでなくふきこ
ぼれの程度を認識するようにすることも可能である。

【００３３】また、上述の例では、高輝度背景として火
炎、高輝度物体としてふきこぼれ溶銑を例にして、製鋼
工程での溶銑脱硫処理においてふきこぼれ溶銑を認識す
る場合について説明したが、これは一例であり、高輝度
の背景の中からこの背景と同程度に高輝度である物体を
認識する他の例においても、本発明を適用できることは
勿論である。

【００３４】

【発明の効果】以上のように本発明では、エッジ強調処
理，所定の閾値輝度レベルによる二値化処理及び個体数
の計数処理を含む画像処理を施し、得られる個体数に基
づいて高輝度物体を高輝度背景から認識するようにした
ので、刻々とその位置，形状が変化する高輝度の背景の
中から、背景と同程度に高輝度である物体を、背景の変
化に影響されずに、画像処理によって正確かつ短時間に
認識することが可能である。

【図面の簡単な説明】

【図１】本発明の高輝度物体認識装置における画像処理
の手順を示すフローチャートである。

【図２】本発明の高輝度物体認識装置の実施例の構成を
示す模式図である。

【図３】本発明の実施例における撮影画像を示す模式図
である。

【図４】本発明の実施例における火炎，ふきこぼれ溶銑
の各フレームでの画像例を示す図である。

【図５】本発明の実施例における画像処理の手順を示す
フローチャートである。

【図６】本発明の実施例における２値化処理後の画像を
示す模式図である。

【図７】本発明の実施例におけるラベリング処理の一例
を示す図である。

【符号の説明】

１ ＣＣＤカメラ ２ 画像処理装置 2a ＣＲＴモニタ ３ 認識結果表示モニタ 11 地下ピット 12 鍋 Ａ 火炎 Ｂ ふきこぼれ溶銑

Claims (1)

【特許請求の範囲】
1. 【請求項１】 撮影された高輝度の背景の画像から、該
   背景と輝度レベルが同程度である高輝度物体を認識する
   装置であって、撮影された画像に対して、エッジ強調処
   理，所定の輝度レベルによる２値化処理及び個体数の計
   数処理を含む画像処理を施す画像処理手段を備えること
   を特徴とする高輝度物体認識装置。