JP2000339463A - 画像処理方法及びその装置並びに記憶媒体 - Google Patents

画像処理方法及びその装置並びに記憶媒体

Info

Publication number
JP2000339463A
JP2000339463A JP11147441A JP14744199A JP2000339463A JP 2000339463 A JP2000339463 A JP 2000339463A JP 11147441 A JP11147441 A JP 11147441A JP 14744199 A JP14744199 A JP 14744199A JP 2000339463 A JP2000339463 A JP 2000339463A
Authority
JP
Japan
Prior art keywords
neural network
image
values
pixel
transparency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11147441A
Other languages
English (en)
Other versions
JP3198099B2 (ja
Inventor
Moriaki Sakakura
守昭 坂倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NABURA KK
Original Assignee
NABURA KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NABURA KK filed Critical NABURA KK
Priority to JP14744199A priority Critical patent/JP3198099B2/ja
Publication of JP2000339463A publication Critical patent/JP2000339463A/ja
Application granted granted Critical
Publication of JP3198099B2 publication Critical patent/JP3198099B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】様々な画像に関して、可視的な補正を可能にし
て操作性を向上させる。 【解決手段】各ピクセル毎にＲ，Ｇ，Ｂ値が与えられた
画像の抽出すべき所望の抽出部分と抽出しない消去部分
とにおいて、抽出部分の代表的な複数の領域を指定し
て、その領域のＲ，Ｇ，Ｂ値をニューラルネットワーク
に入力し、ニューラルネットワークの出力値の透明度α
が不透明を表す値となるように、且つ、消去部分の代表
的な複数の領域を指定して、その領域のＲ，Ｇ，Ｂ値を
ニューラルネットワークに入力し、ニューラルネットワ
ークの出力値の透明度αが透明を表す値となるように、
ニューラルネットワークの学習を複数の領域について実
行し、学習させたニューラルネットワークを用いて、画
像の各ピクセル毎のＲ，Ｇ，Ｂ値をニューラルネットワ
ークに入力して、その出力値によりそのピクセルの透明
度αを決定して、所望の抽出部分を抽出する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、ニューラルネット
ワークを用いた画像処理方法、画像処理装置、及び画像
処理手順を記録した記録媒体に関する。
【０００２】
【従来の技術】従来、ディジタル画像の処理には、各種
の方法がある。そのうち、画像における特定の形状を抽
出して、他の画像と合成したりして、１つの画像を形成
することが良く行われている。例えば、特定の形状を抽
出するには、輪郭線の解析を行って、所望の形状認定を
行い、その輪郭で囲まれた形状を抽出する方法がある。
しかし、このような解析的手法は、画像が与えられたら
一意的に輪郭抽出が行われるものであり、所望の形状の
抽出に失敗した時の調整が困難である。又、他の画像の
各種の処理方法にしても、一意的な因果関係の元に解析
的手法を用いたものである。
【０００３】
【発明が解決しようとする課題】したがって、画像処理
を行うオペレータは、上記の解析的手法にパラメータを
与える必要があり、画像処理に関してその原理を理解し
ている必要があり、誰にでも簡便に画像処理を行えるも
のではなかった。このように画像処理をするに当たり専
門的な知識が必要とされ、使用性が良くなかった。又、
画像処理の結果は、オペレータが視覚的に予測すること
ができず、一旦、画像処理を行った後、その画像を表示
してみて、初めて、所望の画像が得られているか否かが
判定できた。このように試行錯誤を繰り返して、所望の
処理された画像を得る必要があり、多大な作業時間を要
した。特に、この試行錯誤的方法は、アニメーション等
のように多数の画像に整合のとれた処理を施すことが必
要な場合には深刻な問題となっている。
【０００４】又、様々な画像に対応して、画像処理をす
る場合には、その画像毎にパラメータの設定を必要と
し、必ずしも使用性が高いものとはいえなかった。
【０００５】そこで、本発明は、上記の課題を解決する
ために成されたものであり、画像処理を容易に実行で
き、しかも、様々な画像に関しても経験的な判断が反映
されたものとすることで、多様な画像にも容易に対応で
きるようにすることである。即ち、本発明は、因果関係
を解析的に決定するのではなく、ニューラルネットワー
クを用いて因果関係を学習させることで、学習していな
い因果関係においても、妥当な画像処理結果を得ること
ができるようにしたものである。又、画像処理結果をオ
ペレータが視覚的に与えながら指示することで、ある程
度の処理結果を予測しながら、補正処理を行うことがで
きるようにすることで、使用性を向上させることを目的
とする。
【０００６】
【課題を解決するための手段及び作用効果】本発明にお
ける第１の画像処理は、画像から所望の抽出部分のみ抽
出する方法、換言すれば、抽出部分以外の部分を消去す
る方法である。第２の画像処理は、画像において、所定
の色補正を行う方法である。第３の画像処理は、位置補
正、即ち、画像変形を与える方法である。
【０００７】第１の画像処理に関する構成は、以下の通
りである。画像の各ピクセル毎にＲ，Ｇ，Ｂ値が与えら
れた画像の処理方法において、画像において抽出すべき
所望の抽出部分と抽出しない消去部分とにおいて、抽出
部分の代表的な複数の領域を指定して、その領域のＲ，
Ｇ，Ｂ値をニューラルネットワークに入力し、ニューラ
ルネットワークの出力値の透明度αが不透明を表す値と
なるように、且つ、消去部分の代表的な複数の領域を指
定して、その領域のＲ，Ｇ，Ｂ値をニューラルネットワ
ークに入力し、ニューラルネットワークの出力値の透明
度αが透明を表す値となるように、ニューラルネットワ
ークの学習を複数の領域について実行し、学習させたニ
ューラルネットワークを用いて、画像の各ピクセル毎の
Ｒ，Ｇ，Ｂ値をニューラルネットワークに入力して、そ
のニューラルネットワークの出力値によりそのピクセル
の透明度αを決定することにより、画像において、所望
の抽出部分を抽出することを特徴とする。
【０００８】尚、上記の発明における抽出部分の代表的
な複数の領域は、１つ又は、複数のピクセルで構成され
る部分を意味する。複数のピクセルで構成されている場
合には、領域指定によるＲ，Ｇ，Ｂ値の取得は、その領
域に属する全てのピクセルのそれぞれのＲ，Ｇ，Ｂ値を
一度に取得し、そらの値に対して同一の透明度αを学習
させることも考えられる。又、領域の中心に位置する１
つのピクセルのＲ，Ｇ，Ｂ値を取得するようにしても良
い。さらに、領域に属する全てのピクセルのうちで、色
相において端点となっている（その領域において色相が
最も離れた数点）ピクセルのＲ，Ｇ，Ｂ値を取得して、
それらの値に対して同一の透明度αを学習させても良
い。その他、その領域に属するピクセルのＲ，Ｇ，Ｂ値
を統計的に処理して１つの代表値を取得して、その代表
値に対して透明度αを学習させても良い。代表値には平
均値も含まれる。又、領域に属するピクセルが１つの場
合には、領域のＲ，Ｇ，Ｂ値とは、そのピクセルのＲ，
Ｇ，Ｂ値を意味する。消去部分における代表的な複数の
領域についても同様である。
【０００９】上記の発明では、抽出部分におけるある領
域を指定して、その領域のＲ，Ｇ，Ｂ値を入力値、その
出力値が不透明を表す値となるように、ニューラルネッ
トワークの重み係数を学習させる。一方、消去部分にお
けるある領域を指定して、その領域のＲ，Ｇ，Ｂ値を入
力値、その出力値が透明を表す値となるように、ニュー
ラルネットワークを学習させる。この学習は、抽出部分
及び消去部分の指定された複数の全ての領域に関して、
出力値が所定値に対して一定誤差以下に収束するまで、
繰り返し実行される。
【００１０】次に、このように学習されたニューラルネ
ットワークに、画像を構成する各ピクセルのＲ，Ｇ，Ｂ
値を、順次、入力して、その出力値によりそのピクセル
の透明度αを得る。このように、ニューラルネットワー
クの補間作用により、学習させていないＲ，Ｇ，Ｂ値に
対しても、抽出部分を示す透明度αと、消去部分を示す
透明度αとが得られることになる。例えば、抽出部分の
学習させたＲ，Ｇ，Ｂ値に対しては、透明度αは不透明
を表す値（例えば、＝１）に略等しくなり、消去部分の
学習させたＲ，Ｇ，Ｂ値に対しては、透明度αは透明を
表す値（例えば、＝０）に略等しくなる。そして、抽出
部分の学習させたＲ，Ｇ，Ｂ値と、消去部分の学習させ
たＲ，Ｇ，Ｂ値との中間に存在するＲ，Ｇ，Ｂ値に対し
ては、透明度αは、中間の透明度α（０＜α＜１）とな
る。このようにして、透明度αが決定される。透明度α
にしきい値を設定すれば、抽出部分の画像のみを取り出
すことができる。
【００１１】又、上記のように透明度αが設定された画
像を、新たな背景画像の上に置いて透明度αに基づく合
成処理をすれば、画像の透明度αに応じて、背景画像が
透けて見えることになり、抽出部分を背景画像上に置い
た画像合成を行うことが可能となる。尚、抽出部分の輪
郭部では、透明度αは抽出部分の内部から外部にかけ
て、１から０に連続的に変化している。よって、抽出部
分の輪郭部は内部から外部に掛けて徐々に背景画像が透
けて見える程度が大きくなり、より自然な画像合成とな
る。
【００１２】このように本発明によれば、画像上におい
て、抽出部分と、消去部分とにおいて、複数の領域を指
定して、その領域のＲ，Ｇ，Ｂ値に対して、出力値の透
明度が透明又は不透明となるようにニューラルネットワ
ークを学習させるだけでよいため、オペレータは単に領
域指定と透明、不透明の指定だけを行えばよい。従っ
て、画像処理の操作性が極めて改善される。
【００１３】又、ニューラルネットワークの学習効果に
より、学習させていないＲ，Ｇ，Ｂ値に対しても、合理
的な透明度αが得られるため、全ての領域で学習させる
必要がないため、画像処理が簡単となる。
【００１４】第１の画像処理に関する他の特徴は、その
画像処理装置である。即ち、画像の各ピクセル毎にＲ，
Ｇ，Ｂ値が与えられた画像の処理装置において、Ｒ，
Ｇ，Ｂ値を入力し、透明度αを出力値とするニューラル
ネットワークと、画像において抽出すべき所望の抽出部
分と抽出しない消去部分とにおいて、抽出部分の代表的
な複数の領域を指定して、その領域のＲ，Ｇ，Ｂ値、及
び、消去部分の代表的な複数の領域を指定して、その領
域のＲ，Ｇ，Ｂ値を、ニューラルネットワークに入力す
る入力手段と、抽出部分の領域のＲ，Ｇ，Ｂ値の入力に
対して、ニューラルネットワークの出力値の透明度αが
不透明を表す値となるように、且つ、消去部分の領域の
Ｒ，Ｇ，Ｂ値の入力に対して、ニューラルネットワーク
の出力値の透明度αが透明を表す値となるように、ニュ
ーラルネットワークの学習を複数の領域について実行す
る学習手段と、学習させたニューラルネットワークを用
いて、画像の各ピクセル毎のＲ，Ｇ，Ｂ値をニューラル
ネットワークに入力して、そのニューラルネットワーク
の出力によりそのピクセルの透明度αを決定することに
より、画像において、所望の抽出部分を抽出する抽出手
段とから成ることを特徴とする。
【００１５】上記の画像処理装置を用いることで、処理
方法の発明で説明したように、ニューラルネットワーク
を用いていることから、より簡便に抽出部分と消去部分
との透明度αが決定でき、画像の抽出及び合成が簡単と
なる。尚、指定された領域に属するピクセルが複数の場
合の処理については、方法発明において説明した通りで
ある。
【００１６】さらに第１の画像処理に関する他の特徴
は、上記の画像処理装置において実行されるプログラム
を記憶した記録媒体である。即ち、画像の各ピクセル毎
にＲ，Ｇ，Ｂ値が与えられた画像のコンピュータによる
処理手順を記憶した記録媒体であって、実行時にコンピ
ュータにより次の一連の手順が実行されるものであっ
て、Ｒ，Ｇ，Ｂ値を入力し、透明度αを出力値とするニ
ューラルネットワークの処理手順と、画像において抽出
すべき所望の抽出部分と抽出しない消去部分とにおい
て、抽出部分の代表的な複数の領域を指定して、その領
域のＲ，Ｇ，Ｂ値、及び、消去部分の代表的な複数の領
域を指定して、その領域のＲ，Ｇ，Ｂ値を、ニューラル
ネットワークに入力させる手順と、抽出部分の領域の
Ｒ，Ｇ，Ｂ値の入力に対して、ニューラルネットワーク
の出力値の透明度αが不透明を表す値となるように、且
つ、消去部分の領域のＲ，Ｇ，Ｂ値の入力に対して、ニ
ューラルネットワークの出力値の透明度αが透明を表す
値となるように、ニューラルネットワークの学習を複数
の領域について実行する手順と、学習させたニューラル
ネットワークを用いて、画像の各ピクセル毎のＲ，Ｇ，
Ｂ値をニューラルネットワークに入力して、そのニュー
ラルネットワークの出力によりそのピクセルの透明度α
を決定することにより、画像において、所望の抽出部分
を抽出する手順とのうちの少なくとも１つの手順を記録
した記録媒体である。
【００１７】ここで、コンピュータを用いて実行される
上記の一連の手順は、最終的にはコンピュータのＲＡＭ
等に記憶された状態となるが、このうち少なくとも１つ
の手順が記録された記憶媒体であっても良い。即ち、複
数の記録媒体にそれぞれの手順が記録されていても良
い。又、一部の手順が予めＯＳの一部として組み込まれ
ており、記録媒体に記録されている手順と協動して、動
作するものであっても良い。要するに、コンピュータの
実行時に、上記の一連の手順が形成されるもののうち
の、少なくとも１つの手順を記憶した記録媒体である。
又、記録媒体には、フロッピィディスク、ＣＤＲＯＭ、
ハードディスク等を含み、インターネット上のサーバの
ハードディスクに記録された状態、又、ユーザのコンピ
ュータにインターネットを介してダウンロードした状態
のハードディスクやＲＡＭ等を含む。さらに、記録媒体
には、通信回線自体をも意味し、上記の手順の他、本件
発明に関係のない他のプログラムが記録されていても良
い。尚、この記録媒体の定義は、以下に説明する第２、
第３の処理に関する記録媒体についても同様である。
【００１８】このようなプログラムを用いることで、上
記した画像処理方法及び画像処理装置が実現でき、上述
した効果を奏する。
【００１９】第２の画像処理は、色補正に関するもので
あり、その構成は、次の通りである。画像の各ピクセル
毎にＲ，Ｇ，Ｂ値が与えられた画像の処理方法におい
て、画像において色補正したい部分の代表的な複数の領
域を指定して、その領域のＲ，Ｇ，Ｂ値をニューラルネ
ットワークに入力し、ニューラルネットワークの出力値
が所望のＲ’，Ｇ’，Ｂ’値となるように、ニューラル
ネットワークの学習を複数の領域について実行し、学習
させたニューラルネットワークを用いて、画像の各ピク
セル毎のＲ，Ｇ，Ｂ値をニューラルネットワークに入力
して、そのニューラルネットワークの出力値によりその
ピクセルの補正されたｒ，ｇ，ｂ値を得ることで、画像
における色補正を行うことを特徴とする。
【００２０】尚、上記の発明における画像の代表的な複
数の領域は、１つ又は、複数のピクセルで構成される部
分を意味する。複数のピクセルで構成されている場合に
は、領域の中心点やその他の代表点に位置する１つのピ
クセルのＲ，Ｇ，Ｂ値を取得するようにしても良い。さ
らに、その領域に属するピクセルのＲ，Ｇ，Ｂ値を統計
的に処理して１つの代表値を取得して、その代表値に対
して補正されたＲ’，Ｇ’，Ｂ’値を教師データとして
与えても良い。代表値には平均値も含まれる。領域の平
均的なＲ，Ｇ，Ｂ値を取得して、領域の平均的な補正さ
れたＲ’，Ｇ’，Ｂ’値を教師データとして与えること
で、色補正に関して平均的な学習を行っても良い。又、
領域に属するピクセルが１つの場合には、領域のＲ，
Ｇ，Ｂ値とは、そのピクセルのＲ，Ｇ，Ｂ値を意味す
る。
【００２１】上記の発明では、画像の色補正をしたい部
分の代表的な複数の領域を指定して、その領域のＲ，
Ｇ，Ｂ値を入力値、その出力値が所望のＲ’，Ｇ’，
Ｂ’値となるように、ニューラルネットワークの重み係
数を学習させる。この学習は、色補正をしたい部分で指
定された複数の全ての領域に関して、出力値が所定値に
対して一定誤差以下に収束するまで、繰り返し実行され
る。
【００２２】次に、このように学習されたニューラルネ
ットワークに、画像を構成する各ピクセルのＲ，Ｇ，Ｂ
値を、順次、入力して、その出力値によりそのピクセル
の補正されたｒ，ｇ，ｂ値を得る。このように、ニュー
ラルネットワークの補間作用により、学習させていない
Ｒ，Ｇ，Ｂ値に対しても、補正されたｒ，ｇ，ｂ値が得
られることになる。例えば、色補正を行いたい部分に属
する領域の学習させたＲ，Ｇ，Ｂ値に対しては、補正さ
れたｒ，ｇ，ｂ値は所望の教示値Ｒ’，Ｇ’，Ｂ’値と
なる。そして、学習させていない領域のＲ，Ｇ，Ｂ値に
対しては、学習されたＲ，Ｇ，Ｂ値に対する補正された
ｒ，ｇ，ｂ値との対応関係において、補間されたｒ，
ｇ，ｂ値が得られることになる。
【００２３】このようにして、代表的なＲ，Ｇ，Ｂ値に
対する所望のＲ’，Ｇ’，Ｂ’値をニューラルネットワ
ークに学習させさえすれば、他のＲ，Ｇ，Ｂ値も、その
学習の傾向に沿った値に補正されることになり、画像全
体として色補正を実行することが可能となる。
【００２４】このように本発明によれば、画像上におい
て、色補正をしたい部分の複数の領域を指定して、その
領域のＲ，Ｇ，Ｂ値に対して、所望のＲ’，Ｇ’，Ｂ’
値が得られるように、ニューラルネットワークを学習さ
せるだけでよいため、オペレータは単に色補正をしたい
領域指定と所望のＲ’，Ｇ’，Ｂ’値の指定だけを行え
ばよい。従って、画像処理の操作性が極めて改善され
る。
【００２５】又、ニューラルネットワークの学習効果に
より、学習させていないＲ，Ｇ，Ｂ値に対しても、合理
的な補正されたｒ，ｇ，ｂ値が得られるため、全ての領
域で学習させる必要がないため、画像処理が簡単とな
る。
【００２６】第２の画像処理に関する他の発明の構成
は、画像の各ピクセル毎にＲ，Ｇ，Ｂ値が与えられた画
像の処理装置において、Ｒ，Ｇ，Ｂ値を入力し、補正さ
れたｒ，ｇ，ｂ値を出力値とするニューラルネットワー
クと、画像において色補正したい部分の代表的な複数の
領域を指定して、その領域のＲ，Ｇ，Ｂ値をニューラル
ネットワークに入力する入力手段と、ニューラルネット
ワークの出力値が所望のＲ’，Ｇ’，Ｂ’値となるよう
に、ニューラルネットワークの学習を複数の領域につい
て実行する学習手段と、学習させたニューラルネットワ
ークを用いて、画像の各ピクセル毎のＲ，Ｇ，Ｂ値をニ
ューラルネットワークに入力して、そのニューラルネッ
トワークの出力によりそのピクセルの補正されたｒ，
ｇ，ｂ値を得ることで、画像における色補正を行う色補
正手段とから成る。
【００２７】上記の画像処理装置を用いることで、処理
方法の発明で説明したように、ニューラルネットワーク
を用いていることから、より簡便に画像の色補正が行え
る。
【００２８】第２の画像処理に関する他の発明の構成
は、画像の各ピクセル毎にＲ，Ｇ，Ｂ値が与えられた画
像のコンピュータによる処理手順を記録した記録媒体で
あって、実行時にコンピュータにより次の一連の手順が
実行されるものであって、Ｒ，Ｇ，Ｂ値を入力し、補正
されたｒ，ｇ，ｂ値を出力値とするニューラルネットワ
ークの処理手順と、画像において色補正したい部分の代
表的な複数の領域を指定して、その領域のＲ，Ｇ，Ｂ値
をニューラルネットワークに入力する入力手順と、ニュ
ーラルネットワークの出力値が所望のＲ’，Ｇ’，Ｂ’
値となるように、ニューラルネットワークの学習を複数
の領域について実行する手順と、学習させたニューラル
ネットワークを用いて、画像の各ピクセル毎のＲ，Ｇ，
Ｂ値をニューラルネットワークに入力して、そのニュー
ラルネットワークの出力によりそのピクセルの補正され
たｒ，ｇ，ｂ値を得ることで、画像における色補正を行
う手順とのうちの少なくとも１つの手順を記録した記録
媒体である。
【００２９】このようなプログラムを用いることで、上
記した画像処理方法及び画像処理装置が実現でき、上述
した効果を奏する。
【００３０】第３の画像処理に関する発明は、画像の各
ピクセル毎の座標Ｘ，Ｙに基づいて、画像を変形させる
画像処理方法において、画像における代表的な複数の領
域を指定して、その領域の座標Ｘ，Ｙをニューラルネッ
トワークに入力し、ニューラルネットワークの出力値が
所望の座標Ｘ’，Ｙ’となるように、ニューラルネット
ワークの学習を複数の領域について実行し、学習させた
ニューラルネットワークを用いて、画像の各ピクセル毎
の座標Ｘ，Ｙをニューラルネットワークに入力して、そ
のニューラルネットワークの出力値によりそのピクセル
の補正された座標ｘ，ｙを得ることで、画像の変形を行
うことを特徴とする。
【００３１】尚、上記の発明における代表的な複数の領
域は、１つ又は、複数のピクセルで構成される部分を意
味する。複数のピクセルで構成されている場合には、座
標Ｘ，Ｙはその領域に属する各ピクセルの座標Ｘ，Ｙの
平均値等の数学的手法による代表値を用いることができ
る。即ち、領域の中点、重心等の代表的な１ピクセルの
座標Ｘ，Ｙを取得することができる。又、領域に属する
ピクセルが１つの場合には、領域の座標Ｘ，Ｙとは、そ
のピクセルの座標Ｘ，Ｙを意味する。
【００３２】上記の発明では、変形したい部分の代表的
な複数の領域を指定して、その領域の座標Ｘ，Ｙを入力
値、その出力値が所望の座標Ｘ’，Ｙ’となるように、
ニューラルネットワークの重み係数を学習させる。この
学習は、変形したい部分で指定された複数の全ての領域
に関して、出力値が所定値に対して一定誤差以下に収束
するまで、繰り返し実行される。
【００３３】次に、このように学習されたニューラルネ
ットワークに、画像を構成する各ピクセルの座標Ｘ，Ｙ
を、順次、入力して、その出力値によりそのピクセルの
補正された座標ｘ，ｙを得る。このように、ニューラル
ネットワークの補間作用により、学習させていない座標
Ｘ，Ｙに対しても、補正された座標ｘ，ｙが得られるこ
とになる。例えば、変形を行いたい部分に属する領域の
学習させた座標Ｘ，Ｙに対しては、補正された座標ｘ，
ｙは所望の教示値Ｘ’，Ｙ’となる。そして、学習させ
ていない領域の座標Ｘ，Ｙに対しては、学習された座標
Ｘ，Ｙに対する補正された座標ｘ，ｙとの対応関係にお
いて、補間された座標ｘ，ｙが得られることになる。
【００３４】このようにして、代表的な座標Ｘ，Ｙに対
する所望のＸ’，Ｙ’をニューラルネットワークに学習
させさえすれば、他の座標Ｘ，Ｙも、その学習の傾向に
沿った値に補正されることになり、画像全体として位置
補正により形状の変形を実行することが可能となる。
【００３５】このように本発明によれば、画像上におい
て、変形したい部分の複数の領域を指定して、その領域
の座標Ｘ，Ｙに対して、所望の座標Ｘ’，Ｙ’が得られ
るように、ニューラルネットワークを学習させるだけで
よいため、オペレータは単に領域指定と所望のＸ’，
Ｙ’の指定だけを行えばよい。従って、画像処理の操作
性が極めて改善される。
【００３６】又、ニューラルネットワークの学習効果に
より、学習させていない座標Ｘ，Ｙに対しても、合理的
な補正された座標ｘ，ｙが得られるため、全ての領域で
学習させる必要がないため、画像処理が簡単となる。
【００３７】尚、上記の発明における画像の代表的な複
数の領域は、１つ又は、複数のピクセルで構成される部
分を意味する。複数のピクセルで構成されている場合に
は、領域の中心点やその他の代表点に位置する１つのピ
クセルの座標Ｘ，Ｙを取得するようにしても良い。さら
に、その領域に属するピクセルの座標Ｘ，Ｙを統計的に
処理して１つの代表値を取得して、その代表値に対して
補正された座標Ｘ’，Ｙ’を教師データとして与えても
良い。代表値には平均値も含まれる。又、領域の輪郭線
上に存在する離散した点の座標Ｘ，Ｙに対して、共通の
補正された座標Ｘ’，Ｙ’を教師データとして与えても
良い。又、領域に属するピクセルが１つの場合には、領
域の座標Ｘ，Ｙとは、そのピクセルの座標Ｘ，Ｙを意味
する。
【００３８】第３の画像処理に関する他の発明の構成
は、画像の各ピクセル毎の座標Ｘ，Ｙに基づいて、画像
を変形させる画像処理装置において、座標Ｘ，Ｙを入力
し、補正された座標ｘ，ｙを出力値とするニューラルネ
ットワークと、画像における代表的な複数の領域を指定
して、その領域の座標Ｘ，Ｙをニューラルネットワーク
に入力する入力手段と、ニューラルネットワークの出力
値が所望の座標Ｘ’，Ｙ’となるように、ニューラルネ
ットワークの学習を複数の領域について実行する学習手
段と、学習させたニューラルネットワークを用いて、画
像の各ピクセル毎の座標Ｘ，Ｙをニューラルネットワー
クに入力して、そのニューラルネットワークの出力値に
よりそのピクセルの補正された座標ｘ，ｙを得ること
で、画像の変形を行う変形手段とから成ることを特徴と
する。
【００３９】上記の画像処理装置を用いることで、処理
方法の発明で説明したように、ニューラルネットワーク
を用いていることから、より簡便に画像の位置補正、即
ち、形状の変形を行うことができる。
【００４０】第３の画像処理に関する他の発明の構成
は、画像の各ピクセル毎の座標Ｘ，Ｙに基づいて、コン
ピュータにより画像を変形させる手順を記録した記録媒
体であって、実行時にコンピュータにより次の一連の手
順が実行されるものであって、座標Ｘ，Ｙを入力し、補
正された座標ｘ，ｙを出力値とするニューラルネットワ
ークの処理手順と、画像における代表的な複数の領域を
指定して、その領域の座標Ｘ，Ｙをニューラルネットワ
ークに入力する手順と、ニューラルネットワークの出力
値が所望の座標Ｘ’，Ｙ’となるように、ニューラルネ
ットワークの学習を複数の領域について実行する手順
と、 学習させたニューラルネットワークを用いて、画
像の各ピクセル毎の座標Ｘ，Ｙをニューラルネットワー
クに入力して、そのニューラルネットワークの出力値に
よりそのピクセルの補正された座標ｘ，ｙを得ること
で、画像の変形を行う手順とのうちの少なくとも１つの
手順を記録した記録媒体である。
【００４１】このようなプログラムを用いることで、上
記した画像処理方法及び画像処理装置が実現でき、上述
した効果を奏する。
【００４２】
【望ましい実施の形態】以下、本発明を具体的な実施例
に基づいて説明する。本発明は、以下の実施例に限定さ
れるものではない。以下、画像から所望の抽出部分を抽
出するための画像処理に関する第１実施例について説明
する。
【００４３】１）画像処理装置の構成 本装置は、図１に示すように、主としてＣＰＵ１、ハー
ドディスク（以下、ＨＤと記す）２、ＲＡＭ３、キーボ
ード（以下、ＫＢと記す）４、表示器であるＣＲＴ６、
ＣＲＴ６の画面上の位置表示とクリック指定を与えるマ
ウス７、ＲＯＭ８とから成るコンピュータシステムで構
成されている。ＨＤ２には、ＣＲＴ６の画面上に表示さ
れる画像のデータを記憶する画像データ領域２１、ニュ
ーラルネットワークの演算プログラムが記憶されたニュ
ーラルネットワーク領域２２、ニューラルネットワーク
を学習させるためのプログラムが記憶された学習プログ
ラム領域２３、画像上の領域をマウスポインタで指定し
て、その領域のＲ，Ｇ，Ｂ値を得ると共に、ＫＢ４によ
り入力された透明度αを入力するプログラムを記憶した
入力プログラム領域２４、ニューラルネットワークを用
いて全画像データの各ピクセルのＲ，Ｇ，Ｂ値から各ピ
クセルの透明度αを得るプログラムを記憶した画像抽出
プログラム領域２５とが形成されている。
【００４４】ＲＡＭ３には、蓄積される指定された各ピ
クセルのＲ，Ｇ，Ｂ値の入力データ及び透明度αの教師
データをそれぞれ記憶する入力データ記憶領域３１及び
教師データ記憶領域３２、ニューラルネットワークの結
合係数を記憶する結合係数領域３３とが形成されてい
る。これらの蓄積された入力データ及び教師データは、
ＨＤ２の所定の領域にも保存されるように構成されてい
る。又、ＨＤ２のニューラルネットワーク領域２２、学
習プログラム領域２３、画像抽出プログラム領域２５に
保存されているプログラムを実行形式プログラムとして
格納するプログラム領域３４、各種のデータを一時的に
記憶する作業領域３５が、ＲＡＭ３に形成されている。
【００４５】ＣＰＵ１には入出力インタフェース５を介
して各種の指令及び透明度αに関する教師データを与え
るためのＫＢ４と、ＨＤ２の領域２１に記憶されている
画像データに基づき画像を表示するＣＲＴ６と、表示さ
れている画像上において複数の領域をポインタで指定す
るマウス７とが接続されている。
【００４６】２）抽出部分と消去部分の指定 次に、ＣＲＴ６上に表示されている画像において、所望
の抽出部分と消去部分の指定方法について説明する。図
２は、所望の抽出部分と消去部分の指定により、その指
定部分に属するピクセルのＲ，Ｇ，Ｂ値と教師データと
しての透明度αを指定するための入力プログラムの処理
手順を示したフローチャートである。
【００４７】ステップ１００において、ＨＤ２の画像デ
ータ領域２１に記憶されている画像データに基づいて、
ＣＲＴ６上に画像が表示される。画像データは図３に示
されているように、画像を構成する各ピクセル毎にピク
セルNo.、画面上の座標Ｘ、座標Ｙ、赤、緑、青に関す
る明度値であるＲ値、Ｇ値、Ｂ値、透明度αから構成さ
れている。本実施例では、画像は全て不透明であるとし
て、全てのピクセルの透明度αは不透明を表す「１」が
与えられている。即ち、不透明な画像において所望の抽
出部分の画像のみを抽出するために、その抽出部分の各
ピクセルの透明度αを不透明の「１」に、残りの消去部
分の各ピクセルの透明度αを、透明の「０」にすること
で、抽出部分と消去部分とを区別することを画像処理の
目的としている。
【００４８】次に、ステップ１０２では、ＫＢ４から抽
出部分の指定か消去部分の指定かの指令値が入力され
る。又、このステップでは、透明度αを０と１の中間値
に設定する場合には、ここで透明度αが入力される。ス
テップ１０４では、ＫＢ４の指定が抽出部分か、消去部
分かが判定され、抽出部分の指定と判定されると、ステ
ップ１０６以下が実行される。
【００４９】ステップ１０６では、マウスクリック入力
の有無が判定され、有りの場合には、ステップ１０８に
おいて、画面上のクリックポントの座標Ｘ，Ｙが入力さ
れ、図３に示す画像データからその座標に対応するピク
セルが決定され、そのピクセルのＲ，Ｇ，Ｂ値が読み込
まれ、入力データ記憶領域３１に記憶される。又、その
ピクセルの透明度αの教師データは、不透明の「１」と
して、教示データ記憶領域３２に記憶される。この値
は、ＫＢ４からの入力により、０≦α≦１の任意の値に
変更することができる。これにより、抽出部分と消去部
分の境界において、透明度αが１より小さい値を教師デ
ータとすることで、より精度の高い学習を実行すること
ができる。
【００５０】一方、ステップ１０４の判定がNOであれ
ば、部分指定は消去部分の指定であるので、ステップ１
１０でマウスクリックの有無が判定され、クリックが有
る場合には、ステップ１１２において、ステップ１０８
と同様な処理が実行される。即ち、画面上のクリックポ
ントの座標Ｘ，Ｙが入力され、図３に示す画像データか
らその座標に対応するピクセルが決定され、そのピクセ
ルのＲ，Ｇ，Ｂ値が読み込まれ、入力データ記憶領域３
１に記憶される。又、そのピクセルの透明度αの教師デ
ータは、透明の「０」として、教示データ記憶領域３２
に記憶される。この値は、ＫＢ４からの入力により、０
≦α≦１の任意の値に変更することができる。これによ
り、抽出部分と消去部分の境界において、透明度αが１
より小さい値を教師データとすることで、より精度の高
い学習を実行することができる。
【００５１】ステップ１０８でＲ，Ｇ，Ｂ値の入力と、
透明度αの設定が完了すると、ステップ１１４におい
て、ＫＢ４からの入力の有無が判定され、入力がある
と、ステップ１０２へ戻る。即ち、マウスクリックして
指定する部分を、抽出部分と消去部分で変更する場合に
は、この入力があることになる。又、透明度αを変更す
る場合も、ステップ１０２に戻り、ここでＫＢ４からの
入力値が読み込まれ、領域指定した点における透明度α
を任意に設定することができる。ＫＢ入力がなければ、
同一の抽出部分での領域指定が連続して実行されるため
に、ステップ１０６に戻る。ステップ１１６も同様であ
り、消去部分の領域指定が連続して行われる場合には、
ステップ１１０に戻り、部分の指定が変更される場合に
は、ステップ１０２に戻る。
【００５２】以上のプログラムによる実行により、図４
に示すような画像における抽出部分Ａに属する複数の領
域ａ１〜ａ９の中心ピクセルのＲ，Ｇ，Ｂ値と、消去部
分Ｂに属する複数の領域ｂ１〜ｂ６の中心ピクセルＲ，
Ｇ，Ｂ値と、それらのピクセルの透明度αの教師データ
とから成る学習データが図５に示すように得られる。
Ｒ，Ｇ，Ｂ値はＲＡＭ３の入力データ記憶領域３１に記
憶され、透明度αの教師データは教師データ記憶領域３
２に記憶される。尚、領域ａ７、ａ８、ａ９は境界領域
であり、透明度αも、０．８，０．５，０．３のように
中間値が教師データとして設定される。このように、境
界領域の透明度を与えることで、より精密なニューラル
ネットワークの学習が可能となる。以上のようにして、
抽出部分と消去部分とに属する複数の領域を指定するこ
とができる。尚、上記実施例では、領域ａ１〜ａ９、ｂ
１〜ｂ６の中心ピクセルのＲ，Ｇ，Ｂ値を得るようにし
ているが、この領域に属する全てのピクセルのＲ，Ｇ，
Ｂ値を一度に得て、同一の透明度αを教師データとして
与えても良い。複数のピクセルを同時に指定できること
から、学習データの取得が極めて効率的となる。さら
に、領域に属する全てのピクセルのうちで、色相におい
て端点となっている（その領域において色相が最も離れ
た数点）ピクセルのＲ，Ｇ，Ｂ値を取得して、それらの
値に対して同一の透明度αを与えることで学習データを
形成しても良い。その他、その領域に属するピクセルの
Ｒ，Ｇ，Ｂ値を統計的に処理して１つの代表値を取得し
て、その代表値に対して透明度αを与えることで学習デ
ータを形成しても良い。尚、代表値には平均値も含まれ
る。又、領域に属するピクセルが１つの場合には、領域
のＲ，Ｇ，Ｂ値とは、そのピクセルのＲ，Ｇ，Ｂ値を意
味する。消去部分における代表的な複数の領域について
も同様である。
【００５３】これらの学習データは、一意的に定義され
なければならない。矛盾したデータが蓄積される場合も
ある。そこで、次のようにして、矛盾するデータを自動
的に選別して削除することができる。Ｒ，Ｇ，Ｂ値を３
次元座標と見なす。任意の２つのデータに対して、ユー
クリッド距離を算出する。この距離がしいき値以下に小
さいにもかかわらず、対応する２つの教師データのユー
クリッド距離がしきい値以上に大きい場合には、２つの
学習データの組は、矛盾していると判定することができ
る。このような学習データの組を表形式で表示して、オ
ペレータを介在させることで、不適性な学習データを排
除することができる。
【００５４】次に、このようにして得られた学習データ
を用いて、ニューラルネットワークを学習させるが、ま
ず、ニューラルネットワークの構成について次に説明す
る。 ３）ニューラルネットワークの構成 本実施例のニューラルネットワーク１０は、図６に示す
ように、入力層ＬI と出力層ＬO と中間層ＬM の３層構
造に構成されている。入力層ＬI はＲ，Ｇ，Ｂ値に対応
して３個の入力素子を有し、出力層ＬO は透明度αに対
応して１個の出力素子を有し、中間層ＬM はｆ個の出力
素子を有している。
【００５５】多層構造のニューラルネットワークは、一
般的に、次の演算を行う装置として定義される。第i 層
の第j 番目の素子の出力Oi j は、次式で演算される。但
し、i ≧2 である。
【００５６】
【数１】 Oi j =f(Ii j) （１）
【数２】
【数３】 f(x)=1/｛1+exp(-x)｝ （３）
【００５７】但し、Vi j は第i 層の第j 番目の演算素子
のバイアス、Wi-1 k, i jは、第i-1 層の第k 番目の素子と
第i 層の第j 番目の素子間の結合係数、O1 j は第1 層の
第j番目の素子の出力値を表す。即ち、第1 層であるか
ら演算を行うことなく、そのまま入力を出力するので、
入力層（第１層）の第j 番目の素子の入力値でもある。
【００５８】次に、図６に示す３層構造のニューラルネ
ットワーク１０の具体的な演算手順について図７を参照
して説明する。ステップ２００において、中間層（第２
層）の第j 番目の素子は、入力層（第１層）の各素子か
らの出力値O1 j （第１層の入力データ）を入力して、
（２）式を層番号と第１層の素子数を用いて具体化した
次式の積和演算を行なう。
【数４】
【００５９】次に、ステップ２０２において、次式によ
り、（４）式の入力値の積和関数値のシグモイド関数に
より、中間層（第２層）の各素子の出力が演算される。
第２層の第j 番目の素子の出力値は次式で演算される。
【００６０】
【数５】 O2 j=f(I2 j )=1/｛1+exp(-I2 j) ｝ （５） この出力値 O2 j は出力層（第３層）の各素子の入力値
となる。次に、ステップ２０４において、出力層（第３
層）の各素子の入力値の積和演算が実行される。
【００６１】
【数６】 次に、ステップ２０６において、（５）式と同様に、シ
グモイド関数により、出力層の各素子の出力値O3 jが演
算される。
【００６２】
【数７】 O3 j=f(I3 j)=1/｛1+exp(-I3 j)｝ （７）
【００６３】ニューラルネットワークは上記のようにし
て、各ピクセルのＲ，Ｇ，Ｂ値を入力して、そのピクセ
ルの透明度αを出力するように構成されている。
【００６４】次に、上記のニューラルネットワークの学
習方法について説明する。 ４）ニューラルネットワークの学習 このニューラルネットワークは、図５のように得られた
Ｒ，Ｇ，Ｂ値と、その値に対応する透明度αの教師デー
タを用いて、図８に示す手順で学習される。結合係数は
良く知られたバックプロパーゲーション法により実行さ
れる。この学習は、各種の事象に関する多数の入力デー
タに対して、それぞれの出力が、それぞれの最適な教師
データとなるように、繰り返し実行される。
【００６５】図８のステップ３００において、次式によ
り出力層の各素子の学習信号が演算される。
【数８】 Y3 j=(Tj-δj)・f'(I3 j) （８） 但し、Tj は任意の出力δjに対する教師データであり、
外部から付与される。又、f'(x) はジグモイド関数の導
関数である。
【００６６】次に、ステップ３０２において、中間層の
学習データY が次式で演算される。
【数９】
【００６７】次に、ステップ３０４において、出力層の
各結合係数が補正される。補正量は次式で求められる。
【数１０】 Δω2 i, 3 j(t)=P・Y3 j・f(I2 i)+Q・Δω2 i, 3 j(t-1) （１０） 但し、Δω2 i, 3 j(t) は、出力層の第j 番目の素子と中
間層の第i 番目の素子との間の結合係数の第t 回目演算
の変化量である。又、Δω2 i, 3 j(t-1) は、その結合係
数の前回の補正量である。P,Q は比例定数である。尚、
P が大きい程、結合係数の補正量が大きいので、学習感
度、あるいは学習速度( 収束速度) が大きくなるが、振
動する可能性が生じ易くなる。又、Q が大きい程、前回
の補正量が反映されるので、結合係数の変化の安定性が
高くなり、結果として収束は速くなる。
【００６８】補正された結合係数は、上記の補正量を用
いて、
【数１１】 W2 i, 3 j+Δω2 i, 3 j(t) →W2 i, 3 j （１１） により、求められる。次に、ステップ３０６へ移行し
て、中間層の各素の結合係数が補正される。その結合係
数の補正量は出力層の場合と同様に、次式で求められ
る。
【００６９】
【数１２】 Δω1 i, 2 j(t)=P・Y2 j・f(I1 i)+Q・Δω1 i, 2 j(t-1) （１２） よって、結合係数は、
【数１３】 W1 i, 2 j + Δω1 i, 2 j(t) →W1 i, 2 j （１３） により、補正された結合係数が求められる。
【００７０】次に、ステップ３０８において、学習対象
の全ての入力データに対して１回の学習が完了したか否
が判定される。全ての入力データに対する学習が終了し
ていない場合には、ステップ３１０へ移行して、次の入
力データとその入力データに対応する教師データが学習
対象データとして設定される。そして、ステップ３００
に戻り、次の入力データに関する学習が実行される。こ
のようにして、全入力データに関して１回の学習が完了
すると、ステップ３０８の判定結果がYES となり、ステ
ップ３１２へ移行する。
【００７１】ステップ３１２では、ニューラルネットワ
ークの出力値と教師データの差( 誤差) が十分に小さく
なったか否かが判定される。誤差が十分に小さくなって
いなければ、ステップ３１４に移行して、全入力データ
に関する第２回目の学習を実行するために、最初の入力
データとそれに対応する教師データとが学習対象データ
として設定される。そして、ステップ３００に戻り、上
記した学習演算が繰り返し実行される。このようにし
て、ステップ３１２において、誤差が所定の値以下とな
るまで、上記の学習演算が繰り返し実行される。この結
果、初期の広範囲の事象に関して初期学習されたニュー
ラルネットワークが完成される。
【００７２】以上のようにして、抽出されたＲ，Ｇ，Ｂ
値と透明度αとの対応関係がニューラルネットワークに
おいて学習される。そして、学習されたニューラルネッ
トワークを用いて、画像データ領域２１に記憶されてい
る全ピクセルのＲ，Ｇ，Ｂ値が、順次、ニューラルネッ
トワークに入力され、順次、透明度αを出力させて、図
３に示すように、画像データのピクセルに対応して全ピ
クセルの透明度αが得られる。このようにして、図１０
の抽出部分Ａにおいて領域指定していない領域であって
も、透明度αは不透明である「１」に近い値が得られ、
消去部分Ｂにおいて領域指定していない領域であって
も、透明度αは透明である「０」に近い値が得られる。
そして、抽出部分Ａと消去部分Ｂとの境界部分では、透
明度αは「１」と「０」との中間値となり、透明度が徐
々に変化することになる。
【００７３】このようにして得られた透明度αを有する
画像と、別の背景画像とを透明度αを考慮して合成すれ
ば、図１０における抽出部分Ａが背景画像上に載せられ
た画像となる。抽出部分Ａのピクセルの透明度αは
「１」で不透明であるので、下層の背景画像が見えず、
消去部分Ｂのピクセルの透明度αは「０」で透明である
ので、この部分は下層の背景が表示されることになる。
このようにして、図１０の画像から抽出部分Ａのみを抽
出して、他の背景画像上に合成させることができる。
尚、透明度αに関してしきい値を設ければ、図１０に示
す画像から抽出部分Ａの画像のみを抽出するこも可能で
ある。
【００７４】尚、上記の処理手順の全体のフローチャー
トは図９に示す通りである。ステップ４００において、
画像上において抽出部分と消去部分とにおいて、複数の
領域を指定して、Ｒ，Ｇ，Ｂ値の入力と、それに対応す
る透明度αの教師データの入力とが実行されて学習デー
タが生成される。次に、ステップ４０２において、それ
らのデータを用いてニューラルネットワークの学習が実
行される。次に、ステップ４０４において、画像の全ピ
クセルのＲ，Ｇ，Ｂ値をニューラルネットワークに入力
して、ニューラルネットワークの出力値をそのピクセル
の透明度αとする。このようにして、画像の全てのピク
セルに関して、透明度αが出力される。
【００７５】尚、上記実施例では、複数の領域を指定し
て学習データを蓄積する処理と、学習する処理とを分け
て実行している。しかし、領域指定されて１つの学習デ
ータが蓄積される毎に、過去の学習データと合わせてニ
ューラルネットワークを逐次学習させるようにしても良
い。尚、請求項における入力手段及び入力手順は、上記
実施例では、領域指定を行って、各ピクセルのＲ，Ｇ，
Ｂ値を入力する図２の各ステップ、図９のステップ４０
０、及び、図８のステップ３０２で構成されている。
又、請求項の学習手段及び学習手順は、図８の各ステッ
プ、図９のステップ４０２で構成されている。又、請求
項の抽出手段及び抽出手順は図７の各ステップ、図９の
ステップ４０４で構成されている。又、ニューラルネッ
トワーク及びその処理手順は図６及び図７の各ステップ
で構成されている。
【００７６】次に、第２実施例について説明する。本実
施例は、第２の処理である色補正にの画像処理に関する
ものである。装置構成は、図１に示すものと同一であ
る。図１のＨＤ２の画像抽出プログラム領域２５に代え
て、色補正プログラム領域が形成されている。
【００７７】ニューラルネットワークを学習させるため
の、入力データと教師データの取り込み手順は、図１１
に示す手順により実行される。ステップ５００におい
て、ＨＤ２の画像データ領域２１に記憶されている画像
データに基づいて、ＣＲＴ６上に画像が表示される。画
像は図１２に示すように色表示される。画像データは、
第１実施例で説明したように、図３に示すように、画像
を構成する各ピクセル毎にピクセルNo.、画面上の座標
Ｘ、座標Ｙ、赤、緑、青に関する明度値であるＲ値、Ｇ
値、Ｂ値、透明度αから構成されている。本実施例で
は、画像は全て不透明であるとして、全てのピクセルの
透明度αは不透明を表す「１」が与えられている。
【００７８】次に、図１２で示される画像上において、
色補正したい色を選択するために、複数の領域ｃ１、ｃ
２…等において、オペレータがマウスクリックを行う
が、ステップ５０２では、このマウスクリックの有無が
判定される。マウスクリック有りと判定されると、ステ
ップ５０４において、画面上のクリックポントの座標
Ｘ，Ｙが入力され、図３に示す画像データからその座標
に対応するピクセルが決定され、そのピクセルのＲ，
Ｇ，Ｂ値が読み込まれ、入力データ記憶領域３１に記憶
される。尚、画像において、一部の領域の拡大表示は可
能になっており、領域ｃ１、ｃ２…によるピクセルの選
択が容易なように構成されている。
【００７９】次に、ステップ５０６において、補正後の
色のＲ’，Ｇ’，Ｂ’値、即ち、教師データＲ’，
Ｇ’，Ｂ’値を指定するするために、ＣＲＴ６の全画面
又は分割画面において、色見本が表示される。この色見
本は、粗い色見本から細かい色見本まで階層的に構成さ
れており、十分に高い分解能の色見本が選択的に、順
次、詳細に表示されるように構成されている。即ち、各
色見本とＲ，Ｇ，Ｂ値との対応関係が表形式でＨＤ２の
所定領域に記憶されている。図１３は、その１つの階層
の色見本である。この画面上の色見本において、マウス
クリックの有無がステップ５０８において判定される。
クリック有りの場合には、その色見本が指定されたと判
定され、上記の表からその色見本に対応するＲ，Ｇ，Ｂ
値が読み出され、ステップ５１０において、その色見本
を発生させているＲ，Ｇ，Ｂ値が補正すべき教師データ
のＲ’，Ｇ’，Ｂ’値として、ＲＡＭ３の教師データ記
憶領域３２に記憶される。又、ステップ５０６の色見本
の他に、現に表示されている画像に現われている色の領
域をクリックして、教師データを得るようにも構成され
ている。これは、画像において抽出部分を抽出した時に
その輪郭において消去部分が一部切り取られる場合があ
るが、この部分の色を抽出画像の対応部分の色に補正す
るような場合に、特に、有効である。
【００８０】ステップ５０８において、マウスクリック
が検出されない場合には、ステップ５１２に移行して、
ＫＢ入力の有無が判定され、入力有りの場合には、ステ
ップ５１４において、ＫＢ４による数値入力により、教
師データのＲ’，Ｇ’，Ｂ’値が入力される。この値
は、同様に、指定される補正前のＲ，Ｇ，Ｂ値に対応し
て、教師データ記憶領域３２に記憶される。
【００８１】このようにして、図１２に示す画像におい
て、色補正を希望する領域を指定すると共に、補正後の
色を図１３の色見本で指定、又は、画像上の所定の色の
領域を指定、又は、ＫＢから数値入力することで、補正
前のＲ，Ｇ，Ｂ値と、対応する教師データＲ’，Ｇ’，
Ｂ’値との対応組が多数からなる学習データが作成さ
れ、所定領域に記憶される。
【００８２】これらの学習データは、一意的に定義され
なければならない。矛盾したデータが蓄積される場合も
ある。そこで、次のようにして、矛盾するデータを自動
的に選別して削除することができる。Ｒ，Ｇ，Ｂ値を３
次元座標と見なす。任意の２つのデータに対して、ユー
クリッド距離を算出する。この距離がしいき値以下に小
さいにもかかわらず、対応する２つの教師データのユー
クリッド距離がしきい値以上に大きい場合には、２つの
学習データの組は、矛盾していると判定することができ
る。このような学習データの組を表形式で表示して、オ
ペレータを介在させることで、不適性を学習データを排
除することができる。
【００８３】このようにして得られる学習データに関し
て、ニューラルネットワークを学習させる方法は、第１
実施例と同一であるので、その説明を省略する。本実施
例のニューラルネットワーク２０は、図１４に示す構成
である。即ち、ニューラルネットワーク２０は、図１４
に示すように、入力層ＬI と出力層ＬOと中間層ＬM の
３層構造に構成されている。入力層ＬI はＲ，Ｇ，Ｂ値
に対応して３個の入力素子を有し、出力層ＬO は補正さ
れたｒ，ｇ，ｂ値に対応して３個の出力素子を有し、中
間層ＬM はｆ個の出力素子を有している。
【００８４】次に、ＨＤ２の画像データ領域２１に記憶
されている図３に示すような画像の各ピクセルのＲ，
Ｇ，Ｂ値を、順次、学習が完了したニューラルネットワ
ークに入力して、そのニューラルネットワークから順
次、補正されたｒ，ｇ，ｂ値を出力する。図３に示すよ
うな各ピクセルの座標Ｘ，Ｙと、そのピクセルの補正さ
れたｒ，ｇ，ｂ値との対応表がＨＤ２の所定の領域に記
憶される。この補正された画像データに基づいて、ＣＲ
Ｔ６上に画像を表示することにより、色補正された画像
を得ることができる。このように、代表的な色だけを抽
出して、色補正をすれば、抽出していない色に関して
も、ニューラルネットワークの特性により、それらの相
関関係に基づいて、補間された補正色が得られる。従っ
て、色補正に関する解析的な原理や手法を習得していな
くとも、オペレータは補正すべき色と、補正色とを代表
的に指定するだけで、画像全体について色補正を行うこ
とが可能となる。
【００８５】尚、上記の処理手順の全体のフローチャー
トは図１５に示す通りである。ステップ６００におい
て、画像上において補正したい色の領域を指定して、
Ｒ，Ｇ，Ｂ値を取得すると共に、補正された色のＲ’，
Ｇ’，Ｂ’値を教師データとして記憶する。このように
して、多数の色と補正色との関係を示す学習データを集
積する。次に、ステップ６０２において、それらのデー
タを用いてニューラルネットワークの学習が実行され
る。次に、ステップ６０４において、画像の全ピクセル
のＲ，Ｇ，Ｂ値をニューラルネットワークに、順次、入
力して、ニューラルネットワークの出力値をそのピクセ
ルの補正されたｒ，ｇ，ｂ値とする。
【００８６】尚、上記実施例では、複数の領域を指定し
て学習データを蓄積する処理と、学習する処理とを分け
て実行している。しかし、領域指定されて１つの学習デ
ータが蓄積される毎に、過去の学習データと合わせてニ
ューラルネットワークを逐次学習させるようにしても良
い。尚、請求項における入力手段及び入力手順は、上記
実施例では、領域指定を行って、各ピクセルのＲ，Ｇ，
Ｂ値を入力する図１１の各ステップ、図１５のステップ
６００、及び、図８のステップ３０２で構成されてい
る。又、請求項の学習手段及び学習手順は、図８の各ス
テップ、図１５のステップ６０２で構成されている。
又、請求項の色補正手段及び色補正手順は図７の各ステ
ップ、図１５のステップ６０４で構成されている。又、
ニューラルネットワーク及びその処理手順は図６及び図
７の各ステップで構成されている。
【００８７】次に、第３実施例について説明する。本実
施例は、第３の処理である位置補正、即ち、形状補正に
関するものである。例えば、広角レンズで撮像した画像
等において生じる歪みを補正することに適用できる。装
置構成は、図１に示すものと同一である。図１のＨＤ２
の画像抽出プログラム領域２５に代えて、位置補正プロ
グラム領域が形成されている。
【００８８】ニューラルネットワークを学習させるため
の、入力データと教師データの取り込み手順は、図１６
に示す手順により実行される。ステップ７００におい
て、ＨＤ２の画像データ領域２１に記憶されている画像
データに基づいて、ＣＲＴ６上に画像が表示される。画
像は図１７に示すように表示される。画像データは、第
１実施例で説明したように、図３に示すように、画像を
構成する各ピクセル毎にピクセルNo.、画面上の座標
Ｘ、座標Ｙ、赤、緑、青に関する明度値であるＲ値、Ｇ
値、Ｂ値、透明度αから構成されている。本実施例で
は、画像は全て不透明であるとして、全てのピクセルの
透明度αは不透明を表す「１」が与えられている。
【００８９】次に、図１７で示される画像上において、
オペレータが変形したい位置を指定するために、複数の
領域ｄ１、ｄ２…においてマウスクリックするが、ステ
ップ７０２では、このマウスクリックの有無が判定され
る。マウスクリック有りと判定されると、ステップ７０
４において、画面上のクリックポント、即ち、各領域の
中心点の座標Ｘ，Ｙが入力され、図３に示す画像データ
からその座標に対応するピクセルが決定され、そのピク
セルの座標Ｘ，Ｙが読み込まれ、入力データ記憶領域３
１に記憶される。尚、画像を部分的に任意に拡大できる
ように構成されており、領域の中心のピクセルの指定が
容易なように構成されている。
【００９０】次に、ステップ７０６において、ステップ
７０２で指定された１点に対応する補正後の位置Ｘ’，
Ｙ’を指定するするために、ＣＲＴ６の同一画面上また
は、分割画面上において、移動すべき位置をマウスクリ
ックで指定する。例えば、図１７に示すように、画像上
において、指定された位置ｄ１に対して、その移動後の
位置ｅ１が指定される。このように移動後の位置がマウ
スクリックで指定されると、ステップ７０８において、
そのクリックポイントの座標Ｘ’，Ｙ’が位置ｄ１の補
正後の座標の教師データとして、ＲＡＭ３の教師データ
記憶領域３２に記憶される。
【００９１】ステップ７０６において、マウスクリック
が検出されない場合には、ステップ７１０に移行して、
ＫＢ入力の有無が判定され、入力有りの場合には、ステ
ップ７１２において、ＫＢ４による数値入力により、教
師データとしての補正後の座標Ｘ’，Ｙ’が入力され
る。この値は、同様に、指定された位置ｄ１の座標Ｘ，
Ｙに対応して、教師データ記憶領域３２に記憶される。
【００９２】このようにして、図１７に示す画像におい
て、位置補正を希望する領域を指定すると共に、補正後
の位置を指定するという操作を交互に繰り返すことで、
補正前の位置の座標Ｘ，Ｙと、対応する教師データ
Ｘ’，Ｙ’との対応組が多数から成る学習データが作成
され、所定領域に記憶される。
【００９３】これらの学習データは、一意的に定義され
なければならない。矛盾したデータが蓄積される場合も
ある。そこで、次のようにして、矛盾するデータを自動
的に選別して削除することができる。補正前の位置の座
標Ｘ，Ｙに関して、任意の２つのデータに対して、ユー
クリッド距離を算出する。この距離がしいき値以下に小
さいにもかかわらず、対応する２つの教師データ（補正
後の座標Ｘ’，Ｙ’）のユークリッド距離がしきい値以
上に大きい場合には、２つの学習データの組は、矛盾し
ていると判定することができる。このような学習データ
の組を表形式で表示して、オペレータを介在させること
で、不適性を学習データを排除することができる。
【００９４】このようにして得られる学習データに関し
て、ニューラルネットワークを学習させる方法は、第１
実施例と同一であるので、その説明を省略する。本実施
例のニューラルネットワーク３０は、図１９に示す構成
である。即ち、ニューラルネットワーク３０は、図１９
に示すように、入力層ＬI と出力層ＬOと中間層ＬM の
３層構造に構成されている。入力層ＬI は座標Ｘ，Ｙに
対応して２個の入力素子を有し、出力層ＬO は補正され
た座標ｘ，ｙに対応して２個の出力素子を有し、中間層
ＬM はｆ個の出力素子を有している。
【００９５】次に、ＨＤ２の画像データ領域２１に記憶
されている図３に示すような画像の各ピクセルの座標
Ｘ，Ｙを、順次、学習が完了したニューラルネットワー
クに入力して、そのニューラルネットワークから順次、
補正された座標ｘ，ｙを出力する。図３に示すような各
ピクセルの座標Ｘ，Ｙと、そのピクセルの補正された座
標ｘ，ｙとの対応表がＨＤ２の所定の領域に記憶され
る。この補正された画像データに基づいて、ＣＲＴ６上
に画像を表示することにより、位置補正された従って形
状変形された画像を得ることができる。例えば、図１７
におけるｄ１〜ｄ４を、それぞれ、ｅ１〜ｅ４に位置補
正して、ニューラルネットワークを学習させることで、
全画像は、図１８に示すように変形されたものとなる。
【００９６】このように、代表的な位置だけを抽出し
て、位置補正をすれば、抽出していない位置に関して
も、ニューラルネットワークの特性により、それらの相
関関係に基づいて、補間された補正位置が得られる。従
って、位置補正に関する解析的な原理や手法を習得して
いなくとも、オペレータは補正すべき位置と、補正後の
位置とを代表的に指定するだけで、画像全体について位
置補正を行うことが可能となる。又、オペレータは変形
後の形状を離散点で指定するのであるから、形状の変形
がある程度予測できるため、使用性の高いものとなる。
【００９７】尚、上記の処理手順の全体のフローチャー
トは図２０に示す通りである。ステップ８００におい
て、画像上において補正したい位置の領域を指定して、
座標Ｘ，Ｙを取得すると共に、補正された位置の座標
Ｘ’，Ｙ’を教師データとして記憶する。このようにし
て、多数の位置と補正位置との関係の学習データを集積
する。次に、ステップ８０２において、それらのデータ
を用いてニューラルネットワークの学習が実行される。
次に、ステップ８０４において、画像の全ピクセルの座
標Ｘ，Ｙをニューラルネットワークに、順次、入力し
て、ニューラルネットワークの出力値をそのピクセルの
補正された座標ｘ，ｙとする。
【００９８】尚、上記実施例では、複数の領域を指定し
て学習データを蓄積する処理と、学習する処理とを分け
て実行している。しかし、領域指定されて１つの学習デ
ータが蓄積される毎に、過去の学習データと合わせてニ
ューラルネットワークを逐次学習させるようにしても良
い。尚、請求項における入力手段及び入力手順は、上記
実施例では、領域指定を行って、各ピクセルの座標Ｘ，
Ｙを入力する図１６の各ステップ、図２０のステップ８
００、及び、図８のステップ３０２で構成されている。
又、請求項の学習手段及び学習手順は、図８の各ステッ
プ、図２０のステップ８０２で構成されている。又、請
求項の変形手段及び変形手順は図７の各ステップ、図２
０のステップ８０４で構成されている。又、ニューラル
ネットワーク及びその処理手順は図６及び図７の各ステ
ップで構成されている。
【００９９】尚、上記では、第１実施例、第２実施例、
第３実施例と、別々に説明したが、それらの任意の組み
合わせを有する装置であっても良いのは当然である。
又、上記実施例において、ＨＤ２は記録媒体の一種であ
るが、これらの上述したプログラムは、ＦＤ、ＣＤ−Ｒ
ＯＭ等の可搬媒体であっても良い。又、インターネット
上でプログラムを供給する場合には、供給元のサーバコ
ンピュータのハードディスク等も記録媒体となる。
【図面の簡単な説明】
【図１】本発明の具体的な第１実施例に係る装置の構成
を示したブッロク図。
【図２】同実施例装置における領域指定を行い学習デー
タを蓄積する手順を示したフローチャート。
【図３】画像データの構成を示した構成図。
【図４】抽出部分と消去部分における複数の領域を指定
する方法を示した説明図。
【図５】領域指定されたピクセルのＲ，Ｇ，Ｂ値と教師
データとしての透明度αとの対応関係を示す学習データ
の構成図。
【図６】同実施例に係るニューラルネットワークの構成
を示した構成図。
【図７】同実施例に係るニューラルネットワークの演算
手順を示したフローチャート。
【図８】同実施例に係るニューラルネットワークの学習
手順を示したフローチャート。
【図９】同実施例装置の全体の演算手順を示したフロー
チャート。
【図１０】抽出部分の透明度αを不透明である値とし、
消去部分の透明度αを透明である値とした補正画像の説
明図。
【図１１】第２実施例装置における領域指定を行い学習
データを得る方法を示したフローチャート。
【図１２】同実施例において領域指定の方法を説明した
説明図。
【図１３】同実施例において教師データとしてのＲ，
Ｇ，Ｂ値を指定する方法を示した説明図。
【図１４】同実施例に係るニューラルネットワークの構
成を示した構成図。
【図１５】同実施例装置の全体の演算手順を示したフロ
ーチャート。
【図１６】第３実施例装置における領域指定を行い学習
データを得る方法を示したフローチャート。
【図１７】同実施例において領域指定と教師データに対
応する補正位置の領域指定の方法を説明した説明図。
【図１８】ニューラルネットワークにより位置補正され
た画像を示した説明図。
【図１９】同実施例に係るニューラルネットワークの構
成を示した構成図。
【図２０】同実施例装置の全体の演算手順を示したフロ
ーチャート。
【符号の説明】
１０…ニューラルネットワーク ＬI …入力層 ＬM …中間層 Ｌo …出力層
【手続補正書】
【提出日】平成１２年４月６日（２０００．４．６）
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正内容】
【書類名】 明細書
【発明の名称】 画像処理方法及びその装置並びに記憶
媒体
【特許請求の範囲】
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、ニューラルネット
ワークを用いた画像処理方法、画像処理装置、及び画像
処理手順を記録した記録媒体に関する。
【０００２】
【従来の技術】従来、ディジタル画像の処理には、各種
の方法がある。そのうち、画像における特定の形状を抽
出して、他の画像と合成したりして、１つの画像を形成
することが良く行われている。例えば、特定の形状を抽
出するには、輪郭線の解析を行って、所望の形状認定を
行い、その輪郭で囲まれた形状を抽出する方法がある。
しかし、このような解析的手法は、画像が与えられたら
一意的に輪郭抽出が行われるものであり、所望の形状の
抽出に失敗した時の調整が困難である。又、他の画像の
各種の処理方法にしても、一意的な因果関係の元に解析
的手法を用いたものである。
【０００３】
【発明が解決しようとする課題】したがって、画像処理
を行うオペレータは、上記の解析的手法にパラメータを
与える必要があり、画像処理に関してその原理を理解し
ている必要があり、誰にでも簡便に画像処理を行えるも
のではなかった。このように画像処理をするに当たり専
門的な知識が必要とされ、使用性が良くなかった。又、
画像処理の結果は、オペレータが視覚的に予測すること
ができず、一旦、画像処理を行った後、その画像を表示
してみて、初めて、所望の画像が得られているか否かが
判定できた。このように試行錯誤を繰り返して、所望の
処理された画像を得る必要があり、多大な作業時間を要
した。特に、この試行錯誤的方法は、アニメーション等
のように多数の画像に整合のとれた処理を施すことが必
要な場合には深刻な問題となっている。
【０００４】又、様々な画像に対応して、画像処理をす
る場合には、その画像毎にパラメータの設定を必要と
し、必ずしも使用性が高いものとはいえなかった。
【０００５】そこで、本発明は、上記の課題を解決する
ために成されたものであり、画像処理を容易に実行で
き、しかも、様々な画像に関しても経験的な判断が反映
されたものとすることで、多様な画像にも容易に対応で
きるようにすることである。即ち、本発明は、因果関係
を解析的に決定するのではなく、ニューラルネットワー
クを用いて因果関係を学習させることで、学習していな
い因果関係においても、妥当な画像処理結果を得ること
ができるようにしたものである。又、画像処理結果をオ
ペレータが視覚的に与えながら指示することで、ある程
度の処理結果を予測しながら、補正処理を行うことがで
きるようにすることで、使用性を向上させることを目的
とする。
【０００６】
【課題を解決するための手段及び作用効果】本発明にお
ける第１の画像処理は、画像から所望の抽出部分のみ抽
出する方法、換言すれば、抽出部分以外の部分を消去す
る方法である。
【０００７】第１の画像処理に関する構成は、以下の通
りである。画像の各ピクセル毎にＲ，Ｇ，Ｂ値が与えら
れた画像の処理方法において、画像において抽出すべき
所望の抽出部分と抽出しない消去部分とにおいて、抽出
部分の代表的な複数の領域を指定して、その領域のＲ，
Ｇ，Ｂ値をニューラルネットワークに入力し、ニューラ
ルネットワークの出力値の透明度αが不透明を表す値と
なるように、且つ、消去部分の代表的な複数の領域を指
定して、その領域のＲ，Ｇ，Ｂ値をニューラルネットワ
ークに入力し、ニューラルネットワークの出力値の透明
度αが透明を表す値となるように、ニューラルネットワ
ークの学習を複数の領域について実行し、学習させたニ
ューラルネットワークを用いて、画像の各ピクセル毎の
Ｒ，Ｇ，Ｂ値をニューラルネットワークに入力して、そ
のニューラルネットワークの出力値によりそのピクセル
の透明度αを決定することにより、画像において、所望
の抽出部分を抽出することを特徴とする。
【０００８】尚、上記の発明における抽出部分の代表的
な複数の領域は、１つ又は、複数のピクセルで構成され
る部分を意味する。複数のピクセルで構成されている場
合には、領域指定によるＲ，Ｇ，Ｂ値の取得は、その領
域に属する全てのピクセルのそれぞれのＲ，Ｇ，Ｂ値を
一度に取得し、それらの値に対して同一の透明度αを学
習させることも考えられる。又、領域の中心に位置する
１つのピクセルのＲ，Ｇ，Ｂ値を取得するようにしても
良い。さらに、領域に属する全てのピクセルのうちで、
色相において端点となっている（その領域において色相
が最も離れた数点）ピクセルのＲ，Ｇ，Ｂ値を取得し
て、それらの値に対して同一の透明度αを学習させても
良い。その他、その領域に属するピクセルのＲ，Ｇ，Ｂ
値を統計的に処理して１つの代表値を取得して、その代
表値に対して透明度αを学習させても良い。代表値には
平均値も含まれる。又、領域に属するピクセルが１つの
場合には、領域のＲ，Ｇ，Ｂ値とは、そのピクセルの
Ｒ，Ｇ，Ｂ値を意味する。消去部分における代表的な複
数の領域についても同様である。
【０００９】上記の発明では、抽出部分におけるある領
域を指定して、その領域のＲ，Ｇ，Ｂ値を入力値、その
出力値が不透明を表す値となるように、ニューラルネッ
トワークの重み係数を学習させる。一方、消去部分にお
けるある領域を指定して、その領域のＲ，Ｇ，Ｂ値を入
力値、その出力値が透明を表す値となるように、ニュー
ラルネットワークを学習させる。この学習は、抽出部分
及び消去部分の指定された複数の全ての領域に関して、
出力値が所定値に対して一定誤差以下に収束するまで、
繰り返し実行される。
【００１０】次に、このように学習されたニューラルネ
ットワークに、画像を構成する各ピクセルのＲ，Ｇ，Ｂ
値を、順次、入力して、その出力値によりそのピクセル
の透明度αを得る。このように、ニューラルネットワー
クの補間作用により、学習させていないＲ，Ｇ，Ｂ値に
対しても、抽出部分を示す透明度αと、消去部分を示す
透明度αとが得られることになる。例えば、抽出部分の
学習させたＲ，Ｇ，Ｂ値に対しては、透明度αは不透明
を表す値（例えば、＝１）に略等しくなり、消去部分の
学習させたＲ，Ｇ，Ｂ値に対しては、透明度αは透明を
表す値（例えば、＝０）に略等しくなる。そして、抽出
部分の学習させたＲ，Ｇ，Ｂ値と、消去部分の学習させ
たＲ，Ｇ，Ｂ値との中間に存在するＲ，Ｇ，Ｂ値に対し
ては、透明度αは、中間の透明度α（０＜α＜１）とな
る。このようにして、透明度αが決定される。透明度α
にしきい値を設定すれば、抽出部分の画像のみを取り出
すことができる。
【００１１】又、上記のように透明度αが設定された画
像を、新たな背景画像の上に置いて透明度αに基づく合
成処理をすれば、画像の透明度αに応じて、背景画像が
透けて見えることになり、抽出部分を背景画像上に置い
た画像合成を行うことが可能となる。尚、抽出部分の輪
郭部では、透明度αは抽出部分の内部から外部にかけ
て、１から０に連続的に変化している。よって、抽出部
分の輪郭部は内部から外部に掛けて徐々に背景画像が透
けて見える程度が大きくなり、より自然な画像合成とな
る。
【００１２】このように本発明によれば、画像上におい
て、抽出部分と、消去部分とにおいて、複数の領域を指
定して、その領域のＲ，Ｇ，Ｂ値に対して、出力値の透
明度が透明又は不透明となるようにニューラルネットワ
ークを学習させるだけでよいため、オペレータは単に領
域指定と透明、不透明の指定だけを行えばよい。従っ
て、画像処理の操作性が極めて改善される。
【００１３】又、ニューラルネットワークの学習効果に
より、学習させていないＲ，Ｇ，Ｂ値に対しても、合理
的な透明度αが得られるため、全ての領域で学習させる
必要がないため、画像処理が簡単となる。
【００１４】第１の画像処理に関する他の特徴は、その
画像処理装置である。即ち、画像の各ピクセル毎にＲ，
Ｇ，Ｂ値が与えられた画像の処理装置において、Ｒ，
Ｇ，Ｂ値を入力し、透明度αを出力値とするニューラル
ネットワークと、画像において抽出すべき所望の抽出部
分と抽出しない消去部分とにおいて、抽出部分の代表的
な複数の領域を指定して、その領域のＲ，Ｇ，Ｂ値、及
び、消去部分の代表的な複数の領域を指定して、その領
域のＲ，Ｇ，Ｂ値を、ニューラルネットワークに入力す
る入力手段と、抽出部分の領域のＲ，Ｇ，Ｂ値の入力に
対して、ニューラルネットワークの出力値の透明度αが
不透明を表す値となるように、且つ、消去部分の領域の
Ｒ，Ｇ，Ｂ値の入力に対して、ニューラルネットワーク
の出力値の透明度αが透明を表す値となるように、ニュ
ーラルネットワークの学習を複数の領域について実行す
る学習手段と、学習させたニューラルネットワークを用
いて、画像の各ピクセル毎のＲ，Ｇ，Ｂ値をニューラル
ネットワークに入力して、そのニューラルネットワーク
の出力によりそのピクセルの透明度αを決定することに
より、画像において、所望の抽出部分を抽出する抽出手
段とから成ることを特徴とする。
【００１５】上記の画像処理装置を用いることで、処理
方法の発明で説明したように、ニューラルネットワーク
を用いていることから、より簡便に抽出部分と消去部分
との透明度αが決定でき、画像の抽出及び合成が簡単と
なる。尚、指定された領域に属するピクセルが複数の場
合の処理については、方法発明において説明した通りで
ある。
【００１６】さらに第１の画像処理に関する他の特徴
は、上記の画像処理装置において実行されるプログラム
を記憶した記録媒体である。即ち、画像の各ピクセル毎
にＲ，Ｇ，Ｂ値が与えられた画像のコンピュータによる
処理手順を記憶した記録媒体であって、実行時にコンピ
ュータにより次の一連の手順が実行されるものであっ
て、Ｒ，Ｇ，Ｂ値を入力し、透明度αを出力値とするニ
ューラルネットワークの処理手順と、画像において抽出
すべき所望の抽出部分と抽出しない消去部分とにおい
て、抽出部分の代表的な複数の領域を指定して、その領
域のＲ，Ｇ，Ｂ値、及び、消去部分の代表的な複数の領
域を指定して、その領域のＲ，Ｇ，Ｂ値を、ニューラル
ネットワークに入力させる手順と、抽出部分の領域の
Ｒ，Ｇ，Ｂ値の入力に対して、ニューラルネットワーク
の出力値の透明度αが不透明を表す値となるように、且
つ、消去部分の領域のＲ，Ｇ，Ｂ値の入力に対して、ニ
ューラルネットワークの出力値の透明度αが透明を表す
値となるように、ニューラルネットワークの学習を複数
の領域について実行する手順と、学習させたニューラル
ネットワークを用いて、画像の各ピクセル毎のＲ，Ｇ，
Ｂ値をニューラルネットワークに入力して、そのニュー
ラルネットワークの出力によりそのピクセルの透明度α
を決定することにより、画像において、所望の抽出部分
を抽出する手順とのうちの少なくとも１つの手順を記録
した記録媒体である。
【００１７】ここで、コンピュータを用いて実行される
上記の一連の手順は、最終的にはコンピュータのＲＡＭ
等に記憶された状態となるが、このうち少なくとも１つ
の手順が記録された記憶媒体であっても良い。即ち、複
数の記録媒体にそれぞれの手順が記録されていても良
い。又、一部の手順が予めＯＳの一部として組み込まれ
ており、記録媒体に記録されている手順と協動して、動
作するものであっても良い。要するに、コンピュータの
実行時に、上記の一連の手順が形成されるもののうち
の、少なくとも１つの手順を記憶した記録媒体である。
又、記録媒体には、フロッピィディスク、ＣＤＲＯＭ、
ハードディスク等を含み、インターネット上のサーバの
ハードディスクに記録された状態、又、ユーザのコンピ
ュータにインターネットを介してダウンロードした状態
のハードディスクやＲＡＭ等を含む。さらに、記録媒体
には、通信回線自体をも意味し、上記の手順の他、本件
発明に関係のない他のプログラムが記録されていても良
い。尚、この記録媒体の定義は、以下に説明する第２、
第３の処理に関する記録媒体についても同様である。
【００１８】このようなプログラムを用いることで、上
記した画像処理方法及び画像処理装置が実現でき、上述
した効果を奏する。
【００１９】
【関連発明の手段及び作用効果】 第２の画像処理は、色
補正に関するものであり、その構成は、次の通りであ
る。画像の各ピクセル毎にＲ，Ｇ，Ｂ値が与えられた画
像の処理方法において、画像において色補正したい部分
の代表的な複数の領域を指定して、その領域のＲ，Ｇ，
Ｂ値をニューラルネットワークに入力し、ニューラルネ
ットワークの出力値が所望のＲ’，Ｇ’，Ｂ’値となる
ように、ニューラルネットワークの学習を複数の領域に
ついて実行し、学習させたニューラルネットワークを用
いて、画像の各ピクセル毎のＲ，Ｇ，Ｂ値をニューラル
ネットワークに入力して、そのニューラルネットワーク
の出力値によりそのピクセルの補正されたｒ，ｇ，ｂ値
を得ることで、画像における色補正を行うことを特徴と
する。
【００２０】尚、上記の発明における画像の代表的な複
数の領域は、１つ又は、複数のピクセルで構成される部
分を意味する。複数のピクセルで構成されている場合に
は、領域の中心点やその他の代表点に位置する１つのピ
クセルのＲ，Ｇ，Ｂ値を取得するようにしても良い。さ
らに、その領域に属するピクセルのＲ，Ｇ，Ｂ値を統計
的に処理して１つの代表値を取得して、その代表値に対
して補正されたＲ’，Ｇ’，Ｂ’値を教師データとして
与えても良い。代表値には平均値も含まれる。領域の平
均的なＲ，Ｇ，Ｂ値を取得して、領域の平均的な補正さ
れたＲ’，Ｇ’，Ｂ’値を教師データとして与えること
で、色補正に関して平均的な学習を行っても良い。又、
領域に属するピクセルが１つの場合には、領域のＲ，
Ｇ，Ｂ値とは、そのピクセルのＲ，Ｇ，Ｂ値を意味す
る。
【００２１】上記の発明では、画像の色補正をしたい部
分の代表的な複数の領域を指定して、その領域のＲ，
Ｇ，Ｂ値を入力値、その出力値が所望のＲ’，Ｇ’，
Ｂ’値となるように、ニューラルネットワークの重み係
数を学習させる。この学習は、色補正をしたい部分で指
定された複数の全ての領域に関して、出力値が所定値に
対して一定誤差以下に収束するまで、繰り返し実行され
る。
【００２２】次に、このように学習されたニューラルネ
ットワークに、画像を構成する各ピクセルのＲ，Ｇ，Ｂ
値を、順次、入力して、その出力値によりそのピクセル
の補正されたｒ，ｇ，ｂ値を得る。このように、ニュー
ラルネットワークの補間作用により、学習させていない
Ｒ，Ｇ，Ｂ値に対しても、補正されたｒ，ｇ，ｂ値が得
られることになる。例えば、色補正を行いたい部分に属
する領域の学習させたＲ，Ｇ，Ｂ値に対しては、補正さ
れたｒ，ｇ，ｂ値は所望の教示値Ｒ’，Ｇ’，Ｂ’値と
なる。そして、学習させていない領域のＲ，Ｇ，Ｂ値に
対しては、学習されたＲ，Ｇ，Ｂ値に対する補正された
ｒ，ｇ，ｂ値との対応関係において、補間されたｒ，
ｇ，ｂ値が得られることになる。
【００２３】このようにして、代表的なＲ，Ｇ，Ｂ値に
対する所望のＲ’，Ｇ’，Ｂ’値をニューラルネットワ
ークに学習させさえすれば、他のＲ，Ｇ，Ｂ値も、その
学習の傾向に沿った値に補正されることになり、画像全
体として色補正を実行することが可能となる。
【００２４】このように本発明によれば、画像上におい
て、色補正をしたい部分の複数の領域を指定して、その
領域のＲ，Ｇ，Ｂ値に対して、所望のＲ’，Ｇ’，Ｂ’
値が得られるように、ニューラルネットワークを学習さ
せるだけでよいため、オペレータは単に色補正をしたい
領域指定と所望のＲ’，Ｇ’，Ｂ’値の指定だけを行え
ばよい。従って、画像処理の操作性が極めて改善され
る。
【００２５】又、ニューラルネットワークの学習効果に
より、学習させていないＲ，Ｇ，Ｂ値に対しても、合理
的な補正されたｒ，ｇ，ｂ値が得られるため、全ての領
域で学習させる必要がないため、画像処理が簡単とな
る。
【００２６】第２の画像処理に関する他の発明の構成
は、画像の各ピクセル毎にＲ，Ｇ，Ｂ値が与えられた画
像の処理装置において、Ｒ，Ｇ，Ｂ値を入力し、補正さ
れたｒ，ｇ，ｂ値を出力値とするニューラルネットワー
クと、画像において色補正したい部分の代表的な複数の
領域を指定して、その領域のＲ，Ｇ，Ｂ値をニューラル
ネットワークに入力する入力手段と、ニューラルネット
ワークの出力値が所望のＲ’，Ｇ’，Ｂ’値となるよう
に、ニューラルネットワークの学習を複数の領域につい
て実行する学習手段と、学習させたニューラルネットワ
ークを用いて、画像の各ピクセル毎のＲ，Ｇ，Ｂ値をニ
ューラルネットワークに入力して、そのニューラルネッ
トワークの出力によりそのピクセルの補正されたｒ，
ｇ，ｂ値を得ることで、画像における色補正を行う色補
正手段とから成る。
【００２７】上記の画像処理装置を用いることで、処理
方法の発明で説明したように、ニューラルネットワーク
を用いていることから、より簡便に画像の色補正が行え
る。
【００２８】第２の画像処理に関する他の発明の構成
は、画像の各ピクセル毎にＲ，Ｇ，Ｂ値が与えられた画
像のコンピュータによる処理手順を記録した記録媒体で
あって、実行時にコンピュータにより次の一連の手順が
実行されるものであって、Ｒ，Ｇ，Ｂ値を入力し、補正
されたｒ，ｇ，ｂ値を出力値とするニューラルネットワ
ークの処理手順と、画像において色補正したい部分の代
表的な複数の領域を指定して、その領域のＲ，Ｇ，Ｂ値
をニューラルネットワークに入力する入力手順と、ニュ
ーラルネットワークの出力値が所望のＲ’，Ｇ’，Ｂ’
値となるように、ニューラルネットワークの学習を複数
の領域について実行する手順と、学習させたニューラル
ネットワークを用いて、画像の各ピクセル毎のＲ，Ｇ，
Ｂ値をニューラルネットワークに入力して、そのニュー
ラルネットワークの出力によりそのピクセルの補正され
たｒ，ｇ，ｂ値を得ることで、画像における色補正を行
う手順とのうちの少なくとも１つの手順を記録した記録
媒体である。
【００２９】このようなプログラムを用いることで、上
記した画像処理方法及び画像処理装置が実現でき、上述
した効果を奏する。
【００３０】第３の画像処理に関する発明は、画像の各
ピクセル毎の座標Ｘ，Ｙに基づいて、画像を変形させる
画像処理方法において、画像における代表的な複数の領
域を指定して、その領域の座標Ｘ，Ｙをニューラルネッ
トワークに入力し、ニューラルネットワークの出力値が
所望の座標Ｘ’，Ｙ’となるように、ニューラルネット
ワークの学習を複数の領域について実行し、学習させた
ニューラルネットワークを用いて、画像の各ピクセル毎
の座標Ｘ，Ｙをニューラルネットワークに入力して、そ
のニューラルネットワークの出力値によりそのピクセル
の補正された座標ｘ，ｙを得ることで、画像の変形を行
うことを特徴とする。
【００３１】尚、上記の発明における代表的な複数の領
域は、１つ又は、複数のピクセルで構成される部分を意
味する。複数のピクセルで構成されている場合には、座
標Ｘ，Ｙはその領域に属する各ピクセルの座標Ｘ，Ｙの
平均値等の数学的手法による代表値を用いることができ
る。即ち、領域の中点、重心等の代表的な１ピクセルの
座標Ｘ，Ｙを取得することができる。又、領域に属する
ピクセルが１つの場合には、領域の座標Ｘ，Ｙとは、そ
のピクセルの座標Ｘ，Ｙを意味する。
【００３２】上記の発明では、変形したい部分の代表的
な複数の領域を指定して、その領域の座標Ｘ，Ｙを入力
値、その出力値が所望の座標Ｘ’，Ｙ’となるように、
ニューラルネットワークの重み係数を学習させる。この
学習は、変形したい部分で指定された複数の全ての領域
に関して、出力値が所定値に対して一定誤差以下に収束
するまで、繰り返し実行される。
【００３３】次に、このように学習されたニューラルネ
ットワークに、画像を構成する各ピクセルの座標Ｘ，Ｙ
を、順次、入力して、その出力値によりそのピクセルの
補正された座標ｘ，ｙを得る。このように、ニューラル
ネットワークの補間作用により、学習させていない座標
Ｘ，Ｙに対しても、補正された座標ｘ，ｙが得られるこ
とになる。例えば、変形を行いたい部分に属する領域の
学習させた座標Ｘ，Ｙに対しては、補正された座標ｘ，
ｙは所望の教示値Ｘ’，Ｙ’となる。そして、学習させ
ていない領域の座標Ｘ，Ｙに対しては、学習された座標
Ｘ，Ｙに対する補正された座標ｘ，ｙとの対応関係にお
いて、補間された座標ｘ，ｙが得られることになる。
【００３４】このようにして、代表的な座標Ｘ，Ｙに対
する所望のＸ’，Ｙ’をニューラルネットワークに学習
させさえすれば、他の座標Ｘ，Ｙも、その学習の傾向に
沿った値に補正されることになり、画像全体として位置
補正により形状の変形を実行することが可能となる。
【００３５】このように本発明によれば、画像上におい
て、変形したい部分の複数の領域を指定して、その領域
の座標Ｘ，Ｙに対して、所望の座標Ｘ’，Ｙ’が得られ
るように、ニューラルネットワークを学習させるだけで
よいため、オペレータは単に領域指定と所望のＸ’，
Ｙ’の指定だけを行えばよい。従って、画像処理の操作
性が極めて改善される。
【００３６】又、ニューラルネットワークの学習効果に
より、学習させていない座標Ｘ，Ｙに対しても、合理的
な補正された座標ｘ，ｙが得られるため、全ての領域で
学習させる必要がないため、画像処理が簡単となる。
【００３７】尚、上記の発明における画像の代表的な複
数の領域は、１つ又は、複数のピクセルで構成される部
分を意味する。複数のピクセルで構成されている場合に
は、領域の中心点やその他の代表点に位置する１つのピ
クセルの座標Ｘ，Ｙを取得するようにしても良い。さら
に、その領域に属するピクセルの座標Ｘ，Ｙを統計的に
処理して１つの代表値を取得して、その代表値に対して
補正された座標Ｘ’，Ｙ’を教師データとして与えても
良い。代表値には平均値も含まれる。又、領域の輪郭線
上に存在する離散した点の座標Ｘ，Ｙに対して、共通の
補正された座標Ｘ’，Ｙ’を教師データとして与えても
良い。又、領域に属するピクセルが１つの場合には、領
域の座標Ｘ，Ｙとは、そのピクセルの座標Ｘ，Ｙを意味
する。
【００３８】第３の画像処理に関する他の発明の構成
は、画像の各ピクセル毎の座標Ｘ，Ｙに基づいて、画像
を変形させる画像処理装置において、座標Ｘ，Ｙを入力
し、補正された座標ｘ，ｙを出力値とするニューラルネ
ットワークと、画像における代表的な複数の領域を指定
して、その領域の座標Ｘ，Ｙをニューラルネットワーク
に入力する入力手段と、ニューラルネットワークの出力
値が所望の座標Ｘ’，Ｙ’となるように、ニューラルネ
ットワークの学習を複数の領域について実行する学習手
段と、学習させたニューラルネットワークを用いて、画
像の各ピクセル毎の座標Ｘ，Ｙをニューラルネットワー
クに入力して、そのニューラルネットワークの出力値に
よりそのピクセルの補正された座標ｘ，ｙを得ること
で、画像の変形を行う変形手段とから成ることを特徴と
する。
【００３９】上記の画像処理装置を用いることで、処理
方法の発明で説明したように、ニューラルネットワーク
を用いていることから、より簡便に画像の位置補正、即
ち、形状の変形を行うことができる。
【００４０】第３の画像処理に関する他の発明の構成
は、画像の各ピクセル毎の座標Ｘ，Ｙに基づいて、コン
ピュータにより画像を変形させる手順を記録した記録媒
体であって、実行時にコンピュータにより次の一連の手
順が実行されるものであって、座標Ｘ，Ｙを入力し、補
正された座標ｘ，ｙを出力値とするニューラルネットワ
ークの処理手順と、画像における代表的な複数の領域を
指定して、その領域の座標Ｘ，Ｙをニューラルネットワ
ークに入力する手順と、ニューラルネットワークの出力
値が所望の座標Ｘ’，Ｙ’となるように、ニューラルネ
ットワークの学習を複数の領域について実行する手順
と、 学習させたニューラルネットワークを用いて、画
像の各ピクセル毎の座標Ｘ，Ｙをニューラルネットワー
クに入力して、そのニューラルネットワークの出力値に
よりそのピクセルの補正された座標ｘ，ｙを得ること
で、画像の変形を行う手順とのうちの少なくとも１つの
手順を記録した記録媒体である。
【００４１】このようなプログラムを用いることで、上
記した画像処理方法及び画像処理装置が実現でき、上述
した効果を奏する。
【００４２】
【望ましい実施の形態】以下、本発明を具体的な実施例
に基づいて説明する。本発明は、以下の実施例に限定さ
れるものではない。以下、画像から所望の抽出部分を抽
出するための画像処理に関する第１実施例について説明
する。
【００４３】１）画像処理装置の構成 本装置は、図１に示すように、主としてＣＰＵ１、ハー
ドディスク（以下、ＨＤと記す）２、ＲＡＭ３、キーボ
ード（以下、ＫＢと記す）４、表示器であるＣＲＴ６、
ＣＲＴ６の画面上の位置表示とクリック指定を与えるマ
ウス７、ＲＯＭ８とから成るコンピュータシステムで構
成されている。ＨＤ２には、ＣＲＴ６の画面上に表示さ
れる画像のデータを記憶する画像データ領域２１、ニュ
ーラルネットワークの演算プログラムが記憶されたニュ
ーラルネットワーク領域２２、ニューラルネットワーク
を学習させるためのプログラムが記憶された学習プログ
ラム領域２３、画像上の領域をマウスポインタで指定し
て、その領域のＲ，Ｇ，Ｂ値を得ると共に、ＫＢ４によ
り入力された透明度αを入力するプログラムを記憶した
入力プログラム領域２４、ニューラルネットワークを用
いて全画像データの各ピクセルのＲ，Ｇ，Ｂ値から各ピ
クセルの透明度αを得るプログラムを記憶した画像抽出
プログラム領域２５とが形成されている。
【００４４】ＲＡＭ３には、蓄積される指定された各ピ
クセルのＲ，Ｇ，Ｂ値の入力データ及び透明度αの教師
データをそれぞれ記憶する入力データ記憶領域３１及び
教師データ記憶領域３２、ニューラルネットワークの結
合係数を記憶する結合係数領域３３とが形成されてい
る。これらの蓄積された入力データ及び教師データは、
ＨＤ２の所定の領域にも保存されるように構成されてい
る。又、ＨＤ２のニューラルネットワーク領域２２、学
習プログラム領域２３、画像抽出プログラム領域２５に
保存されているプログラムを実行形式プログラムとして
格納するプログラム領域３４、各種のデータを一時的に
記憶する作業領域３５が、ＲＡＭ３に形成されている。
【００４５】ＣＰＵ１には入出力インタフェース５を介
して各種の指令及び透明度αに関する教師データを与え
るためのＫＢ４と、ＨＤ２の領域２１に記憶されている
画像データに基づき画像を表示するＣＲＴ６と、表示さ
れている画像上において複数の領域をポインタで指定す
るマウス７とが接続されている。
【００４６】２）抽出部分と消去部分の指定 次に、ＣＲＴ６上に表示されている画像において、所望
の抽出部分と消去部分の指定方法について説明する。図
２は、所望の抽出部分と消去部分の指定により、その指
定部分に属するピクセルのＲ，Ｇ，Ｂ値と教師データと
しての透明度αを指定するための入力プログラムの処理
手順を示したフローチャートである。
【００４７】ステップ１００において、ＨＤ２の画像デ
ータ領域２１に記憶されている画像データに基づいて、
ＣＲＴ６上に画像が表示される。画像データは図３に示
されているように、画像を構成する各ピクセル毎にピク
セルNo.、画面上の座標Ｘ、座標Ｙ、赤、緑、青に関す
る明度値であるＲ値、Ｇ値、Ｂ値、透明度αから構成さ
れている。本実施例では、画像は全て不透明であるとし
て、全てのピクセルの透明度αは不透明を表す「１」が
与えられている。即ち、不透明な画像において所望の抽
出部分の画像のみを抽出するために、その抽出部分の各
ピクセルの透明度αを不透明の「１」に、残りの消去部
分の各ピクセルの透明度αを、透明の「０」にすること
で、抽出部分と消去部分とを区別することを画像処理の
目的としている。
【００４８】次に、ステップ１０２では、ＫＢ４から抽
出部分の指定か消去部分の指定かの指令値が入力され
る。又、このステップでは、透明度αを０と１の中間値
に設定する場合には、ここで透明度αが入力される。ス
テップ１０４では、ＫＢ４の指定が抽出部分か、消去部
分かが判定され、抽出部分の指定と判定されると、ステ
ップ１０６以下が実行される。
【００４９】ステップ１０６では、マウスクリック入力
の有無が判定され、有りの場合には、ステップ１０８に
おいて、画面上のクリックポントの座標Ｘ，Ｙが入力さ
れ、図３に示す画像データからその座標に対応するピク
セルが決定され、そのピクセルのＲ，Ｇ，Ｂ値が読み込
まれ、入力データ記憶領域３１に記憶される。又、その
ピクセルの透明度αの教師データは、不透明の「１」と
して、教示データ記憶領域３２に記憶される。この値
は、ＫＢ４からの入力により、０≦α≦１の任意の値に
変更することができる。これにより、抽出部分と消去部
分の境界において、透明度αが１より小さい値を教師デ
ータとすることで、より精度の高い学習を実行すること
ができる。
【００５０】一方、ステップ１０４の判定がNOであれ
ば、部分指定は消去部分の指定であるので、ステップ１
１０でマウスクリックの有無が判定され、クリックが有
る場合には、ステップ１１２において、ステップ１０８
と同様な処理が実行される。即ち、画面上のクリックポ
ントの座標Ｘ，Ｙが入力され、図３に示す画像データか
らその座標に対応するピクセルが決定され、そのピクセ
ルのＲ，Ｇ，Ｂ値が読み込まれ、入力データ記憶領域３
１に記憶される。又、そのピクセルの透明度αの教師デ
ータは、透明の「０」として、教示データ記憶領域３２
に記憶される。この値は、ＫＢ４からの入力により、０
≦α≦１の任意の値に変更することができる。これによ
り、抽出部分と消去部分の境界において、透明度αが１
より小さい値を教師データとすることで、より精度の高
い学習を実行することができる。
【００５１】ステップ１０８でＲ，Ｇ，Ｂ値の入力と、
透明度αの設定が完了すると、ステップ１１４におい
て、ＫＢ４からの入力の有無が判定され、入力がある
と、ステップ１０２へ戻る。即ち、マウスクリックして
指定する部分を、抽出部分と消去部分で変更する場合に
は、この入力があることになる。又、透明度αを変更す
る場合も、ステップ１０２に戻り、ここでＫＢ４からの
入力値が読み込まれ、領域指定した点における透明度α
を任意に設定することができる。ＫＢ入力がなければ、
同一の抽出部分での領域指定が連続して実行されるため
に、ステップ１０６に戻る。ステップ１１６も同様であ
り、消去部分の領域指定が連続して行われる場合には、
ステップ１１０に戻り、部分の指定が変更される場合に
は、ステップ１０２に戻る。
【００５２】以上のプログラムによる実行により、図４
に示すような画像における抽出部分Ａに属する複数の領
域ａ１〜ａ９の中心ピクセルのＲ，Ｇ，Ｂ値と、消去部
分Ｂに属する複数の領域ｂ１〜ｂ６の中心ピクセルＲ，
Ｇ，Ｂ値と、それらのピクセルの透明度αの教師データ
とから成る学習データが図５に示すように得られる。
Ｒ，Ｇ，Ｂ値はＲＡＭ３の入力データ記憶領域３１に記
憶され、透明度αの教師データは教師データ記憶領域３
２に記憶される。尚、領域ａ７、ａ８、ａ９は境界領域
であり、透明度αも、０．８，０．５，０．３のように
中間値が教師データとして設定される。このように、境
界領域の透明度を与えることで、より精密なニューラル
ネットワークの学習が可能となる。以上のようにして、
抽出部分と消去部分とに属する複数の領域を指定するこ
とができる。尚、上記実施例では、領域ａ１〜ａ９、ｂ
１〜ｂ６の中心ピクセルのＲ，Ｇ，Ｂ値を得るようにし
ているが、この領域に属する全てのピクセルのＲ，Ｇ，
Ｂ値を一度に得て、同一の透明度αを教師データとして
与えても良い。複数のピクセルを同時に指定できること
から、学習データの取得が極めて効率的となる。さら
に、領域に属する全てのピクセルのうちで、色相におい
て端点となっている（その領域において色相が最も離れ
た数点）ピクセルのＲ，Ｇ，Ｂ値を取得して、それらの
値に対して同一の透明度αを与えることで学習データを
形成しても良い。その他、その領域に属するピクセルの
Ｒ，Ｇ，Ｂ値を統計的に処理して１つの代表値を取得し
て、その代表値に対して透明度αを与えることで学習デ
ータを形成しても良い。尚、代表値には平均値も含まれ
る。又、領域に属するピクセルが１つの場合には、領域
のＲ，Ｇ，Ｂ値とは、そのピクセルのＲ，Ｇ，Ｂ値を意
味する。消去部分における代表的な複数の領域について
も同様である。
【００５３】これらの学習データは、一意的に定義され
なければならない。矛盾したデータが蓄積される場合も
ある。そこで、次のようにして、矛盾するデータを自動
的に選別して削除することができる。Ｒ，Ｇ，Ｂ値を３
次元座標と見なす。任意の２つのデータに対して、ユー
クリッド距離を算出する。この距離がしいき値以下に小
さいにもかかわらず、対応する２つの教師データのユー
クリッド距離がしきい値以上に大きい場合には、２つの
学習データの組は、矛盾していると判定することができ
る。このような学習データの組を表形式で表示して、オ
ペレータを介在させることで、不適性な学習データを排
除することができる。
【００５４】次に、このようにして得られた学習データ
を用いて、ニューラルネットワークを学習させるが、ま
ず、ニューラルネットワークの構成について次に説明す
る。 ３）ニューラルネットワークの構成 本実施例のニューラルネットワーク１０は、図６に示す
ように、入力層ＬI と出力層ＬO と中間層ＬM の３層構
造に構成されている。入力層ＬI はＲ，Ｇ，Ｂ値に対応
して３個の入力素子を有し、出力層ＬO は透明度αに対
応して１個の出力素子を有し、中間層ＬM はｆ個の出力
素子を有している。
【００５５】多層構造のニューラルネットワークは、一
般的に、次の演算を行う装置として定義される。第i 層
の第j 番目の素子の出力Oi j は、次式で演算される。但
し、i ≧2 である。
【００５６】
【数１】 Oi j =f(Ii j) （１）
【数２】
【数３】 f(x)=1/｛1+exp(-x)｝ （３）
【００５７】但し、Vi j は第i 層の第j 番目の演算素子
のバイアス、Wi-1 k, i jは、第i-1 層の第k 番目の素子と
第i 層の第j 番目の素子間の結合係数、O1 j は第1 層の
第j番目の素子の出力値を表す。即ち、第1 層であるか
ら演算を行うことなく、そのまま入力を出力するので、
入力層（第１層）の第j 番目の素子の入力値でもある。
【００５８】次に、図６に示す３層構造のニューラルネ
ットワーク１０の具体的な演算手順について図７を参照
して説明する。ステップ２００において、中間層（第２
層）の第j 番目の素子は、入力層（第１層）の各素子か
らの出力値O1 j （第１層の入力データ）を入力して、
（２）式を層番号と第１層の素子数を用いて具体化した
次式の積和演算を行なう。
【数４】
【００５９】次に、ステップ２０２において、次式によ
り、（４）式の入力値の積和関数値のシグモイド関数に
より、中間層（第２層）の各素子の出力が演算される。
第２層の第j 番目の素子の出力値は次式で演算される。
【００６０】
【数５】 O2 j=f(I2 j )=1/｛1+exp(-I2 j) ｝ （５） この出力値 O2 j は出力層（第３層）の各素子の入力値
となる。次に、ステップ２０４において、出力層（第３
層）の各素子の入力値の積和演算が実行される。
【００６１】
【数６】 次に、ステップ２０６において、（５）式と同様に、シ
グモイド関数により、出力層の各素子の出力値O3 jが演
算される。
【００６２】
【数７】 O3 j=f(I3 j)=1/｛1+exp(-I3 j)｝ （７）
【００６３】ニューラルネットワークは上記のようにし
て、各ピクセルのＲ，Ｇ，Ｂ値を入力して、そのピクセ
ルの透明度αを出力するように構成されている。
【００６４】次に、上記のニューラルネットワークの学
習方法について説明する。 ４）ニューラルネットワークの学習 このニューラルネットワークは、図５のように得られた
Ｒ，Ｇ，Ｂ値と、その値に対応する透明度αの教師デー
タを用いて、図８に示す手順で学習される。結合係数は
良く知られたバックプロパーゲーション法により実行さ
れる。この学習は、各種の事象に関する多数の入力デー
タに対して、それぞれの出力が、それぞれの最適な教師
データとなるように、繰り返し実行される。
【００６５】図８のステップ３００において、次式によ
り出力層の各素子の学習信号が演算される。
【数８】 Y3 j=(Tj-δj)・f'(I3 j) （８） 但し、Tj は任意の出力δjに対する教師データであり、
外部から付与される。又、f'(x) はジグモイド関数の導
関数である。
【００６６】次に、ステップ３０２において、中間層の
学習データY が次式で演算される。
【数９】
【００６７】
次に、ステップ３０４において、出力層
の各結合係数が補正される。補正量は次式で求められ
る。
【数１０】 Δω2 i, 3 j(t)=P・Y3 j・f(I2 i)+Q・Δω2 i, 3 j(t-1) （１０） 但し、Δω2 i, 3 j(t) は、出力層の第j 番目の素子と中
間層の第i 番目の素子との間の結合係数の第t 回目演算
の変化量である。又、Δω2 i, 3 j(t-1) は、その結合係
数の前回の補正量である。P,Q は比例定数である。尚、
P が大きい程、結合係数の補正量が大きいので、学習感
度、あるいは学習速度( 収束速度) が大きくなるが、振
動する可能性が生じ易くなる。又、Q が大きい程、前回
の補正量が反映されるので、結合係数の変化の安定性が
高くなり、結果として収束は速くなる。
【００６８】補正された結合係数は、上記の補正量を用
いて、
【数１１】 W2 i, 3 j+Δω2 i, 3 j(t) →W2 i, 3 j （１１） により、求められる。次に、ステップ３０６へ移行し
て、中間層の各素の結合係数が補正される。その結合係
数の補正量は出力層の場合と同様に、次式で求められ
る。
【００６９】
【数１２】 Δω1 i, 2 j(t)=P・Y2 j・f(I1 i)+Q・Δω1 i, 2 j(t-1) （１２） よって、結合係数は、
【数１３】 W1 i, 2 j + Δω1 i, 2 j(t) →W1 i, 2 j （１３） により、補正された結合係数が求められる。
【００７０】次に、ステップ３０８において、学習対象
の全ての入力データに対して１回の学習が完了したか否
が判定される。全ての入力データに対する学習が終了し
ていない場合には、ステップ３１０へ移行して、次の入
力データとその入力データに対応する教師データが学習
対象データとして設定される。そして、ステップ３００
に戻り、次の入力データに関する学習が実行される。こ
のようにして、全入力データに関して１回の学習が完了
すると、ステップ３０８の判定結果がYES となり、ステ
ップ３１２へ移行する。
【００７１】ステップ３１２では、ニューラルネットワ
ークの出力値と教師データの差( 誤差) が十分に小さく
なったか否かが判定される。誤差が十分に小さくなって
いなければ、ステップ３１４に移行して、全入力データ
に関する第２回目の学習を実行するために、最初の入力
データとそれに対応する教師データとが学習対象データ
として設定される。そして、ステップ３００に戻り、上
記した学習演算が繰り返し実行される。このようにし
て、ステップ３１２において、誤差が所定の値以下とな
るまで、上記の学習演算が繰り返し実行される。この結
果、初期の広範囲の事象に関して初期学習されたニュー
ラルネットワークが完成される。
【００７２】以上のようにして、抽出されたＲ，Ｇ，Ｂ
値と透明度αとの対応関係がニューラルネットワークに
おいて学習される。そして、学習されたニューラルネッ
トワークを用いて、画像データ領域２１に記憶されてい
る全ピクセルのＲ，Ｇ，Ｂ値が、順次、ニューラルネッ
トワークに入力され、順次、透明度αを出力させて、図
３に示すように、画像データのピクセルに対応して全ピ
クセルの透明度αが得られる。このようにして、図１０
の抽出部分Ａにおいて領域指定していない領域であって
も、透明度αは不透明である「１」に近い値が得られ、
消去部分Ｂにおいて領域指定していない領域であって
も、透明度αは透明である「０」に近い値が得られる。
そして、抽出部分Ａと消去部分Ｂとの境界部分では、透
明度αは「１」と「０」との中間値となり、透明度が徐
々に変化することになる。
【００７３】このようにして得られた透明度αを有する
画像と、別の背景画像とを透明度αを考慮して合成すれ
ば、図１０における抽出部分Ａが背景画像上に載せられ
た画像となる。抽出部分Ａのピクセルの透明度αは
「１」で不透明であるので、下層の背景画像が見えず、
消去部分Ｂのピクセルの透明度αは「０」で透明である
ので、この部分は下層の背景が表示されることになる。
このようにして、図１０の画像から抽出部分Ａのみを抽
出して、他の背景画像上に合成させることができる。
尚、透明度αに関してしきい値を設ければ、図１０に示
す画像から抽出部分Ａの画像のみを抽出するこも可能で
ある。
【００７４】尚、上記の処理手順の全体のフローチャー
トは図９に示す通りである。ステップ４００において、
画像上において抽出部分と消去部分とにおいて、複数の
領域を指定して、Ｒ，Ｇ，Ｂ値の入力と、それに対応す
る透明度αの教師データの入力とが実行されて学習デー
タが生成される。次に、ステップ４０２において、それ
らのデータを用いてニューラルネットワークの学習が実
行される。次に、ステップ４０４において、画像の全ピ
クセルのＲ，Ｇ，Ｂ値をニューラルネットワークに入力
して、ニューラルネットワークの出力値をそのピクセル
の透明度αとする。このようにして、画像の全てのピク
セルに関して、透明度αが出力される。
【００７５】尚、上記実施例では、複数の領域を指定し
て学習データを蓄積する処理と、学習する処理とを分け
て実行している。しかし、領域指定されて１つの学習デ
ータが蓄積される毎に、過去の学習データと合わせてニ
ューラルネットワークを逐次学習させるようにしても良
い。尚、請求項における入力手段及び入力手順は、上記
実施例では、領域指定を行って、各ピクセルのＲ，Ｇ，
Ｂ値を入力する図２の各ステップ、図９のステップ４０
０、及び、図８のステップ３０２で構成されている。
又、請求項の学習手段及び学習手順は、図８の各ステッ
プ、図９のステップ４０２で構成されている。又、請求
項の抽出手段及び抽出手順は図７の各ステップ、図９の
ステップ４０４で構成されている。又、ニューラルネッ
トワーク及びその処理手順は図６及び図７の各ステップ
で構成されている。
【００７６】次に、関連発明に関する第２実施例につい
て説明する。本実施例は、第２の処理である色補正にの
画像処理に関するものである。装置構成は、図１に示す
ものと同一である。図１のＨＤ２の画像抽出プログラム
領域２５に代えて、色補正プログラム領域が形成されて
いる。
【００７７】ニューラルネットワークを学習させるため
の、入力データと教師データの取り込み手順は、図１１
に示す手順により実行される。ステップ５００におい
て、ＨＤ２の画像データ領域２１に記憶されている画像
データに基づいて、ＣＲＴ６上に画像が表示される。画
像は図１２に示すように色表示される。画像データは、
第１実施例で説明したように、図３に示すように、画像
を構成する各ピクセル毎にピクセルNo.、画面上の座標
Ｘ、座標Ｙ、赤、緑、青に関する明度値であるＲ値、Ｇ
値、Ｂ値、透明度αから構成されている。本実施例で
は、画像は全て不透明であるとして、全てのピクセルの
透明度αは不透明を表す「１」が与えられている。
【００７８】次に、図１２で示される画像上において、
色補正したい色を選択するために、複数の領域ｃ１、ｃ
２…等において、オペレータがマウスクリックを行う
が、ステップ５０２では、このマウスクリックの有無が
判定される。マウスクリック有りと判定されると、ステ
ップ５０４において、画面上のクリックポントの座標
Ｘ，Ｙが入力され、図３に示す画像データからその座標
に対応するピクセルが決定され、そのピクセルのＲ，
Ｇ，Ｂ値が読み込まれ、入力データ記憶領域３１に記憶
される。尚、画像において、一部の領域の拡大表示は可
能になっており、領域ｃ１、ｃ２…によるピクセルの選
択が容易なように構成されている。
【００７９】次に、ステップ５０６において、補正後の
色のＲ’，Ｇ’，Ｂ’値、即ち、教師データＲ’，
Ｇ’，Ｂ’値を指定するするために、ＣＲＴ６の全画面
又は分割画面において、色見本が表示される。この色見
本は、粗い色見本から細かい色見本まで階層的に構成さ
れており、十分に高い分解能の色見本が選択的に、順
次、詳細に表示されるように構成されている。即ち、各
色見本とＲ，Ｇ，Ｂ値との対応関係が表形式でＨＤ２の
所定領域に記憶されている。図１３は、その１つの階層
の色見本である。この画面上の色見本において、マウス
クリックの有無がステップ５０８において判定される。
クリック有りの場合には、その色見本が指定されたと判
定され、上記の表からその色見本に対応するＲ，Ｇ，Ｂ
値が読み出され、ステップ５１０において、その色見本
を発生させているＲ，Ｇ，Ｂ値が補正すべき教師データ
のＲ’，Ｇ’，Ｂ’値として、ＲＡＭ３の教師データ記
憶領域３２に記憶される。又、ステップ５０６の色見本
の他に、現に表示されている画像に現われている色の領
域をクリックして、教師データを得るようにも構成され
ている。これは、画像において抽出部分を抽出した時に
その輪郭において消去部分が一部切り取られる場合があ
るが、この部分の色を抽出画像の対応部分の色に補正す
るような場合に、特に、有効である。
【００８０】ステップ５０８において、マウスクリック
が検出されない場合には、ステップ５１２に移行して、
ＫＢ入力の有無が判定され、入力有りの場合には、ステ
ップ５１４において、ＫＢ４による数値入力により、教
師データのＲ’，Ｇ’，Ｂ’値が入力される。この値
は、同様に、指定される補正前のＲ，Ｇ，Ｂ値に対応し
て、教師データ記憶領域３２に記憶される。
【００８１】このようにして、図１２に示す画像におい
て、色補正を希望する領域を指定すると共に、補正後の
色を図１３の色見本で指定、又は、画像上の所定の色の
領域を指定、又は、ＫＢから数値入力することで、補正
前のＲ，Ｇ，Ｂ値と、対応する教師データＲ’，Ｇ’，
Ｂ’値との対応組が多数からなる学習データが作成さ
れ、所定領域に記憶される。
【００８２】これらの学習データは、一意的に定義され
なければならない。矛盾したデータが蓄積される場合も
ある。そこで、次のようにして、矛盾するデータを自動
的に選別して削除することができる。Ｒ，Ｇ，Ｂ値を３
次元座標と見なす。任意の２つのデータに対して、ユー
クリッド距離を算出する。この距離がしいき値以下に小
さいにもかかわらず、対応する２つの教師データのユー
クリッド距離がしきい値以上に大きい場合には、２つの
学習データの組は、矛盾していると判定することができ
る。このような学習データの組を表形式で表示して、オ
ペレータを介在させることで、不適性を学習データを排
除することができる。
【００８３】このようにして得られる学習データに関し
て、ニューラルネットワークを学習させる方法は、第１
実施例と同一であるので、その説明を省略する。本実施
例のニューラルネットワーク２０は、図１４に示す構成
である。即ち、ニューラルネットワーク２０は、図１４
に示すように、入力層ＬI と出力層ＬOと中間層ＬM の
３層構造に構成されている。入力層ＬI はＲ，Ｇ，Ｂ値
に対応して３個の入力素子を有し、出力層ＬO は補正さ
れたｒ，ｇ，ｂ値に対応して３個の出力素子を有し、中
間層ＬM はｆ個の出力素子を有している。
【００８４】次に、ＨＤ２の画像データ領域２１に記憶
されている図３に示すような画像の各ピクセルのＲ，
Ｇ，Ｂ値を、順次、学習が完了したニューラルネットワ
ークに入力して、そのニューラルネットワークから順
次、補正されたｒ，ｇ，ｂ値を出力する。図３に示すよ
うな各ピクセルの座標Ｘ，Ｙと、そのピクセルの補正さ
れたｒ，ｇ，ｂ値との対応表がＨＤ２の所定の領域に記
憶される。この補正された画像データに基づいて、ＣＲ
Ｔ６上に画像を表示することにより、色補正された画像
を得ることができる。このように、代表的な色だけを抽
出して、色補正をすれば、抽出していない色に関して
も、ニューラルネットワークの特性により、それらの相
関関係に基づいて、補間された補正色が得られる。従っ
て、色補正に関する解析的な原理や手法を習得していな
くとも、オペレータは補正すべき色と、補正色とを代表
的に指定するだけで、画像全体について色補正を行うこ
とが可能となる。
【００８５】尚、上記の処理手順の全体のフローチャー
トは図１５に示す通りである。ステップ６００におい
て、画像上において補正したい色の領域を指定して、
Ｒ，Ｇ，Ｂ値を取得すると共に、補正された色のＲ’，
Ｇ’，Ｂ’値を教師データとして記憶する。このように
して、多数の色と補正色との関係を示す学習データを集
積する。次に、ステップ６０２において、それらのデー
タを用いてニューラルネットワークの学習が実行され
る。次に、ステップ６０４において、画像の全ピクセル
のＲ，Ｇ，Ｂ値をニューラルネットワークに、順次、入
力して、ニューラルネットワークの出力値をそのピクセ
ルの補正されたｒ，ｇ，ｂ値とする。
【００８６】尚、上記実施例では、複数の領域を指定し
て学習データを蓄積する処理と、学習する処理とを分け
て実行している。しかし、領域指定されて１つの学習デ
ータが蓄積される毎に、過去の学習データと合わせてニ
ューラルネットワークを逐次学習させるようにしても良
い。尚、請求項における入力手段及び入力手順は、上記
実施例では、領域指定を行って、各ピクセルのＲ，Ｇ，
Ｂ値を入力する図１１の各ステップ、図１５のステップ
６００、及び、図８のステップ３０２で構成されてい
る。又、請求項の学習手段及び学習手順は、図８の各ス
テップ、図１５のステップ６０２で構成されている。
又、請求項の色補正手段及び色補正手順は図７の各ステ
ップ、図１５のステップ６０４で構成されている。又、
ニューラルネットワーク及びその処理手順は図６及び図
７の各ステップで構成されている。
【００８７】次に、関連発明に関する第３実施例につい
て説明する。本実施例は、第３の処理である位置補正、
即ち、形状補正に関するものである。例えば、広角レン
ズで撮像した画像等において生じる歪みを補正すること
に適用できる。装置構成は、図１に示すものと同一であ
る。図１のＨＤ２の画像抽出プログラム領域２５に代え
て、位置補正プログラム領域が形成されている。
【００８８】ニューラルネットワークを学習させるため
の、入力データと教師データの取り込み手順は、図１６
に示す手順により実行される。ステップ７００におい
て、ＨＤ２の画像データ領域２１に記憶されている画像
データに基づいて、ＣＲＴ６上に画像が表示される。画
像は図１７に示すように表示される。画像データは、第
１実施例で説明したように、図３に示すように、画像を
構成する各ピクセル毎にピクセルNo.、画面上の座標
Ｘ、座標Ｙ、赤、緑、青に関する明度値であるＲ値、Ｇ
値、Ｂ値、透明度αから構成されている。本実施例で
は、画像は全て不透明であるとして、全てのピクセルの
透明度αは不透明を表す「１」が与えられている。
【００８９】次に、図１７で示される画像上において、
オペレータが変形したい位置を指定するために、複数の
領域ｄ１、ｄ２…においてマウスクリックするが、ステ
ップ７０２では、このマウスクリックの有無が判定され
る。マウスクリック有りと判定されると、ステップ７０
４において、画面上のクリックポント、即ち、各領域の
中心点の座標Ｘ，Ｙが入力され、図３に示す画像データ
からその座標に対応するピクセルが決定され、そのピク
セルの座標Ｘ，Ｙが読み込まれ、入力データ記憶領域３
１に記憶される。尚、画像を部分的に任意に拡大できる
ように構成されており、領域の中心のピクセルの指定が
容易なように構成されている。
【００９０】次に、ステップ７０６において、ステップ
７０２で指定された１点に対応する補正後の位置Ｘ’，
Ｙ’を指定するするために、ＣＲＴ６の同一画面上また
は、分割画面上において、移動すべき位置をマウスクリ
ックで指定する。例えば、図１７に示すように、画像上
において、指定された位置ｄ１に対して、その移動後の
位置ｅ１が指定される。このように移動後の位置がマウ
スクリックで指定されると、ステップ７０８において、
そのクリックポイントの座標Ｘ’，Ｙ’が位置ｄ１の補
正後の座標の教師データとして、ＲＡＭ３の教師データ
記憶領域３２に記憶される。
【００９１】ステップ７０６において、マウスクリック
が検出されない場合には、ステップ７１０に移行して、
ＫＢ入力の有無が判定され、入力有りの場合には、ステ
ップ７１２において、ＫＢ４による数値入力により、教
師データとしての補正後の座標Ｘ’，Ｙ’が入力され
る。この値は、同様に、指定された位置ｄ１の座標Ｘ，
Ｙに対応して、教師データ記憶領域３２に記憶される。
【００９２】このようにして、図１７に示す画像におい
て、位置補正を希望する領域を指定すると共に、補正後
の位置を指定するという操作を交互に繰り返すことで、
補正前の位置の座標Ｘ，Ｙと、対応する教師データ
Ｘ’，Ｙ’との対応組が多数から成る学習データが作成
され、所定領域に記憶される。
【００９３】これらの学習データは、一意的に定義され
なければならない。矛盾したデータが蓄積される場合も
ある。そこで、次のようにして、矛盾するデータを自動
的に選別して削除することができる。補正前の位置の座
標Ｘ，Ｙに関して、任意の２つのデータに対して、ユー
クリッド距離を算出する。この距離がしいき値以下に小
さいにもかかわらず、対応する２つの教師データ（補正
後の座標Ｘ’，Ｙ’）のユークリッド距離がしきい値以
上に大きい場合には、２つの学習データの組は、矛盾し
ていると判定することができる。このような学習データ
の組を表形式で表示して、オペレータを介在させること
で、不適性を学習データを排除することができる。
【００９４】このようにして得られる学習データに関し
て、ニューラルネットワークを学習させる方法は、第１
実施例と同一であるので、その説明を省略する。本実施
例のニューラルネットワーク３０は、図１９に示す構成
である。即ち、ニューラルネットワーク３０は、図１９
に示すように、入力層ＬI と出力層ＬOと中間層ＬM の
３層構造に構成されている。入力層ＬI は座標Ｘ，Ｙに
対応して２個の入力素子を有し、出力層ＬO は補正され
た座標ｘ，ｙに対応して２個の出力素子を有し、中間層
ＬM はｆ個の出力素子を有している。
【００９５】次に、ＨＤ２の画像データ領域２１に記憶
されている図３に示すような画像の各ピクセルの座標
Ｘ，Ｙを、順次、学習が完了したニューラルネットワー
クに入力して、そのニューラルネットワークから順次、
補正された座標ｘ，ｙを出力する。図３に示すような各
ピクセルの座標Ｘ，Ｙと、そのピクセルの補正された座
標ｘ，ｙとの対応表がＨＤ２の所定の領域に記憶され
る。この補正された画像データに基づいて、ＣＲＴ６上
に画像を表示することにより、位置補正された従って形
状変形された画像を得ることができる。例えば、図１７
におけるｄ１〜ｄ４を、それぞれ、ｅ１〜ｅ４に位置補
正して、ニューラルネットワークを学習させることで、
全画像は、図１８に示すように変形されたものとなる。
【００９６】このように、代表的な位置だけを抽出し
て、位置補正をすれば、抽出していない位置に関して
も、ニューラルネットワークの特性により、それらの相
関関係に基づいて、補間された補正位置が得られる。従
って、位置補正に関する解析的な原理や手法を習得して
いなくとも、オペレータは補正すべき位置と、補正後の
位置とを代表的に指定するだけで、画像全体について位
置補正を行うことが可能となる。又、オペレータは変形
後の形状を離散点で指定するのであるから、形状の変形
がある程度予測できるため、使用性の高いものとなる。
【００９７】尚、上記の処理手順の全体のフローチャー
トは図２０に示す通りである。ステップ８００におい
て、画像上において補正したい位置の領域を指定して、
座標Ｘ，Ｙを取得すると共に、補正された位置の座標
Ｘ’，Ｙ’を教師データとして記憶する。このようにし
て、多数の位置と補正位置との関係の学習データを集積
する。次に、ステップ８０２において、それらのデータ
を用いてニューラルネットワークの学習が実行される。
次に、ステップ８０４において、画像の全ピクセルの座
標Ｘ，Ｙをニューラルネットワークに、順次、入力し
て、ニューラルネットワークの出力値をそのピクセルの
補正された座標ｘ，ｙとする。
【００９８】尚、上記実施例では、複数の領域を指定し
て学習データを蓄積する処理と、学習する処理とを分け
て実行している。しかし、領域指定されて１つの学習デ
ータが蓄積される毎に、過去の学習データと合わせてニ
ューラルネットワークを逐次学習させるようにしても良
い。尚、請求項における入力手段及び入力手順は、上記
実施例では、領域指定を行って、各ピクセルの座標Ｘ，
Ｙを入力する図１６の各ステップ、図２０のステップ８
００、及び、図８のステップ３０２で構成されている。
又、請求項の学習手段及び学習手順は、図８の各ステッ
プ、図２０のステップ８０２で構成されている。又、請
求項の変形手段及び変形手順は図７の各ステップ、図２
０のステップ８０４で構成されている。又、ニューラル
ネットワーク及びその処理手順は図６及び図７の各ステ
ップで構成されている。
【００９９】尚、上記では、第１実施例、第２実施例、
第３実施例と、別々に説明したが、それらの任意の組み
合わせを有する装置であっても良いのは当然である。
又、上記実施例において、ＨＤ２は記録媒体の一種であ
るが、これらの上述したプログラムは、ＦＤ、ＣＤ−Ｒ
ＯＭ等の可搬媒体であっても良い。又、インターネット
上でプログラムを供給する場合には、供給元のサーバコ
ンピュータのハードディスク等も記録媒体となる。
【図面の簡単な説明】
【図１】本発明の具体的な第１実施例に係る装置の構成
を示したブッロク図。
【図２】同実施例装置における領域指定を行い学習デー
タを蓄積する手順を示したフローチャート。
【図３】画像データの構成を示した構成図。
【図４】抽出部分と消去部分における複数の領域を指定
する方法を示した説明図。
【図５】領域指定されたピクセルのＲ，Ｇ，Ｂ値と教師
データとしての透明度αとの対応関係を示す学習データ
の構成図。
【図６】同実施例に係るニューラルネットワークの構成
を示した構成図。
【図７】同実施例に係るニューラルネットワークの演算
手順を示したフローチャート。
【図８】同実施例に係るニューラルネットワークの学習
手順を示したフローチャート。
【図９】同実施例装置の全体の演算手順を示したフロー
チャート。
【図１０】抽出部分の透明度αを不透明である値とし、
消去部分の透明度αを透明である値とした補正画像の説
明図。
【図１１】第２実施例装置における領域指定を行い学習
データを得る方法を示したフローチャート。
【図１２】同実施例において領域指定の方法を説明した
説明図。
【図１３】同実施例において教師データとしてのＲ，
Ｇ，Ｂ値を指定する方法を示した説明図。
【図１４】同実施例に係るニューラルネットワークの構
成を示した構成図。
【図１５】同実施例装置の全体の演算手順を示したフロ
ーチャート。
【図１６】第３実施例装置における領域指定を行い学習
データを得る方法を示したフローチャート。
【図１７】同実施例において領域指定と教師データに対
応する補正位置の領域指定の方法を説明した説明図。
【図１８】ニューラルネットワークにより位置補正され
た画像を示した説明図。
【図１９】同実施例に係るニューラルネットワークの構
成を示した構成図。
【図２０】同実施例装置の全体の演算手順を示したフロ
ーチャート。
【符号の説明】 １０…ニューラルネットワーク ＬI …入力層 ＬM …中間層 Ｌo …出力層

Claims (9)

    【特許請求の範囲】
  1. 【請求項１】 画像の各ピクセル毎にＲ，Ｇ，Ｂ値が与
    えられた画像の処理方法において、 前記画像において抽出すべき所望の抽出部分と抽出しな
    い消去部分とにおいて、前記抽出部分の代表的な複数の
    領域を指定して、その領域のＲ，Ｇ，Ｂ値をニューラル
    ネットワークに入力し、ニューラルネットワークの出力
    値の透明度αが不透明を表す値となるように、且つ、前
    記消去部分の代表的な複数の領域を指定して、その領域
    のＲ，Ｇ，Ｂ値を前記ニューラルネットワークに入力
    し、前記ニューラルネットワークの出力値の透明度αが
    透明を表す値となるように、前記ニューラルネットワー
    クの学習を前記複数の領域について実行し、 学習させたニューラルネットワークを用いて、前記画像
    の各ピクセル毎のＲ，Ｇ，Ｂ値をニューラルネットワー
    クに入力して、そのニューラルネットワークの出力値に
    よりそのピクセルの透明度αを決定することにより、画
    像において、所望の抽出部分を抽出することを特徴とす
    る画像処理方法。
  2. 【請求項２】 画像の各ピクセル毎にＲ，Ｇ，Ｂ値が与
    えられた画像の処理方法において、 前記画像において色補正したい部分の代表的な複数の領
    域を指定して、その領域のＲ，Ｇ，Ｂ値をニューラルネ
    ットワークに入力し、ニューラルネットワークの出力値
    が所望のＲ’，Ｇ’，Ｂ’値となるように、前記ニュー
    ラルネットワークの学習を前記複数の領域について実行
    し、 学習させたニューラルネットワークを用いて、前記画像
    の各ピクセル毎のＲ，Ｇ，Ｂ値をニューラルネットワー
    クに入力して、そのニューラルネットワークの出力値に
    よりそのピクセルの補正されたｒ，ｇ，ｂ値を得ること
    で、画像における色補正を行うことを特徴とする画像処
    理方法。
  3. 【請求項３】 画像の各ピクセル毎の座標Ｘ，Ｙに基づ
    いて、画像を変形させる画像処理方法において、 前記画像における代表的な複数の領域を指定して、その
    領域の座標Ｘ，Ｙをニューラルネットワークに入力し、
    ニューラルネットワークの出力値が所望の座標Ｘ’，
    Ｙ’となるように、前記ニューラルネットワークの学習
    を前記複数の領域について実行し、 学習させたニューラルネットワークを用いて、前記画像
    の各ピクセル毎の座標Ｘ，Ｙをニューラルネットワーク
    に入力して、そのニューラルネットワークの出力値によ
    りそのピクセルの補正された座標ｘ，ｙを得ることで、
    画像の変形を行うことを特徴とする画像処理方法。
  4. 【請求項４】 画像の各ピクセル毎にＲ，Ｇ，Ｂ値が与
    えられた画像の処理装置において、 Ｒ，Ｇ，Ｂ値を入力し、透明度αを出力値とするニュー
    ラルネットワークと、 前記画像において抽出すべき所望の抽出部分と抽出しな
    い消去部分とにおいて、前記抽出部分の代表的な複数の
    領域を指定して、その領域のＲ，Ｇ，Ｂ値、及び、前記
    消去部分の代表的な複数の領域を指定して、その領域の
    Ｒ，Ｇ，Ｂ値を、前記ニューラルネットワークに入力す
    る入力手段と、 抽出部分の領域のＲ，Ｇ，Ｂ値の入力に対して、前記ニ
    ューラルネットワークの出力値の透明度αが不透明を表
    す値となるように、且つ、前記消去部分の領域のＲ，
    Ｇ，Ｂ値の入力に対して、前記ニューラルネットワーク
    の出力値の透明度αが透明を表す値となるように、前記
    ニューラルネットワークの学習を前記複数の領域につい
    て実行する学習手段と、 学習させたニューラルネットワークを用いて、前記画像
    の各ピクセル毎のＲ，Ｇ，Ｂ値を前記ニューラルネット
    ワークに入力して、そのニューラルネットワークの出力
    によりそのピクセルの透明度αを決定することにより、
    画像において、所望の抽出部分を抽出する抽出手段とか
    ら成ることを特徴とする画像処理装置。
  5. 【請求項５】 画像の各ピクセル毎にＲ，Ｇ，Ｂ値が与
    えられた画像の処理装置において、 Ｒ，Ｇ，Ｂ値を入力し、補正されたｒ，ｇ，ｂ値を出力
    値とするニューラルネットワークと、 前記画像において色補正したい部分の代表的な複数の領
    域を指定して、その領域のＲ，Ｇ，Ｂ値を前記ニューラ
    ルネットワークに入力する入力手段と、 前記ニューラルネットワークの出力値が所望のＲ’，
    Ｇ’，Ｂ’値となるように、前記ニューラルネットワー
    クの学習を前記複数の領域について実行する学習手段
    と、 学習させたニューラルネットワークを用いて、前記画像
    の各ピクセル毎のＲ，Ｇ，Ｂ値をニューラルネットワー
    クに入力して、そのニューラルネットワークの出力によ
    りそのピクセルの補正されたｒ，ｇ，ｂ値を得ること
    で、画像における色補正を行う色補正手段とから成るこ
    とを特徴とする画像処理装置。
  6. 【請求項６】 画像の各ピクセル毎の座標Ｘ，Ｙに基づ
    いて、画像を変形させる画像処理装置において、 座標Ｘ，Ｙを入力し、補正された座標ｘ，ｙを出力値と
    するニューラルネットワークと、 前記画像における代表的な複数の領域を指定して、その
    領域の座標Ｘ，Ｙをニューラルネットワークに入力する
    入力手段と、 前記ニューラルネットワークの出力値が所望の座標
    Ｘ’，Ｙ’となるように、前記ニューラルネットワーク
    の学習を前記複数の領域について実行する学習手段と、 学習させたニューラルネットワークを用いて、前記画像
    の各ピクセル毎の座標Ｘ，Ｙを前記ニューラルネットワ
    ークに入力して、そのニューラルネットワークの出力値
    によりそのピクセルの補正された座標ｘ，ｙを得ること
    で、画像の変形を行う変形手段とから成ることを特徴と
    する画像処理装置。
  7. 【請求項７】 画像の各ピクセル毎にＲ，Ｇ，Ｂ値が与
    えられた画像のコンピュータによる処理手順を記憶した
    記録媒体であって、実行時にコンピュータにより次の一
    連の手順が実行されるものであって、 Ｒ，Ｇ，Ｂ値を入力し、透明度αを出力値とするニュー
    ラルネットワークの処理手順と、 前記画像において抽出すべき所望の抽出部分と抽出しな
    い消去部分とにおいて、前記抽出部分の代表的な複数の
    領域を指定して、その領域のＲ，Ｇ，Ｂ値、及び、前記
    消去部分の代表的な複数の領域を指定して、その領域の
    Ｒ，Ｇ，Ｂ値を、前記ニューラルネットワークに入力さ
    せる手順と、 抽出部分の領域のＲ，Ｇ，Ｂ値の入力に対して、前記ニ
    ューラルネットワークの出力値の透明度αが不透明を表
    す値となるように、且つ、前記消去部分の領域のＲ，
    Ｇ，Ｂ値の入力に対して、前記ニューラルネットワーク
    の出力値の透明度αが透明を表す値となるように、前記
    ニューラルネットワークの学習を前記複数の領域につい
    て実行する手順と、 学習させたニューラルネットワークを用いて、前記画像
    の各ピクセル毎のＲ，Ｇ，Ｂ値を前記ニューラルネット
    ワークに入力して、そのニューラルネットワークの出力
    によりそのピクセルの透明度αを決定することにより、
    画像において、所望の抽出部分を抽出する手順と、 のうちの少なくとも１つの手順を記録した記録媒体。
  8. 【請求項８】 画像の各ピクセル毎にＲ，Ｇ，Ｂ値が与
    えられた画像のコンピュータによる処理手順を記録した
    記録媒体であって、実行時にコンピュータにより次の一
    連の手順が実行されるものであって、 Ｒ，Ｇ，Ｂ値を入力し、補正されたｒ，ｇ，ｂ値を出力
    値とするニューラルネットワークの処理手順と、 前記画像において色補正したい部分の代表的な複数の領
    域を指定して、その領域のＲ，Ｇ，Ｂ値を前記ニューラ
    ルネットワークに入力する入力手順と、 前記ニューラルネットワークの出力値が所望のＲ’，
    Ｇ’，Ｂ’値となるように、前記ニューラルネットワー
    クの学習を前記複数の領域について実行する手順と、 学習させたニューラルネットワークを用いて、前記画像
    の各ピクセル毎のＲ，Ｇ，Ｂ値をニューラルネットワー
    クに入力して、そのニューラルネットワークの出力によ
    りそのピクセルの補正されたｒ，ｇ，ｂ値を得ること
    で、画像における色補正を行う手順と、 のうちの少なくとも１つの手順を記録した記録媒体。
  9. 【請求項９】 画像の各ピクセル毎の座標Ｘ，Ｙに基づ
    いて、コンピュータにより画像を変形させる手順を記録
    した記録媒体であって、実行時にコンピュータにより次
    の一連の手順が実行されるものであって、 座標Ｘ，Ｙを入力し、補正された座標ｘ，ｙを出力値と
    するニューラルネットワークの処理手順と、 前記画像における代表的な複数の領域を指定して、その
    領域の座標Ｘ，Ｙをニューラルネットワークに入力する
    手順と、 前記ニューラルネットワークの出力値が所望の座標
    Ｘ’，Ｙ’となるように、前記ニューラルネットワーク
    の学習を前記複数の領域について実行する手順と、 学習させたニューラルネットワークを用いて、前記画像
    の各ピクセル毎の座標Ｘ，Ｙを前記ニューラルネットワ
    ークに入力して、そのニューラルネットワークの出力値
    によりそのピクセルの補正された座標ｘ，ｙを得ること
    で、画像の変形を行う手順と、 のうちの少なくとも１つの手順を記録した記録媒体。
JP14744199A 1999-05-27 1999-05-27 画像処理方法及びその装置並びに記憶媒体 Expired - Fee Related JP3198099B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP14744199A JP3198099B2 (ja) 1999-05-27 1999-05-27 画像処理方法及びその装置並びに記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP14744199A JP3198099B2 (ja) 1999-05-27 1999-05-27 画像処理方法及びその装置並びに記憶媒体

Publications (2)

Publication Number Publication Date
JP2000339463A true JP2000339463A (ja) 2000-12-08
JP3198099B2 JP3198099B2 (ja) 2001-08-13

Family

ID=15430419

Family Applications (1)

Application Number Title Priority Date Filing Date
JP14744199A Expired - Fee Related JP3198099B2 (ja) 1999-05-27 1999-05-27 画像処理方法及びその装置並びに記憶媒体

Country Status (1)

Country Link
JP (1) JP3198099B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020061129A (ja) * 2018-10-04 2020-04-16 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、画像処理システム、プログラム、および、記憶媒体
CN112242008A (zh) * 2020-10-17 2021-01-19 郑州西亚斯学院 一种用于透明容器的ar交互视觉感知方法及系统
WO2022098164A1 (ko) * 2020-11-06 2022-05-12 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
WO2023095490A1 (ja) * 2021-11-26 2023-06-01 新興窯業株式会社 プログラム、情報処理装置、情報処理方法、学習モデルの生成方法、および撮影システム
JP2023079151A (ja) * 2021-11-26 2023-06-07 新興窯業株式会社 プログラム、情報処理装置、情報処理方法、学習モデルの生成方法、および撮影システム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020061129A (ja) * 2018-10-04 2020-04-16 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、画像処理システム、プログラム、および、記憶媒体
JP7414430B2 (ja) 2018-10-04 2024-01-16 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、画像処理システム、プログラム、および、記憶媒体
CN112242008A (zh) * 2020-10-17 2021-01-19 郑州西亚斯学院 一种用于透明容器的ar交互视觉感知方法及系统
CN112242008B (zh) * 2020-10-17 2021-09-07 郑州西亚斯学院 一种用于透明容器的ar交互视觉感知方法及系统
WO2022098164A1 (ko) * 2020-11-06 2022-05-12 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
WO2023095490A1 (ja) * 2021-11-26 2023-06-01 新興窯業株式会社 プログラム、情報処理装置、情報処理方法、学習モデルの生成方法、および撮影システム
JP2023079151A (ja) * 2021-11-26 2023-06-07 新興窯業株式会社 プログラム、情報処理装置、情報処理方法、学習モデルの生成方法、および撮影システム
JP7811757B2 (ja) 2021-11-26 2026-02-06 新興窯業株式会社 プログラム、情報処理装置、情報処理方法、学習モデルの生成方法、および撮影システム

Also Published As

Publication number Publication date
JP3198099B2 (ja) 2001-08-13

Similar Documents

Publication Publication Date Title
US11042990B2 (en) Automatic object replacement in an image
CN1475969B (zh) 用于增强人像图像的方法和系统
US6522329B1 (en) Image processing device and method for producing animated image data
US6728400B1 (en) Apparatus, method, and storage medium for setting an extraction area in an image
US20010005425A1 (en) Method and apparatus for reproducing a shape and a pattern in a three-dimensional scene
JPH11513508A (ja) 床用カバーまたはその他の織物の画像を操作するための方法およびシステム
JPH09101970A (ja) 画像検索方法および画像検索装置
US20070067179A1 (en) Framed art visualization software
CN112116620A (zh) 一种室内图像语义分割与涂装展示的方法
WO2019102797A1 (ja) ニューラルネットワークの学習方法、学習装置、学習済みモデル及びプログラム
CN109064525A (zh) 一种图片格式转换方法、装置、设备和存储介质
JP6004260B2 (ja) 線画着色システム
JPH09114853A (ja) 画像検索方法および画像検索装置
JPH06325151A (ja) アニメーション編集装置
JP4052128B2 (ja) 画像トリミング装置、画像のトリミング方法、及びプログラム
JP3198099B2 (ja) 画像処理方法及びその装置並びに記憶媒体
JP5413143B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP4348956B2 (ja) 画像レイアウト装置、画像レイアウト方法、画像レイアウト装置におけるプログラム
JP2001052011A (ja) 画像検索装置およびその方法
JPH08249353A (ja) 画像検索方法及び装置
CN114119392A (zh) 图像处理方法、装置和电子设备
JP3963033B2 (ja) 時系列データ生成装置および方法、曲線編集装置および方法、並びにプログラムを記録した記録媒体
CN119090986A (zh) 一种基于人工智能的图片生成方法
JP4199214B2 (ja) 動画生成装置、動画生成方法、動画生成プログラム
JP7805059B1 (ja) 画像処理装置、方法及びプログラム

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees