JPH03182976A - ディジタル画像の接合方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は画像の接合、即ちオーバラップして連続的に撮
像された複数のディジタル画像を接合して所謂パノラマ
写真を作成する方法に関し、特に金属Ｍｉ織検査のため
の結晶写真あるいは鋳片断面写真を階調の差、接合部の
不連続性等を排除して接合する方法に関する。

〔従来の技術〕

従来、風景写真であると顕微鏡写真であるとを問わず複
数の写真を接合して所謂パノラマ写真を作成する際には
、光学写真機及び銀塩フィルムを使用して被写体を撮像
し、それぞれの画像を印画紙に引伸して焼付、現像して
得られる写真を切り貼りにより接合していた。

一方、所謂ディジタル画像処理技術の発展により、テレ
ビジョンカメラあるいは走査型電子顕微鏡（ＳＥＭ：Ｓ
ｃａｎｎｉｎｇ　Ｅｌｅｃｔｒｏｎ　Ｍｉｃｒｏｓｃｏ
ｐｅ）等で得られた画像を電子情報として得ることが出
来る撮像装置が背反している。

このようなディジタルの撮像装置では、たとえば金属Ｍ
ｉ織検査に使用される写真の品質としては、２５６階調
で５ｃｍ四方のサイズで１０２４　Ｘ　１０２４画素（
１■当たり約２０画素）の原画像が得られれば実用上の
問題が無いことが実験的に確認されている。更に、上述
のようにしてディジタル処理された画像情報を最終的に
印画紙に焼付けた際の写真画像においては、２５６階調
でＡ４サイズ印画紙に２４００万画素以上あれば実用上
の問題が無いことが判っている。

ところで、ディジタル画像処理に際しては、被写体はテ
レビジョンカメラあるいは電子顕微鏡等により撮像され
、その際の撮像倍率と画像のサイズとは印画紙に焼付け
られるまでその関係が保持される必要がある。撮像され
た各画像は露出量の相異に起因する明暗差、撮像装置の
光学系の周辺光量の不足に起因する同一画像上での明暗
の不均一性、光学系の収差による像の形状及び大きさの
歪等を有する。このため、従来の通常の写真によるパノ
ラマ写真の作成に際しても、撮像された写真をトリミン
グしてその中央部分のみを使用して接合することが一般
的である。

以」二のように、たとえば金属′ａ織検査をする目的で
接合される従来の通常の写真は、検査対象部分の露出及
び画質不良等の原因により撮像及び焼付けを再実行する
必要に迫られることが多い。更に、従来の手法ではフィ
ルム現像、引伸、焼付等には熟練技術が要求され、更に
写真の接合作業ばかなり細かい手作業になる。このため
、充分な階調及び解像度を有する画像をディジタル処理
により接合することが可能になれば、アフィン変換ラプ
ラシアン等により階調、鮮映度２画像歪、明暗等の改善
が容易になる。

このような観点から、本願発明者らは先に複数のディジ
タル画像を接合する方法の提供を目的として特願平１−
８５９３９号の発明を提案している。

この特願”Ｆ　ｌ−８５９３９号の発明は、端的には「
　階調を有し、相互にオーバラップして撮像された複数
のディジクル画像を接合する方法において、 接合対象の二つの画像それぞれにおける共通の２点を任
意に抽出し、 それぞれの画像において前記２点間を結ぶ直線を接合線
として両画像を接合すると共に、接合対象の各画像の明
暗分布の平均を求めて各画像の階調補正を行うこと」 を特徴とする。

〔発明が解決しようとする課題） ところで、上述の特願平１−８５９３９号の発明の実施
に際して、「接合対象の二つの画像それぞれにおける共
通の２点を任意に抽出」する作業を実行した場合、以下
のような問題があることが判明した。

（１）二つの画像相互間の濃度差が大きい場合は、２１
通点の抽出が非常に困難である。就中、画像処理装置に
よる自動抽出は現実的に不可能である。

（２）共通点をオペレータが任意に選択して画面」二で
操作するため、共通点の座標値が検出されない。

このような問題の存在のために自動接合は事実上不可能
である。

本発明はこのような事情に鑑みてなされたものであり、
画像の自動接合を可能にしたディジタル画像の接合方法
の提供を目的とする。

〔課題を解決するための手段〕

本発明のディジタル画像の接合方法は、テレビジョンカ
メラあるいは電子顕微鏡等により得られた画像情報をデ
ィジタルデータ化し、このディジタルデータ化された画
像をたとえば本願発明者らがディジタル画像の濃度均一
化、即ち二つの画像の濃度が等しくなるように双方の画
像または一方の画像の濃度を変換することを目的として
先に特願平１−１１０６１５号の発明で提案している画
像処理手法により画像間の濃度を均一化し、更に２値化
し、接合の直接の対象である二つの画像において特定画
素数にて形成される粒子状部分を特徴粒子として２個抽
出し、この２個の特徴粒子の重心座標を結ぶ直線で二つ
の画像を接合するものである。

〔作用〕

本発明方法では、オーパラ・７プして撮像されたつのデ
ィジタル画像の濃度が等しくなるように濃度変換された
後に２値化され、それぞれの画像におい゛ζ特疋の画素
数にてＢ６威される粒子状部分が特徴粒子として自動的
に２個抽出され、両者を結ぶ直線を接合線として画像が
接合される。

〔発明の原理〕

以下、本発明の原理についてまず説明する。

いまたとえば第１図に示す如く、二つのディジタル画像
ＩＭＡとＩＭＢとを接合するとする。この場合、両者は
それぞれの一部分が互いにオーバラップしてたとえば２
５６階調で撮像されている。

まず一方の画像ＩＭＡを画像処理装置に入力し、たとえ
ば特願平１−１１０６１５−ｑの発明の手法に従って濃
度の均一化処理、即ち双方の画像の濃度を等しくするた
めの処理を実施する。次に、画像ＩＭＡの画像ＩＦｎと
オーハラツブしている範囲内において濃度レヘルの１０
０階調（＝１近を閾植として２値化処理を施す。

この後、オーバランプ範囲内での抽出粒子が２個になる
ように粒子カッＩ・を実施する。この粒子カットとは、
２値化後の画像上で粒子状に表現されている部分の画素
数を特定範囲に限定することにより、粒子を抽出するも
のであり、最終的に２個の粒子が抽出される。

たとえば、画像ＩＭＡが第２図［ａｌに示す如きである
とする。この画像ＩＭＡは２５６階調であるので、これ
を１００階調付近で２値化処理すると第２図（ｂｌに示
す如く比較的濃度が濃い部分のみが残った画像が得られ
る。この第２図（ｂｌに示す如き画像上に散在するそれ
ぞれの粒子状部分を形成する画素数が計数され、特定の
画素数範囲の部分のみが抽出される。抽出された粒子状
部分が２個より多ければ画素数範囲が狭められ、最後の
２個の粒子が抽出されるまで反復される。第２図ｆｃ）
は２個の粒子が特徴粒子Ａ、　Ｂとして抽出された状態
を示している。なお、第２図（ａｌ及び（ｂｌには特徴
粒子Ａ、　Ｂとして抽出されべき粒子を（Ａ）、　（Ｉ
Ｉ）として示しである。

そして、抽出された２個の粒子の重心座標を求め、画像
の完了情報として格納し、マスターＣＰＵへ送信する。

他方の画像ＩＭＢについても同様の処理を施す。

つの画像ＩＭＡ、ＩＭＢからそれぞれ抽出された２個の
粒子の重心座標をそれぞれａ、ｂ及びａ’、　ｂ“とす
る。

次に、それぞれの画像ＩＭＡ及びＩＭＢを一方の重心座
標、たとえばａとａｏとを一致さセて両画像ＩＭＡ及び
ＩＭＢを重合わせる。そして、両画像ＩＭＡ及びＩＭＢ
それぞれのもう一方の重心座標すとｂ゛とを一致させる
べく、いずれかの画像ＩＭＡ又はＩＭＢを点ａを中心と
して回転させる。ここで ａｂ−ａ’ｂ” であるから、三角形ａｂｂ’は二等辺三角形である。

更に、画像ｒＭＡの表示画面上への正射投影位置と画像
ＴＭＢの表示画面上への正射投影位置との関係からｂｂ
’間の距離が判明するので、点すと点ｂ゛とを一致させ
るために必要な回転角θは第３図か但し、ｅ：ａｂの長
さ ｒ　：　ｂｂ’の長さ にて求められる。

このようにして画像ＩＭＡとＩ［３とを重ね合わせた後
、両画像ＴＭＡ及びＴＭＢの線分ａｂを境界とするいず
れの部分を選択して接合するかを決定する。

即ち、第４図に示す如く、 （１１画画像ＭＡの斜線部を採用して両画像ＴＭＡ及び
ＩＭＢを接合する、 （２）画像ｒＭＢの斜線部を採用して両画像ＩＭＡ及び
ＩＭＢを接合する、 （３）両画像ＩＭＡ及びＩＭＢの斜線部を捨てて接合す
る。

以上により両画像ＩＭＡ及びＩＭＢが接合され、つの画
像が得られる。

〔発明の実施例〕

以下、本発明をその実施例を示す図面に基づいて詳述す
る。

第５図は本発明に係るディジタル画像の接合方法の実施
に使用される画像処理装置のシステム構成を示す模式図
である。なお、本実施例では金属試験に適用される構成
を採っている。

第５図中、参照符号１はホストｃＰＵであり、撮影情報
入力手段として使用される。ホス＋−ｃｐ旧ば３２ビッ
ト幅の中央処理機構を備えている。またホスｌ−ＣＰＵ
Ｉは後述する画像入力手段４にて被写体を撮像するオペ
レータに対する撮影依頼の撮影情報の登録及び後述する
マスタＣＰＵ２からの情報を処理する。

ホス）　ＣＰＵＩからの撮影情報は主処理部であるマス
クＣＰＵ２にたとえばＮＥＣ社標準標準ヘル２Ｂ手順に
て与えられる。

マスクＣＰＵ２は各部の制御を司り、光ケーブルネット
ワーク５を介して撮影情報を画像人力手段である７組の
画像人力部４１〜４７へ送る。

画像入力部４１は、ＣＣＤカメラによる被写体の大型マ
クロ撮影を、同４２はＴＴＶカメラによる被写体の外観
撮影を、同４３及び４４は顕微鏡の画像をＩＴＶカメラ
により撮影した被写体のミクロ撮影を、同４５はＳＥＭ
撮影を、同４６はＥＰＭＡ　（Ｅｌｅｃｔｒｏｎ　　ｒ
’ｒｏｂｅχ−Ｒａｙ　Ｍｉｃｒｏａｎａｌｙｚｅｒ：
電子線マイクロアナライザ）撮影を、同４７は分析電顕
撮影をそれぞれ行う。

マスクＣＰＵ２は各画像人力部４１〜４７により撮影さ
れた画像を受信し、光デイスク装置６に格納する。

また、マスクＣＰＵ２は出力キューに格納されている組
立情報に基づいて画像を組立て、フォトプリンタ８の制
御ＣＰＵであるパーソナルコンピュータ７に送る。

フォトプリンタ８では、画像情報をレーザ出力に変換し
て感光紙上に潜像を形威し、この潜像を現像機９で現像
して顕像化する。

第６図、第７図及び第８図は本発明のディジタル画像の
接合方法の処理手順を示すシステムフローチャーＩ・で
ある。以下、このフローチャートを参照して本発明方法
の手順について説明する。

第６図は装置に作業指示を与える依頼票の入力手順を示
すフローチャートである。

まず、オペレータがポストＣＰＵＩを操作することによ
り、画像接合要求の要否項目を含む依頼票を人力する（
ステップＳｌ）。

次に、文字列情報の入力の要否が判定され（ステップＳ
２）、必要であると判定された場合には文字列情報が人
力される（ステップＳ３）。そして、２ 人力された文字列情報と依頼票との自動編集に関する情
報がマスクＣＰＵ２内の自動編集ファイルに書込まれる
（ステップＳ４）。

ステップＳ２において文字列情報の入力が不要であると
判定された場合は、ヘッダ情報、サンプル管理情報及び
指示情報のみがマスタＣＰＵ２内のそれぞれのファイル
に書込まれ（ステップ３５）、依頼票の入力作業が終了
する。

第７図はフォーマットの登録作業の手順を示すフローチ
ャートである。

まず、フォーマントの修正が行われるのか新規登録が行
われるのかが判定される（ステップ５１１）。

フォーマットが修正される場合はマスクＣＩ’ｌ＋２か
ら光ケーブルネットワーク５を介して修正対象の登録済
みのフォーマットが画像編集装置３へ送られ（ステップ
５１２）、新規人力の場合はフォーマントが新たに作成
される　（ステップ５１４）。

修正されたフォーマントまたは新規登録されたフォーマ
ットは光ケーブルネットワーク５を介してマスクＣＰＵ
２へ送られ、そのフォーマット管理情報ファイルに登録
される　（ステップ５１５）。

第８図は画像接合の実際の手順を示すフローチャートで
ある。この処理は画像入力部４２〜４５．４７で行われ
る。

まず、画像人力部４２〜４５．４７は撮影に関する予定
表と撮影指示情報とをマスクＣＰＵ２から受信する（ス
テップ５２１）。各画像入力部４２〜４５．４７は受信
した情報に従って画像を撮影して画像処理装置に人力し
くステップ５２２）、画像の濃度均一化処理を行う　（
ステップ５２３）。

このステップＳ２３の画像濃度均一化の処理は第９図、
第１０図及び第１１図にそのフローチャートを示す如き
本願発明者らが先に出願している特願平１−１１０６１
５号の発明の手順を利用する。

第９図に示す手順は、領域固定濃度補正法と称される。

まず、濃度補正が行われていない最初の生画像データが
入力される（ステップ５ｉｌｌ）。この生画像データは
一つのイメージフォーマツ！何二に配置されるべき複数
の画像の内の最初−枚であり、以下基準画像と称す。

次にこの基準画像全体の濃度分布が測定され、最適画像
濃度に変換される（ステップ５１１２）。

次に基準画像の任意の所定位置に濃度比較のための領域
（以下、ウィンドと称す）が設定され、このウィンド内
の平均濃度値Ａｏが求められる（ステップＳ　１１３）
。

ウィンド内で求められた基準画像の平均濃度値Ａｏは基
準画像の平均濃度値として記憶手段に格納される（ステ
ップＳ　１１４）。以上により基準画像に対する処理が
終了する。

次に、基準画像以外の生画像（以下、変換画像と称す）
が処理される。即ち、ステップ５１１１及び５１１３同
様に、画像データが人力され（ステップ５１１５）、基
準画像と同一の領域にウィンドを設定してその内部の平
均濃度値ＡＣが求められる（ステップ５１１６）。そし
て、両画像のウィンド内の平均濃度値の差Ｓが求められ
（ステップ５ｌ１７）、変換画像の全画素の濃度が補正
される（ステップ３１１８）。

同一のイメージフォーマットに組込まれるべき５ 全画像の濃度補正が完了するまでステップ５１１５から
５１１９までの処理が反復されることにより、画像濃度
の均一化処理が行われる。

第１Ｏ図は拡大率固定濃度補正法と称される手法の手順
を示すフローチャートである。

まず、一つの生画像データが入力され（ステップ５ｌｌ
ｌ）、これが既に入力されている画像データと同一の拡
大率であるか否かが判定される（ステップ５１２１）。

同一拡大率の画像データが過去に入力されていない場合
には、その画像データはその拡大率の画像群の基準画像
として前述の領域固定濃度補正法の場合同様にステップ
５１１２．５１１２．５１１４の処理が実施され、基準
画像ウィンド内の平均濃度値Ａｏが求められる。

ステップ５ｉｌｌにおいて人力された画像データの拡大
率が過去に人力された画像データのそれと同一である場
合、換言すればその画像データの拡大率と同一の拡大率
の画像データの平均濃度値が既に求めれている場合には
、前述の領域固定濃度補６ 正洗のステップ５１１６．５１１７．５１１８の処理が
行われ、全画素について濃度補正が行われる。

以上により、同一拡大率の画像群に関して濃度均一化が
行われる。

第１１図は密度固定濃度補正法と称される手法の手順を
示すフローチャー１・である。

この手法では、第９図に示した領域固定濃度補正法の場
合と同様に、ステップ５ｉｌｌ、　５１１２．５１１３
Ｓ１１４の順に処理されて基準画像の平均濃度値Ａｏが
求められる。

次に、やはり領域固定濃度補正法の場合と同様に、ステ
ップ５１１５にて変換画像が人力され、この画像のウィ
ンド設定係数が求められる（ステップＳ　１３１）。こ
れは、ステップ５１１１において人力された基準画像と
ステップ５１１５において入力された変換画像との拡大
率が異なる場合に、変換画像上で拡大率に応したウィン
ドを設定するための処理である。

このようにして変換画像上にウィンドが設定されると、
以降は領域固定濃度補正法と同様にステップ５１１６．
５１１７．５１１８．５１１９の順に処理されて変換画
像の濃度補正が行われる。

以上のいずれか適当な手法により画像の濃度均一化処理
が完了すると、濃度均一化された各画像と処理が完了し
たことを示す完了情報とが原画像として各画像人力部４
２〜４５．４７のハードディスクに一時的に格納される
　（ステップ５２４）。

次に、人力された画像が接合対象の画像であるか否かが
判定され（ステップ５２５）、接合対象の画像でない場
合にはステップＳ２６〜Ｓ３１のステップが省略される
。

入力された画像が接合対象の画像である場合は、その画
像を濃度階調の１００レヘル前後を闇値として２値化処
理が施され（ステップ３２６）、特定サイズ、即ち特定
の画素数にて構成されている粒子のみを抽出するために
、特定の画素数以外の画素数で構成されている粒子、即
ち範囲外粒子がカントされる　（ステップ５２７）。ス
テ、ブＳ２９では残っている粒子数が２個であるか否か
が判定され、２個になっていなければカット範囲が拡張
される（ステップ８２８）。

そして、カッＩ−後の粒子数が２個になるまでステップ
Ｓ２７〜Ｓ２９の処理が反復され、粒子数が２個になっ
た時点で抽出された粒子の重心座標が求められて完了情
報の一つとして各画像入力部４２〜４５４７のハードデ
ィスクに格納される　（ステップ５３１）。

この後、原画像と完了情報とは光ケーブルネットワーク
５を介してマス５０１口２に送信される　（ステップ５
３２）。マスクＣＩ’ｌ１２は原画像と完了情報とを受
信すると（ステップ５３３）、光デイスク装置６に格納
しくステップ５３４）、完了情報及び自動編集情報を更
新する　（ステップ５３５）。

次に、同一フオーマット内の画像の撮影が総て完了して
いるか否かが判定され（ステップ３３６）、完了してい
な場合にはステップＳ２２へ処理が戻され、完了してい
る場合には自動編集タスクによりイメージ組立て情報が
作成され（ステップ５３７）、マスクＣＰＵ２内の出力
キューに登録される　（ステップ３３８）。

９ 次のステップＳ３９では、イメージ組立−Ｃ情報に丞づ
いてイメージが組立てられる。このステップＳ３９の処
理の一部としてステップＳ４０．　　Ｓ４１で両像の接
合処理が行われる。ここで行われる画像の接合処理は、
ステップ３２６〜３３１に恥いて抽出された２１１通粒
子の重心座標を桔ふ直線を接合線として、必要があれば
直線移動及び四輪移動を行って両画像が接合される。

このようにして組立てられたイメージはフォトプリンタ
８に転送されて印画紙に焼（＝１けられ（ステップ５４
２）、現像機９に自動的に搬送されて現像処理される　
（ステップ５４３）。

〔発明の効果］ 以」二に詳述したり１１＜本発明によれば、接合列数の
二つの画像が自動的に接合されるので、フィルＪ１．処
理薬晶雰の消耗品が不要となり、更に作業に熟練をそれ
程は要さない等の優れた効果を奏する。

【図面の簡単な説明】

第１図乃至第４図は本発明の詳細な説明図であ０ す、第１図は接合対象となる二つの画像及びその上に存
在する２個の特徴粒子を示す模式図、第２図は各画像上
で２個の特徴粒子を抽出する手順を示す模式図、第３図
は二つの画像をそれぞれの画像上の２個の特徴粒子の内
の−・方で重合わセた状態を示す模式図、第４図は二つ
の画像を接合する際にそれぞれのいずれの領域を選択す
るかを示す模式図、第５図は本発明方法を実部するため
の装置構成を示ずブロック図、第６図乃至第１１図は本
発明方法の手順を示すフローチャー１・である。 ＩＭＡ、　ＩＭＢ・・・接合対象の画像　　ａ、ａ’、
ｂ、ｈ’−・・特徴粒子

Claims (1)

1. 【特許請求の範囲】 １、階調を有し、相互にオーバラップして撮像された複
   数のディジタル画像を接合する方法において、 接合対象の二つの画像の濃度が均しくなるよに濃度変換
   し、 濃度変換後のそれぞれの画像の濃度を２値化処理し、 ２値化処理後のそれぞれの画像において特定の画素数に
   て形成される粒子状部分を抽出することにより２個の特
   徴粒子を選択し、 それぞれの画像において選択された２個の特徴粒子を結
   ぶ直線を接合線として接合対象の二つの画像を接続する
   こと を特徴とするディジタル画像の接合方法。