JP2018096986A - 画像マッチング方法及び装置 - Google Patents

Abstract

【課題】本発明は、新しい画像マッチング方法及び装置を提供する。
【解決手段】当該画像マッチング方法は、Ｘ線画像と外観画像の輪郭線を抽出することと、前記Ｘ線画像と前記外観画像との輪郭線の類似度を確定することと、若し前記Ｘ線画像と前記外観画像との輪郭線の類似度がプリセット類似度の閾値以上であれば、前記Ｘ線画像と前記外観画像が同じ物品に対するものだと確定することと、を含む。本発明の実施例による画像マッチング方法及び装置は、画像マッチングの精度を向上できるため、セキュリティ検査効率を向上できる。
【選択図】図２

Description

本発明は、セキュリティ検査分野に関し、更に具体的には画像マッチング方法及び装置に関する。

通常、地下鉄駅、空港等のセキュリティ検査の応用情景では、セキュリティ検査装置を利用して、例えば、Ｘ線装置を利用して一連の物品のＸ線画像を取得でき、セキュリティ検査装置の近くに装着された映像採集装置を利用して、例えば、カメラを利用して、これら物品の外観画像を取得できる。図３は、セキュリティ検査装置と映像採集装置が配置された例示的なセキュリティ検査情景の模式図を示す。図３に示すセキュリティ検査情景において、セキュリティ検査装置と映像採集装置との間の相対的位置が固定されているため、セキュリティ検査装置と映像採集装置がいずれも正常に動作する場合、同じ物品のＸ線画像と外観画像との生成時間の差は基本的に一定である。特定の物品に対して、当該物品のＸ線画像の生成時間、及びＸ線画像と外観画像との生成時間の差に基づいて、当該物品のＸ線画像と外観画像のマッチングを実現できる。

セキュリティ検査装置とその近くに装着された映像採集装置は、通常、同じ物品のＸ線画像と外観画像を同時に生成することができず、例えば、図３に示すセキュリティ検査情景において、物品はセキュリティ検査装置を通過した後、一定の時間を経て映像採集装置の映像採集範囲に到着できるため、以下の状況が発生する可能性がある。セキュリティ検査装置におけるベルトの停止、ベルトの巻戻し、物品がセキュリティ検査装置の出口のリードカーテンに阻止されること等を原因として、物品が映像採集装置の映像採集範囲に入る時間が不確定になって、物品のＸ線画像と外観画像のマッチング効果が非常に悪く、例えば、物品のＸ線画像が外観画像にマッチングできないか、或いは物品のＸ線画像が誤って他の物品の外観画像にマッチングされる等のことが引き起こされる。

上記に記載の一つ又は複数の課題に鑑みて、本発明は新しい画像マッチング方法及び装置を提供する。

本発明の実施例による画像マッチング方法は、Ｘ線画像と外観画像の輪郭線を抽出することと、Ｘ線画像の輪郭線と外観画像の輪郭線との類似度を確定することと、若しＸ線画像の輪郭線と外観画像の輪郭線との類似度がプリセット類似度の閾値以上であれば、Ｘ線画像と外観画像が同じ物品に対するものだと確定することと、を含む。

本発明の実施例による画像マッチング装置は、Ｘ線画像と外観画像の輪郭線を抽出するように配置される輪郭線抽出ユニットと、Ｘ線画像の輪郭線と外観画像の輪郭線との類似度を確定するように配置される類似度確定ユニットと、Ｘ線画像の輪郭線と外観画像の輪郭線との類似度がプリセット類似度の閾値以上である場合、Ｘ線画像と外観画像が同じ物品に対するものだと確定するように配置されるマッチング確定ユニットと、を含む。

本発明の実施例の画像マッチング方法及び装置は、画像マッチング精度を向上できるため、セキュリティ検査効率を向上できる。

図１は、本発明の実施例による画像マッチング装置のブロック図を示す。 図２は、本発明の実施例による画像マッチング方法のフローチャートを示す。 図３は、セキュリティ検査装置と映像採集装置が配置された例示的なセキュリティ検査情景の模式図を示す。 図４は、本発明の実施例による画像マッチング方法及び装置が実現できるコンピューティング機器の例示的なハードウェアアーキテクチャの構造図を示す。

図面を参照して行った制限されていない実施例に対する以下の詳細な説明を閲読することで、本発明の他の特徴、目的及び利点が更に明らかになる。そのうち、同じ又は類似する符号は、同じ又は類似する特徴を示す。

以下、図面を参照して例示的な実施形態を全面的に説明する。但し、例示的な実施形態は、色んな形態で実施でき、ここで説明する実施形態に限定されるものではないと理解されるべきである。なお、これら実施形態を提供することで、本発明を更に全面的にし、例示的な実施形態の構想を当業者へ全面的に伝える。図面において、明瞭にするために、エリアと層の厚さを拡大する可能性がある。図面において、同じ符号は同じ又は類似する構造を示すため、それらの詳細な説明を省略する。

また、説明される特徴、構造又は特性は、いずれか適合的な形態で一つ以上の実施例に組み合せられている。以下の説明において、様々な具体的な詳細を提供して、本発明の実施例に対して十分に理解するようにする。但し、当業者であれば、本発明の技術案を実現するために、上記の特定の詳細の中の一つ以上のものが省略でき、或いは他の方法、部材、材料等が採用できることを、理解すべきである。他の場合、本発明の主な技術的アイデアが不明瞭になることを避けるために、周知の構造、材料又は操作に対する具体的な記載又は説明は行わない。

図３に示すセキュリティ検査情景において、通常、以下の画像マッチング方法によって、ある物品のＸ線画像とマッチングする外観画像、即ち、当該物品の外観画像を検出することができる。具体的に、当該画像マッチング方法は、特定のセキュリティ検査情景において、同じ物品のＸ線画像と外観画像との生成時間の差を予め測定することと、特定のＸ線画像に対して、当該Ｘ線画像の生成時間及び上記の差に基づいて、当該Ｘ線画像とマッチングする外観画像の生成時間を計算して、当該Ｘ線画像とマッチングする外観画像、即ち、当該Ｘ線画像が対象とする物品の外観画像を検出することと、を含む。

図３に示すセキュリティ検査情景において、ある物品に対する外観画像の生成時間は、当該物品に対するＸ線画像の生成時間と上記の差を加算した時間である。当業者であれば、図３には物品が先にセキュリティ検査装置に入ってから映像採集装置の映像採集範囲に入るセキュリティ検査情景が示されているが、上記の画像マッチング方法は、物品が先に映像採集装置の映像採集範囲に入ってからセキュリティ検査装置に入るセキュリティ検査情景にも同じく応用でき、ある物品に対する外観画像の生成時間が当該物品に対するＸ線画像の生成時間と上記差の減算によって得られた時間になることは、理解すべきである。

セキュリティ検査装置と映像採集装置がいずれも正常に動作する場合、上記の画像マッチング方法を利用すると、同じ物品に対するＸ線画像と外観画像を簡単に確定できる。但し、セキュリティ検査装置において、ベルトの停止、ベルトの巻戻し、物品がセキュリティ検査装置の出口／入口のリードカーテンに阻止されることが発生される場合、上記の画像マッチング方法によっては同じ物品に対するＸ線画像と外観画像のマッチングを正確に行うことができない。

よって、本発明は新しい画像マッチング方法及び装置を提供して、画像マッチングの精度を向上させる（即ち、Ｘ線画像が正確な外観画像にマッチングされることを確保する）。図１は、本発明の実施例による画像マッチング装置のブロック図を示す。図２は、本発明の実施例による画像マッチング方法のフローチャートを示す。以下、図１と図２とを組み合わせて、本発明の実施例による画像マッチング装置及び方法を具体的に説明する。

図１に示すように、本発明の実施例による画像マッチング装置１００は、輪郭線抽出ユニット１０２と類似度確定ユニット１０４とマッチング確定ユニット１０６とを含む。輪郭線抽出ユニット１０２は、Ｘ線画像と外観画像との輪郭線を抽出するように配置され、即ち、ステップＳ２０２を実行する。類似度確定ユニット１０４は、Ｘ線画像と外観画像との輪郭線の類似度を確定するように配置され、即ち、ステップＳ２０４を実行する。マッチング確定ユニット１０６は、Ｘ線画像と外観画像との輪郭線の類似度がプリセット類似度の閾値以上である場合、Ｘ線画像と外観画像が同じ物品に対するものであると確定し、即ち、ステップＳ２０６を実行する。

幾つかの実施例において、マッチング確定ユニット１０６は、更に、Ｘ線画像と外観画像との輪郭線の類似度がプリセット類似度の閾値未満である場合、Ｘ線画像と外観画像が同じ物品に対するものではないと確定する。本発明の実施例による画像マッチング装置及び方法は、セキュリティ検査装置におけるベルトの停止、ベルトの巻戻し、物品がセキュリティ検査装置の出口／入口のリードカーテンに阻止されること等を原因とするマッチングエラーを避けることができ、画像のマッチング精度を向上できるため、セキュリティ検査効率を向上できる。

幾つかの実施例において、本発明の実施例による画像マッチング装置１００は、更に、画像選択ユニット（未図示）を含み、生成時間がＸ線画像の生成時間前又は後に位置するプリセット時間帯にある一つ以上の外観画像からいずれか一つを選択して、Ｘ線画像とマッチングする。ここで、当該プリセットの時間帯の長さが十分に長く設定されていれば、セキュリティ検査装置におけるベルトの停止、ベルトの巻戻し、物品がセキュリティ検査装置の出口／入口のリードカーテンに阻止されること等を原因とするマッチング失敗を避けることができ、即ち、Ｘ線画像が外観画像にマッチングできることを確保して、画像マッチングの成功率を向上できる。勿論、画像マッチングの効率を保証するために、経験によって、プリセット時間帯の長さを適応的な値に設定できる。

幾つかの実施例において、輪郭線抽出ユニット１０２は、Ｘ線画像と外観画像をグレースケール画像に変換させる処理、およびＸ線画像と外観画像のグレースケール画像に対して二値化を行って、Ｘ線画像と外観画像の輪郭線を抽出する処理によって、Ｘ線画像と外観画像の輪郭線を取得できる。Ｘ線画像と外観画像をグレースケール画像に変換させることで、Ｘ線画像と外観画像における例えばグレースケール画像上のテクスチャ等を含むノイズの大略な輪郭線を取得できる。Ｘ線画像と外観画像のグレースケール画像に対する二値化を行うことで、輪郭線の抽出に対するグレースケール画像の表面上の各種類のテクスチャの干渉を効果的に減少できる。Ｘ線画像と外観画像のグレースケール画像に対する二値化を行わないと、グレースケール画像の表面上の各種類のテクスチャも輪郭線に識別されて、輪郭線の識別数が多過ぎ、画像マッチングの正確性と効率へ影響を及ぼす。

ここで、Ｘ線画像と外観画像のグレースケール値に対する二値化を行う過程で用いられる二値化閾値は、試験によって得られ、実際の状況に応じて調節できる。本実施例において、Ｘ線画像及び／又は外観画像のグレースケール画像に対する二値化を行う過程で用いられる二値化閾値は、１５乃至３５の間の任意のグレースケールレベルであっても良い。Ｘ線画像及び／又は外観画像のグレースケール画像におけるいずれか一つのピクセルに対して、若し当該ピクセルのグレースケール値が二値化閾値未満であれば、当該ピクセルが背景に対応すると判断され、もしそうでなければ、当該ピクセルが物品に対応すると判断される。

当業者は、Ｘ線画像と外観画像の輪郭線を抽出する方法が上記の方法に限定されるものではなく、輪郭線抽出ユニット１０２が周知の他の方法によってもＸ線画像と外観画像の輪郭線を抽出できることは、理解すべきである。

実際のセキュリティ検査情景において、物品のＸ線画像と外観画像がそれぞれセキュリティ検査装置と映像採集装置で個別に生成され、セキュリティ検査装置と映像採集装置の物品に対する相対的位置が完全に同じではないため、同じ物品に対するＸ線画像と外観画像は通常大きさおよび角度が異なる。よって、Ｘ線画像と外観画像に対して画像マッチングを行うときに、これら画像中の物品の輪郭形状に注目して、ズーム、回転等の干渉要因を排除すべきである。

幾つかの実施例において、類似度確定ユニット１０４は、Ｘ線画像の輪郭線と外観画像の輪郭線の幾何モーメント不変量（Ｈｕモーメント不変量）を確定する処理と、Ｘ線画像と外観画像との輪郭線の幾何モーメント不変量の差異量を確定して、Ｘ線画像と外観画像との輪郭線の類似度とする処理によって、Ｘ線画像と外観画像との輪郭線の類似度を確定する。

当業者であれば、Ｘ線画像と外観画像との輪郭線の類似度を確定する方法は、上記の方法に限定されるものではなく、類似度確定ユニット１０４が周知の方法によってもＸ線画像の輪郭線と外観画像の輪郭線との類似度を確定できることは、理解すべきである。例えば、類似度確定ユニット１０４は、Ｘ線画像の輪郭線と外観画像の輪郭線との他の特性値の差を確定して、それらの輪郭線の類似度とすることができ、当該特性値は輪郭線の各部分の相対的な位置関係を比較的正確に示すことができるものであればよい。

ここで、Ｘ線画像と外観画像が同じ物品のものであるかを確定する過程で用いられるプリセット類似度の閾値は、試験によって取得でき、実際の状況に応じて調節できる。Ｘ線画像の輪郭線と外観画像の輪郭線の幾何モーメント不変量の差異量をそれらの類似度とする場合、プリセット類似度の閾値を０．３に設定できる。ここで、二本の輪郭線間の幾何モーメント不変量の差が小さければ小さいほど、二本の輪郭線がより類似することを示し、それらは同じ物品に対応する可能性がより大きい。

図４は、本発明の実施例による画像マッチング方法及び装置が実現できるコンピューティング機器の例示的なハードウェアアーキテクチャの構造図を示す。図４に示すように、コンピューティング機器４００は、入力装置４０１、入力インターフェイス４０２、中央処理装置４０３、メモリ４０４、出力インターフェイス４０５及び出力装置４０６を含む。そのうち、入力インターフェイス４０２、中央処理装置４０３、メモリ４０４及び出力インターフェイス４０５はバス４１０によって互いに接続され、入力装置４０１と出力装置４０６は、それぞれ、入力インターフェイス４０２と出力インターフェイス４０５によってバス４１０に接続されて、コンピューティング機器４００の的他の部材に接続される。具体的に、入力装置４０１はそれぞれセキュリティ検査装置と映像採集装置からＸ線画像と外観画像を受信し、入力インターフェイス４０２によってＸ線画像と外観画像を中央処理装置４０３へ転送する。中央処理装置４０３はメモリ４０４に格納されているコンピュータ実行可能命令に基づいてＸ線画像と外観画像に対する画像マッチングを行って、Ｘ線画像と外観画像が同じ物品のものであるかを示す出力情報を確定し、出力情報を一時的又は永続的にメモリ４０４に格納した後に、出力インターフェイス４０５によって出力情報を出力装置４０６へ転送する。出力装置４０６は、出力情報をコンピューティング機器４００の外部へ出力してユーザが使用できるようにする。

即ち、図１に示す画像マッチング装置１００は、コンピュータ実行可能命令が格納されているメモリと、コンピュータ実行可能命令を実行するときに、図１と図２との組み合わせによって説明される画像マッチング方法及び装置を実現できるプロセッサと、を備えるものとして実現してもよい。ここで、プロセッサは、セキュリティ検査装置と映像採集装置からのＸ線画像と外観画像に基づいてコンピュータ実行可能命令を実行して、図１と図２との組み合わせによって説明される画像マッチング方法及び装置を実現できる。

本発明が上記で説明され、且つ図面に示される特定の配置と処理に限定されるものではないことは、明確にすべきである。簡潔さのために、ここで、従来の方法に対する詳細な説明を省略する。上記の実施例において、幾つかのステップを例として説明且つ示している。但し、本発明の方法でのステップは、上記で説明され、且つ示される具体的なステップに限定されるものではなく、当業者であれば、本発明の要旨を理解した後に、各種類の変更、補正及び追加を行うことができ、又はステップの間の順番を変更することができる。

上記の構造ブロック図で示される機能ブロックは、ハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせで実現できる。ハードウェア形態で実現される場合、それは例えば電子回路、専用集積回路（ＡＳＩＣ）、適応的なファームウェア、プラグイン、ファンクションカード等である。ソフトウェア形態で実現される場合、本発明の要素は、必要なタスクを実行するために用いられるプログラム又はコードセグメントである。プログラム又はコードセグメントは、機械可読媒体に格納されてもよく、搬送波で搬送されるデータ信号によって伝送媒体又は通信リンクを介して転送されてもよい。「機械可読媒体」は、情報を格納又は転送できる任意の媒体を含んでもよい。機械可読媒体の例は、電子回路、半導体記憶デバイス、ＲＯＭ、フラッシュメモリ、消去可能ＲＯＭ（ＥＲＯＭ）、フロッピーディスク、ＣＤ−ＲＯＭ、光ディスク、ハードディスク、光ファイバ媒体、無線周波数（ＲＦ）リンク等が含まれる。コードセグメントは、インターネット、イントラネット等のコンピュータネットワークを介してダウンロードできる。

本発明は、その精神及び本質的な特徴から逸脱することなく、他の特定の形態で実施することができる。例えば、特定の実施形態で説明したアルゴリズムは、本発明の基本的な精神から逸脱することなく変更することができる。よって、本発明の実施例は、全ての点で限定的なものではなく例示的なものであると見なされ、本発明の範囲は上記の説明ではなく添付の特許請求の範囲によって規定され、特許請求の範囲の要旨及び同等物の範囲から逸脱しない全ての変更はいずれも、本発明の範囲内に含まれる。

Claims (10)

1. Ｘ線画像と外観画像の輪郭線を抽出することと、
   前記Ｘ線画像の輪郭線と前記外観画像の輪郭線との類似度を確定することと、
   もし前記Ｘ線画像の輪郭線と前記外観画像の輪郭線との類似度がプリセット類似度の閾値以上であれば、前記Ｘ線画像と前記外観画像が同じ物品に対するものだと確定することと、
   を含む画像マッチング方法。
2. もし前記Ｘ線画像の輪郭線と前記外観画像の輪郭線との類似度がプリセット類似度の閾値未満であれば、前記Ｘ線画像と前記外観画像が同じ物品に対するものではないと確定する、
   請求項１に記載の画像マッチング方法。
3. 前記Ｘ線画像と前記外観画像の輪郭線を抽出する処理は、
   前記Ｘ線画像と前記外観画像をグレースケール画像に変換させることと、
   前記Ｘ線画像と前記外観画像のグレースケール画像に対して二値化を行って、前記Ｘ線画像と前記外観画像の輪郭線を抽出することと、
   を含む、請求項１に記載の画像マッチング方法。
4. 前記Ｘ線画像の輪郭線と前記外観画像の輪郭線との類似度を確定する処理は、
   前記Ｘ線画像の輪郭線と前記外観画像の輪郭線の幾何モーメント不変量を確定することと、
   前記Ｘ線画像の輪郭線の幾何モーメント不変量と前記外観画像の輪郭線の幾何モーメント不変量との差異量を確定して、前記Ｘ線画像の輪郭線と前記外観画像の輪郭線との類似度にすることと、
   を含む、請求項１に記載の画像マッチング方法。
5. 生成時間が前記Ｘ線画像の生成時間前又は後に位置するプリセット時間帯にある一つ以上の外観画像からいずれか一つを選択して、前記Ｘ線画像とマッチングすることを更に含み、
   前記プリセット時間帯は、前記Ｘ線画像が生成されるセキュリティ検査装置と前記一つ以上の外観画像が生成される映像採集装置との位置関係、及び前記セキュリティ検査装置の伝送ベルトの回転速度に関連する、
   請求項１に記載の画像マッチング方法。
6. Ｘ線画像と外観画像の輪郭線を抽出するように配置される輪郭線抽出ユニットと、
   前記Ｘ線画像の輪郭線と前記外観画像の輪郭線との類似度を確定するように配置される類似度確定ユニットと、
   前記Ｘ線画像の輪郭線と前記外観画像の輪郭線との類似度がプリセット類似度の閾値以上である場合、前記Ｘ線画像と前記外観画像が同じ物品に対するものだと確定するように配置されるマッチング確定ユニットと、
   を含む、画像マッチング装置。
7. 前記マッチング確定ユニットは、更に、前記Ｘ線画像の輪郭線と前記外観画像の輪郭線との類似度が前記プリセット類似度の閾値未満である場合、前記Ｘ線画像と前記外観画像が同じ物品に対するものではないと確定するように配置される、
   請求項６に記載の画像マッチング装置。
8. 前記輪郭線抽出ユニットは、更に、
   前記Ｘ線画像と前記外観画像をグレースケール画像に変換させ、
   前記Ｘ線画像と前記外観画像のグレースケール画像に対して二値化を行って、前記Ｘ線画像と前記外観画像の輪郭線を抽出するように配置される、
   請求項６に記載の画像マッチング装置。
9. 前記類似度確定ユニットは、更に、
   前記Ｘ線画像の輪郭線と前記外観画像の輪郭線の幾何モーメント不変量を確定し、
   前記Ｘ線画像の輪郭線の幾何モーメント不変量と前記外観画像の輪郭線の幾何モーメント不変量との差異量を確定して、前記Ｘ線画像の輪郭線と前記外観画像の輪郭線との類似度にするように配置される、
   請求項６に記載の画像マッチング装置。
10. 画像選択ユニットは、生成時間が前記Ｘ線画像の生成時間前又は後に位置するプリセット時間帯にある一つ以上の外観画像からいずれか一つを選択して、前記Ｘ線画像とマッチングするように配置され、
    前記プリセット時間帯は、前記Ｘ線画像が生成されるセキュリティ検査装置と前記一つ以上の外観画像が生成される映像採集装置との位置関係、及び前記セキュリティ検査装置の伝送ベルトの回転速度に関連する、
    請求項６に記載の画像マッチング装置。