JP2012187139A - 画像処理装置 - Google Patents

Abstract

【課題】 被検体を複数の領域に客観的に分類することができ、分類した領域を評価することのできる画像処理装置を提供する。
【解決手段】 画像処理装置は、第１の演算部と、第１の管理部と、第１の評価部と、第２の演算部と、第２の管理部と、第２の評価部と、を備える。第１の演算部は画像データから特徴量０を算出する（Ｓ６）。第１の管理部は識別器０を作成し管理する。第１の評価部は、特徴量０を識別器０を用いて評価し、画像データを複数の領域画像データに分類し出力する（Ｓ７乃至Ｓ９）。第２の演算部は領域画像データから特徴量ｉを算出する。第２の管理部は識別器ｉを作成し管理する。第２の評価部は特徴量ｉを識別器ｉを用いて評価し出力する。
【選択図】図２

Description

本発明の実施形態は、画像処理装置に関する。

画像処理装置として、超音波診断装置等が知られている。超音波診断装置は、超音波パルス反射法により、被検体の表面から内部までの断層像を無侵襲に得る機器である。被検体が部品である場合、断層像から、部品を切断すること無しに、内部の情報（錆びの程度、欠陥等）を把握することができる。医療用においては、超音波診断装置を用いることにより、医師は、取得した画像から、肝臓等の臓器を対象とした疾病の重症度等、様々な診断情報を読み取ることができる。
上記のように、目視により上記の領域（錆、欠陥、病変等）を抽出する方法以外、次に挙げるような技術が提案されている。

タイプ１：３次元情報を利用する技術である。3次元情報により、被検体内部の連続情報を抽出し、金属内部の疲労き裂や、肝臓内部の血管等を検出するものである。具体的には、予め撮られた３次元ボリュームデータから、エコー強度の差に基づいて領域を抽出ことにより、実質領域以外の領域等を抽出する方法である。

タイプ２：２次元画像の連続情報を利用する技術である。連続情報等を評価することで、材料内部のき裂、肝臓内部の血管を検出するものである。具体的には、境界から反射するエコー信号は連続的に繋がる特徴を利用する。

特開２０１０−２２０７７５号公報 特開２００４−２１５７０１号公報

ところで、上記タイプ１の技術では、３次元的なボリュームデータをベースにする手法であるため、一般的な２次元画像では応用できない問題がある。
上記タイプ２の技術では、き裂や血管の太さ、エコーの連続情報から判定するため、細い領域などを検出できない問題がある。上記検出できない場合は毛細血管の影響で肝臓の実質領域が粗く見える特徴があるため、毛細血管等の非実質領域を抽出することが非常に重要である。工業用超音波検査では、同様に微小な欠陥等検出することが、困難であり、問題である。
このため、被検体を複数の領域に客観的に分類することができ、分類した領域を評価することのできる画像処理装置が求められている。

この発明は以上の点に鑑みなされたもので、その目的は、被検体を複数の領域に客観的に分類することができ、分類した領域を評価することのできる画像処理装置を提供することにある。

一実施形態に係る画像処理装置は、
複数の領域を含み被検体を撮像して得られる画像データが入力され、前記画像データを前記複数の領域画像データに分類するための指標となる特徴量を算出する第１の演算部と、
前記画像データを前記複数の領域画像データに分類するための指標となる特徴量を基に前記画像データを前記複数の領域画像データに分類するための指標を持つ識別器を作成し管理する第１の管理部と、
前記第１の演算部が算出した前記画像データを前記複数の領域画像データに分類するための指標となる特徴量を、前記画像データを前記複数の領域画像データに分類するための指標を持つ識別器を用いて評価し、前記評価した結果に従って前記画像データを前記複数の領域画像データに分類し、前記分類した領域画像データを出力する第１の評価部と、
前記第１の評価部が分類した前記領域画像データから、前記領域画像データに対応する領域の状態を識別するための指標となる特徴量を算出する第２の演算部と、
前記領域画像データに対応する領域の状態を識別するための指標となる特徴量を基に前記領域画像データに対応する領域の状態を識別するための指標を持つ識別器を作成し管理する第２の管理部と、
前記第２の演算部が算出した前記領域画像データに対応する領域の状態を識別するための指標となる特徴量を、前記領域画像データに対応する領域の状態を識別するための指標を持つ識別器を用いて評価し、前記評価した結果の情報を出力する第２の評価部とを備えることを特徴としている。

図１は、一実施形態に係る超音波診断システムを示すブロック図である。 図２は、上記超音波診断システムを用いて被検体を評価する場合の流れを説明するフロー図である。 図３は、図２に続く、上記超音波診断システムを用いて被検体を評価する場合の流れを説明するフロー図である。 図４は、図１に示した表示部の画面を示す図であり、画像データの一部の中から注目領域を選定した状態を表示している概略図である。 図５は、上記表示部の画面を示す図であり、血管壁及び血液に重ねてブロックを表示している概略図である。 図６は、図４及び図５に示した特徴領域内の特徴分布のイメージを示すヒストグラムである。 図７は、図１に示した管理部が作成し管理する識別器０を示す概念図であり、高次特徴空間における３クラスの特徴量を表す図である。 図８は、上記管理部が作成し管理する識別器０を示す他の概念図であり、図７に示した３クラスの特徴量を１次元に投影して示す図である。 図９は、上記表示部の画面を示す図であり、部品の断層像を示す図である。 上記管理部が作成し管理する識別器ｉを示す概念図である。 上記管理部が作成し管理する識別器ｉを示す他の概念図である。 局所的二値パターンの例を示す概念図である。 局所的二値パターンの他の例を示す概念図である。 局所的二値パターンの他の例を示す概念図である。 局所的二値パターンの他の例を示す概念図である。 局所的二値パターンの他の例を示す概念図である。 肝臓の実質領域（内部組織）を評価した結果の情報を１次元で表示する場合の概念図である。 上記肝臓の実質領域を評価した結果の情報を２次元で表示する場合の概念図である。

以下、図面を参照しながら一実施形態に係る画像処理装置について詳細に説明する。本実施形態の画像処理装置は、超音波診断装置である。このため、本実施形態では、超音波診断装置（画像処理装置）を超音波診断システム（画像処理システム）に組み込んで使用する場合を例に説明する。

図１に示すように、超音波診断システム１は、超音波診断装置２と、撮像部３と、設定部４と、表示部５とを備えている。超音波診断装置２は、演算部６と、管理部７と、評価部８とを備えている。

撮像部３は、超音波を利用して被検体を撮像することにより画像データを得るものである。超音波診断装置２を使用する場合、被検体は、筋肉、骨などを含む生体の一部や、血管、腫瘍、臓器実質などを含む臓器や、欠陥、錆びなどを含む部品など、超音波を利用して撮像可能であり、超音波画像特徴が異なる部分が含まれるものであればよい。

演算部６には、被検体を撮像して得られる画像データが入力される。画像データは、複数の領域を含んでいる。例えば、患者の肝臓を主体とした画像データは、肝臓の実質領域（肝細胞）と、血管、血液及び腫瘍等の肝臓の非実質領域と、腎臓等の肝臓以外の臓器と、など、複数の領域を含んでいる。部品の画像データは、正常領域と、欠陥領域の複数の領域を含んでいる。

次に、画像データを複数の領域画像データに分類するための超音波診断システム１の構成（機能）について説明する。
演算部６は、入力される画像データから、画像データを複数の領域画像データに分類するための指標（パラメータ）となる特徴量（以下、特徴量０と称する）を算出するものである。管理部７は、演算部６が算出した特徴量０を基に、画像データを複数の領域画像データに分類するための指標を持つ識別器（以下、識別器０と称する）を作成し管理するものである。

ここで、上述した画像データを複数の領域画像データに分類するための指標とは、画像データが持つ、領域を識別（テクスチャ識別（質感識別））することが可能な情報であればよい。例えば、患者の肝臓を主体とした画像データ用の指標としては、肝臓の形と、肝臓の内部に存在する血管や血液の輝度レベルや色味等と、を挙げることができる。その他、腎臓の形と、心臓の形と、筋肉の模様と、など、各種の指標であってもよい。部品の画像データ用の指標としては、腐蝕領域及び欠陥領域の輝度レベルや色味等を挙げることができる。

評価部８は、演算部６に評価対象の画像データが入力された際、演算部６が評価対象の画像データから算出した特徴量０を管理部７の識別器０を用いて評価する。そして、評価部８は、評価した結果に従って画像データを複数の領域画像データに分類し、分類した領域画像データを出力するものである。

設定部４は、超音波診断システム１の操作者による各種の設定を可能とするものである。設定部４を用いた設定の例を次にいくつか挙げる。
設定部４は、演算部６に、入力される画像データに対応した指標に関して算出させるように設定可能である。設定部４は、評価部８に、評価対象の画像データに対応した指標に関して評価させるように設定可能である。

設定部４は、画像データの中から注目領域を選定し、演算部６に、画像データの注目領域に関して算出させるように設定可能である。設定部４は、評価部８に、評価対象の画像データの注目領域に関して評価させるように設定可能である。なお、注目領域は、隣合う複数の画素からなる少なくとも１つの画素群に対応している。

設定部４は、評価部８に、分類された複数の領域画像データを全て又は一部だけ出力させるように設定可能である。
設定部４は、評価部８に、特徴量０を示す情報を出力させるように設定可能であり、表示部５は、特徴量０を示す情報を表示することができる。

次に、分類した領域（領域画像データ）の状態を評価するための超音波診断システム１の構成（機能）について説明する。
演算部６は、評価部８から入力される領域画像データから、領域画像データに対応する領域の状態を識別するための指標となる特徴量（以下、特徴量ｉと称する）を算出するものである。管理部７は、特徴量ｉを基に領域画像データに対応する領域の状態を識別するための指標を持つ識別器（以下、識別器ｉと称する）を作成し管理するものである。

評価部８は、演算部６に評価対象の領域画像データが入力された際、演算部６が評価対象の画像データから算出した特徴量ｉを、識別器ｉを用いて評価する。そして、評価部８は、評価した結果の情報を出力するものである。

設定部４は、超音波診断システム１の操作者による各種の設定を可能とするものである。設定部４を用いた設定の例を次にいくつか挙げる。
設定部４は、演算部６に、入力される領域画像データに対応した指標に関して算出させるように設定可能である。設定部４は、評価部８に、評価対象の領域画像データに対応した指標に関して評価させるように設定可能である。

設定部４は、領域画像データの中から注目領域を選定し、演算部６に、領域画像データの注目領域に関して算出させるように設定可能である。設定部４は、評価部８に、評価対象の領域画像データの注目領域に関して評価させるように設定可能である。なお、注目領域は、隣合う複数の画素からなる少なくとも１つの画素群に対応している。

設定部４は、評価部８に、評価した結果の情報に限らず、評価対象の領域画像データ（領域画像データの注目領域）に関する各種の情報を出力させるようにも設定可能である。例えば、評価部８が複数種類の指標に関して評価し、評価した結果の情報が複数存在する場合、設定部４は、評価部８に、評価した結果の情報を、１種類又は複数種類、出力させるように設定可能であり、表示部５は、評価した結果の情報を、１種類又は複数種類、表示することができる。また、設定部４は、評価部８に、評価した結果の情報と併せて評価対象の領域画像データ（原データ）を出力させ、表示部５に表示させてもよい。

設定部４は、評価部８に、特徴量ｉを示す情報を出力させるように設定可能であり、表示部５は、特徴量ｉを示す情報を表示することができる。
設定部４は、評価部８に、分類された複数の領域画像データに関する評価した結果の情報を、統合して出力させるように設定可能であり、表示部５は、統合された情報を表示することができる。

なお、表示部５は、評価部８から評価した結果の情報が入力される。表示部５は、評価部８が評価した結果の情報を表示可能である。
上述したことから、操作者（超音波検査師、医師等）は、評価部８が評価（診断）した結果の情報を視認したりすることができる。その他、表示部５は、演算部６が被検体を撮像して得られる画像データを用い、被検体の画像を表示することもできる。

なお、画像データを複数の領域画像データに分類するための設定部４と演算部６と管理部７と評価部８と、分類した領域（領域画像データ）の状態を評価するための設定部４と演算部６と管理部７と評価部８とは共有することができるため、同じ符号にて説明を行っているが、それぞれを別々に有していても良い。

次に、上記超音波診断システム１を用いて被検体を分類及び評価する場合の流れを説明する。
図１及び図２に示すように、超音波診断システム１を用いた被検体の分類及び評価が開始されると、まず、ステップＳ１において、撮像部３は、撮像した被検体の画像データを演算部６に入力する。言うまでも無いが、画像データが複数の領域を含むことを前提としたものである。

続くステップＳ２において、必要に応じて、設定部４は、演算部６及び評価部８を設定することにより、撮像した画像データを表示部５に表示させ、画像データの中から注目領域を選定してもよい。これにより、分類及び評価する個所を予め選定することができる。

次いで、ステップＳ３において、必要に応じて、設定部４は、画像データ（画像データの注目領域）に対応した指標に関して、演算部６に算出させ、評価部８に評価させるように、演算部６及び評価部８を設定してもよい。この際、設定部４は、画像データ（画像データの注目領域）に適した指標に関して、演算部６に算出させ、評価部８に評価させるように、演算部６及び評価部８を設定した方が好ましい。

例えば、同じ種類の画像データを同じ指標に関して、同様に分類することを前提とした場合、ステップＳ３の工程を用いなくともよい。一方、分類する度に、画像データの種類が同じとは決まっていなかったり、指標を異ならせたりする場合、ステップＳ３の工程を用いることが効果的である。

その後、ステップＳ４において、必要に応じて、設定部４は、画像データ（画像データの注目領域）を複数の領域画像データに分類した後、分類された領域画像データを全て又は一部だけ出力させるように、評価部８を設定してもよい。例えば、肝臓を主体とする画像データであって、肝臓内部の血管についてのみ評価したい場合、肝臓の実質領域、肝臓内部の血管及び血液、肝臓以外の臓器、など、複数の領域の画像データ（領域画像データ）に分類した後、肝臓内部の血管の画像データ（領域画像データ）のみを出力させるように設定部４により設定することが効果的である。

続くステップＳ５において、必要に応じて、設定部４は、特徴量０を算出した後、特徴量０を示す情報を、評価部８に出力させ、表示部５に表示させるように、評価部８を設定してもよい。これにより、超音波診断システム１を用いて被検体を客観的に分類するだけではなく、操作者による被検体の主観的な分類を可能としたり、超音波診断システム１による被検体の客観的な分類を見直したり、することが可能となる。

次いで、ステップＳ６において、演算部６は、画像データ（画像データの注目領域）から特徴量０を算出した後、ステップＳ７において、評価部８は、算出された特徴量０を管理部７の識別器０を用いて評価する。続いて、ステップＳ８において、評価部８は、評価した結果に従って、画像データ（画像データの注目領域）を複数（ｎ個）の領域画像データに分類する。なお、ｎは、２以上の自然数である。

その後、ステップＳ９において、評価部８は、分類した複数の領域画像データを全て出力する。この際、上記ステップＳ４での設定部４を用いた設定の内容に応じて、評価部８は、分類した領域画像データを全て又は一部だけ出力することができる。

図１及び図３に示すように、続くステップＳ１０において、必要に応じて、設定部４は、評価部８を設定することにより、領域画像データｉを表示部５に表示させ、領域画像データｉの中から注目領域を選定してもよい。これにより、評価する個所を予め選定することができる。

次いで、ステップＳ１１において、必要に応じて、設定部４は、領域画像データｉ（領域画像データの注目領域）に対応した指標に関して、演算部６に算出させ、評価部８に評価させるように、演算部６及び評価部８を設定してもよい。この際、設定部４は、領域画像データｉ（領域画像データの注目領域）に適した指標に関して、演算部６に算出させ、評価部８に評価させるように、演算部６及び評価部８を設定した方が好ましい。

例えば、演算部６及び評価部８の自動認識処理により、領域画像データｉ（領域画像データの注目領域）に対応した指標に関して、演算部６が算出でき、評価部８が評価できる場合、ステップＳ１１の工程を用いなくともよい。一方、算出及び評価する度に、領域画像データｉ（領域画像データの注目領域）に対応した指標をカスタマイズする場合、など、ステップＳ１１の工程を用いることが効果的である。

続くステップＳ１２において、必要に応じて、設定部４は、特徴量ｉを算出した後、特徴量ｉを示す情報を、評価部８に出力させ、表示部５に表示させるように、評価部８を設定してもよい。これにより、超音波診断システム１を用いて領域画像データｉ（領域画像データの注目領域）を客観的に評価するだけではなく、操作者による領域画像データｉ（領域画像データの注目領域）の主観的な評価を可能としたり、超音波診断システム１による領域画像データｉ（領域画像データの注目領域）の客観的な評価を見直したり、することが可能となる。

次いで、ステップＳ１３において、演算部６は、領域画像データｉ（領域画像データの注目領域）から特徴量ｉを算出した後、ステップＳ１４において、評価部８は、算出された特徴量ｉを管理部７の識別器ｉを用いて評価する。続いて、ステップＳ１５において、評価部８は、領域画像データｉ（領域画像データの注目領域）に関して評価した結果の情報を出力し、評価した結果の情報を表示部５に表示する。

これにより、超音波診断システム１を用いて領域画像データｉ（領域画像データの注目領域）を客観的に評価することができる。なお、上記ステップＳ１５において、設定部４は、表示部５に、領域画像データｉ（領域画像データの注目領域）から算出した特徴量ｉを示す情報を表示させるように設定してもよい。

また、上記ステップＳ１５において、設定部４は、評価部８に、評価した結果の情報に限らず、評価対象の領域画像データ（領域画像データの注目領域）に関する各種の情報を出力させるようにも設定可能である。これにより、操作者による領域画像データｉ（領域画像データの注目領域）の多角的な評価が可能となる。

その後、ステップＳ１６において、管理部７及び評価部８は、評価対象の全ての領域画像データｉ（領域画像データの注目領域）の評価が完了したのかどうか、すなわちｉ＝ｍであるのかどうかを判断する。なお、ｉであるが、最初は１に設定されている（ｉ＝１）。また、ｍは、評価対象の領域画像データｉ（領域画像データの注目領域）の個数であり、ｎ以下の自然数である。

評価が全て完了していない場合、すなわちｉ＜ｍである場合（ステップＳ１６）、管理部７及び評価部８は、ｉをカウントアップし（ｉ＋＋）、ステップＳ１０に移行し、ステップＳ１０乃至Ｓ１５を繰り返す。評価が全て完了した場合、すなわちｉ＝ｍである場合（ステップＳ１６）、ステップＳ１７に移行する。

例えば、画像データを５個の領域画像データ（領域）に分類し複数（ｎ＝５）、この内、２個の領域画像データ（領域）を評価対象とする（ｍ＝２）場合であっては、領域画像データ１（ｉ＝１）に関してステップＳ１０乃至Ｓ１５を進め、次いで領域画像データ２（ｉ＝２）に関してステップＳ１０乃至Ｓ１５を進めた後、ステップＳ１７に移行する。

続いて、ステップＳ１７において、必要に応じて、設定部４は、評価部８に、分類された複数の領域画像データｉ（領域画像データの注目領域）に関して評価した結果の情報を、統合して出力させるように設定してもよく、これにより表示部５に統合された情報を表示させることができる。これにより、操作者は、複数の領域画像データｉ（領域画像データの複数の注目領域）をまとめて評価することが可能となる。
上記のことから、超音波診断システム１を用いた被検体の分類及び評価が終了する。

次に、上記超音波診断システム１を用いて肝臓を主体とする画像データを複数の領域画像データに分類する場合について説明する。ここでは、撮像された画像データを表示部５に表示し、画像データの中から注目領域を選定している。また、評価対象の領域が肝臓の実質領域であり、肝臓の実質領域の画像データ（領域画像データ）のみ出力するものである。このため、肝臓の実質領域以外の領域（領域画像データ）については排除するものである。

図４は、表示部５の画面を示す図であり、画像データの一部の中から注目領域を選定した状態を表示している概略図である。なお、注目領域を選定するため、表示部５に、予め超音波を利用して肝臓内部組織を撮像することにより得た画像データを用いて肝臓内部組織を表示している。

患者の肝臓内部組織を撮像した場合、表示される画像（画像データ）には、肝臓以外の臓器や背景等が含まれている。また、肝臓は血管豊富な臓器である。このため、医師は、表示部５に表示される画像を基に、画像（画像データ）の中から肝臓以外の臓器、背景、肝臓の血管等を除いて肝臓の実質領域を選定するよう、設定部４の設定を操作する。これにより、診断（評価）対象となる肝臓の実質領域の画像データ（領域画像データ）を自動的に分類し、出力することができる。

超音波診断システム１を用いた肝臓の実質領域、非実質領域の自動的な分類は次のようにして行われる。
肝臓の超音波断層図では、血液など肝臓の実質領域より軟らかい部分のエコー輝度（輝度レベル）が低く、血管壁など肝臓の実質領域より硬い部分のエコー輝度が高い特徴がある。このため、テクスチャ解析によりこのような特徴を抽出するものである。

例えば、小さいブロック毎、輝度をベースとする特徴量を抽出（算出）する。なお、各ブロックは、隣合う複数の画素からなる画素群に相当する。ブロックの形状は、矩形状に限られるものではなく種々変形可能であり、例えば扇形状、円形状、楕円形状であってもよい。ブロック（画素群）のサイズも限定されるものではなく種々変形可能である。そして、各ブロック内の輝度レベルの平均値や分散値を算出する。

血液の部分は、輝度値が低く且つ滑らかである特徴を示すため、輝度値が低く且つ分散値が低いブロックが、血液の領域であることを推定することができる。また、血管壁の部分及び毛細血管の部分は、輝度値が高く周囲画素との輝度差が激しい特徴を示すため、輝度値が高く且つ分散値が高いブロックが、血管壁や毛細血管であることを推定することができる。

図５は、表示部５の画面を示す図であり、注目領域内の血管壁及び血液に重ねてブロックを表示している概略図である。図５に示すように、血管壁や血液である肝臓の非実質領域に重ねてブロックを表示することができる。ここで、上記分散値が低いブロックとは、画素間の輝度値のばらつきの小さいブロック（画素群）のことである。また、分散値が高いブロックとは、画素間の輝度値のばらつきの大きいブロック（画素群）のことである。

次に、算出した特徴量０により、血管領域を分類（抽出）するなど、肝臓の実質領域、非実質領域を分類（抽出）する方法について説明する。
図６は、図４及び図５に示した特徴領域内の特徴分布のイメージを示すヒストグラムである。図６に示すように、輝度値が高く且つ分散値が高い領域、中間領域、輝度値が低く且つ分散値が低い領域を分離できれば、肝臓の実質領域と、血管壁及び血液等の肝臓の非実質領域と、を分離（分類）することができる。

分離（分類）方法としては、主成分分析法（ＰＣＡ：Principal Component Analysis）、大津法、Ｐ−ｔｉｌｅ法などが挙げられる。例えば、主成分分析法により分離（分類）する場合、算出した特徴量を主成分分析法により分離度が最大になる識別特徴軸を抽出するものである。

図７は、管理部７が作成し管理する識別器０を示す概念図である。図８は、管理部７が作成し管理する識別器０を示す他の概念図である。図７では、高次特徴空間における３クラスの特徴量を表している。更に、１次元に投影すると、図８で示す分布になる。

ここで、画像データ（画像データの注目領域）から算出した特徴量を上記で算出した識別特徴軸に投影すると、各クラスへの距離を算出可能である。各クラスへの距離の計算では、ユークリッド距離の計算でも良く、マハラノビス距離の計算でも良い。算出した一番近い距離により、クラスへ分類することができる。

また、図６で示す特徴分布イメージでは、Ｐ−ｔｉｌｅ法により設定した閾値を用いて、輝度値が高く且つ分散値が高い領域を分離することができるし、更に輝度値が低く且つ分散値が低い領域を分離することもできる。また、大津法を用いて、中間特徴量の最頻値を求め、更に輝度値が高く且つ分散値が高い領域を分離するために分離度が一番高い閾値を算出することができる。同様に、輝度値が低く且つ分散値が低い領域を分離するための閾値を算出することもできる。算出した２つ閾値を用いて、３クラスの分類ができて、血管などの肝臓の非実質領域の抽出（分類）ができるものである。

抽出（分類）した後は、抽出した血管領域（血管）の状態の評価を行い、また、血管などを排除した後の肝臓の実質領域の状態の評価を行う。若しくは、指定（注目）した対象領域だけ評価を行う。評価の結果として、血管領域と肝臓の実質領域を別々の評価指標として扱うことができるし、また、別の評価指標として、統合的に肝臓全体機能の評価を行うことができる。

例えば、抽出した血管領域を対象に、更にエッジ情報などの抽出することにより血管壁を検出することができる。肝臓の機能が正常な場合は血管壁をキレイに検出することができるが、一方、肝硬変など病変がかなり進行する肝臓では、血管壁が暈ける特徴がある。血管壁のエッジ情報は、補助評価指標として、肝臓全体機能の評価に役に立つものである。従って、血管領域を排除した後の肝臓の実質領域に対する評価結果と、血管領域の血管壁情報を統合することで、より医師の判断基準に近づけることができる。

以上、被検体が患者の場合に分類及び評価する場合について説明したが、被検体は、患者に限定されるものではなく種々変形可能であり、例えば部品であってもよい。

図９は、表示部５の画面を示す図であり、撮像された部品の断層像を示す図である。図９に示すように、被検体が部品であっても、超音波診断システム１を用いることにより、部品の画像データを、欠陥の領域の画像データ（領域画像データ）と、正常の領域の画像データ（領域画像データ）と、に自動的に分類することができる。

上記分類した後、さらに、超音波診断システム１を用いることにより、分類した正常の領域（領域画像データ）を自動的に評価することもでき、正常の領域の中から腐食の進行程度（腐食無し部分、軽度腐食部分、腐食進行部分、など）を評価することも可能である。

次に、上記超音波診断システム１を用いて肝臓の実質領域の領域画像データを評価する場合について説明する。
始めに、肝臓の実質領域を診断（評価）する場合の管理部７の識別器ｉについて説明する。臨床では、医師は、主観判断で肝臓の実質領域の粗さを４段階に分類している。そこで、管理部７は、主観判断で肝臓の実質領域の粗さを４段階に分類するための指標を持つ識別器ｉを作成し管理することができる。これにより、評価部８は、上記識別器ｉを用いることにより、肝臓の実質領域の粗さを客観的に判断することが可能となる。

また、管理部７は、演算部６に評価対象の画像データが入力される毎、評価部８が評価した結果の情報を基に、識別器の持つ特徴量を評価するための指標を更新することが可能である。すなわち、診断結果を学習データとして管理部７の識別器に取り込むことで、医師の主観判断を定量化することができる。

ここで、超音波により肝臓などの臓器に対する診断を行う時、肝臓表面の滑らかさ、肝臓辺縁の角度、肝臓内部組織の粗さなど指標がある。その中、肝臓内部組織の粗さは最も客観的に評価しにくい指標であるが、上述したように、管理部７が上記識別器ｉを作成し管理することで、肝臓内部組織の粗さを客観的に評価することができる。また、管理部７が肝臓内部組織に限らず、肝臓表面の滑らかさ、肝臓辺縁の角度、及び肝臓以外の臓器に対応した識別器０、ｉを作成し管理することで、各種の臓器を客観的に評価することができる。

次に、評価した結果の情報の表示手法等、肝臓の実質領域を診断する場合の実質的な手法を説明する。
画素群の指標が設定されると、演算部６は、領域画像データの特徴量（テクスチャ特徴量）ｉを算出する。そして、評価部８は、算出された各特徴量ｉを管理部７の識別器ｉを用いて評価する。管理部７は、評価部８が評価した結果の情報を基に、識別器ｉの持つ特徴量ｉを評価するための指標を更新し、このように識別器ｉに学習させる。

管理部７が、特徴量ｉを基に主成分分析法を用いて識別器ｉを形成し、管理している場合、管理部７は識別器ｉから特徴量ｉを算出し、算出した特徴量ｉを主成分分析法により分離度が最大となる評価軸を算出（抽出）することができる。

図１０は、識別器ｉを示す概念図である。図１０に示すように、識別器ｉの持つ特徴量ｉは、高次の空間に投影されている。高次の空間には、管理部７が算出した評価軸も示されている。このことから、特徴量ｉが高次の情報であることが分かる。特徴量ｉはクラス１からクラス４までの４つのクラスに分類されている。
ここで、評価軸は、高次の空間を形成する複数の軸から選定したものでもよく、また、新たに生成する軸であってもよい。

図１１は、識別器ｉを示す他の概念図である。図１１に示すように、図１０に示す識別器ｉの持つ特徴量ｉを、評価軸上にのみ投影して示している。ここでは、クラス１に分類される特徴量ｉは、正常の肝臓の実質領域の領域画像データから算出した特徴量ｉであり、クラス２乃至４に分類される特徴量ｉは、非正常（病変）の肝臓の実質領域の領域画像データから算出した特徴量である。

上記のことから、評価対象の領域画像データから算出した特徴量ｉを評価軸上に投影することにより、各クラスへの距離を算出することができ、算出した距離が最も短くなったクラスに分類することができる。このため、評価部８は、特徴量ｉをクラスに分類することで、特徴量ｉの評価を行うことができ、ひいては肝臓の実質領域の診断を行うことができる。なお、各クラスへの距離の計算では、ユークリッド距離の計算や、マハラノビス距離の計算を利用することができる。

そして、上述したように、評価軸は、特徴量ｉの分離度が最大の軸であるため、評価対象の領域画像データから算出した特徴量ｉを評価軸上に投影することは、評価部８が行う評価に好適である。

次に、管理部７が、演算部６に評価対象の領域画像データが入力される毎に、識別器ｉの持つ特徴量ｉを評価するための指標を更新する場合の例について説明する。
肝臓の実質領域の粗さに関して、評価部８が評価した結果（診断結果）に基づいて領域画像データをさらに分類する。分類されたデータ（画像データ）から特徴量を算出し、識別器を作成する。例えば、管理部７が、粗さに関して、２段階に分類されたデータから算出された８次元の特徴量を基に線形判別方法を用いて識別器を作成すると、識別器（学習データ）から線形判別式の係数項（８個）と定数項を算出することができる。この場合、算出した線形判別式を識別器として使用することができる。

次に、設定部４について説明する。
上記設定部４は、評価部８が評価した結果の情報を全て出力するよう設定したが、これに限らず、評価部８が評価した結果の情報を一部だけ出力するよう設定することも可能である。

例えば、医師が表示部５の画面上のある位置を指定し、指標を設定すると、指定した位置を中心座標とする注目領域を設定することができ、これにより、注目領域内の肝臓の実質領域の粗さを評価した結果（診断結果）を出力（表示）することができる。この場合も、注目領域の指標を自由に設定することができ、例えば注目領域の形状は矩形状や円形状でも良い。また、肝臓の実質領域の粗さを評価した結果を出力（表示）する際、正規化した範囲内の数値で出力（表示）したり、数値を色情報に変換して色情報を出力（表示）したりすることができる。

次に、特徴量について説明する。
特徴量は、画素群毎に算出された高次局所特徴量や、低次局所特徴量であってもよい。高次局所特徴量としては、局所的二値パターン（ＬＢＰ：Local Binary Pattern）特徴量や、高次局所自己相関（ＨＬＡＣ：Higher-order Local AutoCorrelation）特徴量を挙げることができる。

例えば、高次局所特徴量（テクスチャ特徴量）の一つとして局所的二値パターン特徴量は、画像輝度変化、回転やスケール変換に対してロバスト性が高い、計算コストが低いなど特徴があるため、顔認識など分野でよく使われている。

局所的二値パターン特徴量とは、画像中の注目点（着目点）と周囲点との輝度の差をベースにし、パターンヒストグラムを算出することで、画像のテクスチャ特徴情報を抽出する方法である。注目点と周囲点の位置及びスケールが異なる場合の局所的二値パターンの例を図１２乃至図１６に示す。

図１２において、周囲点は、注目点の周りに４個あり（Ｐ＝４）、注目点から周囲点までの距離（半径）は１．０である（Ｒ＝１．０）。図１３乃至図１６においても図１２と同様であり、図１３においてはＰ＝８、Ｒ＝１．０、図１４においてはＰ＝１２、Ｒ＝１．５、図１５においてはＰ＝１６、Ｒ＝２．０、図１６においてはＰ＝２４、Ｒ＝３．０である。

例えば、演算部６は、超音波を利用して撮像した肝臓の実質領域の画像に対して、画素群毎にシフトしなから局所的二値パターン特徴量を算出することができる。そして、評価部８は、算出された特徴量を基に肝臓の実質領域の性状（粗さ）を評価することができる。

次に、管理部７について説明する。
管理部７は、特徴量ｉを基に線形判別方法又は非線形判別方法を用いて識別器ｉを作成し管理することができる。線形判別方法としては、線形判別分析（ＬＤＡ：Linear Discriminant Analysis）、サポートベクタマシン（ＳＶＭ：Support Vector Machine）、主成分分析法等を挙げることができる。非線形判別方法としては、非線形判別分析（ＱＤＡ：Quadratic Discriminant Analysis）等を挙げることができる。

上記のことから、学習データから算出した特徴量ｉに対して、主成分分析法により次元を圧縮し、分離度が最大になる評価軸を抽出可能であることが分かる。また、事前に学習データを用いてサポートベクタマシンの訓練モデルを算出することも可能である。

次に、評価部８について説明する。
評価部８は、特徴量ｉの空間距離の長さ、又は類似度の程度に基づいて評価することができる。その他、評価部８は、他の指標により評価することもできる。上記のことから、評価部８が評価した結果の情報（新しい情報）が与えられる場合、上記情報から算出した特徴量ｉを識別式に代入すると、判別の結果を算出することができる。

線形判別分析法を用いて識別器ｉが作成及び管理されている場合、０より大きいのかどうかを検出することにより、評価した結果を分類することができる。また、マハラノビス距離を算出し、距離が小さい順番に、評価した結果を分類することもできる。それ以外の方法で評価した結果を分類することも可能である。

次に、設定部４について説明する。
設定部４は、評価部８が評価した結果の情報を、評価部８に、１以上の次元の情報として出力させるよう、設定することができる。このため、評価した結果の情報は、１次元の情報（例えば、数値又は数値に対応する色味）で表示することができ、また、２次元や多次元で表示することもできる。

例えば、図１７は、肝臓の実質領域を評価した結果の情報を１次元で表示する場合の概念図である。図１７に示すように、肝臓の実質領域を評価し、正常、慢性肝炎及び肝硬変の３段階に分類する場合、正常から肝硬変までの間の距離を０乃至１に正規化し、評価した結果の情報（評価データ）を定量的に表示することができる。

図１８は、上記の肝臓内部組織を評価した結果の情報を２次元で表示する場合の概念図である。図１８に示すように、２次元で表示することにより、肝臓内部組織を評価した結果をより多角的に表示することが可能である。なお、図において、正常であることを示すデータは丸、慢性肝炎を示すデータは四角、肝硬変を示すデータはバツで示している。
上記超音波診断システム１を用いて肝臓の実質領域の領域画像データを評価する場合について説明は以上である。

以上のように構成された超音波診断システム１によれば、超音波診断装置２は、演算部６と、管理部７と、評価部８とを備えている。演算部６は、画像データから特徴量０を算出し、評価部８は、特徴量０を、識別器０を用いて評価し、画像データを複数の領域画像データに分類し出力することができる。これにより、超音波診断装置２は、被検体の画像を複数の領域に客観的に分類することが可能となる。

また、超音波診断装置２の指標（コントラスト等）の設定に依存せず、閾値の設定や最適化処理を行うこと無しに、評価部８は、識別器ｉを用いることにより、例えば領域画像データを客観的に評価することが可能となる。

また、管理部７は、演算部６に画像データや領域画像データが入力される毎、評価部８が分類又は評価した結果の情報を基に、識別器０、ｉの持つ特徴量０、ｉを評価するための指標を更新することが可能である。すなわち、評価結果を学習データとして管理部７の識別器に取り込むことができる。管理部７の識別器は、医師や専門家等のノウハウも取り込むことができる。これにより、操作者（医師など）の主観判断を定量化することができる。

上記のことから、被検体を複数の領域に客観的に分類することができ、分類した領域を評価することのできる超音波診断システム１を得ることができる。そして、操作者に役に立つ超音波診断システム１を得ることができる。

なお、この発明は上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化可能である。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

例えば、超音波診断装置２自体が、撮像部３や表示部５を備えていてもよい。演算部６や表示部５に入力される画像データは、撮像部３以外の手段で取得したものであってもよい。

例えば、被検体の他の例としては、太陽光パネルやタービンであってもよい。太陽光パネルにおいては、サーモグラフィ画像を使用することにより、正常なパネルか劣化したパネルかを評価することができる。また、タービンにおいては、タービン表面の粗さを評価することができる。

本発明の画像処理システムは、上記超音波診断システム１に限らず、種々変形可能であり、他の超音波診断システム等各種の画像処理システムに適用することが可能である。

１…超音波診断システム、２…超音波診断装置、３…撮像部、４…設定部、５…表示部、６…演算部、７…管理部、８…評価部。

Claims (7)

1. 複数の領域を含み被検体を撮像して得られる画像データが入力され、前記画像データを前記複数の領域画像データに分類するための指標となる特徴量を算出する第１の演算部と、
   前記画像データを前記複数の領域画像データに分類するための指標となる特徴量を基に前記画像データを前記複数の領域画像データに分類するための指標を持つ識別器を作成し管理する第１の管理部と、
   前記第１の演算部が算出した前記画像データを前記複数の領域画像データに分類するための指標となる特徴量を、前記画像データを前記複数の領域画像データに分類するための指標を持つ識別器を用いて評価し、前記評価した結果に従って前記画像データを前記複数の領域画像データに分類し、前記分類した領域画像データを出力する第１の評価部と、
   前記第１の評価部が分類した前記領域画像データから、前記領域画像データに対応する領域の状態を識別するための指標となる特徴量を算出する第２の演算部と、
   前記領域画像データに対応する領域の状態を識別するための指標となる特徴量を基に前記領域画像データに対応する領域の状態を識別するための指標を持つ識別器を作成し管理する第２の管理部と、
   前記第２の演算部が算出した前記領域画像データに対応する領域の状態を識別するための指標となる特徴量を、前記領域画像データに対応する領域の状態を識別するための指標を持つ識別器を用いて評価し、前記評価した結果の情報を出力する第２の評価部とを備えた画像処理装置。
2. 前記第１の演算部に前記画像データに対応した特徴量を算出するための指標を設定し、前記第２の演算部に前記領域画像データに対応した特徴量を算出するための指標を設定する設定部をさらに備えている請求項１に記載の画像処理装置。
3. 前記画像データ又は前記領域画像データの中から注目領域を設定し、前記注目領域に対して、分類又は評価させる設定部をさらに備えている請求項１に記載の画像処理装置。
4. 前記第１の評価部に、前記分類された複数の領域画像データを全て又は一部だけ出力させるように設定可能である設定部をさらに備えている請求項１に記載の画像処理装置。
5. 前記第１の評価部に、前記評価した結果の情報だけでなく、前記評価対象の領域画像データに関する情報も出力させるように設定可能である設定部をさらに備えている請求項１に記載の画像処理装置。
6. 前記第１の評価部にさらに前記画像データを前記複数の領域画像データに分類するための指標となる特徴量を示す情報を出力させ、前記第２の評価部にさらに前記領域画像データに対応する領域の状態を識別するための指標となる特徴量を示す情報を出力させるように設定可能である設定部をさらに備えている請求項１に記載の画像処理装置。
7. 前記第２の評価部に、前記分類された複数の領域画像データに関する前記評価した結果の情報を、統合して出力させるように設定可能である設定部をさらに備えている請求項１に記載の画像処理装置。

Images