JP7066385B2

JP7066385B2 - 情報処理方法、情報処理装置、情報処理システム及びプログラム

Info

Publication number: JP7066385B2
Application number: JP2017228150A
Authority: JP
Inventors: 将実川岸; 裕之山本
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-11-28
Filing date: 2017-11-28
Publication date: 2022-05-13
Anticipated expiration: 2037-11-28
Also published as: JP2019101485A

Description

本明細書の開示は、情報処理方法、情報処理装置、情報処理システム及びプログラムに関する。

あるデータを用いて機械学習した結果を利用して、他のデータに有効な機械学習を効率的に行う転移学習の技術が知られている（非特許文献１）。

特許文献１には、同一のデータに付与された異なるラベルを用いて、第１のラベルを分類するように学習した分類器を基に、第２のラベルを分類する分類器に転移学習する技術が記載されている。

特開２０１７－０８４３２０号公報

ＰａｎＳＪａｎｄＹａｎｇＱ，「Ａｓｕｒｖｅｙｏｎｔｒａｎｓｆｅｒｌｅａｒｎｉｎｇ」，ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＫｎｏｗｌｅｄｇｅａｎｄＤａｔａＥｎｇｉｎｅｅｒｉｎｇ，２２（１０），ｐｐ．１３４５－１３４９，２０１０

医療分野のように、データの分野によっては付与されるラベルの量が異なる場合がある。例えば、第１のラベルを年齢、第２のラベルを血液検査値とすると、第１のラベルは全例に付与されるが、第２のラベルは血液検査を行った例にのみ付与される。特許文献１は、ラベルの種別でデータ数が異なる場合については開示していない。

本発明の実施形態に係る情報処理方法は、第１のラベルと第２のラベルとのうち、前記第１のラベルのみが付与された第１の医用データ群と、前記第１のラベルと前記第２のラベルとのうち、前記第２のラベルのみが付与された第２の医用データ群とを取得する取得工程と、前記第１の医用データ群に基づいて第１の機械学習を行う第１の学習工程と、前記第１の機械学習におけるパラメータと前記第２の医用データ群とに基づいて第２の機械学習を行う第２の学習工程と、を有することを特徴とする。

本発明の実施形態にかかる情報処理方法によれば、データ群ごとに異なる種別のラベルが付与されている場合であっても、第１のラベルに係る機械学習の結果に基づいて、第２のラベルに係る機械学習を適切に行うことができる。

情報処理装置の機能構成の一例を示す図である。情報処理装置のハードウェア構成の一例を示す図である。情報処理装置の処理の一例を示すフローチャートである。第１の機械学習と第２の機械学習の例を示す図である。情報処理装置の機能構成の他の一例を示す図である。情報処理装置の処理の他の一例を示すフローチャートである。

以下、本発明を実施するための形態について図面を用いて説明する。

＜実施形態１＞
医療分野において、医用画像から医師の診断の補助となるような情報を推論して提示する診断支援装置の開発が進められている。当該推論のために、医用画像とそのラベルに基づく機械学習が行われる場合がある。機械学習には多数の学習用データが求められるが、診断に用いられる様々な情報のうち、推論の対象となる情報のラベルを含むデータを多数入手できない場合がある。実施形態１は、推論の対象となる情報のラベルを含むデータが少数である場合にも、精度良く機械学習を行えるようにすることを目的とする。

実施形態１における情報処理装置は、多数のデータから構築された第１のラベルを分類する分類器を転移させて、少数のデータを用いて第２のラベルを分類する分類器を構築する。

以下では、学習に用いる医用画像は胸部Ｘ線ＣＴ画像とし、第１のラベルと第２のラベルとして医用情報を用いるものとする。第１のラベル及び第２のラベルはそれぞれ、医用画像の被検体の状態を表す医用情報である。より具体的には、第１のラベルとして肺結節の診断名を、第２のラベルとして肺結節の画像所見を用いるものとする。

図１は、実施形態１における情報処理装置１００の機能構成の一例を示す図である。情報処理装置１００は本発明の実施形態に係る情報処理方法を実行する装置の一例である。本実施形態における情報処理装置１００は、記憶部２００は学習に用いる医用画像と、ラベルとなる当該医用画像に関する診断名や画像所見等の医用情報を保持している。記憶部２００は、ＰＡＣＳや電子カルテ、読影レポートから抽出された情報を保持する。あるいは、記憶部２００はＰＡＣＳや電子カルテ、読影レポートでもよく、記憶部２００は情報処理装置１００からの要求に従い、必要となる情報を情報処理装置１００に出力する。

情報処理装置１００は、取得部１０２と、選択部１０４と、第１の機械学習部１０６と、第２の機械学習部１０８とを含む。取得部１０２は記憶部２００に要求を行い、医用画像と診断名（第１のラベル）の組を複数有する第１の医用データ群と、医用画像と画像所見（第２のラベル）の組を複数有する第２の医用データ群を取得する。選択部１０４は第１のラベルと第２のラベルとが付与されたデータの少なくとも一部を第３の医用データ群として選択する。第１の機械学習部１０６は、第１の医用データ群に基づいて診断名を分類する第１の機械学習を行う。第２の機械学習部１０８は、第１の機械学習の結果に基づいて、第２の医用データ群と第３の医用データ群に基づいて画像所見を分類する第２の機械学習を行う。

なお、図１に示した情報処理装置１００の各部の少なくとも一部は独立した装置として実現してもよい。また、夫々の機能を実現するソフトウェアとして実現してもよい。本実施形態では、各部はそれぞれソフトウェアにより実現されているものとする。

図２は、情報処理装置１００のハードウェア構成の一例を示す図である。ＣＰＵ１００１は、主として各構成要素の動作を制御する。主メモリ１００２は、ＣＰＵ１００１が実行する制御プログラムを格納したり、ＣＰＵ１００１によるプログラム実行時の作業領域を提供したりする。磁気ディスク１００３は、オペレーティングシステム（ＯＳ）、周辺機器のデバイスドライバ、後述する処理等を行うためのプログラムを含む各種アプリケーションソフトを実現するためのプログラムを格納する。ＣＰＵ１００１が主メモリ１００２、磁気ディスク１００３等に格納されているプログラムを実行することにより、図１に示した情報処理装置１００の機能（ソフトウェア）及び後述するフローチャートにおける処理が実現される。

表示メモリ１００４は、表示用データを一時記憶する。モニタ１００５は、例えばＣＲＴモニタや液晶モニタ等であり、表示メモリ１００４からのデータに基づいて画像やテキスト等の表示を行う。マウス１００６及びキーボード１００７は、ユーザによるポインティング入力及び文字等の入力を夫々行う。上記各構成要素は、共通バス１００８により互いに通信可能に接続されている。

ＣＰＵ１００１はプロセッサの一例である。情報処理装置１００は、ＣＰＵ１００１に加えて、ＧＰＵやＦＰＧＡ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）の少なくともいずれかを有していてもよい。主メモリ１００２、磁気ディスク１００３はメモリの一例である。情報処理装置１００は、メモリとしてＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）を有していてもよい。

次に、図３のフローチャートを用いて、情報処理装置１００が行う全体の処理を説明する。図３は、情報処理装置１００が行う処理の一例を示すフローチャートである。本実施形態では、ＣＰＵ１００１が主メモリ１００２に格納されている各部の機能を実現するプログラムを実行することにより図３に示す処理が実現される。

なお、本実施形態では、第１の機械学習で用いるデータ（第１の医用データ群）と第２の機械学習で用いるデータ（第２の医用データ群と第３の医用データ群の和）でデータが重複しないようにする。これは、第１の機械学習と第２の機械学習の関係が独立ではないため、データが重複したことによる機械学習への影響を避けるためである。なお、本実施形態では第１の機械学習と第２の機械学習とで学習用データに重複がないようにする場合を例に説明するが、後述の変形例等に示すように、重複があってもよい。

ステップＳ３１０において、取得部１０２は、記憶部２００に要求を行い第１の医用データ群と第２の医用データ群を取得する。本実施形態では、第１の医用データ群として診断名が付与された複数の医用画像と、第２の医用データ群として画像所見の一つである全体形状が付与された複数の医用画像を取得する。ただし本実施形態では、第１の医用データ群は画像所見が付与されたデータを含まないこととする。診断名と全体形状の両方が付与された医用画像を、後述の第３の医用データ群とする。具体的には、取得部１０２は記憶部２００に、診断名が付与された複数の医用画像と、全体形状の画像所見が付与された複数の医用画像とを要求する。取得部１０２は、記憶部２００から取得したこれらのデータ群のうち、診断名が付与され、全体形状の画像所見が付与されていない複数の医用画像を第１の医用データ群として取得する。取得部１０２は、記憶部２００から取得したこれらのデータ群のうち、全体形状の画像所見が付与され、診断名が付与されていない複数の医用画像を第２の医用データ群として取得する。すなわち、第１のラベル（たとえば診断名）と第２のラベル（たとえば画像所見）とのうち、第１のラベルのみが付与されたデータ群が第１の医用データ群である。当該第１のラベルと当該第２のラベルとのうち、第２のラベルのみが付与されたデータ群が第２の医用データ群である。ステップＳ３１０は、第１の医用データ群と第２の医用データ群とを取得する取得工程の一例である。

ここで、診断名としては原発性肺癌、癌の肺転移、良性結節の３つのうちいずれかが付与されているものとする。画像所見とは医用画像の特徴を表現するものであり、たとえば文言で表現される。全体形状としては球形、楔形、不整形、平面状の４つのうちいずれかが付与されているものとする。また、第１の医用データ群のデータ数は第２の医用データ群のデータ数よりも多い（例えば５倍以上存在する）ものとする。

第１の医用データ群及び第２の医用データ群について示した数量は一例であり、必ずしもこの条件を満たす必要はない。第１の医用データ群及び第２の医用データ群についての数量の一例を示したが、第１の医用データ群と第３の医用データ群の和と、第２の医用データ群と第３の医用データ群の和とのデータ数ととらえてもよい。また、第１のラベルを有するデータのデータ数と第２のラベルを有するデータのデータ数との関係は、例えば前者が少数で後者が多数であってもよいし、両者が同程度の数であってもよい。

ステップＳ３２０において、選択部１０４は、ステップＳ３１０で記憶部２００から取得したデータ群のうち、診断名と全体形状の画像所見とが付与された複数の医用画像を第３の医用データ群として選択する。本実施形態では、診断名と全体形状の画像所見とがともに付与された全てのデータを第３の医用データ群として選択するものとする。すなわち第１のラベル（たとえば診断名）と第２のラベル（たとえば画像所見）とが付与されたデータ群が第３の医用データ群である。ステップＳ３２０の処理とステップＳ３１０の処理を統合して取得部１０２が行ってもよい。

ステップＳ３３０において、第１の機械学習部１０６は、ステップＳ３１０で取得した第１の医用データ群に基づいて、診断名を分類する第１の機械学習を行う。第１の機械学習は深層畳み込みニューラルネットワーク（ＤＣＮＮ：ＤｅｅｐＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）の学習をするものとする。ＤＣＮＮは一般に入力層と複数の畳み込み層と全結合層、出力層から構成される。以下では、全層数をＮで示し、出力層をＮ番目の層とする。ステップＳ３３０は、第１の医用データ群に基づいて第１の機械学習を行う第１の学習工程の一例である。

ステップＳ３４０において、第２の機械学習部１０８は、ステップＳ３１０で取得した第２の医用データ群と、ステップＳ３２０で選択した第３の医用データ群に基づいて、第２の機械学習を行う。第２の機械学習は、ステップＳ３３０で行った第１の機械学習結果に基づいて、画像所見を分類する機械学習である。第１の機械学習結果とは、たとえば第１の機械学習で学習されたパラメータや、当該パラメータに基づいて算出される出力値のことであり、以下では第１の機械学習におけるパラメータと称する。本実施形態では、第２の医用データ群と第３の医用データ群の和のデータを用いて、第１の機械学習結果をｆｉｎｅ―ｔｕｎｉｎｇすることにより第２の機械学習を行うものとする。すなわち第２の機械学習部１０８は、第２の機械学習においてＤＣＮＮの学習を行う。ＤＣＮＮにおけるｆｉｎｅ－ｔｕｎｉｎｇとは、第１のラベルを有するデータで学習したモデルの出力層を第２のラベルに適合するように入れ替え、学習済みのモデルのパラメータを初期値として、第２のラベルを有するデータで再学習を実施する手法のことを指す。この手法を用いると、初期値なしで学習を行うのに対して、少ないデータ数で同等の性能を達成することができる。ステップＳ３４０は、第１の機械学習におけるパラメータと前記第２の医用データ群とに基づいて第２の機械学習を行う第２の学習工程の一例である。

なお、機械学習の手法はＤＣＮＮに限定されない。第１の機械学習部１０６及び第２の機械学習部１０８は、ベイジアンネットワーク、サポートベクターマシン、ランダムフォレストなどの手法を用いて機械学習を行ってもよい。

図４は本実施形態におけるデータ群の関係とｆｉｎｅ―ｔｕｎｉｎｇの例を示した図である。全データ中の２つの円はそれぞれ、診断名が付与された複数の医用画像の集合（左）と、全体形状の画像所見が付与された複数の医用画像の集合（右）を表す。第１の医用データ群４１０（図４中の濃色部分）と第２の医用データ群４２０（図４中の淡色部分）はステップＳ３１０で取得した夫々のデータ群の模式図である。第３の医用データ群４３０はステップＳ３２０で選択されたデータ群であり、診断名と、全体形状の画像所見とが付与された複数の医用画像のデータ群である。

第１の機械学習部１０６は、第１の医用データ群４１０（図４中の濃色部分）で第１の機械学習を行う（ステップＳ３３０）。第２の機械学習部１０８は第１の機械学習部１０６と出力層（第Ｎ層）以外は同一のモデル構造を有し、第１の機械学習結果における第１層から第Ｎ－１層までのパラメータ４４０を初期値として有する。この時、第１の機械学習部の出力層４５０が診断名（第１のラベル）となっているのに対し、第２の機械学習部の出力層４６０は全体形状（第２のラベル）に置き換わっている。そして、第２の医用データ群と第３の医用データ群の和（図４中の淡色部分と図４中の斜線部分。すなわち右側の円で表されるデータ群）のデータで第２の機械学習を行う（ステップＳ３４０）。第１の機械学習結果を基に第２の機械学習を行うため、有効な第２の機械学習に必要なデータ数を抑えることができる。

実施形態１においては全体形状の画像所見が付与されたデータ群を用いて第２の機械学習を行う場合を例に説明するが、第２の機械学習は異なるそれぞれの画像所見ごとに行われてよい。すなわち、１つの機械学習（第１の機械学習）におけるパラメータを用いて、複数の転移学習（第２の機械学習）が行われてもよい。前述のように医用データ群においては、多数の種別の画像所見が用いられる一方、それぞれの画像所見が付与されたデータ群の数が少ない場合がある。１つの機械学習のパラメータに基づいて複数の転移学習を行うことは医用データ群を用いて機械学習を行う場合に特に有効である。

例えば、第１の医用データ群のデータ数が９０００、第２の医用データ群のデータ数が５００、第３の医用データ群のデータ数が１０００である場合を考える。ラベルが重複しているデータ（第３の医用データ群）を機械学習に使わないようにすると、第１の機械学習に用いる学習データのデータ数は９０００、第２の機械学習に用いる学習データのデータ数は５００となる。一方で、本実施形態の処理を行うと、第１の機械学習に用いる学習データの数は変わらず９０００、第２の機械学習に用いる学習データのデータ数は１５００となる。したがって、第２の機械学習に用いる学習データは、第１の機械学習に用いる学習データとラベルが重複しているデータを除く場合に比べて、データ数が３倍になる。一般に、機械学習ではデータ数が多いほど精度の高い学習ができるので、重複したデータを両者の機械学習に使わない場合に比べ、第２の機械学習の精度に正の影響が出ることが期待できる。

本実施形態では、第１のラベルと第２のラベルとのうち第１のラベルのみが付与された第１の医用データ群で第１の機械学習を行う。また、第１のラベルと第２のラベルとのうち第２のラベルのみが付与された第２の医用データ群と、第１のラベルと第２のラベルとが付与された第３の医用データ群とで第２の機械学習を行う。ラベル（第１のラベル、第２のラベル）が重複したデータを第２の機械学習のみに用いることで第２の機械学習に対するデータ数を増加させることができ、第１の機械学習に基づく第２の機械学習を適切に行うことが出来る。本実施形態の手法は、特に第２の医用データ群のデータ数が少ない場合に有効である。

（実施形態１の変形例１）
実施形態１では、ステップＳ３２０において、記憶部２００から取得したデータのうち、診断名と全体形状の画像所見とがともに付与されているデータを第３の医用データ群として選択していた。変形例１では、第１の医用データ群の一部に第２のラベルを付与することで第３の医用データ群を作成してもよい。あるいは、第１の医用データ群の一部に第２のラベルを付与し、第３の医用データ群に追加するようにしてもよい。なお、この処理は、情報処理装置１００が不図示の付与部１１２を有し、付与部１１２が第１の医用データ群の一部に第２のラベルを付与することにより行われる。また別の例では、選択部１０４は第１のラベルと第２のラベルとをともに付与されているデータ群の一部のデータ群を第３の医用データ群として選択してもよい。

例えば、第１の医用データ群のデータ数が９５００、第２の医用データ群のデータ数が５０００、初期の第３の医用データ群のデータ数が５００である場合を考える。この場合、本実施形態の処理を適用すると、第１の機械学習に用いる学習データのデータ数は９５００、第２の機械学習に用いる学習データのデータ数は１０００となる。ここで、初期の第１の医用データ群９５００のデータから５００のデータを選択して第２のラベルを付与し、第３の医用データ群に追加した場合を考える。この場合、第１の機械学習に用いる学習データのデータ数は９０００、第２の機械学習に用いる学習データのデータ数は１５００となる。つまり、処理を行う前と比べて、第１の機械学習に用いる学習データのデータ数は約９５％、第２の機械学習に用いる学習データのデータ数は１５０％となる。機械学習において、学習データのデータ数が９５％になってもほぼ負の影響が出ないと考えられるのに対して、１５０％になった場合は大きく正の影響が出ることが期待できる。

したがって、本変形例によれば、第２の医用データ群のデータ数が少ない場合でも、データを増やすことで第２の機械学習に対するデータ数を確保することができるため、第１の機械学習に基づく第２の機械学習を適切に行うことができる。

（実施形態１の変形例２）
実施形態１では、ステップＳ３４０において、第１の機械学習結果を転移（ｆｉｎｅ－ｔｕｎｉｎｇ）させることで第２の機械学習を行っていた。しかし、第２のラベルが付与されたデータ群のデータ数が所定値より多い場合には、第１の機械学習結果を転移するよりも通常の機械学習の方が高精度になることがあるため、転移を行わずに通常の機械学習を行うようにしてもよい。すなわち、第１の機械学習と第２の機械学習を独立に行うようにしてもよい。

例えば、第１のラベルが付与されたデータ群のデータ数に対する、第２のラベルが付与されたデータ群のデータ数の比率が０．５を超える場合は第１の機械学習結果を転移するよりも通常の機械学習が高精度になると判断する。もちろんこの比率は一例であり、他の値であっても構わない。また、比率を用いない他の方法により判断しても構わない。

本変形例によれば、第１の機械学習結果を転移するよりも通常の機械学習が高精度になると判断した場合は転移を行わないことで、第２の機械学習をより適切に行うことができる。本変形例は特にデータを継続的に収集する場合に有効である。

（実施形態１の変形例３）
実施形態１では、ステップＳ３３０とステップＳ３４０において、第１の機械学習と第２の機械学習で同一の手法を用いて機械学習を行っていたが、第１の機械学習と第２の機械学習で異なる手法を用いてもよい。例えば、第１の機械学習はＤＣＮＮを用い、第２の機械学習は、ＤＣＮＮの中間出力（第１の機械学習結果）を入力とするサポートベクターマシンを学習するようにしてもよい。もちろんこれらは一例であり、他の方法であっても構わない。

本変形例によれば、第１の機械学習と第２の機械学習の夫々で最適な手法を用いることで、第１の機械学習に基づく第２の機械学習をより適切に行うことができる。

（実施形態１の変形例４）
実施形態１では、ステップＳ３２０において第３の医用データ群を選択していた。しかし、これに限らず、第１のラベルが付与されたデータ群と第２のラベルが付与されたデータ群とで重複するデータが無いことが判明しているような場合には、ステップＳ３２０において第３の医用データ群を選択しなくてもよい。そして、第１の医用データ群と第２の医用データ群のみでステップＳ３３０とステップＳ３４０における学習を行うようにしてもよい。

本変形例によれば、第１の医用データ群と第２の医用データ群で重複するデータが無い場合でも第１の機械学習に基づく第２の機械学習を適切に行うことができる。特に、第１の医用データ群と第２の医用データ群を異なるデータソースから取得する場合に有効である。

＜実施形態２＞
実施形態２における情報処理装置５００は、第３の医用データ群のデータ数に基づき、第１の機械学習と第２の機械学習で第３の医用データ群を学習に用いるかどうかを判定する。

図５は、実施形態２における情報処理装置５００の機能構成の一例を示す図である。なお、図１と同一の符号が付与された構成部については、実施形態１との差異部分のみ説明する。

情報処理装置５００は、取得部１０２と、選択部１０４と、判定部５１０と、第１の機械学習部５０６と、第２の機械学習部５０８とを備える。判定部５１０は、第３の医用データ群のデータ数に基づき、第１の機械学習部５０６と第２の機械学習部５０８において、第３の医用データ群を学習に用いるかどうかを判定する。第１の機械学習部５０６は、判定に基づき決定されたデータで診断名を分類する第１の機械学習を行う。第２の機械学習部５０８は、第１の機械学習の結果に基づいて、判定に基づき決定されたデータで画像所見を分類する第２の機械学習を行う。

本実施形態における情報処理装置５００のハードウェア構成は、第一の実施形態における図２と同様である。

次に、図６のフローチャートを用いて、情報処理装置５００が行う全体の処理を説明する。なお、図３と同一の符号が付与された処理については第一の実施形態との差異部分のみ説明する。

ステップＳ６１０及びステップＳ６２０の処理は第一の実施形態におけるステップＳ３１０及びステップＳ３２０の処理と同様である。

ステップＳ６２５において、判定部５１０は、ステップＳ６２０で選択した第３の医用データ群のデータ数に基づいて、ステップＳ６３０とステップＳ６４０の第１の機械学習と第２の機械学習において第３の医用データ群を用いるかどうかを判定する。

本実施形態において判定部５１０は、第３の医用データ群のデータ数が所定値より多い場合には第１の機械学習では第３の医用データ群を用いないと判定し、第２の機械学習では第３の医用データ群を用いると判定する。すなわち、ステップＳ６３０とステップＳ６４０では実施形態１と同様の処理を行う。

判定部５１０は、第３の医用データ群のデータ数が所定値以下の場合には、ステップＳ６３０とステップＳ６４０で第３の医用データ群を用いないと判定するものとする。なお、この場合には第３の医用データ群は第１の機械学習手段と第２の機械学習手段の評価用データとして用いる。評価データを同一とすることで、第１の機械学習の精度と第２の機械学習の精度を同時に考慮した機械学習を行うことが出来る。

ステップＳ６３０において、第１の機械学習部５０６は、ステップＳ６１０で取得した第１の医用データ群に基づいて、診断名を分類する第１の機械学習を行う。なお、機械学習は実施形態１と同様にＤＣＮＮで行うものとし、説明は省略する。

ステップＳ６４０において、第２の機械学習部５０８は、ステップＳ６１０で取得した第２の医用データ群と、ステップＳ６２０で選択した第３の医用データ群に基づいて、ステップＳ６３０で行った第１の機械学習結果に基づき、画像所見を分類する第２の機械学習を行う。本実施形態では、ステップＳ６２５で第３の医用データ群を用いると判定された場合には実施形態１と同様に第２の医用データ群と第３の医用データ群の和のデータで学習を行う。一方、ステップＳ６２５で第３の医用データ群を用いないと判定された場合には、第２の医用データ群で学習を行う。なお、第２の機械学習は実施形態１と同様に、ＤＣＮＮを用いて第１の機械学習結果をｆｉｎｅ－ｔｕｎｉｎｇすることにより行うものとし、説明は省略する。

本実施形態では、第３の医用データ群のデータ数に基づき、第１の機械学習と第２の機械学習で第３の医用データ群を学習に用いるかどうかを判定する。第３の医用データ群の状態に応じて学習に用いるデータを柔軟に扱うことが出来るので、第１の機械学習に基づく第２の機械学習を適切に行うことが出来る。

（実施形態２の変形例１）
実施形態２では、ステップＳ６２５において、第３の医用データ群のデータ数に基づき、第１の機械学習と第２の機械学習で第３の医用データ群を学習に用いるかどうかを判定していた。しかし、第１の医用データ群のデータ数と第２の医用データ群のデータ数も考慮するようにしてもよい。より具体的には、第１の医用データ群のデータ数（｜Ｄ１｜）と第２の医用データ群のデータ数（｜Ｄ２｜）と第３の医用データ群のデータ数（｜Ｄ３｜）の比率に基づいて判定を行う。

例えば判定部５１０は、｜Ｄ３｜が第１の所定値以下の場合には、第１の機械学習と第２の機械学習で第３の医用データ群を用いないと判定する。

判定部５１０は、｜Ｄ３｜が第１の所定値より大きい場合には、以下のように比率に基づいて判定を行う。｜Ｄ３｜／｜Ｄ１｜が第２の所定値以下で、｜Ｄ３｜／｜Ｄ２｜が第２の所定値より大きい場合には、第１の医用データ群に対する第３の医用データ群の割合が小さく、第２の医用データ群に対する第３の医用データ群の割合が大きいことを示す。この場合、第３の医用データ群を用いないことによる第１の機械学習への影響は小さいと考えられる。一方で、第３の医用データ群を用いず第２の医用データ群のみで学習を行うことによる第２の機械学習への影響が大きいと考えられる。判定部５１０は、第１の機械学習では第３の医用データ群を用いないと判定し、第２の機械学習では第３の医用データ群を用いると判定する。この場合、第２のラベルを有するデータの数を増加させることができ、第２の機械学習をより適切に行うことができる。

｜Ｄ３｜／｜Ｄ１｜が第２の所定値以下で、｜Ｄ３｜／｜Ｄ２｜が第２の所定値以下の場合には、第１の医用データ群及び第２の医用データ群に対する第３の医用データ群の割合が小さいことを示す。この場合、第３の医用データ群を用いないことによる第１の機械学習及び第２の機械学習への影響は小さいと考えられる。したがって、判定部５１０は第１の機械学習と第２の機械学習両方で第３の医用データ群を用いないと判定する。このとき、上述のように第３の医用データ群を評価データとして用いてもよい。

｜Ｄ３｜／｜Ｄ１｜が第２の所定値より大きく、｜Ｄ３｜／｜Ｄ２｜が第２の所定値より大きい場合は、第１の医用データ群及び第２の医用データ群に対する第３の医用データ群の割合が大きいことを示す。この場合、第３の医用データ群を用いないことによる第１の機械学習及び第２の機械学習への影響は大きいと考えられる。ここで、第１の機械学習と第２の機械学習とで重複したデータを用いて学習を行うことによる、それぞれの機械学習への影響よりも、学習に用いるデータ数が低下することによるそれぞれの機械学習への影響が大きいと考えられる。したがって判定部５１０は、第１の機械学習と第２の機械学習両方で第３の医用データ群を用いると判定する。

｜Ｄ３｜／｜Ｄ１｜が第２の所定値より大きく、｜Ｄ３｜／｜Ｄ２｜が第２の所定値以下の場合は、第１の医用データ群に対する第３の医用データ群の割合が大きく、第２の医用データ群に対する第３の医用データ群の割合が小さいことを示す。すなわち、｜Ｄ１｜＜｜Ｄ２｜であるので判定部５１０は、第１の機械学習と第２の機械学習両方で第３の医用データ群を用いると共に、実施形態１の変形例２と同様に第２の機械学習は第１の機械学習結果を転移せず、通常の機械学習を行うと判定する。

すなわちステップＳ６２５は、第３の医用データ群のデータ数に基づいて、第３の医用データ群を第１の機械学習及び第２の機械学習の少なくともいずれか一方に用いるか否かを判定する判定工程の一例である。

本変形例によれば、第３の医用データ群に加えて第１の医用データ群と第２の医用データ群の状態に応じて学習に用いるデータを判定することができるので、第１の機械学習に基づく第２の機械学習をより適切に行うことができる。

（その他の実施形態）
上述の実施形態では、胸部Ｘ線ＣＴ画像における肺結節に関する学習を行う場合を例に説明したが、本発明はこれに限らない。また、対象とする医用画像は、ＣＴ装置、デジタルラジオグラフィ、ＭＲＩ（ＭａｇｎｅｔｉｃＲｅｓｏｎａｎｃｅＩｍａｇｉｎｇ）装置、ＳＰＥＣＴ（ＳｉｎｇｌｅＰｈｏｔｏｎＥｍｉｓｓｉｏｎＣＴ）装置、ＰＥＴ（ＰｏｓｉｔｒｏｎＥｍｉｓｓｉｏｎＴｏｍｏｇｒａｐｈｙ）装置、超音波診断装置、眼底カメラ、光音響装置といった撮影装置の少なくともいずれかを用いて取得された医用画像でもよい。対象とする病変は肺結節影に限らず、被検体のいかなる部位の病変であってよい。また、学習の対象は医療に限られず、例えば学習に用いる画像をカメラで撮影された画像とし、第１のラベルを画像のシーン、第２のラベルを画像中のオブジェクト（空、木など）の状態としてもよい。

上述の実施形態では、第２のラベルとして全体形状の画像所見を用いる例を説明したが、本発明はこれに限らない。たとえば第２のラベルは任意の画像所見であってよい。画像所見は、たとえば病変の全体の形状を示す全体形状、病変の大きさ、解剖学的構造の状態を示す所見（たとえば気管支透瞭像に関する所見）、病変の詳細な形状を示す所見（たとえば病変の切れ込み形状に関する所見、棘状突起に関する所見）等が挙げられる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の各実施形態における情報処理装置は、単体の装置として実現してもよいし、複数の装置を互いに通信可能に組合せて上述の処理を実行する形態としてもよく、いずれも本発明の実施形態に含まれる。共通のサーバ装置あるいはサーバ群で、上述の処理を実行することとしてもよい。情報処理装置及び情報処理システムを構成する複数の装置は所定の通信レートで通信可能であればよく、また同一の施設内あるいは同一の国に存在することを要しない。

本発明の実施形態には、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムのコードを読みだして実行するという形態を含む。

したがって、実施形態に係る処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の実施形態の一つである。また、コンピュータが読みだしたプログラムに含まれる指示に基づき、コンピュータで稼働しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

上述の実施形態を適宜組み合わせた形態も、本発明の実施形態に含まれる。

１００情報処理装置
１０２取得部
１０４選択部
１０６第１の機械学習部
１０８第２の機械学習部
５１０判定部
５１２付与部

Claims

第１のラベルと第２のラベルとのうち、前記第１のラベルのみが付与された第１の医用データ群と、前記第１のラベルと前記第２のラベルとのうち、前記第２のラベルのみが付与された第２の医用データ群と、前記第１のラベルと前記第２のラベルとが付与された第３の医用データ群と、を取得する取得工程と、
前記第１の医用データ群に基づいて第１の機械学習を行う第１の学習工程と、
前記第１の機械学習におけるパラメータと前記第２の医用データ群とに基づいて第２の機械学習を行う第２の学習工程と、前記第３の医用データ群のデータ数に基づいて、前記第３の医用データ群をさらに前記第１の機械学習および前記第２の機械学習の少なくとも一方に用いる工程と、
を有することを特徴とする情報処理方法。
前記第２の学習工程は、前記第３の医用データ群のデータ数に基づいて前記第２の機械学習を行うことを特徴とする請求項１に記載の情報処理方法。
前記第１の学習工程は、前記第３の医用データ群のデータ数に基づいて前記第１の機械学習を行う事を特徴とする請求項１又は請求項２のいずれか１項に記載の情報処理方法。
前記取得工程は、前記第１の医用データ群に含まれるデータに前記第２のラベルを付与することにより前記第３の医用データ群を取得することを特徴とする請求項１乃至請求項３のいずれか１項に記載の情報処理方法。
前記第２の学習工程は、前記第３の医用データ群のデータ数が第１の所定値より大きい場合に、前記第３の医用データ群を前記第２の機械学習に用いることを特徴とする請求項２に記載の情報処理方法。
前記第２の学習工程は、前記第３の医用データ群のデータ数が前記第１の所定値より大きく、前記第１の医用データ群のデータ数に対する前記第３の医用データ群のデータ数の割合が第２の所定値以下で、前記第２の医用データ群のデータ数に対する前記第３の医用データ群のデータ数の割合が第２の所定値より大きい場合に、前記第３の医用データ群を前記第２の機械学習に用いることを特徴とする請求項５に記載の情報処理方法。
前記第３の医用データ群のデータ数が第１の所定値より大きく、
前記第１の医用データ群のデータ数に対する前記第３の医用データ群のデータ数の割合と前記第２の医用データ群のデータ数に対する前記第３の医用データ群のデータ数の割合が第２の所定値より大きい場合には、前記第１の学習工程および前記第２の学習工程に、前記第３の医用データ群を用いることを特徴とする請求項５に記載の情報処理方法。
前記第３の医用データ群のデータ数に基づいて、前記第３の医用データ群を前記第１の機械学習及び前記第２の機械学習の少なくともいずれか一方に用いるか否かを判定する判定工程をさらに有することを特徴とする請求項１乃至請求項７のいずれか１項に記載の情報処理方法。
前記判定工程は、前記第１の医用データ群のデータ数に対する前記第３の医用データ群のデータ数の割合と、前記第２の医用データ群のデータ数に対する前記第３の医用データ群のデータ数の割合と、に基づいて前記第３の医用データ群を前記第１の機械学習及び前記第２の機械学習の少なくともいずれか一方に用いるか否かを判定することを特徴とする請求項８に記載の情報処理方法。
前記判定工程において前記第３の医用データ群を前記第１の機械学習及び第２の機械学習のいずれにおいても用いないと判定された場合、前記第１の学習工程及び前記第２の学習工程の少なくともいずれかの工程において、前記第３の医用データ群は機械学習の評価用データとして用いられることを特徴とする請求項８又は請求項９のいずれか１項に記載の情報処理方法。
第１のラベルと第２のラベルとのうち、前記第１のラベルのみが付与された第１の医用データ群と、前記第１のラベルと前記第２のラベルとのうち、前記第２のラベルのみが付与された第２の医用データ群と、前記第１のラベルと前記第２のラベルとが付与された第３の医用データ群と、を取得する取得工程と、
前記第２の医用データ群のデータ数が所定数より多いか否かを判定する判定工程と、
前記第１の医用データ群に基づいて第１の機械学習を行う第１の学習工程と、
前記第２のデータ数が所定数より多い場合に、前記第２の医用データ群に基づいて第２の機械学習を行い、
前記第２のデータ数が所定数以下の場合に、前記第１の機械学習におけるパラメータと前記第２の医用データ群とに基づいて第２の機械学習を行う第２の学習工程と、
前記第３の医用データ群のデータ数に基づいて、前記第３の医用データ群をさらに前記第１の機械学習および前記第２の機械学習の少なくとも一方に用いる工程と、
を有することを特徴とする情報処理方法。
前記取得工程は前記第１のラベルと前記第２のラベルとが付与された第３の医用データ群をさらに取得し、
前記判定工程は、前記第１の医用データ群のデータ数に対する前記第３の医用データ群のデータ数の割合と、前記第２の医用データ群のデータ数に対する前記第３の医用データ群のデータ数の割合と、に基づいて前記第３の医用データ群を前記第１の機械学習及び前記第２の機械学習の少なくともいずれか一方に用いるか否かを判定することを特徴とする請求項１１に記載の情報処理方法。
前記第１のラベルおよび前記第２のラベルはそれぞれ、医用画像の被検体の状態を表す医用情報であることを特徴とする請求項１乃至請求項１２のいずれか１項に記載の情報処理方法。
前記第１のラベルは診断名であり、前記第２のラベルは医用画像の特徴を表す画像所見であることを特徴とする、請求項１乃至請求項１３のいずれか１項に記載の情報処理方法。
第１のラベルと第２のラベルとのうち、前記第１のラベルのみが付与された第１の医用データ群と、前記第１のラベルと前記第２のラベルとのうち、前記第２のラベルのみが付与された第２の医用データ群と、前記第１のラベルと前記第２のラベルとが付与された第３の医用データ群と、を取得する取得手段と、
前記第１の医用データ群に基づいて第１の機械学習を行う第１の学習手段と、
前記第１の機械学習におけるパラメータと前記第２の医用データ群とに基づいて第２の機械学習を行う第２の学習手段と、を有し、
前記第３の医用データ群のデータ数に基づいて、前記第３の医用データ群をさらに前記第１の機械学習および前記第２の機械学習の少なくとも一方に用いることを特徴とする情報処理装置。
前記第２の学習手段は前記第３の医用データ群をさらに用いて前記第２の機械学習を行うことを特徴とする請求項１５に記載の情報処理装置。
前記第１の学習手段によって生成された第１の推論器に基づいて、前記第１のラベルに関する推論を行う第１の推論手段と、
前記第２の学習手段によって生成された第２の推論器に基づいて、前記第２のラベルに関する推論を行う第２の推論手段と、
を有することを特徴とする請求項１５又は請求項１６に記載の情報処理装置。
前記第２の推論器は、前記第１のラベルと前記第２のラベルとが付与された第３の医用データ群を学習用データとして機械学習された推論器であることを特徴とする請求項１７に記載の情報処理装置。
前記第１のラベルは診断名であり、前記第２のラベルは医用画像の特徴を表す画像所見であることを特徴とする請求項１７又は請求項１８に記載の情報処理装置。
第１のラベルと第２のラベルとのうち、前記第１のラベルのみが付与された第１の医用データ群と、前記第１のラベルと前記第２のラベルとのうち、前記第２のラベルのみが付与された第２の医用データ群と、前記第１のラベルと前記第２のラベルとが付与された第３の医用データ群と、を取得する取得手段と、
前記第１の医用データ群に基づいて第１の機械学習を行う第１の学習手段と、
前記第１の機械学習におけるパラメータと前記第２の医用データ群とに基づいて第２の機械学習を行う第２の学習手段と、を有し、
前記第３の医用データ群のデータ数に基づいて、前記第３の医用データ群をさらに前記第１の機械学習および前記第２の機械学習の少なくとも一方に用いることを特徴とする情報処理システム。
医用画像と、前記医用画像に付与された医用情報とを含むデータを記憶する記憶手段と、
前記記憶されているデータであって、第１のラベルと第２のラベルとのうち、前記第１のラベルのみが付与されたデータである第１の医用データ群に基づいて第１の機械学習を行う第１の学習手段と、
前記記憶されているデータであって、前記第１のラベルと前記第２のラベルとのうち、前記第２のラベルのみが付与されたデータである第２の医用データ群と、前記第１の機械学習におけるパラメータとに基づいて第２の機械学習を行う第２の学習手段と、を有し、
第１のラベルと第２のラベルとが付与された第３の医用データ群のデータ数に基づいて、前記第３の医用データ群をさらに前記第１の機械学習および前記第２の機械学習の少なくとも一方に用いることを特徴とする情報処理システム。
請求項１乃至請求項１４のいずれか１項に記載の情報処理方法をコンピュータに実行させるためのプログラム。