JP7593473B2 - 互換性評価装置、互換性評価方法、及び、プログラム - Google Patents

Description

本開示は、予測器を評価する技術に関する。

ＡＩ（Artificial Intelligence）の運用においては、環境の変化などに対してＡＩの性能を適応、向上させるため、新たなデータを用いて再学習を行い、ＡＩを更新することが必須である。ＡＩを更新する際には、更新後のＡＩの精度が更新前より向上することが求められる。特許文献１は、機械学習により生成したモデルの更新に際し、モデルの改悪を低減する手法を開示している。また、特許文献２は、予測モデルの再学習時に、再学習の前後の予測モデルの構造の近さを、予測モデルの性質の近さとして評価する手法を開示している。

特開２０１９－２０４１９０号公報 国際公開ＷＯ２０１６／１５１６１８号公報

ＡＩの更新により精度が向上した場合であっても、更新の前後でＡＩの挙動が違ってくることがある。例えば、運用中のＡＩが正解できるデータを更新後のＡＩが正解できないという現象が起こりうる。この場合、更新後のＡＩの癖を把握するのにＡＩ運用者が労力や時間を費やす必要が生じたり、ＡＩの予測に対する業務運用に変更が必要となったりすることもある。

本開示の１つの目的は、予測器の互換性を評価する手法を提供することにある。

本開示の一つの観点では、互換性評価装置は、
評価データに対する第１の予測器及び第２の予測器の出力を取得する取得手段と、
前記第１の予測器の出力と前記第２の予測器の出力との関係を示す複数の関係式の組み合わせにより規定される一般化後方互換性指標を決定する指標決定手段と、
前記第１の予測器の出力と、前記第２の予測器の出力と、前記一般化後方互換性指標とを用いて、前記第１の予測器と前記第２の予測器との互換性を示すスコアを算出する演算手段と、を備える。

本開示の他の観点では、互換性評価方法は、
評価データに対する第１の予測器及び第２の予測器の出力を取得し、
前記第１の予測器の出力と前記第２の予測器の出力との関係を示す複数の関係式の組み合わせにより規定される一般化後方互換性指標を決定し、
前記第１の予測器の出力と、前記第２の予測器の出力と、前記一般化後方互換性指標とを用いて、前記第１の予測器と前記第２の予測器との互換性を示すスコアを算出する。

本開示のさらに他の観点では、プログラムは、
評価データに対する第１の予測器及び第２の予測器の出力を取得し、
前記第１の予測器の出力と前記第２の予測器の出力との関係を示す複数の関係式の組み合わせにより規定される一般化後方互換性指標を決定し、
前記第１の予測器の出力と、前記第２の予測器の出力と、前記一般化後方互換性指標とを用いて、前記第１の予測器と前記第２の予測器との互換性を示すスコアを算出する処理をコンピュータに実行させる。

本開示によれば、予測器の互換性を評価することができる。

更新前ＡＩと更新後ＡＩの評価データに対する予測結果の例を示す。 第１実施形態に係る互換性評価装置の全体構成を示すブロック図である。 第１実施形態に係る互換性評価装置のハードウェア構成を示すブロック図である。 第１実施形態に係る互換性評価装置の機能構成を示すブロック図である。 第１実施形態の互換性評価処理のフローチャートである。 第２実施形態に係る互換性評価装置の機能構成を示すブロック図である。 第２実施形態に係る互換性評価装置による処理のフローチャートである。

以下、図面を参照して、本開示の好適な実施形態について説明する。
＜互換性評価指標＞
（予測器の互換性）
新たなデータを用いてＡＩの更新（再学習）を行う場合、精度が向上するように更新を行うが、その際にＡＩの互換性が問題となる。互換性とは、更新前ＡＩの正解／不正解と、更新後ＡＩの正解／不正解との一致度合いを言う。

互換性を示す指標の１つとして、後方信頼互換（Backward Trust Compatibility；ＢＴＣ）スコア（以降、「ＢＴＣ」と呼ぶ。）がある。ＢＴＣは、更新前ＡＩが正解できるデータを、更新後ＡＩも正解できる割合を言い、ＢＴＣが高いと、互換性が高いとされる。

図１は、更新前ＡＩと、２つの更新後ＡＩの評価データに対する予測結果の例を示す。更新前ＡＩは現在運用中のＡＩである。２つの更新後ＡＩは、更新前ＡＩを再学習して得たＡＩであるが、ハイパーパラメータを変えるなどして生成した異なるＡＩである。図１において、チェックマークは予測結果が正解であることを示す。

図示のように、更新前ＡＩは、評価データ１～７のうち４つを正解しており、精度は４／７である。これに対し、第１の更新後ＡＩと第２の更新後ＡＩは共に精度が５／７であり、更新前ＡＩよりも精度が向上している。一方で、第１の更新後ＡＩは、更新前ＡＩが正解していた４つの評価データのうち星印（★）で示す３つの評価データを正解しており、ＢＴＣスコアは３／４である。これに対し、第２の更新後ＡＩは、更新前ＡＩが正解していた４つの評価データのうち２つしか正解できておらず、ＢＴＣスコアは２／４である。よって、２つの更新後ＡＩは精度が同一であるが、互換性（ＢＴＣスコア）が高い第１の更新後ＡＩの方が良いと評価される。

互換性を示す別の指標として、後方誤り互換（Backward Error Compatibility；ＢＥＣ）スコア（以降、「ＢＥＣ」と呼ぶ。）がある。ＢＥＣは、更新後ＡＩが間違えるデータを更新前ＡＩも間違える割合であり、ＢＥＣスコアが高いと、互換性が高いとされる。

このように、再学習によりＡＩを更新する際には、精度のみならず、更新前ＡＩとの互換性を考慮する必要がある。以下では、様々なタスクに適用することができる一般化後方互換性指標を提案する。

（一般化後方互換性指標）
一般化後方互換性指標は、前述のＢＴＣやＢＥＣなどの互換性指標を一般化した指標である。以下に、一般化後方互換性指標の例を説明する。

（第１例）
第１例は、最も基本的な一般化後方互換性指標の例である。予測器ｈ及び入出力の組（Ｘ，Ｙ）を、

とすると、第１例の一般化後方互換性（Generalized Backward Compatibility；ＧＢＣ）スコアは、以下のような線形分数指標により定義される。

上記の式（１）は、評価データに対する予測器ｈ_１の出力と予測器ｈ_２の出力との間の関係を示す４つの関係式ＣＣ（ｈ_１，ｈ_２）、ＥＣ（ｈ_１，ｈ_２）、ＩＣ_１（ｈ_１，ｈ_２）、ＩＣ_２（ｈ_１，ｈ_２）を含む。「ａ_０」、「ａ_００」、「ａ_０１」、「ａ_１０」、「ａ_１１」、「ｂ_０」、「ｂ_００」、「ｂ_０１」、「ｂ_１０」、「ｂ_１１」はそれぞれ係数（重み）である。

４つの関係式は以下の意味を有する。
・ＣＣ（Correct Compatibility）（ｈ_１，ｈ_２）は、全評価データのうち、予測器ｈ_１が正解を出力し、予測器ｈ_２が正解を出力する評価データが占める割合を示す。
・ＥＣ（Error Compatibility）（ｈ_１，ｈ_２）は、全評価データのうち、予測器ｈ_１が不正解を出力し、予測器ｈ_２が不正解を出力する評価データが占める割合を示す。
・ＩＣ_１（Imcompatibility-1）（ｈ_１，ｈ_２）は、全評価データのうち、予測器ｈ_１が正解を出力し、予測器ｈ_２が不正解を出力する評価データが占める割合を示す。
・ＩＣ_２（Imcompatibility-2）（ｈ_１，ｈ_２）は、全評価データのうち、予測器ｈ_１が不正解を出力し、予測器ｈ_２が正解を出力する評価データが占める割合を示す。

具体的に、上記４つの関係式は以下のように与えられる。

式（１）において、係数ａ_１１、ｂ_１０、ｂ_１１を「１」に設定し、他の係数を「０」に設定すると、式（１）のＧＢＣスコアはＢＴＣスコアと一致する。よって、上記のＧＢＣはＢＴＣを包含している。

また、式（１）において、係数ａ_００、ｂ_００、ｂ_１０を「１」に設定し、他の係数を「０」に設定すると、式（１）のＧＢＣスコアはＢＥＣスコアと一致する。よって、上記のＧＢＣはＢＥＣを包含している。

このように、上記の一般化後方互換性指標（ＧＢＣ）を利用すると、式（１）の係数（重み）を変更することにより、予測器のタスクに応じて適切な互換性指標を定義することができる。

次に、第１例のＧＢＣを用いたスコアの計算式の例を示す。いま、入力を以下のように設定する。

ＧＢＣスコアの推定値ＧＢＣ^∧は、以下の式で与えられる。なお、便宜上、文字「Ｘ」の上に「^∧」を付した記号を「Ｘ^∧」と表記する。

なお、各関係式ＣＣ^∧、ＥＣ^∧、ＩＣ_１ ^∧、ＩＣ_２ ^∧は、式（２）～（５）における期待値を標本平均に置き換え、以下の式で与えられる。

（第２例）
上記の第１例では、式（１）に示すように、４つの関係式ＣＣ、ＥＣ、ＩＣ_１、ＩＣ_２に対して係数（重み）を設定している。これに対し、第２例では予測器ｈ_１、ｈ_２が予測するクラスｙ毎に係数（重み）を設定する。第２例に係るＧＢＣスコアは以下の式で与えられる。

また、４つの関係式は以下のように与えられる。

なお、式（１１）において、ａ_１１＝ａ_１１，１＝・・・＝ａ_{１１，｜ｙ｜}というように重みを一定にすると、第１例の式（１）と一致する。

第２例のＧＢＣでは、線形分数式で表せる既存の様々な二値分類指標を後方互換性の文脈で構成することが可能となる。例えば、式（１１）に示すＧＢＣの重みを調整し、不均衡二値分類に有効な互換性指標を構成することができる。互換性を考慮しない場合、二値分類Ｙ∈｛０，１｝におけるＦ値（Ｙ＝１が正クラス、Ｙ＝０が負クラス）は以下のようになる。

このＦ値は、不均衡二値分類において、データが少ない正クラスを重視する精度の指標となる。

一方、互換性を考慮したＦ値（「ＢＣ－Ｆ」と呼ぶ。）は、ＧＢＣにおいて、ａ_１１，１＝ｂ_１１，１＝２、ｂ_１１，０＝ｂ_００，１＝１とし、残りの係数を「０」とすると、以下のようになる。

このＢＣ－Ｆ値は、不均衡二値分類において、データが少ない正クラスを重視する互換性の指標となる。このように、ＧＢＣの重みを調整することにより、様々な二値分類における互換性指標を生成することができる。

（第３例）
第３例は、第１例や第２例のような線形分数式以外の互換性指標の例である。二値分類において、更新前の予測器のスコアランキングが更新後の予測器でも一致して欲しいタスクを考える。予測器が実数を「－１」と「＋１」に割り当てるものとすると、以下のような互換性指標が得られる。

この互換性指標は、正解が「＋１」の評価データＸと、正解が「－１」の評価データＸ’を入力したときの更新前の予測器の出力の大小関係を示す関係式

と、更新後の予測器の出力の大小関係を示す関係式

を含み、更新前のＸ、Ｘ’に対する出力の大小関係が更新後にも維持される期待値がＧＢＣスコアとして得られる。即ち、ＧＢＣスコアは、入力に対する更新前後の予測器の出力傾向が一致しているか否かを示す値となる。この互換性指標では、ＡＵＣ（Area under the ROC curve）のような効果が見込まれる。

（回帰タスクへの適用）
上記の第１例及び第２例では、予測器が分類タスクを実行するものとしているが、回帰タスクを実行する予測器に対してもＧＢＣを適用することができる。その場合には、評価データに対して予測器が出力する予測値と、その評価データに対応する実績値との差が予め定めた閾値以下であれば予測値は正解であるとみなし、閾値より大きければ予測値は不正解であるとみなして、第１例又は第２例のＧＢＣを適用すればよい。

＜第１実施形態＞
［全体構成］
図２は、第１実施形態に係る互換性評価装置の全体構成を示すブロック図である。互換性評価装置１００は、２つの予測器の互換性を評価し、互換性スコアを出力する。図示のように、２つの予測器ｈ_１、ｈ_２には同一の評価データが入力される。典型的な例では、予測器ｈ_１は現在運用中の予測器、即ち、更新前予測器であり、予測器ｈ_２は更新後予測器である。

予測器ｈ_１及び予測器ｈ_２は、入力された評価データに対する予測値を互換性評価装置１００へ出力する。互換性評価装置１００は、上記の一般化後方互換性指標（ＧＢＣ）を用いて、予測器ｈ_１の出力と予測器ｈ_２の出力との互換性を示す互換性スコアを出力する。

［ハードウェア構成］
図３は、互換性評価装置１００のハードウェア構成を示すブロック図である。互換性評価装置１００は、インタフェース１０１と、プロセッサ１０２と、メモリ１０３と、記録媒体１０４と、入力部１０５と、表示部１０６とを備える。

インタフェース（ＩＦ）１０１は、予測器ｈ_１、ｈ_２から予測値を受け取る。また、ＩＦ１０１は、互換性評価装置１００が計算した互換性スコアを外部装置へ出力する。ＩＦは取得手段の一例である。

プロセッサ１０２は、ＣＰＵなどのコンピュータであり、予め用意されたプログラムを実行することにより、互換性評価装置１００の全体を制御する。なお、プロセッサ１０２は、ＧＰＵ又はＦＰＧＡ（Field-Programmable Gate Array）であってもよい。具体的に、プロセッサ１０２は、後述する互換性評価処理を実行する。

メモリ１０３は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などにより構成される。メモリ１０３には、一般化後方互換性指標の情報、指標番号毎の係数（重み）などが記憶される。また、メモリ１０３は、プロセッサ１０２による各種の処理の実行中に作業メモリとしても使用される。

記録媒体１０４は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、互換性評価装置１００に対して着脱可能に構成される。記録媒体１０４は、プロセッサ１０２が実行する各種のプログラムを記録している。互換性評価装置１００が処理を実行する際には、記録媒体１０４に記録されているプログラムがメモリ１０３にロードされ、プロセッサ１０２により実行される。

入力部１０５は、例えばキーボード、マウスなどであり、利用者が各種の指示、入力を行う際に使用される。表示部１０６は、例えば液晶表示装置などであり、利用者に各種の情報を表示する。

［機能構成］
図４は、互換性評価装置１００の機能構成を示すブロック図である。互換性評価装置１００は、機能面では、評価用指標決定部１１０と、スコア演算部１２０とを備える。評価用指標決定部１１０には、指標番号が入力される。指標番号は、互換性の評価に使用する互換性指標を指定する番号である。指標番号は、例えば更新の対象となる予測器のタスクなどに基づいて決定される。評価用指標決定部１１０は、入力された指標番号に基づいて、式（１）や式（１１）などに示す一般化後方互換性指標（ＧＢＣ）を基にして、実際に評価に使用する互換性指標（以下、「評価用指標」とも呼ぶ。）を決定し、スコア演算部１２０へ出力する。

指標番号は、式（１）に含まれる係数（重み）の組み合わせに対応付けて予め決定されている。例えば、互換性指標番号「１」がＢＴＣに対応する場合、互換性指標番号「１」に対しては、係数の組み合わせ「係数ａ_１１＝ｂ_１０＝ｂ_１１＝１、他の係数＝０」が予め対応付けされている。よって、利用者が互換性指標番号「１」を入力した場合、評価用指標決定部１１０は、「係数ａ_１１＝ｂ_１０＝ｂ_１１＝１、他の係数＝０」を式（１）に代入し、ＢＴＣスコアを示す評価用指標を生成する。

スコア演算部１２０は、決定された評価用指標を用いて、予測器ｈ_１、ｈ_２が出力した予測値から互換性スコアを算出し、出力する。例えば、スコア演算部１２０は、予測器が出力した予測値を式（７）～（１０）に代入して４つの関係式ＣＣ（ｈ_１，ｈ_２）、ＥＣ（ｈ_１，ｈ_２）、ＩＣ_１（ｈ_１，ｈ_２）、ＩＣ_２（ｈ_１，ｈ_２）の値を求め、それらを式（６）などの評価用指標に代入してＧＢＣスコアを計算し、出力する。

なお、評価用指標決定部１１０は指標決定手段の一例であり、スコア演算部１２０は演算手段の一例である。

［互換性評価処理］
図５は、互換性評価装置１００が実行する互換性評価処理のフローチャートである。この処理は、図３に示すプロセッサ１０２が予め用意されたプログラムを実行し、図４に示す各要素として動作することにより実現される。

まず、互換性評価装置１００は、利用者による指標番号の入力を受け取る（ステップＳ１１）。次に、評価用指標決定部１１０は、入力された指標番号に基づいて、評価用指標を決定する（ステップＳ１２）。例えば、評価用指標として前述した第１例又は第２例のＧＢＣを使用する場合、評価用指標決定部１１０は、指標番号に対応する各係数（重み）を取得し、式（１）又は式（１１）に代入して評価用指標を決定する。

次に、スコア演算部１２０は、評価データに対して予測器ｈ_１、ｈ_２が出力した予測値を取得し（ステップＳ１３）、ステップＳ１２で決定された評価用指標に入力して互換性スコア（ＧＢＣスコア）を算出し、出力する（ステップＳ１４）。こうして、予測器ｈ_１と予測器ｈ_２の互換性を示す互換性スコアが得られる。そして、処理は終了する。

［ユースケース］
ＧＢＣは、予測器の更新時にハイパーパラメータやシードが異なる複数の更新後予測器を生成した際に、それらの互換性を評価する指標として使用することができる。生成された複数の更新後予測器のうち、更新前予測器と互換性の高い予測器を選択することで、更新後のＡＩの挙動変化に伴う手続き変更などのコストを削減することができる。

また、季節性が原因となるようなデータの変化が発生した場合、ＧＢＣを用いて、過去の予測モデルの中に現在の予測モデルと互換性の高い予測モデルが無いかを調べることができる。現在の予測モデルと互換性が高く、かつ、精度の高い過去の予測モデルがある場合には、現在の予測モデルをその予測モデルに切り替えることにより、再学習のコストをかけることなく、その季節に適した予測モデルへの切り替えが可能となる。

また、ＡＩの運用時に、ビジネス側のＫＰＩ（Key Performance Indicator：重要業績評価指標）が変わった場合には、ＧＢＣを用いて、新しいＫＰＩが重視する項目（例えば正解したいクラス）などを重視した互換性指標を構築し、継続的なＡＩ運用に役立てることができる。

［ＧＢＣを活用した予測器の構築］
上記の例では、ＧＢＣを更新時などにおける予測器の互換性評価に使用しているが、その代わりに、ＧＢＣを予測器の学習において利用することもできる。この場合、予測モデルの学習時に、通常の学習時に用いる誤差関数にＧＢＣを正則化として加える。具体的には、既存の一般化二値分類指標と同様に、指示関数を損失関数（二乗損失やヒンジ損失）に置き換えることにより、ＧＢＣの上界を構成することができる。そして、構成した上界と通常の二値分類の誤差関数を合わせたものを最小化するように予測モデルを学習する。更新前の予測器と追加収集したデータを入力とし、ＧＢＣを正則化にすることで、対象タスクに適した後方互換性の高い新たな予測器を構築することができる。

＜第２実施形態＞
次に、本開示の第２実施形態について説明する。図６は、第２実施形態に係る互換性評価装置７０の機能構成を示すブロック図である。互換性評価装置７０は、取得手段７１と、指標決定手段７２と、演算手段７３とを備える。

図７は、互換性評価装置７０による処理のフローチャートである。取得手段７１は、評価データに対する第１の予測器及び第２の予測器の出力を取得する（ステップＳ４１）。指標決定手段７２は、第１の予測器の出力と第２の予測器の出力との関係を示す複数の関係式の組み合わせにより規定される一般化後方互換性指標を決定する（ステップＳ４２）。演算手段７３は、第１の予測器の出力と、第２の予測器の出力と、一般化後方互換性指標とを用いて、第１の予測器と第２の予測器との互換性を示すスコアを算出する（ステップＳ４３）。

第２実施形態の互換性評価装置７０によれば、予測器のタスクに応じた適切な互換性指標を用いて、予測器の互換性を評価することができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
評価データに対する第１の予測器及び第２の予測器の出力を取得する取得手段と、
前記第１の予測器の出力と前記第２の予測器の出力との関係を示す複数の関係式の組み合わせにより規定される一般化後方互換性指標を決定する指標決定手段と、
前記第１の予測器の出力と、前記第２の予測器の出力と、前記一般化後方互換性指標とを用いて、前記第１の予測器と前記第２の予測器との互換性を示すスコアを算出する演算手段と、
を備える互換性評価装置。

（付記２）
前記一般化後方互換性指標は、重み付けされた複数の関係式の四則演算により表される付記１記載の互換性評価装置。

（付記３）
互換性指標の指定を受け取る指定手段を備え、
前記指標決定手段は、前記指定に基づいて前記複数の関係式の各々に対する重みを設定して、前記一般化後方互換性指標から評価用指標を決定し、
前記演算手段は、前記評価用指標を用いて前記スコアを算出する付記２に記載の互換性評価装置。

（付記４）
前記関係式は、
前記第１の予測器の出力と前記第２の予測器の出力が共に正解である割合を示す第１式と、
前記第１の予測器の出力と前記第２の予測器の出力が共に不正解である割合を示す第２式と、
前記第１の予測器の出力が不正解であり、前記第２の予測器の出力が正解である割合を示す第３式と、
前記第１の予測器の出力が正解であり、前記第２の予測器の出力が不正解である割合を示す第４式と、を含む付記１乃至３のいずれか一項に記載の互換性評価装置。

（付記５）
前記第１の予測器及び前記第２の予測器は回帰分析を行い、
前記演算手段は、前記第１の予測器及び前記第２の予測器の出力である予測値と、当該予測値に対応する実績値との差が所定の閾値以下である場合、当該出力は正解であるとみなし、前記差が前記閾値より大きい場合、当該出力は不正解であるとみなす付記４に記載の互換性評価装置。

（付記６）
前記関係式は、２つの評価データに対する前記第１の予測器の出力の大小関係、及び、前記２つの評価データに対する前記第２の予測器の出力の大小関係を示し、
前記演算手段は、前記第１の予測器の出力の大小関係と、前記第２の予測器の出力の大小関係とが一致する期待値を前記スコアとして算出する付記１に記載の互換性評価装置。

（付記７）
評価データに対する第１の予測器及び第２の予測器の出力を取得し、
前記第１の予測器の出力と前記第２の予測器の出力との関係を示す複数の関係式の組み合わせにより規定される一般化後方互換性指標を決定し、
前記第１の予測器の出力と、前記第２の予測器の出力と、前記一般化後方互換性指標とを用いて、前記第１の予測器と前記第２の予測器との互換性を示すスコアを算出する互換性評価方法。

（付記８）
評価データに対する第１の予測器及び第２の予測器の出力を取得し、
前記第１の予測器の出力と前記第２の予測器の出力との関係を示す複数の関係式の組み合わせにより規定される一般化後方互換性指標を決定し、
前記第１の予測器の出力と、前記第２の予測器の出力と、前記一般化後方互換性指標とを用いて、前記第１の予測器と前記第２の予測器との互換性を示すスコアを算出する処理をコンピュータに実行させるプログラムを記録した記録媒体。

以上、実施形態及び実施例を参照して本開示を説明したが、本開示は上記実施形態及び実施例に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。

１００ 互換性評価装置
１０１ インタフェース
１０２ プロセッサ
１０３ メモリ
１０４ 記録媒体
１０５ 入力部
１０６ 表示部
１１０ 評価用指標決定部
１２０ スコア演算部

Claims (8)

1. 評価データに対する第１の予測器及び第２の予測器の出力を取得する取得手段と、
   前記第１の予測器の出力と前記第２の予測器の出力との関係を示す複数の関係式の組み合わせにより規定される一般化後方互換性指標を決定する指標決定手段と、
   前記第１の予測器の出力と、前記第２の予測器の出力と、前記一般化後方互換性指標とを用いて、前記第１の予測器と前記第２の予測器との互換性を示すスコアを算出する演算手段と、
   を備える互換性評価装置。
2. 前記一般化後方互換性指標は、重み付けされた複数の関係式の四則演算により表される請求項１記載の互換性評価装置。
3. 互換性指標の指定を受け取る指定手段を備え、
   前記指標決定手段は、前記指定に基づいて前記複数の関係式の各々に対する重みを設定して、前記一般化後方互換性指標から評価用指標を決定し、
   前記演算手段は、前記評価用指標を用いて前記スコアを算出する請求項２に記載の互換性評価装置。
4. 前記関係式は、
   前記第１の予測器の出力と前記第２の予測器の出力が共に正解である割合を示す第１式と、
   前記第１の予測器の出力と前記第２の予測器の出力が共に不正解である割合を示す第２式と、
   前記第１の予測器の出力が不正解であり、前記第２の予測器の出力が正解である割合を示す第３式と、
   前記第１の予測器の出力が正解であり、前記第２の予測器の出力が不正解である割合を示す第４式と、を含む請求項１乃至３のいずれか一項に記載の互換性評価装置。
5. 前記第１の予測器及び前記第２の予測器は回帰分析を行い、
   前記演算手段は、前記第１の予測器及び前記第２の予測器の出力である予測値と、当該予測値に対応する実績値との差が所定の閾値以下である場合、当該出力は正解であるとみなし、前記差が前記閾値より大きい場合、当該出力は不正解であるとみなす請求項４に記載の互換性評価装置。
6. 前記関係式は、２つの評価データに対する前記第１の予測器の出力の大小関係、及び、前記２つの評価データに対する前記第２の予測器の出力の大小関係を示し、
   前記演算手段は、前記第１の予測器の出力の大小関係と、前記第２の予測器の出力の大小関係とが一致する期待値を前記スコアとして算出する請求項１に記載の互換性評価装置。
7. コンピュータにより実行される互換性評価方法であって、
   評価データに対する第１の予測器及び第２の予測器の出力を取得し、
   前記第１の予測器の出力と前記第２の予測器の出力との関係を示す複数の関係式の組み合わせにより規定される一般化後方互換性指標を決定し、
   前記第１の予測器の出力と、前記第２の予測器の出力と、前記一般化後方互換性指標とを用いて、前記第１の予測器と前記第２の予測器との互換性を示すスコアを算出する互換性評価方法。
8. 評価データに対する第１の予測器及び第２の予測器の出力を取得し、
   前記第１の予測器の出力と前記第２の予測器の出力との関係を示す複数の関係式の組み合わせにより規定される一般化後方互換性指標を決定し、
   前記第１の予測器の出力と、前記第２の予測器の出力と、前記一般化後方互換性指標とを用いて、前記第１の予測器と前記第２の予測器との互換性を示すスコアを算出する処理をコンピュータに実行させるプログラム。

Images