JP7700862B2 - 要約学習支援装置、要約学習支援方法及びプログラム - Google Patents

Description

本発明は、要約学習支援装置、要約学習支援方法及びプログラムに関する。

ニューラルネットワークを用いて要約文を生成するモデルの学習データとして、要約対象のソーステキストと正しい要約結果である要約データとのペアが一般的である。

一方で、ソーステキスト以外の入力パラメータ（以下、「クエリ」という。）が必要とされるモデルが有る（例えば、非特許文献１）。斯かるモデルによれば、クエリに即した要約文を生成することができる。斯かるモデルは、ソーステキスト、クエリ及び要約データ等のパラメータの組が学習データとされる。

他方において、要約文の生成方法には、抽出型と生成型とが有る。抽出型とは、ソーステキストに含まれている一部分がそのまま抽出される方法である。生成型とは、ソーステキストに含まれる単語等に基づいて、要約データが生成される方法である。以下、入力としてクエリを必要とし、生成型によって要約データを生成するモデルを「クエリ依存生成型モデル」という。

Gonc，alo M. Correia，Andre F. T. Martins、A Simple and Effective Approach to Automatic Post-Editing with Transfer Learning、Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 3050-3056、July 28 August 2, 2019.

ソーステキストと要約データとのペアで構成される学習データは多数存在するが、クエリ依存生成型モデルを学習するため、ソーステキスト以外の追加の入力パラメータを含む学習データは、不十分である。

本発明は、上記の点に鑑みてなされたものであって、追加の入力パラメータが必要とされる要約の学習を効率化することを目的とする。

そこで上記課題を解決するため、要約学習支援装置は、複数の文字列について、所定のモデルに基づいて第１の文書の要約の際に追加される入力パラメータとしての適切さを表すスコアを計算する計算部と、前記スコアに基づいて、前記複数の文字列の中から一部の文字列群を、文書の要約を生成する要約生成モデルの学習データを構成する前記入力パラメータとして選択する選択部と、を有し、前記スコアは、文書の本文と前記文書の標題を構成する文字列群との対応関係を学習済みのモデルに対して前記第１の文書の要約である第２の文書を入力した場合に当該モデルが出力候補の文字列の中から出力対象の文字列を選択するために前記出力候補の文字列ごとに計算するスコアである。

追加の入力パラメータが必要とされる要約の学習を効率化することができる。

第１の実施の形態における要約生成装置１０のハードウェア構成例を示す図である。 第１の実施の形態における要約生成装置１０の機能構成例を示す図である。 第１の実施の形態におけるクエリ有り学習データ生成部１１の構成例を示す図である。 第１の実施の形態におけるクエリ有り学習データの生成処理の処理手順の一例を説明するためのフローチャートである。 第２の実施の形態におけるクエリ有り学習データ生成部１１の構成例を示す図である。 第２の実施の形態におけるクエリ有り学習データの生成処理の処理手順の一例を説明するためのフローチャートである。 第３の実施の形態における要約生成モデルの学習及び要約の生成を説明するための図である。 第４の実施の形態における要約生成モデルの学習及び要約の生成を説明するための図である。

以下、図面に基づいて本発明の実施の形態を説明する。図１は、第１の実施の形態における要約生成装置１０のハードウェア構成例を示す図である。図１の要約生成装置１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、プロセッサ１０４、及びインタフェース装置１０５等を有する。

要約生成装置１０での処理を実現するプログラムは、ＣＤ－ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。プロセッサ１０４は、ＣＰＵ若しくはＧＰＵ（Graphics Processing Unit）、又はＣＰＵ及びＧＰＵであり、メモリ装置１０３に格納されたプログラムに従って要約生成装置１０に係る機能を実行する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。

図２は、第１の実施の形態における要約生成装置１０の機能構成例を示す図である。図２において、要約生成装置１０は、クエリ有り学習データ生成部１１、要約学習部１２及び要約部１３を有する。これら各部は、要約生成装置１０にインストールされた１以上のプログラムが、プロセッサ１０４に実行させる処理により実現される。

クエリ有り学習データ生成部１１は、入力として与えられるクエリ無し学習データ群に含まれる各クエリ無し学習データに基づいて、クエリ有り学習データを生成する。１つのクエリ無し学習データに対して１つのクエリ有り学習データが生成される。したがって、複数のクエリ無し学習データの集合であるクエリ無し学習データ群に対して、複数のクエリ有り学習データの集合であるクエリ有り学習データ群が生成される。クエリ無し学習データ及びクエリ有り学習データは、いずれも、文書の要約を生成するニューラルネットワーク等のモデル（以下、「要約生成モデル」という。）の学習データとして用いられるデータをいう。クエリ無し学習データは、クエリを構成要素として含まない点において、クエリ有り学習データと異なる。クエリとは、要約に関する追加情報として、要約対象の文書と共に要約生成モデルに入力されるテキスト（文字列）をいう。例えば、要約の焦点がクエリとされてもよい。

クエリ無し学習データは、｛ソーステキスト，要約テキスト｝の２つのテキストデータの組によって構成される学習データである。ソーステキストとは、要約対象の文書のテキストデータをいう。要約テキストとは、ソーステキストが要約された結果の正解を示すテキストデータをいう。

一方、クエリ有り学習データは、｛ソーステキスト，クエリ、要約テキスト｝の３つのテキストデータの組によって構成される学習データである。

要約学習部１２は、クエリ有り学習データを用いて要約生成モデルの学習を行う。

要約部１３は、要約対象のソーステキスト及び当該ソーステキストに対するクエリ等の入力を受け付けると、当該ソーステキスト及び当該クエリを学習済みの要約生成モデルへ入力することで、当該ソーステキストに対する当該クエリに応じた要約を要約生成モデルに生成させる。

クエリ有り学習データ生成部１１について更に詳しく説明する。図３は、第１の実施の形態におけるクエリ有り学習データ生成部１１の構成例を示す図である。図３において、クエリ有り学習データ生成部１１は、重要度計算部１１１、クエリ選択部１１２及びクエリ追加部１１３を有する。これら各部の機能については、図４を用いて詳細に説明する。

図４は、第１の実施の形態におけるクエリ有り学習データの生成処理の処理手順の一例を説明するためのフローチャートである。

ステップＳ１０１において、重要度計算部１１１は、クエリ無し学習データ群に含まれるクエリ無し学習データ（ソーステキスト及び要約テキストの組）ごとに、クエリの候補となる文字列の抽出元とする文書（以下、「抽出元文書」という。）を生成する。したがって、Ｎ個のクエリ無し学習データからＮ個の抽出元文書が生成される。

例えば、重要度計算部１１１は、クエリ無し学習データの以下の（ａ）～（ｄ）のいずれかを、当該クエリ無し学習データに基づく抽出元文書として生成する。
（ａ）ソーステキストと要約テキストを結合した文書（ソーステキスト及び要約テキストの双方を含む文書）
（ｂ）要約テキストのみ
（ｃ）ソーステキストのみ
（ｄ）（ａ）～（ｃ）のいずれかと、その他の付属情報テキスト（例えば、ソーステキストのタイトルなど）を結合した文書
続いて、重要度計算部１１１は、所定のモデルに基づいて、各抽出元文書を構成する所定単位の各文字列（例えば、単語）について、文書の要約の際に用いるクエリ（追加される入力パラメータ）としての適切さを表すスコアの一例として、これらの抽出元文書群における重要度を算出する（Ｓ１０２）。例えば、重要度計算部１１１は、所定のモデルとして、ＴＦ－ＩＤＦの計算モデルを用いる。この場合、重要度計算部１１１は、各単語のＴＦ－ＩＤＦを重要度として算出する。文書群に含まれる各単語のＴＦ－ＩＤＦの算出は、公知の方法を用いて行うことができる。なお、本実施の形態において、入力パラメータにおける「パラメータ」とは、例えば、ニューラルネットワーク等のモデルの学習用パラメータとは明確に区別される。入力パラメータは、モデルに対する入力として与えられるデータであるのに対し、学習用パラメータは、モデルの学習に応じて値が変化するデータである。一般的な例としては、入力パラメータは、テキストデータ等で与えられるのに対し、学習用パラメータは、数値データの集合等で表現される。

続いて、クエリ選択部１１２は、抽出元文書ごとに、当該抽出元文書を構成する所定単位の文字列（単語）の中から重要度の降順にＫ個の文字列を、当該抽出元文書に対応するクエリ無し学習データに対応するクエリとして選択する（Ｓ１０３）。なお、Ｋの値（Ｋ＞＝０）は、抽出元文書ごとにランダムに選択されてもよいし、全ての抽出元文書に対して同じであってもよい。また、各抽出元文書からのクエリの選択に際し、クエリ選択部１１２は、当該抽出元文書の要約テキストに含まれる単語のみをクエリとして選択するようにしてもよい。そうすることで、要約生成モデルについて、指定されたクエリを要約中に含むような学習をしやすくすることができる。

続いて、クエリ追加部１１３は、クエリ無し学習データごとに、当該クエリ無し学習データに基づく抽出元文書から選択されたＫ個の単語を、クエリとして当該クエリ無し学習データに追加することで、クエリ有り学習データを生成する（Ｓ１０４）。したがって、生成されるクエリ有り学習データは、クエリ無し学習データが含んでいたソーステキスト及び要約テキストと、当該クエリ無し学習データから抽出されたＫ個のクエリ（クエリ列）とを含むことになる。

上述したように、第１の実施の形態によれば、クエリを含んでいない学習データから、疑似的なクエリを生成することができる。したがって、追加の入力パラメータが必要とされる要約の学習を効率化することができる。

次に、第２の実施の形態について説明する。第２の実施の形態では第１の実施の形態と異なる点について説明する。第２の実施の形態において特に言及されない点については、第１の実施の形態と同様でもよい。

第２の実施の形態では、クエリ有り学習データ生成部１１の構成及びクエリ有り学習データ生成部１１が実行する処理手順が第１の実施の形態と異なる。

図５は、第２の実施の形態におけるクエリ有り学習データ生成部１１の構成例を示す図である。図５中、図３と同一又は対応する部分には、同一符号を付している。第２の実施の形態において、クエリ有り学習データ生成部１１は、重要度計算部１１１の代わりにクエリ生成モデル学習部１１４及びクエリ候補生成部１１５を有する。クエリ生成モデル学習部１１４は、クエリ無し学習データから１以上のクエリを生成するモデル（以下、「クエリ生成モデル」という。）を学習する。クエリ生成モデルは、例えば、ニューラルネットワーク等により構成される。クエリ生成モデル学習部１１４は、クエリ生成モデルの学習データの元となる学習用文書群を入力とする。学習用文書群は、複数の学習用文書の集合をいう。学習用文書とは、ｗｉｋｉｐｅｄｉａ等のようにインターネットにおいて公開されている百科事典や、新聞などのように、標題（見出し）と本文とを含むテキスト形式の文書データをいう。

クエリ候補生成部１１５は、学習済みのクエリ生成モデルに基づいて、クエリの候補を生成（出力）する。

図６は、第２の実施の形態におけるクエリ有り学習データの生成処理の処理手順の一例を説明するためのフローチャートである。

ステップＳ２０１において、クエリ生成モデル学習部１１４は、学習用文書群に含まれる学習用文書ごとに、クエリ生成モデルの学習データを生成する。具体的には、クエリ生成モデル学習部１１４は、各学習用文書の標題を、所定単位の文字列（例えば、単語）に分解（分割）する。したがって、例えば、学習用文書ごとに、標題を構成する単語列（以下、単に「単語列」という。）が生成される。この際、クエリ生成モデル学習部１１４は、ストップワードを削除した単語列を生成するようにしてもよい。クエリ生成モデル学習部１１４は、学習用文書ごとに、当該学習用文書の本文（パラグラフテキスト）と、当該本文に対応する標題から生成された単語列との組を学習データとして生成する。

続いて、クエリ生成モデル学習部１１４は、ステップＳ２０１において生成された学習データ群を用いて、クエリ生成モデルの学習を行う（Ｓ２０２）。具体的には、クエリ生成モデル学習部１１４は、各学習データの本文を入力とし、標題の単語列を出力とした場合における、当該本文と当該単語列との対応関係をクエリ生成モデルに学習させる。したがって、クエリ生成モデルは、或る文書の本文を入力すると、当該文書の標題に関連する単語列を出力するように学習される。なお、クエリ生成モデルは、例えば、公知のｅｎｃｏｄｅｒ－ｄｅｃｏｄｅｒモデルによって構成されてもよいし、公知の他の文生成モデルによって構成されてもよい。

続いて、クエリ候補生成部１１５は、クエリ無し学習データごとに、当該クエリ無し学習データの要約テキストを学習済みのクエリ生成モデルに入力して、当該クエリ生成モデルが出力する文字列群（単語列）を、当該クエリ無し学習データに対応するクエリ候補列として生成する（Ｓ２０３）。

この際、クエリ生成モデルがｅｎｃｏｄｅｒ－ｄｅｃｏｄｅｒモデルであれば、クエリ生成モデルは、クエリ無し学習データの入力に応じ、単語列を構成する各単語を逐次的に出力する。単語の逐次的な出力において、クエリ生成モデルは、自らの語彙（クエリ生成モデルの出力候補の単語の集合）を構成するＤ個の各単語について、出力候補の中から出力対象を選択するためのスコアを計算し、スコアが最大である単語を出力する。第２の実施の形態では、当該スコアが、文書の要約の際に用いるクエリ（追加される入力パラメータ）としての適切さを表すスコアの一例に相当する。

続いて、クエリ選択部１１２は、クエリ無し学習データごとに、当該クエリ無し学習データについてクエリ候補生成部１１５が生成したクエリ候補列の中からクエリとして利用する１以上の単語（クエリ列）を選択する（Ｓ２０４）。この際、クエリ選択部１１２は、クエリ候補列の全てをクエリ列として選択してもよいし、クエリ候補列の一部をクエリ列として選択してもよい。クエリ候補列の一部をクエリ列として選択する場合、クエリ選択部１１２は、クエリ候補列の先頭からＫ番目までの単語をクエリ列として選択してもよい。すなわち、クエリ生成モデルが逐次的に行う単語の出力のうち、Ｋ番目までの単語がクエリとして選択されてもよい。又は、ステップＳ２０３において、クエリ生成モデルからの逐次的な単語の出力回数がＫ回に抑制されてもよい。この場合、クエリ候補列は、Ｋ個の単語から構成されることになる。したがって、この場合、ステップＳ２０４では、クエリ候補列の全部がクエリ列として選択されればよい。

続いて、クエリ追加部１１３は、クエリ無し学習データごとに、当該クエリ無し学習データについて選択されたクエリ列を当該クエリ無し学習データに追加することで、クエリ有り学習データを生成する（Ｓ２０５）。

上述したように、第２の実施の形態によれば、第１の実施の形態と同様の効果を得ることができる。

次に、第３の実施の形態として、クエリ有り学習データを用いた要約生成モデルの学習、及び学習済みの要約生成モデルを用いた要約の生成に関する第１の例について説明する。なお、第３の実施の形態は、第１の実施の形態及び第２の実施の形態のいずれに対しても適用可能である。

図７は、第３の実施の形態における要約生成モデルの学習及び要約の生成を説明するための図である。図７において、要約部１３は、内容選択部１３１、エンコーダ１３２及びデコーダ１３３を含む。これら各部が要約生成モデルを構成する。

要約生成モデルの学習時において、要約学習部１２は、要約部１３に対して、クエリ有り学習データ群に含まれる学習データ（ソーステキスト、クエリ列、要約テキスト）ごとに、当該学習データのソーステキスト及びクエリ列を入力する。

内容選択部１３１は、当該ソーステキスト及び当該クエリ列を結合したテキスト（以下、「結合テキスト」という。）を構成する文字列（例えば、単語）ごとに、重要度を算出するモデル（例えば、ニューラルネットワーク）である。内容選択部１３１は、ＢＥＲＴやＭＡＳＳなどの事前学習済モデルをｆｉｎｅｔｕｎｅすることで構成されてもよい。なお、ＢＥＲＴについては、例えば、「https://arxiv.org/abs/1810.04805」等に詳しい。また、ＭＡＳＳについては、例えば、「https://arxiv.org/abs/1905.02450」等に詳しい。

内容選択部１３１は、結合テキストの中から重要度の降順にＮ個の単語列（重要語列）を抽出し、当該重要語列、入力として与えられたソーステキスト及びクエリ列をエンコーダ１３２へ入力する。この際、内容選択部１３１は、クエリ列、重要語列及びソーステキストを「クエリ列［ＳＥＰ］重要語列［ＳＥＰ］ソーステキスト」のように、［ＳＥＰ］などの特殊トークンで結合する。なお、Ｎの値は、クエリ等と共に内容選択部１３１に対する入力とされてもよい。

エンコーダ１３２及びデコーダ１３３は、例えば、ＢＥＲＴ又はＭＡＳＳ等の公知のｅｎｃｏｄｅｒ－ｄｅｃｏｄｅｒモデル（ニューラルネットワーク）である。

エンコーダ１３２は、入力されたテキストを符号化する。デコーダ１３３は、符号化結果に基づいて要約テキストを生成及び出力する。

要約学習部１２は、学習データに含まれる要約テキストと、デコーダ１３３が出力した要約テキストとの比較に基づいて、エンコーダ１３２及びデコーダ１３３の学習用パラメータを更新する。なお、当該比較及び学習用パラメータの更新は、公知技術に基づいて行われればよい。

学習が終了すると、要約部１３は、クエリ列及び入力テキストを入力とし、要約テキストを出力とする学習済みの要約生成モデルとして機能する。

なお、図７の要約部１３は、国際公開第２０２１／０６４９０７号に開示された技術を用いて構成されてもよい。

次に、第４の実施の形態として、クエリ有り学習データを用いた要約生成モデルの学習、及び学習済みの要約生成モデルを用いた要約の生成に関する第２の例について説明する。なお、第４の実施の形態は、第１の実施の形態及び第２の実施の形態のいずれに対しても適用可能である。

図８は、第４の実施の形態における要約生成モデルの学習及び要約の生成を説明するための図である。図８中、図７と同一又は対応する部分には同一符号を付している。図８において、要約部１３は、エンコーダ１３２及びデコーダ１３３を含む。これら各部が要約生成モデルを構成する。すなわち、第４の実施の形態の要約生成モデルは、内容選択部１３１を有さない。

要約生成モデルの学習時において、要約学習部１２は、要約部１３に対して、クエリ有り学習データ群に含まれる学習データ（ソーステキスト、クエリ列、要約テキスト）ごとに、当該学習データのソーステキスト及びクエリ列を入力する。この際、要約学習部１２は、クエリ列及びソーステキストを「クエリ列［ＳＥＰ］ソーステキスト」のように、［ＳＥＰ］などの特殊トークンで結合する。

エンコーダ１３２は、入力されたテキストを符号化する。デコーダ１３３は、符号化結果に基づいて要約テキストを生成及び出力する。

要約学習部１２は、学習データに含まれる要約テキストと、デコーダ１３３が出力した要約テキストとの比較に基づいて、エンコーダ１３２及びデコーダ１３３の学習用パラメータを更新する。なお、当該比較及び学習用パラメータの更新は、公知技術に基づいて行われればよい。

学習が終了すると、要約部１３は、クエリ列及び入力テキストを入力とし、要約テキストを出力とする学習済みの要約生成モデルとして機能する。

なお、第４及び第５の実施の形態において、要約部１３は、ｅｎｃｏｄｅｒ－ｄｅｃｏｄｅｒモデル以外の文生成モデルに基づいて構成されてもよい。

以上の実施形態に関し、更に以下の付記を開示する。

（付記項１）
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
複数の文字列について、所定のモデルに基づいて第１の文書の要約の際に追加される入力パラメータとしての適切さを表すスコアを計算し、
前記スコアに基づいて、前記複数の文字列の中から一部の文字列群を、文書の要約を生成する要約生成モデルの学習データを構成する前記入力パラメータとして選択する、
ことを特徴とする要約学習支援装置。

（付記項２）
複数の文字列について、所定のモデルに基づいて第１の文書の要約の際に追加される入力パラメータとしての適切さを表すスコアを計算し、
前記スコアに基づいて、前記複数の文字列の中から一部の文字列群を、文書の要約を生成する要約生成モデルの学習データを構成する前記入力パラメータとして選択する、
処理をコンピュータに実行させるプログラムを記録した記録媒体。

なお、上記各実施の形態において、要約生成装置１０は、要約学習支援装置の一例である。重要度計算部１１１又はクエリ候補生成部１１５（クエリ生成モデル）は、計算部の一例である。クエリ選択部１１２は、選択部の一例である。要約学習部１２は、学習部の一例である。

以上、本発明の実施の形態について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０ 要約生成装置
１１ クエリ有り学習データ生成部
１２ 要約学習部
１３ 要約部
１００ ドライブ装置
１０１ 記録媒体
１０２ 補助記憶装置
１０３ メモリ装置
１０４ プロセッサ
１０５ インタフェース装置
１１１ 重要度計算部
１１２ クエリ選択部
１１３ クエリ追加部
１１４ クエリ生成モデル学習部
１１５ クエリ候補生成部
１３１ 内容選択部
１３２ エンコーダ
１３３ デコーダ
Ｂ バス

Claims (6)

1. 複数の文字列について、所定のモデルに基づいて第１の文書の要約の際に追加される入力パラメータとしての適切さを表すスコアを計算する計算部と、
   前記スコアに基づいて、前記複数の文字列の中から一部の文字列群を、文書の要約を生成する要約生成モデルの学習データを構成する前記入力パラメータとして選択する選択部と、
   を有し、
   前記スコアは、文書の本文と前記文書の標題を構成する文字列群との対応関係を学習済みのモデルに対して前記第１の文書の要約である第２の文書を入力した場合に当該モデルが出力候補の文字列の中から出力対象の文字列を選択するために前記出力候補の文字列ごとに計算するスコアである、
   ことを特徴とする要約学習支援装置。
2. 前記スコアは、前記第１の文書と前記第１の文書の要約である第２の文書とのうちのいずれか一方又は双方を含む第３の文書を構成する複数の文字列のそれぞれについての前記第３の文書における重要度である、
   ことを特徴とする請求項１記載の要約学習支援装置。
3. 前記第１の文書及び前記文字列群と、前記第１の文書の要約である第２の文書とを含む学習データを用いて、前記要約生成モデルを学習する学習部、
   を有することを特徴とする請求項１又は２記載の要約学習支援装置。
4. 前記学習部により学習された前記要約生成モデルに対して、或る文書と前記或る文書の要約に関する文字列とを入力して、前記或る文書の要約を生成する要約部、
   を有することを特徴とする請求項３記載の要約学習支援装置。
5. 複数の文字列について、所定のモデルに基づいて第１の文書の要約の際に追加される入力パラメータとしての適切さを表すスコアを計算する計算手順と、
   前記スコアに基づいて、前記複数の文字列の中から一部の文字列群を、文書の要約を生成する要約生成モデルの学習データを構成する前記入力パラメータとして選択する選択手順と、
   をコンピュータが実行し、
   前記スコアは、文書の本文と前記文書の標題を構成する文字列群との対応関係を学習済みのモデルに対して前記第１の文書の要約である第２の文書を入力した場合に当該モデルが出力候補の文字列の中から出力対象の文字列を選択するために前記出力候補の文字列ごとに計算するスコアである、
   ことを特徴とする要約学習支援方法。
6. 請求項１乃至４いずれか一項記載の要約学習支援装置としてコンピュータを機能させることを特徴とするプログラム。

Images