JP2023168024A

JP2023168024A - 情報処理装置及び情報処理方法

Info

Publication number: JP2023168024A
Application number: JP2022079628A
Authority: JP
Inventors: 康人星; yasuto Hoshi; 大輔宮下; Daisuke Miyashita; 淳出口; Atsushi Deguchi
Original assignee: Kioxia Corp
Current assignee: Kioxia Corp
Priority date: 2022-05-13
Filing date: 2022-05-13
Publication date: 2023-11-24
Also published as: TWI852325B; TW202349258A; EP4276654A1; CN117056469A; DE102023106213A1; US12585878B2; US20230367965A1

Abstract

【課題】機械学習のタスクの精度を向上する情報処理装置及び情報処理方法を提供する。
【解決手段】情報処理装置において、検索システム２００は、複数の文書に関する複数の第１のデータアイテムＤｃ及び質問に関する第２のデータアイテムＱｓを受け、データアイテムＤｃ、Ｑｓを処理する抽出モジュールと、類似度計算部と、を含む。抽出モジュールは、第１のデータアイテムＤｃの夫々から複数の第１の固有表現ｄＮＥを抽出し、第２のデータアイテムＱｓから第２の固有表現ｑＮＥを抽出し、第１のデータアイテムの夫々と対応する複数の第１の固有表現の夫々とに関する複数の第１のベクトルＫＶを生成し、第２のデータアイテムと第２の固有表現とに関する第２のベクトルＱＶを生成する。類似度計算部は、ベクトルＫＶ、ＱＶ間の類似度を計算し、類似度の計算結果に基づいて、複数の第１のデータアイテム中から回答に関する第３のデータアイテムＲＲを取得する。
【選択図】図２

Description

本発明の実施形態は、情報処理装置及び情報処理方法に関する。

機械学習に関する方法、デバイス、及びシステムが、研究及び提案されている。例えば、機械学習の各種のタスクの精度の向上のために、様々な計算手法、処理手法、システムの構成、及びデバイスの構成が、研究及び提案されている。機械学習を用いた情報の検索において、入力データである質問に関する情報をデータベースの中から検索するタスクがある。このタスクにおいて、未知の質問に対する回答に関する情報の検索の精度が低い場合がある。そのため、機械学習を用いた情報の検索の精度の向上が求められている。

特開２０２０－１４０４３５号特開２０２１－９９８０３号特開２０１９－１６４４０９号

機械学習のタスクの精度を向上する情報処理装置及び情報処理方法を提供する。

本実施形態の情報処理装置は、複数の文書に関する複数の第１のデータアイテム及び質問に関する第２のデータアイテムを受けるインターフェース回路と、前記インターフェース回路が受けた前記複数の第１のデータアイテム及び前記第２のデータアイテムを処理するプロセッサと、を含み、前記プロセッサは、前記複数の第１のデータアイテムのそれぞれから複数の第１の固有表現を抽出し、前記第２のデータアイテムから第２の固有表現を抽出し、前記複数の第１のデータアイテムのそれぞれと対応する前記複数の第１の固有表現のそれぞれとに関する複数の第１のベクトルを、それぞれ生成し、前記第２のデータアイテムと前記第２の固有表現とに関する第２のベクトルを生成し、前記複数の第１のベクトルのそれぞれと前記第２のベクトルとの間の類似度を計算し、前記類似度の計算結果に基づいて、前記複数の第１のデータアイテムの中から検索された回答に関する第３のデータアイテムを取得する。

実施形態の情報処理装置の構成例を示すブロック図。実施形態の情報処理装置の検索システムの構成例を示すブロック図。実施形態の情報処理装置の検索システムの一部の構成例を示すブロック図。実施形態の情報処理装置の検索システムの他の一部の構成例を示すブロック図。実施形態の情報処理装置の検索システムを説明するための模式図。実施形態の情報処理方法を示すフローチャート。実施形態の情報処理方法の一部を説明するための模式図。実施形態の情報処理方法の他の一部を説明するための模式図。実施形態の情報処理方法を示すフローチャート。実施形態の情報処理方法の一部を説明するための模式図。実施形態の情報処理方法の他の一部を説明するための模式図。実施形態の情報処理方法の更に他の一部を説明するための模式図。実施形態の情報処理方法の更に他の一部を説明するための模式図。実施形態の情報処理装置の特性を示すグラフ。実施形態の情報処理装置の変形例を説明するための模式図。

以下、図１乃至図１５を参照しながら、実施の形態について詳細に説明する。以下の説明において、同一の機能及び構成を有する要素については、同一符号を付す。
また、以下の各実施形態において、末尾に区別化のための数字／英字を伴った参照符号を付された構成要素（例えば、回路、配線、各種の電圧及び信号など）が、相互に区別されなくとも良い場合、末尾の数字／英字が省略された記載（参照符号）が用いられる。

（１）実施形態
図１乃至図１４を参照して、実施形態の情報処理装置、及び、実施形態の情報処理方法について、説明する。尚、実施形態の情報処理方法は、実施形態の情報処理装置の制御方法を含み得る。

（ａ）構成
図１乃至図５を参照して、実施形態の情報処理装置の構成及び機能について、説明する。

図１は、本実施形態の情報処理装置１の構成例を説明するための模式図である。

実施形態の情報処理装置１は、各種の情報処理を実行できる。情報処理装置１は、例えば、自然言語処理を実行可能な人工知能（ＡＩ）の機能を有する。

情報処理装置１は、機械学習に基づいた各種の処理及びタスクを実行できる。例えば、情報処理装置１は、教師有り又は教師無しの学習データを用いた深層学習を実行可能に構成されている。

情報処理装置１は、プロセッサ１１、メモリ１２、ストレージ１３、及びユーザーインターフェース１４を含む。

プロセッサ１１は、情報処理装置１の各種の処理及びタスクの実行のための制御処理及び計算処理を、行う。プロセッサ１１は、メモリ１２、ストレージ１３、及びユーザーインターフェース１４を、制御できる。例えば、プロセッサ１１は、各種の制御処理、各種の計算処理及び各種のタスクなどを実行する処理部２００を含む。
プロセッサ１１は、レジスタ、キャッシュ及びＲＯＭ（Read only memory）などを含む記憶領域１１１を含む。

また、プロセッサ１１は、インターフェース部１１９を含む。インターフェース部１１９は、メモリ１２、ストレージ１３及びユーザーインターフェース１４から各種のデータアイテムを受けることができる。インターフェース部１１９は、受け取ったデータアイテムを、記憶領域１１１及び（又は）処理部２００に送ることができる。インターフェース部１１９は、例えば、処理部２００によって実行された処理の結果のような、プロセッサ１１の処理結果のデータアイテムを、メモリ１２、ストレージ１３及びユーザーインターフェース１４に送ることができる。インターフェース部１１９は、これらの処理のための複数のデバイス及び回路などを含み得る。

メモリ１２は、各種の情報及び各種のデータアイテムを一時的に記憶する。
メモリ１２は、ＲＡＭ（Random access memory）１２１及びＲＯＭ１２２を含む。

ＲＡＭ１２１は、ＳＲＡＭ（Static RAM）及びＤＲＡＭ（Dynamic RAM）などを含む。ＲＡＭ１２１は、情報処理装置１に用いられる各種のデータアイテム及びソフトウェアなどを、一時的に記憶する。ＲＡＭ１２１は、情報処理装置１におけるワークメモリ及びバッファメモリとして機能する。ＲＡＭ１２１は、データアイテムの取得のために、プロセッサ１１にアクセスされ得る。

ＲＯＭ１２２は、情報処理装置１に用いられるオペレーティングシステム（ＯＳ）、ファームウェア、各種のソフトウェア及び各種のデータアイテムを実質的に不揮発に記憶する。ＲＯＭ１２２は、データアイテムの取得のために、プロセッサ１１にアクセスされ得る。

例えば、データアイテムは、処理の対象であるユーザーデータ、各種のシステム及びデバイスに用いられる設定データ、各種の処理に用いられるパラメータ、及びソフトウェアの一部などを含む。例えば、ソフトウェアは、実行プログラム、ファームウェア、アプリケーション及びオペレーティングシステム（ＯＳ）を含み得る。データアイテム及び（又は）ソフトウェアは、各種のシステム及びデバイスに用いられる情報に相当し得る。

ストレージ１３は、各種の情報及び各種のデータアイテムを実質的に不揮発に記憶できる。ストレージ１３は、複数のデータベース１３１，１３２を含む。

ストレージ１３は、例えば、ＳＳＤ（Solid state drive）、ＵＦＳ（Universal Flash Storage）デバイス又はＨＤＤ（Hard disc drive）である。ストレージ１３がＳＳＤ又はＵＦＳデバイスである場合、ストレージ１３は、コントローラ及び不揮発性半導体メモリデバイスを含む。ＳＳＤに用いられる不揮発性半導体メモリデバイスは、ＮＡＮＤ型フラッシュメモリである。不揮発性半導体メモリデバイスが、ＮＡＮＤ型フラッシュメモリである場合、不揮発性半導体メモリデバイスは、ＴｏｇｇｌｅＤＤＲインターフェース規格又はＯＮＦｉ（Open NAND Flash interface）規格に基づいて、コントローラと通信する。コントローラは、読み出しシーケンス、書き込みシーケンス、消去シーケンス及びガベージコレクションのような各種の動作を、不揮発性半導体メモリデバイスに命令する。不揮発性半導体メモリデバイスは、コントローラからの命令に基づいて、各種の動作を実行する。

尚、本実施形態の情報処理装置１において、ストレージ１３は、プロセッサ１１と直接的又は間接的に通信が可能であれば、１つの筐体（図示せず）内に設けられていてもよいし、互いに異なる筐体内に設けられていてもよい。プロセッサ１１及びストレージ１３は、直接的又は間接的に互いに通信が可能であれば、同じ国又は地域に設置されていてもよいし、互いに異なる国又は地域に設置されていてもよい。

ユーザーインターフェース１４は、情報処理装置１のユーザーとプロセッサ１１との間の通信のための複数のデバイス及び回路などを含み得る。ユーザーインターフェース１４は、入力デバイス及び出力デバイスを含む。入力デバイスは、例えば、タッチパネル、キーボード、操作ボタン及び（又は）マイクなどを含む。出力デバイスは、例えば、ディスプレイ、プリンタ及び（又は）スピーカーなどを含む。

ユーザーインターフェース１４は、入力デバイスを介してユーザーからの各種の処理及び（又は）タスクの実行の要求をプロセッサ１１に供給する。ユーザーインターフェース１４は、出力デバイスを介して各種の処理及び（又は）タスクの実行の結果をユーザーに提供する。ユーザーインターフェース１４は、各種の処理及び（又は）タスクの実行の途中経過をユーザーに提供することもできる。

ユーザーインターフェース１４は、各種のデータアイテムを、プロセッサ１１、メモリ１２及びストレージ１３を送ることができる。ユーザーインターフェース１４は、各種のデータアイテムを、プロセッサ１１、メモリ１２及びストレージ１３から受けることができる。

情報処理装置１は、無線又は有線のネットワークを介して、他のデバイス９と通信してもよい。例えば、処理及び（又は）タスクの実行の要求が、デバイス９から情報処理装置１に供給されてもよい。処理及び（又は）タスクの実行の結果が、情報処理装置１からデバイス９に供給されてもよい。デバイス９は、コンピュータデバイス又は携帯デバイスである。コンピュータデバイスの一例は、パーソナルコンピュータ又はサーバコンピュータである。携帯デバイスの一例は、スマートフォン、フィーチャーフォン、又はタブレットデバイスである。

本実施形態の情報処理装置１は、深層学習を用いた文書検索を実行するシステムである処理部２００を含む。以下において、深層学習を用いた文書検索を実行するシステムである処理部２００は、検索システム２００とよばれる。

検索システム２００は、プロセッサ１１上において、ソフトウェア、ハードウェア、又は、ソフトウェアとハードウェアとの組み合わせによって実現され得る。
これによって、本実施形態の情報処理装置１において、プロセッサ１１は、文書の検索のための検索タスクの各種の処理及び動作を実行する。以下において、検索タスクは、検索処理ともよばれる。

図２は、本実施形態の情報処理装置１における、検索システム２００を説明するための模式的なブロック図である。

図２に示されるように、本実施形態の情報処理装置１において、検索システム２００は、深層学習に基づく文書の検索タスクを実行する。検索システム２００は、検索タスクによって、質問Ｑｓに対して、知識源としてのデータベース１３１に格納された複数の文書Ｄｃの中から回答となる１つ以上の文書Ｄｃを、選択及び提示する。

質問Ｑｓは、自然言語の１つ以上の文を含むデータアイテムである。質問Ｑｓは、質問データアイテムともよばれる。例えば、質問Ｑｓは、ユーザーインターフェース１４を介して、情報処理装置１の外部（例えば、ユーザー）から検索システム２００に供給される。

データベース１３１に格納された複数の文書Ｄｃのそれぞれは、自然言語の１つ以上の文を含むデータアイテムである。文書Ｄｃは、文書データアイテムともよばれる。例えば、複数の文書Ｄｃは、ユーザーインターフェース１４を介して、情報処理装置１の外部からストレージ１３のデータベース１３１に供給される。

本実施形態において、情報処理装置１及び検索システム２００に用いられる自然言語は、日本語、英語、中国語、ドイツ語、フランス語、ロシア語、スペイン語、及びイタリア語などの複数の自然言語の中から選択されるいずれかの自然言語である。質問Ｑｓに用いられる自然言語は、文書Ｄｃに用いられる自然言語と同じであることが、好ましい。但し、質問Ｑｓに用いられる自然言語は、文書Ｄｃに用いられる自然言語と異なってもよい。

図２の検索システム２００は、抽出モジュール２１０、エンコーダ２２０，２２１（２２１－１～２２１－ｎ）、類似度計算部２３０、判定部２４０、及び結果出力部２５０などを含む。例えば、検索システム２００の各構成要素２１０，２２０，２２１，２３０，２４０，２５０は、プロセッサ１１によって制御され得る。

検索システム２００は、質問Ｑｓ及び複数の文書Ｄｃを、受ける。

質問Ｑｓは、ユーザーインターフェース１４を介して、ユーザーから検索システム２００に供給される。質問Ｑｓは、プロセッサ１１の記憶領域１１１又はメモリ１２に記憶される。質問Ｑｓは、他のデバイス９から、ネットワーク（図示せず）を介して、検索システム２００に供給されてもよい。

質問Ｑｓは、人物、組織、地域、事件、物品及び日時など或る事物に関して問う文を含む。質問Ｑｓは、自然言語によって記述されている。

文書Ｄｃは、ストレージ１３のデータベース１３１から検索システム２００に供給される。文書Ｄｃは、人物、地域、事件及び物品などの或る事物に関する情報を示す文を含む。文書Ｄｃは、自然言語によって記述されている。文書Ｄｃは、１つ以上の文を含む。文書Ｄｃは、複数の単語を含んで構成される。例えば、文書Ｄｃは、十数から百数十の単語から構成される。文書Ｄｃは、テキスト又はパッセージともよばれる。

データベース１３１は、文書集合である。データベース１３１は、検索システム２００における検索タスクのための知識源及び情報源として機能する。

抽出モジュール２１０は、検索システム２００に供給された質問Ｑｓ及び文書Ｄｃを受ける。抽出モジュール２１０は、質問Ｑｓ及び文書Ｄｃから各種の情報を抽出できる。

本実施形態において、抽出モジュール２１０は、或る質問Ｑｓに含まれる１つ以上の固有表現ｑＮＥを抽出できる。本実施形態において、抽出モジュール２１０は、或る文書Ｄｃに含まれる１つ以上の固有表現ｄＮＥを、抽出できる。
固有表現ｑＮＥ，ｄＮＥは、人名、組織名、地名、事件名、物品名、及び（又は）日時などである。

抽出モジュール２１０は、抽出部又は固有表現抽出モジュールともよばれる。

例えば、抽出モジュール２１０は、自然言語に関するモデルに基づくニューラルネットワークから構成された機構を含む。
抽出モジュール２１０の構成及び機能の詳細は、後述される。

エンコーダ２２０，２２１は、供給された自然言語のデータアイテムＱｓ，Ｄｃ及び固有表現ｑＮＥ，ｄＮＥから、ベクトルＱＶ，ＫＶを生成する。

エンコーダ２２０は、或る質問Ｑｓの文及び質問Ｑｓから抽出された固有表現ｑＮＥに基づいて、質問Ｑｓに関するベクトルＱＶを生成する。以下において、質問Ｑｓ及び固有表現ｑＮＥから得られたベクトルＱＶは、クエリベクトルＱＶとよばれる。尚、クエリベクトルＱＶは、クエリとよばれてもよい。

クエリベクトルＱＶは、自然言語の質問Ｑｓとその質問Ｑｓに含まれる固有表現ｑＮＥとに関する特徴量ベクトルのデータアイテムである。

エンコーダ２２１は、或る文書Ｄｃの文及び文書Ｄｃから抽出された固有表現ｄＮＥに基づいて、文書Ｄｃに関するベクトルＫＶを生成する。以下において、文書Ｄｃ及び固有表現ｄＮＥから得られたベクトルＫＶは、キーベクトルＫＶとよばれる。尚、キーベクトルＫＶは、キーとよばれてもよい。

キーベクトルＫＶは、自然言語の文書Ｄｃとその文書Ｄｃに含まれる固有表現ｄＮＥとに関する特徴量ベクトルのデータアイテムである。
例えば、キーベクトルＫＶは、ストレージ１３のデータベース１３２に記憶されている。

例えば、エンコーダ２２０，２２１のそれぞれは、自然言語に関するモデルに基づくニューラルネットワークから構成された機構を含む。
これによって、エンコーダ２２０は、自然言語の質問Ｑｓ及び固有表現ｑＮＥを、ベクトルＱＶに変換できる。エンコーダ２２１は、自然言語の文書Ｄｃ及び固有表現ｄＮＥを、ベクトルＫＶに変換できる。
エンコーダ２２０，２２１の構成及び機能の詳細は、後述される。

本実施形態において、例えば、キーベクトルＫＶは、文書Ｄｃの特徴を示すデータアイテムとして用いられる。本実施形態において、例えば、クエリベクトルＱＶは、キーベクトルＫＶ及び文書Ｄｃの検索に用いられるデータアイテムとして用いられる。

類似度計算部２３０は、或るデータと別のデータとの間の類似度を計算する。本実施形態において、類似度計算部２３０は、クエリベクトルＱＶとキーベクトルＫＶとの間の類似度を計算する。

例えば、類似度は、２つのベクトルＱＶ，ＫＶ間のコサイン類似度に基づいて、計算される。尚、類似度は、２つのベクトルＱＶ，ＫＶ間の内積、又は、２つのベクトルＱＶ，ＫＶ間の距離などに基づいて、計算されてもよい。類似度を計算するための距離は、例えば、ユークリッド距離、マンハッタン距離及びミンコフスキー距離などのうちいずれか１つを用いて、得られる。

判定部２４０は、プロセッサ１１によって実行された各種の処理に対する判定を、実行できる。本実施形態において、判定部２４０は、類似度計算部２３０の計算結果に基づいて、クエリベクトルＱＶとキーベクトルＫＶとが類似しているか否かを判定する。

判定部２４０は、クエリベクトルＱＶ及びキーベクトルＫＶに関して計算された類似度の計算結果の値が或る閾値以上である場合、クエリベクトルＱＶがキーベクトルＫＶに類似していると判定する。判定部２４０は、クエリベクトルＱＶ及びキーベクトルＫＶに関して計算された類似度の計算結果の値が或る閾値未満である場合、クエリベクトルＱＶがキーベクトルＫＶに類似していないと判定する。以下において、類似度の計算結果の値は、スコアともよばれる。

尚、複数の閾値が、２つのベクトルＱＶ，ＫＶ間の類似度を評価するために設定された場合、２つのベクトルＱＶ，ＫＶ間の類似度は、段階的に評価され得る。この結果として、回答となり得る複数の文書Ｄｃは、類似度のスコアに応じて、複数のレベルに分類され得る。

結果出力部２５０は、判定部２４０の処理の結果に基づいて、検索タスクにおける質問Ｑｓに対する検索結果ＲＲとして、或るスコア以上の類似度を有する１つ以上のキーベクトルＫＶ＜ｉ＞のそれぞれに対応する１つ以上の文書Ｄｃ＜ｉ＞を、出力する。ｉは、１以上の整数である。

例えば、結果出力部２５０は、各キーベクトルＫＶに対応する文書Ｄｃを、データベース１３１を含むストレージ１３から読み出す。結果出力部２５０は、読み出した文書Ｄｃを、ユーザーインターフェース１４を介して、ユーザーに示す。

結果出力部２５０は、データベース１３１の文書Ｄｃを読み出す時、テーブルＴＢＬに基づいて、検索結果のキーベクトルＫＶに対応する文書Ｄｃを検知する。

テーブルＴＢＬは、キーベクトルＫＶと文書Ｄｃとの対応関係に関する情報を含む。例えば、テーブルＴＢＬは、テーブル管理部２９０によって、生成される。テーブルＴＢＬは、テーブル管理部２９０に記憶される。

テーブル管理部２９０は、抽出モジュール２１０から提供された各文書Ｄｃに関する情報及びエンコーダ２２１から提供されたキーベクトルＫＶに関する情報に基づいて、テーブルＴＢＬを生成できる。
例えば、テーブルＴＢＬは、管理テーブルＴＢＬともよばれる。

例えば、テーブル管理部２９０は、プロセッサ１１、メモリ１２、及びストレージ１３のうちいずれか１つに設けられ得る。

このように、検索システム２００は、質問Ｑｓに対して高い類似度を有する文書Ｄｃを、データベース１３１の中から検索する。
検索システム２００は、検索タスクの検索結果ＲＲを、ユーザーに示す。この結果として、検索結果ＲＲが、質問Ｑｓに対する回答として、ユーザーに提供される。

尚、質問Ｑｓは、ネットワークを介して他のデバイス９から情報処理装置１に供給されてもよい。質問Ｑｓに対する検索結果ＲＲは、ネットワークを介して情報処理装置１から他のデバイス９に供給されてもよい。

抽出モジュール２１０及びエンコーダ２２０，２２１は、ソフトウェア又はファームウェアとして、プロセッサ１１に、提供される。抽出モジュール２１０及びエンコーダ２２０は、例えば、Pythonのような或るプログラム言語によって形成されたコンピュータプログラムとして、プロセッサ１１の記憶領域１１１に記憶されている。

抽出モジュール２１０及びエンコーダ２２０，２２１のソフトウェアは、メモリ１２に記憶されてもよいし、ストレージ１３に記憶されてもよい。この場合、それらのソフトウェアが、後述される抽出モジュール２１０及びエンコーダ２２０，２２１を用いた処理の実行時に、メモリ１２からプロセッサ１１の記憶領域１１１に、又は、ストレージ１３からプロセッサ１１の記憶領域１１１に読み出される。

尚、抽出モジュール２１０及びエンコーダ２２０，２２１のソフトウェアは、抽出モジュール２１０及びエンコーダ２２０，２２１を用いた後述の処理の実行時に、ＲＡＭ１３１に記憶され、それらのソフトウェアが、プロセッサ１１によってＲＡＭ１３１上で実行されてもよい。
抽出モジュール２１０及びエンコーダ２２０，２２１は、ハードウェアとして、プロセッサ１１の内部又はプロセッサ１１の外部に設けられてもよい。

＜抽出モジュール２１０＞
図３は、本実施形態の情報処理装置１における、検索システム２００の抽出モジュール２１０の構成及び機能を説明するためのブロック図である。

抽出モジュール２１０は、質問受信部２１１、複数の文書受信部２１２（２１２－１～２１２－ｎ）、固有表現抽出部２１３，２１４（２１４－１～２１４－ｎ）、及び、識別番号抽出部２１９（２１９－１～２１９－ｎ）などを含む。ｎは、１以上の整数である。

質問受信部２１１は、検索システム２００に供給された質問Ｑｓを受ける。

複数の文書受信部２１２－１～２１２－ｎのそれぞれは、データベース１３１から供給された文書Ｄｃを、受ける。

例えば、文書Ｄｃは、識別番号Ｉｄを含む。識別番号Ｉｄは、文書Ｄｃに付加された情報である。識別番号Ｉｄと文書Ｄｃとを含むデータアイテムは、文書ファイルＦＬ（ＦＬ＜１＞～ＦＬ＜ｎ＞）ともよばれる。

識別番号Ｉｄは、データベース１３１において複数の文書Ｄｃを管理及び識別するための番号を示すデータアイテムである。各識別番号Ｉｄは、複数の文書Ｄｃのうち対応する１つの文書Ｄｃに割り当てられている。識別番号Ｉｄは、文書Ｄｃごとに固有の値を有する。識別番号Ｉｄは、文書ファイルＦＬのファイル名でもよいし、文書ファイルＦＬのメタデータに含まれる値でもよい。識別番号Ｉｄは、文書Ｄｃに組み込まれた値でもよい。

固有表現抽出部２１３，２１４のそれぞれは、固有表現抽出モデルＭ１に基づくニューラルネットワークを含む。
固有表現抽出部２１３，２１４のそれぞれは、固有表現抽出モデルＭ１に基づいて、固有表現ｑＮＥ，ｄＮＥを抽出する。固有表現抽出モデルＭ１は、自然言語で記述された文中の語句が固有表現であるか否かを判別することが可能なように構築された、自然言語に関するニューラルネットワークモデルである。

固有表現抽出部２１３は、固有表現抽出モデルＭ１に基づいて、質問受信部２１１から質問Ｑｓを受ける。
固有表現抽出部２１３は、固有表現抽出モデルＭ１に基づいて、質問Ｑｓを構成する文の中から、１つの固有表現ｑＮＥを抽出する。

例えば、固有表現抽出部２１３は、質問Ｑｓを構成する文を、トークン化する。これによって、質問Ｑｓは、複数のトークンに分割される。
固有表現抽出部２１３は、固有表現抽出モデルＭ１に基づいて、質問Ｑｓにおけるトークンの位置、トークンの品詞、及び複数のトークン間の関係性などに基づいて、各トークンが固有表現であるか否か判別する。

この結果として、固有表現であると判別されたトークンが、質問Ｑｓにおける固有表現ｑＮＥとして、質問Ｑｓから抽出される。
固有表現抽出部２１３は、質問Ｑｓから抽出された固有表現ｑＮＥを、エンコーダ２２０に送る。

複数の固有表現抽出部２１４－１～２１４－ｎのそれぞれは、複数の文書受信部２１２－１～２１２－ｎのうち対応する１つから、文書Ｄｃを受ける。
各固有表現抽出部２１４は、文書Ｄｃを構成する１つ以上の文の中から、１つ以上の固有表現ｄＮＥ（ｄＮＥ＜１＞－１，ｄＮＥ＜１＞－ｊ，・・・，ｄＮＥ＜ｎ＞－１，ｄＮＥ＜ｎ＞－ｋ）を抽出する。ｊ及びｋは、１以上の整数である。

例えば、各固有表現抽出部２１４は、文書Ｄｃに含まれる文を、トークン化する。これによって、文書Ｄｃは、複数のトークンに分割される。
固有表現抽出部２１４は、固有表現抽出モデルＭ１に基づいて、文書Ｄｃの文におけるトークンの位置、トークンの品詞、及び複数のトークン間の関係性などに基づいて、各トークンが固有表現であるか否か判別する。

この結果として、固有表現であると判別されたトークンが、文書Ｄｃにおける固有表現ｄＮＥとして、文書Ｄｃから抽出される。
各固有表現抽出部２１４は、文書Ｄｃから抽出された１つ以上の固有表現ｄＮＥを、複数のエンコーダ２２１のうち対応する１つに送る。

複数の識別番号抽出部２１９－１～２１９－ｎのそれぞれは、複数の文書受信部２１２－１～２１２－ｎのうち対応する１つから、識別番号Ｉｄが付加された文書Ｄｃ（文書ファイルＦＬ）を受ける。
各識別番号抽出部２１９－１，２１９－２，・・・，２１９－ｎのそれぞれは、識別番号Ｉｄを、抽出する。識別番号抽出部２１９は、抽出した識別番号Ｉｄを、テーブル管理部２９０に送る。抽出された識別番号Ｉｄは、対応する文書Ｄｃ及び対応する文書Ｄｃから生成されるキーベクトルＫＶと紐づけされている。

例えば、文書受信部２１２が、文書Ｄｃから識別番号Ｉｄを分離することによって、識別番号Ｉｄを抽出してもよい。

尚、文書Ｄｃは、対応する識別番号Ｉｄを含まない場合もある。この場合において、識別番号抽出部２１９が、文書Ｄｃに対応する識別番号Ｉｄを、生成してもよい。

質問受信部２１１は、質問Ｑｓを、固有表現抽出部２１３だけでなくエンコーダ２２０に送る。エンコーダ２２０は、固有表現ｑＮＥとは別途に、質問Ｑｓを受ける。

各文書受信部２１２は、文書Ｄｃを、対応する固有表現抽出部２１４だけでなく複数のエンコーダ２２１のうち対応する１つに送る。エンコーダ２２１は、固有表現ｄＮＥとは別途に、文書Ｄｃを受ける。

このように、抽出モジュール２１０は、質問Ｑｓ及び文書Ｄｃの文中から固有表現ｑＮＥ，ｄＮＥを抽出する。
抽出モジュール２１０は、質問Ｑｓと共に、抽出された固有表現ｑＮＥを、後段のエンコーダ２２０に送る。
抽出モジュール２１０は、文書Ｄｃと共に、抽出された固有表現ｄＮＥを、後段のエンコーダ２２１に送る。

＜エンコーダ２２０，２２１＞
図４は、本実施形態の情報処理装置１における、検索システム２００のエンコーダ２２０，２２１の構成及び機能を説明するための図である。

エンコーダ２２０，２２１は、自然言語の深層学習に関する各種の計算処理を行うように構成されたニューラルネットワークを含む。

図４の（ａ）は、本実施形態における、質問Ｑｓに対するエンコーダ２２０を説明するための図である。

エンコーダ２２０は、学習済み言語モデルＭ２のニューラルネットワークに基づいて、供給された自然言語のベクトル変換処理を行う。尚、学習済み言語モデルＭ２は、各種のデータセットを用いて自然言語処理に関する機械学習（深層学習）が既になされたニューラルネットワークモデルである。

エンコーダ２２０は、ニューラルネットワークの構成に応じて複数のレイヤＬＹ１ａ，ＬＹ２ａを含む。例えば、レイヤＬＹ１ａは、埋め込みレイヤである。レイヤＬＹ２ａは、隠れレイヤである。尚、レイヤＬＹ１ａは、アテンションレイヤでもよい。レイヤＬＹ２ａは、フィードフォーワードレイヤでもよい。
エンコーダ２２０は、質問Ｑｓ、及び、抽出モジュール２１０によって抽出された固有表現ｑＮＥを受ける。

エンコーダ２２０は、質問Ｑｓの文を複数のトークンＴｋに分割する。
エンコーダ２２０は、固有表現ｑＮＥ及びトークン化された質問Ｑｓに対して、レイヤＬＹ１ａ，ＬＹ２ａの機能に応じた各種の処理を行う。

例えば、埋め込みレイヤを含むレイヤＬＹ１ａは、トークン化された質問Ｑｓ及び固有表現ｑＮＥに対して、各トークンの埋め込みのための各種の処理を行う。
例えば、隠れレイヤを含むレイヤＬＹ２ａは、レイヤＬＹ１ａからの出力に対して、積和演算のような各種の計算処理を行う。

エンコーダ２２０は、レイヤＬＹ１ａ，ＬＹ２ａによる各種の処理によって、質問Ｑｓ及び固有表現ｑＮＥに基づくクエリベクトルＱＶを、生成及び出力する。クエリベクトルＱＶは、複数の成分Ｃｍを含む。各成分Ｃｍは、ｐ×ｑの行列式で示され得る。

ｐ及びｑは、１以上の整数である。尚、本実施形態において、各成分Ｃｍは、簡略化のためにハッチングが付された矩形パターンで模式的に図示されているが、ｐ×ｑで配列された複数の数値の配列である。

図４の（ｂ）及び（ｃ）は、本実施形態における、文書Ｄｃに対するエンコーダ２２１を説明するための図である。

図４の（ｂ）に示されるように、エンコーダ２２１は、エンコーダ２２０と実質的に同じ構成及び機能を有する。
エンコーダ２２１は、学習済み言語モデルＭ２のニューラルネットワークに基づいて、供給された自然言語のベクトル変換処理を行う。
エンコーダ２２１は、複数のレイヤＬＹ１ｂ，ＬＹ２ｂを含む。

エンコーダ２２１は、文書Ｄｃ、及び、抽出モジュール２１０によってその文書Ｄｃから抽出された複数の固有表現ｄＮＥａ，ｄＮＥｂのうち固有表現ｄＮＥａを受ける。

エンコーダ２２１は、文書Ｄｃの文を複数のトークンＴｋに分割する。
エンコーダ２２１は、固有表現ｄＮＥａ及びトークン化された文書Ｄｃに対して、各レイヤＬＹ１ｂ，ＬＹ２ｂの機能に応じた各種の処理を行う。

エンコーダ２２１は、レイヤＬＹ１ｂ，ＬＹ２ｂによる各種の処理によって、文書Ｄｃ及び固有表現ｄＮＥａに基づくキーベクトルＫＶａを、生成及び出力する。キーベクトルＫＶａは、ｐ×ｑの成分Ｃｍを含む。キーベクトルＫＶａの成分Ｃｍの数は、クエリベクトルＱＶの成分Ｃｍの数と同じである。

上述のように、１つの文書Ｄｃから抽出された複数の固有表現ｄＮＥ（ｄＮＥａ，ｄＮＥｂ）のうちの１つが、１つのエンコーダ２２１に、供給される。
エンコーダ２２１は、固有表現ｄＮＥ毎に、文書Ｄｃと固有表現ｄＮＥとのキーベクトルＫＶを生成する。

図４の（ｃ）に示されるように、文書Ｄｃから抽出された固有表現ｄＮＥａとは別の固有表現ｄＮＥｂが、文書Ｄｃと共に、別のエンコーダ２２１に供給される。

このエンコーダ２２１は、文書Ｄｃ及び固有表現ｄＮＥｂに基づくキーベクトルＫＶｂを、生成及び出力する。
キーベクトルＫＶｂの成分Ｃｍの数は、キーベクトルＫＶａの成分Ｃｍの数と同じである。キーベクトルＫＶｂの複数の成分Ｃｍは、キーベクトルＫＶａの複数の成分Ｃｍと異なる。

図４の（ｂ）及び（ｃ）のように、１つの文書Ｄｃが２つの固有表現ｄＮＥａ，ｄＮＥｂを含んでいる場合、固有表現ｄＮＥａ，ｄＮＥｂ毎に、２つのキーベクトルＫＶａ，ＫＶｂが、生成される。

複数のキーベクトルＫＶは、ストレージ１３のデータベース１３２に記憶される。

生成された複数のキーベクトルＫＶは、潜在表現空間ＬＳを形成する。潜在表現空間ＬＳは、学習済み言語モデルＭ２のような、共通のモデルのニューラルネットワークに基づいて生成されたベクトルの集合である。尚、潜在表現空間ＬＳは、潜在空間ＬＳともよばれる。

本実施形態における質問Ｑｓと固有表現ｑＮＥとから生成されるクエリベクトルＱＶは、或る固有表現ｑＮＥを含む質問Ｑｓの文脈がその固有表現ｑＮＥに反映されることによって生成されるベクトルである、とも換言できる。
本実施形態における文書Ｄｃと固有表現ｄＮＥとから生成されるキーベクトルＫＶは、或る固有表現ｄＮＥを含む文書Ｄｃの文脈がその固有表現ｄＮＥに反映されることによって生成されるベクトルである、とも換言できる。

以上のように、本実施形態において、検索システム２００に用いられる複数のベクトルＱＶ，ＫＶが、形成される。

尚、上述の例において、文書Ｄｃ毎に、対応する１つのエンコーダ２２１が設けられた構成が、示されている。
但し、複数の文書Ｄｃが、１つのエンコーダ２２１に対応付けられてもよい。この場合において、１つのエンコーダ２２１が、順次供給される複数の文書Ｄｃのそれぞれに対して、各文書Ｄｃと固有表現ｄＮＥとを用いて、複数のキーベクトルＫＶを順次生成する。

＜テーブルＴＢＬ＞
図５は、本実施形態の情報処理装置１における、検索システム２００が文書Ｄｃ及びキーベクトルＫＶを管理するためのテーブルＴＢＬを説明するための図である。

例えば、テーブル管理部２９０は、抽出モジュール２１０からの複数の文書Ｄｃの複数の識別番号Ｉｄに関する情報と、複数のエンコーダ２２１からの複数のキーベクトルＫＶに関する情報と、を受ける。

テーブル管理部２９０は、複数の識別番号Ｉｄに関する情報及び複数のキーベクトルＫＶに関する情報に基づいて、図５のようなテーブルＴＢＬを生成及び格納する。

図５は、本実施形態の情報処理装置１における、テーブルＴＢＬの一例を示している。

図５に示されるように、或る文書Ｄｃ（Ｄｃ＜１＞，Ｄｃ＜２＞、Ｄｃ＜３＞，・・・，Ｄｃ＜ｎ―１＞，Ｄｃ＜ｎ＞）及びその文書Ｄｃの識別番号Ｉｄ（Ｉｄ＜１＞，Ｉｄ＜２＞、Ｉｄ＜３＞，・・・，Ｉｄ＜ｎ―１＞，Ｉｄ＜ｎ＞）に基づいて、その文書Ｄｃから生成された１つ以上のキーベクトルＫＶ（ＫＶ＜１＞，ＫＶ＜２＞，ＫＶ＜３＞，・・・，ＫＶ＜ｎ―１＞，ＫＶ＜ｎ＞）は、その文書Ｄｃの１つの識別番号Ｉｄに関連付けられる。

上述のように、各識別番号Ｉｄ＜１＞，Ｉｄ＜２＞，Ｉｄ＜３＞，・・・，Ｉｄ＜ｎ－１＞，Ｉｄ＜ｎ＞は、各文書Ｄｃ＜１＞，Ｄｃ＜２＞，Ｄｃ＜３＞，・・・，Ｄｃ＜ｎ－１＞，Ｄｃ＜ｎ＞に、１対１で関連付けられている。

図５のテーブルＴＢＬにおいて、１つの識別番号Ｉｄに、１つの文書Ｄｃから生成された１つ以上のキーベクトルＫＶが関連付けられる。
例えば、＜１＞の識別番号Ｉｄに、２つのキーベクトルＫＶ＜１＞－１，ＫＶ＜１＞－２が関連付けられている。例えば、＜２＞の識別番号Ｉｄに、２つのキーベクトルＫＶ＜２＞－１，ＫＶ＜２＞－２が関連付けられている。例えば、＜３＞の識別番号Ｉｄに、ｍ個のキーベクトルＫＶ＜３＞－１，ＫＶ＜３＞－２，・・・，ＫＶ＜３＞－ｍが関連付けられている。ｍは、１以上の整数である。
例えば、＜ｎ－１＞の識別番号Ｉｄに、１つのキーベクトルＫＶ＜ｎ－１＞が関連付けられている。例えば、＜ｎ＞の識別番号Ｉｄに、２つのキーベクトルＫＶ＜ｎ＞－１，ＫＶ＜ｎ＞－２が関連付けられている。

それゆえ、テーブル管理部２９０に保存されたテーブルＴＢＬに基づいて、対応する識別番号Ｉｄが、選択された１つのキーベクトルＫＶから検知できる。

したがって、１つの文書Ｄｃから複数のキーベクトルＫＶが生成されたとしても、対応する文書Ｄｃが、或るキーベクトルＫＶに関連付けられた識別番号Ｉｄに基づいて、データベース１３１の中から読み出され得る。

このように、本実施形態において、検索システム２００は、テーブルＴＢＬの参照によって、キーベクトルＫＶに対応する特定の文書Ｄｃを、取得することができる。

本実施形態のように、キーベクトルＫＶに基づく文書Ｄｃの検索及び取得が、識別番号Ｉｄを用いて実行された場合、検索システム２００の構成を、簡素化できる。例えば、本実施形態において、検索システム２００は、キーベクトルＫＶを文に変換するためのデコーダを、含まない。

以上のように、本実施形態の情報処理装置１における検索システム２００は、上述の構成及び機能を含む。

本実施形態において、生成されたクエリベクトルＱＶは、質問Ｑｓの文の文脈の特徴量ベクトルに、質問Ｑｓに含まれる固有表現ｑＮｅの特徴量ベクトルが反映された値を有する。
これと同様に、生成されたキーベクトルＫＶａ，ＫＶｂのそれぞれは、文書Ｄｃの文の文脈の特徴量ベクトルに、文書Ｄｃに含まれる各固有表現ｄＮＥａ，ｄＮＥｂの特徴量ベクトルが反映された値を有する。

互いに異なる固有表現ｄＮＥａ，ｄＮＥｂの特徴がそれぞれ反映された２つのキーベクトルＫＶａ，ＫＶｂは、１つの文書Ｄｃに基づく特徴量ベクトルであっても、固有表現ｄＮＥａ，ｄＮＥｂ毎に異なる成分Ｃｍを含み得る。

例えば、本実施形態において、文書Ｄｃの文脈が質問Ｑｓの文脈に関連していても、文書Ｄｃに含まれる固有表現ｄＮＥが質問Ｑｓに含まれる固有表現ｑＮＥと類似していなければ、固有表現ｄＮＥの特徴が反映されたキーベクトルＫＶは、クエリベクトルＱＶに対して低い類似度を、有する。この結果として、質問Ｑｓの固有表現ｑＮＥに対して低い類似度の固有表現ｄＮＥを有する文書Ｄｃは、質問Ｑｓに対する回答から除外される。

これに対して、文書Ｄｃの文脈が質問Ｑｓの文脈に関連し、且つ、文書Ｄｃに含まれる固有表現ｄＮＥが質問Ｑｓに含まれる固有表現ｑＮＥと類似していれば、固有表現ｄＮＥの特徴が反映されたキーベクトルＫＶは、クエリベクトルＱＶに対して高い類似度を、有する。この結果として、質問Ｑｓの固有表現ｑＮＥに対して高い類似度の固有表現ｄＮＥを有する文書Ｄｃは、回答として選択される。

また、本実施形態の情報処理装置１によれば、１つの文書Ｄｃに含まれる固有表現ｄＮＥの数に応じて、１つの文書Ｄｃから複数のキーベクトルＫＶが、生成され得る。
これによって、１つの文書Ｄｃから１つのキーベクトルＫＶが生成される場合に比較して、１つの文書に含まれる固有表現ｄＮＥの数に応じて、１つの潜在表現空間ＬＳに存在するキーベクトルＫＶの数が、増加する。

これらの結果として、本実施形態の情報処理装置１は、検索システム２００における検索クエリに対する検索の精度を向上できる。
それゆえ、本実施形態の情報処理装置１は、タスクの信頼性を向上できる。

（ｂ）情報処理方法
図６乃至図１４を参照して、本実施形態の情報処理装置１による情報処理方法について、説明する。
尚、実施形態の情報処理方法は、実施形態の情報処理装置の制御方法を含み得る。

＜キーベクトルＫＶの生成＞
図６乃至図８を参照して、本実施形態の情報処理装置１における、検索システム２００によるキーベクトルＫＶの生成処理について、説明する。
図６は、本実施形態の情報処理装置１におけるキーベクトルＫＶの生成処理を示すフローチャートである。図７及び図８のそれぞれは、本実施形態における、キーベクトルＫＶの生成処理を説明するための模式図である。

＜Ｓ１＞
図６及び図７に示されるように、検索システム２００において、抽出モジュール２１０は、プロセッサ１１のインターフェース部１１９を介して、ストレージ１３のデータベース１３１から複数の文書Ｄｃを受ける。文書Ｄｃは、１つ以上の文を含む。複数の文書Ｄｃは、情報処理装置１の外部のデバイスから提供されてもよい。

例えば、抽出モジュール２１０は、文書Ｄｃ＜１＞として、“Biden was born in Scranton.”という文を、受ける。抽出モジュール２１０は、文書Ｄｃ＜２＞として、“Obama was born in Hawaii.”という文を、受ける。抽出モジュール２１０は、文書Ｄｃ＜ｎ＞として、“Obama was awarded the Nobel peace prize.”という文を、受ける。

＜Ｓ２＞
抽出モジュール２１０は、文書Ｄｃと共に、文書Ｄｃに関連付けられた識別番号Ｉｄを受ける。抽出モジュール２１０は、識別番号Ｉｄを抽出する。例えば、抽出モジュール２１０は、文書Ｄｃから識別番号Ｉｄを分離する。抽出された識別番号Ｉｄは、テーブル管理部２９０に送られる。

＜Ｓ３＞
抽出モジュール２１０は、固有表現抽出モデルＭ１に基づいて、各文書Ｄｃに含まれる１つ以上の固有表現ｄＮＥを抽出する。
図７の例において、抽出モジュール２１０は、文書Ｄｃ＜１＞から、“Biden”という固有表現ｄＮＥａと、“Scranton”という固有表現ｄＮＥｂと、を抽出する。抽出モジュール２１０は、文書Ｄｃ＜２＞から、“Obama”という固有表現ｄＮＥｃと、“Hawaii”という固有表現ｄＮＥｄと、を抽出する。抽出モジュール２１０は、文書Ｄｃ＜ｎ＞から、“Obama”という固有表現ｄＮＥｅと、“Nobel peace prize”という固有表現ｄＮＥｆと、を抽出する。

抽出モジュール２１０は、抽出された固有表現ｄＮＥのそれぞれを、対応するエンコーダ２２１に送る。また、抽出モジュール２１０は、文書Ｄｃから抽出された固有表現ｄＮＥと共に、文書Ｄｃ自体を、対応するエンコーダ２２１に送る。

＜Ｓ４＞
エンコーダ２２１は、学習済み言語モデルＭ２に基づいて、キーベクトルＫＶを生成する。

図８に示されるように、各エンコーダ２２１は、文書Ｄｃ及び抽出された１つ以上の固有表現ｄＮＥを受ける。

各エンコーダ２２１は、受け取った文書Ｄｃをトークン化する。各エンコーダ２２１は、トークン及び固有表現ｄＮＥの埋め込み処理を行う。これによって、文書Ｄｃを構成する語句及び固有表現ｄＮＥは、ベクトル化される。

エンコーダ２２１は、学習済み言語モデルＭ２に基づいて、或る文書Ｄｃから抽出された固有表現ｄＮＥ毎に、その文書Ｄｃと固有表現ｄＮＥとに関するキーベクトルＫＶを計算する。

これによって、１つの文書Ｄｃに対して、その文書Ｄｃから抽出された固有表現ｄＮＥの数に応じて、１つ以上のキーベクトルＫＶが、生成される。

例えば、文書Ｄｃ＜１＞に関して、２つのキーベクトルＫＶ＜１＞－ａ，ＫＶ＜１＞－ｂが、生成される。キーベクトルＫＶ＜１＞－ａが、“Biden”という固有表現ｄＮＥａと文書Ｄｃ＜１＞とによって、生成される。キーベクトルＫＶ＜１＞－ｂが、“Scranton”という固有表現ｄＮＥｂと文書Ｄｃ＜１＞とによって、生成される。

例えば、文書Ｄｃ＜２＞に関して、２つのキーベクトルＫＶ＜２＞－ｃ，ＫＶ＜２＞－ｄが、生成される。キーベクトルＫＶ＜２＞－ｃが、“Obama”という固有表現ｄＮＥｃと文書Ｄｃ＜２＞とによって、生成される。キーベクトルＫＶ＜２＞－ｄが、“Hawaii”という固有表現ｄＮＥｄと文書Ｄｃ＜２＞とによって、生成される。

例えば、文書Ｄｃ＜ｎ＞に関して、２つのキーベクトルＫＶ＜ｎ＞－ｅ，ＫＶ＜ｎ＞－ｆが、生成される。キーベクトルＫＶ＜ｎ＞－ｅが、“Obama”という固有表現ｄＮＥｅと文書Ｄｃ＜ｎ＞とによって、生成される。キーベクトルＫＶ＜ｎ＞－ｆが、“Nobel peace prize”という固有表現ｄＮＥｆと文書Ｄｃ＜ｎ＞とによって、生成される。

この結果として、知識源としてデータベース１３１に格納されている複数の文書Ｄｃに関する潜在表現空間ＬＳが生成される。複数の文書Ｄｃの複数のキーベクトルＫＶを含む潜在表現空間ＬＳは、同一の自然言語モデルを用いたニューラルネットワークに基づいて生成される。

潜在表現空間ＬＳのキーベクトルＫＶの数は、データベース１３１に格納されている文書Ｄｃの数より多い。但し、各文書Ｄｃに含まれる固有表現ｄＮｅの数に応じて、キーベクトルＫＶの数が、文書Ｄｃの数より少なくなる場合もある。

＜Ｓ５＞
検索システム２００は、プロセッサ１１によって、生成されたキーベクトルＫＶとキーベクトルＫＶに対応する識別番号Ｉｄとを、ストレージ１３に記憶する。これによって、潜在表現空間ＬＳは、ストレージ１３に格納される。例えば、キーベクトルＫＶ及び識別番号Ｉｄは、テーブルＴＢＬにおいて互いに関連付けられるように、保存される。

例えば、テーブル管理部２９０は、キーベクトルＫＶ及び識別番号Ｉｄを受ける。テーブル管理部２９０は、キーベクトルＫＶ及び識別番号Ｉｄの対応関係を示すテーブルＴＢＬを生成する。テーブルＴＢＬは、検索タスクの実行前に生成されていればよい。

例えば、検索タスクの実行時、生成された複数のキーベクトルＫＶは、メモリ１２に読み出される。検索タスクの実行時、キーベクトルＫＶ及び識別番号Ｉｄに関するテーブルＴＢＬは、テーブル管理部２９０に読み出される。尚、キーベクトルＫＶは、テーブル管理部２９０に読み出されてもよい。

以上のように、複数の文書Ｄｃから、キーベクトルＫＶが生成される。
これによって、複数のキーベクトルＫＶを含む潜在表現空間ＬＳが、形成される。

＜検索タスク＞
図９乃至図１３を参照して、本実施形態の情報処理装置１における、検索システム２００による検索タスクについて、説明する。
図９は、本実施形態の情報処理装置１における検索タスクを示すフローチャートである。図１０乃至図１３のそれぞれは、本実施形態における、検索タスクを説明するための模式図である。

＜Ｓ１０＞
図９に示されるように、検索システム２００は、検索タスクの対象となる質問Ｑｓを受ける。質問Ｑｓは、情報処理装置１のユーザー又はデバイス９によって生成される。ユーザーは、質問Ｑｓを、ユーザーインターフェース１４を介して、情報処理装置１に供給する。質問Ｑｓは、プロセッサ１１のインターフェース部１１９を介して、検索システム２００に入力される。質問Ｑｓは、１つ以上の文を含む。

図１０に示されるように、検索システム２００において、抽出モジュール２１０は、質問Ｑｓを受ける。

例えば、本実施形態において、抽出モジュール２１０は、“Where was Obama born?”という文を、質問Ｑｓとして、受ける。

＜Ｓ１１＞
抽出モジュール２１０は、固有表現抽出モデルＭ１に基づいて、質問Ｑｓから固有表現ｑＮＥを抽出する。
図１０の例において、抽出モジュール２１０は、質問Ｑｓから“Obama”という固有表現ｑＮＥを抽出する。

抽出モジュール２１０は、抽出された固有表現ｑＮＥを、エンコーダ２２０に送る。抽出モジュール２１０は、質問Ｑｓから抽出された固有表現ｑＮＥと共に、質問Ｑｓ自体を、エンコーダ２２０に送る。

＜Ｓ１２＞
エンコーダ２２０は、質問Ｑｓ及び固有表現ｑＮＥを受ける。
エンコーダ２２０は、学習済み言語モデルＭ２に基づいて、質問Ｑｓ及び固有表現ｑＮＥを用いて、クエリベクトルＱＶを計算する。
これによって、質問Ｑｓに対応するクエリベクトルＱＶが、生成される。生成されたクエリベクトルＱＶは、質問Ｑｓの特徴量ベクトルに質問Ｑｓから抽出された固有表現ｑＮＥの特徴量ベクトルが反映された値を有する。

＜Ｓ１３＞
図１１に示されるように、検索システム２００は、質問Ｑｓの受信及び質問Ｑｓに対する各種の処理に並行して、プロセッサ１１の制御によって、潜在表現空間ＬＳに含まれる複数のキーベクトルＫＶを、ストレージ１３のデータベース１３２から読み出す。読み出されたキーベクトルＫＶは、例えば、メモリ１２に格納される。

検索システム２００は、プロセッサ１１によって、識別番号Ｉｄ及びキーベクトルＫＶに関するテーブルＴＢＬを、テーブル管理部２９０に読み出す。

尚、キーベクトルＫＶ及びテーブルＴＢＬは、質問Ｑｓの受信の前に、ストレージ１３から読み出されていてもよい。

＜Ｓ１４＞
図１２に示されるように、類似度計算部２３０は、クエリベクトルＱＶと各キーベクトルＫＶとの間の類似度を計算する。例えば、クエリベクトルＱＶとキーベクトルＫＶとの間の類似度は、コサイン類似度によって、計算される。

これによって、クエリベクトルＱＶと各キーベクトルＫＶとの間の類似度の計算結果を示すスコアＳＣＲが、キーベクトルＫＶごとにそれぞれ得られる。

類似度計算部２３０は、スコアＳＣＲを判定部２４０に送る。

＜Ｓ１５＞
判定部２４０は、類似度の計算結果に基づいて、回答候補となり得るキーベクトルＫＶの判定処理を、実行する。

図１３に示されるように、判定部２４０は、類似度のスコアＳＣＲを、類似度計算部２３０から受ける。判定部２４０は、クエリベクトルＱＶに類似するキーベクトルＫＶを、潜在表現空間ＬＳの複数のキーベクトルＫＶの中から検索する。
判定部２４０は、各キーベクトルＫＶに関するスコアＳＣＲに基づいて、質問Ｑｓに対する回答候補となり得るキーベクトルＫＶを、複数のキーベクトルＫＶの中から判定する。

例えば、判定部２４０は、類似度のスコアＳＣＲが閾値を満たすか否かに応じて、クエリベクトルＱＶに対するキーベクトルＫＶのランク付けを行う。これによって、判定部２４０は、或る閾値以上の類似度を有するキーベクトルＫＶを、回答候補として取得する。

図１３の例において、判定部２４０は、文書Ｄｃ自体の文脈の特徴と共に“Obama”という固有表現ｄＮＥの特徴が反映された複数のキーベクトルＫＶ＜２＞－ｃ，ＫＶ＜ｎ＞－ｅを選択し、取得する。

＜Ｓ１６＞
図１３に示されるように、結果出力部２５０は、判定処理の結果に基づいて、１つ以上の文書Ｄｃを、質問Ｑｓに対する検索結果ＲＲとして、取得及び出力する。

例えば、結果出力部２５０は、類似度に基づくキーベクトルＫＶの判定結果を判定部２４０から受ける。

結果出力部２５０は、受けたキーベクトルＫＶに基づいて、テーブル管理部２９０のテーブルＴＢＬを参照する。結果出力部２５０は、テーブルＴＢＬの参照結果に基づいて、回答候補のキーベクトルＫＶに対応する識別番号Ｉｄを検知する。

結果出力部２５０は、ストレージ１３のデータベース１３１にアクセスする。結果出力部２５０は、検知された識別番号Ｉｄに対応する文書Ｄｃを、データベース１３１から読み出す。

例えば、キーベクトルＫＶ＜２＞－ｃが選択された場合、結果出力部２５０は、選択されたキーベクトルＫＶ＜２＞－ｃ及びテーブルＴＢＬに基づいて、キーベクトルＫＶ＜２＞－ｃに識別番号Ｉｄ＜２＞が関連付けられていることを、検知する。
これによって、結果出力部２５０は、検知された識別番号Ｉｄ＜２＞に対応する文書Ｄｃ＜２＞を、データベース１３１から読み出す。

キーベクトルＫＶ＜ｎ＞－ｅが選択された場合、結果出力部２５０は、選択されたキーベクトルＫＶ＜ｎ＞－ｅ及びテーブルＴＢＬに基づいて、キーベクトルＫＶ＜ｎ＞－ｅに識別番号Ｉｄ＜ｎ＞が関連付けられていることを、検知する。
これによって、結果出力部２５０は、検知された識別番号Ｉｄ＜ｎ＞に対応する文書Ｄｃ＜ｎ＞を、データベース１３１から読み出す。

このように、結果出力部２５０は、回答候補として選択されたキーベクトルＫＶに対応する文書Ｄｃ（Ｄｃ＜２＞，Ｄｃ＜ｎ＞）を、取得する。

結果出力部２５０は、取得された文書Ｄｃ＜２＞，Ｄｃ＜ｎ＞を、回答に関するデータアイテムとして、ユーザーインターフェース１４に出力する。

この結果として、質問Ｑｓを提供したユーザーは、結果出力部２５０からの出力に基づいて、質問Ｑｓに対する検索結果ＲＲの文書Ｄｃを、認識できる。

以上の処理によって、本実施形態の情報処理装置１における、検索タスクが、完了する。

（ｃ）まとめ
ＤＰＲ（Dense passage retrieval）のような深層学習を用いた文書検索方法は、文字列の一致による関連文書の検索方法のような古典的な検索方法に比較して、ＤＰＲとして機能するために必要な追加学習に用いたデータセットに対してより高精度の検索を実現できる場合がある。

但し、ＤＰＲによる文書検索方法は、初見の文書に対する検索精度が低い傾向がある。例えば、固有表現に関する質問に対する検索タスクにおいて、ＤＰＲによる文書検索方法の検索性能は、古典的な検索方法の検索性能より低いことがある。

上述のように、本実施形態の情報処理装置１において、検索システム２００は、質問Ｑｓ及び検索対象の文書Ｄｃのそれぞれから、固有表現ｑＮＥ，ｄＮＥを抽出する。

検索システム２００は、質問Ｑｓと抽出された固有表現ｑＮＥとからクエリベクトルＱＶを生成する。検索システム２００は、文書Ｄｃから抽出された複数の固有表現ｄＮＥごとに、文書Ｄｃと各固有表現ｄＮＥとから複数のキーベクトルＫＶを生成する。

これによって、本実施形態の情報処理装置１は、同一の潜在表現空間ＬＳ上に、文書Ｄｃの数より多い数のキーベクトルＫＶを、存在させることができる。また、本実施形態において、１つの文書Ｄｃに対するキーベクトルＫＶの冗長性が、高くなる。

本実施形態において、質問Ｑｓに対応するクエリベクトルＱＶは、質問Ｑｓの文脈の特徴に加えて、質問Ｑｓから抽出された固有表現ｑＮＥの特徴がさらに反映される。これと同様に、文書Ｄｃに対応するキーベクトルＫＶは、文書Ｄｃの文脈の特徴に加えて、文書Ｄｃから抽出された固有表現ｄＮＥの特徴がさらに反映される。
これによって、本実施形態の情報処理装置１は、質問Ｑｓに含まれる固有表現ｑＮＥに類似する固有表現ｄＮＥの特徴が反映されたキーベクトルＫＶを、複数のキーベクトルＫＶの中から検索できる。
これらの結果として、本実施形態の情報処理装置１において、初見の文に対する検索性能が向上する。

図１４は、本実施形態の情報処理装置１の検索タスクに関する特性を示すグラフである。
図１４のグラフの横軸は、検索結果として取得され得るキーベクトルの個数に対応する。図１４のグラフの縦軸は、検索精度（単位：％）に対応する。

丸のプロット及び実線で示される特性Ａ１は、実施形態の情報処理装置１の検索システム２００における検索精度の推移を示している。三角のプロット及び破線で示される特性Ａ２は、比較例の検索システムにおける検索精度の推移を示している。比較例の検索システムは、一般的なＤＰＲを用いた検索システムである。

本実施形態の検索システム２００の特性及び比較例の検索システムの特性は、EntityQuestions データセットを用いて評価された。開発セットにおける質問の数は、１０１７０問である。

図１４に示されるように、本実施形態のように抽出された固有表現ｄＮＥと文書Ｄｃとから生成されたキーベクトルＫＶが、検索システム２００の検索タスクに用いられた場合、本実施形態の検索システム２００の検索精度は、比較例の検索システムの検索精度に比較して、高くなる。

このように、本実施形態の情報処理装置１は、検索タスクの検索精度を向上できる。

以上のように、本実施形態の情報処理装置１及び情報処理方法は、タスクの精度を向上できる。

（２）変形例
図１５を参照して、実施形態の情報処理装置１の変形例について、説明する。

図１５は、実施形態の情報処理装置１の変形例を説明するための模式図である。

図１５に示されるように、質問Ｑｓｘが、複数の固有表現ｑＮＥａ，ｑＮＥｂを含む場合がある。例えば、図１５の例において、“Which Nobel prize was awarded to Obama?”という質問Ｑｓｘが、情報処理装置１の検索システム２００に供給される。質問Ｑｓは、“Obama”という固有表現ｑＮＥａと、“Nobel prize”という固有表現ｑＮＥｂと、を含む。

この場合において、文書Ｄｃ及びキーベクトルＫＶと同様に、複数のクエリベクトルＱＶａ，ＱＶｂが、１つの質問Ｑｓｘに含まれる複数の固有表現ｑＮＥ毎に、計算及び生成される。

抽出モジュール２１０は、固有表現抽出モデルＭ１に基づいて、複数の固有表現ｑＮＥａ，ｑＮＥｂを、質問Ｑｓｘから抽出する。ここでは、“Obama”と“Novel prize”という２つの固有表現ｑＮＥａ，ｑＮＥｂが、それぞれ抽出される。

抽出モジュール２１０は、質問Ｑｓｘ、及び、抽出された２つの固有表現ｑＮＥａ，ｑＮＥｂを、エンコーダ２２０へ送る。

エンコーダ２２０は、学習済み言語モデルＭ２に基づいて、固有表現ｑＮＥａ，ｑＮＥｂ毎に、質問Ｑｓｘと各固有表現ｑＮＥａ，ｑＮＥｂとを用いたクエリベクトルＱＶａ，ＱＶｂを計算する。これによって、２つのクエリベクトルＱＶａ，ＱＶｂが、１つの質問Ｑｓｘから生成される。

一方のクエリベクトルＱＶａに、質問Ｑｓｘの文脈の特徴に対して固有表現ｑＮＥａの特徴が反映されている。他方のクエリベクトルＱＶｂに、質問Ｑｓｘの文脈の特徴に対して固有表現ｑＮＥｂの特徴が反映されている。

類似度計算部２３０は、複数のクエリベクトルＱＶａ，ＱＶｂと複数のキーベクトルＫＶとの間の類似度を、それぞれ計算する。

類似度計算部２３０は、クエリベクトルＱＶａと各キーベクトルＫＶとの間の類似度を計算する。これによって、クエリベクトルＱＶａ及び各キーベクトルＫＶに関する類似度の計算結果として、複数のスコアＳＣＲａが、得られる。
類似度計算部２３０は、クエリベクトルＱＶｂと各キーベクトルＫＶとの間の類似度を計算する。これによって、クエリベクトルＱＶｂ及び各キーベクトルＫＶに関する類似度の計算結果として、複数のスコアＳＣＲｂが、得られる。

判定部２４０は、各クエリベクトルＱＶａ，ＱＶｂに関する類似度の計算結果に基づいて、潜在表現空間ＬＳの複数のキーベクトルＫＶの中から質問Ｑｓｘに対する回答候補となり得るキーベクトルＫＶを、判定する。

結果出力部２５０は、判定結果及びテーブルＴＢＬに基づいて、回答となる文書Ｄｃを、データベース１３１から検索する。これによって、結果出力部２５０は、１以上の文書Ｄｃをデータベース１３１から取得する。
結果出力部２５０は、検索結果ＲＲの文書Ｄｃを出力する。

本変形例のように、ユーザーからの質問Ｑｓｘが、複数の固有表現ｑＮＥａ，ｑＮＥｂを含む場合であっても、実施形態の検索システム２００は、固有表現ｑＮＥａ，ｑＮＥｂ毎に生成された複数のクエリベクトルＱＶａ，ＱＶｂを用いて、質問Ｑｓｘに対する回答となる文書Ｄｃを、取得できる。

したがって、本変形例の情報処理装置１は、上述の実施形態と実質的に同じ効果を得ることができる。

（３）その他
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１：情報処理装置、１１：プロセッサ、１２：メモリ、１３：ストレージ、１４：ユーザーインターフェース、２００：検索システム、２１０：抽出モジュール、２２０，２２１：エンコーダ、２３０：類似度計算部、２４０：判定部、２５０：結果出力部。

Claims

複数の文書に関する複数の第１のデータアイテム及び質問に関する第２のデータアイテムを受けるインターフェース回路と、
前記インターフェース回路が受けた前記複数の第１のデータアイテム及び前記第２のデータアイテムを処理するプロセッサと、
を備え、
前記プロセッサは、
前記複数の第１のデータアイテムのそれぞれから複数の第１の固有表現を抽出し、前記第２のデータアイテムから第２の固有表現を抽出し、
前記複数の第１のデータアイテムのそれぞれと対応する前記複数の第１の固有表現のそれぞれとに関する複数の第１のベクトルを、それぞれ生成し、
前記第２のデータアイテムと前記第２の固有表現とに関する第２のベクトルを生成し、
前記複数の第１のベクトルのそれぞれと前記第２のベクトルとの間の類似度を計算し、
前記類似度の計算結果に基づいて、前記複数の第１のデータアイテムの中から検索された回答に関する第３のデータアイテムを取得する、
情報処理装置。
前記プロセッサは、固有表現に関する第１の自然言語モデルの第１のニューラルネットワークに基づいて、前記複数の第１の固有表現及び前記第２の固有表現を抽出する、
請求項１に記載の情報処理装置。
前記プロセッサは、第２の自然言語モデルの第２のニューラルネットワークに基づいて、前記複数の第１のベクトル及び前記第２のベクトルを生成する、
請求項１に記載の情報処理装置。
前記プロセッサは、前記複数の第１のデータアイテムのうち１つの第１のデータアイテムからｋ個（ｋは、２以上の整数）の前記第１の固有表現を抽出し、前記１つの第１のデータアイテム及び前記ｋ個の前記第１の固有表現に基づいてｋ個の前記第１のベクトルを生成する、
請求項１に記載の情報処理装置。
前記プロセッサは、複数の識別番号と前記複数の第１のベクトルとの対応関係を記憶し、
前記複数の識別番号のそれぞれは、前記複数の第１のデータアイテムのそれぞれに割り当てられている、
請求項１に記載の情報処理装置。
前記複数の第１のデータアイテムのそれぞれに複数の識別番号のそれぞれが割り当てられ、
前記複数の識別番号のそれぞれは、前記複数の第１のベクトルのうち対応する１つに関連付けられ、
前記複数の第１のベクトルのうち選択された第１のベクトルに対応する前記識別番号に基づいて、前記複数の第１のデータアイテムの中から前記選択されたベクトルに対応する第１のデータアイテムが、取得される、
請求項１に記載の情報処理装置。
前記複数の第１のデータアイテム及び前記複数の第１のベクトルを記憶するストレージを、
さらに具備する請求項１に記載の情報処理装置。
生成された前記複数の第１のベクトルを記憶するストレージをさらに具備し、
前記プロセッサは、前記類似度を計算する時、前記複数の第１のベクトルを前記ストレージから読み出す、
請求項１に記載の情報処理装置。
複数の文書に関する複数の第１のデータアイテムを受けることと、
前記複数の第１のデータアイテムのそれぞれから複数の第１の固有表現を抽出することと、
前記複数の第１のデータアイテムのそれぞれと対応する前記複数の第１の固有表現のそれぞれとに基づいて、複数の第１のベクトルを生成することと、
質問に関する第２のデータアイテムを受けることと、
前記第２のデータアイテムから第２の固有表現を抽出することと、
前記第２のデータアイテムと前記第２の固有表現とに基づいて、第２のベクトルを生成することと、
前記複数の第１のベクトルのそれぞれと前記第２のベクトルとの間の類似度を計算することと、
前記類似度の計算結果に基づいて、前記複数の第１のデータアイテムの中から検索された回答に関する第３のデータアイテムを取得することと、
を具備する情報処理方法。