JP2000235574A - 文書処理装置 - Google Patents
文書処理装置Info
- Publication number
- JP2000235574A JP2000235574A JP11036890A JP3689099A JP2000235574A JP 2000235574 A JP2000235574 A JP 2000235574A JP 11036890 A JP11036890 A JP 11036890A JP 3689099 A JP3689099 A JP 3689099A JP 2000235574 A JP2000235574 A JP 2000235574A
- Authority
- JP
- Japan
- Prior art keywords
- relevance
- paragraph
- document
- total value
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】
【課題】 話題が混在した新聞記事などの電子化文書か
ら、話題ごとに文書を分割する。 【解決手段】 電子化文書を、段落に分けて段落間の関
連度を求め、この関連度を例えばマトリクスに表示し
て、任意番目の行と任意番目の列と対角成分とで囲まれ
る三角形領域とし、この三角形領域内の関連度の合計値
を求め、この合計値より分割点を求める。例えば、三角
形領域内の関連度の合計値とこの三角形の列を１辺とし
任意番目の行を１辺とする矩形領域内の関連度の合計値
を求め、これら三角形領域の合計値と矩形領域の合計値
の比を求め、この比の値に基づいて文書を分割する。
ら、話題ごとに文書を分割する。 【解決手段】 電子化文書を、段落に分けて段落間の関
連度を求め、この関連度を例えばマトリクスに表示し
て、任意番目の行と任意番目の列と対角成分とで囲まれ
る三角形領域とし、この三角形領域内の関連度の合計値
を求め、この合計値より分割点を求める。例えば、三角
形領域内の関連度の合計値とこの三角形の列を１辺とし
任意番目の行を１辺とする矩形領域内の関連度の合計値
を求め、これら三角形領域の合計値と矩形領域の合計値
の比を求め、この比の値に基づいて文書を分割する。
Description
【０００１】
【発明の属する技術分野】本発明は、文書処理装置に関
し、より詳しくは、意味ブロック毎に文書を分割する文
書処理装置に関し、文書の要約や複数の記事などが混在
した文書を意味毎に分割する場合に適用して好適な文書
分割に関する。
し、より詳しくは、意味ブロック毎に文書を分割する文
書処理装置に関し、文書の要約や複数の記事などが混在
した文書を意味毎に分割する場合に適用して好適な文書
分割に関する。
【０００２】
【従来の技術】近年、パーソナルコンピュータによる文
書作成の機会の増加、インターネットの急速な普及によ
り身の回りに電子化文書が氾濫している。このような電
子化文書をすべて閲覧して、有効な情報を提供する文書
を探索することは時間的な制限により不可能に近い。
書作成の機会の増加、インターネットの急速な普及によ
り身の回りに電子化文書が氾濫している。このような電
子化文書をすべて閲覧して、有効な情報を提供する文書
を探索することは時間的な制限により不可能に近い。
【０００３】このような問題を解決するために、全文検
索などにより、必要な文書を検索する方法もあるが、検
索された文書をある程度、読解しなければ、検索された
文書が本当に意図した情報を提供してくれるかどうか判
断するのは難しい。
索などにより、必要な文書を検索する方法もあるが、検
索された文書をある程度、読解しなければ、検索された
文書が本当に意図した情報を提供してくれるかどうか判
断するのは難しい。
【０００４】一方、こうした状況を解決する手段とし
て、文書の要約技術がある。文書の要約を全文検索の検
索結果として表示すれば、検索された文書をいちいち開
いて内容を吟味する必要がなくなるので、検索の効率が
飛躍的に向上する。
て、文書の要約技術がある。文書の要約を全文検索の検
索結果として表示すれば、検索された文書をいちいち開
いて内容を吟味する必要がなくなるので、検索の効率が
飛躍的に向上する。
【０００５】しかしながら、いろいろな話題が１つの紙
面に混在した新聞記事などから要約を提示するには、話
題ごとに要約を提供する必要がある。
面に混在した新聞記事などから要約を提示するには、話
題ごとに要約を提供する必要がある。
【０００６】
【発明が解決しようとする課題】本発明は、上述のごと
き実情に鑑みてなされたもので、電子化文書を意味ブロ
ック毎に分割することを目的とするものである。
き実情に鑑みてなされたもので、電子化文書を意味ブロ
ック毎に分割することを目的とするものである。
【０００７】
【課題を解決するための手段】請求項１の発明は、電子
化された文書を段落に分割し、上記段落から抽出された
キーワードに基づいて段落間の関連度を計算し、段落の
数を次元とする正方行列において、該正方行列の対角成
分を境として片側の領域の各成分に上記関連度を入れ、
該関連度を入れた前記片側領域において、任意番目の行
（又は列）と、任意番目の列（又は行）と、対角成分
と、で囲まれる三角形領域内の関連度の合計値を求め、
該関連度の合計値に基づいて文書の分割点を求めるよう
にしたものである。
化された文書を段落に分割し、上記段落から抽出された
キーワードに基づいて段落間の関連度を計算し、段落の
数を次元とする正方行列において、該正方行列の対角成
分を境として片側の領域の各成分に上記関連度を入れ、
該関連度を入れた前記片側領域において、任意番目の行
（又は列）と、任意番目の列（又は行）と、対角成分
と、で囲まれる三角形領域内の関連度の合計値を求め、
該関連度の合計値に基づいて文書の分割点を求めるよう
にしたものである。
【０００８】請求項２の発明は、請求項１に記載された
発明において、前記三角形領域内の合計値と、前記三角
形領域の列（又は行）に対応しかつ該三角形領域を除く
矩形領域内の関連度の合計値の関係から文書の分割点を
求めるようにしたものである。
発明において、前記三角形領域内の合計値と、前記三角
形領域の列（又は行）に対応しかつ該三角形領域を除く
矩形領域内の関連度の合計値の関係から文書の分割点を
求めるようにしたものである。
【０００９】請求項３の発明は、請求項２に記載された
発明において、前記三角形領域内の合計値と、前記矩形
領域内の関連度の合計値との比から極値を求めることに
より、文書の分割点を求めるようにしたものである。
発明において、前記三角形領域内の合計値と、前記矩形
領域内の関連度の合計値との比から極値を求めることに
より、文書の分割点を求めるようにしたものである。
【００１０】請求項４の発明は、請求項１乃至３のいず
れかに記載された発明において、隣接する段落における
行（又は列）の関連度の合計をそれぞれ求め、各合計値
を比較して話題転換点を求めるようにしたものである。
れかに記載された発明において、隣接する段落における
行（又は列）の関連度の合計をそれぞれ求め、各合計値
を比較して話題転換点を求めるようにしたものである。
【００１１】請求項５の発明は、請求項１乃至３のいず
れかに記載された発明において、前記分割点における行
（又は列）の関連度の合計値が所定値以下の時、該行
（又は列）を孤立段落とするようにしたものである。
れかに記載された発明において、前記分割点における行
（又は列）の関連度の合計値が所定値以下の時、該行
（又は列）を孤立段落とするようにしたものである。
【００１２】
【発明の実施の形態】上述のように、本発明を使用すれ
ば、新聞記事などの複数の話題が混在した文書でも、話
題ごとに要約を提供することが可能になる。以下に、文
書要約機能を有する文書処理装置において、表１に示す
テキストの文書を複数の意味ブロックに分割する例につ
いて説明する。
ば、新聞記事などの複数の話題が混在した文書でも、話
題ごとに要約を提供することが可能になる。以下に、文
書要約機能を有する文書処理装置において、表１に示す
テキストの文書を複数の意味ブロックに分割する例につ
いて説明する。
【００１３】本発明は、ある文書を関連する意味のまと
まりに分割する（意味ブロック抽出）もので、以下に説
明する意味ブロックの抽出は、文書の重要文抽出の前処
理であり、異なる話題の文章を話題の切れ目で分割する
ことを意味している。たとえば、いろいろな内容の文章
の寄せ集めである新聞の１面から重要文を抽出する際に
有効な処理である。意味ブロック抽出を行い、新聞の１
面から１つの記事を切り出し、そこから重要文を抽出し
た方が、複数の記事から直接、重要文を抽出する方より
良い結果が得られる。例えば、テキスト例に入力された
電子化文書を表１に示すように段落毎に分割する。
まりに分割する（意味ブロック抽出）もので、以下に説
明する意味ブロックの抽出は、文書の重要文抽出の前処
理であり、異なる話題の文章を話題の切れ目で分割する
ことを意味している。たとえば、いろいろな内容の文章
の寄せ集めである新聞の１面から重要文を抽出する際に
有効な処理である。意味ブロック抽出を行い、新聞の１
面から１つの記事を切り出し、そこから重要文を抽出し
た方が、複数の記事から直接、重要文を抽出する方より
良い結果が得られる。例えば、テキスト例に入力された
電子化文書を表１に示すように段落毎に分割する。
【００１４】
【表１】
【００１５】次の手順により意味ブロックを抽出する。 １．段落関連度マトリクスの作成 （１．１）．入力文書を段落毎に解析し、キーワードを
抽出する。キーワードは基本的には名詞であり、出現頻
度が高いものほどキーワード性が高いものとする。ま
た、キーワード同士の部分文字列の一致も考慮して、出
現頻度を計算する。
抽出する。キーワードは基本的には名詞であり、出現頻
度が高いものほどキーワード性が高いものとする。ま
た、キーワード同士の部分文字列の一致も考慮して、出
現頻度を計算する。
【００１６】（１．２）．段落番号をインデックスとし
た２次元配列（正方行列）を用意し、段落と段落のキー
ワードの重複度を計算して、配列要素（成分）に代入す
る。例えば、表１のテキスト例に対する段落関連度マト
リクスは表２に示すようになる。
た２次元配列（正方行列）を用意し、段落と段落のキー
ワードの重複度を計算して、配列要素（成分）に代入す
る。例えば、表１のテキスト例に対する段落関連度マト
リクスは表２に示すようになる。
【００１７】
【表２】
【００１８】図１は、本発明による段落関連マトリクス
を説明するための概要図で、以下、表２と共に説明す
る。意味ブロック抽出に使用するのは、２次元配列（正
方行列）の上半分の三角形領域であり、対角成分は使用
しない。つまり、段落番号（ｎ）と段落番号（ｍ）の関
連度Ｒ（ｎ，ｍ）の計算に対して、段落番号の並びを考
慮していない。すなわち、次の理由（ａ），（ｂ）によ
り、Ｒ（ｎ，ｍ）とＲ（ｍ，ｎ）の値は同じであるとみ
なしている。 （ａ）不必要な計算をしない。Ｒ（ｎ，ｍ）とＲ（ｍ，
ｎ）の値を異なるものとしたら、段落関連度マトリクス
の下半分を新たに計算しなければならなくなる。 （ｂ）意味ブロック抽出において、Ｒ（ｎ，ｍ）とＲ
（ｍ，ｎ）の値を別にする論理的根拠がない。Ｒ（ｎ，
ｍ）は、別な見方をすれば、意味空間上における段落ｎ
と段落ｍの一種の距離であるとみなせる。従って、段落
ｎから段落ｍを計った距離と段落ｍから段落ｎを計った
距離は同じであるべきであり、そのように定義されなけ
れば、意味ブロック抽出過程において不都合が生じる。
を説明するための概要図で、以下、表２と共に説明す
る。意味ブロック抽出に使用するのは、２次元配列（正
方行列）の上半分の三角形領域であり、対角成分は使用
しない。つまり、段落番号（ｎ）と段落番号（ｍ）の関
連度Ｒ（ｎ，ｍ）の計算に対して、段落番号の並びを考
慮していない。すなわち、次の理由（ａ），（ｂ）によ
り、Ｒ（ｎ，ｍ）とＲ（ｍ，ｎ）の値は同じであるとみ
なしている。 （ａ）不必要な計算をしない。Ｒ（ｎ，ｍ）とＲ（ｍ，
ｎ）の値を異なるものとしたら、段落関連度マトリクス
の下半分を新たに計算しなければならなくなる。 （ｂ）意味ブロック抽出において、Ｒ（ｎ，ｍ）とＲ
（ｍ，ｎ）の値を別にする論理的根拠がない。Ｒ（ｎ，
ｍ）は、別な見方をすれば、意味空間上における段落ｎ
と段落ｍの一種の距離であるとみなせる。従って、段落
ｎから段落ｍを計った距離と段落ｍから段落ｎを計った
距離は同じであるべきであり、そのように定義されなけ
れば、意味ブロック抽出過程において不都合が生じる。
【００１９】２．段落関連度マトリクスから三角形（対
角線上の成分を含まない）を切り出す 三角形が意味ブロックを表す。すなわち、三角形を切り
出すことが意味ブロックの抽出を意味する。表２の段落
関連度マトリクスには、キーワードノイズがあるため意
味ブロックである三角形がないように見えるが、以下に
説明する方式によれば、三角形が切り出せる。
角線上の成分を含まない）を切り出す 三角形が意味ブロックを表す。すなわち、三角形を切り
出すことが意味ブロックの抽出を意味する。表２の段落
関連度マトリクスには、キーワードノイズがあるため意
味ブロックである三角形がないように見えるが、以下に
説明する方式によれば、三角形が切り出せる。
【００２０】（２．１）．面積比の計算 段落関連度マトリクス（ｎ×ｎ）において、上述の如く
片側領域（三角形の領域）において、第１行と、任意番
目の列（ｉ列）と、対角線とで囲まれる三角形内の関連
度の総和をＤi（三角形の面積内の関連度総和）、前記
三角形の列に対応しかつ該三角形を除く矩形領域内の関
連度の総和をＲi（矩形の面積内の関連度総和）とす
る。マトリクス上のすべての段落番号ｉに対して、Ｄi
とＲiを計算する。この結果、Ｄ1，Ｄ2，…，Ｄn，
Ｒ1，Ｒ2，…，Ｒnが求まる。
片側領域（三角形の領域）において、第１行と、任意番
目の列（ｉ列）と、対角線とで囲まれる三角形内の関連
度の総和をＤi（三角形の面積内の関連度総和）、前記
三角形の列に対応しかつ該三角形を除く矩形領域内の関
連度の総和をＲi（矩形の面積内の関連度総和）とす
る。マトリクス上のすべての段落番号ｉに対して、Ｄi
とＲiを計算する。この結果、Ｄ1，Ｄ2，…，Ｄn，
Ｒ1，Ｒ2，…，Ｒnが求まる。
【００２１】（２．２）．極小点の探索 すべてのＤiとＲiに対してＲi／Ｄiを計算し、式（１）
を満たす点を探す。 Ｒi／Ｄi≧Ｒi+1／Ｄi+1＜Ｒi+2／Ｄi+2 …式（１） この時、ｉ＋１番目の段落が分割候補点になる。なお、
比を逆にとれば、分割候補点となる極値は、極大点とな
る。
を満たす点を探す。 Ｒi／Ｄi≧Ｒi+1／Ｄi+1＜Ｒi+2／Ｄi+2 …式（１） この時、ｉ＋１番目の段落が分割候補点になる。なお、
比を逆にとれば、分割候補点となる極値は、極大点とな
る。
【００２２】（２．３）．話題転換係数 式（１）で求めた段落ｉに対して、式（２）の計算をす
る。 （Ｒi+2／Ｄi+2）／（Ｒi+1／Ｄi+1） …式（２） この値は、意味ブロックの話題の転換の度合いを表して
いる。仮に、この値を話題転換係数と呼ぶことにする。
話題転換係数が１に十分近い場合は、式（１）で求めた
分割点により区切られて出来る２つの意味ブロックは互
いに似たような話題を題材にしていることを意味してい
る。
る。 （Ｒi+2／Ｄi+2）／（Ｒi+1／Ｄi+1） …式（２） この値は、意味ブロックの話題の転換の度合いを表して
いる。仮に、この値を話題転換係数と呼ぶことにする。
話題転換係数が１に十分近い場合は、式（１）で求めた
分割点により区切られて出来る２つの意味ブロックは互
いに似たような話題を題材にしていることを意味してい
る。
【００２３】話題転換係数が１から離れるほど、２つの
意味ブロックは、異なる話題を題材にしていることにな
る。従って、話題転換係数が１より明らかに大きい場合
は、段落ｉ＋１は、意味の切れ目になる。つまり、段落
番号が１〜ｉ＋１の意味ブロックと段落番号がｉ＋２〜
ｎの意味ブロックに分かれる。
意味ブロックは、異なる話題を題材にしていることにな
る。従って、話題転換係数が１より明らかに大きい場合
は、段落ｉ＋１は、意味の切れ目になる。つまり、段落
番号が１〜ｉ＋１の意味ブロックと段落番号がｉ＋２〜
ｎの意味ブロックに分かれる。
【００２４】（２．４）．上記話題転換係数というの
は、図２，図３の曲線の極小点における曲線の傾き（微
分係数）を意味する。Ｒiの値が急に大きくなり、逆に
Ｄiの値が急に小さくなると極小点の曲線の傾きが大き
くなる。つまり極小点Ｐを境として話題の内容が大きく
異なることを意味する。話題の転換があいまいに推移す
ると（論旨があいまいな文章や小説など）、極小点が存
在しても、話題転換係数が１に近くなり、意味ブロック
としての三角形が切り出せなくなる。
は、図２，図３の曲線の極小点における曲線の傾き（微
分係数）を意味する。Ｒiの値が急に大きくなり、逆に
Ｄiの値が急に小さくなると極小点の曲線の傾きが大き
くなる。つまり極小点Ｐを境として話題の内容が大きく
異なることを意味する。話題の転換があいまいに推移す
ると（論旨があいまいな文章や小説など）、極小点が存
在しても、話題転換係数が１に近くなり、意味ブロック
としての三角形が切り出せなくなる。
【００２５】このような場合、話題転換係数の値を適切
に決めることにより、適切な意味ブロックを抽出できる
ようになる。実験の結果、話題転換係数を１．１に設定
しても、良好な結果を得ることができた。話題転換係数
の導入により、誤った意味ブロックの抽出を防止でき
る。
に決めることにより、適切な意味ブロックを抽出できる
ようになる。実験の結果、話題転換係数を１．１に設定
しても、良好な結果を得ることができた。話題転換係数
の導入により、誤った意味ブロックの抽出を防止でき
る。
【００２６】（２．５）．意味ブロック抽出における孤
立段落の判定 段落iが、意味ブロックの先頭にあって、矩形の面積
（Ｒi）の成分の合計値が所定値以下例えば０の場合、
孤立段落になる。表２の段落関連度マトリクスを見れば
わかるように、この段落は、どの段落とも関連していな
い。本意味ブロック抽出ロジックの性格上、孤立段落
（どの段落とも関連せずに孤立して存在する段落）は、
必ず意味ブロックの先頭にくる（後述の『意味ブロック
の切り出し方法に対する理論的な背景』と表３の『アル
ゴリズムの実装』を参照）。このような場合は、意味ブ
ロックの開始段落番号をＳ、終了段落番号をＥとする
と、 ［Ｓ，Ｅ］→［Ｓ，Ｓ］＋［Ｓ＋１，Ｅ］ …式（３） のように、段落内を分割して処理する。
立段落の判定 段落iが、意味ブロックの先頭にあって、矩形の面積
（Ｒi）の成分の合計値が所定値以下例えば０の場合、
孤立段落になる。表２の段落関連度マトリクスを見れば
わかるように、この段落は、どの段落とも関連していな
い。本意味ブロック抽出ロジックの性格上、孤立段落
（どの段落とも関連せずに孤立して存在する段落）は、
必ず意味ブロックの先頭にくる（後述の『意味ブロック
の切り出し方法に対する理論的な背景』と表３の『アル
ゴリズムの実装』を参照）。このような場合は、意味ブ
ロックの開始段落番号をＳ、終了段落番号をＥとする
と、 ［Ｓ，Ｅ］→［Ｓ，Ｓ］＋［Ｓ＋１，Ｅ］ …式（３） のように、段落内を分割して処理する。
【００２７】この孤立段落は、意味ブロック［Ｓ＋１，
Ｅ］とは関連していないが、直前の段落と関連している
可能性があるので、厳密な結果を求める場合は、その接
続可能性を検査する必要がある。ただし、孤立段落は重
要文を含む可能性が低いので、重要文抽出処理の前処理
として意味ブロックを抽出する場合には無視できる。
Ｅ］とは関連していないが、直前の段落と関連している
可能性があるので、厳密な結果を求める場合は、その接
続可能性を検査する必要がある。ただし、孤立段落は重
要文を含む可能性が低いので、重要文抽出処理の前処理
として意味ブロックを抽出する場合には無視できる。
【００２８】３．意味ブロックである三角形の切リ出し
方法に対する理論的な背景 （３．１）．三角形と矩形の面積比により、三角形を切
り出す根拠 表２の段落関連度マトリクスにおいて、相互に関連度の
高い段落の集まりは、段落関連度マトリクス上で三角形
を構成するのは明らかである。しかし、実際は、互いに
関連のない段落同士でも、同じようなキーワードを持つ
場合があるので、段落関連度マトリクス上にノイズとな
って表れる。
方法に対する理論的な背景 （３．１）．三角形と矩形の面積比により、三角形を切
り出す根拠 表２の段落関連度マトリクスにおいて、相互に関連度の
高い段落の集まりは、段落関連度マトリクス上で三角形
を構成するのは明らかである。しかし、実際は、互いに
関連のない段落同士でも、同じようなキーワードを持つ
場合があるので、段落関連度マトリクス上にノイズとな
って表れる。
【００２９】そうしたノイズは、矩形上に表れる。表１
のテキスト例では、段落１〜段落５までが１つの意味ブ
ロックを形成し、段落６〜段落１０までが別な意味ブロ
ックを形成する。しかし、段落１と段落６では、「ワシ
ントン」，「米政府」，「連邦政府」などのキーワード
が共通に出現し、互いに関連があるように見える。この
場合、こうしたキーワードはノイズであり、非対角成分
である矩形に表れている。表２の（１，６）の要素（成
分）である９という値がそうである。こうしたノイズを
取り除いて、三角形を切り出すには、三角形と矩形の面
積比に注目すれば良い。
のテキスト例では、段落１〜段落５までが１つの意味ブ
ロックを形成し、段落６〜段落１０までが別な意味ブロ
ックを形成する。しかし、段落１と段落６では、「ワシ
ントン」，「米政府」，「連邦政府」などのキーワード
が共通に出現し、互いに関連があるように見える。この
場合、こうしたキーワードはノイズであり、非対角成分
である矩形に表れている。表２の（１，６）の要素（成
分）である９という値がそうである。こうしたノイズを
取り除いて、三角形を切り出すには、三角形と矩形の面
積比に注目すれば良い。
【００３０】ノイズがないと仮定すると、図１に示す段
落関連度マトリクスから容易に理解されるように、（矩
形の面積）÷（三角形の面積）の値は、段落の始まりで
無限大になり（Ｄの面積が０）、段落の終わりで、０
（Ｒの面積が０）になる。
落関連度マトリクスから容易に理解されるように、（矩
形の面積）÷（三角形の面積）の値は、段落の始まりで
無限大になり（Ｄの面積が０）、段落の終わりで、０
（Ｒの面積が０）になる。
【００３１】図２は、（矩形の面積）÷（三角形の面
積）の値を概念的な曲線（当然ながら、実際には、離散
曲線になる）で表したもので（この例では、ｎ個の段落
が２つの意味ブロックに分割されたことを意味してい
る）、図２において、極小点Ｐの値が０（Ｒの値が０）
になり、段落番号１おける値が無限大、段落番号ｎにお
ける値が０になることを表している。
積）の値を概念的な曲線（当然ながら、実際には、離散
曲線になる）で表したもので（この例では、ｎ個の段落
が２つの意味ブロックに分割されたことを意味してい
る）、図２において、極小点Ｐの値が０（Ｒの値が０）
になり、段落番号１おける値が無限大、段落番号ｎにお
ける値が０になることを表している。
【００３２】図３は、ノイズがある場合で、この場合
は、意味ブロックの分割点における極小点Ｐの値が、ノ
イズの分だけ、Ｙ軸方向に増加する。ただし、段落番号
１における値は無限大、段落ｎにおける値は０のままで
ある。注目すべきは、ノイズがある場合でもない場合で
も、曲線の形状は図２，図３とも似たようなものになる
点である。すなわち、面積比の値が無限大から始まり、
極小点と極大点を交互に持ちながら、次第に０に減衰し
ていくのである。
は、意味ブロックの分割点における極小点Ｐの値が、ノ
イズの分だけ、Ｙ軸方向に増加する。ただし、段落番号
１における値は無限大、段落ｎにおける値は０のままで
ある。注目すべきは、ノイズがある場合でもない場合で
も、曲線の形状は図２，図３とも似たようなものになる
点である。すなわち、面積比の値が無限大から始まり、
極小点と極大点を交互に持ちながら、次第に０に減衰し
ていくのである。
【００３３】（３．２）．極小点が分割点になる理由 表２の段落関連マトリクスから、意味ブロック（三角
形）内では次の関係が成立する。 Ｒ1≦Ｒ2≦…＜Ｒk-1＜Ｒk＞Ｒk+1＞…＞Ｒm（Ｒm→０） …式（４） Ｄ1≦Ｄ2≦…＜Ｄm …式（５） 段落番号１〜ｍの間に、分割点はないとする。この時意
味ブロック内では、 ∀ｉ∈［ｌ，ｍ］ …式（６） の定条件のもとで、 Ｒi／Ｄi≧Ｒi+1／Ｄi+1 …式（７） が成立することを示す（この説明は数学的な証明ではな
いので厳密さに欠ける）。
形）内では次の関係が成立する。 Ｒ1≦Ｒ2≦…＜Ｒk-1＜Ｒk＞Ｒk+1＞…＞Ｒm（Ｒm→０） …式（４） Ｄ1≦Ｄ2≦…＜Ｄm …式（５） 段落番号１〜ｍの間に、分割点はないとする。この時意
味ブロック内では、 ∀ｉ∈［ｌ，ｍ］ …式（６） の定条件のもとで、 Ｒi／Ｄi≧Ｒi+1／Ｄi+1 …式（７） が成立することを示す（この説明は数学的な証明ではな
いので厳密さに欠ける）。
【００３４】
【数１】
【００３５】となる。このＸ，Ｙは、段落関連度マトリ
クスにおいて、図４に示すように、それぞれ、列がｉの
Ｙ方向の成分、行がｉのＸ方向の成分を指す。（Ｙ−
Ｘ）が０以上の場合は、式（８）の符号は正になる。
（Ｙ−Ｘ）が負の場合に、 Ｄi＞（Ｒi・Ｙ）／（Ｘ−Ｙ） …式（９） を満たす段落関連度マトリクスの要素（成分）の状態を
示す。式（９）が成立すると、式（８）の符号が負にな
り、ｉが極小点になる。すなわち、式（９）を満たす段
落関連度マトリクスの要素（成分）が存在した場合は、
分割点がないと仮定した意味ブロックに分割点が存在す
ることになる。そうした場合について、以下（ａ），
（ｂ）の２つに分けて検討してみる。
クスにおいて、図４に示すように、それぞれ、列がｉの
Ｙ方向の成分、行がｉのＸ方向の成分を指す。（Ｙ−
Ｘ）が０以上の場合は、式（８）の符号は正になる。
（Ｙ−Ｘ）が負の場合に、 Ｄi＞（Ｒi・Ｙ）／（Ｘ−Ｙ） …式（９） を満たす段落関連度マトリクスの要素（成分）の状態を
示す。式（９）が成立すると、式（８）の符号が負にな
り、ｉが極小点になる。すなわち、式（９）を満たす段
落関連度マトリクスの要素（成分）が存在した場合は、
分割点がないと仮定した意味ブロックに分割点が存在す
ることになる。そうした場合について、以下（ａ），
（ｂ）の２つに分けて検討してみる。
【００３６】（ａ）．Ｙ／（Ｘ−Ｙ）＞１ すなわち
Ｘ＞Ｙ＞Ｘ／２ の場合 上記式（９）において、Ｒiの係数が１より大きい時
に、式（９）が成立するので、Ｄiの面積（重み：関連
度の合計値）は、Ｒiの面積（重み：関連度の合計値）
より大きいと言える。すなわち、三角形の面積（重み）
より、矩形の面積（重み）より大きい場合に式（９）が
成立する。
Ｘ＞Ｙ＞Ｘ／２ の場合 上記式（９）において、Ｒiの係数が１より大きい時
に、式（９）が成立するので、Ｄiの面積（重み：関連
度の合計値）は、Ｒiの面積（重み：関連度の合計値）
より大きいと言える。すなわち、三角形の面積（重み）
より、矩形の面積（重み）より大きい場合に式（９）が
成立する。
【００３７】Ｙの値がＸの値と近い状態で、三角形の重
みが周辺部より重い場合は、同じ話題を扱う１つの意味
ブロック内で、話題があいまいに展開していると考えら
れる。そうした場合は、式（８）が負になり、ｉが極小
点になる。この極小点で分割される前後の意味ブロック
は同じ話題について記述されている意味ブロックで、こ
の極小点における話題転換係数は１にかなり近い値とな
る。
みが周辺部より重い場合は、同じ話題を扱う１つの意味
ブロック内で、話題があいまいに展開していると考えら
れる。そうした場合は、式（８）が負になり、ｉが極小
点になる。この極小点で分割される前後の意味ブロック
は同じ話題について記述されている意味ブロックで、こ
の極小点における話題転換係数は１にかなり近い値とな
る。
【００３８】（ｂ）．Ｙ／（Ｘ−Ｙ）≦１ すなわち
０≦Ｙ≦Ｘ／２ の場合 Ｙが０の場合は、段落ｉは孤立段落となる。この時、式
（８）の符号は負になり極小点が存在する。また、Ｙが
Ｘ／２に近くなるほど、ａの状況に近づく。まとめる
と、分割点がないと仮定した意味ブロック内でも、孤立
段落が存在したり、話題が曖昧に展開したりすると、分
割点が発生する。しかし、すでに説明したように、話題
転換係数の導入と、孤立段落の処理により、こうした状
況を救済することが可能になる。
０≦Ｙ≦Ｘ／２ の場合 Ｙが０の場合は、段落ｉは孤立段落となる。この時、式
（８）の符号は負になり極小点が存在する。また、Ｙが
Ｘ／２に近くなるほど、ａの状況に近づく。まとめる
と、分割点がないと仮定した意味ブロック内でも、孤立
段落が存在したり、話題が曖昧に展開したりすると、分
割点が発生する。しかし、すでに説明したように、話題
転換係数の導入と、孤立段落の処理により、こうした状
況を救済することが可能になる。
【００３９】４．アルゴリズムの実装 意味ブロックの抽出アルゴリズムの実装は極めて簡単で
あり、実際のコードも非常に短いので、その例を表３に
疑似コードで示す（ただし、意味ブロックの統合、孤立
段落処理は、省略している）。ただし、ＤiとＲiの計算
の高速化のために、段落関連度マトリクスは２次元配列
ではなく、まったく別個のデータ構造になっている。こ
の疑似コードでは、与えられた段落群から意味の切れ目
を１つ見つけ、段落を２つの意味段落群に分けている。
意味の切れ目が見つからない場合は、意味ブロック抽出
処理は終了する。意味の切れ目があった場合には、分割
した最初の段落群の意味の切れ目を探索するために、再
帰的に自分自身を呼び出す。同様に分割した後の段落群
の意味の切れ目を探索するために、再帰的に呼び出す。
意味の切れ目の判断条件は、『三角形の切り出し方法』
で説明した通りである。
あり、実際のコードも非常に短いので、その例を表３に
疑似コードで示す（ただし、意味ブロックの統合、孤立
段落処理は、省略している）。ただし、ＤiとＲiの計算
の高速化のために、段落関連度マトリクスは２次元配列
ではなく、まったく別個のデータ構造になっている。こ
の疑似コードでは、与えられた段落群から意味の切れ目
を１つ見つけ、段落を２つの意味段落群に分けている。
意味の切れ目が見つからない場合は、意味ブロック抽出
処理は終了する。意味の切れ目があった場合には、分割
した最初の段落群の意味の切れ目を探索するために、再
帰的に自分自身を呼び出す。同様に分割した後の段落群
の意味の切れ目を探索するために、再帰的に呼び出す。
意味の切れ目の判断条件は、『三角形の切り出し方法』
で説明した通りである。
【００４０】
【表３】
【００４１】
【発明の効果】本発明によれば、新聞記事など複数の話
題が混在した文書でも、話題ごとに要約を提供すること
が可能になる。新聞記事などのように複数の記事を有す
るものから重要文を抽出する場合、本発明による意味ブ
ロック抽出を行ってから、該当する記事を切り出し、そ
こから重要文を抽出した方が、複数の記事から直接重要
文を抽出する方よりも良い結果が得られる。また、本発
明によれば、同じ文書に日本語と英語などのように２つ
以上の言語が混在した場合でも、日本語で記述された部
分に分割することが可能になる。上記話題転換係数の導
入により、誤った意味ブロックの抽出を防止できる。
題が混在した文書でも、話題ごとに要約を提供すること
が可能になる。新聞記事などのように複数の記事を有す
るものから重要文を抽出する場合、本発明による意味ブ
ロック抽出を行ってから、該当する記事を切り出し、そ
こから重要文を抽出した方が、複数の記事から直接重要
文を抽出する方よりも良い結果が得られる。また、本発
明によれば、同じ文書に日本語と英語などのように２つ
以上の言語が混在した場合でも、日本語で記述された部
分に分割することが可能になる。上記話題転換係数の導
入により、誤った意味ブロックの抽出を防止できる。
【図１】 段落関連度マトリクスを説明するための概要
図である。
図である。
【図２】 三角形領域と矩形領域の関係を説明するため
の図である。
の図である。
【図３】 三角形領域と矩形領域の関係（ノイズがある
場合）を説明する図である。
場合）を説明する図である。
【図４】 段落関連度マトリクスを説明する図である。
Claims (5)
- 【請求項１】 電子化された文書を段落に分割し、 上記段落から抽出されたキーワードに基づいて段落間の
関連度を計算し、 段落を次元とする正方行列において、該正方行列の対角
成分を境として片側の領域の各成分に上記関連度を入
れ、該関連度を入れた前記片側領域において、任意番目
の行（又は列）と、任意番目の列（又は行）と、対角成
分と、で囲まれる三角形領域内の関連度の合計値を求
め、 該関連度の合計値に基づいて文書の分割点を求めること
を特徴とする文書処理装置。 - 【請求項２】 請求項１に記載された文書処理装置にお
いて、前記三角形領域内の合計値と、前記三角形領域の
列（又は行）に対応しかつ該三角形領域を除く矩形領域
内の関連度の合計値との関係から文書の分割点を求める
ことを特徴とする文書処理装置。 - 【請求項３】 請求項２に記載された文書処理装置にお
いて、前記三角形領域内の合計値と、前記矩形領域内の
関連度の合計値との比から極値を求めることにより、文
書の分割点を求めることを特徴とする文書処理装置。 - 【請求項４】 請求項１乃至３のいずれかに記載された
文書処理装置において、隣接する段落における行（又は
列）の関連度の合計をそれぞれ求め、各合計値を比較し
て話題転換点を求めることを特徴とする文書処理装置。 - 【請求項５】 請求項１乃至３のいずれかに記載された
文書処理装置において、前記分割点における行（又は
列）の関連度の合計値が所定値以下の時、該行（又は
列）を孤立段落とすることを特徴とする文書処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11036890A JP2000235574A (ja) | 1999-02-16 | 1999-02-16 | 文書処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11036890A JP2000235574A (ja) | 1999-02-16 | 1999-02-16 | 文書処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000235574A true JP2000235574A (ja) | 2000-08-29 |
Family
ID=12482383
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11036890A Pending JP2000235574A (ja) | 1999-02-16 | 1999-02-16 | 文書処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000235574A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006127523A (ja) * | 2005-10-27 | 2006-05-18 | Hitachi Ltd | 文書情報表示システム |
| US7113897B2 (en) | 2000-10-02 | 2006-09-26 | Hewlett-Packard Company | Apparatus and method for text segmentation based on coherent units |
| JP2014059896A (ja) * | 2003-11-21 | 2014-04-03 | Nuance Communications Inc | トピック特異的言語モデルおよびトピック特異的ラベル統計によるユーザー対話を用いたテキストセグメント分割およびラベル付与 |
| US9396166B2 (en) | 2003-02-28 | 2016-07-19 | Nuance Communications, Inc. | System and method for structuring speech recognized text into a pre-selected document format |
-
1999
- 1999-02-16 JP JP11036890A patent/JP2000235574A/ja active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7113897B2 (en) | 2000-10-02 | 2006-09-26 | Hewlett-Packard Company | Apparatus and method for text segmentation based on coherent units |
| US9396166B2 (en) | 2003-02-28 | 2016-07-19 | Nuance Communications, Inc. | System and method for structuring speech recognized text into a pre-selected document format |
| JP2014059896A (ja) * | 2003-11-21 | 2014-04-03 | Nuance Communications Inc | トピック特異的言語モデルおよびトピック特異的ラベル統計によるユーザー対話を用いたテキストセグメント分割およびラベル付与 |
| US9128906B2 (en) | 2003-11-21 | 2015-09-08 | Nuance Communications, Inc. | Text segmentation and label assignment with user interaction by means of topic specific language models, and topic-specific label statistics |
| JP2006127523A (ja) * | 2005-10-27 | 2006-05-18 | Hitachi Ltd | 文書情報表示システム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11741173B2 (en) | Related notes and multi-layer search in personal and shared content | |
| US8108405B2 (en) | Refining a search space in response to user input | |
| US7461056B2 (en) | Text mining apparatus and associated methods | |
| US7958128B2 (en) | Query-independent entity importance in books | |
| US8606778B1 (en) | Document ranking based on semantic distance between terms in a document | |
| US8909654B2 (en) | Information search method, apparatus, program and computer readable recording medium | |
| US7246129B2 (en) | System and method for identifying relationships between database records | |
| CN100595753C (zh) | 一种文本主题推荐方法和装置 | |
| CN101501630B (zh) | 计算机化搜索结果列表的排序方法及其数据库搜索引擎 | |
| Lossio-Ventura et al. | Yet another ranking function for automatic multiword term extraction | |
| CA2472664A1 (en) | Vision-based document segmentation | |
| CN105426360A (zh) | 一种关键词抽取方法及装置 | |
| CN105005556A (zh) | 一种基于地质大数据的标引关键词提取方法和系统 | |
| EP2045732A2 (en) | Determining the depths of words and documents | |
| CN109815499B (zh) | 信息关联方法和系统 | |
| JP3921837B2 (ja) | 情報判別支援装置、情報判別支援プログラムを記録した記録媒体及び情報判別支援方法 | |
| JP2000235574A (ja) | 文書処理装置 | |
| Vu et al. | Using a knowledge base to disambiguate personal name in web search results | |
| Triwijoyo et al. | Analysis of document clustering based on cosine similarity and K-main algorithms | |
| JP2003208447A (ja) | 文書検索装置、文書検索方法、文書検索プログラム及び文書検索プログラムを記録した媒体 | |
| CN1629835A (zh) | 电子文档的计算机辅助写作和浏览的方法及装置 | |
| CN114186014A (zh) | 用于生成词文图谱的方法、装置及设备 | |
| Li et al. | Web Search Based on Micro Information Units | |
| Yaari | NLP-assisted exploration of texts | |
| Gelfand et al. | Discovering concepts in raw text: Building semantic relationship graphs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041029 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041102 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041210 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050920 |