JP2004355371A

JP2004355371A - 文書分類装置、その方法及び記憶媒体

Info

Publication number: JP2004355371A
Application number: JP2003152835A
Authority: JP
Inventors: Shuichi Morisawa; 秀一森澤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-05-29
Filing date: 2003-05-29
Publication date: 2004-12-16
Also published as: US20040243622A1

Abstract

【課題】文書が複数個の分類先カテゴリにまたがって分類されていた場合に、文書アイコンを別のカテゴリへドラッグするという操作後にカテゴリの所属関係が不明確になるという課題があった。
【解決手段】カテゴリ間での文書の移動指示がなされた場合に、該文書のカテゴリ所属状況に応じてメッセージを制御し（２０１、２０２）、当該制御されたメッセージを出力する（２０３）ように構成する。
【選択図】図２

Description

【０００１】
【発明の属する技術分野】
本発明は、入力された文書をカテゴリに分類する文書分類装置に関するものであり、文書の分類をユーザが変更する際の操作および表示方式に関するものである。
【０００２】
【従来の技術】
入力された文書をカテゴリ群に振り分ける文書分類システムにおいて、システムが出力した分類結果が１００％正しいということは通常考えられず、ユーザから見て適当でないカテゴリに振り分けられる文書も多いと考えられる。システムによりそのように誤分類されてしまった文書に対し、ユーザの希望するふさわしいカテゴリへと手作業によって分類し直し、その変更内容をシステムが解析して分類用辞書の各パラメータを再調整することで反映させ、次回入力される文書をより正しく分類できるようにトレーニングすることをシステムの学習と呼ぶ。分類が実行されるごとにユーザがその結果を検討し、誤分類と思うものを正しいカテゴリに割り当てて学習させるという作業を繰り返すことで、システムは次第にユーザの意図に近い分類ができるようになると考えられる。このシステムの学習に関する従来技術の１つである特許文献１では、学習に関するアルゴリズムが詳述されている。
【０００３】
このような状況において、誤分類された文書の正しい分類先を指定する方法として、マウスを使って当該文書を表すアイコンをドラッグし、正しい分類先カテゴリを表すアイコンの上まで移動するというのが一般に考えられている。この操作はウィンドウシステムにおけるＧＵＩのメリットによくマッチしており、あたかも図書館で誤った図書分類の書棚に返却された図書を元の正しい書棚に入れ直すように、誤分類文書のカテゴリ間の移動を直感的にイメージできることがポイントである。
【０００４】
しかしながら図書の場合と異なる点は、各図書には決まった一つの図書分類しか存在しないが、文書の分類においては上で説明したように、ユーザが使い勝手その他を考慮して同一文書を複数のカテゴリに分類したり、カテゴリセットが複数存在することによる操作上の混乱を招きやすいことが挙げられる。
【０００５】
あるカテゴリに属する文書を表示させ、そのうちの一つを選択してユーザが他のカテゴリに移動しようとしたとき、実はそのカテゴリにも既に同時に所属していたとすると、操作後にはこれらのカテゴリに対してどのような所属関係をその文書に持たせるべきか、直感的に把握しづらい事態となってしまう。
【０００６】
【特許文献１】
特開２００３−９１５４２
【０００７】
【発明が解決しようとする課題】
本発明は、以上のような問題点を解決するためのものであり、文書が複数個の分類先カテゴリにまたがって分類されていた場合に、文書アイコンを別のカテゴリへドラッグするという操作後にカテゴリの所属関係が不明確になるのを防ぐ。すなわち、あるカテゴリに属する文書を表示させ、そのうちの一つを選択してユーザが他のカテゴリに移動しようとしたとき、実はそのカテゴリにも既に同時に所属していたとすると、操作後にはこれらのカテゴリに対してどのような所属関係をその文書に持たせるべきか、直感的に把握しづらい事態となってしまうのを避けるため、文書の移動前にメッセージを出力して操作後どのカテゴリにどのような優先順位で所属するのかを明らかにする。
【０００８】
また、カテゴリセットが複数個存在するシステムで、ある文書の所属するカテゴリが異なるカテゴリセットにまたがって表示されていた場合に、現在注目しているカテゴリセットに属さないカテゴリへ移動しようとするユーザ操作に対し、メッセージを出力して現在の注目カテゴリをユーザに認識させることで混乱や誤操作を未然に防ぐ。
【０００９】
【課題を解決するための手段】
上述した問題点を解決するために、本発明では、文書をカテゴリに分類する文書分類装置において、文書の特徴量とカテゴリの特徴量から文書をカテゴリに分類する文書分類手段と、前記カテゴリ間での文書の移動指示に基づいてメッセージを出力するメッセージ出力手段とを備えたことを特徴とする。
【００１０】
【発明の実施の形態】
（第１の実施の形態）
本発明での実施の形態を図１から図２５を参照しながら説明する。
【００１１】
図１は本システムの全体構成を示すものである。
【００１２】
図２は図１の構成のうち、特に分類結果表示手段についてその構成を詳しく示したものである。このうち、後に説明するようにメッセージ作成手段が本発明における最も重要な構成手段である。分類部が分類した結果を分類結果ファイルとして保存。表示制御部は分類結果ファイルを参照して分類状況を出力部に出力する。また表示制御部はメッセージ作成部が作成したメッセージを出力部に出力する。
【００１３】
図３は本発明を適用した文書分類装置の構成を示すブロック図である。
【００１４】
図示の構成において、ＣＰＵ３０１はマイクロプロセッサであり、文書分類処理のための演算、論理判断等を行い、バスを介してバスに接続された各構成要素を制御する。
【００１５】
バス３０９は、マイクロプロセッサＣＰＵの制御対象である各構成要素を指示するアドレス信号、コントロール信号を転送する。また、各構成要素間のデータ転送を行う。
【００１６】
ＲＡＭ３０２は書込み可能なランダムアクセスメモリであって、各構成要素からの各種データの一次記憶に用いる。
【００１７】
ＲＯＭ３０３は読出し専用の固定メモリである。マイクロプロセッサＣＰＵによるブートプログラムを記憶する。ブートプログラムはシステム起動時にハードディスクに記憶された制御プログラムをＲＡＭにロードし、マイクロプロセッサＣＰＵに実行させる。
【００１８】
入力装置３０４はキーボード、マウス等である。
【００１９】
表示装置３０５はＣＲＴ、液晶ディスプレイ等である。
【００２０】
ＨＤ３０６はハードディスクであり、ＣＰＵにより実行される制御プログラム、等が格納される。
【００２１】
リムーバブル外部記憶装置３０８はフロッピー（登録商標）ディスクやＣＤ、ＤＶＤ等の外部記憶にアクセスするためのドライブ等である。上記ＨＤと同様に使用でき、それらの記録媒体を通じて他の文書処理装置とのデータ交換を行う装置である。なお、ハードディスクに記憶される制御プログラムは、これらの外部記憶装置から必要に応じてＨＤにコピーすることもできる。
【００２２】
通信装置３０７はネットワークコントローラである。通信回線を介して外部とのデータ交換を行う装置である。
【００２３】
かかる各構成要素からなる本発明文書分類装置においては、入力装置からの各種の入力に応じて作動するものであって、入力装置からの入力が供給されるとまずインタラプト信号がマイクロプロセッサＣＰＵに送られ、それに伴って、ＣＰＵがＲＯＭまたはＲＡＭ内に記憶される各種命令を読み出し、その実行によって各種の制御が行われる。
【００２４】
図４は本システムにおける学習処理のフローチャートである。学習処理では、分類先がユーザによって予め指定された学習用文書を解析し、分類を行ううえで必要となる辞書を作成する。まず、学習用文書を形態素解析し、単語切りを行う。そして普通名詞、固有名詞、サ変名詞、および形態素辞書にない単語である未知語をピックアップし、全学習用文書にわたる総出現頻度がある程度大きく信頼性の高い単語だけを選んで残りは捨てる。残った単語の中から、特定のカテゴリに偏って現れる単語だけを有効語候補とするため、ピックアップされた各単語に対し局在度なるものを計算する。まず、カテゴリＣｊに属する学習用文書の中で、単語Ｗｉを含む文書の割合、すなわち、カテゴリＣｊに属しＷｉを含む文書数をカテゴリＣｊに所属する文書数で割ったものでをＰｉｊとおく。ただし、どの単語に対しても、その局在度をすべてのカテゴリに対して足し合わせた値が１となるように正規化しておく。すなわち、すべてのカテゴリをＣ１，Ｃ２，・・・，Ｃｍとしたとき、Σ（ｊ＝１，ｍ）Ｐｉｊ＝１とする。単語ＷｉのカテゴリＣｊに対する局在度Ｅ（Ｗｉ）は、Ｅ（Ｗｉ）＝１＋Σ（ｊ＝１，ｍ）Ｐｉｊ＊ｌｏｇｍＰｉｊで定義する。局在度の値が大きい順にＮ個の単語を選択し、これらを有効語候補とする（フローチャート図４の処理４０１）。
【００２５】
次に、単語間の距離を求めるために、各有効語に対して意味ベクトルと呼ぶベクトル値を定義する。ベクトルの軸として全有効語自体をとり、その成分値として当該有効語と軸とする有効語との共起確率を採用する。ただし、単語Ｗｉの単語Ｗｊに対する共起確率とは、ＷｉとＷｊをともに含む文書数の、Ｗｉを含む文書数に対する比で定義する。図６は共起確率を表したものであり、それによると、例えば単語「商社」のベクトル表現は、
（１．００．２０．１０．６０．８０．００．００．３・・・）となる。
【００２６】
そしてこれらの情報を元に有効語辞書を作成する（フローチャート図４の処理４０２）。図７は有効語辞書の例であり、単語「商社」を見出しとするものの例である。帰属数はカテゴリごとに、この単語を含む文書がいくつ所属しているかを示すものであり、また出現数はこの単語を含む学習用文書の総数である。
【００２７】
有効語辞書を作成したら、次に各学習用文書に対してその中に含まれる有効語の意味ベクトルの重み付き平均を計算することによって、その文書のベクトル表現を定義することが出来る。またカテゴリごとに、そこに所属する全ての学習用文書の、ベクトルの平均を取ることにより、カテゴリの代表ベクトルを定める（フローチャート図４の処理４０３）。
【００２８】
有効語の重みは、その有効語自体が分類という行為に対してどの程度有効かという点、およびその有効語が各文書の中でどの程度重要な位置を示しているかという点の２点を考慮して定義する。第１の観点は各カテゴリへの帰属度の度合いを表すもので、特定のカテゴリを特徴付ける度合いの高い有効語ほど重みを重くするという考えであり、上記で説明した局在度を用いる。第２の観点は対象とする文書の中でその有効語がどのように使われているか、文書の内容とどのように関わっているのか、という側面を評価するもので、有効語の出現位置やその有効語の格役割、修飾タイプなどの言語的役割、に注目して評価項目をあらかじめ作成しておき、有効語が各評価項目の条件を満たした場合に与える重みの値をフローチャート図４の処理４０４〜４１０で示したような繰り返し学習によって定めるものである。学習スタート時には重みをすべて１に初期化しておく。
【００２９】
第２の観点に基づく重みは各評価項目の値を辞書として格納しておき、第１の観点に基づく重み、すなわち有効語の局在度を記した有効語辞書とともに分類実行時に参照し、各有効語のトータルの重みを計算するようになっている。図８は有効語の出現位置を評価項目とした重みの値を格納した重み辞書の例であり、また図９は有効語の格役割、修飾タイプなどの言語的役割を評価項目とした重みの値を格納した重み辞書の例である。
【００３０】
次に、上で述べた重みの学習について説明する。これまでに作成した有効語辞書、カテゴリ代表ベクトル、および現在の重みの値を記した重み辞書等を参照しながら、学習用文書のそれぞれについて分類を実行し、各評価項目ごとの重みの値を微調整して再度分類を試みる、という処理を繰り返して最終的な重みの値を決定する（フローチャート図４の処理４０４〜４０５）。図５は４０５の分類実行の処理を説明するフローチャートである。
【００３１】
まず学習処理の冒頭で行ったように、分類対象文書をもう一度形態素解析し、有効語辞書を参照してそこに含まれる有効語をピックアップする（フローチャート図５の処理５０１）。なお、図５は重みの学習処理を終了後に学習用文書以外の文書を分類する際の処理を記述したものであるから、今述べているような重み学習処理の中で分類を実行する際には、言うまでもなく再び形態素解析を実行する必要はなく、学習処理冒頭で行った形態素解析の結果を保存しておいてそれをここでの処理結果として差し支えない。
【００３２】
次にピックアップされた有効語の重みを計算する（フローチャート図５の処理５０２）。第１の観点による重みの値は有効語辞書の局在度を用い、第２の観点による重みは図７、図８の２つの重み辞書を参照して、それらの値を総合してトータルの重みを求める。
【００３３】
次に有効語辞書から意味ベクトルを取得する（フローチャート図５の処理５０３）。以上を分類対象文書からピックアップされた全ての有効語について行ったら、各有効語の意味ベクトルに５０２で計算した重みを付けて平均を取り、分類対象文書の文書ベクトルを求める（フローチャート図５の処理５０４）。
【００３４】
そして、図５の処理５０３で求めた各カテゴリの代表ベクトルと、分類対象ベクトルの文書ベクトルとの距離を計算する（フローチャート図５の処理５０５）。２つのベクトル間の距離としては、よく行われるように内積を計算して得られる両ベクトルのなす角の余弦値を用いる。距離が最も近いカテゴリを当該分類対象文書の分類先カテゴリとして決定する（フローチャート図５の処理５０６）。
【００３５】
以上がフローチャート図４の４０５で行われる分類実行の処理であり、再び図４の処理４０６に戻って重み学習の続きを説明する。
【００３６】
学習用文書にはあらかじめ、ユーザが分類させたい正解カテゴリが決められているので、処理４０５で得られた分類先カテゴリと比較する。両者のカテゴリが一致した場合には、重みをチューニングする必要はないとみなし、当該学習用文書に対してはこれ以上処理することはなく、ループ４０４の次の学習用文書の処理に移る。両者のカテゴリが一致しなかった場合には、分類システムの分類先が間違っていたことになり、重み辞書の重みの値を以下のように調整する。まず、当該学習用文書に含まれる有効語について、分類処理の５０３で取得した意味ベクトルを参照し、それと正解カテゴリ、分類先カテゴリとの距離をそれぞれ計算して、当該有効語の意味ベクトルが正解カテゴリ、分類先カテゴリのどちらの代表ベクトルにより近いかを判定する（フローチャート図４の処理４０８）。ここで分類先カテゴリに近かったとすると、当該文書の文書ベクトルが正解カテゴリの方へより近づくようにするため、当該有効語が該当している重みの評価項目の重みの値を微小量だけ減らすよう２つの重み辞書を修正する（フローチャート図４の処理４０９）。逆に当該有効語の意味ベクトルが正解カテゴリの方により近かったとすると、当該有効語が該当している重みの評価項目は正しい分類に寄与していたものとみなし、その重みの値を微小量だけ増やすように重み辞書を修正する（フローチャート図４の処理４１０）。これを当該学習用文書からピックアップされた全ての有効語に対して行い（フローチャート図４の４０７のループ）、重みの値を調整する。
【００３７】
そして、以上説明した処理を、全ての学習用文書を分類対象とみなして繰り返し（フローチャート図４の４０４のループ）、重みの値が最適となるように一連の学習用文書に対して何回か繰り返し、重み辞書を最終的に完成させる。このようにして学習処理が完了する。
【００３８】
以上で作成された各種辞書を参照して、学習用文書以外の一般文書の分類を行うのであるが、その手順は重みの学習処理の中で説明した分類実行での処理と全く同一である。分類対象文書が、正解カテゴリの与えられた学習用文書であるか、正解カテゴリが未知の一般文書であるかの違いだけである。
【００３９】
ただし、フローチャート図５の処理５０６においては、分類対象文書の分類先カテゴリを唯一つに決定して出力するようになっているが、カテゴリ代表ベクトルと分類対象文書の文書ベクトルとの距離がたまたま一致してしまうような複数個のカテゴリが存在することもありうる。また、システムによっては複数個の分類先カテゴリを出力することを要求されることも考えられる。後者の要求に対しては、カテゴリ代表ベクトルと分類対象文書の文書ベクトルとの距離があらかじめ定められた閾値を超えていたら正解とするなどの方法で行えばよい。
【００４０】
次に分類結果の表示方法について説明する。
【００４１】
図１０は、システム管理者またはシステムのエンドユーザ等によって自動文書分類システム上に定義された分類カテゴリを、本発明における表示ウィンドウの左側に表示した例である。また図１１はカテゴリ定義ファイルであり、文書自動分類のシステム管理者等が定義したカテゴリおよびカテゴリセットの内容を記憶するためのシステムファイルの例である。各エントリは３つの値の組からなり、それぞれカテゴリセットＩＤ，そのカテゴリセットに定義されたカテゴリの数、そのカテゴリセットに定義されたカテゴリのリストを表している。
【００４２】
一つの分類システムを複数のエンドユーザが使用することも考えられ、ある文書群をユーザごとに別々のカテゴリセットで分類したい場合、システム上で一般に複数個のカテゴリセットが存在することになるため、ここではカテゴリセットＡ、カテゴリセットＢなどという名称で各カテゴリセットを区別している。カテゴリセットＡというカテゴリセットには、そこに含まれるカテゴリとして、「政治」、「経済」、「司法」、「教育」、「医療」、「文芸」、「学術」、「事件」の８個のカテゴリが定義されており、またカテゴリセットＢには、「ヒト」、「モノ」、「娯楽」、「教養」、「時事」、「その他」の６個のカテゴリが定義されていることを示している。
【００４３】
図１２は分類結果ファイルの例であり、これは本システムにより自動分類が実行された文書群に対し、各文書がそれぞれどのカテゴリセットのどのカテゴリに分類されたかを記述したファイルであり、ある分類対象文書に対して分類が実行されるごとに更新される。各エントリはシステムに蓄積された文書を一意に識別するための「文書ＩＤ」、着目するカテゴリセットのＩＤを表す「カテゴリセットＩＤ」、当該文書が当該カテゴリセットの中で属するカテゴリを意味する「カテゴリ」の３つの属性を持つ組として表現される。
【００４４】
図１０において任意のカテゴリがマウスやキーボード等により選択されると、表示制御部２０１は図１２の分類結果ファイル２０５を参照し、カテゴリ属性が選択されたカテゴリに等しいエントリを検索し、そのエントリの文書ＩＤを取得して文書のタイトルを表示する。
【００４５】
図１３はそのときの画面の例を表したものであり、図１０に示したカテゴリ一覧の中から、カテゴリセットＡの中の「政治」カテゴリを選択した場合の表示例である。ウィンドウの右側はウィンドウ左側で選択されたカテゴリに分類されている文書の一覧を表示するためのものであり、この例では「政治」カテゴリに所属する全ての文書のタイトルが表示されている。
【００４６】
次に、図１３の右ウィンドウに表示された文書タイトルの一覧から任意の文書をマウスやキーボード等で選択すると、表示制御部２０１は図１２の分類結果ファイル２０５を再び参照し、文書ＩＤ属性が選択された文書に等しいエントリを全て検索し、そのエントリのカテゴリセット属性とカテゴリ属性の値のペアを取得する。そして、右ウィンドウに表示されているカテゴリ一覧から、取得したペアに相当するカテゴリだけをハイライト表示する。
【００４７】
従来の文書自動分類システムにおいても、カテゴリが選択されたときにそのカテゴリに対応した文書一覧を表示することは可能であったが、逆の操作として文書が選択されたときには、図１２のような分類結果ファイルを検索することがなかったため、文書側からたどってそれの所属するカテゴリ全部を表示させることは不可能であった。本発明においては全てのカテゴリセットにわたるカテゴリとその所属文書の対応関係を示す文書分類結果ファイルを設け、カテゴリあるいは文書のどちら側が選択されても、同じように分類結果ファイルを検索するようにしたため、カテゴリを起点として対応する文書全部を参照できるのみならず、これとは逆方向の操作、すなわち文書を起点として対応するカテゴリ全部を見ることが可能となっている。
【００４８】
図１４はこのときの画面例を示したものであり、文書一覧からタイトルが「構造改革の行方」という文書を選択すると、それに対応して、この文書が分類されているカテゴリが左ウィンドウにハイライト表示されていることを表している。当該文書はカテゴリセットＡにおいては「政治」、「経済」の２個のカテゴリに分類されており、またカテゴリセットＢにおいては、「時事」カテゴリ１個に分類されているので、合わせて３つのカテゴリがハイライト表示される。ただし、現在注目しているカテゴリであるカテゴリセットＡの「政治」カテゴリを他の２つのカテゴリと区別して表示しておかないと、右ウィンドウに一覧表示している文書群がどこに所属しているのかが不明となるので、「政治」カテゴリは例えば表示色を変更したり、アンダーライン表示するなどして、該当するカテゴリの中で区別できるようにしている。
【００４９】
以上のような方法により文書の分類結果を表示し、ユーザはその結果を見てシステムの決定したカテゴリが自分にとって正しいのか正しくないのかの判定をし、必要ならばユーザの考える正しいカテゴリを指定してシステムに学習させることが行われる。そこで次に分類結果を訂正しシステムに学習させることについて図２４に示すフローチャートを用いて、説明する。
【００５０】
Ｓ２４０１では文書の移動があるかどうかを監視し、移動があった場合にＳ２４０２に移る。
【００５１】
Ｓ２４０２では移動対象文書が複数のカテゴリに所属しているかを判断し、単独のカテゴリに所属している場合にはＳ２４０３へ、複数のカテゴリに所属している場合はＳ２４０６に移る。
【００５２】
単独のカテゴリに所属している場合の例を、図１７を用いて説明する。図１７ではカテゴリセットＡの「政治」カテゴリが注目カテゴリとなっており、右側ウィンドウには「政治」カテゴリに所属する文書の一覧が示されている。ユーザは文書「情報公開法政府原案」がこの当該カテゴリに分類されているのが不満で、これを「司法」カテゴリに分類したいと考えたとする。そこでこの文書を、マウスを使って左側ウィンドウの「司法」カテゴリの上にドラッグする。この時点で該文書を政治カテゴリに残したままにするのか、削除してしまうのかをシステムは判断できないため、図１７に示すように移動前に確認メッセージを出力する（Ｓ２４０３）。「ＹＥＳ」を選択した場合は移動前に所属していた「政治」カテゴリへの所属が残ることになり、移動後は「政治」、「司法」両カテゴリに所属することになる。「ＮＯ」を選択した場合は「政治」カテゴリから削除され、「司法」カテゴリに属することになる。なお、このケースのように移動対象文書がひとつのカテゴリにのみ所属している場合では、所属関係を把握することが比較的容易であるため、確認メッセージを表示せずに「政治」カテゴリから「司法」カテゴリにドラッグした場合においては、「政治」カテゴリから該文書を削除、「司法」カテゴリのみに属するという構成にしてもよい。
【００５３】
Ｓ２４０６では移動先が異なるカテゴリセットかを判断し、同一カテゴリセットであればＳ２４０７の同一カテゴリセット処理（図２５）に移る。異なるカテゴリセットであればＳ２４０８に移る。
【００５４】
同一カテゴリセットに文書を移動する場合の例を示す。図１４において、左側のウィンドウでカテゴリセットＡの「政治」カテゴリが注目カテゴリとなっており、右側のウィンドウには注目カテゴリ「政治」に分類されている文書タイトルの一覧が表示されている。その中で選択中の文書「構造改革の行方」はカテゴリセットＡの中では「政治」カテゴリ以外に「経済」カテゴリにも分類されており、またカテゴリセットＢの中では「時事」カテゴリだけに分類されている。そして、カテゴリセットＡでの分類においては、「政治」カテゴリの方が「経済」カテゴリよりも尤度が高くなっている。
【００５５】
尤度の順位をここでは「１、２、・・・」などの数字で示しているが、実際には表示色を変える等の表示方法が視覚的にわかりやすくてよい。
【００５６】
ここで図２５に示すフローチャートを用いて同一カテゴリセット処理について説明する。Ｓ２５０１では文書の移動先が移動元のカテゴリと同じかどうかを判断し、同じであればＳ２５０２へ、異なればＳ２５０３に移る。
【００５７】
文書の移動先が移動元のカテゴリと同じ場合について、ユーザがこの文書が「経済」カテゴリにも分類されているのが不満で、「政治」カテゴリただ一つに分類したいと思う場合の操作方法を例にあげて説明する。図１４のように「政治」カテゴリが注目カテゴリとなっており、右側ウィンドウに「政治」カテゴリに属する文書の一覧が表示されている状態で、当該文書をマウスを使ってドラッグし、左側ウィンドウの「政治」カテゴリの上に移動させる。
【００５８】
この操作においては、当該文書が既に第１位の順位の尤度でもって属している「政治」カテゴリに移動するという行為をあえて行うことで、当該文書の他のカテゴリへの所属を無効にし「政治」カテゴリただ一つに所属させたいというユーザの意思を実現する。
【００５９】
既に第１位の順位の尤度でもって属している「政治」カテゴリへの移動がユーザの誤操作ではなく、第２位の順位の尤度でもって属している「経済」カテゴリへの所属を消滅させるべきものかどうかの確認のため、移動前に図１８のように確認メッセージを表示（Ｓ２５０２）し、ユーザへの確認を行う。なお図１８において点線矢印で示されたものは、文書タイトルアイコンのカテゴリアイコン上へのドラッグというユーザ操作が確認用ウィンドウの表示直前に行われたことを意味するために記載したもので、必ずしも実際に画面上で表示されるものとは限らない。
【００６０】
Ｓ２５０３では移動先が、文書が既に所属しているカテゴリかどうかを判断し、移動先が所属しているカテゴリであればＳ２５０４へ、所属していないカテゴリであればＳ２５０５へ移る。
【００６１】
文書を、既に所属しているカテゴリに移動する場合について説明する。まず図１４の状態から、選択中の文書を「経済」カテゴリの上へとドラッグするという操作を実行する。この操作では、「経済」カテゴリを第１位の優先順位で分類先としたいというユーザの願望を反映しているが、「政治」カテゴリへの所属も残しておきたいのかどうかがシステムには判断できない。すなわち、当該文書の分類先として「経済」カテゴリのみにするのか、あるいは第１位を「経済」、第２位を「政治」として二つのカテゴリにするのかの曖昧さが生じる。そのため、図１９のような確認メッセージを表示（Ｓ２５０４）して、もしユーザが「政治」カテゴリへの分類も第２位の順位付けで残したままにしておきたいときには、「Ｙｅｓ」ボタンを選択し、また「経済」カテゴリのみの所属にしたければ「Ｎｏ」ボタンを選択するようにさせる。
【００６２】
次に文書を、所属していないカテゴリに移動する場合について説明する。同じく図１４に示された状態から、今度は選択文書を「司法」カテゴリの上へとドラッグする場合について説明する。「司法」カテゴリは現在では当該文書の分類先カテゴリとはなっていないが、ユーザが「政治」や「経済」への分類を不満とし、「司法」を最ももっともらしい分類先としてみなしたことを意味する。この場合も先ほどと同じく、現状分類先となっている「政治」、「経済」の両カテゴリへの所属を「司法」カテゴリへの変更後も残しておくかどうかが曖昧となってしまう。「政治」、「経済」両カテゴリについてそれぞれ第２位、第３位の順位で有効としておくかについてユーザに確認するため、図２０のように３つの分類先パターンを含むメッセージを出力（Ｓ２５０５）し、ユーザに選択させる。すなわち、「司法」のみに分類するか、「司法」を第１位かつ「政治」を第２位として分類するか、「司法」を第１位かつ「政治」を第２位かつ「経済」を第３位として全てに分類するか、の３つの選択肢である。
【００６３】
ここでもし仮に、第２位として「経済」カテゴリ、第３位として「政治」カテゴリとなるように分類したければ、当該文書を「司法」カテゴリへとドラッグする前に、上で説明したようにまず「経済」カテゴリへとドラッグし、図１９の確認用ウィンドウにて「Ｙｅｓ」ボタンを選択することで、「経済」「政治」をそれぞれ第１位、第２位の分類先に変更したのちに、もう一度当該文書をドラッグし、「司法」カテゴリの上に持っていく。そして、図２０の選択用ウィンドウにて選択することで、「司法」「経済」「政治」の順に分類されるようにできる。もちろん、マウスの右クリックなどを利用して直接にカテゴリの優先順位を指定するなど、他の方法も考えられる。
【００６４】
以上のように文書のカテゴリ所属状況、移動先に基づいたメッセージを出力し、Ｓ２４０４では、その選択に従って実際に文書を移動する。
【００６５】
Ｓ２４０５は文書やカテゴリの特徴量を制御する処理であり、その詳細を図１６に示す。移動の対象となった文書を形態素解析し、有効語辞書を参照して文書中に含まれる有効語をピックアップする（フローチャート図１６の処理１６０２）。各有効語に対して、同じく有効語辞書から当該有効語の意味ベクトルを取得する（フローチャート図１６の処理１６０４）。カテゴリごとの代表ベクトルを記憶している辞書から、当該文書の移動前に所属していたカテゴリの代表ベクトルと、移動後に所属するカテゴリの代表ベクトルを取得し、当該有効語の意味ベクトルと両代表ベクトルとの距離をそれぞれ計算して、当該有効語の意味ベクトルが移動前のカテゴリ、移動後のカテゴリのどちらの代表ベクトルにより近いかを判定する（フローチャート図１６の処理１６０５）。当該有効語の意味ベクトルが仮に移動前のカテゴリの代表ベクトルに近かったとすると、当該文書の文書ベクトルが移動後のカテゴリの代表ベクトルの方へより近づくようにするため、当該有効語が該当している重みの評価項目の重みの値を微小量だけ減らすよう２つの重み辞書を修正する（フローチャート図１６の処理１６０６）。逆に当該有効語の意味ベクトルが移動後のカテゴリの代表ベクトルの方により近かったとすると、当該有効語が該当している重みの評価項目は正しい分類に寄与していたものとみなし、その重みの値を微小量だけ増やすように重み辞書を修正する（フローチャート図１６の処理１６０７）。
【００６６】
これを当該文書からピックアップされた全ての有効語に対して行い（フローチャート図１６の１６０３のループ）、重みの値を調整する。
【００６７】
そして、以上説明した処理を、移動された全ての文書を対象として繰り返し（フローチャート図１６の１６０１のループ）、学習処理を終了する。
【００６８】
これまでは一つのカテゴリセットの中での文書のカテゴリ間移動について述べたが、複数個のカテゴリセットについてメンテナンスできる権限をユーザが持っており、右側ウィンドウにて異なったセットのカテゴリが同時に表示されていた場合には、操作中に誤って着目しているカテゴリセットとは別のカテゴリに移動してしまうなどの混乱をきたすことも考えられる。
【００６９】
Ｓ２４０８では、例えばユーザが、カテゴリセットＡ、カテゴリセットＢの２つのカテゴリセットを管理しており、ユーザが現在の注目カテゴリセットでないカテゴリセットＢのカテゴリに当該文書をドラッグしようとすると、ユーザの操作が誤っていることが考えられるため、図２１に示したような警告メッセージを出力してユーザの注意を喚起する。
【００７０】
以上の処理を持って図２４に示すフローチャートの処理を終了する。
【００７１】
（第２の実施の形態）
図２１において説明した例では、カテゴリセットＡが注目カテゴリセットであり、その中の「政治」カテゴリが注目カテゴリとなっており、右側ウィンドウには注目カテゴリに所属する文書タイトルの一覧が表示されている。第１の実施例では、ユーザがこの中の文書「構造改革の行方」をカテゴリセットＢの「ヒト」カテゴリに移動しようとしたところ、「ヒト」が注目カテゴリセット以外のカテゴリであることからユーザの操作ミスと判断し、警告メッセージを表示した。
【００７２】
ここで別の実施の形態として、もし移動しようとしたユーザがカテゴリセットＢのカテゴリセットやその内容に熟知しており、注目カテゴリを現在の状態すなわちカテゴリセットＡに固定したまま、当該文書をカテゴリセットＢの中で「時事」カテゴリから「ヒト」カテゴリに移したいと思う場合も考えられる。このようなユーザを対象としたシステムでは、図２１に示したように、文書の移動が注目カテゴリセット以外のカテゴリセット内で行われ、「時事」カテゴリに分類されている当該文書が「ヒト」カテゴリに移動される旨のメッセージを表示して、ユーザがそれに同意するとその移動が実行されるように設計することも出来る。
【００７３】
なおこの操作を行った後でも、カテゴリセットＡでの分類状況に変化はなく、当該文書「構造改革の行方」は「政治」カテゴリを第１優先として、また「経済」カテゴリを第２優先として振り分けられたままである。
【００７４】
また、さらにカテゴリ間移動の際に、第１の実施形態のように、状況に応じて確認メッセージを出力するように構成しても良い。
【００７５】
（第３の実施の形態）
上記第２の実施の形態においては、当該文書を「ヒト」カテゴリの上にドラッグすることにより、注目カテゴリセットをもとのカテゴリセットＡに固定したまま、カテゴリセットＢ内でカテゴリ間の文書の移動が行われたが、別の方法として「ヒト」カテゴリにドラッグされたら注目カテゴリをカテゴリセットＢに切り替えることも考えられる。図２２はその様子を示したものである。
【００７６】
すなわち、図２２のように注目カテゴリセットがカテゴリセットＡで注目カテゴリが「政治」カテゴリのときに、文書「構造改革の行方」をカテゴリセットＢ内のカテゴリ「ヒト」へとドラッグした場合、注目カテゴリセット以外のカテゴリセット内で移動が起こることをユーザに確認したのち、図２３のように注目カテゴリセットがカテゴリセットＢに移り、その中の「ヒト」カテゴリが注目カテゴリとなって、カテゴリセットＢで扱う文書集合のうち、「ヒト」カテゴリに分類されている文書の一覧が右側ウィンドウに表示される。今の操作で「時事」カテゴリから「ヒト」カテゴリに移動された当該文書「構造改革の行方」はその一覧の先頭行に表示されている。
【００７７】
なお、ここで当該文書がまだ注目文書となっているため，カテゴリセットＡでの所属カテゴリである「政治」、「経済」の両カテゴリの表示はそのまま変化しない。すなわち、カテゴリセットＡ内での分類先に変化はないので、第１位が「政治」カテゴリ、第２位が「経済」カテゴリであることを示す表示はそのままとなっている。
【００７８】
（第４の実施の形態）
上記実施の態様では文書をカテゴリ間で移動した場合に、必ず特徴量の制御を行うことで学習を行うように構成していたが、本発明はこれに限られるものではない。文書の移動を行ったのち、例えば図１５に示したようなメニューを開いて、その結果を反映させるかどうかを選択できるようにしてもよい。図１５で「学習終了」は、それまでにユーザが行った文書のカテゴリ間の移動操作に対して学習処理を起動し、その変更内容から算出される重み変更量を重み辞書に反映させたいときに選択する。また「学習操作クリア」は、それまでにユーザが行った文書のカテゴリ間の移動操作を全て無効にし、元の分類状態に戻したいときに選択する。
【００７９】
本発明の実施態様の例を以下に列挙する。
【００８０】
［実施態様１］文書をカテゴリに分類する文書分類装置において、
カテゴリ間の文書の移動指示がなされた場合に、該文書のカテゴリ所属状況に応じてメッセージを制御するメッセージ制御手段と、
前記メッセージ制御手段が生成したメッセージを出力する出力手段を備えたことを特徴とする文書分類装置。
【００８１】
［実施態様２］前記メッセージ制御手段は、カテゴリセットが複数個定義されている場合に、異なるカテゴリセットのカテゴリに文書を移動する際に警告メッセージを出力するよう制御することを特徴とする実施態様１記載の文書分類装置。
【００８２】
［実施態様３］前記メッセージ制御手段は、移動文書が１つのカテゴリに所属している場合に、文書の移動指示に基づいて、既に所属しているカテゴリへの所属を有効のままにするかを確認する確認メッセージを出力するよう制御することを特徴とする実施態様１又は２記載の文書分類装置。
【００８３】
［実施態様４］前記メッセージ制御手段は、移動文書が複数のカテゴリに所属している場合に、移動元のカテゴリに対する移動指示に基づいて、他の所属カテゴリへの所属を無効にするかを確認する確認メッセージを出力するよう制御することを特徴とする実施態様１又は２記載の文書分類装置。
【００８４】
［実施態様５］前記メッセージ制御手段は、移動文書が複数のカテゴリに所属している場合に、移動元以外の所属カテゴリに対する移動指示に基づいて、移動元のカテゴリへの所属を有効にするかを確認する確認メッセージを出力するよう制御することを特徴とする実施態様１又は２記載の文書分類装置。
【００８５】
［実施態様６］前記メッセージ制御手段は、移動文書が複数のカテゴリに所属している場合に、所属していないカテゴリへの移動指示に基づいて、文書の所属に関する選択肢を含むメッセージを出力することを特徴とする実施態様１又は２記載の文書分類装置。
【００８６】
［実施態様７］文書の特徴量とカテゴリの特徴量から文書をカテゴリに分類する分類手段を更に備え、
前記確認メッセージは選択肢を含み、その選択に基づいて文書及び／又はカテゴリの特徴量を制御する特徴量制御手段を更に備えたことを特徴とする実施態様３乃至５記載の文書分類装置。
【００８７】
［実施態様８］文書の特徴量とカテゴリの特徴量から文書をカテゴリに分類する分類手段を更に備え、
前記選択肢を含むメッセージの選択に基づいて文書及び／又はカテゴリの特徴量を制御する特徴量制御手段を更に備えたことを特徴とする実施態様６記載の文書分類装置。
【００８８】
［実施態様９］文書の移動に対し、特徴量の制御を実施するか否かを選択する特徴量制御選択手段を更に備えたことを特徴とする実施態様７又は８記載の文書分類装置。
【００８９】
［実施態様１０］文書をカテゴリに分類する文書分類方法において、
カテゴリ間の文書の移動指示がなされた場合に、該文書のカテゴリ所属状況に応じてメッセージを制御するメッセージ制御ステップと、
前記メッセージ制御ステップが生成したメッセージを出力する出力ステップを備えたことを特徴とする文書分類方法。
【００９０】
［実施態様１１］前記メッセージ制御ステップは、カテゴリセットが複数個定義されている場合に、異なるカテゴリセットのカテゴリに文書を移動する際に警告メッセージを出力するよう制御することを特徴とする実施態様１０記載の文書分類方法。
【００９１】
［実施態様１２］前記メッセージ制御ステップは、移動文書が１つのカテゴリに所属している場合に、文書の移動指示に基づいて、既に所属しているカテゴリへの所属を有効のままにするかを確認する確認メッセージを出力するよう制御することを特徴とする実施態様１０又は１１記載の文書分類方法。
【００９２】
［実施態様１３］前記メッセージ制御ステップは、移動文書が複数のカテゴリに所属している場合に、移動元のカテゴリに対する移動指示に基づいて、他の所属カテゴリへの所属を無効にするかを確認する確認メッセージを出力するよう制御することを特徴とする実施態様１０又は１１記載の文書分類方法。
【００９３】
［実施態様１４］前記メッセージ制御ステップは、移動文書が複数のカテゴリに所属している場合に、移動元以外の所属カテゴリに対する移動指示に基づいて、移動元のカテゴリへの所属を有効にするかを確認する確認メッセージを出力するよう制御することを特徴とする実施態様１０又は１１記載の文書分類方法。
【００９４】
［実施態様１５］前記メッセージ制御ステップは、移動文書が複数のカテゴリに所属している場合に、所属していないカテゴリへの移動指示に基づいて、文書の所属に関する選択肢を含むメッセージを出力することを特徴とする実施態様１０又は１１記載の文書分類方法。
【００９５】
［実施態様１６］文書の特徴量とカテゴリの特徴量から文書をカテゴリに分類する分類ステップを更に備え、
前記確認メッセージは選択肢を含み、その選択に基づいて文書及び／又はカテゴリの特徴量を制御する特徴量制御ステップを更に備えたことを特徴とする実施態様１２乃至１４記載の文書分類方法。
【００９６】
［実施態様１７］文書の特徴量とカテゴリの特徴量から文書をカテゴリに分類する分類ステップを更に備え、
前記選択肢を含むメッセージの選択に基づいて文書及び／又はカテゴリの特徴量を制御する特徴量制御ステップを更に備えたことを特徴とする実施態様１５記載の文書分類方法。
【００９７】
［実施態様１８］文書の移動に対し、特徴量の制御を実施するか否かを選択する特徴量制御選択ステップを更に備えたことを特徴とする実施態様１６又は１７記載の文書分類方法。
【００９８】
［実施態様１９］実施態様１０乃至１８に記載の文書分類方法が備えた各ステップをコンピュータに実行させるためのプログラムコードからなる制御プログラム。
【００９９】
【発明の効果】
以上説明してきたように本発明によれば、文書をカテゴリに分類する文書分類装置において、文書をカテゴリ間で移動する際にメッセージを出力することで、ユーザの混乱や誤操作を未然に防ぐことができる。
【図面の簡単な説明】
【図１】本発明におけるシステムの全体構成を示した図である。
【図２】本発明における分類結果表示手段の構成を示した図である。
【図３】本発明を適用した文書分類装置の構成図である。
【図４】本発明における学習処理の流れを表したフローチャートである。
【図５】本発明における分類処理の流れを表したフローチャートである。
【図６】単語間の共起確率の例を示した図である。
【図７】有効語辞書の例を示した図である。
【図８】有効語の位置的役割を評価項目とした重み辞書の例である。
【図９】有効語の言語的役割を評価項目とした重み辞書の例である。
【図１０】本発明における表示ウィンドウにカテゴリ一覧を表示した例である。
【図１１】カテゴリ定義ファイルの例を示した図である。
【図１２】文書ＩＤを見出しとする分類結果ファイルの例を示した図である。
【図１３】表示ウィンドウにてカテゴリを選択したときの画面例を示した図である。
【図１４】表示ウィンドウにて文書を選択したときの画面例を示した図である。
【図１５】分類結果に対するユーザ判定の学習処理を起動するときの画面例を示した図である。
【図１６】分類結果に対するユーザ判定の学習処理の流れを表したフローチャートである。
【図１７】所属カテゴリがひとつの文書の分類先を変更しようとするユーザ操作に対して確認用ウィンドウを表示したときの画面例を示した図である。
【図１８】所属カテゴリが複数の文書の分類先を変更しようとするユーザ操作に対して確認用ウィンドウを表示したときの画面例を示した図である。
【図１９】所属カテゴリが複数の文書の分類先を変更しようとするユーザ操作に対して確認用ウィンドウを表示したときの画面例を示した図である。
【図２０】所属カテゴリが複数の文書の分類先を変更しようとするユーザ操作に対して選択用ウィンドウを表示したときの画面例を示した図である。
【図２１】異なるカテゴリセットへ分類先を変更しようとするユーザ操作に対して警告用ウィンドウを表示したときの画面例を示した図である。
【図２２】異なるカテゴリセットへ分類先を変更しようとするユーザ操作に対して警告用ウィンドウを表示したときの画面例を示した図である。
【図２３】分類先変更後に注目カテゴリセットがカテゴリセットＢに移ったときの画面例を示した図である。
【図２４】メッセージ出力の流れを表したフローチャートである。
【図２５】同一カテゴリセット処理の流れを表したフローチャートである。

Claims

文書をカテゴリに分類する文書分類装置において、
カテゴリ間での文書の移動指示がなされた場合に、該文書のカテゴリ所属状況に応じてメッセージを制御するメッセージ制御手段と、
前記メッセージ制御手段により制御されたメッセージを出力する出力手段とを備えたことを特徴とする文書分類装置。