JPS6116367A - テキスト分割方式 - Google Patents
テキスト分割方式Info
- Publication number
- JPS6116367A JPS6116367A JP59135142A JP13514284A JPS6116367A JP S6116367 A JPS6116367 A JP S6116367A JP 59135142 A JP59135142 A JP 59135142A JP 13514284 A JP13514284 A JP 13514284A JP S6116367 A JPS6116367 A JP S6116367A
- Authority
- JP
- Japan
- Prior art keywords
- word
- node
- stack
- clause
- connection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔発明の利用分野〕
本発明は、文字列の単語自動分割方式に関するものであ
り、特に日本語文の構文解析の前処理としての単語自動
分割に有効である。
り、特に日本語文の構文解析の前処理としての単語自動
分割に有効である。
現在、隣接する２語の接続の可否を検定する方法として
、先行する単語の品詞を行に、後続する単語の品詞を列
に配し、接続の可否をあられす２値を行列の値とする接
続行列を用いる方法が公知である（昭５６−１７４６７
、単語間接続検定装置）。この利用分野としては、日本
語文を単語に分割する単語自動分割があり、テキスト上
のある位置がら始まる語を決定し、切り出す際に利用さ
れている。
、先行する単語の品詞を行に、後続する単語の品詞を列
に配し、接続の可否をあられす２値を行列の値とする接
続行列を用いる方法が公知である（昭５６−１７４６７
、単語間接続検定装置）。この利用分野としては、日本
語文を単語に分割する単語自動分割があり、テキスト上
のある位置がら始まる語を決定し、切り出す際に利用さ
れている。
この行列を利用した単語分割方法は、単語に分割するだ
けであるが、日本語の構文は、内容語１個以上および機
能語０個以上からなる文節を単位としているため、機能
翻訳や文章理解等のシステムにおける日本語構文解析を
目的とした場合、単語に分割するだけでなく、文節構造
の分析が必要である。
けであるが、日本語の構文は、内容語１個以上および機
能語０個以上からなる文節を単位としているため、機能
翻訳や文章理解等のシステムにおける日本語構文解析を
目的とした場合、単語に分割するだけでなく、文節構造
の分析が必要である。
本発明は、上記の問題を解決するため、単語に分割する
だけでなく文節の構造を分析する単語自動分割方式を提
供し、構文解析の効率を向上させることを目的とする。
だけでなく文節の構造を分析する単語自動分割方式を提
供し、構文解析の効率を向上させることを目的とする。
上記の目的を達成するため、本発明は、日本語文の文節
構造の分析は隣接する２語の接続関係のチェックによっ
て行うことができるという点に着眼し、単語分割におい
て候補語の妥当性をチェックするために前接語との接続
チェックを行う際に、接続の可否だけでなく、単語間の
接続レベルを考慮するようにした。
構造の分析は隣接する２語の接続関係のチェックによっ
て行うことができるという点に着眼し、単語分割におい
て候補語の妥当性をチェックするために前接語との接続
チェックを行う際に、接続の可否だけでなく、単語間の
接続レベルを考慮するようにした。
以下、本発明を日本語文に適用した実施例により、詳細
に説明する。第１図は、本発明による単語自動分割方式
を実施するための装置の一実施例を示したものである。
に説明する。第１図は、本発明による単語自動分割方式
を実施するための装置の一実施例を示したものである。
図において、１はプロセッサ、２は辞書メモリ、３は記
憶装置、４は表示装置、５はキーボード等の入力装置、
６は日本語文テキストファイルを表わしている。また、
記憶装置３は、第２図に示すように、日本語入力テキス
トを記憶する入力テキストエリア２１、見出し語インデ
クストリ−２２、活用語足表２３、接続行列２４、候補
語スタック２５、分割語スタック２６、文節構造木ノー
ド配列２７、およびノードワークスタック２８から成る
。第３〜１１図は、第２図における２０〜２６に格納さ
れている具体的内容の例を示すものである。
憶装置、４は表示装置、５はキーボード等の入力装置、
６は日本語文テキストファイルを表わしている。また、
記憶装置３は、第２図に示すように、日本語入力テキス
トを記憶する入力テキストエリア２１、見出し語インデ
クストリ−２２、活用語足表２３、接続行列２４、候補
語スタック２５、分割語スタック２６、文節構造木ノー
ド配列２７、およびノードワークスタック２８から成る
。第３〜１１図は、第２図における２０〜２６に格納さ
れている具体的内容の例を示すものである。
接続行列２４は、第６図に一部を例示するように各行、
各列が単語のカテゴリーに対応した多値行列である。ｉ
行ｊ列要素の値は、ｉ行に対応するカテゴリーに属する
単語とｊ列に対応するカテゴリーに属する単語の接続関
係を示すもので、１０ ｇは接続不可、′１′は文節間
の接続、′２′は文節内の接続、′３′は文節内の接続
で複合語内の接続、を表わす。たとえば、「ジョブ（普
通名詞）」に「が（格助詞）」が後続するとき、この接
続行列を用いて接続チェックを行なうと、接続行列の値
が′２′であることがら、文節内の接続であることがわ
かる。
各列が単語のカテゴリーに対応した多値行列である。ｉ
行ｊ列要素の値は、ｉ行に対応するカテゴリーに属する
単語とｊ列に対応するカテゴリーに属する単語の接続関
係を示すもので、１０ ｇは接続不可、′１′は文節間
の接続、′２′は文節内の接続、′３′は文節内の接続
で複合語内の接続、を表わす。たとえば、「ジョブ（普
通名詞）」に「が（格助詞）」が後続するとき、この接
続行列を用いて接続チェックを行なうと、接続行列の値
が′２′であることがら、文節内の接続であることがわ
かる。
候補語スタック２５は、辞書検索によって得られた語の
データを格納するものである。第７図に示すように、テ
キスト中の単語開始位置と終了位置および、単語の属す
るカテゴリーが少なくとも含まれる。
データを格納するものである。第７図に示すように、テ
キスト中の単語開始位置と終了位置および、単語の属す
るカテゴリーが少なくとも含まれる。
分割語スタック２６は、テキストから分割された単語に
対応するデータを格納するものである。
対応するデータを格納するものである。
第８図に示すように、テキスト中の単語開始位置と終了
位置、単語の属するカテゴリーが少なくとも含まれる。
位置、単語の属するカテゴリーが少なくとも含まれる。
ノードワークスタック２８は、作りかけのノードのデー
タを格納するもので、第１１図に示すように、ノード名
、子ノードへのポインター、および妹ノードへのポイン
ターが少なくとも含まれる。
タを格納するもので、第１１図に示すように、ノード名
、子ノードへのポインター、および妹ノードへのポイン
ターが少なくとも含まれる。
尚、子ノード、妹ノードへのポインターは、それぞれ、
最左の子ノード、右隣の姉妹ノードを示すポインターで
ある。
最左の子ノード、右隣の姉妹ノードを示すポインターで
ある。
これらのスタックについては、データの格納および取出
しはともにスタックの先頭に対してのみ行なわれる。こ
のため、スタックの先頭データの位置を指示するスタッ
ク先頭位置インデクスが記憶されている。
しはともにスタックの先頭に対してのみ行なわれる。こ
のため、スタックの先頭データの位置を指示するスタッ
ク先頭位置インデクスが記憶されている。
文節構造木ノード配列２７は、完成ノードのデータを格
納するもので、図１０に一例を示すようにノード名、子
ノードへのポインター、および妹ノードへのポインター
が少なくとも含まれる。子ノードおよび妹ノードへのポ
インターは、このノード配列の配列番号で表わされる。
納するもので、図１０に一例を示すようにノード名、子
ノードへのポインター、および妹ノードへのポインター
が少なくとも含まれる。子ノードおよび妹ノードへのポ
インターは、このノード配列の配列番号で表わされる。
ただし、ノード名が単語のカテゴリー名の時、その子ノ
ードは単語であるから、子ノードへのポインターは、分
割語スタックへのポインターである。
ードは単語であるから、子ノードへのポインターは、分
割語スタックへのポインターである。
第１２〜１３図は、プロセッサ１の、一実施例における
処理フロートチャートである。以下、これらのフローチ
ャートに従い、第１〜１１図を用いて実施例の作動を説
明する。フローチャート中１０１〜１０７（第１２図ａ
）は初期処理ステップ、１０８および１０８０１〜１０
８０６ （第１３図）は候補語獲得ステップ、１０９〜
１２１ （第１２図ａ。
処理フロートチャートである。以下、これらのフローチ
ャートに従い、第１〜１１図を用いて実施例の作動を説
明する。フローチャート中１０１〜１０７（第１２図ａ
）は初期処理ステップ、１０８および１０８０１〜１０
８０６ （第１３図）は候補語獲得ステップ、１０９〜
１２１ （第１２図ａ。
ｂ）は分割語決定ステップ、１２２〜１４８（第１２図
す、ｃ）は文節構造木ノード生成ステップである。
す、ｃ）は文節構造木ノード生成ステップである。
（１）初期処理
まず、入力装置５より日本語文テキストの登録キーを指
定されると、プロセッサ１は、日本語文テキストファイ
ル６から、キーが指定するテキストを記憶装置４へ転送
する（１０１）。次に、プロセッサ１は、候補語スタッ
ク２５、分割語スタック２６、および文節構造木ノード
配列２７をクリアしく１０２）、ノードワークスタック
２８、文ノードとその子ノードの文節ノードを作りかけ
のノードとして入れる（１０３〜１０６）。テキスト中
の文字位置を示すインデクスＰＯ８に初期値′１′をセ
ットする（１０７）。
定されると、プロセッサ１は、日本語文テキストファイ
ル６から、キーが指定するテキストを記憶装置４へ転送
する（１０１）。次に、プロセッサ１は、候補語スタッ
ク２５、分割語スタック２６、および文節構造木ノード
配列２７をクリアしく１０２）、ノードワークスタック
２８、文ノードとその子ノードの文節ノードを作りかけ
のノードとして入れる（１０３〜１０６）。テキスト中
の文字位置を示すインデクスＰＯ８に初期値′１′をセ
ットする（１０７）。
（２）候補語の獲得
ＰｏＳから始まる語をすべて求め、その語データを候補
語スタックに入れる（１０８）。この処理の詳細を第１
３図のフローチャート図を用いて以下に述べる。
語スタックに入れる（１０８）。この処理の詳細を第１
３図のフローチャート図を用いて以下に述べる。
まず、第４図に一例を示す見出し語インデクストリーを
用いてテキストと一致する見出し語を求める（１０８０
１）。 ここで得られる見出し語のすべてについて以下
のことを行なう。テキス１〜と一致する見出し語がなけ
れば、ＰｏＳから始まる候補語の獲得は終了する。テキ
ストと一致する見出し語があれば（１０８０２）、 イ
ンデクストリーの末端に記されている辞書の見出し語へ
のポインターを頼りに辞書検索を行い、該見出し語に関
する辞書情報を得る（１０８０３）。 さらに、活用語
の場合は（１０８０４）、第５図に一例を示す活用語足
表を用いて活用語尾の処理を行なう（１０８０５）。以
上の結果得られた語のデータを候補語スタックＳＴＫに
入れる（１０８０６）。以上のステップをくり返すこと
により、テキスト上のＰｏＳから始まるすべての語が候
補語スタックに入れられる。
用いてテキストと一致する見出し語を求める（１０８０
１）。 ここで得られる見出し語のすべてについて以下
のことを行なう。テキス１〜と一致する見出し語がなけ
れば、ＰｏＳから始まる候補語の獲得は終了する。テキ
ストと一致する見出し語があれば（１０８０２）、 イ
ンデクストリーの末端に記されている辞書の見出し語へ
のポインターを頼りに辞書検索を行い、該見出し語に関
する辞書情報を得る（１０８０３）。 さらに、活用語
の場合は（１０８０４）、第５図に一例を示す活用語足
表を用いて活用語尾の処理を行なう（１０８０５）。以
上の結果得られた語のデータを候補語スタックＳＴＫに
入れる（１０８０６）。以上のステップをくり返すこと
により、テキスト上のＰｏＳから始まるすべての語が候
補語スタックに入れられる。
（３）分割語の決定
候補語スタックには、これまでの分割処理の過程で得ら
れた候補語の中で分割語として使われなかったものと、
先の候補語獲得ステップで新たに得られた、ＰｏＳから
始まる候補語が格納されている。このステップでは、候
補語スタックから一語ずつ取り出し、適当な語が得られ
たところで分割語として分割語スタックＳＴＢに登録す
るという処理を行う。ＰｏＳから始まる新しい分割語が
得られなかった場合は、次に候補語スタックから取り出
した候補語のテキスト中の開始位置に合わせてバックト
ラックする。これに伴い、ＰｏＳが分割語スタックの１
番上の語の終了位置の直後を指すように更新する。この
ステップにおける処理の詳細を以下に述べる。
れた候補語の中で分割語として使われなかったものと、
先の候補語獲得ステップで新たに得られた、ＰｏＳから
始まる候補語が格納されている。このステップでは、候
補語スタックから一語ずつ取り出し、適当な語が得られ
たところで分割語として分割語スタックＳＴＢに登録す
るという処理を行う。ＰｏＳから始まる新しい分割語が
得られなかった場合は、次に候補語スタックから取り出
した候補語のテキスト中の開始位置に合わせてバックト
ラックする。これに伴い、ＰｏＳが分割語スタックの１
番上の語の終了位置の直後を指すように更新する。この
ステップにおける処理の詳細を以下に述べる。
まず、候補語スタックが空の場合（１０９）、失敗を表
わすリターンシコードをセットしく１１０）、プロセッ
サ１は処理を終了する。候補語スタックの一番上の語の
開始位置がＰｏＳより前方である場合（１１１） 、即
ち、最新の分割語に続く語の切り出しに失敗したときは
、前の分割に誤りがあったと判断し、候補語スタックの
１番上の語を使って分割しなおすためにバックトラック
の処理を行う。バックトラックは、分割語スタックから
１データ捨て（１１２） 、それに伴ない、ｐｏｓの値
を更新する（１１３）という操作を、候補語スタックの
一番上の語の開始位置とＰｏＳが一致するまでくり返す
。これにより、候補語スタックの一番上の語は、分割語
スタックの一番上のすぐ後に続くものとなるので、これ
らの接続関係をチェックし、接続可能であれば分割処理
を行い、接続不可であればさらにバックトラックする。
わすリターンシコードをセットしく１１０）、プロセッ
サ１は処理を終了する。候補語スタックの一番上の語の
開始位置がＰｏＳより前方である場合（１１１） 、即
ち、最新の分割語に続く語の切り出しに失敗したときは
、前の分割に誤りがあったと判断し、候補語スタックの
１番上の語を使って分割しなおすためにバックトラック
の処理を行う。バックトラックは、分割語スタックから
１データ捨て（１１２） 、それに伴ない、ｐｏｓの値
を更新する（１１３）という操作を、候補語スタックの
一番上の語の開始位置とＰｏＳが一致するまでくり返す
。これにより、候補語スタックの一番上の語は、分割語
スタックの一番上のすぐ後に続くものとなるので、これ
らの接続関係をチェックし、接続可能であれば分割処理
を行い、接続不可であればさらにバックトラックする。
接続関係のチェックは、次の手順で行なう。まず、分割
語スタックが空のときは（１１４） 、先行語のカテゴ
リーを示すＣ１の値に′文頭′をセット（１１６） ＋
“それ以外の場合は、Ｃ１の値に分割語スタックの一番
上の語のカテゴリー名をセットする（１１５）。次に後
続語のカテゴリーを示すＣ２に候補語スタックの一番上
の語のカテゴリー名をセット（１１７）。そして第６図
に一部を例示する接続行列を用いて、Ｃ１とＣ２の接続
関係を表わす値を求め、ＣＪにセットする（１１８）。
語スタックが空のときは（１１４） 、先行語のカテゴ
リーを示すＣ１の値に′文頭′をセット（１１６） ＋
“それ以外の場合は、Ｃ１の値に分割語スタックの一番
上の語のカテゴリー名をセットする（１１５）。次に後
続語のカテゴリーを示すＣ２に候補語スタックの一番上
の語のカテゴリー名をセット（１１７）。そして第６図
に一部を例示する接続行列を用いて、Ｃ１とＣ２の接続
関係を表わす値を求め、ＣＪにセットする（１１８）。
ＣＪの値が′０′の場合は、接続不可であるので、候補
語スタックから一番上の語を捨て（１２０）次の候補語
を試みるステップに移る。ＣＪの値が１１Ｚ／２１．あ
るいは′３′の場合は、接続可能であるので、候補語ス
タックから一語取り出して分割語スタックに登録しく１
２１）、次の文節構造木ノード生成ステップに移る。
語スタックから一番上の語を捨て（１２０）次の候補語
を試みるステップに移る。ＣＪの値が１１Ｚ／２１．あ
るいは′３′の場合は、接続可能であるので、候補語ス
タックから一語取り出して分割語スタックに登録しく１
２１）、次の文節構造木ノード生成ステップに移る。
（４）文節構造木ノード生成
ＣＪの値に従って、第９図に一例を示す文節構造木のノ
ードを生成する。この文節構造木の記述方法の一例を第
１０図に示す。文節構造木は、すべての子ノードが完成
したら、その親ノードを作るという順番でノードを作っ
ていくことにより生成される。即ち、第９図の文節構造
木は、第１０図に示す配列の配列番号の順番でノードを
作ることにより、完成される。子ノードから順にノード
を作って行く場合、その祖先のノードを作りかけのノー
ドとして記憶しておく必要がある。これには、作りかけ
のノードを記憶するためのワークスタックを利用する。
ードを生成する。この文節構造木の記述方法の一例を第
１０図に示す。文節構造木は、すべての子ノードが完成
したら、その親ノードを作るという順番でノードを作っ
ていくことにより生成される。即ち、第９図の文節構造
木は、第１０図に示す配列の配列番号の順番でノードを
作ることにより、完成される。子ノードから順にノード
を作って行く場合、その祖先のノードを作りかけのノー
ドとして記憶しておく必要がある。これには、作りかけ
のノードを記憶するためのワークスタックを利用する。
たとえば、第９図に示す文節構造木を生成する過程にお
いて、「ステップ」という語が得られたとき、ワークス
タックに！±、第１１図に示すように、１文」。
いて、「ステップ」という語が得られたとき、ワークス
タックに！±、第１１図に示すように、１文」。
「文節」、および「複合語」が入っている。「ステップ
」のカテゴリー名「名詞」のノードを作り、接続チェッ
クによりこれが前接する名詞と共に複合語を作ることが
おわると、これを前接名詞の妹ノード、即ちワークスタ
ック中の複合語ノードの子ノードとする。次の格助詞は
該複合語の子ノードとなり得ないので、完成した複合語
ノードをワークスタックから文節構造木ノード配列に移
す。
」のカテゴリー名「名詞」のノードを作り、接続チェッ
クによりこれが前接する名詞と共に複合語を作ることが
おわると、これを前接名詞の妹ノード、即ちワークスタ
ック中の複合語ノードの子ノードとする。次の格助詞は
該複合語の子ノードとなり得ないので、完成した複合語
ノードをワークスタックから文節構造木ノード配列に移
す。
以上のようにしてワークスタックは利用される。
一つのノードが得られたら、それがどのノードの子ノー
ドとなるかということは、前述の接続行列によって得ら
れた、前接語との接続関係によって決まる。
ドとなるかということは、前述の接続行列によって得ら
れた、前接語との接続関係によって決まる。
新しく切り出された単語（以下、ＷＯＲＤと略す。）と
前接語との接続関係を表わす値（以下、ＣＪと略ス。）
が’３”ｒある場合（１２２）は、ＷＯＲＤ ト前接語
は複合語を作るので、ＷＯＲＤのカテゴリー名をラベル
とし、ＷＯＲＤを子ノードとするノードを作り、これを
前接語のカテゴリー名をラベルとするノードの妹ノード
として文節構造木ノード配列ＡＮＤに入れる（１３８〜
１３９）。
前接語との接続関係を表わす値（以下、ＣＪと略ス。）
が’３”ｒある場合（１２２）は、ＷＯＲＤ ト前接語
は複合語を作るので、ＷＯＲＤのカテゴリー名をラベル
とし、ＷＯＲＤを子ノードとするノードを作り、これを
前接語のカテゴリー名をラベルとするノードの妹ノード
として文節構造木ノード配列ＡＮＤに入れる（１３８〜
１３９）。
ＣＪの値が′２′である場合（１２２）は１文節内の接
続で複合語を構成しないことをあられす。
続で複合語を構成しないことをあられす。
そこで、作りかけの複合語ノードを完成させてからＷＯ
ＲＤを前接語と同じ文節の要素として加えるという処理
を以下のステップにより行う。
ＲＤを前接語と同じ文節の要素として加えるという処理
を以下のステップにより行う。
まず、ノードスタックＳＴＷから複合語ノードおよび文
節ノードを取り出し、それぞれＷＦＧ。
節ノードを取り出し、それぞれＷＦＧ。
ＷＢＳにセットする（１４０）。次に、ＷＦＧの子ノー
ドの数を調べ（１４１）、１より大きければ、ＷＦＧを
完成したノードとして文節構造木ノード配列ＡＲ，Ｎに
入れる（１４４）。ＷＦＧの子ノードが１つしかない場
合は、複合語にならないので、ＷＦＧの子ノードをＷ皐
Ｓの末子ノードとして付は加え（１４２）、ＷＦＧをノ
ードワークスタックから捨てる（１４３）。以上のステ
ップにより作りかけの複合語ノードを完成または削除し
たら、次に、ＷＯＲＤのカテゴリー名をラベルとし、Ｗ
ＯＲＤを子ノードとする新しいノードを作り（１４５）
、これを文節構造木ノード配列に入れる（１．４６）。
ドの数を調べ（１４１）、１より大きければ、ＷＦＧを
完成したノードとして文節構造木ノード配列ＡＲ，Ｎに
入れる（１４４）。ＷＦＧの子ノードが１つしかない場
合は、複合語にならないので、ＷＦＧの子ノードをＷ皐
Ｓの末子ノードとして付は加え（１４２）、ＷＦＧをノ
ードワークスタックから捨てる（１４３）。以上のステ
ップにより作りかけの複合語ノードを完成または削除し
たら、次に、ＷＯＲＤのカテゴリー名をラベルとし、Ｗ
ＯＲＤを子ノードとする新しいノードを作り（１４５）
、これを文節構造木ノード配列に入れる（１．４６）。
さらに１１作りかけのノードとして、複合語ノードをノ
ードワークスタックＳＴＷに入れる（１４７）。
ードワークスタックＳＴＷに入れる（１４７）。
以上のステップにより、ＷＯＲＤのカテゴリー名をラベ
ルとするノードまでが完成したノードとして文節構造木
ノード配列ＡＲＮに入り、祖先ノードである文ノード、
文節ノード、および複合語ノードが未完成ノードとして
ノードワークスタックＳＴＷに入っている状態でＷＯＲ
Ｄに関するノード生成処理は終了する。
ルとするノードまでが完成したノードとして文節構造木
ノード配列ＡＲＮに入り、祖先ノードである文ノード、
文節ノード、および複合語ノードが未完成ノードとして
ノードワークスタックＳＴＷに入っている状態でＷＯＲ
Ｄに関するノード生成処理は終了する。
ＣＪの値が′１′である場合（１２２〜１２３）は、文
節間の接続であるので、前接語までで一つの文節が終了
したことがわかる。そこで、その文節を完成させた上で
、当該語のカテゴリー名をラベルとするノードをつくり
、当該語をその葉とするという処理を、以下のステップ
により行なう。
節間の接続であるので、前接語までで一つの文節が終了
したことがわかる。そこで、その文節を完成させた上で
、当該語のカテゴリー名をラベルとするノードをつくり
、当該語をその葉とするという処理を、以下のステップ
により行なう。
まず、前の文節を完成させるが、ＷＯＲＤが文頭の場合
は（１２４）、この処理を行なわない。前の文節を完成
させるには、まず、ノードワークスタックＳ’ＴＷの一
番上に入っている複合語ノードとその次の文節ノードを
取り出してそれぞれＷＦＧ。
は（１２４）、この処理を行なわない。前の文節を完成
させるには、まず、ノードワークスタックＳ’ＴＷの一
番上に入っている複合語ノードとその次の文節ノードを
取り出してそれぞれＷＦＧ。
ＷＢＳにセットする（１２５）、そして、ＷＦＧ。
の子ノードの数を調べ（１２６）、１より大きければ、
ＷＦＧを完成されたノードとして文節構造木ノード配列
ＡＲＮに入れる（１２９）。ＷＦＧの子ノードが１つし
かない場合は、複合語にならないので、ＷＦＧの子ノー
ドをＷＢＳの末子ノードとしてつけ加え、（１２７）、
ＷＦＧをノードワークスタックＳＴＷから捨てる（１２
８）。次に、ＷＢＳを完成したノードとして文節構造木
ノード配列ＡＲＮに入れる（１．３０）。さらに、この
文節ノードを文ノードの末子ノードとする（１３１〜１
３３）。
ＷＦＧを完成されたノードとして文節構造木ノード配列
ＡＲＮに入れる（１２９）。ＷＦＧの子ノードが１つし
かない場合は、複合語にならないので、ＷＦＧの子ノー
ドをＷＢＳの末子ノードとしてつけ加え、（１２７）、
ＷＦＧをノードワークスタックＳＴＷから捨てる（１２
８）。次に、ＷＢＳを完成したノードとして文節構造木
ノード配列ＡＲＮに入れる（１．３０）。さらに、この
文節ノードを文ノードの末子ノードとする（１３１〜１
３３）。
以上のステップにより前の文節を完成させたら、次に、
新しく切り出された単語、ＷＯＲＤを文節構造木に加え
る処理としては、のず、ＷＯＲＤのカテゴリー名をラベ
ルとし、ＷＯＲＤを子ノードとする新しいノードを作り
（１３４）、完成ノードとして文−構造木ノード配列Ａ
ＲＮに入れる（１３！５）。さらに１作りかけのノード
として、文節ノードと複合語ノードをノードワークスタ
ックＳＴＷに入れる（１３６〜１３７）。
新しく切り出された単語、ＷＯＲＤを文節構造木に加え
る処理としては、のず、ＷＯＲＤのカテゴリー名をラベ
ルとし、ＷＯＲＤを子ノードとする新しいノードを作り
（１３４）、完成ノードとして文−構造木ノード配列Ａ
ＲＮに入れる（１３！５）。さらに１作りかけのノード
として、文節ノードと複合語ノードをノードワークスタ
ックＳＴＷに入れる（１３６〜１３７）。
以上のステップにより、ＷＯＲＤのカテゴリー名をラベ
ルとするノードまでが完成したノードとして文節構造木
ノード配列ＡＲＮに入り、その祖先ノードである文ノー
ド、文節ノード、および複合語ノードが未完成ノードと
してノードワークスタックＳＴＷに入っている状態で、
ＷＯＲＤに関するノード生成処理は終了する。
ルとするノードまでが完成したノードとして文節構造木
ノード配列ＡＲＮに入り、その祖先ノードである文ノー
ド、文節ノード、および複合語ノードが未完成ノードと
してノードワークスタックＳＴＷに入っている状態で、
ＷＯＲＤに関するノード生成処理は終了する。
プロセッサ１は、単語が切り出されるたびに、前接語と
の接続関係をあられす値ＣＪに従って、上記の方法でノ
ード生成処理を行なった後、ＰＯ５の値を更新し、ＰＯ
８が最新の分割語の終了位置の直後を指すようにする（
１４８）。ＰＯ８がテキストの終わりまできたら（１４
−９）、プロセッサｌは、正常終了を表わすリターンコ
ードをセットしく１５０）分割部イを終了する。ＰＯ８
がテキストの最後より前方を指している間は単語分割を
くり返す。
の接続関係をあられす値ＣＪに従って、上記の方法でノ
ード生成処理を行なった後、ＰＯ５の値を更新し、ＰＯ
８が最新の分割語の終了位置の直後を指すようにする（
１４８）。ＰＯ８がテキストの終わりまできたら（１４
−９）、プロセッサｌは、正常終了を表わすリターンコ
ードをセットしく１５０）分割部イを終了する。ＰＯ８
がテキストの最後より前方を指している間は単語分割を
くり返す。
以上の結果、記憶装置３には、第８図に一例を示す分割
結果スタック及び第１０図に一例を示す文節構造木ノー
ド配列が得られる。プロセッサ１は、これらを表示装置
４へ転送し、処理が終了する。尚、プロセッサ１に日本
語構文解析や文章理解の機能を組み込み、前述の単語自
動分割を連動させることにより、これらの分析結果を、
構文解析や文章理解のベースとして利用することができ
る。
結果スタック及び第１０図に一例を示す文節構造木ノー
ド配列が得られる。プロセッサ１は、これらを表示装置
４へ転送し、処理が終了する。尚、プロセッサ１に日本
語構文解析や文章理解の機能を組み込み、前述の単語自
動分割を連動させることにより、これらの分析結果を、
構文解析や文章理解のベースとして利用することができ
る。
最後に、上記の方法による分析の実例を第３図の例文を
用いて以下に示す。まず、第４図に示す見出し語インデ
クストリーを用いて、第１文字目から始まる文字列で辞
書の見出し語となっているものを求める。すると、「ジ
ョブ」という語がテキストと一致し、辞書の５２番目の
見出し語となっていることがわかる。°辞書の５２番目
を見ると、これは普通名詞で活用語ではないので、活用
語尾の処理は行なわずに、この語を候補語とし、そのカ
テゴリー名と共に候補語スタックに入れる。他に第１文
字目から始まる語はないので、候補語スタックに入れら
れた「ジョブ」について、第６図に示す接続行列を用い
て接続チェックを行なう。
用いて以下に示す。まず、第４図に示す見出し語インデ
クストリーを用いて、第１文字目から始まる文字列で辞
書の見出し語となっているものを求める。すると、「ジ
ョブ」という語がテキストと一致し、辞書の５２番目の
見出し語となっていることがわかる。°辞書の５２番目
を見ると、これは普通名詞で活用語ではないので、活用
語尾の処理は行なわずに、この語を候補語とし、そのカ
テゴリー名と共に候補語スタックに入れる。他に第１文
字目から始まる語はないので、候補語スタックに入れら
れた「ジョブ」について、第６図に示す接続行列を用い
て接続チェックを行なう。
文頭の次に名詞が来たとき、接続行列の値は１′である
ので、接続可能であるとして、候補語スタックに入って
いる「ジョブＪに関する情報に接続行列の値を加えたも
のを、第８図に示す分割語、スタックにセットする。次
に、ノード生成処理として、ノードワークスタックに文
ノード、文節ノード、および複合語ノードを入れ、「ジ
ョブ」のカテゴリー名である「普通名詞」をラベルとす
るノードを作って第１０図に示す文節構造木ノード配列
に入れる。このとき、子ノードの欄に「ジョブ」が入っ
ている分割語はスタックの配列番号「１」を記載する。
ので、接続可能であるとして、候補語スタックに入って
いる「ジョブＪに関する情報に接続行列の値を加えたも
のを、第８図に示す分割語、スタックにセットする。次
に、ノード生成処理として、ノードワークスタックに文
ノード、文節ノード、および複合語ノードを入れ、「ジ
ョブ」のカテゴリー名である「普通名詞」をラベルとす
るノードを作って第１０図に示す文節構造木ノード配列
に入れる。このとき、子ノードの欄に「ジョブ」が入っ
ている分割語はスタックの配列番号「１」を記載する。
妹ノードの欄は、空白にしておく。以上で、第１語口に
関する単語分割処理は終了、する。同様に、見出し語イ
ンデクストリーを用いて見出し語を求め、辞書検索を行
なうことによって次に格助詞「やＪが得られる。前接語
は普通名詞であるから、接続関係は１１２ ｎで、複合
語ではないが文節内の接続で゛あることがわかる。そこ
で、前接する普通名詞の親ノードとしてノードワークス
タックに入っている複合語ノードを該スタックから捨て
、侍の普通名詞ノードを、該スタック中の文節ノードの
子ノードとする。さらに、格助詞ノードを作り普通名詞
ノードの妹ノード、「や」の親ノードとし、文節構造木
ノード配列の２番目に入れる。同様の処理をくり返すこ
とにより、第８図に示す分割語スタックおよび第１０図
に示す文節構造木ノード配列が得られる。
関する単語分割処理は終了、する。同様に、見出し語イ
ンデクストリーを用いて見出し語を求め、辞書検索を行
なうことによって次に格助詞「やＪが得られる。前接語
は普通名詞であるから、接続関係は１１２ ｎで、複合
語ではないが文節内の接続で゛あることがわかる。そこ
で、前接する普通名詞の親ノードとしてノードワークス
タックに入っている複合語ノードを該スタックから捨て
、侍の普通名詞ノードを、該スタック中の文節ノードの
子ノードとする。さらに、格助詞ノードを作り普通名詞
ノードの妹ノード、「や」の親ノードとし、文節構造木
ノード配列の２番目に入れる。同様の処理をくり返すこ
とにより、第８図に示す分割語スタックおよび第１０図
に示す文節構造木ノード配列が得られる。
以上、日本語文の実施例について詳細に説明したが、本
発明の思想は、他の言語について、同様の問題を有する
ものにも適用できる。即ち、一つ以上の単位文字列が一
定の接続条件のもとに単位文字列群を構成し、単位文字
列群がさらに文を構成するような言語の文を単位文字列
ごとの区切りのない形で与えられて構文解析を行なう際
に、本発明の思想を適用し、単位文字列に分割するため
の接続チェックの際に得られた接続関係に関する情報を
利用して容易に単位文字列群とその構造を認識するよう
にし、これにより構文解析の効率を向上させることがで
きる。
発明の思想は、他の言語について、同様の問題を有する
ものにも適用できる。即ち、一つ以上の単位文字列が一
定の接続条件のもとに単位文字列群を構成し、単位文字
列群がさらに文を構成するような言語の文を単位文字列
ごとの区切りのない形で与えられて構文解析を行なう際
に、本発明の思想を適用し、単位文字列に分割するため
の接続チェックの際に得られた接続関係に関する情報を
利用して容易に単位文字列群とその構造を認識するよう
にし、これにより構文解析の効率を向上させることがで
きる。
以上説明したように１本発明によれば、単語分割の結果
得られた各単語の情報に、文節内の接続か、文節間の接
続か、また、文節内の接続の場合、複合語を作るか、と
いった前接語との接続レベルについての情報が含まれる
ので、これを利用して、容易に文節構造を認識すること
ができる。これらの特徴が示すように、本発明は、日本
語構文解析の効率を向上させるという利点を持つもので
ある。
得られた各単語の情報に、文節内の接続か、文節間の接
続か、また、文節内の接続の場合、複合語を作るか、と
いった前接語との接続レベルについての情報が含まれる
ので、これを利用して、容易に文節構造を認識すること
ができる。これらの特徴が示すように、本発明は、日本
語構文解析の効率を向上させるという利点を持つもので
ある。
第１図は本発明による一実施例を示すブロック図、第２
図は第１図における記憶装置４の内容を示す説明図、第
３〜１１図は、それぞれ、入力テキスト、インデクスト
リー、活用語足表、接続行列、候補語スタック、分割語
スタック、文節構造木、文節構造木ノード配列、および
ノードワークスタックの一例を示す説明図、第１２〜１
３図は、本発明による一実施例の処理フローを示すフロ
ー第 １ 図 第 ２ 図 ■ ３ 図 第 ４ 図 篤 ５ 菌 χ Ｉ！Ｓ 図 第 ７ 図 不３図 第 ９ 図 第 １２ 図 （０−） １１２ 図（／−） η１２図（Ｃ） 不１３図
図は第１図における記憶装置４の内容を示す説明図、第
３〜１１図は、それぞれ、入力テキスト、インデクスト
リー、活用語足表、接続行列、候補語スタック、分割語
スタック、文節構造木、文節構造木ノード配列、および
ノードワークスタックの一例を示す説明図、第１２〜１
３図は、本発明による一実施例の処理フローを示すフロ
ー第 １ 図 第 ２ 図 ■ ３ 図 第 ４ 図 篤 ５ 菌 χ Ｉ！Ｓ 図 第 ７ 図 不３図 第 ９ 図 第 １２ 図 （０−） １１２ 図（／−） η１２図（Ｃ） 不１３図
Claims (1)
- 単位文字列の範ちゆう間の接続レベルを示す多値行列を
有し、テキスト中の任意の連続した２つの単位文字列の
接続関係を前記行列を用いて調べるステップと、該結果
により単位文字列の階層構造を形成するステップを設け
たことを特徴とするテキスト分割方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP59135142A JPS6116367A (ja) | 1984-07-02 | 1984-07-02 | テキスト分割方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP59135142A JPS6116367A (ja) | 1984-07-02 | 1984-07-02 | テキスト分割方式 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPS6116367A true JPS6116367A (ja) | 1986-01-24 |
Family
ID=15144784
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP59135142A Pending JPS6116367A (ja) | 1984-07-02 | 1984-07-02 | テキスト分割方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPS6116367A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62263568A (ja) * | 1986-05-12 | 1987-11-16 | Matsushita Electric Ind Co Ltd | ワ−ドプロセツサ |
-
1984
- 1984-07-02 JP JP59135142A patent/JPS6116367A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62263568A (ja) * | 1986-05-12 | 1987-11-16 | Matsushita Electric Ind Co Ltd | ワ−ドプロセツサ |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5029084A (en) | Japanese language sentence dividing method and apparatus | |
| Agichtein et al. | Mining reference tables for automatic text segmentation | |
| US6493713B1 (en) | Dictionary and index creating system and document retrieval system | |
| EP1178408B1 (en) | Segmenter for a natural language processing system | |
| EP0971294A2 (en) | Method and apparatus for automated search and retrieval processing | |
| JPH0724055B2 (ja) | 単語分割処理方法 | |
| Bjarnadóttir | The database of modern Icelandic inflection (Beygingarlýsing íslensks nútímamáls) | |
| KR100835706B1 (ko) | 자동 색인을 위한 한국어 형태소 분석 시스템 및 그 방법 | |
| US20080306729A1 (en) | Method and system for searching a multi-lingual database | |
| JPH0351020B2 (ja) | ||
| CN112925563B (zh) | 一种面向代码重用的源代码推荐方法 | |
| Meurer | Corpuscle–a new corpus management platform for annotated corpora | |
| Bais et al. | An Arabic natural language interface for querying relational databases based on natural language processing and graph theory methods | |
| CN116226362B (zh) | 一种提升搜索医院名称准确度的分词方法 | |
| CN114676214A (zh) | 一种快速提取文本中机构名称的方法和装置 | |
| Maiti et al. | A novel method for performance evaluation of text chunking | |
| EP1072986A2 (en) | System and method for extracting data from semi-structured text | |
| JPS6394365A (ja) | 日本文文書誤り検定装置 | |
| JPH07244669A (ja) | 文書検索方式 | |
| JPS61187077A (ja) | 日本語解析装置 | |
| JP3508312B2 (ja) | キーワード抽出装置 | |
| Dash | Morphological processing of words in bangla corpus | |
| Packer | Scalable Detection and Extraction of Data in Lists in OCRed Text for Ontology Population Using Semi-Supervised and Unsupervised Active Wrapper Induction | |
| JP3093759B2 (ja) | 日本語解析装置 | |
| JPH0258166A (ja) | 知識検索方法 |