JPS58214931A

JPS58214931A - 単語切り出し装置

Info

Publication number: JPS58214931A
Application number: JP57097413A
Authority: JP
Inventors: Toshiaki Sugimura; 利明杉村; Tamaki Saito; 斎藤　珠喜
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: NTT Inc
Priority date: 1982-06-07
Filing date: 1982-06-07
Publication date: 1983-12-14

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】この発明は、べた書きの日本語文章を単語単位に分離す
る単語切り出し装置に関するものである。

く背　景〉従来のこの種の装置は、例えば日本語ワードプロセッサ
に用いられるかな漢字変換による日本語入力装置として
、Ｊ　Ｉ　Ｓ　Ｃ６２３３に定められているような、か
な文字の鍵盤装置を使用し、操作員が順次キーを打鍵す
ることにより、日本語文章をかなの文字列として入力し
、この文字列から単語＃書を用いて単語を切り出し、漢
字で表記すべきものを漢字に変換して、漢字がな混じり
の日本餌文章とするように構成されていた。

しかし、べた書きのかな文字列の文章をがな漢字変換す
ることは、（１）文章単位でｌｔｉ語辞書との最長一致
検索法を用いて単語の切り出しを行う処理や、（２）出
現確率の高い助詞等を用いてあらがしめ文節の候補を検
出しておき、この１侯補について単語辞書検索を行い単
語を切り出す処理など、いずわも１ド語辞書検索などの
大がかりなソフトウェア処理を必要とし、入力装置が高
価冬こなるという欠点がある。また、このような方法で
は変換率、即ち正しく変換された語の割合も高くないた
め、一般には操作員が文節（あるいは単語）の区切りを
、間隔（５ｐａｃｅ　）キーあるいはそのシステム固有
の符号キーを打鍵することにより文字列の中１こ付加し
、システムはその区切り符号を検出することで文節（あ
るいは単語）の切れ目を認識する手段をとることによっ
て、かな漢字変換の処理を簡略化し、変換率を高めるこ
とが行われている。

ごのような方法では、入力かな文字列中に文節（あるい
は単＃ｊ１）ごとの区切り符号を入力することが必要で
あり、操作員の操作性を低下させる原因になった。

使用頻度が高い助詞、助動詞などを区切り語として単語
の切出しを行うことが考えられるが、この々、″１合は
区切り個所でない所でも区切ってしまい、つまり単語の
区切り過ぎが生じるおそれがある。

〈発明の概要〉この発明の目的は、ソフトウェア処理が簡単で操作性が
よく、しかも変換率が高く、べた内きの日本語文章を単
語単位に分離することができる崖詰切り出し装置を提供
すること１こある。

この発明によれば、単語辞書検索等の大がかりな処理は
行わず、単語についての文字列のつながりの規則を抽出
した文字連接表と、文章において一甲語を区切る助詞、
接続詞等の区切り、＋、７ｉｉ表とを用いる。

く単語切り出し法〉第１図はこの発明による１１４語切り出し装（６を用い
て行う単語切り出し法を説明する図であり、簡単のため
に文字列長２の文字連接表を用いた場合の処理を示して
いる。また、対応する処理フローを第６図に示す。

〈文字連接表の検索〉まず、入力文字列例「まったくかかすことはできない」
の先頭から２文字ずつの組で文字連接表を杉索し、入力
文字列のすべての２文字組の文字連接優先度αｌ、α２
・・・−１α１３を求める。これの算出は、２文字組の
見出しとこれに対応した文字連接優先度αが収容されて
いる文字連接表を、入力文字列のそれぞれの２文字組で
検索し、これと一致した見出しに対応する優先度を値と
することで行う。

ここで、文字連接表は第３図に示すように、２文字組の
第１文字を行、第２文字を列に配列し、日本語の言葉と
して存在する２文字の連接にその出現確率（単純に、日
本語の言葉として存在する文字連接には値１１′を、日
本語の言葉として存在しない文字連接には値＠０”をそ
れぞれ与えることも可能である）を文字連接の優先度と
して与えたものである。つまりα月は第１文字の１＠目
の文字と、第２文字の１番目の文字との文字連接の優先
度を示しており、日本語の言葉として存在する文字連接
の出現確率等を値とする。

〈区切り語表の検索〉次に、入力文字列の部分文字列で区切り語表を検索し、
入力文字列中の区切り語の候補「こと」。

「と」、「は」、「で」とその区切り語の優先度β１．
β２．β３．β４を求める。これの算出は、区切り語の
見出しとこれに対応した区切り語、１鼻先度βが収容さ
れている区切り語表を入力文字列の部分文字列で検索し
、これに一致する見出しとその優先度を、入力文字列中
の区切り語の候補とその区切りｉｆ？’ｊｆｌｌ先度と
することで行う。

ここで、区切り６８表は第４図に示すように、例えば日
本語の一般文章での使用頻度が高い（例えば、国立国語
研究所：電子計算機による新聞の語い調査（ＩＩ）　、
　Ｐ１１４国立国ｇ７３研究所叩告３８゜１９７１、　
　秀突出版参照）［から、が、て、で、でも、と、に、
の、は、へ、いも、を、しかし、この。

それ」等の助詞、助動詞および、接続詞、副詞。

連体詞とこれに対応する優先度βｌ、例えば、出現確率
に文字列長を重みとして掛けたもの：る。

〈区切り語の成立条件の検定〉次に区切り語の候補について、区切り詔の優先度と文字
連接の優先度を比較して、区切り肋の成立条件を検定す
る。この検定は、区切り語の候補の優先度と、入力文字
列中での区切り語の候補の先頭の文字とそのｉｉＩの文
字、および区切り語の最後の文字とその次の文字との文
字連接の優先度とを比較し、前記区切り語の候補の優先
度が前記文字連接の優先度のいずれよりも大きい時、区
切り開の条件が成立したと判定する各α、βの値の大小
関係が第１図の通りとすると、区切り語の候補「こと」
についてα７〈β１．α９〈β１．「と」についてα８
くβ２．α９〈β２．「は」についてα９〈β３゜αｓ
ｏ＜β３となり、「こと」′、「と」、「は」が区切り
飴の成立条件を満足している。一方、「で」はα１１〉
β４（区切り語の候補［で」の沙先度β４が、「で」と
その次の文字「き」との文字連接の優先度α１１より小
さい）となり、区切り語条件が成立せず、区切り語の候
補から削除される。

く区切り語の最尤候補の選択〉次に区り語の成立条件を満足している候補の中から最尤
候補を選択する。重複する区切り語、つまり区切り肋の
一部の文字が他の区切り語の一部の文字を共有（重複）
する場合で、第１図においては、区切り語「こと」の６
と”と「と」の１と”が重複しており、重複する区切り
語にあたり、この重複する区切り語が存在する場合は区
切り語の優先度が最も高いものを、重複しない場合はそ
れ自身を、区切り語の最尤候補とする。この例では重複
した区切り語「こと」の”と”と「と」の“と”の各優
先度βｌとβ２はβ１〉β２の関係にあるため、最尤候
補は「こと」とする。

〈区切り符号の付加〉最後に、（１１区切り語の最尤候補「こと」、「は」の
前後、および、（ｉｔ）文字連接の優先度がしきい値Ａ
以内であるという文字非連接条件を満足する文字連接、
この例では「くか」　（α４〈Ａ）の間。

に対応する入力文字列中ばに区切り符号をそう人し入力
文字列を星語ごとに区切る。このようにして区切り語の
最尤候補以外でも、Ｓ例えば、しきい値ＡをＯにするこ
とにより、文字連接の出現確率が０であるまった（文字
連接の存在しないところだけを区切ることができる。

〈実施例〉第２図は、この発明の実施例を示し、入力部１１の文字
列から句点、読点間の文字列を取り込む回路１２と、そ
の人力文字列を一時記憶しておくバッファ１３と、文字
連接表１４と、文字連接優先度算出回路１５と、その文
字連接優先度を一時記憶しておくバッファ１６と、区切
り語表１７と、区切り飴の候補の検出と優先度算出回路
１８と、その区切り語の候補とこれに対応した優先度を
一時記憶しておくバッファ１９と、区切り語の成立条件
検定回路２１と、区切り詔の最尤候補選択回路２２と、
区切り符号の付加回路２３と、制御回路２４と、出力部
２５とよりなる。

〈動　作〉これの動作は、入力部１１から入力される文字列から、
句点、読点間の文字列取り込み回路１２により、句点、
読点（２）作置によって付加された区切り符号を含める
ことも可）の間の文字列が、文字列一時記憶バッファ１
３に取り込まれる。

次に、文字連接優先度算出回路１５は、文字列一時記憶
バッファ１３中の入力文字列の先頭から、順次２文字ず
つの組（簡単のために文字連接表は、文字列長２の場合
とする）で文字連接表１４の見出しを検索し、一致した
見出しに対応した文字連接の優先度αを求め、文字連接
優先度記憶ノ（ツファ１６に入れる。

また、区切り語の候補の検出と優先度算出回路１８は、
文字列一時記憶バッフア１３中の入力文字列の部分文字
列と区切り語表１７の見出しとを比較し、入力文字列の
部分文字列と一致する区切り語とその優先度βを求め、
区切り語候補・優先度記憶バッファ１９に入れる。

次１こ、区切り語の成立条件検定回路２１は、区切り語
候補・優先度記憶バッファ１９中の区切り語の候補の優
先度と、文字連接優先度記憶バッファ１６中の文字連接
の優先度とを比較し、区切り訃の成立条件（前述）を満
足しないものを区切り語候補・優先度記憶バッファ１９
から削除する。

次１こ、区切り飴の最尤候補選択回路２２は、区切り語
候補・優先度記憶バッファ１９中の区切り語の候補につ
いて、重複する区切り語（前述）が存在する場合は、優
先度が最も高いものを、重複しない場合はそれ自身を最
尤候補として求め、最尤候補以外の区切り語の候補をバ
ッファ１９から削除する。

最後に、区切り語の付加回路２３は、区切り語候補・優
先度記憶バッファ１９中の区切り語の最尤候補の前後お
よび、文字連接優先度記憶バッファ１６中の文字非連接
条件（ｆｉＩ述）を満足する文字連接の間、に対応する
入力文字列位置に区切り付号をそう人し、単語ごとζこ
区切られた入力文字・列を出力部２５へ送る。第５図は
単語ごとに区切られた出力文字列の例を示している。図
中”／”は区切り記号を示す。

〈効　果〉以上説明したように、この発明によれば単語辞書等に比
べて大変小規模な文字連接表と区切り語表とを相互に用
いることで、区切り語表のみを用いることによる単語の
区切り過ぎ、および、文字連接表のみを用いることによ
る自立語と付属語の接続し過ぎ、という単諸区切りの誤
りを救済し、簡単な処理で精度よく単語を区切ることが
できるという利点がある。

なお、この発明は日本語ワードプロセッサ、漢字ＯＣＲ
，音声認識による日本語人力装置など、いわゆる日本語
入力装置すべてにおける、単′＃Ｐ！切り出し処理に適
用できることは言うまでもない。

また以上の処理は、いわゆる電子計算機により行うても
よい。

【図面の簡単な説明】

第１図は、この発明の装置において行う単開切り出し法
を説明する図、第２図はこの発明の実施例を示すブロッ
ク図、第３図は、第２図の文字連接表１４の内容を示す
図、第４図は第２図の区切り語表１７の内容を示す図、
第５図はこの発明の実施例による処理の入力文字列およ
び出力文字列の例を示す図、第６図はこの発明の実施例
の処理フローを示す図である。１１：入力部、１２：句点、読点間の文字列取り込み回
路、１３：文字列一時記憶バッファ、１４：文字連接表
、１５：文字連接優先度算出回路、１６一文字連接優先
度記憶バッファ、１７：区切り語表、１８一区切り語の
候補の検出と優先度算出回路、１９：区切り語候補・優
先度記憶バッファ、２１：区切り語の成立条件検定回路
、２２：区切り飴の最尤候補選択回路、２３：区切り符
号の付加回路、２４：制御部、２５；出力部。特許出願人　　　日本電信Ｎ、話公社代理人　草野　卓

Claims

【特許請求の範囲】

（１）入力部から順次供給される入力日本語文の文字列
から句読点によって区切られる文字列を取り込む取り込
み手段と、前記抽出された文字列を一時記憶しておく文
字列記憶手段と、日本語文の相違なる少なくとも２文字
の接続可否条件を内容とする文字連接表を記憶してお（
文字連接表記憶手段と、前記文字列記憶手段の内容と前
記文字連接表記憶手段の内容とを比較して文字連接優先
度を得る手段と、その文字連接優先度を一時記憶してお
く文字連接優先度記憶手段と、日本語文中の自立語を区
切る助詞等の区切り語を内容とする区切り語表を記憶し
ておく区切り諸表記憶手段と、前記文字列記憶手段の内
容と前記区切りｉｎ表記憶手段の内容とを比較して区切
り簡候補及びその優先度を得る手段と、その区切り鮪候
補及び優先度を一時記憶しておく区切り語候補記憶手段
と、前記文字連接優先度記４・態手段の内容と前記区切
り飴候補記憶手段の内容とを比較して区切り語の成立条
件を検定する手段と、その区切り語として検定された区
切り語の候補の中から、その区切り飴に対応する優先度
の最も高いものを選択する最尤候補選択手段と、前、記
１文、字連接優先度記憶手段の内容と前記区切り語候補
記憶手段の内容に基づいて前記文字列記憶手段の内容の
文字列に単語の区切り符号を付加して出力する手段、と
から成る単語切り出し装置。