JPH01260576A - 文章解析方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔概　要］ 分かち書きされていない文章で、説明記号（＝ｊき説明
語や強調記号が付加された単語を含む文章を解析して単
語同定を行う文章解析方式に関し、説明記号や強調記号
によ、って単語が解析されても単語同定が正しく行われ
ることを目的とし、分から書きされていない文章で、説
明記号イ」き説明語及び強調記号が付加された中詰を含
む文章を解析する文章解析方式において、入力文章中よ
り強調記号又は説明記号を検出して識別用の識別フラグ
を側線し、識別フラグにより人力文章から強調記Ｍか検
出されたときは、検出された強調記号を無視して文章解
析を行い、説明記号が検出されたときは、説明記号中の
文字がずへて仮名文字であるときに説明記号及びその中
の説明語を入力文章中から消去して文章解析を行うよう
に構成する。

〔産業上の利用分野］ 本発明は、分から書きされていない文章で、説明記号イ
」き説明語＜弓■ＪＡｉ記号が側線された単語を含む文
章を解析して単語同定を行う文章解析方式［従来の技術
］ 分から書きされていない文章では、語と語又は文節と文
ｌ！１１の間に空白が存在しないので、文章の形から直
接に詔や文節を取り出すことはてきない。

そこで、このような分かち書きされていない文章を解＋
１〒し７てｔ４１語同定を行う場合には、入力された文
章を′Ｉす読点や文章中にあるかぎ括弧なとの記号−Ｃ
分割し、分割された文章区分を１つの解析栄位として文
章解析が行われる。

第６Ｖは、分かち書きされていない文章に対する従来の
文章解析方式の構成をブロック図で示したものである。

解析単位分割部３１は、分かぢ書きされていない入力文
章を句読点やかき括弧等の記号を用いて分割し、分割さ
れた文章区分を解析単位として単語辞書検索部３２に送
る。

単語辞書検索部３２ば、１つの解析単位が入力されると
、解析単位にある単語と単語辞書３３に登録されている
各種の登録単語との照合を行って複数個の候補単語を抽
出して、単語同定部３４に送る。

単語同定部３４ば、抽出された各候補単語について単語
同定を行い、各候補単語中から最適の文字列を選択する
。この単語同定は動的計画法（Ｉ）Ｐ法）により行われ
る。ＤＰ法では、隣接単語の接続の強さを評価値とし、
照合対象である文字列中の総ての候補単語に対、して各
々の直前に位置する候補単語の中から最良の評価を与え
るものを逐次選択することによって、最終的に文字列全
体に対する最適格を求める（ＤＰ法による単語同定につ
いては、例えば特開昭５９−９０１６７号公報特開昭６
０−２２２７６号公報参照）。

〔発明が解決しようとする課題〕

従来の文章解析方式は、前述のように、入力文章を句読
点やかぎ括弧等の記号をもとにして解析単位Ｇこ分割し
、この解析単位で文章解析を行っていた。この文章解析
方式では、入力文章が句読点たりで区切られている文章
である場合や、かぎ括弧等の記号が１つの単語を指示す
るものである場合は、良好な精度で単語同定を行うこと
かできる。

しかしながら、かぎ括弧等の記号が、単語を指示するも
のでなく、例えば単語の説明語が入る説明記号である場
合や単語を強調して表現する強調記号である場合は、こ
れらの記号で文章を分割すると、単語が分断されて単語
同定に失敗するという問題が生しる。

例えば、新聞記事の文章によく見られるように、難しい
漢字の読のをその漢字の後に括弧で囲んで示した入力文
章“′撚（ねん）糸工連でば〜”の場合、説明記号”（
）”で分割されるので、“撚糸゛′が“′撚゛と゛糸゛
°に分断される。解析ば、まずパ撚パだけで行われ、次
に“ねん゛について、その次に“糸工連でば〜”′につ
いて行われる。この結果、゛撚゛だけの単語は存在しな
いので、単語同定は失敗となる。

また、単語゛無策゛をかぎ括弧からなる強調記号で強調
した入力文章゛「無策」ふりを〜”′の場合、強調記号
゛「」”で分割されるので、゛無策ふり”が分断され、
゛無策”で１つの力４二析単位が抽出され、「ふりをＪ
で１つの解析単位が抽出される。この結果、接尾語であ
る°゛ふり°”か、名詞の“ふり（吻）”と誤って単語
同定されて、単語同定は失敗する。

本発明は、説明記号や強調記号によって単語が分断され
ても単語同定を正しく行うことができるように改良した
文章解析方式を提供することを目的とする。

（課題を解決するだめの手段］ 前述の課題を解決するために本発明か採用した手段を、
第１図を参照して説明する。第１図（Ａ）は本出願の特
定発明の基本構成を、第１図（Ｂ）は関連発明の基本構
成をそれぞれブロック図で示したものである。

第１図（Ａ）において、１１は強調記号検出部で、分か
ち書きされていない入力文章中より単語を強調する強調
記号を検出し、検出された強調記号に識別用の識別フラ
グを付加する処理を行う。

１２は文章解析手段で、識別フラグにより入力文章中か
ら強調記号を検出し、検出された強調記号を無視して文
章を解析し単語同定を行う。

次に、第１図（Ｂ）において、２１は説明記号検出部で
、分かち書きされていない入力文章中より単語を説明す
る説明記号を検出し、検出された説明記号に識別用の識
別フラグを付加する処理を行う。

２２ば挿入説明消去部で、識別フラグにより入力文章中
から説明記号を検出し、説明記号中の文字がすべて仮名
文字であるときは説明記号及びその中の説明語を入力文
章中から消去する処理を行う。

２３は文章解析手段で、説明記号及びその中の説明文字
が消去された文章について解析し単語同定を行う。

〔作　用〕

最初に、第１図（Ａ）に示した特定発明の作用を、分か
ち書きされていない人力文章が“「無策」ふりを〜”で
あり、強調記号が“［」゛である場合を例にとって説明
する。

強調記号検出部１１は、分かち書きされていない人力文
章中より単語を強調する強調記号“′「」゛を検出し、
強調記号の始まり側記号”ｒ”及びその受け側記号゛」
“にそれぞれ識別フラグをイ］加して、文章解析手段１
２に送る。

文章解析手段１２ば、識別フラグにより人力文章中から
強調記号を検出し、強調記号が検出された場合はそれを
無視して文章解析を行う。

すなわち、入力文章が“「無策」ふりを〜゛の場合、強
調記号“「」°°が無視され、人力文章は“無策ぷりを
〜゛であるとして文章解析が行ねれる。

これにより、゛′無策ぷりを〜′”が１つの解析単位と
なり、従来方式のように″無策“と“ふりを〜゛に分割
されないので、正しい単語同定を行うことができる。

強調記号において、“′「パは一般に単語の始まりを示
すが、その受け側記号”Ｊ”は単語の終わりを示さない
。したがって、強調記号検出部１１において、強調記号
の始まり側記号“′「°と受Ｕ側記号“」゛にそれぞれ
別の識別フラグを付加し、文章解析手段１２において、
始まり側記号パ「゛は解析単位の区切りとし、受け側記
号“１．ｌｌｃ才解析単位の区切りとせず、この受け側
記号“１”°を無視して単語同定を行うようにすると、
単語同定を良好な精度でかつ効率良く行うことができる
。

次に、第１図（Ｂ）に示し７た関連発明の作用を、分か
ち書きされていない入力文章が”Ｐ、（ねん）糸工連で
は〜゛であり、説明記号が゛（）゛である場合を例にと
って説明する。

説明記号検出部２１は、分から書きされていない入力文
章中より単語を説明する説明記号パ（）パを検出し、説
明記号にそれを識別するための識別フラグをイＮＪ）Ｊ
ＩＩＵ７て、説明文消去部２２に送る。

挿入説明消去部２２は、識別フラグに、ｌ、り人力文章
中から説明記号を検出し、説明記号中の文字がずへて平
仮名又は片仮名等の仮名文字であるか否かを判定する。

すべてか仮名文字であるときは、その記号内の文字列は
直前の単８Ｉ（の説明ｌｉｄであると判定し、説明記号
及びその説明記号中の説明語を入力文章中から消去して
、文章解析手段２３に送る。入力文章“撚（ねん）糸工
連では〜゛の場合、説明記号”（）’”１７旧Ｊずべで
平仮名であるので、′（ねん）”か消去され、“撚糸下
運では〜”が入力文章として文章手段ＩＮこ送られる。

文章解析手段２３υ１１、パ（ねん）パが消去された人
力文章゛′撚糸工連では〜゛について文草解１ノ１を行
・う。この場合、°（ねん）”′か消去されているので
、“撚゛か解析単位として区分されることかなくなり、
゛撚糸−に連てｌ」゛か１つの解析１１１位となるので
、正しいＱｊ語同定が行われろようになる。

以−ｌ＝のようにして、説明記υ−や強調記刃によって
単ｄｒ１か分断されても、単語同定を正しく行うことが
できる。

（特定発明の実施例１ 相定発明の実施例を、第２図及び第３図を参照して説明
する。第２図は特定発明の一実施例の構成の説明図、第
（３図は同実施例の処理フローチャー　１−である。双
子の説明において、分かち書きされていない入力文章は
“’ｒ；■４策」ふりを〜゛であり、強調記号は′［１
゛であるとする。

（Ａ）実施例の構成 第２１ン１において、強誹１記刊検出部１１及び文章解
析手段１２について！Ｊ、第１し］　（Ａ）で説明した
とおりである。

強調記５Ｊ−検出部］］（」、検出された強調記号の始
まり側記号゛「”には識別フラグＦ　ａ　ｌを付加し、
受り側記号”Ｊ”には識別フラグＦｑ２をイス１加する
ｔ）のとする。

文章解析手段１２において、］、　２１　ｉ；＋解析ｆ
）′１位分割部で、分かち書きされていない入力文章を
解析単位に分割する処理を行う。

１２２は単語辞書で、各種の単語に対する標【１峠単詔
が登録されている。

１２３は４３．　ｉ７ｉ辞書検索部で、解析中位乙こあ
る各単語と単語辞書１２２にある各種の標（１！−単語
七の照合を行って候補単語を抽出する。

１２４は単語同定部で、抽出された各候補単語について
単語同定処理を行い、各候補単語から最適の文字列を選
択する処理を行う。

（Ｂ）実施例の動作 実施例のＩＪ］作を、第３３図の処理フローチャー１を
参照し、その処理ステップに従って説明する。

■　処理Ｓｌ１ 強調記号検出部１１ば、分かち書きされていない入力文
章中より単語を強調する強調記号“「」゛を検出し、そ
の始まり側記号”ｒ”に９１ｉ（別フラグ）パ□１をイ
ス１力ＩＩ　＋−，、その受け側記号“１”に識別フラ
クト゛３．を石１加し７て、解析中位分割部１２］に送
る。強調記号”ｒ、”の対が複数３ＪＩ検出された場合
にも、各始まり側記号゛「゛には共通に識別フラクＩパ
５．１か旬月され、その各受り側記号”Ｊ”にＧ」共通
に識別フラグＦ　ａ２が付加される。

■　処理Ｓ　１２　＋　３１３１３１４１　Ｓｌ！ｉ解
析単位分割部］、、　２１　！ｔ、入力文章中より識別
フラグＦａｔ及びＦ”　ａ　２の検出を行う（処理Ｓ１
の。

識別フラグＦａＩ及びＦａ□のいずれのフラグも検出さ
れｌζいときＧＪ、句読点か検出された場合を除き文章
の区切りは行わない（処理Ｓ、４）。

識別フラグか検出された場合、解析単位分割部１２１ば
、それか受の側記号”　１　”に対する識別フラグＦａ
２であるときは文章の区切りは行わない（処理Ｓ　１３
！　Ｓ　１４）。これに対し、識別フラグか検出され、
それか始まり側記号”ｒ”に夕・１する識別フラグド５
．１であるときは文章の区切りを行う（処理Ｓ、３，３
．５）。

このようにして、強調記刊の始まり（ｊｌ言己屑−′［
゛と句読点が検出されたときＧこ文章の区９Ｊりが行わ
れ、１つの区切りと次の区切りの［（１１の文章が１つ
の解析単位として分割されて、ｆ４ｉ　ＲＮ　舌字書検
索部１２３に送られる。人力文章“「ｊ県東」ふりを〜
゛の場合、′「無策」ス、りを〜゛力く１つの解析単位
として単語辞書検索部１２３乙こ送られる。

■　処理Ｓ１６ 単語辞書検索部１２３は、解析単位に登録されている各
単語と単語辞書１２２にある各１１１′！の標準単語と
の照合を行って候補単語を＞ｌｌｔ　ｉＨ−！ｌ−る。

“無策ふり゛に対しては、例えｂｉ表１のような候補単
語が抽出されて単語同定部１２４しこ送られる。

■　処理Ｓ　１７ 単語同定部１２４は、抽出された表１の各候補単語につ
いて公知の動的計画法等により単語固定処理を行い、各
候補ｔＰ、詔から最適の文字列を選択する。なお、この
場合、強調記号の受け側記号”Ｊ”は無視して単語同定
処理が行われる。動的計画法（ＤＰ法）では隣接単語間
の接続の強さを評価値とし、照合対象である文字列中の
総ての候補単語に対し゛て、各々の直前に位置する候補
単語の中から最良の評価を与えるものを逐次選択するこ
とによって、最終的に文字列全体に対する最適解析が求
められる。

これにより、表２に示すように正しい単語間定結果が得
られる。

表　　　　２ 〔関連発明の実施例〕 関連発明の実施例を、第４図及び第５図を参照して説明
する。第４図は関連発明の一実施例の構成の説明図、第
５図は同実施例の処理フローチーレートである。以下の
説明において、分かち書きされない人力文章ば撚（ねん
）糸工連では〜″°であり、説明記刊はパ（）“°であ
るとする。

（Ａ）実施例の構成 第４図において、説明記号検出部２１、挿入説明消去部
２２及び文章解析手段２３に一ついては、第１図（Ｂ）
で説明したとおりである。

説明記号検出部２１は、検出された説明記号の始まり側
記号“（”に識別フラグＦ’ｂ＋を付加し、受け側記号
“）”に識別フラグＦｌ１２を付加するものとする。

文章解析手段２３において、２３１は解析単位分割部で
、分かち書きされていない入力文章を解析単位に分割す
る処理を行う。

２３２は単語辞書で、各種の単語に対する標準単語が登
録されている。

２３３は単語辞書検索部で、解析単語にある各単語と単
語辞書２３２にある各種の標準単語との照合を行って候
補単語を抽出する。

２３４ば単語同定部で、抽出された各候補単語について
単語同定処理を行い、各候補単語から最適の文字列を選
択する処理を行う。

（Ｂ）実施例の動作 実施例の動作を、第５図のフローチャートを参照し、そ
の処理ステップに従って説明する。

■　　処工里Ｓ２１ 説明記号検出部２１は、分かち書きされていない人力文
章中より単語を説明する説明記号゛（）゛を検出し、そ
の始まり側記号”（”ａこ］　８ 識別フラグＦ１．１を付加し、その受け側記壮゛）パに
識別フラグ］”ｌ＋、をイ＼］加して、挿入説明消去部
２２に送る。説明記−冒“（）゛の対か複数８、［１検
出された場合にも、各始１１−り側記号パ（″にＧンｌ
共通に識別フラグＦ　ｂｌかイく１加され、その各受り
側記冒、　ＩＩ　）　ＩＩ　ａ；１は共通に識別フラグ
Ｆｂ２が伺ノ用される。

■　処理Ｓ２２１　Ｓ２：＋　ｙ　Ｓ□４挿入説明消去
部２２る」、人力文章中より識別フラグＦ　ｂ　ｌ及び
Ｆ　ｂ２の検出をｊ）う（処理５２２）。

識別フラグＦ　ｂｌ及びＦ　ｂ２のいずれのフラグも検
出されないときは、入力文章をそのままＭ：　＋）１−
．１ｊ−位置割部２３１に送り処理Ｓ２５の処理を行う
。

識別フラグが検出された場合、挿入説明消去部２２ば、
識別フラグＦ’　ｂ　ｌとぞの受ｉＪ側の識別フラグＦ
４２．の間にある文字かず・・、て仮名文字であるか否
かを判別する（処理Ｓ２．）。

ず−・てが仮名文字であるときは、その記号内の文字列
む；１直前の中１ｉ’！ｊの説明のため１、こ挿入され
たものであると判定し、説明記号及びその説明記翼中の
説明Ｓ７１を人力文章中から消去して、ヌＱ　ｕＧ　＋
Ｊ７丁段２；３に送る（処理５２４）。これにより、入
力文章”ｌ；４．　（ねん）糸工連でシ３１〜・“の場
合、説明記号”（）”内の文字はすべて平仮名であるの
で、′（ねん）”か消去され、゛撚糸二［連ては−゛か
入力文章として解析単位分割ｉ’ｉｌ＋　２３　］乙こ
ｉスられる。

説明記ソ３内にある文字の一部に仮名文字で４１″いも
のかあれば、説明記号及びその中の文字を消去すること
なく解析単位分割部２３１に送る。

ごの場ギ習３１１、″科技斤（科学技術庁）°のよ・う
乙こ“’（）”内の単語とその直前の中胴とはそれぞれ
かｊｌＩＭ″析１）【位となる単語であり、”（）”に
よるｊｌ’＋語の分断モ：］″クトシないので、そのま
ま文ｉ、′Ｉ：ｉ（’＋″析を行っても問題は生じない
。

■　処理Ｓ２！。

Ｍ　＋Ｊｉ１’−位分割部２３　］　１１Ｊ、従来方式
と同様に人力文章を句３：：ｅ点や括弧３己ビ等により
区切り、■−７）の区切りから次の［ネリＪりの間を文
章を１゛つの解析単位として１算７１辞書検索部２３ζ
３に送る。

入力文章゛′撚糸−下連゛ζは〜゛の場合、この文章か
１つの解析単位として”ｌｉ　、ｉ７ｊ辞（Ｃ検索部２
３３に送られる。

■　処理Ｓ　２６　＋　８２゜ 単語辞書検索部２３３は、第３図の４′ｌｉ　Ｎｔ’ｉ
辞害検索部１２３と同様に、解析ア１１位にある各単語
と単４￥１辞書２３２に登録されている各種の標〈１動
車語との照合を行って候補単語を抽出１−で１１．ＩＦ
。

語同定部２３４に送る（処理Ｓ２１．）。

単語同定部２３４は、抽出された各候補ｉ１尊７’１に
ついて第３図の単語同定部１２４と同様にφ語同定処理
を行い、各候補−ｅｌｉ　；ｉ、’ｉから最適の文字列
を選択する。

［発明の効果］ 以−１−説明したように、本発明によれば、分かり店き
されていない人力文章において単語説明用や強調用の各
記号によって」”Ｉｔ　８７ｉが分Ｉυｉされても、１
１’１詔同定を市しく行−・う、二とか一部きる。

４図ｊ’ｆｉ−ｉの′ｉ’；ｉ７単な説明第１図る。ｒ
、本出願の１ｈ定発明及び関連発明の−と木構成の説明
し１、 第２図は、特定発明の実施例の構成の説明図、第３図は
、特定発明の実施例の処理フローチャー１へ、 第４図ｔ」、関連発明の実施例の構成の説明し１、第５
図は、関連発明の実施例の処理フローチャーＩ・、 第〔５図は、従来の文章解析方式の説明図である。

第１図、第２図及び第４図において、 １１・・・強調記号検出部、１２・・・文章解＋１７手
段、１２１　・解析単位分割部、１２２・・・単語辞書
、１２３・単語辞書検索部、１２４・・・単語同定部、
２１・説明記号検出部、２２・・挿入説明消去部、２３
・・文章解析手段、２３１・・・解析単位分割部、２３
２・！Ｉ”　’ｌｉ？ｉ辞書、２３３３・・・Ｎｌｉ語
辞書検索部、２３４　・単語同定部。

Claims (3)

【特許請求の範囲】
1. （１）分かち書きされていない文章で、強調記号が付加
   された単語を含む文章を解析する文章解析方式において
   、 （Ａ）入力文章中より単語を強調する強調記号を検出し
   、検出された強調記号に識別用の識別フラグを付加する
   強調記号検出部（１１）と、（Ｂ）識別フラグにより入
   力文章中から強調記号を検出し、検出された強調記号を
   無視して文章を解析し単語同定を行う文章解析手段（１
   ２）、 を備えたことを特徴とする文章解析方式。
2. （２）強調記号検出部（１１）は、強調記号の始まり側
   記号とその受け側記号に別個の識別フラグを付加し、文
   章解析手段（１２）は、強調記号の始まり側記号では解
   析単位の区切りを行わず、受け側記号では解析単位の区
   切りを行って文章解析を行うことを特徴とする請求項（
   １）記載の文章解析方式。
3. （３）分かち書きされていない文章で、説明記号付きの
   説明語が付加された単語を含む文章を解析する文章解析
   方式において、 （Ａ）入力文章中より単語を説明する説明記号を検出し
   、検出された説明記号に識別用の識別フラグを付加する
   説明記号検出部（２１）と、（Ｂ）識別フラグにより入
   力文章中から説明記号を検出し、説明記号中の文字がす
   べて仮名文字であるときは説明記号及びその中の説明語
   を入力文章中から消去する挿入説明消去部（２２）と、 （Ｃ）説明記号及びその中の説明語が消去された入力文
   章について文章を解析し単語同定を行う文章解析手段（
   ２３）、 を備えたことを特徴とする文章解析方式。