JPH0792800B2 - 接続コストテーブル作成装置 - Google Patents
接続コストテーブル作成装置Info
- Publication number
- JPH0792800B2 JPH0792800B2 JP1051107A JP5110789A JPH0792800B2 JP H0792800 B2 JPH0792800 B2 JP H0792800B2 JP 1051107 A JP1051107 A JP 1051107A JP 5110789 A JP5110789 A JP 5110789A JP H0792800 B2 JPH0792800 B2 JP H0792800B2
- Authority
- JP
- Japan
- Prior art keywords
- connection
- cost
- group
- cost table
- category
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 description 16
- 230000021615 conjugation Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000005457 optimization Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Landscapes
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
Description
【発明の詳細な説明】 （産業上の利用分野） 本発明は日英機械翻訳システム、日本語テキスト音声合
成システム等の必須構成要素である日本語の形態素分割
処理において用いる接続コストテーブルの作成方式に関
するものである。
成システム等の必須構成要素である日本語の形態素分割
処理において用いる接続コストテーブルの作成方式に関
するものである。
（従来の技術） 従来、単語の境界に空白などの切れ目がないという特徴
がある日本語テキストの解析を行なうために、単語の境
界を決定する形態素分割の種々の方式が提案されてい
る。これらには、たとえば「情報処理」第27巻第８号95
1ページに記載されているように、最長一致法、二文節
最長一致法、文節数最小法、拡張文節モデル上のコスト
最小法等の日本語形態素分割の技術が知られている。
がある日本語テキストの解析を行なうために、単語の境
界を決定する形態素分割の種々の方式が提案されてい
る。これらには、たとえば「情報処理」第27巻第８号95
1ページに記載されているように、最長一致法、二文節
最長一致法、文節数最小法、拡張文節モデル上のコスト
最小法等の日本語形態素分割の技術が知られている。
（発明が解決しようとする問題点） しかしながら、従来の形態素分割方式においては、文節
の数を最小にするという一種の最適化方式や、各単語固
有のコストを定義して、そのコストの和を最小にすると
いう最適化手法が用いられているものの、隣接する単語
候補間の接続のしやすさを統一的に、例えば加算のよう
な演算が可能な量として表現し、利用することがなかっ
たので、複数の区切り方が可能な場合に、より日本語と
して適切な区切り方を選択することが困難であった。こ
の問題を改良した方式として、接続カテゴリー間に接続
のコストを定義し、そのコストの累積が最小となるよう
な分割を出力するような形態素分割方式が考えられる
（特願昭63-201603号明細書）。
の数を最小にするという一種の最適化方式や、各単語固
有のコストを定義して、そのコストの和を最小にすると
いう最適化手法が用いられているものの、隣接する単語
候補間の接続のしやすさを統一的に、例えば加算のよう
な演算が可能な量として表現し、利用することがなかっ
たので、複数の区切り方が可能な場合に、より日本語と
して適切な区切り方を選択することが困難であった。こ
の問題を改良した方式として、接続カテゴリー間に接続
のコストを定義し、そのコストの累積が最小となるよう
な分割を出力するような形態素分割方式が考えられる
（特願昭63-201603号明細書）。
ところが、単語候補間の接続のしやすさをあらわす多値
のコストを、右向き・左向きの全接続カテゴリー間に定
義するには、大規模な多値マトリクスを作成せねばなら
ず、このようなデータを矛盾がないように作成・維持す
るのは非常に困難である。
のコストを、右向き・左向きの全接続カテゴリー間に定
義するには、大規模な多値マトリクスを作成せねばなら
ず、このようなデータを矛盾がないように作成・維持す
るのは非常に困難である。
本発明の目的は、このような多値のコストテーブルを容
易に生成することが可能な接続コストテーブル作成方式
を提供することにある。
易に生成することが可能な接続コストテーブル作成方式
を提供することにある。
（問題を解決するための手段） 本発明は、接続カテゴリー間の接続の可否を記述する２
値の接続テーブルと、１つ以上の接続カテゴリーが属す
るグループの定義を記述するグループ定義テーブルと、
グループ間のコストを順に記述したグループ間コストテ
ーブルとを備える記憶手段と、グループ間コストテーブ
ルに記述された順に、グループに属する各接続カテゴリ
ー間の接続が可であれば、その接続カテゴリー間の接続
コストをそれらが属するグループ間のコストと同一の値
に設定することによって接続コストテーブルを生成する
制御手段とから構成されることを特徴とする。
値の接続テーブルと、１つ以上の接続カテゴリーが属す
るグループの定義を記述するグループ定義テーブルと、
グループ間のコストを順に記述したグループ間コストテ
ーブルとを備える記憶手段と、グループ間コストテーブ
ルに記述された順に、グループに属する各接続カテゴリ
ー間の接続が可であれば、その接続カテゴリー間の接続
コストをそれらが属するグループ間のコストと同一の値
に設定することによって接続コストテーブルを生成する
制御手段とから構成されることを特徴とする。
（作用） 接続カテゴリーは、たとえば片方向で200個程度に細か
く分かれているとしても、ある右（あるいは左）向きカ
テゴリーに対して、同程度に接続しやすい左（あるいは
右）向きカテゴリーが複数存在することがあり、これら
はその接続のしやすさを共通点としてあるまとまりを成
していると見ることができる。たとえば、《サ行五段活
用動詞語幹》という右向き接続カテゴリーに対して、
〈サ行五段活用動詞活用語尾・未然形〉、〈サ行五段活
用動詞活用語尾・連用形〉、〈サ行五段活用動詞活用語
尾・終止形〉、〈サ行五段活用動詞活用語尾・連体
形〉、〈サ行五段活用動詞活用語尾・仮定形〉、〈サ行
五段活用動詞活用語尾・命令形〉などの左向き接続カテ
ゴリーは、接続コストが同様にとても小さいことによ
り、グループとしてまとまっている。
く分かれているとしても、ある右（あるいは左）向きカ
テゴリーに対して、同程度に接続しやすい左（あるいは
右）向きカテゴリーが複数存在することがあり、これら
はその接続のしやすさを共通点としてあるまとまりを成
していると見ることができる。たとえば、《サ行五段活
用動詞語幹》という右向き接続カテゴリーに対して、
〈サ行五段活用動詞活用語尾・未然形〉、〈サ行五段活
用動詞活用語尾・連用形〉、〈サ行五段活用動詞活用語
尾・終止形〉、〈サ行五段活用動詞活用語尾・連体
形〉、〈サ行五段活用動詞活用語尾・仮定形〉、〈サ行
五段活用動詞活用語尾・命令形〉などの左向き接続カテ
ゴリーは、接続コストが同様にとても小さいことによ
り、グループとしてまとまっている。
そこで、右向き（あるいは左向き）の接続カテゴリーの
集合において、左向き（あるいは右向き）に同じような
接続の性質をもつと考えられる接続カテゴリーを集めて
右向き（あるいは左向き）接続カテゴリーグループとい
うものを定義する。このグループ間の接続コストＣを決
めてやれば、右向き接続カテゴリーｒと左向き接続カテ
ゴリーｌの間の接続コストｃ（r,l）は、以下に述べる
ようにして計算できる。
集合において、左向き（あるいは右向き）に同じような
接続の性質をもつと考えられる接続カテゴリーを集めて
右向き（あるいは左向き）接続カテゴリーグループとい
うものを定義する。このグループ間の接続コストＣを決
めてやれば、右向き接続カテゴリーｒと左向き接続カテ
ゴリーｌの間の接続コストｃ（r,l）は、以下に述べる
ようにして計算できる。
ｃ（r,l）＝∞if b（r,l）＝0. （１） ｃ（r,l）＝γif b（r,l）＝１かつ （２） Ｃ（R,L）＝γかつ ｒ∈Ｒかつ１∈L. ここで、 ｂ（r,l） :2値接続マトリクスの（r,l）要素。右向き
接続カテゴリーｒと左向き接続カテゴリー１が接続可能
ならば１、そうでなければ０である。
接続カテゴリーｒと左向き接続カテゴリー１が接続可能
ならば１、そうでなければ０である。
Ｃ（R,L） ：右向き接続カテゴリーグループＲと左向き
接続カテゴリーグループＬの間の接続コスト。
接続カテゴリーグループＬの間の接続コスト。
∞ ：接続不可能であることをあらわす。
接続カテゴリーグループ間のコストを定義する表をグル
ープ間コストテーブルと呼ぶ。
ープ間コストテーブルと呼ぶ。
（１）式、（２）式による多値接続コストの計算は、グ
ループ間コストテーブルにおける記述の順に行なう。
ループ間コストテーブルにおける記述の順に行なう。
従って、あるグループの部分集合となっている、より特
殊なグループの接続コストを定義する必要がある場合
は、その、より特殊なグループに対するコスト定義をそ
れを含むグループに対するコスト定義の後方に記述して
おけばよい。
殊なグループの接続コストを定義する必要がある場合
は、その、より特殊なグループに対するコスト定義をそ
れを含むグループに対するコスト定義の後方に記述して
おけばよい。
（実施例） 次に第１図を参照しつつ、実施例にしたがって本発明を
詳細に説明する。
詳細に説明する。
第１図は本発明の原理を実現するための一実施例であ
る。２値接続テーブル103は、２次元の行列であり、そ
のｒ行１列要素の値は、番号ｒであらわされる右向き接
続カテゴリーと番号であらわされる左向き接続カテゴリ
ーが接続可能ならば１であり、そうでないならば０であ
る。以下、２値接続テーブル103のｒ行１列要素をｂ
（r,l）と呼ぶ。
る。２値接続テーブル103は、２次元の行列であり、そ
のｒ行１列要素の値は、番号ｒであらわされる右向き接
続カテゴリーと番号であらわされる左向き接続カテゴリ
ーが接続可能ならば１であり、そうでないならば０であ
る。以下、２値接続テーブル103のｒ行１列要素をｂ
（r,l）と呼ぶ。
接続コストテーブル生成バッファ104は、２値接続テー
ブル103と同じ大きさの２次元行列を格納することが可
能なバッファである。この（r,l）要素をｃ（r,l）と呼
ぶ。
ブル103と同じ大きさの２次元行列を格納することが可
能なバッファである。この（r,l）要素をｃ（r,l）と呼
ぶ。
第２図は、接続カテゴリーグループテーブル101の形式
をあらわす。このテーブルに接続カテゴリーグループの
定義を記述しておく。Li（ｉ＝1,2,‥‥）は、左向きカ
テゴリーグループ名であり、li1,li2，‥‥は、それに
属する左向き接続カテゴリーである。Ri（ｉ＝1,2‥
‥）は、右向きカテゴリーグループであり、ri1，ri2，
‥‥は、それに属する右向き接続カテゴリーである。
をあらわす。このテーブルに接続カテゴリーグループの
定義を記述しておく。Li（ｉ＝1,2,‥‥）は、左向きカ
テゴリーグループ名であり、li1,li2，‥‥は、それに
属する左向き接続カテゴリーである。Ri（ｉ＝1,2‥
‥）は、右向きカテゴリーグループであり、ri1，ri2，
‥‥は、それに属する右向き接続カテゴリーである。
第３図は、グループ間コストテーブルをあらわす。この
テーブルにグループ間の接続コストを定義しておく。制
御部105はテーブルにおける記述の順に接続コストテー
ブル生成バッファ104への書込みを行なうので、グルー
プ間接続コストの定義は、一般的なものをより前方に、
特殊なものをより後方に記述する。Li,Riは、左向きお
よび右向き接続カテゴリーグループを、Ciはそれらの間
の接続コストをあらわす。
テーブルにグループ間の接続コストを定義しておく。制
御部105はテーブルにおける記述の順に接続コストテー
ブル生成バッファ104への書込みを行なうので、グルー
プ間接続コストの定義は、一般的なものをより前方に、
特殊なものをより後方に記述する。Li,Riは、左向きお
よび右向き接続カテゴリーグループを、Ciはそれらの間
の接続コストをあらわす。
制御部105は、次のように動作する。
まず２値接続テーブル103を接続コストテーブル生
成バッファ104にコピーする。
成バッファ104にコピーする。
接続コストテーブル生成バッファ104の各要素を、
値が１ならば、デフォールトコスト保持部に登録されて
いるコストのデフォールトの値に書換え、値が０なら
ば、∞に書き換える。
値が１ならば、デフォールトコスト保持部に登録されて
いるコストのデフォールトの値に書換え、値が０なら
ば、∞に書き換える。
つぎにグループ間コストテーブル102を先頭から走
査して、グループ間コストテーブル102の各行に対して
以下の処理を行なう。
査して、グループ間コストテーブル102の各行に対して
以下の処理を行なう。
Ri,Liに属するすべての右向きおよび左向き接続カテゴ
リーの順序対（rix,liy）に対して、もしｂ（rix,liy）
＝１ならば、ｃ（rix,liy）＝Ciとする。
リーの順序対（rix,liy）に対して、もしｂ（rix,liy）
＝１ならば、ｃ（rix,liy）＝Ciとする。
以上の処理の結果、接続コストテーブル生成バッフ
ァ104の内容が接続コストテーブルとなる。
ァ104の内容が接続コストテーブルとなる。
以上述べた手順で生成された接続コストテーブルを用い
て、形態素分割を行なう方法を第４図を用いて説明す
る。
て、形態素分割を行なう方法を第４図を用いて説明す
る。
制御部401は、次のように動作する。
入力テキスト保持部402に保持された入力テキスト
の各文字位置から始まるすべての形態素を辞書404を検
索して求める。
の各文字位置から始まるすべての形態素を辞書404を検
索して求める。
上記の検索結果から、入力文のすべての可能な分割
を抽出する。
を抽出する。
抽出された各分割に対して、接続コストテーブル40
3を用いて接続コストの和を求める。
3を用いて接続コストの和を求める。
接続コストの和が最小となるような分割を結果とし
て出力する。
て出力する。
（発明の効果） 以上述べたように本発明によると、複数の形態素分割の
可能性がある入力テキストに対して、単語のカテゴリー
間の隣接のしやすさに関するヒューリスティクスを記述
しておくことにより、より適切な形態素分割を行なうこ
とを可能とする接続コストテーブルを、容易に作成する
ことが可能となる。
可能性がある入力テキストに対して、単語のカテゴリー
間の隣接のしやすさに関するヒューリスティクスを記述
しておくことにより、より適切な形態素分割を行なうこ
とを可能とする接続コストテーブルを、容易に作成する
ことが可能となる。
第１図は本発明の一実施例を示すブロック図である。第
２図は接続カテゴリーグループテーブルの形式を説明す
るための図、第３図は、グループ間コストテーブルを説
明するための図である。第４図は本発明の接続コストテ
ーブルを用いた形態素分割方式の例を説明するための図
である。 図において、 101……接続カテゴリーグループテーブル、102……グル
ープ間コストテーブル、103……２値接続テーブル、104
……接続コストテーブル生成バッファ、105……制御
部、106……デフォールコスト保持部、401……制御部、
402……入力テキスト保持部、403……接続コストテーブ
ル、404……辞書 をそれぞれあらわす。
２図は接続カテゴリーグループテーブルの形式を説明す
るための図、第３図は、グループ間コストテーブルを説
明するための図である。第４図は本発明の接続コストテ
ーブルを用いた形態素分割方式の例を説明するための図
である。 図において、 101……接続カテゴリーグループテーブル、102……グル
ープ間コストテーブル、103……２値接続テーブル、104
……接続コストテーブル生成バッファ、105……制御
部、106……デフォールコスト保持部、401……制御部、
402……入力テキスト保持部、403……接続コストテーブ
ル、404……辞書 をそれぞれあらわす。
Claims (1)
- 【請求項１】接続カテゴリー間の接続の可否を記述する
２値の接続テーブルと、１つ以上の接続カテゴリーが属
するグループの定義を記述するグループ定義テーブル
と、グループ間のコストを順に記述したグループ間コス
トテーブルとを備える記憶手段と、グループ間コストテ
ーブルに記述された順に、グループに属する各接続カテ
ゴリー間の接続が可であれば、その接続カテゴリー間の
接続コストをそれらが属するグループ間のコストと同一
の値に設定することによって接続コストテーブルを生成
する制御手段とから構成されることを特徴とする接続コ
ストテーブル作成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1051107A JPH0792800B2 (ja) | 1989-03-02 | 1989-03-02 | 接続コストテーブル作成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1051107A JPH0792800B2 (ja) | 1989-03-02 | 1989-03-02 | 接続コストテーブル作成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH02297194A JPH02297194A (ja) | 1990-12-07 |
| JPH0792800B2 true JPH0792800B2 (ja) | 1995-10-09 |
Family
ID=12877580
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1051107A Expired - Lifetime JPH0792800B2 (ja) | 1989-03-02 | 1989-03-02 | 接続コストテーブル作成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0792800B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10320421A (ja) * | 1997-03-19 | 1998-12-04 | Ricoh Co Ltd | 文書検索方法 |
-
1989
- 1989-03-02 JP JP1051107A patent/JPH0792800B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH02297194A (ja) | 1990-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2896634B2 (ja) | 全文登録語検索装置および全文登録語検索方法 | |
| CN107358208B (zh) | 一种pdf文档结构化信息提取方法及装置 | |
| JPH0630066B2 (ja) | テーブル型言語翻訳方法 | |
| CN115203445A (zh) | 多媒体资源搜索方法、装置、设备及介质 | |
| US20110184726A1 (en) | Morphing text by splicing end-compatible segments | |
| WO2025242036A1 (zh) | 基于图文模态融合的文档信息抽取方法、装置及存储介质 | |
| JPH0812668B2 (ja) | 手書き校正方法 | |
| JPH08314966A (ja) | 文書検索装置のインデックス作成方法及び文書検索装置 | |
| CN101452459A (zh) | 利用索引查找相似翻译结果的系统及其方法 | |
| JPH0792800B2 (ja) | 接続コストテーブル作成装置 | |
| CN111968624A (zh) | 数据构建方法、装置、电子设备及存储介质 | |
| US12333245B2 (en) | Methods and apparatus to improve disambiguation and interpretation in automated text analysis using structured language space and transducers applied on automatons | |
| JPH0719261B2 (ja) | 機械翻訳での次画面表示方法 | |
| CN117271795B (zh) | 一种跨领域迁移的知识管理方法及知识库系统 | |
| CN119441395A (zh) | 一种基于大模型的问答方法、装置及设备 | |
| JPH06131391A (ja) | 概念体系の生成方式 | |
| Wilkinson | Learning based Word Search and Visualisation for Historical Manuscript Images | |
| JP2839515B2 (ja) | 文字読取システム | |
| JP2601139B2 (ja) | 文字列検索装置 | |
| CN121279253A (zh) | Pdf自适应分块方法、装置、设备、介质及产品 | |
| JP5343812B2 (ja) | 特許文書中の単語または単語の組み合わせの例示装置、プログラム、及び方法 | |
| CN121146042A (zh) | 基于多模态模型的长pdf文件问答方法及装置、介质、设备 | |
| CN118133970A (zh) | 一种基于关联图片的知识问答方法、装置、设备及介质 | |
| CN118194848A (zh) | 基于大语言模型的写作方法、装置、设备及存储介质 | |
| CN85101759A (zh) | 翻译方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071009 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081009 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091009 Year of fee payment: 14 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091009 Year of fee payment: 14 |