JPH06162102A - 内容抽出装置 - Google Patents

内容抽出装置

Info

Publication number
JPH06162102A
JPH06162102A JP4316706A JP31670692A JPH06162102A JP H06162102 A JPH06162102 A JP H06162102A JP 4316706 A JP4316706 A JP 4316706A JP 31670692 A JP31670692 A JP 31670692A JP H06162102 A JPH06162102 A JP H06162102A
Authority
JP
Japan
Prior art keywords
pattern
symbol string
term
designated
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP4316706A
Other languages
English (en)
Other versions
JP3207947B2 (ja
Inventor
Hiroshi Matsuo
比呂志 松尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP31670692A priority Critical patent/JP3207947B2/ja
Publication of JPH06162102A publication Critical patent/JPH06162102A/ja
Application granted granted Critical
Publication of JP3207947B2 publication Critical patent/JP3207947B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

(57)【要約】 【目的】電子化された文書中から,特定の内容を表した
情報を抜き出して,データベースに保存する,検索に利
用するなどの用途に使用する内容抽出装置に関し,抽出
条件の中に,任意の文字列と一致するワイルドカードの
記述を許して,しかも,複雑な条件も簡単に記述できる
抽出パターンを用いて,情報抽出を行うことができるよ
うにすることを目的とする。 【構成】ワイルドカード項,サブパターン項,選言項,
一般項の連糸接続で定義されるパターンの組み合わせで
抽出パターンを定義しておき,抽出パターン解析手段2
で抽出パターンを内部構造に変換し,被照合対象記号列
が入力されると,照合処理起動手段3で固定位置照合処
理手段4を起動し,固定位置照合処理手段4で抽出パタ
ーンの各項の種類に応じた照合処理を行うことにより,
抽出パターンと被照合対象記号列との対応関係を決定し
て,必要な情報の抽出を行う。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は,電子化された文書中か
ら,特定の内容を表した情報を抜き出して,データベー
スに保存する,検索に利用するなどの用途に使用する内
容抽出装置に関する。
【0002】
【従来の技術】従来の内容抽出処理として,『情報処理
学会論文誌,Vol.29, No.8, pp760-769,1988「見出し情
報を用いたテキスト解析と情報抽出」』に見られるよう
に,抽出項目を指定したフレームを用意しておき,各フ
レームをサブフレームで定義し,各サブフレームとして
格情報や当てはまるべき用語のカテゴリ等によって照合
条件を記述し,日本語辞書等を用いて,形態素解析およ
び構文解析を行って,解析結果の格構造を参照しなが
ら,用意したフレームとの照合を行う方法が知られてい
る。しかしながら,このような方法は,解析が正しく行
われることを前提としており,辞書中にない単語(未知
語)がある場合などは解析に失敗することが多く,抽出
に失敗する。
【0003】例えば,製品紹介記事中から新製品名を抽
出する場合,新製品名はほとんど未知語であることが多
いので,未知語が含まれることを前提とした処理が必要
となる。
【0004】また,従来の内容抽出処理方法では,形態
素解析および構文解析が正しく行われるためには,日本
語辞書,格構造パターンなど膨大な知識を必要とする。
膨大な知識を必要とせず,未知語も許したパターン抽出
方法として,任意の文字列との一致を許したワイルドカ
ードを用いた方法が,エディタや検索システムで用いら
れているが,抽出パターンはワイルドカードと文字によ
る記号列での定義のみであるため,複雑な条件を伴う記
述はできなかった。
【0005】
【発明が解決しようとする課題】本発明は前記従来の欠
点を解決するため,抽出条件の中に,任意の文字列と一
致するワイルドカードの記述を許して,しかも,複雑な
条件も簡単に記述できる抽出パターンを用いて,情報抽
出を行うことができる内容抽出装置を提供することを目
的とする。
【0006】
【課題を解決するための手段】本発明は,電子化された
文書から特定の内容を表した情報を抜き出すような計算
機システムの装置であって,あらかじめ定義された抽出
パターンに基づいて,被照合対象記号列が抽出パターン
と一致するか否かを判定し,一致した場合には被照合対
象記号列のどの部分が一致したかを出力する内容抽出装
置に関する。
【0007】請求項1記載の発明は,次のような抽出パ
ターン入力手段,抽出パターン解析手段,照合処理起動
手段,固定位置照合処理手段を備える。抽出パターン入
力手段は,抽出パターンがトップパターンと複数のサブ
パターンとサブパターン名を介した参照接続とで定義さ
れ,サブパターンおよびトップパターンが,任意の記号
列と一致することを表すワイルドカード項,サブパター
ン名で表されるサブパターン項,いくつかのサブパター
ンのうちの一つが一致したときに入力記号列に一致した
とみなされる選言項または一般項の連糸接続で定義さ
れ,選言項がサブパターンの選言接続で定義され,一般
項が終端記号列で定義される記述に基づく抽出パターン
を入力する処理手段である。
【0008】抽出パターン解析手段は,抽出パターンを
内部構造に変換する処理手段である。照合処理起動手段
は,被照合対象記号列が入力されると,被照合対象記号
列を固定位置照合処理手段への指定入力記号列とし,抽
出パターン解析手段で内部構造に変換された抽出パター
ンを固定位置照合処理手段への指定パターンとして,固
定位置照合処理手段を起動する照合処理起動手段する処
理手段である。
【0009】固定位置照合処理手段は,抽出パターンの
一部または全部である指定パターンと,被照合対象記号
列の一部または全部である指定入力記号列が入力される
と,指定パターン中の項間の連糸接続関係に基づいて,
各項と指定入力記号列が指定パターンと一致するか否か
を,ワイルドカード項,サブパターン名で表されるサブ
パターン項,選言項および一般項を含む項の種類に応じ
た照合により検出し,一致した場合には指定入力記号列
のどの部分が一致したかを示す情報を出力する処理手段
である。
【0010】さらに請求項2記載の発明では,固定位置
照合処理手段は,以下のような個別処理選択部と,任意
位置照合処理部と,ワイルドカード項処理部と,サブパ
ターン項処理部と,一般項処理部と,選言項処理部とを
備える。
【0011】個別処理選択部は,指定パターンの連糸接
続された項の先頭項が,ワイルドカード項,サブパター
ン項,一般項,選言項,のいずれであるかを判定し,各
々の場合に応じて,ワイルドカード項処理部,サブパタ
ーン項処理部,一般項処理部,選言項処理部を起動する
処理手段である。
【0012】任意位置照合処理部は,指定パターンを固
定したまま,指定入力記号列の任意位置からの記号列を
固定位置照合処理手段への指定入力記号列として変化さ
せて,固定位置照合処理手段を繰り返し起動することに
よって,指定入力記号列の任意位置からの記号列が指定
されたパターンと一致するか否かを判定し,一致した場
合には,記号列の照合開始位置を出力する処理手段であ
る。
【0013】ワイルドカード項処理部は,指定パターン
の先頭項であるワイルドカード項の次の項以降のパター
ンを任意位置照合処理部への指定パターンとし,指定入
力記号列をそのまま任意位置照合処理部への指定入力記
号列として,任意位置照合処理部を起動することによっ
て,指定パターンと指定入力記号列の一致を判定し,指
定入力記号列と任意位置照合処理部から出力される照合
開始位置とから,ワイルドカード項と一致する指定入力
記号列中の部分記号列を決定する処理手段である。
【0014】サブパターン項処理部は,サブパターン名
で参照接続されるサブパターンをサブパターン項と置き
換えた指定パターンを固定位置照合処理手段への指定パ
ターンとして固定位置照合処理手段を起動する処理手段
である。
【0015】一般項処理部は,指定パターンの先頭項で
ある一般項の記号列が指定入力記号列の先頭からの部分
記号列と一致するかを判定し,一致した場合には,記号
列と一致した部分記号列の次の文字位置以降を固定位置
照合処理手段への指定入力記号列として,一般項の連糸
接続された次の項以降のパターンを固定位置照合処理手
段への指定パターンとして固定位置照合処理手段を起動
することによって,指定パターンと指定入力記号列の一
致を判定する処理手段である。
【0016】選言項処理部は,選言項を構成する各々の
パターンを固定位置照合処理手段への指定パターンと
し,指定入力記号列をそのまま固定位置照合処理手段へ
の指定入力記号列として固定位置照合処理手段を起動す
ることによって,選言接続されたパターンのうちいずれ
と一致するかを判定して,指定パターンと指定入力記号
列の一致を判定する処理手段である。
【0017】請求項3記載の発明の場合,抽出パターン
入力手段は,サブパターンおよびトップパターンを定義
する連糸接続中にさらに省略項を加えることができるよ
うにされ,その省略項がサブパターンで定義される記述
に基づく抽出パターンを入力するよう構成される。そし
て,固定位置照合処理手段は,省略項に対しては,省略
項を定義するサブパターンを含むパターンで照合を行
い,不一致の場合には,そのサブパターンを含まないパ
ターンで照合を行うよう構成される。
【0018】請求項4記載の発明では,固定位置照合処
理手段において,指定パターンの先頭項が省略項の場合
には,省略項処理部を起動するように個別処理選択部を
構成し,指定パターンの先頭項が省略項であるパターン
を固定位置照合処理手段への指定パターンとして,指定
入力記号列をそのまま固定位置照合処理手段への指定入
力記号列として,固定位置照合処理手段を起動し,不一
致だった場合には,省略項の次の項以降のパターンを固
定位置照合処理手段への指定パターンとして,指定入力
記号列をそのまま固定位置照合処理手段への指定入力記
号列として,前記固定位置照合処理手段を起動すること
により,指定パターンと指定入力記号列の一致を判定す
る省略項処理部を設けている。
【0019】請求項5記載の発明の場合,ワイルドカー
ド項にワイルドカード名を対応させるよう抽出パターン
解析手段を構成する。また,ワイルドカード名に対応し
てサブパターンを定義し,ワイルドカード項と一致する
指定入力記号列中の部分記号列が決定された時に,該部
分記号列を指定入力記号列とし,ワイルドカード項のワ
イルドカード名に対応するサブパターンを指定パターン
として,固定位置照合処理手段を起動するよう前記ワイ
ルドカード項処理部を構成している。
【0020】請求項6記載の発明では,被照合対象記号
列の記号として単語を扱うように構成される。さらに請
求項7記載の発明は,被照合対象記号列から抽出された
単語が表記,品詞,意味カテゴリなどの複数の項目の情
報を持ち,抽出パターンの一般項に対応する終端記号が
表記,品詞,意味カテゴリのいずれか一つあるいは複数
の項目の情報を持ち,一般項処理部における記号同士の
比較において,抽出パターン側の終端記号が持っている
項目の情報のみが一致すれば,指定入力記号列の記号と
指定パターンの記号が一致したと判定するように構成さ
れる。
【0021】
【作用】本発明は,ワイルドカード項,サブパターン
項,選言項,一般項等の連糸接続で定義されるパターン
の組み合わせで抽出パターンを定義しておき,抽出パタ
ーン解析手段で抽出パターンを内部構造に変換し,被照
合対象記号列が入力されると,照合処理起動手段で固定
位置照合処理手段を起動し,固定位置照合処理手段で抽
出パターンの各項の種類に応じた照合処理を行うことに
より,抽出パターンと被照合対象記号列との対応関係を
決定して,必要な情報の抽出を行うことができるように
したものである。
【0022】固定位置照合処理手段において,ワイルド
カード項に対しては,任意の記号列と一致させ,サブパ
ターン項に対しては,サブパターン名で参照接続された
サブパターンでサブパターン項が置き換わったとみなし
て照合を行い,選言項に対しては,選言接続されたサブ
パターンのいずれか一つが指定入力記号列と一致した場
合を,選言項と指定入力記号列とが一致したとみなし,
一般項に対しては,一般項を定義する終端記号列が指定
入力記号列と一致した場合を,一般項と指定入力記号列
とが一致したとみなして照合を行う。
【0023】
【実施例】図1は本発明の実施例の構成図であり,図2
は抽出パターン記述の書式定義の例を示した図であり,
図3は図2の書式定義に基づいて記述された抽出パター
ンの記述例を示した図である。
【0024】図2に示す書式定義において,「{}」は
「,」で区切られた要素からなる集合を表す。「””」
で囲まれた文字列は,その文字列をそのまま記述するこ
とを表す。「()」内の「|」で区切った表記は,それ
により区切られた要素のいずれか一つを記述することを
表す。
【0025】ここでは,終端記号が全角文字,被照合対
象記号列が全角文字列(以下,単に文字列と呼ぶ)の場
合について説明する。まず,図3の抽出パターンの記述
例について説明する。
【0026】図3において,1行目はトップパターンの
定義,2行目以降はサブパターンの定義である。各々
「=」の左辺はパターン名を示している。各パターンは
項の連糸接続で定義される。ここでは,項を並べて書く
ことにより連糸接続を表し,連糸接続を表す記号は特に
用いない。選言項は()で,他の項は<>で囲って記述
するが,全角文字一つからなる一般項のみは,<>で囲
わなくてもよい。図3の場合,ワイルドカード項をワイ
ルドカード名で記述しているが,ワイルドカード名を用
いずに,ワイルドカードを表す予め定めた記号を用いて
もよい。
【0027】「@」で始まる文字列はワイルドカード名
を表し,ワイルドカード名でワイルドカード項を表し,
任意の文字列と一致させることを表す。「%」で始まる
文字列はサブパターン名を表し,サブパターン名でサブ
パターン項を表す。サブパターン項は,サブパターン名
で定義されたサブパターンと置き換えられることを表
す。なお,「@」および「%」は,本実施例における抽
出パターンの記述では半角文字を使用することにしてい
るが,本文の説明中では見やすくするため全角文字で表
記する。
【0028】選言項は,()で囲まれた選言パターンで
定義され,選言パターンは複数のサブパターンを「|」
で区切って定義し,各々サブパターンのいずれかと一致
させることを表す。例えば,図3のサブパターン「%数
詞1」は「十」「二十」「三十」のいずれかと一致すれ
ばよい。
【0029】図1に示すように,本発明は,抽出パター
ン入力手段1,抽出パターン解析手段2,照合処理起動
手段3,固定位置照合処理手段4で構成される。図5
は,本発明の処理手順を示す図である。図1および図5
を基に,図3の抽出パターンを用いて,処理手順を説明
する。
【0030】抽出パターン入力手段1により,抽出パタ
ーンを入力すると(ステップ101),抽出パターン
は,抽出パターン解析手段2で図4に示すような内部構
造に変換される(ステップ102)。サブパターンは,
サブパターン名を介して参照接続される。選言項は,選
言項を表すノード「OR」と選言パターンとの参照接続
で表し,選言パターンは,サブパターンと参照接続され
た選言子項ノード「|」の選言接続で表している。な
お,サブパターンの最終項は,そのサブパターンと参照
接続された親パターンの項の連糸接続先と同じ項に連糸
接続されているものとして処理を行う。
【0031】例えば,項「%日にち」,「日」は製品紹
介表現のパターン中の7番目の項「、」に連糸接続さ
れ,「%数詞」は「日」に連糸接続されていると解釈す
る。被照合対象記号列が入力されると(ステップ10
3),照合処理起動手段3により,被照合対象記号列を
指定入力記号列とし(ステップ104),抽出パターン
を指定パターンとして(ステップ105),固定位置照
合処理手段4を起動し(ステップ106),その照合結
果を出力する(ステップ107)。
【0032】次に固定位置照合処理手段4の処理例を説
明する。図6は固定位置照合処理手段4の構成例を示す
図,図7はその処理手順を示す図である。固定位置照合
処理手段4は,図6に示すように,個別処理選択部4
0,任意位置照合処理部41,ワイルドカード項処理部
42,サブパターン項処理部43,一般項処理部44,
選言項処理部45で構成される。なお,図7には個別処
理選択部40の処理手順(ステップ201から209)
を含んでいる。
【0033】図8から図12は各々,ワイルドカード項
処理部42,任意位置照合処理部41,サブパターン項
処理部43,一般項処理部44,選言項処理部45の処
理手順を示す図である。
【0034】固定位置照合処理手段4では,図7に示す
ように,まず,個別処理選択部40により,指定パター
ンの先頭項を取り出して(ステップ201),先頭項の
種類に応じて各々の処理部を起動する(ステップ202
から209)。そして,各処理部の照合結果を本処理の
照合結果として(ステップ210),終了する。例え
ば,図4の指定パターンの場合,最初に「@販売元」が
取り出され,ワイルドカード項処理部42が起動され
る。
【0035】ワイルドカード項処理部42では,図8に
示すように,指定パターンの次の項以降を新たな指定パ
ターンとして(ステップ301),任意位置照合処理部
41を起動する(ステップ302)。その照合結果が一
致の場合には,指定入力記号列と任意位置照合処理部4
1から出力される照合開始位置から,ワイルドカード項
と一致する指定入力記号列中の部分記号列を決定し,そ
の結果を出力し(ステップ304),照合結果を「一
致」として終了する(ステップ306)。不一致の場合
には,照合結果を不一致として終了する(ステップ30
5)。
【0036】例えば,図4の指定パターンの場合,「@
販売元」の次の項「(」以降を指定パターンとして任意
位置照合処理部41を起動する。図13に示すような被
照合対象記号列の場合には,一致という結果が得られ,
照合開始位置として「TTN」の次の「(」の位置が出
力される。その結果,「@販売元」には「TTN」が一
致しているとして出力される。照合結果を「一致」とし
て終了する。
【0037】任意位置照合処理部41では,図9に示す
ように,指定入力記号列の先頭を照合開始位置とし(ス
テップ401),照合開始位置からの記号列を固定位置
照合処理手段4への指定入力記号列として(ステップ4
02),固定位置照合処理手段4を起動する(ステップ
403)。そして,一致する箇所を見つける(ステップ
404)。一致箇所が見つかった場合には,照合結果を
「一致」とし,照合開始位置を出力する(ステップ40
5)。一致しなかったならば,照合開始位置を順次進め
ながら(ステップ408),同様に照合を繰り返す。最
後まで一致しなかった場合には,「不一致」とする(ス
テップ407)。上記の例では,「TTN」の次
の「(」の位置が照合開始位置のとき,一致する。
【0038】サブパターン項処理部43では,図10に
示すように,サブパターン名で参照接続されるサブパタ
ーンをサブパターン項と置き換えたパターンを指定パタ
ーンとして(ステップ501),固定位置照合処理手段
4を起動し(ステップ502),その結果を本処理の照
合結果とする(ステップ503)。
【0039】例えば,図4の場合,サブパターン項<%
社長情報>は,サブパターン「<社長><@社長名>
氏」で置き換えられたものとして処理される。なお,
「氏」は,製品紹介表現(トップパターン)の「)」と
連糸接続されているものとして処理される。その結果,
図13に示す被照合対象記号列の入力記号列の場合,<
%社長情報>は,「社長小島仁氏」と一致し,<@社長
名>として「小島仁」が抽出される。
【0040】一般項処理部44では,図11に示すよう
に,指定パターンの先頭項である一般項の記号列が指定
入力記号列の先頭からの部分列と一致するかを調べ(ス
テップ601),一致していない場合には,照合結果を
「不一致」(ステップ609)として終了する。一致し
ている場合には,「指定入力記号列において,一致した
部分記号列の後にまだ記号が存在するか?」(ステップ
602),および,「指定パターンにおいて,連糸接続
された項が存在するか?」(ステップ603および60
8)を調べ,ともに存在する場合には,ステップ604
へ進み,両方とも存在しない場合には,照合結果を「一
致」(ステップ610)として終了し,どちらか一方が
存在しない場合には,照合結果を「不一致」(ステップ
609)として終了する。
【0041】例えば,指定パターンが「<社長><@社
長名>氏)…」で,指定入力記号列が「社長小島仁氏
…」の場合,指定パターンの「<社長>」と指定入力記
号列の「社長」が一致する。この場合,次の項「<@社
長名>」および次の記号「小」が存在するので,ステッ
プ604へ進む。
【0042】ステップ604に進んだ場合には,一致し
た部分記号列の次の記号以降を指定入力記号列とし(ス
テップ604),連糸接続された次の項以降のパターン
を指定パターンとし(ステップ605),固定位置照合
処理手段4を起動する(ステップ606)。そして,固
定位置照合処理手段4の照合結果を本処理の照合結果と
して終了する(ステップ607)。上記の例の場合に
は,「小島仁氏…」を指定入力記号列,「<@社長名>
氏)…」を指定パターンとして,固定位置照合処理手段
4が起動される。
【0043】選言項処理部45では,図12に示すよう
に,選言項を構成する各々のパターンを指定パターンと
して(ステップ701,ステップ705),固定位置照
合処理手段4を起動する(ステップ702)。これによ
って,選言接続されたパターンのうちいずれかと一致し
た場合,照合結果を「一致」とし(ステップ706),
いずれとも一致しない場合には照合結果を「不一致」と
して終了する(ステップ707)。例えば,指定パター
ン「(<販売>|<発売>)<%する>」で指定入力記
号列が「発売した。」の場合,2つのパターン「<販売
><%する>」と「<発売><%する>」を指定パター
ンとして固定位置照合処理手段4を起動し,後者のパタ
ーンが一致して終了する。
【0044】以上の処理により,被照合対象記号列『T
TN(社長小島仁氏)は四月一日、携帯用電話機「XY
Z」(五万円)を発売した。』の場合,@販売元=TT
N,@製品=携帯用電話機,@製品名=XYZ,等が抽
出される。
【0045】図14ないし図16に上記の例の場合の動
作例を示す。図14ないし図16において,ステップの
番号は,図7ないし図12に示す処理ステップの番号に
対応している。
【0046】次に,抽出パターンに省略項の記述を許す
よう構成した場合の実施例について説明する。図17
は,省略項の記述を許す抽出パターン記述の書式定義の
例,図18は,図17の書式定義に基づいて記述された
抽出パターンの記述例を示す図である。ここで,[]で
囲まれた項が省略項であり,この項は一致してもしなく
てもよいことを表している。
【0047】図19は,固定位置照合処理手段4の構成
例であり,図6の構成に対し,省略項処理部46が付与
されている。図20は,省略項処理部46の処理手順を
示す図である。
【0048】固定位置照合処理手段4の個別処理選択部
40において,指定パターンの先頭項が省略項の場合に
は,省略項処理部46が起動される。省略項処理部46
において,省略項を構成するサブパターンを指定パター
ンとして(ステップ801),固定位置照合処理手段4
を起動する(ステップ802)。照合結果が一致なら
ば,照合結果を「一致」として終了する(ステップ80
7)。照合結果が不一致ならば,省略項に連糸接続され
たパターンを指定パターンとして(ステップ804),
固定位置照合処理手段4を起動し(ステップ805),
この照合結果を本処理の照合結果として終了する(ステ
ップ806)。例えば,パターン「<四月>[の]<一
日>[に][、]<@x><した>」というパターンの
場合,「四月一日、発売した」,「四月の一日、発売し
た」,「四月一日に発売した」など多様な入力記号列と
一致する。これにより,より多様な表現からの内容抽出
が可能となる。
【0049】次に,請求項5記載の発明に関する実施例
について説明する。図21は,ワイルドカード名に対
し,サブパターンPを定義しておき,ワイルドカード項
と一致する部分記号列が決定されたときに,その部分記
号列に対し,サブパターンPで内容抽出を行うよう構成
したワイルドカード項処理部42の処理手順を示す図で
ある。
【0050】任意位置照合処理部41の起動まで(ステ
ップ301,302)と照合結果が不一致だった場合の
処理(ステップ305)は,図8と同じである。一致の
場合には,部分記号列Cが決定(ステップ304)され
た後,ワイルドカード名に対してサブパターンPが定義
されているならば,一致した部分文字列Cを指定入力記
号列とし(ステップ311),サブパターンPを指定パ
ターンとして(ステップ312),固定位置照合処理手
段4を起動する(ステップ313)。ステップ313の
結果にかかわらず,照合結果を一致として終了する(ス
テップ306)。
【0051】例えば,図22のような抽出パターンが定
義されている場合,図23(A)に示す被照合対象記号
列Aが入力されると,@販売元=TTN,@会社情報=
「社長小島仁氏」,などが抽出され,さらに,「@会社
情報」はサブパターンが定義されており,「社長小島仁
氏」を指定入力文字列,「<社長><@社長名>氏」を
指定パターンとして固定位置照合処理手段4が起動され
る。その結果,@社長名=「小島仁」,が抽出される。
【0052】一方,図23(B)に示す被照合対象記号
列Bが入力された場合には,@販売元=「TTN」,@
会社情報=「千代田区内幸町四丁目五番六号」,などが
抽出される。ただし,「@会社情報」のサブパターンと
は一致しない。
【0053】図22のような抽出パターンではなく,前
述した実施例の図3に示す抽出パターンを用いた場合に
は,「@会社情報」が「%会社情報」となっており,
「製品紹介表現」のパターン自体が不一致となる。それ
に対し,本実施例は,「@会社情報」の部分にはどのよ
うな情報が記述されても「製品紹介表現」のパターンは
一致し,「@販売元」などは抽出される。このように,
様々な情報が記述される可能性があり,その中で特定の
情報のみを抽出したい場合などに,本実施例は有効であ
る。
【0054】次に,請求項6および請求項7記載の発明
についての実施例について説明する。図24は,その構
成例を示す図であり,図1の構成に対し形態素解析処理
手段5が付加されている。入力文字列が形態素解析処理
手段5に入力されると,形態素解析処理手段5は単語辞
書6を参照しながら,入力文字列を単語(形態素)に分
割し,意味カテゴリや品詞等の情報も付与した単語単位
の記号列として出力する。
【0055】図25は,図13における被照合対象記号
列を入力したときの形態素解析結果の例を示した図であ
る(品詞については省略している)。例えば,「TT
N」という単語で区切られ,意味カテゴリ「会社名」が
付与されている。「仁」や「XYZ」は単語辞書に登録
されてないため,未知語となっている。
【0056】図26は抽出パターンの例を示した図であ
り,半角文字M のついた文字列は意味カテゴリを表す。
この抽出パターンを用いて,図25に示す単語を被照合
対象記号列の記号として処理すると,図13と同様の抽
出結果が得られる。
【0057】この実施例による抽出の処理手順は,これ
まで述べた実施例と同様であるが,以下の点が異なる。 (1) 入力記号列は単語単位であり,表記,品詞,意味カ
テゴリ等の情報を持つ。
【0058】(2) 抽出パターンにおいて,終端記号が,
表記,品詞,意味カテゴリのいずれかである。 (3) 一般項処理部44における記号同士の比較におい
て,抽出パターン側の終端記号が持っている項目の情報
のみが一致すれば,指定入力記号列の記号と指定パター
ンの記号が一致したと判定する。
【0059】指定入力記号列「発売/し/た」,指定パ
ターン「%売り」が固定位置照合処理手段4に入力され
た場合について説明する。単語「発売」には,意味カテ
ゴリ「売り」が付与されており,「%売り」のサブパタ
ーンの先頭項「 M売り」と一致する。次に表記「し」,
「た」が,サブパターン「%する」の選言項の2番目の
項「した」と一致する。
【0060】なお,本実施例では,入力記号列において
次の記号に進む場合に単語単位で進むため,例えば,
「TTN」の次には「(」が処理され,文字単位に比
べ,内容抽出の処理が速くなるという特徴がある。ま
た,意味カテゴリや品詞を抽出パターン中で使えるた
め,抽出パターンの記述が簡単になるという特徴があ
る。
【0061】
【発明の効果】以上説明したように,本発明によれば,
ワイルドカードや選言,サブパターンなどを用いて複雑
な条件の抽出パターンを記述でき,それを用いて,未知
語を含む文章であっても,文章中から必要な情報を抽出
できるため,次のような効果が得られる。
【0062】大量のテキストから必要な情報を抜き出
して,データベースを自動作成することが可能となる。 テキストとその抽出結果とをリンクさせたデータ構造
を持たせることにより,従来に比べ,より柔軟な検索が
できるテキスト型データベースシステムを構築すること
ができる。
【0063】抽出された情報を基に,未知語のカテゴ
リの推定ができ,自然言語解析のための辞書の学習シス
テムを構築することができる。 抽出された情報を基に,主要な情報のみを残して文を
生成すれば,要約文の生成を行うことができる。
【図面の簡単な説明】
【図1】本発明の実施例の構成図である。
【図2】本発明の実施例による抽出パターン記述の書式
定義の例を示す図である。
【図3】本発明の実施例による抽出パターンの記述例を
示す図である。
【図4】図3に係る抽出パターンの内部構造の例を示す
図である。
【図5】図1の実施例のフローチャートである。
【図6】図1に示す固定位置照合処理手段の構成例の図
である。
【図7】図6に示す固定位置照合処理手段のフローチャ
ートである。
【図8】図6に示すワイルドカード項処理部のフローチ
ャートである。
【図9】図6に示す任意位置照合処理部のフローチャー
トである。
【図10】図6に示すサブパターン項処理部のフローチ
ャートである。
【図11】図6に示す一般項処理部のフローチャートで
ある。
【図12】図6に示す選言項処理部のフローチャートで
ある。
【図13】本発明の実施例を説明するための被照合対象
記号列の例を示す図である。
【図14】図13に示す被照合対象記号列に関する内容
抽出処理例の説明図である。
【図15】図14の続きを示す説明図である。
【図16】図15の続きを示す説明図である。
【図17】省略項の記述を許す実施例に関する抽出パタ
ーン記述の書式定義の例を示す図である。
【図18】図17の書式定義に基づいて記述された抽出
パターンの記述例を示す図である。
【図19】本発明の実施例に係る省略項処理部を含む固
定位置照合処理手段の構成例の図である。
【図20】図19に示す省略項処理部のフローチャート
である。
【図21】本発明の実施例に係る多段階照合を行うワイ
ルドカード項処理部のフローチャートである。
【図22】本発明の実施例を説明するための抽出パター
ンの例を示す図である。
【図23】本発明の実施例を説明するための被照合対象
記号列の例を示す図である。
【図24】終端記号が単語である場合の本発明の実施例
の構成図である。
【図25】本発明の実施例による形態素解析結果の例を
示す図である。
【図26】本発明の実施例による終端記号が単語である
場合の抽出パターンの例を示す図である。
【符号の説明】
1 抽出パターン入力手段 2 抽出パターン解析手段 3 照合処理起動手段 4 固定位置照合処理手段 5 形態素解析処理手段 6 単語辞書 40 個別処理選択部 41 任意位置照合処理部 42 ワイルドカード項処理部 43 サブパターン項処理部 44 一般項処理部 45 選言項処理部 46 省略項処理部

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 あらかじめ定義された抽出パターンに基
    づいて,被照合対象記号列が前記抽出パターンと一致す
    るか否かを判定し,一致した場合には前記被照合対象記
    号列のどの部分が一致したかを出力する内容抽出装置に
    おいて,前記抽出パターンがトップパターンと複数のサ
    ブパターンとサブパターン名を介した参照接続とで定義
    され,前記サブパターンおよび前記トップパターンが,
    任意の記号列と一致することを表すワイルドカード項,
    サブパターン名で表されるサブパターン項,いくつかの
    サブパターンのうちの一つが一致したときに入力記号列
    に一致したとみなされる選言項または一般項の連糸接続
    で定義され,前記選言項がサブパターンの選言接続で定
    義され,前記一般項が終端記号列で定義される記述に基
    づく抽出パターンを入力する抽出パターン入力手段(1)
    と,前記抽出パターンを内部構造に変換する抽出パター
    ン解析手段(2) と,前記抽出パターンの一部または全部
    である指定パターンと,被照合対象記号列の一部または
    全部である指定入力記号列が入力されると,指定パター
    ン中の項間の連糸接続関係に基づいて,各項と指定入力
    記号列が指定パターンと一致するか否かを,ワイルドカ
    ード項,サブパターン名で表されるサブパターン項,選
    言項および一般項を含む項の種類に応じた照合により検
    出し,一致した場合には指定入力記号列のどの部分が一
    致したかを示す情報を出力する固定位置照合処理手段
    (4) と,被照合対象記号列が入力されると,該被照合対
    象記号列を前記固定位置照合処理手段(4) への指定入力
    記号列とし,前記抽出パターン解析手段(2) で内部構造
    に変換された抽出パターンを前記固定位置照合処理手段
    (4) への指定パターンとして,前記固定位置照合処理手
    段(4) を起動する照合処理起動手段(3) とを備えたこと
    を特徴とする内容抽出装置。
  2. 【請求項2】 請求項1記載の内容抽出装置において,
    前記固定位置照合処理手段(4) は,指定パターンの連糸
    接続された項の先頭項が,ワイルドカード項,サブパタ
    ーン項,一般項,選言項,のいずれであるかを判定し,
    各々の場合に応じて,後記のワイルドカード項処理部,
    サブパターン項処理部,一般項処理部,選言項処理部を
    起動する個別処理選択部と,指定パターンを固定したま
    ま,指定入力記号列の任意位置からの記号列を前記固定
    位置照合処理手段(4) への指定入力記号列として変化さ
    せて,前記固定位置照合処理手段(4) を繰り返し起動す
    ることによって,指定入力記号列の任意位置からの記号
    列が指定されたパターンと一致するか否かを判定し,一
    致した場合には,前記記号列の照合開始位置を出力する
    任意位置照合処理部と指定パターンの先頭項であるワイ
    ルドカード項の次の項以降のパターンを前記任意位置照
    合処理部への指定パターンとし,指定入力記号列をその
    まま前記任意位置照合処理部への指定入力記号列とし
    て,前記任意位置照合処理部を起動することによって,
    指定パターンと指定入力記号列の一致を判定し,指定入
    力記号列と前記任意位置照合処理部から出力される照合
    開始位置とから,ワイルドカード項と一致する指定入力
    記号列中の部分記号列を決定するワイルドカード項処理
    部と,サブパターン名で参照接続されるサブパターンを
    サブパターン項と置き換えた指定パターンを前記固定位
    置照合処理手段(4) への指定パターンとして前記固定位
    置照合処理手段(4) を起動するサブパターン項処理部
    と,指定パターンの先頭項である一般項の記号列が指定
    入力記号列の先頭からの部分記号列と一致するかを判定
    し,一致した場合には,前記記号列と一致した部分記号
    列の次の文字位置以降を前記固定位置照合処理手段(4)
    への指定入力記号列として,前記一般項の連糸接続され
    た次の項以降のパターンを前記固定位置照合処理手段
    (4) への指定パターンとして前記固定位置照合処理手段
    (4) を起動することによって,指定パターンと指定入力
    記号列の一致を判定する一般項処理部と,選言項を構成
    する各々のパターンを前記固定位置照合処理手段(4) へ
    の指定パターンとし,指定入力記号列をそのまま前記固
    定位置照合処理手段(4) への指定入力記号列として前記
    固定位置照合処理手段(4) を起動することによって,選
    言接続されたパターンのうちいずれと一致するかを判定
    して,指定パターンと指定入力記号列の一致を判定する
    選言項処理部とを備えたことを特徴とする内容抽出装
    置。
  3. 【請求項3】 請求項1または請求項2記載の内容抽出
    装置において,前記抽出パターン入力手段(1) は,前記
    サブパターンおよび前記トップパターンが,前記ワイル
    ドカード項,前記サブパターン項,前記選言項,前記一
    般項または省略項の連糸接続で定義され,前記省略項が
    サブパターンで定義される記述に基づく抽出パターンを
    入力するよう構成され,前記固定位置照合処理手段(4)
    は,前記省略項に対しては,省略項を定義するサブパタ
    ーンを含むパターンで照合を行い,不一致の場合には,
    該サブパターンを含まないパターンで照合を行うよう構
    成されたことを特徴とする内容抽出装置。
  4. 【請求項4】 請求項3記載の内容抽出装置において,
    前記固定位置照合処理手段(4) における前記個別処理選
    択部は,指定パターンの先頭項が省略項の場合には,後
    記省略項処理部を起動するように構成され,前記固定位
    置照合処理手段(4) において,指定パターンの先頭項が
    省略項であるパターンを当該固定位置照合処理手段(4)
    への指定パターンとして,指定入力記号列をそのまま当
    該固定位置照合処理手段(4) への指定入力記号列とし
    て,当該固定位置照合処理手段(4) を起動し,不一致だ
    った場合には,前記省略項の次の項以降のパターンを当
    該固定位置照合処理手段(4) への指定パターンとして,
    指定入力記号列をそのまま当該固定位置照合処理手段
    (4) への指定入力記号列として,当該固定位置照合処理
    手段(4) を起動することにより,指定パターンと指定入
    力記号列の一致を判定する省略項処理部を有することを
    特徴とする内容抽出装置。
  5. 【請求項5】 請求項2,請求項3または請求項4記載
    の内容抽出装置において,前記抽出パターン解析手段
    (2) は,前記ワイルドカード項にワイルドカード名を対
    応させるよう構成され,前記ワイルドカード項処理部
    は,ワイルドカード名に対応してサブパターンを定義
    し,ワイルドカード項と一致する指定入力記号列中の部
    分記号列が決定された時に,該部分記号列を指定入力記
    号列とし,ワイルドカード項のワイルドカード名に対応
    するサブパターンを指定パターンとして,前記固定位置
    照合処理手段(4) を起動するよう構成されたことを特徴
    とする内容抽出装置。
  6. 【請求項6】 請求項1ないし請求項5のいずれか記載
    の内容抽出装置において,被照合対象記号列の記号が単
    語であることを特徴とする内容抽出装置。
  7. 【請求項7】 請求項6記載の内容抽出装置において,
    前記単語が表記,品詞,意味カテゴリを含む複数の項目
    の情報を持ち,抽出パターンの一般項に対応する終端記
    号が表記,品詞,意味カテゴリのいずれか一つあるいは
    複数の項目の情報を持ち,前記一般項処理部における記
    号同士の比較において,抽出パターン側の終端記号が持
    っている項目の情報のみが一致すれば,指定入力記号列
    の記号と指定パターンの記号が一致したと判定するよう
    構成されたことを特徴とする内容抽出装置。
JP31670692A 1992-11-26 1992-11-26 内容抽出装置 Expired - Lifetime JP3207947B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP31670692A JP3207947B2 (ja) 1992-11-26 1992-11-26 内容抽出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31670692A JP3207947B2 (ja) 1992-11-26 1992-11-26 内容抽出装置

Publications (2)

Publication Number Publication Date
JPH06162102A true JPH06162102A (ja) 1994-06-10
JP3207947B2 JP3207947B2 (ja) 2001-09-10

Family

ID=18079999

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31670692A Expired - Lifetime JP3207947B2 (ja) 1992-11-26 1992-11-26 内容抽出装置

Country Status (1)

Country Link
JP (1) JP3207947B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07152780A (ja) * 1993-11-30 1995-06-16 Nippon Telegr & Teleph Corp <Ntt> データベース自動作成装置
JPH0962794A (ja) * 1995-08-24 1997-03-07 Fujitsu Ltd 文書認識装置
JP2001501003A (ja) * 1996-09-20 2001-01-23 ネトボト インコーポレイテッド ネットワーク情報にアクセスするための方法とシステム
JP2001101162A (ja) * 1999-09-27 2001-04-13 Just Syst Corp 文書処理装置、及び文書処理プログラムが記憶された記憶媒体
JP2008027431A (ja) * 2006-06-22 2008-02-07 Nec Corp 情報解析装置、情報解析方法、及び情報解析プログラム

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7996174B2 (en) 2007-12-18 2011-08-09 Teradyne, Inc. Disk drive testing
US8549912B2 (en) 2007-12-18 2013-10-08 Teradyne, Inc. Disk drive transport, clamping and testing
US7848106B2 (en) 2008-04-17 2010-12-07 Teradyne, Inc. Temperature control within disk drive testing systems
US8095234B2 (en) 2008-04-17 2012-01-10 Teradyne, Inc. Transferring disk drives within disk drive testing systems
US8305751B2 (en) 2008-04-17 2012-11-06 Teradyne, Inc. Vibration isolation within disk drive testing systems
US8117480B2 (en) 2008-04-17 2012-02-14 Teradyne, Inc. Dependent temperature control within disk drive testing systems
US20090262455A1 (en) 2008-04-17 2009-10-22 Teradyne, Inc. Temperature Control Within Disk Drive Testing Systems
US7945424B2 (en) 2008-04-17 2011-05-17 Teradyne, Inc. Disk drive emulator and method of use thereof
US8102173B2 (en) 2008-04-17 2012-01-24 Teradyne, Inc. Thermal control system for test slot of test rack for disk drive testing system with thermoelectric device and a cooling conduit
US8238099B2 (en) 2008-04-17 2012-08-07 Teradyne, Inc. Enclosed operating area for disk drive testing systems
US8041449B2 (en) 2008-04-17 2011-10-18 Teradyne, Inc. Bulk feeding disk drives to disk drive testing systems
US8160739B2 (en) 2008-04-17 2012-04-17 Teradyne, Inc. Transferring storage devices within storage device testing systems
CN102112887B (zh) 2008-06-03 2015-06-10 泰拉丁公司 处理存储设备
US8547123B2 (en) 2009-07-15 2013-10-01 Teradyne, Inc. Storage device testing system with a conductive heating assembly
US8116079B2 (en) 2009-07-15 2012-02-14 Teradyne, Inc. Storage device testing system cooling
US7920380B2 (en) 2009-07-15 2011-04-05 Teradyne, Inc. Test slot cooling system for a storage device testing system
US8466699B2 (en) 2009-07-15 2013-06-18 Teradyne, Inc. Heating storage devices in a testing system
US7995349B2 (en) 2009-07-15 2011-08-09 Teradyne, Inc. Storage device temperature sensing
US8687356B2 (en) 2010-02-02 2014-04-01 Teradyne, Inc. Storage device testing system cooling
US8628239B2 (en) 2009-07-15 2014-01-14 Teradyne, Inc. Storage device temperature sensing
US8687349B2 (en) 2010-07-21 2014-04-01 Teradyne, Inc. Bulk transfer of storage devices using manual loading
US11226390B2 (en) 2017-08-28 2022-01-18 Teradyne, Inc. Calibration process for an automated test system
US10948534B2 (en) 2017-08-28 2021-03-16 Teradyne, Inc. Automated test system employing robotics
US10983145B2 (en) 2018-04-24 2021-04-20 Teradyne, Inc. System for testing devices inside of carriers
US10775408B2 (en) 2018-08-20 2020-09-15 Teradyne, Inc. System for testing devices inside of carriers

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0490052A (ja) * 1990-08-03 1992-03-24 Nippon Telegr & Teleph Corp <Ntt> 文書内容検索装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0490052A (ja) * 1990-08-03 1992-03-24 Nippon Telegr & Teleph Corp <Ntt> 文書内容検索装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07152780A (ja) * 1993-11-30 1995-06-16 Nippon Telegr & Teleph Corp <Ntt> データベース自動作成装置
JPH0962794A (ja) * 1995-08-24 1997-03-07 Fujitsu Ltd 文書認識装置
JP2001501003A (ja) * 1996-09-20 2001-01-23 ネトボト インコーポレイテッド ネットワーク情報にアクセスするための方法とシステム
JP2001101162A (ja) * 1999-09-27 2001-04-13 Just Syst Corp 文書処理装置、及び文書処理プログラムが記憶された記憶媒体
JP2008027431A (ja) * 2006-06-22 2008-02-07 Nec Corp 情報解析装置、情報解析方法、及び情報解析プログラム

Also Published As

Publication number Publication date
JP3207947B2 (ja) 2001-09-10

Similar Documents

Publication Publication Date Title
JP3207947B2 (ja) 内容抽出装置
US6782505B1 (en) Method and system for generating structured data from semi-structured data sources
US5970449A (en) Text normalization using a context-free grammar
US5579224A (en) Dictionary creation supporting system
JP2000112938A (ja) 自然言語処理装置及びその方法、及び自然言語認識装置
JPH08248971A (ja) テキスト朗読読み上げ装置
JPH09198395A (ja) 文書検索装置
Alghamdi et al. KACST Arabic diacritizer
Hamann et al. Detailed mark‐up of semi‐monographic legacy taxonomic works using FlorML
JP5057916B2 (ja) 固有表現抽出装置、その方法、プログラム及び記録媒体
JPH0877196A (ja) 文書情報抽出装置
JPH05233730A (ja) 関係情報抽出・表示装置
JP3029403B2 (ja) 文章データ音声変換システム
EP1072986A2 (en) System and method for extracting data from semi-structured text
JP2002366556A (ja) 情報検索方法
JP2002288166A (ja) 関係情報抽出方法及び意味情報抽出方法
JP2004326461A (ja) 固有名認識装置および方法
JP3548372B2 (ja) 文字認識装置
JP2004013737A (ja) 文書処理装置および方法
JPH0561902A (ja) 機械翻訳システム
JP3358100B2 (ja) 日本語質問メッセージ解析方法及び装置
JPH04257064A (ja) 要約情報抽出装置
JP2574741B2 (ja) 言語処理方法
JPH0765015A (ja) 内容抽出装置
JPH0612453A (ja) 未知語抽出登録装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070706

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080706

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080706

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090706

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090706

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100706

Year of fee payment: 9