JP2000322262A

JP2000322262A - データ解析方法

Info

Publication number: JP2000322262A
Application number: JP11129550A
Authority: JP
Inventors: Toyohisa Morita; 豊久森田; Yukiyasu Ito; 幸康伊藤
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1999-05-11
Filing date: 1999-05-11
Publication date: 2000-11-24

Abstract

(57)【要約】【課題】Ｐ（Ａ）またはＰ（Ｂ｜Ａ）が０になるような
ルールは、よいルールではないので、そのようなルール
に対しては十分なメモリを用意せずに、結果的に用意す
べき必要な全体メモリ量を減らす。【解決手段】半分のメモリ量で、第１カウンタ記憶部１
０２を実現し、Ｎ（Ａ＆Ｂ）が０以外になる条件Ａにつ
いて改めて、第２カウンタ記憶部１０３を用意する。そ
の際には、第１カウンタ記憶部は解放する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、大規模なデータの
解析を行う技術分野に属する。

【０００２】さらに本発明は、データマイニングあるい
はデータウェアハウスの利用技術に関わる。

【０００３】

【従来の技術】大規模なデータから、因果関係や規則性
を発見する場合の手法として、データマイニングと呼ば
れる技術がある。森田、前田、データマイニングサーバ
の開発と移動体通信業界への適用、電子情報通信学会信
学技報ＤＥ９８−１９（１９９８−１０）（公知例１）
では、特徴的ルール生成方式を提案している。ここで
は、規則性をｉｆＡｔｈｅｎＢのルールの形で抽
出する。Ｂは、「ある変数がある値をとる」という形で
表されており、あらかじめ指定し、その枠組でＡを探索
する。

【０００４】Ａは「ある変数がある値をとる」という
形、またはその論理積で表される。よりよいＡを求める
ために、ルールｉｆＡｔｈｅｎＢに対して評価関
数を定めており、Ｐ（Ａ）とＰ（Ｂ｜Ａ）の関数となっ
ている。評価関数は、Ｐ（Ａ）が大きいほどよいルール
であり、Ｐ（Ｂ｜Ａ）が大きいほどよいルールであるよ
うになっている。また、Ｐ（Ａ）が０である場合、Ｐ
（Ｂ｜Ａ）が０である場合は意味のないルールであると
判定される評価関数となっている。

【０００５】ここで、Ｐ（Ａ）は、全レコードの中でＡ
を満たすレコードの割合を、Ｐ（Ｂ｜Ａ）はＡを満たし
ているレコードがＢを満たす割合をそれぞれ意味してい
る。ルールは指定された個数だけ出力される。この計算
のときに、候補となるすべてのルールに対応するカウン
タをメモリ内に持ち、レコードは読み捨てし、１パスの
読み込みで各ルールの評価に必要な値を収集できる。

【０００６】

【発明が解決しようとする課題】上記従来の技術には以
下のような課題がある。

【０００７】公知例１では、すべてのルールのためのカ
ウンタをメモリに備えなければならないため、必要なメ
モリ量が大きいという課題がある。Ｂが固定なので、Ｐ
（Ａ）とＰ（Ｂ｜Ａ）は独立変数となる。Ｎ（「ある条
件」）を、「ある条件」を満たすレコードの個数の表記
とする。またＮを全レコード数とすると、Ｐ（Ｂ｜Ａ）＝Ｎ（Ａ＆Ｂ）／Ｎ（Ａ）Ｎ（Ａ）＝Ｎ（Ａ＆Ｂ）＋Ｎ（Ａ＆＾Ｂ）Ｐ（Ａ）＝Ｎ（Ａ）／Ｎなので、ルールの評価関数を得るためのＰ（Ｂ｜Ａ）と
Ｐ（Ａ）を得るためにはＮ（Ａ＆Ｂ）とＮ（Ａ＆＾Ｂ）
をカウンタとして揃えることが必要十分となる。

【０００８】ここで、＾の記号は否定を表す。

【０００９】したがって、すべてのルールについて、２
つずつの独立したメモリが必要になる。

【００１０】したがって、本発明の第１の目的は、計算
の際に必要なメモリ量を減らすことにある。

【００１１】

【課題を解決するための手段】本発明は、Ｐ（Ａ）また
はＰ（Ｂ｜Ａ）が０になるようなルールは意味がないの
でそのルールに対しては十分なメモリを用意せずに、結
果的に用意すべき必要な全体メモリ量を減らすものであ
る。

【００１２】Ｐ（Ａ）が０になる条件は、Ｎ（Ａ＆Ｂ）
もＮ（Ａ＆＾Ｂ）もともに０のときである。

【００１３】Ｐ（Ｂ｜Ａ）が０になる条件は、Ｎ（Ａ）
が０でなく、Ｎ（Ａ＆Ｂ）が０のときである。Ｎ（Ａ）
＝Ｎ（Ａ＆Ｂ）＋Ｎ（Ａ＆＾Ｂ）に注意すれば、これ
は、Ｎ（Ａ＆Ｂ）が０で、かつ、Ｎ（Ａ＆＾Ｂ）が０以
外のときである。

【００１４】以上より、Ｐ（Ａ）またはＰ（Ｂ｜Ａ）が
０になる必要十分条件は、Ｎ（Ａ＆Ｂ）が０となる。

【００１５】したがって、Ｎ（Ａ＆Ｂ）＝０となるルー
ルは最終的によいルールとして出力されないので、この
ルールに対するメモリは必要最小限にする。

【００１６】手順としては、Ｎ（Ａ＆Ｂ）のカウンタだ
けをメモリに用意し、最初にＢが成り立つレコードだけ
を読む。次にＮ（Ａ＆Ｂ）が０以外になったものだけに
ついてＮ（Ａ＆＾Ｂ）のカウンタを用意して、＾Ｂが成
り立つレコードを読む。

【００１７】以上によれば、Ｎ（Ａ＆Ｂ）が０以外にな
ったものについては、すべてのレコードについてＮ（Ａ
＆Ｂ）とＮ（Ａ＆＾Ｂ）がカウントアップされるので、
目的とするルールの評価関数の計算は可能となる。この
とき、Ｂを満たすレコードを読むときに必要なメモリ量
は公知例１より半分になっており、＾Ｂを満たすレコー
ドを読むときに必要なメモリ量は、Ｎ（Ａ＆Ｂ）＝０を
満たすＡが多ければ多いほど少なくなる。

【００１８】また、本発明は、最初にＢが成り立つレコ
ードだけを読んだあと、Ｎ（Ａ＆Ｂ）が０以外になった
条件Ａについて、さらに条件を細分化し、Ｎ（Ａ＆Ｂ）
とＮ（Ａ＆＾Ｂ）のカウンタをすべてのレコードをもう
一度読みなおすことで計算しなおすものである。

【００１９】また、本発明は、最初にＢが成り立つレコ
ードだけを読んだあと、Ｎ（Ａ＆Ｂ）が０以外になった
条件ＡについてのＮ（Ａ＆＾Ｂ）の計算を複数の計算機
で分散処理するものである。

【００２０】また、本発明は、最初にＢが成り立つレコ
ードだけを読んだあと、Ｎ（Ａ＆Ｂ）が０以外になった
条件Ａについて、さらに条件を細分化し、Ｎ（Ａ＆Ｂ）
とＮ（Ａ＆＾Ｂ）の計算を複数の計算機で分散処理する
ものである。

【００２１】

【発明の実施の形態】以下、本発明の実施の形態の一例
を詳細に説明する。

【００２２】図１に本発明の実施の形態の一例の構成図
を示す。

【００２３】本発明では、メモリ１０１、レコードデー
タ記憶装置１０５、入力装置１０６、出力装置１０７、
制御装置１０８が、通信線１１４を介して相互接続され
ている。さらに、メモリ１０１の内部には、第１カウン
タ記憶部１０２、第２カウンタ記憶部１０３、ワークメ
モリ１０４がある。また、制御装置１０８の内部には、
レコードデータ入出力制御部１０９、カウンタ生成制御
部１１０、カウンタ更新制御部１１１、カウンタ消去制
御部１１２、ルール選択制御部１１３がある。通信線１
１４はネットワークまたはバスで実現されている。

【００２４】図３に、レコードデータ記憶装置１０５に
記憶されたレコードデータの形式の例を示す。縦方向に
レコードが示され、横方向にはそれぞれのレコードの項
目が示されている。本例は、顧客ごとの取引情報を示す
データである。

【００２５】以下、図２に示すフローチャートを利用し
て本発明の実施の形態の一例の処理を説明する。

【００２６】ステップ２０１では、入力装置１０６か
ら、データ解析の条件の入力を行う。出力されるルール
ｉｆＡｔｈｅｎＢのＢの入力が行われる。例えば
「顧客の契約状態＝解約」などが有りえる。また、Ａで
使える項目が入力される。例えば、「性別」、「年
齢」、「先月の取引金額」、「取引形態」などが入力さ
れる。

【００２７】また、Ａで使えるそれぞれの項目につい
て、値のバリエーションが入力される。

【００２８】例えば、「性別は男または女の２値」、
「年齢は１０歳ごとに区切る」などが入力される。ま
た、Ａでいくつまでの論理積を考慮するかが入力され
る。例えばこれが２であれば、Ａには「ある条件かつあ
る条件」という２つの条件の論理積までが可能になる。
これらの情報は、ワークメモリ１０４に記憶される。

【００２９】ステップ２０２では、第１カウンタの生成
を行う。第１カウンタの形式を図４に示す。図４に示す
ようにこれは１次元のデータ配列となっている。それぞ
れのデータは一つのルールｉｆＡｔｈｅｎＢの条
件Ａに対応している。Ａは、「ある変数がある値をと
る」という形または、その形の論理積で表される。例え
ば、「性別が男」であるとか、「性別が女、かつ、年齢
が１０代」のようなものになる。ここで、どのような条
件が生成されるかは、ステップ２０１でワークメモリ１
０４に記憶された条件Ａで使われる項目とその値のバリ
エーションと論理積の数の上限によって決まる。第１カ
ウンタはすべての条件の組み合わせを網羅するようにカ
ウンタ生成制御部１１０が作る。

【００３０】論理積が条件１個までの場合は、「性別＝
男」、「性別＝女」、「年齢＝０代」、「年齢＝１０
代」、・・というようにすべての項目についてすべての
値を網羅する。

【００３１】論理積が条件２個までのときには、異なる
二つの項目の間でのすべての値同士の組み合わせとな
る。

【００３２】論理積が条件３個以上のときも同様であ
る。

【００３３】これを、図４のように、Ｎ（Ａ＆Ｂ）のカ
ウンタ領域のみ作る。どの条件がどのカウンタ領域に対
応するかは、どの条件が最初から何番めのカウンタ領域
に対応するかの順序を決めておくことで実現する。すべ
ての項目に順序をつけ、さらにそのすべての項目のすべ
ての値に順序をつける。論理積の条件の個数が１の場合
から始め、例えば性別が第１の項目であり、男が第１の
値であれば、最初から１番目のカウンタ領域は「性別＝
男」で、２番めのカウンタ領域は「性別＝女」となる。
論理積の条件の個数が１の場合のカウンタ領域がすべて
終われば、その後に論理積の条件の個数が２の場合のカ
ウンタ領域を続ける。以上のようにすれば、それぞれの
カウンタ領域にこれがどの条件と対応しているかという
情報を持たせなくても、メモリのオフセットを計算すれ
ば条件に対応するカウンタにアクセスできることにな
る。

【００３４】ステップ２０３ではレコードデータの読み
込みを行う。レコードデータ入出力制御部１０９がレコ
ードデータ記憶装置１０５から、ｉｆＡｔｈｅｎ
ＢのＢを満たすレコードを一つ入力し、ワークメモリ１
０４に記憶する。

【００３５】ステップ２０４ではカウンタの更新を行
う。カウンタ更新制御部１１１は、ステップ２０３でワ
ークメモリ１０４に記憶されたレコードについて、対応
する第１カウンタを第１カウンタ記憶部１０２から選ん
で１ずつカウントアップする。

【００３６】ステップ２０５ではレコードデータ入出力
制御部１０９が、レコードデータ記憶装置１０５から、
ｉｆＡｔｈｅｎＢのＢが成り立つすべてのレコー
ドを読んだかどうか判定する。読んだ場合にはステップ
２０６に移り、まだすべて読んでいない場合にはステッ
プ２０３に移る。

【００３７】ステップ２０６では、第２カウンタの生成
と第１カウンタの消去を行う。第２カウンタの形式を図
５に示す。条件とＮ（Ａ＆Ｂ）のカウンタとＮ（Ａ＆＾
Ｂ）のカウンタが項目としてある。ここでは、すべての
条件が残らずに、課題を解決する手段の項で書いたよう
に、Ｎ（Ａ＆Ｂ）が０以外になった条件についてのみこ
のカウンタが生成される。したがって、第１カウンタの
ように考えられるすべての条件Ａを網羅的に持たないの
で、ステップ２０２で述べたように条件とカウンタの順
番が対応するようにしておくことはできない。それぞれ
の第２カウンタについて、条件Ａがどのような条件かを
示す領域が必要になる。第２カウンタに条件とＮ（Ａ＆
Ｂ）を第１カウンタからコピーした後に第１カウンタの
対応するメモリ領域を消去・解放できる。ここで、第２
カウンタの生成ならびに第１カウンタからの値のコピー
はカウンタ生成制御部１１０が行い、第１カウンタの消
去・解放はカウンタ消去制御部１１２が行う。

【００３８】ステップ２０７ではレコードデータの読み
込みを行う。レコードデータ入出力制御部１０９がレコ
ードデータ記憶装置１０５から、ｉｆＡｔｈｅｎ
ＢのＢの否定である＾Ｂを満たすレコードを一つ入力
し、ワークメモリ１０４に記憶する。

【００３９】ステップ２０８ではカウンタの更新を行
う。カウンタ更新制御部１１１は、ステップ２０７でワ
ークメモリ１０４に記憶されたレコードについて、対応
する第２カウンタを第２カウンタ記憶部１０３から選ん
で、そのＮ（Ａ＆＾Ｂ）のカウンタを１ずつカウントア
ップする。

【００４０】ステップ２０９ではレコードデータ入出力
制御部１０９が、レコードデータ記憶装置１０５から、
ｉｆＡｔｈｅｎＢのＢの否定である＾Ｂが成り立
つすべてのレコードを読んだかどうか判定する。読んだ
場合にはステップ２１０に移り、まだすべて読んでいな
い場合にはステップ２０７に移る。

【００４１】ステップ２１０ではルールの選択を行う。
ルール選択制御部１１３が、第２カウンタ記憶部１０３
のすべての第２カウンタの条件について出力対象とし
て、ワークメモリ１０４に対応する条件を記憶する。

【００４２】ステップ２１１では出力装置１０７が、ス
テップ２１０でワークメモリ１０４に記憶された条件
と、それに対応するカウンタの値を第２カウンタ記憶部
１０３から読み出して出力する。

【００４３】この実施の形態によれば、ｉｆＡｔｈ
ｅｎＢのＢが非常にまれに起こるような場合で、Ｎ
（Ａ＆Ｂ）が０になる条件Ａが頻発するような場合に、
計算に必要なメモリが少なくて済む。また、レコードデ
ータ自体は１度の読み込みで計算が可能である。

【００４４】また、この実施の形態は以下のように変更
して実施することも可能である。

【００４５】第１に、ステップ２０１において、追加情
報として、ステップ２１１で出力するルールの条件をあ
らかじめ入力することが可能である。例えば、Ｐ（Ａ）
の下限やＰ（Ｂ｜Ａ）の下限を入力してワークメモリ１
０４に記憶する。ステップ２１０ではすべてのルールを
選択する代わりに、ワークメモリ１０４に記憶された条
件を満たす第２カウンタの条件についてのみ出力対象と
してワークメモリ１０４に対応する条件を記憶するよう
に変更して実施することも可能である。この変更例によ
れば、出力するルールを減らすことができ、指定された
条件に見合うルールのみを出力でき、より有用なルール
を分かりやすく提示できる。

【００４６】第２に、ステップ２０１において、追加情
報として、ステップ２１１で出力するルールの個数をあ
らかじめ入力することが可能である。例えば１００個な
ど。この数値をＭとしてワークメモリ１０４に記憶す
る。ステップ２１０では、ルール選択制御部１１３が第
２カウンタ記憶部１０３のすべての第２カウンタの条件
について、数１で示す評価関数の値を順に計算し、その
値が大きい上位Ｍ個の条件を抽出する。それには、ワー
クメモリ１０４に上位Ｍ個分の条件の記憶領域と評価関
数の記憶領域があればよい。この変更例によれば、よい
ルールを、指定された個数だけ出力することができる。

【００４７】

【数１】

【００４８】第３に、ステップ２０６において第２カウ
ンタの生成と第１カウンタの消去を行う際に、第１カウ
ンタでＮ（Ａ＆Ｂ）が０でなかった条件をワークメモリ
１０４に記憶し、それぞれの条件におけるＮ（Ａ＆Ｂ）
のカウンタの値はいかなる領域にも保持せずにカウンタ
消去制御部１１２が第１カウンタ記憶部を消去・解放
し、その後にカウンタ生成制御部１１０がワークメモリ
１０４に記憶された条件を参照し、この条件をさらに細
かく分割した条件に対応する第２カウンタを第２カウン
タ記憶部１０３に生成するように変更して実施すること
も可能である。

【００４９】例えば第１カウンタでＮ（Ａ＆Ｂ）が０で
なかった条件として、「年齢が１０代」という条件があ
り、それがワークメモリ１０４に記憶されたとする。カ
ウンタ生成制御部１１０はこの条件を参照し、この条件
をさらに「年齢が１０歳から１４歳まで」と「年齢が１
５歳から１９歳まで」の二つに分割する。この二つの条
件について第２カウンタを第２カウンタ記憶部１０３に
生成する。ここで、入力装置１０６から分割の方法を入
力するようにしておき、その結果を利用してカウンタ生
成制御部１１０が再分割の方法を決定するようにしてお
く。

【００５０】入力装置１０６の画面例を図６に示す。数
直線において分割位置を任意個数だけ指定する。これに
より、第１カウンタより細かいカウンタを第２カウンタ
で実現する。第１カウンタのＮ（Ａ＆Ｂ）は対応する第
２カウンタがないのでコピーしない。第２カウンタの形
式は図５と同一である。また、この変更例では、ステッ
プ２０７では、レコードデータ入出力制御部１０９はレ
コードデータ記憶装置１０５から、ｉｆＡｔｈｅｎ
ＢのＢを満たすかどうかによらずすべてのレコードを
一つずつ入力し、ワークメモリ１０４に記憶する。

【００５１】ステップ２０８ではカウンタ更新制御部１
１１は、ステップ２０７でワークメモリ１０４に記憶さ
れたレコードについて、第２カウンタを第２カウンタ記
憶部１０３から一つずつ選んで、Ａ＆Ｂが成り立ってい
ればＮ（Ａ＆Ｂ）を１だけカウントアップし、Ａ＆＾Ｂ
が成り立っていればＮ（Ａ＆＾Ｂ）を１だけカウントア
ップする。ステップ２０９ではレコードデータ入出力制
御部１０９が、レコードデータ記憶装置１０５から、す
べてのレコードを読んだかどうか判定する。読んだ場合
にはステップ２１０に移り、まだすべて読んでいない場
合にはステップ２７に移る。この変更例については、第
１の変更例及び第２の変更例が重ねて実施できる。この
第３の変更例によれば、より少ないメモリ量でより細か
い条件でのルールの生成が効率良くできる。

【００５２】次に、本発明の第２の実施の形態について
詳細に説明する。

【００５３】図７に本発明の実施の形態の一例の構成図
を示す。

【００５４】本発明では、管理サーバＡ７０２、計算サ
ーバＢ７０３、計算サーバＣ７０４、計算サーバＤ７０
５がネットワーク７０１に相互接続されている。計算サ
ーバＢ７０３と計算サーバＣ７０４と計算サーバＤ７０
５は内部の構成は同様である。この例では計算サーバが
３台あるが、２台以上であれば何台であっても実施可能
である。

【００５５】次に管理サーバＡ７０２の構成図を図８に
示す。

【００５６】本発明では、メモリ８０１、レコードデー
タ記憶装置８０６、入力装置８０７、出力装置８０８、
制御装置８０９、ネットワーク接続装置８０４が、通信
線８０５を介して相互接続されている。さらにネットワ
ーク接続装置８０４はネットワーク７０１に接続してい
る。さらに、メモリ８０１の内部には、第１カウンタ記
憶部８０２、ワークメモリ８０３がある。また、制御装
置８０９の内部には、レコードデータ入出力制御部８１
０、カウンタ生成制御部８１１、カウンタ更新制御部８
１２、分散計画制御部８１３、ルール選択制御部８１４
がある。通信線８０５はネットワークまたはバスで実現
されている。図３に、レコードデータ記憶装置８０６に
記憶されたレコードデータの形式の例を示す。縦方向に
レコードが示され、横方向にはそれぞれのレコードの項
目が示されている。本例は、顧客ごとの取引情報を示す
データである。

【００５７】次に計算サーバの構成図を図９に示す。こ
れは、図７での計算サーバＢ７０３、計算サーバＣ７０
４、計算サーバＤ７０５で共通の構成である。

【００５８】本発明では、メモリ９０１、レコードデー
タ記憶装置９０６、制御装置９０７、ネットワーク接続
装置９０４が、通信線９０５を介して相互接続されてい
る。さらにネットワーク接続装置９０５はネットワーク
７０１に接続している。さらに、メモリ９０１の内部に
は、第２カウンタ記憶部９０２、ワークメモリ９０３が
ある。また、制御装置９０７の内部には、レコードデー
タ入出力制御部９０８、カウンタ生成制御部９０９、カ
ウンタ更新制御部９１０がある。通信線９０５はネット
ワークまたはバスで実現されている。図３に、レコード
データ記憶装置９０６に記憶されたレコードデータの形
式の例を示す。縦方向にレコードが示され、横方向には
それぞれのレコードの項目が示されている。本例は、顧
客ごとの取引情報を示すデータである。

【００５９】以下、図１０に示すフローチャートを利用
して管理サーバＡの実施の形態の一例の処理を説明す
る。

【００６０】ステップ１００１では、入力装置８０７か
ら、データ解析の条件の入力を行う。出力されるルール
ｉｆＡｔｈｅｎＢのＢの入力が行われる。例えば
「顧客の契約状態＝解約」などが有りえる。また、Ａで
使える項目が入力される。例えば、「性別」、「年
齢」、「先月の取引金額」、「取引形態」などが入力さ
れる。また、Ａで使えるそれぞれの項目について、値の
バリエーションが入力される。例えば、「性別は男また
は女の２値」、「年齢は１０歳ごとに区切る」などが入
力される。また、Ａでいくつまでの論理積を考慮するか
が入力される。例えばこれが２であれば、Ａには「ある
条件かつある条件」という２つの条件の論理積までが可
能になる。これらの情報は、ワークメモリ８０３に記憶
される。

【００６１】ステップ１００２では、第１カウンタの生
成を行う。第１カウンタの形式を図４に示す。図４に示
すようにこれは１次元のデータ配列となっている。それ
ぞれのデータは一つのルールｉｆＡｔｈｅｎＢの
条件Ａに対応している。Ａは、「ある変数がある値をと
る」という形または、その形の論理積で表される。例え
ば、「性別が男」であるとか、「性別が女、かつ、年齢
が１０代」のようなものになる。ここで、どのような条
件が生成されるかは、ステップ１００１でワークメモリ
８０３に記憶された条件Ａで使われる項目とその値のバ
リエーションと論理積の数の上限によって決まる。第１
カウンタはすべての条件の組み合わせを網羅するように
カウンタ生成制御部８１１が作る。

【００６２】論理積が条件１個までの場合は、「性別＝
男」、「性別＝女」、「年齢＝０代」、「年齢＝１０
代」、・・というようにすべての項目についてすべての
値を網羅する。

【００６３】論理積が条件２個までのときには、異なる
二つの項目の間でのすべての値同士の組み合わせとな
る。

【００６４】論理積が条件３個以上のときも同様であ
る。

【００６５】これを、図４のように、Ｎ（Ａ＆Ｂ）のカ
ウンタ領域のみ作る。どの条件がどのカウンタ領域に対
応するかは、どの条件が最初から何番めのカウンタ領域
に対応するかの順序を決めておくことで実現する。すべ
ての項目に順序をつけ、さらにそのすべての項目のすべ
ての値に順序をつける。論理積の条件の個数が１の場合
から始め、例えば性別が第１の項目であり、男が第１の
値であれば、最初から１番目のカウンタ領域は「性別＝
男」で、２番めのカウンタ領域は「性別＝女」となる。
論理積の条件の個数が１の場合のカウンタ領域がすべて
終われば、その後に論理積の条件の個数が２の場合のカ
ウンタ領域を続ける。以上のようにすれば、それぞれの
カウンタ領域にこれがどの条件と対応しているかという
情報を持たせなくても、メモリのオフセットを計算すれ
ば条件に対応するカウンタにアクセスできることにな
る。

【００６６】ステップ１００３ではレコードデータの読
み込みを行う。レコードデータ入出力制御部８１０がレ
コードデータ記憶装置８０６から、ｉｆＡｔｈｅｎ
ＢのＢを満たすレコードを一つ入力し、ワークメモリ
８０３に記憶する。

【００６７】ステップ１００４ではカウンタの更新を行
う。カウンタ更新制御部８１２は、ステップ１００３で
ワークメモリ８０３に記憶されたレコードについて、対
応する第１カウンタを第１カウンタ記憶部８０２から選
んで１ずつカウントアップする。

【００６８】ステップ１００５ではレコードデータ入出
力制御部８１０が、レコードデータ記憶装置８０６か
ら、ｉｆＡｔｈｅｎＢのＢが成り立つすべてのレ
コードを読んだかどうか判定する。読んだ場合にはステ
ップ１００６に移り、まだすべて読んでいない場合には
ステップ１００３に移る。

【００６９】ステップ１００６では分散処理の計画を行
う。計算サーバでは、管理サーバＡで初めに用意したす
べての条件を用いずに、課題を解決する手段の項で書い
たように、Ｎ（Ａ＆Ｂ）が０以外になった条件について
のみカウンタが生成される。したがって、第１カウンタ
のように考えられるすべての条件Ａを網羅的に持たない
ので、ステップ１００２で述べたように条件とカウンタ
の順番が対応するようにしておくことはできない。第１
カウンタの計算以降の計算で用いるカウンタを第２カウ
ンタと呼ぶ。それぞれの第２カウンタについて、条件Ａ
がどのような条件かを示す領域が必要になる。

【００７０】第２カウンタの形式を図１２に示す。計算
サーバは２個以上あるが、すべての計算サーバの内部に
同じ条件に対応する第２カウンタを用意し、レコードデ
ータを分割して配布する。処理性能に応じて、レコード
データの量を調整する。ここでは送られるデータは＾Ｂ
を満たすレコードのみである。以上を分散計画制御部８
１３が行う。

【００７１】ステップ１００７では管理サーバとすべて
の計算サーバ間の伝送を行う。

【００７２】伝送する内容は、第１カウンタでＮ（Ａ＆
Ｂ）が０以外になった条件すべてと、計算サーバごとに
割り振られたレコードデータである。ネットワーク接続
装置８０４を介して、さらに、ネットワーク７０１を介
して、それぞれの計算サーバに伝送がされる。さらに、
すべての計算サーバから計算結果を返送してもらう。計
算結果はワークメモリ８０３に記憶する。ワークメモリ
には、第２カウンタの記憶領域を確保しておく。ここで
は、図５の形式でメモリを確保しておく。すべての計算
サーバのカウンタＮ（Ａ＆＾Ｂ）の結果を同じ条件のも
の同士で足しあわせる。Ｎ（Ａ＆Ｂ）は最初の管理サー
バの結果をコピーしておく。

【００７３】ステップ１００８ではすべての計算サーバ
から計算結果が返ってきたかどうかの判定を行う。返っ
てきた場合にはステップ１００９に移り、返ってきてい
ない場合にはステップ１００８に戻る。

【００７４】ステップ１００９ではルール選択を行う。
ルール選択制御部８１４がワークメモリ８０３のすべて
の第２カウンタの条件について、これを出力対象とし
て、ワークメモリ８０４に対応する条件を記憶する。

【００７５】ステップ１０１０では出力装置８０８が、
ステップ１００９でワークメモリ８０３に記憶された条
件と、それに対応するカウンタの値をワークメモリ８０
３から読み出して出力する。

【００７６】次に、図１１に示すフローチャートを利用
して計算サーバの実施の形態の一例の処理を説明する。

【００７７】ステップ１１０１では管理サーバＡから計
算サーバへの伝送を行う。伝送される内容は、管理サー
バの第１カウンタでＮ（Ａ＆Ｂ）が０以外になった条件
すべてと、この計算サーバに割り振られたレコードデー
タである。ネットワーク７０１、さらに、ネットワーク
接続装置９０４を介して管理サーバから伝送がされる。
条件は暫定的にワークメモリ９０３に記憶し、レコード
データはレコードデータ記憶装置９０６に記憶する。

【００７８】ステップ１１０２では第２カウンタの生成
を行う。第２カウンタの形式を図１２に示す。条件とＮ
（Ａ＆＾Ｂ）のカウンタが項目としてある。ここでは、
前述したように、管理サーバの第１カウンタで、Ｎ（Ａ
＆Ｂ）が０以外になった条件についてのみこのカウンタ
が生成される。第２カウンタの生成はカウンタ生成制御
部９０９が行う。

【００７９】ステップ１１０３ではレコードデータの読
み込みを行う。レコードデータ入出力制御部９０８がレ
コードデータ記憶装置９０６からレコードを一つ入力
し、ワークメモリ９０３に記憶する。

【００８０】ステップ１１０４ではカウンタの更新を行
う。カウンタ更新制御部９１０は、ステップ１１０３で
ワークメモリ９０３に記憶されたレコードについて、対
応する第２カウンタを第２カウンタ記憶部９０２から選
んで、そのＮ（Ａ＆＾Ｂ）のカウンタを１ずつカウント
アップする。

【００８１】ステップ１１０５ではレコードデータ入出
力制御部９０８が、レコードデータ記憶装置９０６から
すべてのレコードを読んだかどうか判定する。読んだ場
合にはステップ１１０６に移り、まだすべて読んでいな
い場合にはステップ１１０３に移る。

【００８２】ステップ１１０６では管理サーバＡへの結
果の伝送を行う。伝送する内容は、第２カウンタのＮ
（Ａ＆＾Ｂ）の値である。

【００８３】この実施の形態によれば、ｉｆＡｔｈ
ｅｎＢのＢが非常にまれに起こるような場合で、Ｎ
（Ａ＆Ｂ）が０になる条件Ａが頻発するような場合に、
計算に必要なメモリが少なくて済む。また、分散処理の
ため、第２カウンタの計算が速くなる。

【００８４】また、この実施の形態は以下のように変更
して実施することも可能である。

【００８５】第１に、ステップ１００１において、追加
情報として、ステップ１０１０で出力するルールの条件
をあらかじめ入力することが可能である。例えば、Ｐ
（Ａ）の下限やＰ（Ｂ｜Ａ）の下限を入力してワークメ
モリ８０３に記憶する。ステップ１００９ではすべての
ルールを選択する代わりに、ワークメモリ８０３に記憶
された条件を満たす第２カウンタの条件についてのみ出
力対象としてワークメモリ８０３に対応する条件を記憶
するように変更して実施することも可能である。この変
更例によれば、出力するルールを減らすことができ、指
定された条件に見合うルールのみを出力でき、より有用
なルールを分かりやすく提示できる。

【００８６】第２に、ステップ１００１において、追加
情報として、ステップ１０１０で出力するルールの個数
をあらかじめ入力することが可能である。例えば１００
個など。この数値をＭとしてワークメモリ８０３に記憶
する。ステップ１００９ではルール選択制御部８１４
が、すべての第２カウンタの条件について数１で示す評
価関数の値を順に計算し、その値が大きい上位Ｍ個の条
件を抽出する。それには、上位Ｍ個分の条件の記憶領域
と評価関数の記憶領域があればよい。この変更例によれ
ば、よいルールを、指定された個数だけ出力することが
できる。

【００８７】第３に、ステップ１００６において、第１
カウンタでＮ（Ａ＆Ｂ）が０以外になった条件をワーク
メモリ８０３に記憶し、これをさらに細かく分割した条
件で第２カウンタを生成するように変更して実施するこ
とも可能である。例えば第１カウンタでＮ（Ａ＆Ｂ）が
０でなかった条件として、「年齢が１０代」という条件
があり、それがワークメモリ８０３に記憶されたとす
る。カウンタ生成制御部８１１はこの条件を参照し、こ
の条件をさらに「年齢が１０歳から１４歳まで」と「年
齢が１５歳から１９歳まで」の二つに分割する。

【００８８】この二つの条件について第２カウンタをワ
ークメモリ８０３に生成する。第２カウンタの形式は図
５の通りである。ここで、入力装置８０７から分割の方
法を入力するようにしておき、その結果を利用してカウ
ンタ生成制御部８１１が再分割の方法を決定するように
しておく。入力装置８０７の画面例を図６に示す。数直
線において分割位置を任意個数だけ指定する。これによ
り、第１カウンタより細かいカウンタを第２カウンタで
実現する。また、ステップ１００７では、Ｎ（Ａ＆Ｂ）
が０以外になった条件ではなく、第２カウンタの条件す
べてと、計算サーバごとに割り振られたレコードデータ
を管理サーバから計算サーバへ伝送する。また、ここで
伝送するレコードデータは、＾Ｂを満たすレコードだけ
でなく、すべてのレコードである。

【００８９】さらに、計算サーバから返送してもらうデ
ータは、Ｎ（Ａ＆Ｂ）とＮ（Ａ＆＾Ｂ）の両方である。
複数のサーバから返って来たデータは、Ｎ（Ａ＆Ｂ）と
Ｎ（Ａ＆＾Ｂ）の両方とも、同じ条件のもの同士をワー
クメモリ８０３で足しあわせる。また、ステップ１１０
１では、管理サーバＡから計算サーバへ伝送される内容
は、管理サーバの第２カウンタとして生成された条件す
べてと、この計算サーバに割り振られたレコードデータ
である。ステップ１１０２で生成される第２カウンタの
形式は図５の形式である。条件とＮ（Ａ＆Ｂ）のカウン
タとＮ（Ａ＆＾Ｂ）のカウンタが項目としてある。

【００９０】ステップ１１０４でのカウンタの更新で
は、カウンタ更新制御部９１０は、ステップ１１０３で
ワークメモリ９０３に記憶されたレコードについて、第
２カウンタを第２カウンタ記憶部９０２から一つずつ選
んで、Ａ＆Ｂが成り立っていればＮ（Ａ＆Ｂ）を１だけ
カウントアップし、Ａ＆＾Ｂが成り立っていれば、Ｎ
（Ａ＆＾Ｂ）を１だけカウントアップする。ステップ１
１０６で管理サーバＡへ伝送する内容は、第２カウンタ
のＮ（Ａ＆Ｂ）とＮ（Ａ＆＾Ｂ）の値である。この変更
例については、第１の変更例及び第２の変更例が重ねて
実施できる。この第３の変更例によれば、より少ないメ
モリ量でより細かい条件でのルールの生成が効率良くで
きる。

【００９１】第４に、分散処理を、第２カウンタはすべ
て同一にして、レコードを分散していたのを、第２カウ
ンタを分散して、レコードを同一にするように変更する
ことも可能である。ステップ１００６で行う分散処理の
計画において、処理性能に応じて、第２カウンタを分割
する。レコードデータはすべてのレコードデータを送る
ように計画する。ステップ１００７では、分割された第
２カウンタとすべてのレコードデータを伝送する。返送
してもらうときには、結果を足しあわせる必要はなく、
そのまま記憶する。この変更例は第１乃至第３の変更例
とも組み合わせられる。この変更例によれば、計算サー
バで必要なメモリがさらに少なくなる。第５に、計算サ
ーバのレコードデータ記憶装置９０６はその実体は管理
サーバＡのレコードデータ記憶装置８０６と同一という
構成も実施可能である。その際には、ステップ１００７
における伝送、ステップ１１０１における伝送において
レコードデータの伝送は不要になる。この変更例によれ
ば、ネットワーク転送量を減らすことができる。

【００９２】

【発明の効果】以上述べたように、本発明によれば、計
算の際に必要なメモリ量を減らすことにができる。ま
た、分散処理により、処理の高速化が図れる。

【図面の簡単な説明】

【図１】本発明の実施の形態であるデータ解析の一例を
示す構成図。

【図２】本発明の実施の形態の一例のフローチャート。

【図３】レコードデータの形式を示す図。

【図４】第１カウンタの形式を示す図。

【図５】第２カウンタの形式その１を示す図。

【図６】条件細分化の入力画面例を示す図。

【図７】分散処理の実施の形態の一例の構成図。

【図８】管理サーバの構成図。

【図９】計算サーバの構成図。

【図１０】管理サーバの処理のフローチャート。

【図１１】計算サーバの処理のフローチャート。

【図１２】第２カウンタの形式その２を示す図。

【符号の説明】

１０１…メモリ、１０２…第１カウンタ記憶部、１０３
…第２カウンタ記憶部、１０４…ワークメモリ、１０５
…レコードデータ記憶装置、１０６…入力装置、１０７
…出力装置、１０８…制御装置、１０９…レコードデー
タ入出力制御部、１１０…カウンタ生成制御部、１１１
…カウンタ更新制御部、１１２…カウンタ消去制御部、
１１３…ルール選択制御部、１１４…通信線、７０１…
ネットワーク、７０２…管理サーバＡ、７０３…計算サ
ーバＢ、７０４…計算サーバＣ、７０５…計算サーバ
Ｄ、８０１…メモリ、８０２…第１カウンタ記憶部、８
０３…ワークメモリ、８０４…ネットワーク接続装置、
８０５…通信線、８０６…レコードデータ記憶装置、８
０７…入力装置、８０８…出力装置、８０９…制御装
置、８１０…レコードデータ入出力制御部、８１１…カ
ウンタ生成制御部、８１２…カウンタ更新制御部、８１
３…分散計画制御部、８１４…ルール選択制御部、９０
１…メモリ、９０２…第２カウンタ記憶部、９０３…ワ
ークメモリ、９０４…ネットワーク接続装置、９０５…
通信線、９０６…レコードデータ記憶装置、９０７…制
御装置、９０８…レコードデータ入出力制御部、９０９
…カウンタ生成制御部、９１０…カウンタ更新制御部。

Claims

【特許請求の範囲】

【請求項１】複数の項目の値を記述したレコードを複数
集めたデータから、項目の値同士の関係をｉｆＡｔ
ｈｅｎＢのルールの形で求める解析方法であって、レ
コードを記憶する手段と、解析の条件を入力する手段と
得られたルールを出力する手段と、すべての項目の値の
組み合わせの生起回数を計数する第１カウンタと第１カ
ウンタの結果から有用であると判断された項目の値の組
み合わせの生起回数を計数する第２カウンタと、カウン
タを生成する手段と、カウンタを更新する手段と、カウ
ンタを消去する手段と、ルールを選択する手段とを持つ
ことを特徴とするデータ解析方法。
【請求項２】請求項１記載のデータ解析方法において、
ルールを選択する手段は、第２カウンタで選ばれたすべ
てのルールを選択することを特徴とするデータ解析方
法。
【請求項３】請求項１記載のデータ解析方法において、
解析の条件を入力する手段は、ルールの前件部の生起確
率とルールの前件部が成り立った場合に後件部が成り立
つ条件付き確率のうち、少なくとも一つについて条件を
入力し、ルールを選択する手段は、上記条件を満たすル
ールを選択することを特徴とするデータ解析方法。
【請求項４】請求項１記載のデータ解析方法において、
解析の条件を入力する手段は、ルールの個数を入力し、
ルールを選択する手段は、ルールの良さを評価する評価
関数によって、よいルールを上記個数だけ選択すること
を特徴とするデータ解析方法。
【請求項５】請求項１乃至４のいずれか１項記載のデー
タ解析方法において、第１カウンタはＡかつＢの成り立
つ個数についてのカウンタであり、第２カウンタは第１
カウンタでＡかつＢの成り立つ個数が０以外であった項
目の値の組み合わせについてのみ用意されたカウンタで
あり、カウンタを更新する手段は、第１カウンタについ
てはＢの成り立つレコードのみについてカウンタを更新
し、第２カウンタについてはＢが成り立たないレコード
のみについてカウンタを更新することを特徴とするデー
タ解析方法。
【請求項６】請求項１乃至４のいずれか１項記載のデー
タ解析方法において、第１カウンタはＡかつＢの成り立
つ個数についてのカウンタであり、解析の条件を入力す
る手段は、第１カウンタでＡかつＢの成り立つ個数が０
以外であった項目の値の組み合わせについて、条件Ａを
細分化する条件を入力し、第２カウンタは上記細分化さ
れた条件について用意されたカウンタであり、カウンタ
を更新する手段は、第１カウンタについてはＢの成り立
つレコードのみについてカウンタを更新し、第２カウン
タについてはＢの成立・不成立にかかわらずすべてのレ
コードについてカウンタを更新することを特徴とするデ
ータ解析方法。
【請求項７】複数の項目の値を記述したレコードを複数
集めたデータから、項目の値同士の関係をｉｆＡｔ
ｈｅｎＢのルールの形で求める解析方法であって、管
理サーバと複数の計算サーバによる分散処理を行う解析
方法であって、管理サーバにおいては、レコードを記憶
する手段と、解析の条件を入力する手段と得られたルー
ルを出力する手段と、すべての項目の値の組み合わせの
生起回数を計数する第１カウンタと、カウンタを生成す
る手段と、カウンタを更新する手段と、分散処理を計画
する手段と、ルールを選択する手段と、ネットワークと
接続する手段とを持ち、計算サーバにおいては、レコー
ドを記憶する手段と、管理サーバの第１カウンタの結果
から有用であると判断された項目の値の組み合わせの生
起回数を計数する第２カウンタとカウンタを生成する手
段と、カウンタを更新する手段と、ネットワークと接続
する手段とを持つことを特徴とするデータ解析方法。
【請求項８】請求項７記載のデータ解析方法において、
ルールを選択する手段は、第２カウンタで選ばれたすべ
てのルールを選択することを特徴とするデータ解析方
法。
【請求項９】請求項７記載のデータ解析方法において、
解析の条件を入力する手段は、ルールの前件部の生起確
率とルールの前件部が成り立った場合に後件部が成り立
つ条件付き確率のうち、少なくとも一つについて条件を
入力し、ルールを選択する手段は、上記条件を満たすル
ールを選択することを特徴とするデータ解析方法。
【請求項１０】請求項７記載のデータ解析方法におい
て、解析の条件を入力する手段は、ルールの個数を入力
し、ルールを選択する手段は、ルールの良さを評価する
評価関数によって、よいルールを上記個数だけ選択する
ことを特徴とするデータ解析方法。
【請求項１１】請求項７乃至１０のいずれか１項記載の
データ解析方法において、第１カウンタはＡかつＢの成
り立つ個数についてのカウンタであり、第２カウンタは
第１カウンタでＡかつＢの成り立つ個数が０以外であっ
た項目の値の組み合わせについてのみ用意されたカウン
タであり、管理サーバのカウンタを更新する手段は、第
１カウンタについてはＢの成り立つレコードのみについ
てカウンタを更新し、計算サーバの第２カウンタについ
てはＢが成り立たないレコードのみについてカウンタを
更新することを特徴とするデータ解析方法。
【請求項１２】請求項７乃至１０のいずれか１項記載の
データ解析方法において、第１カウンタはＡかつＢの成
り立つ個数についてのカウンタであり、解析の条件を入
力する手段は、第１カウンタでＡかつＢの成り立つ個数
が０以外であった項目の値の組み合わせについて、条件
Ａを細分化する条件を入力し、第２カウンタは上記細分
化された条件について用意されたカウンタであり、管理
サーバのカウンタを更新する手段は、第１カウンタにつ
いてはＢの成り立つレコードのみについてカウンタを更
新し、計算サーバの第２カウンタについてはＢの成立・
不成立にかかわらずすべてのレコードについてカウンタ
を更新することを特徴とするデータ解析方法。
【請求項１３】請求項７乃至１２のいずれか１項記載の
データ解析方法において、分散処理を計画する手段は、
複数の計算サーバにレコードを分散して配布し、第２カ
ウンタは分散しないことを特徴とするデータ解析方法。
【請求項１４】請求項７乃至１２のいずれか１項記載の
データ解析方法において、分散処理を計画する手段は、
複数の計算サーバに第２カウンタを分散して配布し、レ
コードは分散しないで、すべて同じものを用意すること
を特徴とするデータ解析方法。
【請求項１５】請求項７乃至１４のいずれか１項記載の
データ解析方法において、管理サーバのレコードを記憶
する手段と計算サーバのレコードを記憶する手段とが実
際には同一であることを特徴とするデータ解析方法。
【請求項１６】請求項１乃至１５のいずれか１項記載の
データ解析方法をプログラムに記憶し、コンピュータで
読み取り可能な媒体であることを特徴とするデータ解析
方法。
【請求項１７】請求項１乃至１５のいずれか１項記載の
データ解析方法をプログラムに記憶し、コンピュータで
読み取り可能なようにし、それをネットワークを通じて
配布するシステムであることを特徴とするデータ解析方
法。
【請求項１８】請求項１乃至１５のいずれか１項記載の
データ解析方法をプログラムに記憶し、実行する装置で
あることを特徴とするデータ解析方法。