JP3358103B2 - データ統合方法 - Google Patents
データ統合方法Info
- Publication number
- JP3358103B2 JP3358103B2 JP28962495A JP28962495A JP3358103B2 JP 3358103 B2 JP3358103 B2 JP 3358103B2 JP 28962495 A JP28962495 A JP 28962495A JP 28962495 A JP28962495 A JP 28962495A JP 3358103 B2 JP3358103 B2 JP 3358103B2
- Authority
- JP
- Japan
- Prior art keywords
- integration
- record
- records
- file
- condition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
システムのデータベースに含まれるレコードから新しい
レコードを作成するデータ統合技術に係り、特に、複数
の提供側業務システムからのデータベースデータを受信
する業務システムの構築や、データウェアハウス(複数
の提供側業務システムからのデータベースデータを抽出
して構築される意志決定支援用のデータベース)の構築
などを高効率化するのに好適なデータ統合方法に関する
ものである。
複数の業務システムのデータベースに含まれるレコード
のうち、指定された条件、すなわち統合条件を満たすレ
コード同士をまとめて、新しいレコード(統合レコー
ド)を作成する処理のことである。尚、統合前のレコー
ドが統合条件を満たす最大の回数を統合基数と呼ぶ。
現況レコードの統合例を説明する。ここで、統合条件、
および、統合基数に関して以下の仮定をおく。 統合条件:設備設計.設備コード=設備現況.設備コード AND 設備設計.工事完了日=設備現況.最新工事完了日 統合基数:設備設計:1(設備設計レコード241に対応する設備現況レコー ド242は1つ) 設備現況:1(設備現況レコード242に対応する最新の設備設計 レコード241は1つ) この場合、設備設計レコード241と設備現況レコード
242の図中の矢印で対応付けられた組み合わせ3組が
統合される。
ードと専用線レコードの統合例を説明する。図25に示
すように、伝送路251は、高々2本の専用線252を
収容し、専用線252は、必ず1本の伝送路251に収
容されるとする。すなわち、統合基数は以下と仮定す
る。 統合基数:伝送路:2(伝送路が収容する専用線は2本) 専用線:1(専用線が収容される伝送路は1本) また、統合条件に関して以下の仮定をおく。 統合条件:伝送路.伝送路コード=専用線.収容伝送路
コード この場合、図26における矢印で対応付けて示されるよ
うに、伝送路レコード261が1つと専用線262が2
つの組み合わせ3組が統合される。
ーションプログラムを作成することによって実現されて
いた。以下、従来の統合処理に係る2つの代表的技術を
説明する。まず、全レコードファイルの利用による統合
技術に関して、図27を用いて説明する。統合処理を行
なう利用側システム277は、提供側システムX271
と提供側システムY274から、それぞれ、全レコード
ファイルX273と全レコードファイルY276を受信
して、受信した全レコードファイルX273内のレコー
ドと、全レコードファイルY276内のレコードとの間
で統合処理を行なう。この技術の問題は、提供側データ
ベースX272、あるいは、提供側データベースY40
5の全レコードの量が多い場合、全レコードファイルの
送信に多くの時間が必要となり、提供側システムX27
1あるいは提供側システムY274の性能を大きく圧迫
してしまうことである。
ータベースへのアドホックアクセスによる統合技術に関
して、図28を用いて説明する。統合処理を行なう利用
者側システム287は、提供側システムX281と提供
側システムY284から、それぞれ前回受信後の差分フ
ァイル(差分ファイルX283,差分ファイルY28
6)を受信した後、以下の手順で統合を行なう。まず、
差分ファイルX283と差分ファイルY286との間で
統合を行なう。そして、差分ファイルX283のレコー
ドの中で、統合条件を満たす回数が統合基数に達しなか
ったレコードについて、提供側システムY284のデー
タベースY285にアドホックアクセス289を行な
い、統合相手のレコードを検索し、統合を試みる。同様
に、差分ファイルY286のレコードの中で、統合条件
を満たす回数が統合基数に達しなかったレコードについ
て、提供側システムX281のデータベースX282に
アドホックアクセス288を行ない、統合相手のレコー
ドを検索し、統合を試みる。
で、新たに統合可能なレコードは全て統合される。しか
し、この技術の問題は、提供側データベースX282へ
のアドホックなアクセス288、あるいは、提供側デー
タベースY285へのアドホックなアクセス289が発
生する場合、提供側システムX281、あるいは、提供
側システムY284の性能を圧迫することである。
データベースへのレコードの投入漏れを見つけることが
難しいという共通の問題点がある。この問題の簡単な解
決技術としては、統合条件を満たす回数が統合基数未満
の全てのレコードを、統合処理システムの運用者にエラ
ー通知し、運用者が、各レコードの統合相手の投入漏れ
の有無を確認するというものが考えられる。しかし、一
般に、各提供側システムの運用(データ投入、および、
差分ファイルの統合処理システムへの送信)が同期して
いる保証はなく、本来、統合条件を満たすべきレコード
の一部の受信時期が、他のレコードの受信時期とずれる
ことがありうる。その結果、上述の解決技術では、単
に、受信時期がずれているだけのレコードが、大量に、
運用者にエラー通知される危険性があり、上述の解決策
は、非現実的である。
点は、従来の技術では、提供側システムからの全レコー
ド送信、あるいは、提供側システムへのアドホックなア
クセスが必要であり、提供側システムの性能を圧迫して
しまう点と、提供側データベースへのレコードの投入漏
れを高信頼かつ効率的に見つけることができない点であ
る。本発明の目的は、これら従来技術の課題を解決し、
差分ファイルを送信した提供側システムからの全レコー
ド送信、あるいは、提供側システムへのアドホックなア
クセスを不要とし、提供者側システムの性能圧迫の軽減
を可能とすると共に、提供側データベースへのレコード
の投入漏れの容易な検出を可能とするデータ統合方法を
提供することである。
め、本発明のデータ統合方法は、(1)複数のデータベ
ースから送信された各ファイルを受信し、この受信した
各ファイル内の各レコードが予め指定された統合条件を
満たすか否かを評価し、この統合条件を満足したレコー
ド同士をまとめて、新しいレコードを作成するデータ統
合方法において、評価時に、各レコードの統合条件を満
足した回数を各レコード毎に計数し、この回数が、統合
条件を満足する最大回数を表す統合基数に達したか否か
を判別し、統合条件を満足した回数が統合基数に達しな
かったレコードを、統合条件を満足した回数を対応付け
て一時蓄積し、新たに各データベースから送信された前
回ファイルとの差分ファイルを受信し、この差分ファイ
ル内のレコードの評価時、一時蓄積したレコードを含め
て評価および計数を行ない、一時蓄積したレコードの
内、統合条件を満足した回数が統合基数に達したレコー
ドを一時蓄積から破棄し、各差分ファイル内のレコード
および一時蓄積したレコードの内、統合条件を満足した
回数が統合基数に達しなかったレコードを、次の差分フ
ァイル受信時の再評価用に、統合条件を満足した回数を
対応付けて一時蓄積することを特徴とする。また、
(2)複数のデータベースから送信された各ファイルを
受信し、この受信した各ファイル内の各レコードが予め
指定された統合条件を満たすか否かを評価し、この統合
条件を満足したレコード同士をまとめて、新しいレコー
ドを作成するデータ統合方法において、評価時に、各レ
コードの統合条件を満足した回数を各レコード毎に計数
し、この回数が、統合条件を満足する最大回数を表す統
合基数に達したか否かを判別し、統合条件を満足した回
数が統合基数に達しなかったレコードを、統合条件を満
足した回数と最初に受信した日時を対応付けて一時蓄積
し、新たに各データベースから送信された前回ファイル
との差分ファイルを受信し、この差分ファイル内のレコ
ードの評価時、一時蓄積したレコードを含めて評価およ
び計数を行ない、一時蓄積したレコードの内、統合条件
を満足した回数が統合基数に達したレコードを一時蓄積
から破棄し、各差分ファイル内のレコードおよび一時蓄
積したレコードの内、統合条件を満足した回数が統合基
数に達しなかったレコードを、次の差分ファイル受信時
の再評価用に、統合条件を満足した回数と最初に受信し
た日時を対応付けて一時蓄積し、かつ、この再評価用に
一時蓄積するレコードの内、受信日時から予め設定され
た蓄積期限を越えたレコードを抽出して、エラー通知す
ることを特徴とする。また、(3)複数のデータベース
から送信された各ファイルを受信し、この受信した各フ
ァイル内の各レコードが予め指定された統合条件を満た
すか否かを評価し、この統合条件を満足したレコード同
士をまとめて、新しいレコードを作成するデータ統合方
法において、評価時に、各レコードの統合条件を満足し
た回数を各レコード毎に計数し、この回数が、統合条件
を満足する最大回数を表す統合基数に達したか否かを判
別し、統合条件を満足した回数が統合基数に達しなかっ
たレコードを、統合条件を満足した回数と評価を受けた
総回数(被統合処理回数)を対応付けて一時蓄積し、新
たに各データベースから送信された前回ファイルとの差
分ファイルを受信し、この差分ファイル内のレコードの
評価時、一時蓄積したレコードを含めて評価および計数
を行ない、一時蓄積したレコードの内、統合条件を満足
した回数が統合基数に達したレコードを一時蓄積から破
棄し、各差分ファイル内のレコードおよび一時蓄積した
レコードの内、統合条件を満足した回数が統合基数に達
しなかったレコードを、次の差分ファイル受信時の再評
価用に、統合条件を満足した回数と被統合処理回数を対
応付けて一時蓄積し、かつ、この再評価用に一時蓄積す
るレコードの内、被統合処理回数が予め設定された回数
を越えたレコードを抽出して、エラー通知することを特
徴とする。また、(4)上記(1)から(3)のいずれ
かに記載のデータ統合方法において、レコードへの統合
条件を満足した回数の対応付けは、各レコードに、統合
条件を満足した回数を登録するフィールドを追加して行
なうことを特徴とする。
たした回数が統合基数に満たないレコードを、統合条件
を満たす可能性を残しているレコードとして、統合条件
を満たした回数を対応付けて、図2に示す一時蓄積部2
に一時的に蓄積する。そして、統合条件の評価の際、受
信ファイル内の各レコードに加えて、一時蓄積部2に蓄
積した各レコードも評価対象としてデータ統合処理を行
なう。この時、新たに統合したレコードに関して、統合
条件を満足した回数を加算する。この加算結果が統合基
数に達したレコードは、一時蓄積部2から削除し、統合
基数に満たないレコードのみ、加算結果を対応付けて一
時蓄積部2に蓄積する。
す可能性があるか否かの判断を、統合条件を満足した回
数が統合基数に達したか否かで行なう。このことによ
り、提供側システムから受信するファイルを、全レコー
ドファイルではなく、前回受信後の差分ファイルとする
場合、従来必要であったアドホックアクセスは、一時蓄
積部2へのアクセスによって代替でき不要となる。すな
わち、新たに統合条件を満たす可能性のあるレコード
は、新たに受信した差分ファイル内のレコード、およ
び、以前に受信したファイル内のレコードの内、統合条
件を満たした総回数が統合基数に達しないレコードであ
り、この以前に受信したファイル内のレコードは、以前
の統合処理において一時蓄積部2に蓄積されている。従
って、新たに統合条件を満たしうるレコードは、受信し
た差分ファイル内、あるいは、一時蓄積部2に全て存在
しており、本発明により、新たに統合可能なレコードは
漏れなく統合されることになる。
レコードの一時蓄積期限の閾値として一時蓄積期限日時
を予め設定して管理する。すなわち、レコードの一時蓄
積部2への蓄積時、統合条件を満たした回数と共に、レ
コードの最初の受信日時も対応付けておく。そして、一
時蓄積部2に一時蓄積したレコードに対して、最初の受
信日時から統合処理時点までの経過日時を算出し、この
経過日時が、一時蓄積期限日時を越えるか否かを判別す
る。このことにより、例えば、提供側のデータベースへ
のレコードの投入漏れがあった場合のエラーを効率良く
検出することができる。
ードの投入漏れがあった場合、そのレコードとの統合相
手となるレコードの統合条件満足回数が統合基数に達す
ることはないため、本発明によれば、所定の時期に、運
用者にエラー通知される。運用者は、このエラー通知に
基づき、レコードの投入漏れの有無を確認できる。ここ
で、運用者にエラー通知が行なわれるのは、一時蓄積期
限で示される期間を越えて一時蓄積されたレコードだけ
である。これにより、本来、統合条件を満たすべき複数
のレコードの受信時期にずれが生じた場合でも、そのず
れが一時蓄積期限内ならば、先行して、受信したレコー
ドが運用者にエラー通知されることはない。従って、大
量のレコードが運用者にエラー通知される危険性は少な
く、本発明は、提供側データベースへのレコードの投入
漏れを見つけるための現実的な解となる。
コードの一時蓄積期限の閾値として、統合処理が行なわ
れた回数(被統合処理回数=一時蓄積された回数)を予
め設定して管理する。すなわち、レコードの一時蓄積部
2への蓄積時、統合条件を満たした回数と共に、一時蓄
積された回数(被統合処理回数)も対応付けておく。そ
して、一時蓄積部2に一時蓄積したレコードに対して、
その蓄積回数を加算し、この加算結果が、被統合処理回
数を越えるか否かを判別する。これにより、上述の一時
蓄積期限日時を一時蓄積期限の閾値として用いた場合と
同様、提供側のデータベースへのレコードの投入漏れの
エラー検出を効率良く行なうことができ、レコードの投
入漏れを見つけるための現実的な解となる。
説明する。図1は、本発明のデータ統合方法の本発明に
係る処理の第1の実施例を示すフローチャートであり、
図2は、その処理を行なうシステムの構成例を示すブロ
ック図である。図2における本発明のデータ統合処理を
行なうシステムは、統合制御用情報を管理する統合制御
情報管理部1と、レコードを一時的に蓄積する一時蓄積
部2と、レコードにフィールドを追加する統合前処理部
3と、統合レコードを作成する統合レコード作成部4
と、レコードの破棄、あるいは、一時蓄積部2への蓄積
を行なう統合後処理部5とからなる。
による本発明に係る動作説明を、図1に基づき行なう。
まず、統合制御情報管理部1において、統合条件および
レコードタイプの組み合わせ毎に統合基数を予め設定し
管理する(ステップ101)。提供側システムからファ
イルを受信すると(ステップ102)、統合前処理部3
において、図3に示すように、受信したファイル内のレ
コード31に統合条件満足回数フィールド32を追加す
る(ステップ103)。
信ファイル内のレコードおよび一時蓄積部に蓄積された
レコードについて統合条件を評価し、統合条件を満たす
レコードの組み合わせから統合レコードを作成する(ス
テップ104)。そして、統合後処理部5において、受
信ファイル内のレコードおよび一時蓄積部2に蓄積され
たレコードの内、次の図4において詳細を示すように、
一部のレコードを破棄し、残りを一時蓄積部2に蓄積す
る(ステップ105)。
に係る詳細動作例を示すフローチャートである。以降の
動作を受信ファイル内の各レコードおよび一時蓄積部に
蓄積された各レコードについて行なう(ステップ40
1)。まず、受信ファイル内の各レコードおよび一時蓄
積部に蓄積された各レコードの内、未処理のレコードを
一つ取り出し(ステップ402)、図3の統合条件満足
回数フィールド32に対して新たに統合条件を満たした
回数を加算する(ステップ403)。次に、統合条件満
足回数フィールド32の値を統合制御情報管理部1で管
理された統合基数と比較し(ステップ404)、この統
合条件満足回数フィールド32の値が統合基数に達した
レコードを破棄し(ステップ405)、達しないレコー
ドを一時蓄積部2に蓄積する(ステップ406)。
レコードと設備現況レコードとの統合の例を用いて、図
5〜図7に従って説明する。尚、ここで、統合条件は以
下の通りとする。 設備設計、設備コード=設備現況、設備コードAND
設備設計、工事完了日=設備現況、最新工事完了日 また、統合基数は以下の通りとする。 設備設計:1(設備設計レコードに対応する設備現況レ
コードは1つ) 設備現況:1(設備現況レコードに対応する最新の設備
設計レコードは1つ) また、提供側システムおよび統合処理システムとも初期
状態とする ・一回目のファイル受信時の各提供側データベースの内
容は、対応する受信ファイルの内容と等しいものとす
る。 ・統合処理システムの一時蓄積部2に蓄積されているレ
コードはないものとする。
ド一回目受信ファイル51として4つのレコード(設備
コード1001〜1004)を、また、設備現況レコー
ド一回目受信ファイル52として2つのレコード(設備
コード1001,1002)を受信する。それぞれの受
信ファイル内のレコードに対して統合条件を評価し、図
6の一回目統合処理で作成された統合レコード61とし
て示すように、統合レコードを2つ(設備コード100
1,1002)作成する。しかし、統合条件満足回数が
統合基数未満(=0)の、設備設計レコードの2つ(設
備コード1003,1004)は、図6の一回目統合処
理終了時点で一時蓄積部に蓄積された設備設計レコード
62として示すように図2の一時蓄積部2に蓄積する。
ド二回目受信ファイル71として2つのレコード(設備
コード1005,1006)を、また、設備現況レコー
ド二回目受信ファイル72として4つのレコード(設備
コード1003〜1006)を受信する。受信ファイル
71,72内のレコードと、図2の一時蓄積部2に蓄積
された図6のレコード62に対して統合条件を評価する
ことにより、二回目統合処理で作成された統合レコード
73で示すように、統合レコードを4つ(設備コード1
003〜1006)作成する。
信ファイル内のレコードに加えて、図2の一時蓄積部2
に蓄積されたレコードも統合条件評価対象とすることに
より、新たに統合可能なレコードを漏れなく統合するこ
とができる。また、図2の一時蓄積部2へのアクセスに
より、従来の技術で必要であった提供側データベースへ
のアドホックアクセスが代替され、不要となる。
15に従って説明する。図8は、本発明のデータ統合方
法の本発明に係る処理の第2の実施例を示すフローチャ
ートである。本例の処理は、第1の実施例と同様に図2
に示す構成のシステムにより行なわれる。まず、統合制
御情報管理部1において、統合条件およびレコードタイ
プの組み合わせ毎に統合基数を予め設定し管理する(ス
テップ801)。提供側システムからファイルを受信す
ると(ステップ802)、統合前処理部3において、図
9に示すように、受信したファイル内のレコード91
に、統合条件満足回数フィールド92と受信日時フィー
ルド93を追加し、統合条件満足回数フィールド92の
初期値として「0」を設定し、受信日時フィールド93
の初期値として受信日時を設定する(ステップ80
3)。
信ファイル内のレコードおよび一時蓄積部2に蓄積した
各レコードについて統合条件を評価し、統合条件を満た
すレコードの組み合わせから統合レコードを作成する
(ステップ804)。そして、統合後処理部5におい
て、受信ファイル内のレコードおよび一時蓄積部2に蓄
積したレコードの内、次の図10において詳細を示すよ
うに、一部のレコードを破棄し、残りを一時蓄積部2に
蓄積し、さらに、一時蓄積部2に蓄積されたレコードの
内一時蓄積期限を越えて一時蓄積されているレコードを
エラー通知する(ステップ805)。
明に係る詳細動作例を示すフローチャートである。以降
の動作を受信ファイル内の各レコードおよび一時蓄積部
2に蓄積された各レコードについて行なう(ステップ1
11)。まず、受信ファイル内の各レコードおよび一時
蓄積部2に蓄積された各レコードの内、未処理のレコー
ドを一つ取り出し(ステップ112)、図9の統合条件
満足回数フィールド92に対して新たに統合条件を満た
した回数を加算する(ステップ113)。
2の値を統合制御情報管理部1に管理された統合基数と
比較し(ステップ114)、統合条件満足回数フィール
ド92の値が統合基数に達したレコードを破棄し(ステ
ップ115)、達しないレコードを一時蓄積部2に蓄積
する(ステップ116)。さらに、この一時蓄積部2に
蓄積したレコードについて、図9の受信日時フィールド
93の値から統合処理時点までの経過日時と、統合制御
情報管理部1に管理された一時蓄積期限とを比較し(ス
テップ117)、経過日時が統合制御情報管理部1に管
理された一時蓄積期限を過ぎているレコードを運用者に
エラー通知する(ステップ118)。
レコードと設備現況レコードとの統合の例を用いて、図
11〜図16に従って説明する。尚、ここで、統合条件
は以下の通りとする。 設備設計、設備コード=設備現況、設備コードAND
設備設計、工事完了日=設備現況、最新工事完了日 また、統合基数は以下の通りとする。 設備設計:1(設備設計レコードに対応する設備現況レ
コードは1つ) 設備現況:1(設備現況レコードに対応する最新の設備
設計レコードは1つ)
提供側システムおよび統合処理システムとも初期状態と
する ・一回目のファイル受信時の各提供側データベースの内
容は、対応する受信ファイルの内容と等しいものとす
る。 ・統合処理システムの一時蓄積部2に蓄積されているレ
コードは無いものとする。 そして、各提供側システムからのファイル受信は一日一
回とする。
ード一回目受信ファイル111aとして1つのレコード
(設備コード1002)を、また、設備現況レコード一
回目受信ファイル112aとして、同じく1つのレコー
ド(設備コード1001)を受信する。それぞれの受信
ファイル(111a,112a)内のレコードに対して
統合条件を評価する。ここでは、統合条件を満たすレコ
ードはないので、統合レコードは作成されない。そし
て、統合条件満足回数が統合基数未満(=0)であるレ
コード(すなわち受信ファイル111a,112a内の
全レコード)を、それぞれ、一時蓄積部に蓄積された設
備設計レコード113a、一時蓄積部に蓄積された設備
現況レコード114aとして、図2の一時蓄積部2に蓄
積する。
ード二回目受信ファイル121として2つのレコード
(設備コード1003,1004)を、また、設備現況
レコード二回目受信ファイル122として2つのレコー
ド(設備コード1002,1003)を受信する。これ
らの受信ファイル(121,122)内のレコードと、
図2の一時蓄積部2に蓄積された図11のレコード11
3a,114aに対して統合条件を評価することによ
り、図13における統合レコード131で示すように、
統合レコードを2つ(設備コード1002,1003)
作成する。しかし、設備コード1001,1004に関
しては、統合条件を満たさないので、統合条件満足回数
を統合基数未満(=0)として、図13に示す一時蓄積
部に蓄積された設備設計レコード132、一時蓄積部に
蓄積された設備現況レコード133として、図2の一時
蓄積部2に蓄積する。
コード三回目受信ファイル141として2つのレコード
(設備コード1005,1006)を、また、設備現況
レコード三回目受信ファイル142として2つのレコー
ド(設備コード1004,1005)を受信する。そし
て、これらの受信ファイル(141,142)内のレコ
ードと、図2の一時蓄積部2に蓄積された図13のレコ
ード132,133に対して統合条件を評価することに
より、図15における統合レコード151で示すよう
に、統合レコードを2つ(設備コード1004,100
5)作成する。
関しては、統合条件を満たさないので、統合条件満足回
数を統合基数未満(=0)として、図15に示す一時蓄
積部に蓄積された設備設計レコード152、一時蓄積部
に蓄積された設備現況レコード153として、図2の一
時蓄積部2に蓄積する。ここで、この一時蓄積部2に蓄
積するレコード(152,153)の内、受信日時フィ
ールドの値から統合処理時点までの経過日時が一時蓄積
期限(=1日)を過ぎたもの、すなわち、設備コード1
001の設備現況レコードが統合処理システム運用者に
エラー通知される。
たレコードをチェックし、例えば、設備設計レコード1
001が投入漏れであることを検出する。このように、
本実施例においては、レコードの投入漏れがある場合、
いずれは、その統合相手のレコードが運用者にエラー通
知される。また、受信日のずれが1日(=一時蓄積期
限)以内のレコードが、受信日のずれだけに起因してエ
ラー通知されることはない。従って、少ない数(本実施
例では「1」)のレコードだけが運用者にエラー通知さ
れることになる。
図23に従って説明する。図16は、本発明のデータ統
合方法の本発明に係る処理の第3の実施例を示すフロー
チャートである。本例の処理は、第1,第2の実施例と
同様に図2に示す構成のシステムにより行なわれる。ま
ず、統合制御情報管理部1により、統合条件およびレコ
ードタイプの組み合わせ毎に統合基数を予め設定し管理
する(ステップ161)。提供側システムからファイル
を受信すると(ステップ162)、統合前処理部3にお
いて、図17に示すように、受信したファイル内のレコ
ード171に、統合条件満足回数フィールド172と被
統合処理回数フィールド173を追加し、統合条件満足
回数フィールド172および被統合処理回数フィールド
173の初期値としてそれぞれ「0」を設定する(ステ
ップ163)。
信ファイル内のレコードおよび一時蓄積部2に蓄積した
各レコードについて統合条件を評価し、統合条件を満た
すレコードの組み合わせから統合レコードを作成する
(ステップ164)。そして、統合後処理部5におい
て、受信ファイル内のレコードおよび一時蓄積部2に蓄
積したレコードの内、次の図18において詳細を示すよ
うに、一部のレコードを破棄し、残りを一時蓄積部2に
蓄積し、さらに、一時蓄積部2に蓄積されたレコードの
内、一時蓄積期限を越えて一時蓄積されているレコード
をエラー通知する(ステップ165)。
発明に係る詳細動作例を示すフローチャートである。以
降の動作を受信ファイル内の各レコードおよび一時蓄積
部に蓄積された各レコードについて行なう(ステップ1
81)。まず、受信ファイル内の各レコードおよび一時
蓄積部2に蓄積された各レコードの内、未処理のレコー
ドを一つ取り出し(ステップ182)、図17の統合条
件満足回数フィールド172に対して新たに統合条件を
満たした回数を加算し(ステップ183)、また、図1
7の被統合処理回数フィールド173に対して「1」を
加算する(ステップ184)。
ド172の値を統合制御情報管理部1に管理された統合
基数と比較し(ステップ185)、この統合条件満足回
数フィールド92の値が統合基数に達したレコードを破
棄し(ステップ186)、達しないレコードを一時蓄積
部2に蓄積する(ステップ187)。さらに、この一時
蓄積部2に蓄積したレコードについて、図17の被統合
処理回数フィールド173の値と統合制御情報管理部1
に管理された一時蓄積期限とを比較し(ステップ18
8)、この被統合処理回数フィールド173の値が統合
制御情報管理部1に管理された一時蓄積期限を過ぎてい
るレコードを運用者にエラー通知する(ステップ18
9)。
レコードと設備現況レコードとの統合の例を用いて、図
19〜図23に従って説明する。統合条件を以下の通り
とする。 設備設計、設備コード=設備現況、設備コードAND
設備設計、工事完了日=設備現況、最新工事完了日 また、統合基数を以下の通りとする。 設備設計:1(設備設計レコードに対応する設備現況レ
コードは1つ) 設備現況:1(設備現況レコードに対応する最新の設備
設計レコードは1つ)
提供側システムおよび統合処理システムとも初期状態と
する ・一回目のファイル受信時の各提供側データベースの内
容は、対応する受信ファイルの内容と等しいものとす
る。 ・統合処理システムの一時蓄積部2に蓄積されているレ
コードはないものとする。
ード一回目受信ファイル191として1つのレコード
(設備コード1002)を、また、設備現況レコード一
回目受信ファイル192として、同じく1つのレコード
(設備コード1001)を受信する。それぞれの受信フ
ァイル(191,192)内のレコードに対して統合条
件を評価する。ここでは、統合条件を満たすレコードは
ないので、統合レコードは作成されない。そして、統合
条件満足回数が統合基数未満(=0)であるレコード
(すなわち受信ファイル191,192内の全レコー
ド)を、それぞれ、一時蓄積部に蓄積された設備設計レ
コード193および一時蓄積部に蓄積された設備現況レ
コード194として示すように、一時蓄積部2に蓄積す
る。この時、それぞれのレコード(設備コード100
1,1002)の被統合処理回数は「1」に加算され
る。
ード二回目受信ファイル201として2つのレコード
(設備コード1003,1004)を、また、設備現況
レコード二回目受信ファイル202として2つのレコー
ド(設備コード1002,1003)を受信する。これ
らの受信ファイル201,202内のレコードと、図2
の一時蓄積部2に蓄積された図19のレコード193,
194に対して統合条件を評価することにより、図21
における統合レコード211で示すように、統合レコー
ドを2つ(設備コード1002,1003)作成する。
しかし、設備コード1001,1004に関しては、統
合条件を満たさないので、統合条件満足回数を統合基数
未満(=0)として、図20において、それぞれ、一時
蓄積部に蓄積された設備設計レコード212、一時蓄積
部に蓄積された設備現況レコード213として示すよう
に、図2の一時蓄積部2に蓄積する。ここで、設備コー
ド1001のレコードの被統合処理回数は「2」とな
る。
コード三回目受信ファイル221として2つのレコード
(設備コード1005,1006)を、また、設備現況
レコード三回目受信ファイル222ととして2つのレコ
ード(設備コード1004,1005)を受信する。そ
して、これらの受信ファイル221,222内のレコー
ドと、図2の一時蓄積部2に蓄積された図21のレコー
ド212,213に対して統合条件を評価することによ
り、図23における統合レコード231で示す統合レコ
ードを2つ(設備コード1004,1005)作成す
る。
関しては、統合条件を満たさないので、統合条件満足回
数を統合基数未満(=0)とし、図23における一時蓄
積部に蓄積された設備設計レコード232、一時蓄積部
に蓄積された設備現況レコード233として、図2の一
時蓄積部2に蓄積する。ここで、一時蓄積部2に蓄積す
るレコード(232,233)の内、被統合処理回数が
一時蓄積期限(=2回)を過ぎたもの、すなわち、設備
コード1001の設備現況レコードが統合処理システム
運用者にエラー通知される。
たレコードをチェックし、例えば、設備設計データベー
スへの設備レコード1001が投入漏れであることを検
出する。このように、本実施例においては、レコードの
投入漏れがある場合、いずれは、その統合相手のレコー
ドが運用者にエラー通知される。また、受信のずれが2
回(=一時蓄積期限)以内のレコードが、受信回数のず
れだけに起因してエラー通知されることはない。従っ
て、少ない数(本実施例では「1」)のレコードだけが
運用者にエラー通知されることになる。
に、本実施例のデータ統合方法では、受信ファイル内の
レコードに加えて、一時蓄積部に蓄積されたレコードを
も統合処理対象とする。このことにより、提供側システ
ムからの受信ファイルを全レコードファイルではなく、
差分ファイルとすることができる。さらに、一時蓄積部
2へのアクセスにより、提供側システムへのアドホック
アクセスを代替できる。従って、従来の技術に比較し、
提供側システムの性能圧迫を軽減できる。また、統合条
件を満たした総回数が統合基数に達したレコードは、一
時蓄積部2に蓄積されることなく破棄されるので、一時
蓄積部2に蓄積されるレコード数が際限なく拡張し続け
ることはない。
合、その統合相手レコードの統合条件満足回数が統合基
数に達することはないため、いずれ統合相手レコードが
運用者にエラー通知される。運用者は、このエラー通知
に基づきレコードの投入漏れの有無を確認できる。この
場合、本実施例では、運用者にエラー通知が行なわれる
のは、一時蓄積期限で示される期間を越えて一時蓄積さ
れたレコードだけである。これにより、本来、統合条件
を満たすべき複数のレコードの受信時期にずれが生じた
場合でも、そのずれが一時蓄積期限以内ならば、先行し
て受信したレコードが運用者にエラー通知されることは
ない。従って、大量のレコードが運用者にエラー通知さ
れる危険性は少なく、本実施例は、レコードの投入漏れ
を見つけるための現実的な解となる。
した実施例に限定されるものではなく、その要旨を逸脱
しない範囲において種々変更可能である。例えば、運用
者がエラー通知されたレコードを一時蓄積部2から削除
することにより、一時蓄積部に蓄積されるレコード数を
制限することが可能となる。
全レコード送信、あるいは、提供側システムへのアドホ
ックなアクセスが不要となり、提供側システムの性能の
圧迫を軽減できると共に、提供側データベースへのレコ
ードの投入漏れを高信頼かつ効率的に検出することが可
能である。
第1の実施例を示すフローチャートである。
示すブロック図である。
例を示す説明図である。
作例を示すフローチャートである。
1/3部分である。
2/3部分である。
3/3部分である。
第2の実施例を示すフローチャートである。
例を示す説明図である。
動作例を示すフローチャートである。
の1/5部分である。
の2/5部分である。
の3/5部分である。
の4/5部分である。
の5/5部分である。
の第3の実施例を示すフローチャートである。
構成例を示す説明図である。
細動作例を示すフローチャートである。
図の1/5部分である。
図の2/5部分である。
図の3/5部分である。
図の4/5部分である。
図の5/5部分である。
の統合例を示す説明図である。
との関係を示す説明図である。
合例を示す説明図である。
理例を示す説明図である。
示す説明図である。
処理部、4:統合レコード作成部、5:統合後処理部、
31:受信したファイル内のレコード、32:統合条件
満足回数フィールド、51:設備設計レコード一回目受
信ファイル、52:設備現況レコード一回目受信ファイ
ル、61:一回目統合処理で作成された統合レコード、
62:一回目統合処理終了時点で一時蓄積部に蓄積され
た設備設計レコード、71:設備設計レコード二回目受
信ファイル、72:設備現況レコード二回目受信ファイ
ル、73:二回目統合処理で作成された統合レコード、
91:受信したファイル内のレコード、92:統合条件
満足回数フィールド、93:受信日時フィールド、11
1a:設備設計レコード一回目受信ファイル、112
a:設備現況レコード一回目受信ファイル、113a:
一時蓄積部に蓄積された設備設計レコード、114a:
一時蓄積部に蓄積された設備現況レコード、121:設
備設計レコード二回目受信ファイル、122:設備現況
レコード二回目受信ファイル、131:二回目統合処理
で作成された統合レコード、132:一時蓄積部に蓄積
された設備設計レコード、133:一時蓄積部に蓄積さ
れた設備現況レコード、141:設備設計レコード三回
目受信ファイル、142:設備現況レコード三回目受信
ファイル、151:三回目統合処理で作成された統合レ
コード、152:一時蓄積部に蓄積された設備設計レコ
ード、153:一時蓄積部に蓄積された設備現況レコー
ド、171:受信したファイル内のレコード、172:
統合条件満足回数フィールド、173:被統合処理回数
フィールド、191:設備設計レコード一回目受信ファ
イル、192:設備現況レコード一回目受信ファイル、
193:一時蓄積部に蓄積された設備設計レコード、1
94:一時蓄積部に蓄積された設備現況レコード、20
1:設備設計レコード二回目受信ファイル、202:設
備現況レコード二回目受信ファイル、211:二回目統
合処理で作成された統合レコード、212:一時蓄積部
に蓄積された設備設計レコード、213:一時蓄積部に
蓄積された設備現況レコード、221:設備設計レコー
ド三回目受信ファイル、222:設備現況レコード三回
目受信ファイル、231:三回目統合処理で作成された
統合レコード、232:一時蓄積部に蓄積された設備設
計レコード、233:一時蓄積部に蓄積された設備現況
レコード、241:設備設計レコード、242:設備現
況レコード、251:伝送路、252:専用線、26
1:伝送路レコード、262:専用線レコード、27
1:提供側システムX、272:データベースX、27
3:全レコードファイルX、274:提供側システム
Y、275:データベースY、276:全レコードファ
イルY、277:利用側システム、281:提供側シス
テムX、282データベースX、283:全差分ファイ
ルX、284:提供側システムY、285:データベー
スY、286:差分ファイルY、287:利用側システ
ム、288,289:アドホックアクセス。
Claims (4)
- 【請求項1】 複数のデータベースから送信された各フ
ァイルを受信し、該受信した各ファイル内の各レコード
が予め指定された統合条件を満たすか否かを評価し、該
統合条件を満足したレコード同士をまとめて、新しいレ
コードを作成するデータ統合方法において、上記評価
時、上記各レコードの上記統合条件を満足した回数を各
レコード毎に計数し、該回数が、上記統合条件を満足す
る最大回数を表す統合基数に達したか否かを判別し、上
記統合条件を満足した回数が上記統合基数に達しなかっ
たレコードを、上記統合条件を満足した回数を対応付け
て一時蓄積し、新たに上記各データベースから送信され
た前回ファイルとの差分ファイルを受信し、該差分ファ
イル内のレコードの評価時、上記一時蓄積したレコード
を含めて上記評価および計数を行ない、上記一時蓄積し
たレコードの内、上記統合条件を満足した回数が上記統
合基数に達したレコードを一時蓄積から破棄し、上記各
差分ファイル内のレコードおよび上記一時蓄積したレコ
ードの内、上記統合条件を満足した回数が上記統合基数
に達しなかったレコードを、次の差分ファイル受信時の
上記評価用に、上記統合条件を満足した回数を対応付け
て一時蓄積することを特徴とするデータ統合方法。 - 【請求項2】 複数のデータベースから送信された各フ
ァイルを受信し、該受信した各ファイル内の各レコード
が予め指定された統合条件を満たすか否かを評価し、該
統合条件を満足したレコード同士をまとめて、新しいレ
コードを作成するデータ統合方法において、上記評価
時、上記各レコードの上記統合条件を満足した回数を各
レコード毎に計数し、該回数が、上記統合条件を満足す
る最大回数を表す統合基数に達したか否かを判別し、上
記統合条件を満足した回数が上記統合基数に達しなかっ
たレコードを、上記統合条件を満足した回数と最初に受
信した日時を対応付けて一時蓄積し、新たに上記各デー
タベースから送信された前回ファイルとの差分ファイル
を受信し、該差分ファイル内のレコードの評価時、上記
一時蓄積したレコードを含めて上記評価および計数を行
ない、上記一時蓄積したレコードの内、上記統合条件を
満足した回数が上記統合基数に達したレコードを一時蓄
積から破棄し、上記各差分ファイル内のレコードおよび
上記一時蓄積したレコードの内、上記統合条件を満足し
た回数が上記統合基数に達しなかったレコードを、次の
差分ファイル受信時の再評価用に、上記統合条件を満足
した回数と最初に受信した日時を対応付けて一時蓄積
し、かつ、該再評価用に一時蓄積するレコードの内、上
記受信日時から予め設定された蓄積期限を越えたレコー
ドを抽出して、エラー通知することを特徴とするデータ
統合方法。 - 【請求項3】 複数のデータベースから送信された各フ
ァイルを受信し、該受信した各ファイル内の各レコード
が予め指定された統合条件を満たすか否かを評価し、該
統合条件を満足したレコード同士をまとめて、新しいレ
コードを作成するデータ統合方法において、上記評価
時、上記各レコードの上記統合条件を満足した回数を各
レコード毎に計数し、該回数が、上記統合条件を満足す
る最大回数を表す統合基数に達したか否かを判別し、上
記統合条件を満足した回数が上記統合基数に達しなかっ
たレコードを、上記統合条件を満足した回数と上記評価
を受けた総回数(被統合処理回数)を対応付けて一時蓄
積し、新たに上記各データベースから送信された前回フ
ァイルとの差分ファイルを受信し、該差分ファイル内の
レコードの評価時、上記一時蓄積したレコードを含めて
上記評価および計数を行ない、上記一時蓄積したレコー
ドの内、上記統合条件を満足した回数が上記統合基数に
達したレコードを一時蓄積から破棄し、上記各差分ファ
イル内のレコードおよび上記一時蓄積したレコードの
内、上記統合条件を満足した回数が上記統合基数に達し
なかったレコードを、次の差分ファイル受信時の再評価
用に、上記統合条件を満足した回数と上記被統合処理回
数を対応付けて一時蓄積し、かつ、該再評価用に一時蓄
積するレコードの内、上記被統合処理回数が予め設定さ
れた回数を越えたレコードを抽出して、エラー通知する
ことを特徴とするデータ統合方法。 - 【請求項4】 請求項1から請求項3のいずれかに記載
のデータ統合方法において、上記レコードへの上記統合
条件を満足した回数の対応付けは、上記レコードに、上
記統合条件を満足した回数を登録するフィールドを追加
して行なうことを特徴とするデータ統合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28962495A JP3358103B2 (ja) | 1995-11-08 | 1995-11-08 | データ統合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28962495A JP3358103B2 (ja) | 1995-11-08 | 1995-11-08 | データ統合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09134301A JPH09134301A (ja) | 1997-05-20 |
| JP3358103B2 true JP3358103B2 (ja) | 2002-12-16 |
Family
ID=17745650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28962495A Expired - Lifetime JP3358103B2 (ja) | 1995-11-08 | 1995-11-08 | データ統合方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3358103B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008234464A (ja) * | 2007-03-22 | 2008-10-02 | Nec Fielding Ltd | 商品検索システム及びデータベース |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04199237A (ja) * | 1990-11-26 | 1992-07-20 | Nec Corp | 分散ファイルキャッシュ制御方式 |
| JPH04360248A (ja) * | 1991-06-06 | 1992-12-14 | Nec Corp | リモートファイル更新方式 |
| JPH0581337A (ja) * | 1991-09-21 | 1993-04-02 | Toshiba Corp | データ処理装置 |
| JPH05225250A (ja) * | 1992-02-17 | 1993-09-03 | Fujitsu Ltd | 関係データベースのテーブル結合方式 |
| JP3266351B2 (ja) * | 1993-01-20 | 2002-03-18 | 株式会社日立製作所 | データベース管理システムおよび問合せの処理方法 |
-
1995
- 1995-11-08 JP JP28962495A patent/JP3358103B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09134301A (ja) | 1997-05-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8150888B2 (en) | Automatic elimination of functional dependencies between columns | |
| CN119271704A (zh) | 一种大数据实时处理系统及方法 | |
| CN109947730A (zh) | 元数据恢复方法、装置、分布式文件系统及可读存储介质 | |
| CN111611056B (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
| CN112612865A (zh) | 一种基于Elasticsearch的文档存储方法和装置 | |
| US7546311B2 (en) | Optimization of left and right outer join operations in database management systems | |
| CN119441169B (zh) | 服务器日志文档的处理方法及装置 | |
| Cheng et al. | An efficient FPRAS type group testing procedure to approximate the number of defectives | |
| US7441252B2 (en) | Cache control device, and method and computer program for the same | |
| CN113872994B (zh) | 组织架构同步方法、装置、计算机设备和存储介质 | |
| CN118227573A (zh) | 基于日志实现分布式事务流的方法和装置 | |
| CN114546731B (zh) | 一种工作流数据恢复方法及数据恢复系统 | |
| CN110825784A (zh) | 一种低效业务过程的检测方法及装置 | |
| CN116938312A (zh) | 针对北斗短报文的报文处理方法、装置、设备和介质 | |
| CN116361349A (zh) | 一种数据处理方法和相关装置 | |
| CN115293908B (zh) | 异常交易事件的识别方法、装置、计算机设备和存储介质 | |
| CN116016561A (zh) | 数据的同步方法和装置 | |
| US8788483B2 (en) | Method and apparatus for searching in a memory-efficient manner for at least one query data element | |
| JPH09134301A (ja) | データ統合方法 | |
| CN115391445A (zh) | 一种数据推送方法和相关装置 | |
| CN114911762A (zh) | 一种数据文件的处理方法、装置、服务器和存储介质 | |
| CN114185907A (zh) | 数据库同步到数据仓库的方法、装置和电子装置 | |
| CN107704557B (zh) | 操作互斥数据的处理方法、装置、计算机设备和存储介质 | |
| CN113472808A (zh) | 日志的处理方法、装置、存储介质及电子装置 | |
| CN111813833A (zh) | 一种实时二度通联关系数据挖掘的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071011 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081011 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091011 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101011 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101011 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111011 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111011 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121011 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121011 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131011 Year of fee payment: 11 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |