JPH11238006A - データクリーニング処理方法および装置とデータクリーニング処理プログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 アプリケーションプログラムの個別作成や人
手による目視確認処理を必要とせずに、表現形式が均一
でないデータが格納されたファイルから不整合データを
除去して統合レコードを効率的に作成するデータクリー
ニング処理方法および装置とデータクリーニング処理プ
ログラムを記録した記録媒体を提供する。 【解決手段】 レコード統一化処理部１でレコード統一
化定義４に従いレコードの各データ項目に対して統一表
現形式のデータ項目の統一化レコードを作成し、レコー
ド統合処理部２でレコード統合定義５に従い統一化レコ
ード群に対して同一データ項目値を有する統一化レコー
ドを統合した統合レコードを作成し、データ項目間制約
条件チェック処理部３でデータ項目間制約条件チェック
定義６に従い統合レコードのデータ項目間制約条件をチ
ェックし、その結果を表示するデータ項目を付加したデ
ータ項目間制約条件チェック結果レコードを作成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、データ値の表現形
式が均一でないデータが格納された１つ以上のファイル
から、複数のレコードを突合し、不整合データを除去し
て、統一された表現形式の統合レコードを作成するデー
タクリーニング処理方法および装置とデータクリーニン
グ処理プログラムを記録した記録媒体に関し、更に詳し
くは、例えば複数の基幹系データベースから抽出された
データを統合データベースまたはデータウェアハウスに
格納する際のデータクリーニング処理に適用し得るデー
タクリーニング処理方法および装置に関する。なお、こ
こで使用されているファイルとは、データベースから抽
出されたデータが格納されたファイルである。

【０００２】

【従来の技術】複数のデータベースから抽出されたデー
タをデータウェアハウスに格納する場合には、複数のデ
ータベースからデータが抽出されるので、（１）同一デ
ータ項目名であるがデータの意味が異質であったり、
（２）異なるデータ項目名であってもデータの意味が同
じであったり、（３）データ属性（型）が相違したり、
（４）データ形式や文字コードが相違したり、（５）デ
ータの不整合が発生するということがある。

【０００３】上述した（１）乃至（４）における問題は
複数のデータベースのスキーマ構造の相違に依存する問
題であり、データウェアハウスとして規定した統一スキ
ーマに変換するデータ流通プラットフォームDB-STREAM
（情報処理学会論文誌 Vol.38,No.12,1997,pp.2553-256
5 ）により解決されている。

【０００４】

【発明が解決しようとする課題】上述した（５）におけ
る問題は、複数のデータベース間のデータ値の相違に依
存する問題であり、従来は不整合データの検出および除
去（この処理をデータクリーニング処理と称する）を行
うアプリケーションプログラムを個別に作成したり、ま
たは人手による全データの目視確認で対処する必要があ
り、非効率的であるという問題がある。

【０００５】本発明は、上記に鑑みてなされたもので、
その目的とするところは、アプリケーションプログラム
の個別作成や人手による目視確認処理を必要とせずに、
表現形式が均一でないデータが格納されたファイルから
不整合データを除去して統合レコードを効率的に作成す
るデータクリーニング処理方法および装置とデータクリ
ーニング処理プログラムを記録した記録媒体を提供する
ことにある。

【０００６】

【課題を解決するための手段】上記目的を達成するた
め、請求項１記載の本発明は、データ値の表現形式が均
一でないデータが格納された入力ファイルから、複数の
レコードを突合し、不整合データを除去して統合レコー
ドを作成するデータクリーニング処理方法であって、レ
コードのデータ表現形式の統一方法を記述するレコード
統一化定義、複数のレコードの統合方法を記述するレコ
ード統合定義、およびレコード内のデータ項目間制約条
件のチェック方法を記述するデータ項目間制約条件チェ
ック定義を設け、データ項目毎のデータ表現形式を統一
化する標準データ統一化部品群、および該標準データ統
一化部品群以外にユーザが指定する統一化を可能とする
個別データ統一化部品群を定義しておき、前記レコード
統一化定義に従い、入力ファイルに格納された１つ以上
のレコードの各データ項目に対して前記標準データ統一
部品群および個別データ統一化部品群を使用し、統一表
現形式のデータ項目を作成し、各レコード中に付加して
統一化レコードを作成するレコード統一化処理を行い、
前記レコード統合定義に従い、レコード統一化処理結果
である統一化レコード群に対して、同一データ項目値を
有する統一化レコードを統合した統合レコードおよび同
一データ項目値を持たない統一化レコードである非統合
レコードをそれぞれ別ファイルに出力するレコード統合
処理を行い、前記データ項目間制約条件チェック定義に
従い、レコード統合処理結果である統合レコード内のデ
ータ項目間制約条件をチェックし、その結果を表示する
データ項目を付加したデータ項目間制約条件チェック結
果レコードを作成し、チェック結果を表示するデータ項
目値に従い、データ項目間制約条件チェック結果レコー
ドを別ファイルに出力するデータ項目間制約条件チェッ
ク処理を行うことを要旨とする。

【０００７】請求項１記載の本発明にあっては、レコー
ド統一化定義に従い、ファイルに格納されたレコードの
各データ項目に対して統一表現形式のデータ項目を作成
して統一化レコードを作成し、レコード統合定義に従
い、統一化レコード群に対して同一データ項目値を有す
る統一化レコードを統合した統合レコードおよび同一デ
ータ項目値を持たない統一化レコードである非統合レコ
ードを作成してそれぞれ別ファイルに格納し、データ項
目間制約条件チェック定義に従い、統合レコード内のデ
ータ項目間制約条件をチェックし、その結果を表示する
データ項目を付加したデータ項目間制約条件チェック結
果レコードを作成し、該レコードをチェック結果を表示
するデータ項目値に従い別ファイルに出力するため、従
来のように入力ファイル毎にデータクリーニング処理用
アプリケーションプログラムを作成する必要もないとと
もに、人手による全データの目視確認作業も必要なく、
効率化を図ることができる。

【０００８】また、請求項２記載の本発明は、データ値
の表現形式が均一でないデータが格納された入力ファイ
ルから、複数のレコードを突合し、不整合データを除去
して統合レコードを作成するデータクリーニング処理装
置であって、レコードのデータ表現形式の統一方法を記
述するレコード統一化定義、複数のレコードの統合方法
を記述するレコード統合定義、およびレコード内のデー
タ項目間制約条件のチェック方法を記述するデータ項目
間制約条件チェック定義を格納する定義格納手段と、デ
ータ項目毎のデータ表現形式を統一化する標準データ統
一化部品群、および該標準データ統一化部品群以外にユ
ーザが指定する統一化を可能とする個別データ統一化部
品群を定義して格納する部品群格納手段と、前記レコー
ド統一化定義に従い、入力ファイルに格納された１つ以
上のレコードの各データ項目に対して前記標準データ統
一部品群および個別データ統一化部品群を使用し、統一
表現形式のデータ項目を作成し、各レコード中に付加し
て統一化レコードを作成するレコード統一化処理手段
と、前記レコード統合定義に従い、レコード統一化処理
結果である統一化レコード群に対して、同一データ項目
値を有する統一化レコードを統合した統合レコードおよ
び同一データ項目値を持たない統一化レコードである非
統合レコードをそれぞれ別ファイルに出力するレコード
統合処理手段と、前記データ項目間制約条件チェック定
義に従い、レコード統合処理結果である統合レコード内
のデータ項目間制約条件をチェックし、その結果を表示
するデータ項目を付加したデータ項目間制約条件チェッ
ク結果レコードを作成し、チェック結果を表示するデー
タ項目値に従い、データ項目間制約条件チェック結果レ
コードを別ファイルに出力するデータ項目間制約条件チ
ェック処理手段とを有することを要旨とする。

【０００９】請求項２記載の本発明にあっては、レコー
ド統一化定義に従い、ファイルに格納されたレコードの
各データ項目に対して統一表現形式のデータ項目を作成
して統一化レコードを作成し、レコード統合定義に従
い、統一化レコード群に対して同一データ項目値を有す
る統一化レコードを統合した統合レコードおよび同一デ
ータ項目値を持たない統一化レコードである非統合レコ
ードを作成してそれぞれ別ファイルに格納し、データ項
目間制約条件チェック定義に従い、統合レコード内のデ
ータ項目間制約条件をチェックし、その結果を表示する
データ項目を付加したデータ項目間制約条件チェック結
果レコードを作成し、該レコードをチェック結果を表示
するデータ項目値に従い別ファイルに出力するため、従
来のように入力ファイル毎にデータクリーニング処理用
アプリケーションプログラムを作成する必要もないとと
もに、人手による全データの目視確認作業も必要なく、
効率化を図ることができる。

【００１０】更に、請求項３記載の本発明は、データ値
の表現形式が均一でないデータが格納された入力ファイ
ルから、複数のレコードを突合し、不整合データを除去
して統合レコードを作成するデータクリーニング処理プ
ログラムを記録した記録媒体であって、レコードのデー
タ表現形式の統一方法を記述するレコード統一化定義、
複数のレコードの統合方法を記述するレコード統合定
義、およびレコード内のデータ項目間制約条件のチェッ
ク方法を記述するデータ項目間制約条件チェック定義を
設け、データ項目毎のデータ表現形式を統一化する標準
データ統一化部品群、および該標準データ統一化部品群
以外にユーザが指定する統一化を可能とする個別データ
統一化部品群を定義しておき、前記レコード統一化定義
に従い、入力ファイルに格納された１つ以上のレコード
の各データ項目に対して前記標準データ統一部品群およ
び個別データ統一化部品群を使用し、統一表現形式のデ
ータ項目を作成し、各レコード中に付加して統一化レコ
ードを作成するレコード統一化処理を行い、前記レコー
ド統合定義に従い、レコード統一化処理結果である統一
化レコード群に対して、同一データ項目値を有する統一
化レコードを統合した統合レコードおよび同一データ項
目値を持たない統一化レコードである非統合レコードを
それぞれ別ファイルに出力するレコード統合処理を行
い、前記データ項目間制約条件チェック定義に従い、レ
コード統合処理結果である統合レコード内のデータ項目
間制約条件をチェックし、その結果を表示するデータ項
目を付加したデータ項目間制約条件チェック結果レコー
ドを作成し、チェック結果を表示するデータ項目値に従
い、データ項目間制約条件チェック結果レコードを別フ
ァイルに出力するデータ項目間制約条件チェック処理を
行うデータクリーニング処理プログラムを記録媒体に記
録することを要旨とする。

【００１１】請求項３記載の本発明にあっては、レコー
ド統一化定義に従い、ファイルに格納されたレコードの
各データ項目に対して統一表現形式のデータ項目を作成
して統一化レコードを作成し、レコード統合定義に従
い、統一化レコード群に対して同一データ項目値を有す
る統一化レコードを統合した統合レコードおよび同一デ
ータ項目値を持たない統一化レコードである非統合レコ
ードを作成してそれぞれ別ファイルに格納し、データ項
目間制約条件チェック定義に従い、統合レコード内のデ
ータ項目間制約条件をチェックし、その結果を表示する
データ項目を付加したデータ項目間制約条件チェック結
果レコードを作成し、該レコードをチェック結果を表示
するデータ項目値に従い別ファイルに出力するデータク
リーニング処理プログラムを記録媒体に記録しているた
め、該記録媒体を使用して、その流通性を高めることが
できる。

【００１２】

【発明の実施の形態】以下、図面を用いて本発明の実施
の形態について説明する。

【００１３】図１は、本発明の一実施形態に係るデータ
クリーニング処理装置の構成を示すブロック図である。
同図に示すデータクリーニング処理装置は、データ値の
表現形式が均一でないデータが格納された入力ファイル
から、複数のレコードを突合し、不整合データを除去し
て統合レコードを作成してファイルに出力するものであ
り、本実施形態では、一例として電話番号および顧客名
の表現形式が均一でない２つの顧客データベースから抽
出されたデータが格納されたファイルから電話番号およ
び顧客名が同一のレコードを統合したデータウェアハウ
スを構築する際のデータクリーニング処理に本発明のデ
ータクリーニング処理装置を適用する場合について説明
している。

【００１４】図１において、１はレコード統一化処理
部、２はレコード統合処理部、３はデータ項目間制約条
件チェック処理部、４はレコード統一化定義、５はレコ
ード統合定義、６はデータ項目間制約条件チェック定
義、７は標準データ統一化部品群、８は個別データ統一
化部品群、９と１０は入力ファイル、１１と１２はレコ
ード統一化処理結果ファイル、１３は統合レコード格納
ファイル、１４と１５は非統合レコード格納ファイル、
１６はデータ制約条件チェック結果ＯＫファイル、１７
はデータ制約条件チェック結果ＮＧファイルである。

【００１５】レコード統一化定義４は、レコードのデー
タ表現形式の統一方法を記述した定義であり、レコード
統合定義５は、複数のレコードの統合方法を記述した定
義であり、またデータ項目間制約条件チェック定義６
は、統合コード内のデータ項目間制約条件のチェック方
法を記述した定義である。レコード統一化定義４、レコ
ード統合定義５、データ項目間制約条件チェック定義６
は、具体的にはメモリ等に格納されているものである。

【００１６】また、標準データ統一化部品群７は、デー
タ項目毎のデータ表現形式を統一化する部品群であり、
個別データ統一化部品群８は、標準データ統一化部品群
７以外にユーザが指定する統一化を可能とする部品群で
ある。なお、標準データ統一化部品群７および個別デー
タ統一化部品群８は、その情報がメモリ等に格納されて
いるものである。

【００１７】レコード統一化処理部１は、レコード統一
化定義４に従い、標準データ統一化部品群７および個別
データ統一化部品群８を用いて、入力ファイル９中のレ
コードのデータ項目に対する統一表現形式のデータ項目
を付加し、レコード統一化処理結果ファイル１１に格納
する。次に、レコード統一化処理部１は、上記と同様
に、入力ファイル１０中の各レコードのデータ項目に対
する統一表現形式のデータ項目を付加し、レコード統一
化処理結果ファイル１２に格納する。

【００１８】レコード統合処理部２は、突合対象のデー
タ項目を指定したレコード統合定義５に従い、レコード
統一化処理部１の処理結果であるレコード統一化処理結
果ファイル１１とレコード統一化処理結果ファイル１２
中のレコードを突合し、同一のデータ項目値を持つレコ
ードを統合レコードとして、統合レコード格納ファイル
１３に格納する。同一のデータ項目値を持たないレコー
ド統一化処理結果ファイル１１中とレコード統一化処理
結果ファイル１２中のレコードは、それぞれ非統合レコ
ード格納ファイル１４と非統合レコード格納ファイル１
５に格納する。

【００１９】データ項目間制約条件チェック処理部３
は、統合レコード格納ファイル１３中の統合レコードの
データ項目値がデータ項目間制約条件チェック定義６を
満足するかどうかをチェックし、その結果（同一、相違
を識別する値）をデータ項目として追加し、そのデータ
項目値に従い、データ制約条件チェック結果ＯＫファイ
ル１６もしくはデータ制約条件チェック結果ＮＧファイ
ル１７のいずれかに格納する。

【００２０】次に、各部の詳細について図２〜図４に示
す説明図および図５に示す全体の動作を示すフローチャ
ートを参照して説明する。

【００２１】まず、レコード統一化処理部１の詳細につ
いて図２の説明図を参照して説明する。

【００２２】図２において、１はレコード統一化処理
部、４はレコード統一化定義、７は標準データ統一化部
品群、８は個別データ統一化部品群、９と１０は入力フ
ァイル、１１と１２はレコード統一化処理結果ファイ
ル、１８と１９は入力レコード、２０と２１は統一化レ
コードである。

【００２３】入力ファイル９と入力ファイル１０中に
は、それぞれ１つ以上の入力レコード１８と入力レコー
ド１９が格納されている。入力レコード１８は、複数の
データ項目Ａ１〜Ａｎで構成される。入力レコード１９
は、複数のデータ項目Ｂ１〜Ｂｍで構成される。

【００２４】レコード統一化処理部１は、入力ファイル
９から入力レコード１８を読み込み（図５のステップＳ
１１）、入力レコード１８のデータ項目Ａ１〜Ａｎに対
して使用する標準データ統一化部品群７および個別デー
タ統一化部品群８を指定したレコード統一化定義４に従
い、入力レコード１８のデータ項目Ａ１〜Ａｎに対応す
る統一表現形式のデータ項目ＮＡ１〜ＮＡｎを付加す
る。例えば、Ａ１が電話番号を格納するデータ項目であ
る場合、電話番号の様々な表現形式（“０１２−３４５
−６７８９”，“０１２（３４５）６７８９”，“（０
１２）３４５−６７８９”など）を統一表現形式（“０
１２３４５６７８９”）に変換し、データ項目ＮＡ１と
して付加する。また、Ａ２が顧客名を格納するデータ項
目である場合、顧客名の様々な表現形式を統一し（例え
ば、“（株）…”，“株）…”，“(株) …”，“…株
式会社”，“…（株）”，“…（株”などを“株式会社
…”に統一）、データ項目ＮＡ２として付加し、レコー
ド統一化処理結果ファイル１１に格納する。これを入力
ファイル９のすべての入力レコード１８に対して行う
（ステップＳ１３）。

【００２５】次に、レコード統一化処理部１は、入力フ
ァイル１０中のすべての入力レコード１９に対して、上
記と同様の処理を行い、レコード統一化処理結果ファイ
ル１２を作成する（ステップＳ１３）。

【００２６】次に、レコード統合処理部２の詳細につい
て図３を参照して説明する。

【００２７】図３において、２はレコード統合処理部、
５はレコード統合定義、１１と１２はレコード統一化処
理結果ファイル、１３は統合レコード格納ファイル、１
４と１５は非統合レコード格納ファイル、２０と２１は
統一化レコード、２２は統合レコード、２３と２４は非
統合レコードである。

【００２８】レコード統一化処理結果ファイル１１とレ
コード統一化処理結果ファイル１２中には、それぞれ１
つ以上の統一化レコード２０と統一化レコード２１が格
納されている。統一化レコード２０は、データ項目Ａ１
〜Ａｎ，ＮＡ１〜ＮＡｎで構成される。統一化レコード
２１はデータ項目Ｂ１〜Ｂｍ，ＮＢ１〜ＮＢｍで構成さ
れる。

【００２９】レコード統合処理部２は、複数レコードの
統合方法を記述したレコード統合定義５（例えば、統一
表現形式の電話番号で統合する場合の定義：「統一化レ
コード２０のデータ項目ＮＡ１と統一化レコード２１の
データ項目ＮＢ１の値が同一のレコードを統合する」）
に従い、データ項目ＮＡ１とデータ項目ＮＢ１の値が一
致する統一化レコード２０と２１から、データ項目Ａ１
〜Ａｎ，ＮＡ１〜ＮＡｎ，Ｂ１〜Ｂｍ，ＮＢ１〜ＮＢｍ
から構成される統合レコード２２を作成し、統合レコー
ド格納ファイル１３に格納する（ステップＳ１５）。デ
ータ項目ＮＡ１の値と一致するデータ項目ＮＢ１を持つ
統一化レコード２１が存在しない統一化レコード２０
は、非統合レコード２３として非統合レコード格納ファ
イル１４に格納する。データ項目ＮＢ１の値と一致する
データ項目ＮＡ１を持つ統一化レコード２０が存在しな
い統一化レコード２１は、非統合レコード２４として非
統合レコード格納ファイル１５に格納する（ステップＳ
１７）。

【００３０】次に、データ項目間制約条件チェック処理
部３の詳細について図４を参照して説明する。

【００３１】図４において、３はデータ項目間制約条件
チェック処理部、６はデータ項目間制約条件チェック定
義、１３は統合レコード格納ファイル、１６はデータ制
約条件チェック結果ＯＫファイル、１７はデータ制約条
件チェック結果ＮＧファイル、２２は統合レコード、２
５はデータ項目間制約条件チェック結果レコードであ
る。

【００３２】統合レコード格納ファイル１３中には、１
つ以上の統合レコード２２が格納されている。統合レコ
ード２２は、データ項目Ａ１〜Ａｎ，ＮＡ１〜ＮＡｎ，
Ｂ１〜Ｂｍ，ＮＢ１〜ＮＢｍから構成される。

【００３３】データ項目間制約条件チェック処理部３
は、データ項目間制約条件チェック定義６（例えば、顧
客名が同一であるかをチェックする場合の定義：「デー
タ項目ＮＡ２とＮＢ２が同一であること」）に従い、統
合レコード２２のデータ項目間の制約条件をチェック
し、チェック結果（例えば、同一は“０”、相違は
“９”の値）を示すデータ項目ＮＣを付加したデータ項
目間制約条件チェック結果レコード２５を作成し、デー
タ項目ＮＣの値が同一を示す値（“０”）である場合は
データ制約条件チェック結果ＯＫファイル１６へ格納
し、データ項目ＮＣの値が相違を示す値（“９”）であ
る場合はデータ制約条件チェック結果ＮＧファイル１７
へ格納する（ステップＳ１９）。

【００３４】

【発明の効果】以上説明したように、本発明によれば、
レコード統一化定義に従いレコードの各データ項目に対
して統一表現形式のデータ項目を作成して統一化レコー
ドを作成し、レコード統合定義に従い統一化レコード群
に対して同一データ項目値を有する統一化レコードを統
合して統合レコードを作成し、データ項目間制約条件チ
ェック定義に従い統合レコード内のデータ項目間制約条
件をチェックし、その結果を表示するデータ項目を付加
したデータ項目間制約条件チェック結果レコードを作成
し、該レコードをチェック結果を表示するデータ項目値
に従い別ファイルに出力するので、従来のように入力フ
ァイル毎にデータクリーニング処理用アプリケーション
プログラムを個別に作成する必要もないとともに、人手
による全データの目視確認作業も必要なく、効率化を図
ることができる。

【００３５】特に、本発明では、ユーザがレコード統一
化定義、レコード統合定義およびデータ項目間制約条件
チェック定義の３つの定義を行うだけでデータクリーニ
ング処理を実現できる。また、データクリーニング処理
をレコード統一化処理、レコード統合処理、データ項目
間制約条件チェック処理に分割することにより、データ
クリーニング処理内容に変更が発生した場合、処理内容
の修正箇所が限定され修正が容易であるとともに、各処
理の再利用が容易であり、不整合レコードの除去が段階
的に可能であって、不整合原因を早期に特定することが
できる。

【図面の簡単な説明】

【図１】本発明の一実施形態に係るデータクリーニング
処理装置の構成を示すブロック図である。

【図２】図１に示すデータクリーニング処理装置に使用
されているレコード統一化処理部の詳細な作用を示す説
明図である。

【図３】図１に示すデータクリーニング処理装置に使用
されているレコード統合処理部の詳細な作用を示す説明
図である。

【図４】図１に示すデータクリーニング処理装置に使用
されているデータ項目間制約条件チェック処理部の詳細
な作用を示す説明図である。

【図５】図１に示すデータクリーニング処理装置の全体
的処理を示すフローチャートである。

【符号の説明】

１ レコード統一化処理部 ２ レコード統合処理部 ３ データ項目間制約条件チェック処理部 ４ レコード統一化定義 ５ レコード統合定義 ６ データ項目間制約条件チェック定義 ７ 標準データ統一化部品群 ８ 個別データ統一化部品群

───────────────────────────────────────────────────── フロントページの続き (72)発明者 池田 哲夫 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内

Claims (3)

【特許請求の範囲】
1. 【請求項１】 データ値の表現形式が均一でないデータ
   が格納された入力ファイルから、複数のレコードを突合
   し、不整合データを除去して統合レコードを作成するデ
   ータクリーニング処理方法であって、 レコードのデータ表現形式の統一方法を記述するレコー
   ド統一化定義、複数のレコードの統合方法を記述するレ
   コード統合定義、およびレコード内のデータ項目間制約
   条件のチェック方法を記述するデータ項目間制約条件チ
   ェック定義を設け、 データ項目毎のデータ表現形式を統一化する標準データ
   統一化部品群、および該標準データ統一化部品群以外に
   ユーザが指定する統一化を可能とする個別データ統一化
   部品群を定義しておき、 前記レコード統一化定義に従い、入力ファイルに格納さ
   れた１つ以上のレコードの各データ項目に対して前記標
   準データ統一部品群および個別データ統一化部品群を使
   用し、統一表現形式のデータ項目を作成し、各レコード
   中に付加して統一化レコードを作成するレコード統一化
   処理を行い、 前記レコード統合定義に従い、レコード統一化処理結果
   である統一化レコード群に対して、同一データ項目値を
   有する統一化レコードを統合した統合レコードおよび同
   一データ項目値を持たない統一化レコードである非統合
   レコードをそれぞれ別ファイルに出力するレコード統合
   処理を行い、 前記データ項目間制約条件チェック定義に従い、レコー
   ド統合処理結果である統合レコード内のデータ項目間制
   約条件をチェックし、その結果を表示するデータ項目を
   付加したデータ項目間制約条件チェック結果レコードを
   作成し、チェック結果を表示するデータ項目値に従い、
   データ項目間制約条件チェック結果レコードを別ファイ
   ルに出力するデータ項目間制約条件チェック処理を行う
   ことを特徴とするデータクリーニング処理方法。
2. 【請求項２】 データ値の表現形式が均一でないデータ
   が格納された入力ファイルから、複数のレコードを突合
   し、不整合データを除去して統合レコードを作成するデ
   ータクリーニング処理装置であって、 レコードのデータ表現形式の統一方法を記述するレコー
   ド統一化定義、複数のレコードの統合方法を記述するレ
   コード統合定義、およびレコード内のデータ項目間制約
   条件のチェック方法を記述するデータ項目間制約条件チ
   ェック定義を格納する定義格納手段と、 データ項目毎のデータ表現形式を統一化する標準データ
   統一化部品群、および該標準データ統一化部品群以外に
   ユーザが指定する統一化を可能とする個別データ統一化
   部品群を定義して格納する部品群格納手段と、 前記レコード統一化定義に従い、入力ファイルに格納さ
   れた１つ以上のレコードの各データ項目に対して前記標
   準データ統一部品群および個別データ統一化部品群を使
   用し、統一表現形式のデータ項目を作成し、各レコード
   中に付加して統一化レコードを作成するレコード統一化
   処理手段と、 前記レコード統合定義に従い、レコード統一化処理結果
   である統一化レコード群に対して、同一データ項目値を
   有する統一化レコードを統合した統合レコードおよび同
   一データ項目値を持たない統一化レコードである非統合
   レコードをそれぞれ別ファイルに出力するレコード統合
   処理手段と、 前記データ項目間制約条件チェック定義に従い、レコー
   ド統合処理結果である統合レコード内のデータ項目間制
   約条件をチェックし、その結果を表示するデータ項目を
   付加したデータ項目間制約条件チェック結果レコードを
   作成し、チェック結果を表示するデータ項目値に従い、
   データ項目間制約条件チェック結果レコードを別ファイ
   ルに出力するデータ項目間制約条件チェック処理手段と
   を有することを特徴とするデータクリーニング処理装
   置。
3. 【請求項３】 データ値の表現形式が均一でないデータ
   が格納された入力ファイルから、複数のレコードを突合
   し、不整合データを除去して統合レコードを作成するデ
   ータクリーニング処理プログラムを記録した記録媒体で
   あって、 レコードのデータ表現形式の統一方法を記述するレコー
   ド統一化定義、複数のレコードの統合方法を記述するレ
   コード統合定義、およびレコード内のデータ項目間制約
   条件のチェック方法を記述するデータ項目間制約条件チ
   ェック定義を設け、 データ項目毎のデータ表現形式を統一化する標準データ
   統一化部品群、および該標準データ統一化部品群以外に
   ユーザが指定する統一化を可能とする個別データ統一化
   部品群を定義しておき、 前記レコード統一化定義に従い、入力ファイルに格納さ
   れた１つ以上のレコードの各データ項目に対して前記標
   準データ統一部品群および個別データ統一化部品群を使
   用し、統一表現形式のデータ項目を作成し、各レコード
   中に付加して統一化レコードを作成するレコード統一化
   処理を行い、 前記レコード統合定義に従い、レコード統一化処理結果
   である統一化レコード群に対して、同一データ項目値を
   有する統一化レコードを統合した統合レコードおよび同
   一データ項目値を持たない統一化レコードである非統合
   レコードをそれぞれ別ファイルに出力するレコード統合
   処理を行い、 前記データ項目間制約条件チェック定義に従い、レコー
   ド統合処理結果である統合レコード内のデータ項目間制
   約条件をチェックし、その結果を表示するデータ項目を
   付加したデータ項目間制約条件チェック結果レコードを
   作成し、チェック結果を表示するデータ項目値に従い、
   データ項目間制約条件チェック結果レコードを別ファイ
   ルに出力するデータ項目間制約条件チェック処理を行う
   ことを特徴とするデータクリーニング処理プログラムを
   記録した記録媒体。