JPH06332957A - データ処理方法 - Google Patents

データ処理方法

Info

Publication number
JPH06332957A
JPH06332957A JP5116184A JP11618493A JPH06332957A JP H06332957 A JPH06332957 A JP H06332957A JP 5116184 A JP5116184 A JP 5116184A JP 11618493 A JP11618493 A JP 11618493A JP H06332957 A JPH06332957 A JP H06332957A
Authority
JP
Japan
Prior art keywords
data
information group
noncoincidence
item
mismatch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP5116184A
Other languages
English (en)
Inventor
Toshio Nakamura
敏夫 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP5116184A priority Critical patent/JPH06332957A/ja
Publication of JPH06332957A publication Critical patent/JPH06332957A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

(57)【要約】 【目的】 データベース・システムのデータ群に、新た
なデータ不良の発生や、不良データに基づく作業の危険
性を防ぐ。 【構成】 プログラム35は、対象データベース10の
全データについて別データベース20のデータと突き合
わせてデータ不一致を検出し、データ不一致情報群50
として登録する。データ検索時、本来のデータ検索に先
立って、該当データ項目がデータ不一致情報群50にあ
るか検索し、あれば、該当データ項目にはデータ不一致
が既に検出済みであることを出力する。また、データ更
新時、該当データ項目の関してデータ不一致情報群50
を検索し、あれば、該当データ項目に関するデータ不一
致情報をデータ不一致情報群50から削除する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、データベース・システ
ム等で管理している複数データ項目からなるデータの集
まりからなるデータ群のデータ不良を含むはデータ不一
致に関して、そのデータの検索あるいは更新を行うデー
タ処理方法に関するものである。
【0002】
【従来の技術】データベース・システム等で管理してい
るデータ群には、あってはならないことであるが、実際
にはデータ不良が存在する(参考文献としては、Huh
Y Uet al.:Data quality,Information and softw
are technology,Vol.32,No.8,pp.559−5
65(1990)など)。ここで、データ不良とは、あ
るデータ項目の値(value)が、例えば、血液型が
正しくは、“A型”であるのに、データ群中では、“B
型”となっているなど、値の誤りを示すものである。
【0003】以下に、従来におけるデータ・チェック、
即ち、データ不良の検出方法について説明する。
【0004】データ不良の検出では、データベースシス
テム中のデータ群と実体(現実の世界の情報を言う)と
の比較を行うわけであるが、この実体との比較は、通常
の場合、多大な時間と人手を要する。そのため、従来は
簡易な手段として、対象とするデータベースシステムと
は別のデータベースで、共通しているデータ項目(かな
らずしも同値ではない)に関し、値を突き合わせること
で、データ不良の存在を検出する方法が採られる場合が
多かった。
【0005】図5に、従来のかかるデータ不良検出方法
の構成図を示す。図において、10はデータ不良検出を
行う対象データベース(DB−a)、20は比較するた
めの別のデータベース(DB−b)、30は両者のデー
タベースの等価のデータ項目間の値の突き合わせを行う
データ不良検出プログラム、40はデータ不良検出プロ
グラム30の実行結果を示す出力リストである。
【0006】定期的に実行するデータ不良検出処理は、
必ず対象データベース10と比較する別のデータベース
20とで行うものとする。
【0007】まず、データ不良検出プログラム30は、
対象データベース10と別データベース20のそれぞれ
のデータ群から、キー値の一致するデータ同士を選択す
る。次に、1対のデータの対応するデータ項目同士の突
き合わせを行い、“同一の意味を持つ値であるか否か”
を判定する。同一の意味を持つ値で無い場合は、データ
不一致として、出力リスト40に出力する。なお、デー
タ項目によっては、両者のコード体系が違う場合も有
り、その場合は、データ変換後、突き合わせを行うこと
になる。以上の処理を、対象データベース10の全デー
タについて行う。その後、出力リスト40をもとに、デ
ータ不良を検証し、データ不良については修正すること
になる。
【0008】なお、出力リスト40には、データ不一致
の情報を出力するといった意味は、データ不良検出プロ
グラム30が通常完全ではないため、データ不良では無
いが、“データ不一致”として、リストに出力されるか
ら、結局のところ、出力リスト40は、データ不一致の
情報群ということである。これは、同一の意味を持つ値
であるか否かという判定のケース分けが複雑なため、完
全プログラム化することが効率的でないという理由から
である。
【0009】上述したように、データベースシステムに
は、データ不良が存在するために、業務処理としては、 本来業務としてのデータ検索/更新処理業務(本来
処理) データ修正処理業務:運用中におけるデータ不良発
見あるいはお客様申告によるデータ修正 の2つがある。
【0010】ここで、データ不良に関して、以下の特徴
がある。 データ不良検出/データ不良の判断 〜 正解値の
把握 〜 データ修正に至るまでに、多大な時間と人手
を要している。 データ不良の可能性があるが、未だ該当データ項目
が特定できていないものがある。 (例1)どちらかが誤っているのであるが、該当データ
ベースの方かは検証できていない場合 (例2)複数データ項目の組合せに関するデータ不良
で、データ不良が、複数の内、どこのデータ項目かが不
明の場合 上述したように、結局ところ、データベース中のデータ
には、 データ不良であるもの データ不良と判断できなく、データ不良の可能性が
あるもの の両方が存在していることになる。
【0011】従来、データベースシステムの中には、デ
ータ不一致に関する情報が管理されていないため、以下
の問題点があった。
【0012】(問題点1)既にデータ更新処理業務で、
データ不良であったデータ項目が更新されていたが、そ
の後、データ修正業務でさらに更新をした結果、新たに
データ不良となる場合がある。 〈例〉顧客系のデータベースシステムの場合 時刻T1:データ不良検出時 該当データ項目の値が、正しくは、“AAA”であるの
に、“BBB”となっていた。 時刻T2:本来業務としてのデータ更新処理時 お客様注文により、“BBB”に更新した。(この更新
値は、時刻T1のデータ不良とたまたま同じ) 時刻T3:データ修正処理時 データ修正処理業務で、“AAA”に修正した(更
新)。
【0013】(問題点2)データ不良を検出していなが
ら、データ不良が修正されていなかったため、不良デー
タをもとに、その後の処理(例えば、工事など)を実施
してしまう危険性があるが、そのガードができない。
【0014】
【発明が解決しようとする課題】上述したように、従来
のデータ不良の検出方法においては、出力リストしかな
く、データベースシステム中に、データ不一致に関する
情報が一切管理されていないことにより、新たなデータ
不良が発生したり、あるいは不良データに基づいて作業
を行う危険性を避けられないという問題点があった。
【0015】本発明の目的は、上記のごとき問題点を解
決するにあり、新たなデータ不良の発生、及び不良デー
タをもとに作業をするという危険性を自動的に避けるこ
とを可能とするデータ処理方法を提供することにある。
【0016】
【課題を解決するための手段】上記目的を達成するため
に、請求項1の発明では、データベース・システムなど
で管理している複数データの集まりからなるデータ群に
おけるデータ不良等のあるものに関して、そのデータの
検索あるいは更新を行う場合、予めデータ不一致を検出
した時のデータ群中のデータ不一致の情報群(データ不
一致情報群)を登録しておき、データ検索時、該当デー
タがデータ不一致情報群にあれば、該当データにはデー
タ不一致が既に検出済みであることを出力するようにし
たことである。
【0017】また、請求項2の発明では、データ更新
時、該当データがデータ不一致情報群にあれば、該当デ
ータに関するデータ不一致情報を削除するようにしたこ
とである。なお、請求項2の発明は、請求項1のデータ
処理方法において、データ更新がデータ不良に係わるも
のであった場合、更新された後も、データ不一致情報群
にデータ不一致情報が残ってしまうという問題に対処す
るものである。
【0018】
【作用】本発明では、登録済みのデータ不一致情報群を
もとに、データ検索時は、該当データがデータ不一致情
報群にあれば、該当データにはデータ不一致が既に検出
済みであることを出力することができ、また、データ更
新時には、該当データがデータ不一致情報群にあれば、
該当データに関するデータ不一致情報を削除することが
できるから、新たなデータ不良の発生、及び不良データ
をもとに作業するという危険性を避けることが自動的に
可能になる。
【0019】
【実施例】以下、本発明の一実施例を図面を用いて具体
的に説明する。
【0020】図1は、本発明の一実施例の構成図であ
り、10はデータ不良検出を行う対象データベース(D
B−a)、20は比較するための別のデータベース(D
B−b)、35は両者のデータベースの等価なデータ項
目間の値の突き合わせを行うデータ不良検出プログラ
ム、45はデータ不良検出プログラム35の実行結果と
しての出力リスト、50はデータ不良検出プログラム3
5の実行結果として登録する対象データベース10のデ
ータ不一致の情報群である。
【0021】初めに、対象データベース10のデータ不
一致情報群50の登録処理について説明する。
【0022】まず、データ不良検出プログラム35は、
対象データベース10と別データベース20のそれぞれ
のデータ群から、キー値の一致するデータ同士を選択す
る。これは、従来技術の場合と同等である。次に、1対
のデータの対応するデータ項目同士の値の突き合わせを
行い、“同一の意味を持つ値であるか否か”を判定す
る。同一意味を持つ値で無い場合は、データ不一致とし
て、データ不一致情報のレコードをデータ不一致情報群
50に書き出す。以上の処理を、対象データベース10
の全データについて行う。これで、データ不一致情報群
50の登録が完了する。
【0023】図2は、データ不一致情報群50の1レコ
ードの論理的な構成を示したものであり、対象データベ
ース10及び別データベース20のデータを一意に識別
するキー値71、データ項目を識別する情報であるデー
タ項目識別情報72、そのデータの属性73、基準にな
る値(この場合は、別データベース20の該データの該
データ項目における値)74、対象データベース10の
該データの該データ項目の値75から構成されている。
なお、データ1件につき、n件のデータ不良があれば、
n件分のデータ不一致情報レコードが並ぶことになる。
【0024】次に、本来のアプリケーションプログラム
(AP)で行うデータ検索及び更新処理における処理手
順を説明する。
【0025】〈データ検索処理〉図3に、本発明による
データ検索処理のフローチャートを示す。本来のデータ
の検索処理(処理104)を行う前に、処理101〜1
03を実行する。まず、検索に指定されたデータの該当
データ項目に関して、データ不一致情報群50を検索す
る(処理101)。次に、検索結果の有無(有り:デー
タ不一致)を調べる(処理102)。もし無ければ、何
もしない。有れば、該当データ項目に関するデータ不一
致情報を表示/出力する(処理103)。次に、本来の
処理であるデータ検索処理ステートメントを発行する
(処理104)。
【0026】〈データ更新処理の場合〉図4には、本発
明によるデータ更新処理フローチャートを示す。データ
の更新には、以下の3種類がある。 新規データの追加 (SQLでは、INSERTス
テートメント) データ項目値の変更(SQLでは、UPDATEス
テートメント) データの削除 (SQLでは、DELETEス
テートメント) まず、データ更新処理ステートメントを発行して、指定
されたデータ項目について、更新する(処理111)。
次に、更新に指定されたデータの該当データ項目に関し
て、データ不一致情報群50を検索する(処理11
2)。次に、検索結果の有無(有り:データ不一致)を
調べる(処理113)。もし無ければ、何もしない。も
し有りの場合、データ不一致情報群50により、該当デ
ータの該当データ項目に関するデータ不一致情報レコー
ドを削除する(処理114)。
【0027】また、上記手順を変更して、本来のデータ
更新の直前において、念のため、該当更新に関連するデ
ータ不一致情報があれば、出力することも容易に可能で
ある。
【0028】なお、INSERTステートメントについ
ては、新規データ追加であり、データ不一致情報群には
該当レコードは無いので、この手順で処理する必は無
い。
【0029】以上、本発明の一実施例について説明した
が、本発明は、図1乃至図4を用いて説明した実施例に
限定されるものではなく、その要旨を逸脱しない範囲に
おいて種々変更可能である。例えば、本実施例では、A
Pロジックの本来の更新系ステートメント発行の前後
で、登録済みのデータ不一致情報群を検索/更新する方
法で示したが、登録済みのデータ不一致情報群の検索/
更新ができる方法であれば、どんな方法であってもよ
い。また、データ不一致情報群は、データベースのテー
ブルとしてもよいし、単にファイルでもよい。
【0030】
【発明の効果】以上説明したように、本発明によれば、
登録済みのデータ不一致情報群をもとに、データ検索時
は、該当データがデータ不一致情報群にあれば、該当デ
ータにはデータ不一致が既に検出済みであることを出力
することでき、また、データ更新時には、該当データが
データ不一致情報群にあれば、該当データに関するデー
タ不一致情報を削除することができるため、新たなデー
タ不良の発生、及び不良データをもとに作業するという
危険性を避けることができる。
【図面の簡単な説明】
【図1】本発明の一実施例の構成図である。
【図2】本発明によるデータ不一致情報の1レコードの
構成例を示す図である。
【図3】本発明によるデータ検索処理における処理手順
を示す図である。
【図4】本発明によるデータ更新処理における処理手順
を示す図である。
【図5】従来のデータ不良検出方法の構成例を示す図で
ある。
【符号の説明】
10 対象データベース 20 比較するための別データベース 35 データ不良検出プログラム 45 出力リスト 50 データ不一致情報群

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 データベース・システムなどで管理して
    いる複数データの集まりからなるデータ群におけるデー
    タ不一致があるものに関して、そのデータの検索あるい
    は更新を行うデータ処理方法であって、予めデータ不一
    致を検出した時のデータ群中のデータ不一致の情報群
    (データ不一致情報群)を登録しておき、データ検索
    時、該当データがデータ不一致情報群にあれば、該当デ
    ータにはデータ不一致が既に検出済みであることを出力
    することを特徴とするデータ処理方法。
  2. 【請求項2】 請求項1に記載のデータ処理方法におい
    て、データ更新時、該当データがデータ不一致情報群に
    あれば、該当データに関するデータ不一致情報を削除す
    ることを特徴とするデータ処理方法。
JP5116184A 1993-05-18 1993-05-18 データ処理方法 Pending JPH06332957A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP5116184A JPH06332957A (ja) 1993-05-18 1993-05-18 データ処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5116184A JPH06332957A (ja) 1993-05-18 1993-05-18 データ処理方法

Publications (1)

Publication Number Publication Date
JPH06332957A true JPH06332957A (ja) 1994-12-02

Family

ID=14680896

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5116184A Pending JPH06332957A (ja) 1993-05-18 1993-05-18 データ処理方法

Country Status (1)

Country Link
JP (1) JPH06332957A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104616460A (zh) * 2014-09-15 2015-05-13 中国神华能源股份有限公司 用于重载综合检测车的预警方法和系统
CN113762995A (zh) * 2020-06-08 2021-12-07 北京沃东天骏信息技术有限公司 一种价值属性值获取方法、装置、设备及存储介质
JP2021189516A (ja) * 2020-05-26 2021-12-13 三菱電機株式会社 登録補助装置、登録補助方法及び登録補助プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104616460A (zh) * 2014-09-15 2015-05-13 中国神华能源股份有限公司 用于重载综合检测车的预警方法和系统
JP2021189516A (ja) * 2020-05-26 2021-12-13 三菱電機株式会社 登録補助装置、登録補助方法及び登録補助プログラム
CN113762995A (zh) * 2020-06-08 2021-12-07 北京沃东天骏信息技术有限公司 一种价值属性值获取方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US7219104B2 (en) Data cleansing
US7127475B2 (en) Managing data integrity
CN112307124B (zh) 数据库同步验证方法、装置、设备及存储介质
US8359339B2 (en) Graphical user interface for configuration of an algorithm for the matching of data records
CN106033436B (zh) 一种数据库的合并方法
US20040034699A1 (en) Managing data integrity using a filter condition
US20080027578A1 (en) Parts production management system and parts production management method
US11086906B2 (en) System and method for reconciliation of data in multiple systems using permutation matching
CN112099981A (zh) 系统数据自动检查修复方法
JP6655582B2 (ja) データ統合支援システム及びデータ統合支援方法
JPH06332957A (ja) データ処理方法
US20250028706A1 (en) Rollback-Free Referential Integrity Update Processing
JPH1040255A (ja) ハッシュ表管理装置
KR100532823B1 (ko) 데이터 무결성 관리장치와 관리방법 그리고 그 방법을컴퓨터 상에서 실행하는 프로그램을 기록한 기록매체
CN113780950A (zh) 数据处理方法、装置、服务器和可读存储介质
JP3181419B2 (ja) プログラム開発成果物の管理方式
JP2000010839A (ja) データ登録処理方法及び装置及びデータ登録処理プログラムを格納した記憶媒体
CN112925856B (zh) 实体关系分析方法、装置、分析设备及计算机存储介质
JP6664201B2 (ja) 突合処理装置及び突合処理方法並びに突合処理プログラム
JPH07295868A (ja) データベースの整合性制約管理方法
JP2002007121A (ja) ソースファイル変更履歴管理方法、装置およびプログラムを記録した記録媒体
JPH07234809A (ja) データ処理方法及びチェックスキップ機能を有する計算機
JPH06332956A (ja) データ処理方法
JPH06314226A (ja) データ更新方法
CN118467534A (zh) 一种识别数据库表间关系的方法、系统、电子设备及存储介质