WO2012088769A1 - 数据过滤系统和方法 - Google Patents

数据过滤系统和方法 Download PDF

Info

Publication number
WO2012088769A1
WO2012088769A1 PCT/CN2011/002225 CN2011002225W WO2012088769A1 WO 2012088769 A1 WO2012088769 A1 WO 2012088769A1 CN 2011002225 W CN2011002225 W CN 2011002225W WO 2012088769 A1 WO2012088769 A1 WO 2012088769A1
Authority
WO
WIPO (PCT)
Prior art keywords
filtering
filter
module
item
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2011/002225
Other languages
English (en)
French (fr)
Inventor
肖哲
杨帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Unionpay Co Ltd
Original Assignee
China Unionpay Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Unionpay Co Ltd filed Critical China Unionpay Co Ltd
Priority to US13/977,650 priority Critical patent/US20140019463A1/en
Priority to EP11853360.3A priority patent/EP2660730A4/en
Publication of WO2012088769A1 publication Critical patent/WO2012088769A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9035—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types

Definitions

  • the present invention relates to the field of information processing technologies, and in particular, to a data filtering system and method based on module free recombination.
  • the first filtering method is completely static, and is filtered based on the established filtering conditions in the program instructions during data filtering;
  • the second is that the filtering method is full-open dynamic filtering, for example, one filtering condition is
  • the filtering component is dynamically set to be smaller than an integer value
  • the third method is that the filtering method is semi-open dynamic filtering, that is, the external input of the filtering parameter is defined by the template prototype, and the input of the filtering parameter value is input, and the filtering parameter is often inconsistent with the parameter of the data template prototype, that is, the filtering parameter is ensured to be consistent.
  • the logical attribute of the data item being filtered See, for example, the data filtering method disclosed in Chinese Patent Application No. 200910249725.3.
  • Existing data typically has multiple attribute characteristics.
  • the bank card transaction data is exemplified, which has a transaction amount attribute, a transaction type attribute, a card issuer attribute, and the like. Users often need to filter data for different attribute characteristics under different conditions as needed.
  • the filtering parameter selection is limited by the template prototype method, and the filtering method for receiving the filtering parameter value dynamic input system is the most common, but the filtering template is usually customized in advance and closely coupled with the application system itself. , can't be based on reality
  • an object of the present invention is to provide a data filtering method and system capable of dynamically generating filtering conditions to implement filtering analysis of data.
  • the invention provides a data filtering system, comprising:
  • Extracting unit configured to extract attribute features of the source data and send to the selecting unit; selecting a unit, selecting at least one attribute feature according to which data filtering is performed, and sending the selected attribute feature to the filtering condition generating unit;
  • the filter condition generating unit generates at least one filtering module that is in one-to-one correspondence with the at least one attribute feature according to the selected at least one attribute feature, and combines the at least one filtering module to generate a filtering condition;
  • the data filtering analysis unit filters the source data according to the filtering conditions to generate target data.
  • the filtering condition generating unit comprises:
  • the filter item generating module receives the selected at least one attribute feature, generates at least one filter item, and sends the filter element to the filter module generation module, where each filter item includes a filter item name, a filtering method, and a corresponding attribute feature. Filter fields, match methods, and filter parameter values;
  • the filtering module generates a module, generates at least one filtering module and sends it to the control module Block, wherein the filtering module has a one-to-one correspondence with the filtering item;
  • a control module combining the at least one filtering module to generate a filtering condition.
  • the filtering condition generating unit includes:
  • the filter item generating module receives the selected at least one attribute feature and generates at least one filter item and sends it to the filter module generating module, where each filter item includes a filter item name, a filter item priority, a filtering method, and a selected one.
  • a filtering module generating module, generating at least one filtering module and sending the same to the control module, wherein the filtering module has a one-to-one correspondence with the filtering item;
  • control module combines the at least one filtering module according to the filter item priority to generate a filtering condition.
  • the filtering method includes filtering retention parameters and filtering rejection parameters, wherein
  • Filtering the retention parameter means retaining data that matches the filter item
  • Filtering the cull parameter means culling data that matches the filter item.
  • the matching manner includes whole word matching, head matching, tail matching, fuzzy matching or interval matching.
  • the system further includes an input device coupled to the selection unit and the filter condition generating unit for inputting the required information.
  • the system further includes a display unit connected to the extraction unit and the filter condition generation unit for displaying information from the extraction unit and the filter condition generation module.
  • the invention also provides a data filtering method, comprising the following steps:
  • A extracts the attribute characteristics of the source data
  • A3. Generate a filtering module according to the selected attribute feature, and combine the filtering module to generate a filtering condition.
  • A4. Filter the source data according to the filtering condition to generate target data.
  • step A3 further includes: generating at least one filter item, wherein each filter item includes a filter item name, a filtering method, a filtering domain corresponding to the selected attribute feature, a matching manner, and Filtering the parameter values; generating at least one filtering module, wherein the filtering module is in one-to-one correspondence with the filtering items;
  • At least the one of the filter modules is combined to generate the filter condition.
  • step A3 further includes: generating at least one filter item, wherein each filter item includes a filter item name, a filter item priority, a filtering mode, and a selected attribute feature. Filter fields, matching methods, and filter parameter values;
  • the at least one filtering module is combined according to the filter item priority to generate a filtering condition.
  • the filtering method includes filtering retention parameters and filtering rejection parameters, wherein
  • Filtering the retention parameter means retaining data that matches the filter item
  • Filtering the culling parameter means culling the data that matches the filter item
  • the matching manner includes a full word matching, a head matching, a tail matching, a fuzzy matching or an interval matching.
  • the method of the prototype of the data template limits the flexibility of the filter item to a certain extent, and the method can automatically decompose the data according to the data by using the filtering mechanism and the decoupling of the application system, the flexible definition of the filtering item, and the filtering method of the filtering module freely reorganizing.
  • the characteristics of the business and the change arrangement of the filter logic and the filtering module of the business change adjustment filter item, and the filtering analysis of the data are flexibly performed. This ensures that when data characteristics change, it can be freely reorganized to efficiently adapt to data characteristics. And changes in stress.
  • FIG. 1 is a schematic structural view of a data filtering system according to the present invention.
  • FIG. 2 is a schematic routine diagram of a data filtering method in accordance with the present invention. detailed description
  • the data filtering system includes an extracting unit 1, a selecting unit 2, a filter condition generating unit 3, a data filtering analyzing unit 4, a display unit 5, and an input unit 6.
  • the filter generation unit 3 includes a filter item generation module 30, a filter module generation module 31, and a control module 32.
  • the extracting unit 1 is used to extract the attribute features of the source data and send them to the selecting unit 2 and the display unit 5.
  • the selection unit 2 is connected to the input unit 5, so that the user selects at least one attribute feature for which data filtering is performed by the input unit 5 and transmits the selected attribute feature to the filter item generation module 30 in the filter condition generation unit 3.
  • the filter item generating module 30 receives the selected at least one attribute feature, generates a filter item 1, a filter item 2, ... a filter item n, where n is greater than or equal to 1, and sends it to the filter module generation module 31, wherein each Filter items include filter item name, filtering method, and The filter domain, matching method, and filter parameter value corresponding to the selected attribute feature.
  • the filter item may further include a filter item priority. The user can input the content of each part in the filtering item through the input unit 6.
  • Filtering methods include filtering retention parameters and filtering rejection parameters, where
  • Filtering the retention parameter means retaining data that matches the filter item
  • Filtering the cull parameter means culling data that matches the filter item.
  • Matching methods include whole word matching, head matching, tail matching, fuzzy matching or interval matching.
  • the full word matching method can be filtered in an integer or character mode.
  • Head matching can perform filtering from any number of bits starting from the first digit of the matched value.
  • Fuzzy matching can accomplish a match similar to the general "like" way, that is, data filtering that is similar in value or contains the value of the filter parameter.
  • Interval matching can complete integer matching like ">" " ⁇ " mode, or character type belongs to relationship matching.
  • This matching method covers all possible filtering parameter logics without being limited by the limitations of fixed filtering parameters in the template mode.
  • the foregoing matching manner is merely an exemplary description, and those skilled in the art can add new matching manners according to the actual without departing from the scope of protection of the present invention.
  • the filter item generation module 31 also sends the filter item to the display unit 5, which displays the filter item in the form of a page.
  • the filtering module generating module 31 generates a filtering module 1, a filtering module 2, ... a filtering module n and sends it to the control module, wherein the filtering module is paired with the filtering item.
  • the filtering module can, for example, be a code instruction module that is generated based on the filter item and loaded into the control module for filtering.
  • Control module 32 combines the at least one filter module to generate filter conditions.
  • the at least one filtering module is combined according to the filter item priority to generate a filter condition.
  • the data filtering analysis unit 4 filters the source data according to the filtering conditions to generate target data.
  • 2 is a schematic routine diagram of a data filtering method in accordance with the present invention. As shown, the method includes the steps of:
  • A3. Generate a filtering module according to the selected attribute feature, and combine the filtering module to generate a filtering condition;
  • step A3 further comprises:
  • each filter item includes a filter item name, a filter mode, a filter field corresponding to the selected attribute feature, a matching mode, and a filter parameter value; generating at least one filter module, where the filter module and the The filter items correspond one-to-one;
  • At least the one of the filter modules is combined to generate the filter element.
  • step A3 further includes:
  • each filter item includes a filter item name, a filter item priority, a filtering mode, a filter field, a matching mode, and a filter parameter value corresponding to the selected attribute feature;
  • the at least one filtering module is combined according to the filter item priority to generate a filtering condition.
  • the filtering module can be combined according to the user's requirements, and the rearrangement and sequence combination of the digital filtering can be realized to obtain better system performance.

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

数据过滤系统和方法
技术领域
本发明涉及信息处理技术领域， 尤其涉及一种基于模块自由式重 组的数据过滤系统和方法。
说 背景技术
现有的数据过滤分为三种：
第一种过滤方式是完全静态的， 在进行数据过滤时是基于程序指 令中既定的过滤条件进行过滤； 书
第二种是过滤方式是全开放式的动态过滤， 例如一个过滤条件为
<=9, "<=" 作为过滤参数和 "9" 作为过滤参数 都将接受来自外部 的任意输入， 但一旦外部输入的过滤参数不符合被过滤的数据项的逻 辑属性， 会导致数据过滤无法实施， 例如被过滤数据项的值为时间字 符串， 但过滤奈件却被动态设置成小于某一个整数值；
第三种是过滤方式是半开放式的动态过滤， 即通过模板雏形限定 过滤参数的外部输入， 开放过滤参数值的输入， 解决过滤参数常与数 据模板雏形的参数不一致问题， 即保证过滤参数符合被过滤数据项的 逻辑属性。例如见申请号为 200910249725.3的中国专利申请公开的数 据过滤方法。
现有的数据通常具有多种属性特性。 例如以银行卡交易数据为 例， 其具有交易金额属性、 交易类型属性、 发卡机构属性等。 用户通 常需要根据需要来对不同的属性特性以不同的条件进行数据过滤。 现 有技术在处理数据过滤时， 通过模板雏形方式限定过滤参数的选择， 接收过滤参数值动态录入系统的过滤方式最为常见， 但其过滤模板通 常为事先定制， 且与应用系统本身进行了紧密耦合， 不能根据现实数
- 1 - 确认本 据特征对过滤项进行自由重组和顺序调整， 无法满足业务的发展变 化， 其过滤需求不断发生变化时， 后续的分析数据在一定程度上将产 生数据冗余， 失去了其过滤筛选的意义。
另外， 正因为现有的数据过滤机制， 通常基于既定的过滤模板， 与应用系统进行了紧密耦合， 其无法单独剥离进行自由重组的现状， 导致一旦业务发生变化、 数据分析机制产生新需求时， 带来的损失将 是系统级别上的大规模源程序修订， 并造成应用系统资源的重复投 入。 发明内容
有 于此， 本发明的目的在于提供一种数据过滤方法和系统， 能 够动态地生成过滤条件来实现数据的过滤分析。
本发明提供一种数据过滤系统， 包括：
抽取单元， 用于抽取源数据的属性特征并发送至选择单元； 选择单元， 选择至少一个根据其进行数据过滤的属性特征并将所 选择的属性特征发送至过滤条件生成单元；
过滤条件生成单元， 根据所选择的至少一个属性特征生成与所述 至少一个属性特征一一对应的至少一个过滤模块、 组合所述至少一个 过滤模块以生成过滤条件；
数据过滤分析单元， 根据过滤条件对源数据进行过滤从而生成目 标数据。
优选地， 在本发明的数据过滤系统中， 所迷过滤条件生成单元包 括：
过滤项生成模块， 接收所选择的至少一个属性特征、 生成至少一 个过滤项并将其发送至过滤模块生成模块， 其中每个过滤项包括过滤 项名称、 过滤方式、 与所选择的属性特征 对应的过滤域、 匹配方 式和过滤参数值；
过滤模块生成模块， 生成至少一个过滤模块并将其发送至控制模 块， 其中所述过滤模块与所述过滤项一一对应；
控制模块， 组合所述至少一个过滤模块以生成过滤条件。
优选地， 在本发明的数据过滤系统中， 所述过滤条件生成单元包 括：
过滤项生成模块， 接收所选择的至少一个属性特征并生成至少一 个过滤项并将其发送至过滤模块生成模块， 其中每个过滤项包括过滤 项名称、 过滤项优先级、 过滤方式、 与所选择的属性特征一一对应的 过滤域、 匹配方式和过滤参数值；
过滤模块生成模块， 生成至少一个过滤模块并将其发送至控制模 块， 其中所述过滤模块与所述过滤项一一对应；
控制模块， 根据所述过滤项优先级组合所述至少一个过滤模块以 生成过滤条件。
优选地， 在本发明的数据过滤系统中， 所述过滤方式包括过滤保 留参数和过滤剔除参数， 其中
过滤保留参数表示保留符合该过滤项的数据；
过滤剔除参数表示剔除符合该过滤项的数据。
优选地， 在本发明的数据过滤系统中， 匹配方式包括全字匹配、 头部匹配、 尾部匹配、 模糊匹配或区间匹配。
优选地，在本发明的数据过滤系统中，所述系统还包括输入装置， 与选择单元和过滤条件生成单元相连， 用于输入所需要的信息。
优选地，在本发明的数据过滤系统中，所述系统还包括显示单元， 与抽取单元和过滤条件生成单元相连， 用于显示来自抽取单元和过滤 条件生成模块的信息。
本发明还提供一种数据过滤方法， 包括以下步骤：
A 抽取源数据的属性特征；
A2、 选择至少一个根据其进行数据过滤的属性特征；
A3、根据所选择的属性特征生成过滤模块， 组合过滤模块以生成 过滤条件； A4、 根据过滤条件对源数据进行过滤生成目标数据。
优选地， 在本发明的数据过滤方法中， 步骤 A3进一步包括： 生成至少一个过滤项， 其中每个过滤项包括过滤项名称、 过滤方 式、与所选择的属性特征 对应的过滤域、 匹配方式和过滤参数值； 生成至少一个过滤模块， 其中所述过滤模块与所述过滤项一一对 应的；
组合至少所述一个过滤模块以生成所述过滤条件。
优选地， 在本发明的数据过滤方法中， 步骤 A3进一步包括： 生成至少一个过滤项， 其中每个过滤项包括过滤项名称、 过滤项 优先级、 过滤方式、 与所选择的属性特征——对应的过滤域、 匹配方 式和过滤参数值；
生成与过滤项一一对应的过滤模块；
根据所述过滤项优先级组合所述至少一个过滤模块以生成过滤 条件。
优选地， 在本发明的数据过滤方法中， 所述过滤方式包括过滤保 留参数和过滤剔除参数， 其中
过滤保留参数表示保留符合该过滤项的数据；
过滤剔除参数表示剔除符合该过滤项的数据；
优选地， 在本发明的数据过滤方法中， 所述匹配方式包括全字匹 配、 头部匹配、 尾部匹配、 模糊匹配或区间匹配。
本发明的技术效果在于：
(1) 首先从设计理念上进行了创新， 不需要预先设定的、 与数据 模板雏形参数相一致的过滤参数的过滤项模板。 数据模板雏形的方式 在一定程度上限定了过滤项的灵活性， 而本方法通过采用过滤机制和 应用系统解耦合、过滤项灵活定义、过滤模块自由式重组的处理方法， 使得系统可自动根据数据的特征以及业务变化调整过滤项的过滤逻 辑和过滤模块的组合排列， 灵活地完成数据的过滤分析。 从而保证在 数据特征发生变化时， 能够自由地进行重组， 以高效地适应数据特征 以及压力的变化。
(2)具有最低的代码或数据冗余度，这样使得这些数据运行或被 使用时， 占用的系统资源较少、 较合理， 从而保证了系统资源使用和 运行的高效率； 使得在保证系统准确性的同时， 减小系统数据压力、 保证系统稳定。
( 3 )采用本发明所述的系统和方法会使用户减少开发程序代码 或数据模型的费用， 同时也提高了现有软件资源的利用率， 避免因为 业务需求的变化而带来的重复开发。 附图说明
图 1为根据本发明的数据过滤系统的示意性结构图；
图 2为根据本发明的数据过滤方法的示意性例程图。 具体实施方式
下面将结合附图详细描述本发明的优选实施例， 在附图中相同的 参考标号表示相同的元件。
图 1为根据本发明的数据过滤系统的示意性结构图。 如图所示， 该数据过滤系统包括抽取单元 1、 选择单元 2、 过滤条件生成单元 3、 数据过滤分析单元 4、显示单元 5和输入单元 6。 过滤奈件生成单元 3 包括过滤项生成模块 30、 过滤模块生成模块 31和控制模块 32。
抽取单元 1， 用于抽取源数据的属性特征并发送至选择单元 2和 显示单元 5。
选择单元 2和输入单元 5相连， 使得用户通过输入单元 5选择至 少一个根据其进行数据过滤的属性特征并将所选择的属性特征发送 至过滤条件生成单元 3中的过滤项生成模块 30。
过滤项生成模块 30接收所选择的至少一个属性特征、 生成过滤 项 1、 过滤项 2、 ...过滤项 n， 其中 n大于等于 1， 并将其发送至过滤 模块生成模块 31 , 其中每个过滤项包括过滤项名称、 过滤方式、 与所 选择的属性特征 对应的过滤域、匹配方式和过滤参数值。优选地， 该过滤项还可以包括过滤项优先级。 其中用户可通过输入单元 6输入 过滤项中的各部分内容。
过滤方式包括过滤保留参数和过滤剔除参数， 其中
过滤保留参数表示保留符合该过滤项的数据；
过滤剔除参数表示剔除符合该过滤项的数据。
匹配方式包括全字匹配、 头部匹配、 尾部匹配、 模糊匹配或区间 匹配。 全字匹配方式可进行整型或字符型的 方式的过滤。 头部 匹配可以完成从被匹配数值第一位开始的任意位数的 方式的过 滤。 尾部匹配可以完成从被匹配数值从最末一位开始， 往前倒推任意 位数的 "=" 方式的过滤。 模糊匹配可以完成类似一般 "like" 方式的 匹配， 即被匹配数值类似或包含了该过滤参数值的数据过滤。 区间匹 配可以完成类似 ">" "<" 方式的整型匹配， 或字符型的属于关系匹 配等。 该匹配方式可覆盖所有可能的过滤参数逻 '辑， 而不必受限于模 板雏形方式中固定过滤参数的限制。 上述匹配方式仅是示例性描述， 本领域技术人员可以根据实际增加新的匹配方式而不脱离本发明的 保护范围。
该过滤项生成模块 31还将该过滤项发送至显示单元 5,该显示单 元 5以页面的形式显示该过滤项。
过滤模块生成模块 31， 生成过滤模块 1、 过滤模块 2、 …过滤模 块 n并将其发送至控制模块， 其中所述过滤模块与所述过滤项一一对 应。 过滤模块例如可以为才艮据过滤项所生成的并加载到控制模块以进 行过滤的代码指令模块。
控制模块 32组合所述至少一个过滤模块以生成过滤条件。 优选 地， 根据所述过滤项优先级组合所述至少一个过滤模块以生成过滤条 件。
数据过滤分析单元 4， 根据过滤条件对源数据进行过滤从而生成 目标数据。 图 2为根据本发明的数据过滤方法的示意性例程图。 如图所示， 该方法包括步骤：
Al、 抽取源数据的属性特征；
A2、 选择至少一个根据其进行数据过滤的属性特征；
A3、根据所选择的属性特征生成过滤模块， 组合过滤模块以生成 过滤条件；
A4、 根据过滤条件对源数据进行过滤生成目标数据。
其中， 步驟 A3进一步包括：
生成至少一个过滤项， 其中每个过滤项包括过滤项名称、 过滤方 式、与所选择的属性特征 对应的过滤域、 匹配方式和过滤参数值； 生成至少一个过滤模块， 其中所述过滤模块与所述过滤项一一对 应的；
组合至少所述一个过滤模块以生成所述过滤奈件。
可选地， 步骤 A3进一步包括：
生成至少一个过滤项， 其中每个过滤项包括过滤项名称、 过滤项 优先级、 过滤方式、 与所选择的属性特征一一对应的过滤域、 匹配方 式和过滤参数值；
生成与过滤项 对应的过滤模块；
根据所述过滤项优先级组合所述至少一个过滤模块以生成过滤 条件。
利用本发明， 若后续数据过滤的特征发生变化， 可重新根据用户 需求来组合过滤模块， 实现数椐过滤的重新排列和序列組合， 以获取 更佳的系统效能。
上述描述仅为对本发明的优选实施例的示意性描述， 熟悉本领域 的技术人员将容易想到本发明的其它实施例、 组合和修改。 因此， 当 结合上述说明和附图进行阅读时， 本发明仅仅由权利要求限定。

Claims

权 利 要 求 书
1、 一种数据过滤系统， 其特征在于， 包括：
抽取单元， 用于抽取源数据的属性特征并发送至选择单元； 选择单元， 选择至少一个根据其进行数据过滤的属性特征并将所 选择的属性特征发送至过滤条件生成单元；
过滤条件生成单元， 根据所选择的至少一个属性特征生成与所述 至少一个属性特征一一对应的至少一个过滤模块、 组合所述至少一个 过滤模块以生成过滤条件；
数据过滤分析单元， 根据过滤条件对源数据进行过滤从而生成目 标数据。
2、 如权利要求 1 所述的系统， 其特征在于， 所述过滤条件生成 单元包括：
过滤项生成模块， 接收所选择的至少一个属性特征、 生成至少一 个过滤项并将其发送至过滤模块生成模块， 其中每个过滤项包括过滤 项名称、 过滤方式、 与所选择的属性特征 对应的过滤域、 匹配方 式和过滤参数值；
过滤模块生成模块， 生成至少一个过滤模块并将其发送至控制模 块， 其中所述过滤模块与所述过滤项一一对应；
控制模块， 组合所述至少一个过滤模块以生成过滤奈件。
3、 如权利要求 1 所述的系统， 其特征在于， 所述过滤条件生成 单元包括：
过滤项生成模块， 接收所选择的至少一个属性特征并生成至少一 个过滤项并将其发送至过滤模块生成模块， 其中每个过滤项包括过滤 项名称、 过滤项优先级、 过滤方式、 与所选择的属性特征一一对应的 过滤域、 匹配方式和过滤参数值；
过滤模块， 生成至少一个过滤模块并将其发送至控制模块， 其中 所述过滤模块与所述过滤项 对应； 控制模块， 根据所述过滤项优 ¾级组合所述至少一个过滤模块以 生成过滤条件。
4、 如权利要求 1-3中任一项所述的系统， 其特征在于， 所述过滤 方式包括过滤保留参数和过滤剔除参数， 其中
过滤保留参数表示保留符合该过滤项的数据；
过滤剔除参数表示剔除符合该过滤项的数据。
5、如权利要求 1-3中任一项所述的系统， 其特征在于， 匹配方式 包括全字匹配、 头部匹配、 尾部匹配、 模糊匹配或区间匹配。
6、如权利要求 1-3中任一项所述的系统， 其特征在于， 所述系统 还包括输入装置， 与选择单元和过滤条件生成单元相连， 用于输入所 需要的信息。
7、 如权利要求 1-3中任一项所述的系统， 其特征在于， 所述系统 还包括显示单元， 与抽取单元和过滤条件生成单元相连， 用于显示来 自抽取单元和过滤条件生成单元的信息。
8、 一种数据过滤方法， 其特征在于， 所述方法包括以下步骤：
Al、 抽取源数据的属性特征；
A2、 选择至少一个根据其进行数据过滤的属性特征；
A3、根据所选择的属性特征生成过滤模块， 组合过滤模块以生成 过滤条件；
A4、 根据过滤条件对源数据进行过滤生成目标数据。
9、如权利要求 8所述的方法，其特征在于，步骤 A3进一步包括： 生成至少一个过滤项， 其中每个过滤项包括过濾项名称、 过滤方 式、与所选择的属性特征——对应的过滤域、 匹配方式和过滤参数值； 生成至少一个过滤模块， 其中所述过滤模块与所述过滤项一一对 应的；
组合至少所述一个过滤模块以生成所述过滤条件。
10、 如权利要求 8所述的方法， 其特征在于， 步骤 A3进一步包 括： 生成至少一个过滤项， 其中每个过滤项包括过滤项名称、 过滤项 优先级、 过滤方式、 与所选择的属性特征——对应的过滤域、 匹配方 式和过滤参数值；
生成与过滤项一一对应的过滤模块；
根据所述过滤项优先级组合所述至少一个过滤模块以生成过滤 条件。
11、如权利要求 8-10中任一项所述的方法， 其特征在于， 所述过 滤方式包括过滤保留参数和过滤剔除参数， 其中
过滤保留参数表示保留符合该过滤项的数据；
过滤剔除参数表示剔除符合该过滤项的数据；
12、如权利要求 8-10中任一项所述的方法， 其特征在于， 所述匹 配方式包括全字匹配、 头部匹配、 尾部匹配、 模糊匹配或区间匹配。
PCT/CN2011/002225 2010-12-31 2011-12-30 数据过滤系统和方法 Ceased WO2012088769A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/977,650 US20140019463A1 (en) 2010-12-31 2011-12-30 Data filtering system and method
EP11853360.3A EP2660730A4 (en) 2010-12-31 2011-12-30 Data filtering system and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201010619385.1 2010-12-31
CN201010619385.1A CN102567413B (zh) 2010-12-31 2010-12-31 数据过滤系统和方法

Publications (1)

Publication Number Publication Date
WO2012088769A1 true WO2012088769A1 (zh) 2012-07-05

Family

ID=46382253

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2011/002225 Ceased WO2012088769A1 (zh) 2010-12-31 2011-12-30 数据过滤系统和方法

Country Status (4)

Country Link
US (1) US20140019463A1 (zh)
EP (1) EP2660730A4 (zh)
CN (1) CN102567413B (zh)
WO (1) WO2012088769A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102930053A (zh) * 2012-11-19 2013-02-13 西北大学 一种多维度智能的资源筛选方法
CN105245601A (zh) * 2015-10-15 2016-01-13 桂林电子科技大学 一种数据过滤方法及数据过滤系统
CN110991813A (zh) * 2019-11-07 2020-04-10 上海数禾信息科技有限公司 用于风控业务的数据处理方法及装置
CN114758186A (zh) * 2020-12-29 2022-07-15 阿里巴巴集团控股有限公司 数据筛选方法、装置、设备和存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484351B (zh) * 2014-11-28 2018-07-20 上海百事通信息技术股份有限公司 大数据量号码过滤装置及方法
CN105930258B (zh) * 2015-11-13 2019-04-26 中国银联股份有限公司 一种参数过滤的方法及装置
CN106534184B (zh) * 2016-12-12 2019-08-06 南京富岛信息工程有限公司 一种基于深度数据过滤的控制系统信息安全网关
CN106649831B (zh) * 2016-12-29 2020-09-04 北京奇艺世纪科技有限公司 一种数据过滤方法及装置
CN107391532B (zh) * 2017-04-14 2020-08-04 阿里巴巴集团控股有限公司 数据过滤的方法和装置
CN108932300B (zh) * 2018-06-06 2022-05-27 成都深思科技有限公司 一种无限迭代的过滤分析方法、设备及存储介质
CN109063199B (zh) * 2018-09-11 2022-10-25 优视科技有限公司 资源过滤方法及其装置、电子设备、计算机可读介质
CN113837154B (zh) * 2021-11-25 2022-03-25 之江实验室 一种基于多任务辅助的开放集过滤系统及方法
CN116842066A (zh) * 2023-07-07 2023-10-03 中国银行股份有限公司 一种数据过滤方法、装置、设备及存储介质
CN119271885B (zh) * 2024-09-18 2026-04-10 仁励家网络科技(杭州)有限公司 数据过滤方法、可读存储介质、电子设备及程序产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101599087A (zh) * 2009-07-02 2009-12-09 金蝶软件（中国）有限公司 数据查询方法和装置
CN101719157A (zh) * 2009-12-01 2010-06-02 山东中创软件工程股份有限公司 数据过滤方法、系统和用于该系统的数据处理装置
CN101930433A (zh) * 2009-06-26 2010-12-29 上海汉光知识产权数据科技有限公司 专利查找系统及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020091685A1 (en) * 2001-01-10 2002-07-11 Letmeknow Technology System and method for filtering data events
US7590310B2 (en) * 2004-05-05 2009-09-15 Facet Technology Corp. Methods and apparatus for automated true object-based image analysis and retrieval
CN101071416A (zh) * 2007-07-02 2007-11-14 华为技术有限公司 报表模板生成系统、开发工具、开发方法和报表客户端
CN101334794A (zh) * 2008-08-07 2008-12-31 金蝶软件（中国）有限公司 一种生成单据过滤条件的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101930433A (zh) * 2009-06-26 2010-12-29 上海汉光知识产权数据科技有限公司 专利查找系统及方法
CN101599087A (zh) * 2009-07-02 2009-12-09 金蝶软件（中国）有限公司 数据查询方法和装置
CN101719157A (zh) * 2009-12-01 2010-06-02 山东中创软件工程股份有限公司 数据过滤方法、系统和用于该系统的数据处理装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP2660730A4
ZHAO LIANJUN ET AL.: "A data filtrating method based on data property description", COMPUTER APPLICATIONS AND SOFTWARE, vol. 22, no. 1, January 2005 (2005-01-01), pages 38 - 39, 136, XP008171035 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102930053A (zh) * 2012-11-19 2013-02-13 西北大学 一种多维度智能的资源筛选方法
CN102930053B (zh) * 2012-11-19 2014-08-13 西北大学 一种多维度智能的资源筛选方法
CN105245601A (zh) * 2015-10-15 2016-01-13 桂林电子科技大学 一种数据过滤方法及数据过滤系统
CN110991813A (zh) * 2019-11-07 2020-04-10 上海数禾信息科技有限公司 用于风控业务的数据处理方法及装置
CN114758186A (zh) * 2020-12-29 2022-07-15 阿里巴巴集团控股有限公司 数据筛选方法、装置、设备和存储介质

Also Published As

Publication number Publication date
US20140019463A1 (en) 2014-01-16
CN102567413B (zh) 2015-06-17
CN102567413A (zh) 2012-07-11
EP2660730A1 (en) 2013-11-06
EP2660730A4 (en) 2017-03-29

Similar Documents

Publication Publication Date Title
WO2012088769A1 (zh) 数据过滤系统和方法
US11442939B2 (en) Configurable and incremental database migration framework for heterogeneous databases
US10915664B2 (en) Data masking systems and methods
CN104471552B (zh) 用于处置状态机引擎所接收的数据的方法及系统
CN107015804B (zh) 一种通过配置api快速开发项目的方法及系统
CN110032369A (zh) 一种代码自动生成方法、装置及介质
EP3669313A1 (en) Methods and systems for blockchain-implemented script-based byte interpretation
WO2016060547A1 (en) Emulating manual system of filing using electronic document and electronic file
CN105487864A (zh) 代码自动生成的方法和装置
CN110096263A (zh) Web前端代码自动生成方法及装置
CN103268226A (zh) 一种测试脚本文件生成方法及装置
CN101770359A (zh) 界面生成和获取数据进行存储的方法、装置和系统
JP2014078085A (ja) 実行制御プログラム、実行制御方法および情報処理装置
CN104572644A (zh) 数据库更新装置和数据库更新方法
CN108268615B (zh) 一种数据处理方法、装置以及系统
CN111782675B (zh) 生成数据库脚本的方法、装置及计算机可读存储介质
WO2016060552A1 (en) System generator module for electronic document and electronic file
CN108536745A (zh) 基于Shell的数据表提取方法、终端、设备及存储介质
CN114386853A (zh) 基于通用审核模型的数据审核处理方法、装置及设备
CN104346378B (zh) 一种实现复杂数据处理的方法、装置及系统
CN113126991A (zh) 业务数据处理方法及装置
CN107092474A (zh) 程序开发方法、etl处理方法及装置
CN115881283A (zh) 基于动态模型及动态规则的医疗主索引管理系统及方法
CN118861106B (zh) 一种数据流分析处理方法、系统及存储介质
CN109857576A (zh) Rpc接口调用方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11853360

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2011853360

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2013555723

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13977650

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: JP