[發明專利]使用復雜條件從數據源進行數據過濾的方法和系統

有效

• 申請號: 201010157790.6
• 申請日: 2010-04-27
• 公開（公告）號: CN102236659A
• 公開（公告）日: 2011-11-09
• 發明（設計）人: 黃敬;劉志宇
• 申請（專利權）人: 中國銀聯股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 譚佐晞;李家麟

【技術領域】

本發明涉及數據過濾方法和系統，尤其涉及使用復雜條件從數據源進行數據過濾的方法和系統，屬于數據處理技術領域。

【背景技術】

隨著社會發展和時代進步，人們在現代生活中的各種交易活動也日益地增多，例如，金融業務交易、水電氣等公共事業交易和網絡支付交易等等。然而，與此同時，交易行為的類型及其業務邏輯規則也更為復雜。目前，當需要使用復雜條件(是指由多個條件進行多層次、高耦合性的邏輯關系組合)從數據源進行數據過濾的處理時，現有技術一般是通過直接在業務系統處理程序中修改過濾條件和過濾邏輯來實現的。例如，如果需要將數據過濾中的原條件1改為新條件2時，就直接在該業務系統處理程序中完成相應的修改。

盡管采用上述處理方法，有時確實是非常方便和快捷，然而不容忽視的是，這種處理方法實際上是將整個系統的數據過濾條件完全混雜在一起，根本沒有對數據過濾的處理邏輯進行嚴格的限定，從而使得業務處理之間存在著非常強的耦合性，甚至不確定性。具體而言，上述處理方法以及采用該方法的系統存在著以下這些缺點：

1、抗變更能力弱。如果存在針對過濾條件取值的變動，則需要更改相當復雜困難，有時甚至根本無法進行修改；

2、擴展性非常差。如果存在針對過濾條件的增加、刪除，則對原有系統的影響相當大，因此不容易被融合在原有系統中；

3、維護性非常差。由于復雜條件完全混雜在一起，所以致使其非常不容易被理解，而且維護起來相當麻煩，需要投入大量的人力和物力；

4、復用性非常差。由于過濾條件與過濾處理邏輯被糅合在一起，因此幾乎不能被復用，從而造成對現有資源的嚴重浪費。

【發明內容】

有鑒于此，本發明的目的在于提供使用復雜條件從數據源進行數據過濾的方法和系統，以有效地解決現有的處理方法及系統中存在的擴展性、維護性和復用性都非常差以及抗變更能力弱等諸多問題。

為實現上述發明目的，本發明采用的技術方案如下：

一種使用復雜條件從數據源進行數據過濾的方法，其包括如下步驟：

A、將每種類型數據過濾所用的篩選條件轉換成由若干個過濾組相互之間以相同邏輯關系進行組合的形式，所述過濾組包括若干個彼此之間以同一邏輯關系進行組合且均為單一過濾要素的過濾條件，并將所得到的過濾組及其過濾條件之間的組合關系記載于數據庫表中；

B、將當前數據過濾所用篩選條件的取值寫入所述數據庫表中；

C、查詢所述數據庫表獲得當前數據過濾中的各過濾條件要求，并依次從數據源中篩選出符合當前數據過濾中的各過濾組要求的初選數據；以及

D、根據所述過濾組之間的邏輯關系以及所述初選數據，從數據源中獲得符合當前數據過濾要求的數據。

優選地，在上述的技術方案中，所述過濾組相互之間的邏輯關系是“或”，所述過濾條件彼此之間的邏輯關系是“與”。

優選地，在上述的技術方案中，所述數據庫表包括：

過濾組組合定義表，其用于記載每種類型數據過濾所包括的過濾組的信息，所述過濾組的信息至少包括過濾組的編號、過濾組內各過濾條件的分類號，并且每一個過濾組的編號是唯一的；

過濾組算法定義表，其用于記載所述過濾組的具體信息，所述具體信息至少包括過濾組內各過濾條件的分類號及其過濾方式；以及

過濾組取值表，其用于記載所述過濾組內各過濾條件的分類號、各過濾條件的具體取值。

優選地，在上述的技術方案中，所述具體信息還包括對所述過濾組內各過濾條件的描述。

優選地，在上述的技術方案中，所述過濾方式包括過濾條件類型和黑白名單標識，所述過濾條件類型是指過濾出唯一數值或者一個數值范圍，所述黑白名單標識是指使用黑名單或者白名單的選定方式來選中符合要求的數據。

優選地，在上述的技術方案中，所述具體取值包括過濾條件最小值和過濾條件最大值，并且當所述過濾組算法定義表中的所述過濾條件類型為過濾出唯一數值時，所述過濾條件最小值與所述過濾條件最大值相同。

優選地，在上述的技術方案中，所述過濾組取值表還包括用于記載所需要的附加數據的字段。

優選地，在上述的技術方案中，所述步驟C具體包括：

步驟C1、判斷在所述過濾組組合定義表中是否存在第一個過濾組的記錄？如果不存在則結束，否則進入步驟C2；

步驟C2、根據當前過濾組的編號，在所述過濾組組合定義表中找出該過濾組中第一個過濾條件的分類號；