[發明專利]一種分層級聯的數據處理方法及系統

在審

• 申請號: 201610089698.8
• 申請日: 2016-02-17
• 公開（公告）號: CN105631047A
• 公開（公告）日: 2016-06-01
• 發明（設計）人: 陳俊清;黃克捷;沈曉敏;徐琳玲
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06Q10/06
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 湯在彥

技術領域

本發明涉及數據處理技術領域，尤其涉及一種分層級聯的數據處理方法及系統。

背景技術

近年來，隨著中國金融市場的持續拓展，各類金融產品應運而生，給金融風險控 制帶來了巨大挑戰。金融企業為了加強金融風險的監管，對反洗錢、業務運營風險、 信用卡風險等多個風險發生領域進行嚴密監控。然而，各領域之間的關系十分復雜并 且多變，為了使風險監控能夠實現全領域覆蓋，整個風險監控的體系就變得非常龐大， 而且邏輯結構復雜；此外，涉及監控的數據量呈指數級增長，導致批量處理數據時間 越來越長，并且數據所占用的存儲空間也越來越多。

一般地，金融企業根據具體的金融風險需求，設計各種監控模型來實現對數據的 監控處理。如圖1所示，傳統的模型監控處理方法是先接收所有的源數據，然后直接 對每個監控模型進行獨立計算，并將計算結果分別存儲到臨時結果表；基于臨時結果 表中的數據作統一處理，獲取命中模型的目標數據，以及所監控的實體與模型之間的 關系集。

在上述處理方式中，各個模型的臨時結果表占用了大量的存儲空間，而且CPU 需耗費大量I/O時間去訪問這些結果表中的數據；此外，各個模型之間即便有公共的 特征計算，也是多次重復處理。因而，現有基于傳統的模型監控處理方法難于滿足時 效性與靈活性，存在以下幾個方面的不足：

(1)每個模型都是獨立進行計算，沒有對模型中的公共特征計算結果進行共享， 引發數據重復計算，造成系統資源的浪費，并使得系統處理效率不高；

(2)特征與模型、模型與高級模型之間的關系缺乏靈活的配置，不利于模型的 調整和優化，無法做到快速響應風險的變化。

發明內容

本發明的目的是為了解決傳統監控模型中處理效率低，數據重復處理，冗余存儲 以及信息不共享，擴展性差的問題，提出了一種分層級聯的數據處理方法及系統。

為了達到上述目的，本發明實施例提供一種分層級聯的數據處理方法，包括：接 收來自不同應用的源數據，并對所述源數據進行處理，生成基礎數據-屬性關系表并 進行存儲；獲取預存的特征-屬性關系，并根據所述基礎數據-屬性關系表以及所述基 礎數據中的實體字段，生成實體-特征關系表并進行存儲；獲取預存的模型-特征關系， 并根據所述實體-特征關系表，生成實體-模型關系表并進行存儲；獲取預存的高級模 型-模型關系，并根據所述實體-模型關系表，生成實體-高級模型關系表并進行存儲； 查找所述實體-高級模型關系表、實體-模型關系表、實體-特征關系表，分別得到符合 高級模型標準、模型標準、特征標準的實體；根據所述基礎數據-屬性關系表、特征- 屬性關系、模型-特征關系以及高級模型-模型關系，通過關系矩陣計算，得到符合高 級模型標準、模型標準、特征標準的基礎數據。

進一步地，在一實施例中，所述接收來自不同應用的源數據，并對所述源數據進 行處理，生成基礎數據-屬性關系表，包括：采集來自不同應用的不同格式的源數據， 對所述源數據進行統一格式的處理；將進行格式處理后的數據增加各個屬性字段，按 照實體的屬性進行分類；將分類后的數據按照不同類型進行屬性標識，構建所述基礎 數據-屬性關系表。

進一步地，在一實施例中，獲取預存的特征-屬性關系，并根據所述基礎數據-屬 性關系表以及所述基礎數據中的實體字段，生成實體-特征關系表并進行存儲，包括： 獲取預存的特征-屬性關系，與所述基礎數據-屬性關系進行關系矩陣運算，得到基礎 數據-特征關系；接收所述基礎數據-特征關系，以所述基礎數據中的實體字段為條件 進行歸集，生成實體-特征關系表并進行存儲。

進一步地，在一實施例中，獲取預存的模型-特征關系，并根據所述實體-特征關 系表，生成實體-模型關系表并進行存儲，包括：獲取預存的模型-特征關系，與所述 基礎數據-特征關系進行關系矩陣運算，得到基礎數據-模型關系；接收所述基礎數據 -模型關系，以所述基礎數據中的實體字段為條件進行歸集，生成實體-模型關系表并 進行存儲。

進一步地，在一實施例中，獲取預存的高級模型-模型關系，并根據所述實體-模 型關系表，生成實體-高級模型關系表并進行存儲，包括：獲取預存的高級模型-模型 關系，與所述基礎數據-模型關系進行關系矩陣運算，得到基礎數據-高級模型關系； 接收所述基礎數據-高級模型關系，以所述基礎數據中的實體字段為條件進行歸集， 生成實體-高級模型關系表并進行存儲。