[發明專利]一種多線程數據比對方法和裝置

有效

• 申請號: 201310269933.6
• 申請日: 2013-06-28
• 公開（公告）號: CN103345383A
• 公開（公告）日: 2013-10-09
• 發明（設計）人: 謝立;龔浩;湯滔;陶勇;范英
• 申請（專利權）人: 北京航天金盾科技有限公司
• 主分類號: G06F9/38
• 分類號: G06F9/38;G06F9/46;G06F17/30
• 代理公司: 北京科龍寰宇知識產權代理有限責任公司 11139
• 代理人: 孫皓晨;朱世定

1.一種多線程數據比對方法，其特征在于，包括以下步驟：

將基于公安請求服務平臺可供查詢共享的數據資源作為第一數據源，以及從業務數據庫中獲取待比對對象的數據，并將所有待比對對象的數據集中保存為第二數據源；

為每項比對業務建立相互獨立的比對業務主線程和多個相互獨立的比對子線程，并為每個所述比對業務主線程建立對應的待比對隊列；

所述比對業務主線程調取所述第二數據源中的待比對對象的數據，加入到其對應的待比對隊列中，并將所述待比對隊列中的數據分配給所述比對業務主線程對應的多個比對子線程；

各所述比對子線程逐一向所述第一數據源發起數據查詢比對請求，將比對匹配的業務對象數據存入比對信息表中，并在所述第二數據源中對應的待比對數據的標志位上做相應標記。

2.根據權利要求1所述的方法，其特征在于，各所述比對業務主線程分別對應不同的比對業務，并根據比對業務的優先順序級別為各所述比對業務主線程設定時效優先順序級別。

3.根據權利要求1所述的方法，其特征在于，為各所述比對業務主線程對應的比對隊列設定對象數量限定值。

4.根據權利要求1所述的方法，其特征在于，還設定有一個檢查線程，當所述檢查線程檢測到所述比對業務主線程出現異常時，終止該比對業務主線程，并重啟已經終止的線程，從對應的比對隊列中重新加載待比對對象的數據。

5.根據權利要求1所述的方法，其特征在于，通過ETL方式對所述業務數據庫中的原始數據進行數據提取、清洗和轉換后轉存至所述第二數據源以實現待比對對象數據的增量更新；

所述第二數據源中帶比對數據設置有多個比對業務標志位，多個業務比對主線程通過查找對應比對業務標志位同時或分別進行相應的比對業務。

6.一種多線程數據比對裝置，其特征在于，包括：

數據源模塊，用于將基于公安請求服務平臺可供查詢共享的數據資源作為第一數據源，以及從業務數據庫中獲取待比對對象的數據，并將所有待比對對象的數據集中保存為第二數據源；

線程管理模塊，用于為每項比對業務建立相互獨立的比對業務主線程和多個相互獨立的比對子線程，為每個所述比對業務主線程建立對應的待比對隊列；

數據調取模塊，用于通過所述主線程調取所述第二數據源中的待比對對象的數據，加入到其對應的待比對隊列中，并將所述待比對隊列中的數據分配給所述比對業務主線程對應的多個比對子線程；

比對模塊，用于通過各所述比對子線程逐一向所述第一數據源發起數據查詢比對請求，將比對匹配的業務對象數據存入比對信息表中，并在所述第二數據源中對應的待比對數據的標志位上做相應標記。

7.根據權利要求6所述的裝置，其特征在于，所述線程管理模塊還用于為各所述比對業務主線程分別對應不同的比對業務，并根據比對業務的優先順序級別為各所述比對業務主線程設定時效優先順序級別。

8.根據權利要求6所述的裝置，其特征在于，所述數據調取模塊還用于為各所述比對線程對應的比對隊列設定對象數量限定值。

9.根據權利要求6所述的裝置，其特征在于，所述線程管理模塊還用于設定一個檢查線程，當所述檢查線程檢測到所述比對業務主線程出現異常時，終止該比對業務主線程，并重啟已經終止的線程，從對應的比對隊列中重新加載待比對對象的數據。

10.根據權利要求6-9中任一項所述的裝置，其特征在于，所述數據源模塊通過ETL方式對所述業務數據庫中的原始數據進行數據提取、清洗和轉換后轉存至所述第二數據源以實現待比對對象數據的增量更新；

所述比對模塊還用于在通過各所述比對子線程逐一向所述第一數據源發起數據查詢比對請求之前，先與第二數據源快照表中數據進行逐一比對，若無比對結果，再向所述第一數據源發起數據查詢比對請求，其中，所述第二數據源快照表用于保存第一數據源中查詢共享數據。