[發明專利]一種多線程數據比對方法和裝置

有效

• 申請號: 201310269933.6
• 申請日: 2013-06-28
• 公開（公告）號: CN103345383A
• 公開（公告）日: 2013-10-09
• 發明（設計）人: 謝立;龔浩;湯滔;陶勇;范英
• 申請（專利權）人: 北京航天金盾科技有限公司
• 主分類號: G06F9/38
• 分類號: G06F9/38;G06F9/46;G06F17/30
• 代理公司: 北京科龍寰宇知識產權代理有限責任公司 11139
• 代理人: 孫皓晨;朱世定

技術領域

本發明涉及數據處理領域，具體而言，涉及一種多線程數據比對方法和裝置。?

背景技術

社會信息采集平臺中有很多社會面上的鮮活的數據信息，其中包含人、物、地、組織、事件等對象。現有技術將將各類信息與待比對信息進行比對處理，與問題業務對象等等進行比對碰撞，并根據各業務信息將比對中的信息推送給情報分析人員。?

社會信息采集平臺中涉及到的信息量面廣量大，所以要求比對處理系統必須具備高性能；也不得因為一次異常導致整個比對業務停止運行。?

發明內容

本發明提供一種多線程數據比對方法和裝置，用以克服現有技術中存在的至少一個問題。?

為達到上述目的，本發明提供了一種多線程數據比對方法，該方法包括以下步驟：?

將基于公安請求服務平臺可供查詢共享的數據資源作為第一數據源，以及從業務數據庫中獲取待比對對象的數據，并將所有待比對對象的數據集中保存為第二數據源；?

為每項比對業務建立相互獨立的比對業務主線程和多個相互獨立的比對?子線程，并為每個比對業務主線程建立對應的待比對隊列；?

比對業務主線程調取第二數據源中的待比對對象的數據，加入到其對應的待比對隊列中，并將待比對隊列中的數據分配給比對業務主線程對應的多個比對子線程；?

各比對子線程逐一向第一數據源發起數據查詢比對請求，將比對匹配的業務對象數據存入比對信息表中，并在第二數據源中對應的待比對數據的標志位上做相應標記。?

可選的，各比對業務主線程分別對應不同的比對業務，并根據比對業務的優先順序級別為各比對業務主線程設定時效優先順序級別。?

可選的，為各比對業務主線程對應的比對隊列設定對象數量限定值。?

可選的，還設定有一個檢查線程，當檢查線程檢測到比對業務主線程出現異常時，終止該比對業務主線程，并重啟已經終止的線程，從對應的比對隊列中重新加載待比對對象的數據。?

可選的，通過ETL方式對業務數據庫中的原始數據進行數據提取、清洗和轉換后轉存至第二數據源以實現待比對對象數據的增量更新；?

第二數據源中帶比對數據設置有多個比對業務標志位，多個業務比對主線程通過查找對應比對業務標志位同時或分別進行相應的比對業務。?

為達到上述目的，本發明還提供了一種多線程數據比對裝置，其包括：?

數據源模塊，用于將基于公安請求服務平臺可供查詢共享的數據資源作為第一數據源，以及從業務數據庫中獲取待比對對象的數據，并將所有待比對對象的數據集中保存為第二數據源；?

線程管理模塊，用于為每項比對業務建立相互獨立的比對業務主線程和多個相互獨立的比對子線程，為每個比對業務主線程建立對應的待比對隊列；?

數據調取模塊，用于通過主線程調取第二數據源中的待比對對象的數據，加入到其對應的待比對隊列中，并將待比對隊列中的數據分配給比對業務主線程對應的多個比對子線程；?

比對模塊，用于通過各比對子線程逐一向第一數據源發起數據查詢比對請求，將比對匹配的業務對象數據存入比對信息表中，并在第二數據源中對應的待比對數據的標志位上做相應標記。?

可選的，線程管理模塊還用于為各比對業務主線程分別對應不同的比對業務，并根據比對業務的優先順序級別為各比對業務主線程設定時效優先順序級別。?

可選的，數據調取模塊還用于為各比對線程對應的比對隊列設定對象數量限定值。?

可選的，線程管理模塊還用于設定一個檢查線程，當檢查線程檢測到比對業務主線程出現異常時，終止該比對業務主線程，并重啟已經終止的線程，從對應的比對隊列中重新加載待比對對象的數據。?

可選的，數據源模塊通過ETL方式對業務數據庫中的原始數據進行數據提取、清洗和轉換后轉存至第二數據源以實現待比對對象數據的增量更新；?

比對模塊還用于在通過各比對子線程逐一向第一數據源發起數據查詢比對請求之前，先與第二數據源快照表中數據進行逐一比對，若無比對結果，再向第一數據源發起數據查詢比對請求，其中，第二數據源快照表用于保存第一數據源中查詢共享數據。?

在上述實施例中，通過多線程的比對方式將各業務數據與待比對信息進?行比對，提高了數據比對的效率；同時通過對各業務數據采用并行處理，不必讓各類數據在一起排隊，提高了計算機的運行性能。?

附圖說明