[發明專利]一種人口數據查重方法和裝置

有效

• 申請號: 201410440728.6
• 申請日: 2014-09-01
• 公開（公告）號: CN104268153B
• 公開（公告）日: 2017-09-26
• 發明（設計）人: 湯滔;張建光;陶勇;喬曉光;鄒繼文
• 申請（專利權）人: 北京航天金盾科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06K9/46;G06Q10/06
• 代理公司: 北京科龍寰宇知識產權代理有限責任公司11139
• 代理人: 孫皓晨,陳士騫

1.一種人口數據查重方法，其特征在于，包括以下步驟：

對多個不同的人口數據庫進行數據變更監控，通過實時或定時機制將發生變更的數據同步到每個人口數據庫對應的人像分庫中，并對發生變更的數據進行標記；

對每個人像分庫中有變更標記的數據進行匯總，將匯總后的數據平均分配到多個更新終端中并行建模，得到每個發生變更人員對應的模板數據，并將發生變更的模板數據新增或替換到對應的各個特征分庫中，同時對發生變更的模板數據進行標記；

對每個特征分庫中有變更標記的模板數據進行匯總，將匯總后的模板數據平均分配到多個比對終端中并行查重比對，并將比對結果導入更新比對結果庫；

接受用戶對所述比對結果庫中比對結果的查詢、驗證、下發處理、統計中的至少一項操作處理；

當并行查重比對的比對終端的數目為偶數個時，將匯總后的模板數據平均分配到多個比對終端中并行查重比對包括：

將待比對人員的模板數據根據比對終端的臺數平均分組，每組數據對應一臺比對終端，假設每組數據的平均模板數為N，參與比對的更新終端數為X，其中N為自然數，X為偶數；

將每組數據按照公式N÷X×N÷2分配到每臺比對終端上，并按照上、下兩部分進行存儲，其中上部分數據按照公式N÷X進行存儲，下部分數據按照公式N÷X×(X÷2-1)+N÷X÷2進行存儲；

將上、下兩部分數據根據該比對終端的CPU內核數平均分組，按照設定條件進行設定特征的相互比對，在對比時首先將上、下部分數據按照公式N×(N﹣1)÷2進行組內比對，然后進行各組間模板數據的交叉比對，其中所述設定條件包括相似度和返回結果數。

2.根據權利要求1所述的人口數據查重方法，其特征在于，在多機大數據量查重比對時，將匯總后的模板數據平均分配到多個比對終端中并行查重比對包括：

將入庫人員的模板數據按年齡、性別、地區中的至少一項平均分配到偶數臺比對終端上，以多層嵌套的方式存儲在各個比對終端中，按設定條件對入庫人員模版數據中的設定特征進行單機相互比對，所述設定條件包括相似度和返回結果數；

通過X÷2公式計算出每臺比對終端與其它比對終端進行比對的臺數，在單機比對完后再與所計算出的其它比對終端進行交叉比對，其中X代表比對終端的臺數，X為偶數。

3.根據權利要求2所述的人口數據查重方法，其特征在于，所述設定特征為人像特征數據或身份證號。

4.根據權利要求1所述的人口數據查重方法，其特征在于，還包括以下步驟：

在核查比對時，獲取所要核驗人員的圖像，從中提取對應的人像特征數據，根據所要核驗人員的信息和人像特征數據建立所要核驗人員的模板數據，其中所要核驗人員的信息包括年齡、性別、地區中的至少一項；

根據所要核驗人員的信息設定比對條件，比對條件包括相似度和返回結果數；

根據比對條件將所要核驗人員對應的人像特征數據在目標人口庫中進行比對，并將比對結果展示給用戶。