[發明專利]比對系統中的數據處理方法及裝置

無效

• 申請號: 201110001855.2
• 申請日: 2011-01-06
• 公開（公告）號: CN102591863A
• 公開（公告）日: 2012-07-18
• 發明（設計）人: 苗春暉
• 申請（專利權）人: 上海銀晨智能識別科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06K9/00
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 駱蘇華

技術領域

本發明涉及比對系統，尤其涉及比對系統中的數據處理方法及裝置。

背景技術

隨著技術的進步，社會的需要，比對系統逐漸在各行業領域中廣泛的應用。由于比對系統主要基于數據的支持，因此目前的比對系統多為大規模比對系統甚至是超大規模的比對系統，如人像識別系統中的人臉特征比對系統、指紋系統中的指紋特征比對系統。所述比對系統的數據存儲量一般可達到百萬甚至數千萬、上億，每條數據的大小一般在數KB至數十KB之間，因此比對系統中的數據總量一般可達數GB至數百GB。

如此海量的數據存儲在數據庫中，如果直接利用數據庫進行特征數據的查找與比對，性能難以達到應用的要求。在實際比對中，即使利用磁盤文件和內存進行比對，比對效率仍很難達到滿意的效果，而且需要配置大量的硬件資源，成本較高。

專利號為ZL200720073042.3的實用新型專利，公開了一種應用于公安系統的人像比對系統，有效的避免了辦證人員假借他人信息或通過虛假信息辦理相關證件的問題。但是如何提高特征數據的比對效率和比對性能成為本領域技術人員亟待解決的問題之一。

發明內容

本發明解決的問題是提高特征數據的比對效率和比對性能。

為解決上述問題本發明提供了一種比對系統中的數據處理方法，所述數據為存儲在數據庫中的特征數據，包括：

將所述數據庫中的特征數據及其信息項加載到本地磁盤，并根據所述特征數據的信息項創建當前索引；

將所述加載的特征數據按照所述當前索引排列儲存在本地磁盤中成為本地特征數據；

將所述本地特征數據讀取到物理內存中成為內存特征數據，所述內存特征數據排列儲存的方式與所述本地特征數據排列儲存的方式相同；

獲取比對條件，根據所述比對條件在所述物理內存中搜索所述當前索引，確定符合所述比對條件的所述內存特征數據為第一特征數據；

通過所述當前索引定位所述第一特征數據在所述物理內存中的位置。

可選的，所述根據所述特征數據的信息項創建當前索引包括：將所述特征數據的信息項轉換為數值型信息數據，并根據所述數值型信息數據對特征數據進行排序，創建對應排序后的特征數據的索引表。

可選的，所述當前索引為多級索引，每級索引對應一信息項，最后一級索引記錄所述第一特征數據在所述物理內存中的位置。

可選的，所述每級索引為平衡二叉樹索引。

可選的，所述第一特征數據在所述物理內存中的位置包括所述第一特征數據的在所述物理內存中存儲的開始位置和結束位置。

可選的，所述將所述數據庫中的特征數據加載到本地磁盤包括：定時加載一次所述特征數據到本地磁盤。

可選的，所述將所述數據庫中的特征數據加載到本地磁盤包括：在所述數據庫更新的特征數據數量達到預定值時，加載一次所述特征數據到本地磁盤。

可選的，所述本地磁盤為比對服務器的硬盤，所述物理內存為所述比對服務器的內存。

可選的，所述特征數據為人臉特征數據或指紋特征數據，所述特征數據的信息項包括性別、年齡和區域，所述比對條件包括性別、年齡和區域。

一種比對系統中的數據處理裝置，包括：

加載單元，用以將所述數據庫中的特征數據及其信息項加載到本地磁盤，并根據所述特征數據的信息項創建當前索引；

儲存單元，用以將所述加載的特征數據按照所述當前索引排列儲存在本地磁盤中成為本地特征數據；

讀取單元，用以將所述本地特征數據讀取到物理內存中成為內存特征數據，所述內存特征數據排列儲存的方式與所述本地特征數據排列儲存的方式相同；

篩選單元，用以獲取比對條件，根據所述比對條件在所述物理內存中搜索所述索引，確定符合所述比對條件的所述內存特征數據為第一特征數據；

定位單元，用以通過所述第一特征數據的索引定位所述第一特征數據在所述物理內存中的位置。

可選的，所述加載單元包括：

轉換單元，用以將所述特征數據的信息項轉換為數值型信息數據；

排序單元，用以根據所述數值型信息數據對特征數據進行排序；

創建單元，用以創建對應排序后的特征數據的索引表。

可選的，所述索引為多級索引，每級索引對應一信息項，最后一級索引記錄所述第一特征數據在所述物理內存中的位置。

可選的，所述每級索引為平衡二叉樹索引。

可選的，所述第一特征數據在所述物理內存中的位置包括所述第一特征數據的在所述物理內存中存儲的開始位置和結束位置。