[發明專利]一種數據管理方法及其裝置

在審

• 申請號: 201710845879.3
• 申請日: 2017-09-19
• 公開（公告）號: CN107590251A
• 公開（公告）日: 2018-01-16
• 發明（設計）人: 金洪殿
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京安信方達知識產權代理有限公司11262
• 代理人: 李紅爽,李丹

技術領域

本發明涉及計算機技術，尤指一種數據管理方法及其裝置。

背景技術

隨著現在的科技發展，人們之間的信息流通也在日趨增多，從而產生了種類繁多和數量繁多的數據。

通常在公安行業中，記錄保存有多種類型的數據，其中，該數據至少可以包括：人員檔案基本信息、案件信息、住宿信息、網吧上網人員信息、車站機場上下客信息。在辦案人員處理案件的過程中，需要掌握與案件有關的所有數據才能對案件做出正確的判斷，因此辦案人員需要分別去不同的部門對案件有關的數據進行調取和查詢，例如，需要去戶籍部門獲取案件相關人員的戶籍信息，并需要去刑偵部門獲取案件相關人員過往案件信息，還需要去交警部門獲取案件相關人員的行車信息。

然而，由于不同部門之間的數據是隔離的，導致辦案人員花費大量時間在數據的調取與查詢上，從而導致獲取數據的效率較低。

發明內容

為了解決上述技術問題，本發明提供了一種數據管理方法及其裝置，用以解決獲取數據的效率較低的問題。

為了達到本發明目的，本發明提供了一種數據管理方法，包括：

獲取至少兩種類型數據中的相關數據，所述相關數據之間存在至少一個相同的字段；

對所述相關數據進行處理，將處理后獲得的數據文件存儲到數據庫HBase；

根據所述數據文件，建立所述數據文件與搜索服務器ES的映射關系，以使通過所述ES獲取存儲在所述HBase中的所述數據文件。

進一步的，所述根據所述數據文件，建立所述數據文件與ES的映射關系，包括：

將所述HBase中所述數據文件的索引標識存儲到ES，所述索引標識至少包括在所述HBase中所述數據文件的主鍵。

進一步的，所述對所述相關數據進行處理，將處理后獲得的數據文件存儲到數據庫HBase，包括：

將所述相關數據進行處理，獲得可擴展標記語言Xml格式的數據文件；

根據所述Xml格式的數據文件，將所述Xml格式的數據文件存儲到所述Hbase。

進一步的，所述根據所述數據文件，建立所述數據文件與ES的映射關系之后，還包括：

獲取搜索信息，所述搜索信息用于獲取所述HBase中的所述數據文件；

根據所述搜索信息，獲取通過ES確定的所述數據文件。

進一步的，所述獲取至少兩種類型數據中的相關數據，包括：

通過數據同步工具，獲取至少兩個數據庫中所述至少兩種類型數據的相關數據。

本發明還提供了一種數據管理裝置，包括：

獲取模塊，用于獲取至少兩種類型數據中的相關數據，所述相關數據之間存在至少一個相同的字段；

存儲模塊，用于對所述相關數據進行處理，將處理后獲得的數據文件存儲到數據庫HBase；

處理模塊，用于根據所述數據文件，建立所述數據文件與搜索服務器ES的映射關系，以使通過所述ES獲取存儲在所述HBase中的所述數據文件。

進一步的，所述處理模塊，用于將所述HBase中所述數據文件的索引標識存儲到ES，所述索引標識至少包括在所述HBase中所述數據文件的主鍵。

進一步的，所述存儲模塊，用于將所述相關數據進行處理，獲得可擴展標記語言Xml格式的數據文件；根據所述Xml格式的數據文件，將所述Xml格式的數據文件存儲到所述Hbase。

進一步的，所述獲取模塊，還用于獲取搜索信息，所述搜索信息用于獲取所述HBase中的所述數據文件；根據所述搜索信息，獲取通過ES確定的所述數據文件。

進一步的，所述獲取模塊，用于通過數據同步工具，獲取至少兩個數據庫中所述至少兩種類型數據的相關數據。

與現有技術相比，本發明至少包括獲取至少兩種類型數據中的相關數據，所述相關數據之間存在至少一個相同的字段；對所述相關數據進行處理，將處理后獲得的數據文件存儲到數據庫HBase；根據所述數據文件，建立所述數據文件與ES的映射關系，以使通過所述ES獲取存儲在所述HBase中的所述數據文件。實現了在一數據庫HBase中獲取不同類型數據，從而避免了在不同數據庫獲取數據，進而提高了獲取數據的效率。

本發明的其它特征和優點將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本發明而了解。本發明的目的和其他優點可通過在說明書、權利要求書以及附圖中所特別指出的結構來實現和獲得。

附圖說明