[發明專利]一種KV引擎的數據處理方法及裝置

有效

• 申請號: 201810205692.1
• 申請日: 2018-03-13
• 公開（公告）號: CN108446363B
• 公開（公告）日: 2021-05-25
• 發明（設計）人: 白敏;高浩浩;李朋舉;韓志立
• 申請（專利權）人: 北京奇安信科技有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/22;G06F16/245
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩;李相雨

本發明實施例公開了一種KV引擎的數據處理方法及裝置，方法包括：獲取情報源數據，對所述情報源數據進行預處理，得到待入庫數據；對所述待入庫數據進行檢驗，若通過檢驗，則根據情報入侵指標的數據存儲方式，采用不同的鍵KEY將所述待入庫數據存入鍵值KV引擎庫；若接收到數據查詢的觸發操作，則對所述KV引擎庫中的每個主鍵進行遍歷后，返回至少一個KEY對應的數據。本發明實施例通過對所述待入庫數據進行檢驗，若通過檢驗，則根據情報入侵指標的數據存儲方式，采用不同的鍵KEY將所述待入庫數據存入KV引擎庫，在保證情報數據安全的前提下，通過不同的KEY存儲，能夠提高數據的處理性能。

技術領域

本發明實施例涉及計算機技術領域，具體涉及一種KV引擎的數據處理方法及裝置。

背景技術

隨著計算機技術和網絡應用的迅速發展，網絡信息數據量越來越大，海量數據的存儲變得越來越重要。當今社會化網絡、移動通信、網絡視頻音頻、電子商務、傳感器網絡、科學實驗等各種應用產生的數據，往往能夠產生千萬級、億級甚至十億、百億級的海量小文件，在很多場景下，這些小文件一般都是非常小的碎片化數據，傳統的存儲在處理此類海量小文件寫入時效率非常低下，這是因為海量小文件往往會帶來大量的隨機寫入，本地寫入時會因磁盤頻繁尋址極大地降低性能，時下越來越流行的分布式存儲由于存在先天的網絡延時、多副本設置和元數據寫入會使性能降得更低。

在實現本發明實施例的過程中，發明人發現現有的數據處理方法采用Redis或其他Innodb方式進行處理，但處理性能無法滿足要求。

發明內容

由于現有方法存在上述問題，本發明實施例提出一種KV引擎的數據處理方法及裝置。

第一方面，本發明實施例提出一種KV引擎的數據處理方法，包括：

獲取情報源數據，對所述情報源數據進行預處理，得到待入庫數據；

對所述待入庫數據進行檢驗，若通過檢驗，則根據情報入侵指標的數據存儲方式，采用不同的鍵KEY將所述待入庫數據存入鍵值KV引擎庫；

若接收到數據查詢的觸發操作，則對所述KV引擎庫中的每個主鍵進行遍歷后，返回至少一個KEY對應的數據。

可選地，所述獲取情報源數據，對所述情報源數據進行預處理，得到待入庫數據，具體包括：

獲取情報源數據，若判斷獲知所述情報源數據為加密數據，則進行解密處理；待確定所述情報源數據的結構完整且內容字段為可入庫字段格式后，對所述情報源數據進行唯一性校驗，并對不滿足唯一性校驗的情報源數據進程去重合并處理，得到待入庫數據。

可選地，所述對所述待入庫數據進行檢驗，若通過檢驗，則根據情報入侵指標的數據存儲方式，采用不同的鍵KEY將所述待入庫數據存入鍵值KV引擎庫，具體包括：

對所述待入庫數據進行檢驗，若通過檢驗，則將所述待入庫數據轉換成預設格式的對象標記JSON串，根據情報入侵指標的數據存儲方式，采用不同的鍵KEY將所述JSON串批量存入鍵值KV引擎庫。

可選地，所述對所述待入庫數據進行檢驗，若通過檢驗，則根據情報入侵指標的數據存儲方式，采用不同的鍵KEY將所述待入庫數據存入鍵值KV引擎庫，具體包括：

對所述待入庫數據進行檢驗，若通過檢驗，則根據情報入侵指標的數據存儲方式，采用不同的KEY將所述待入庫數據追加存入KV引擎庫；

若判斷獲知所述待入庫數據的KEY與KV引擎庫中的目標數據的KEY相同，則將所述待入庫數據存入所述KV引擎庫并覆蓋所述目標數據。

可選地，所述對所述待入庫數據進行檢驗，若通過檢驗，則根據情報入侵指標的數據存儲方式，采用不同的鍵KEY將所述待入庫數據存入鍵值KV引擎庫，具體包括：