[發(fā)明專利]鍵值數(shù)據(jù)處理方法、裝置、計算機(jī)設(shè)備及可讀存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110639861.4
• 申請日: 2021-06-09
• 公開（公告）號: CN113342813A
• 公開（公告）日: 2021-09-03
• 發(fā)明（設(shè)計）人: 顧凌云;郭志攀;王偉;張愛平
• 申請（專利權(quán)）人: 南京冰鑒信息科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22
• 代理公司: 成都頂峰專利事務(wù)所(普通合伙) 51224
• 代理人: 錢學(xué)宇

本申請公開了一種鍵值數(shù)據(jù)處理方法、裝置、計算機(jī)設(shè)備及可讀存儲介質(zhì)，包括：獲取待處理鍵值數(shù)據(jù)集，并計算待處理鍵值數(shù)據(jù)集的多個哈希值的絕對值，待處理鍵值數(shù)據(jù)集包括多個待處理鍵值數(shù)據(jù)，待處理鍵值數(shù)據(jù)與哈希值對應(yīng)；根據(jù)絕對值對待處理鍵值數(shù)據(jù)集進(jìn)行聚合，將待處理鍵值數(shù)據(jù)集中具備相同哈希值的待處理鍵值數(shù)據(jù)合并；將聚合后的待處理鍵值數(shù)據(jù)集進(jìn)行壓縮，得到壓縮鍵值數(shù)據(jù)集；將壓縮鍵值數(shù)據(jù)集寫入文件中，并將哈希值作為文件的索引項，相較于現(xiàn)有技術(shù)中僅利用鍵值對實(shí)現(xiàn)大數(shù)據(jù)的存儲，本申請通過上述方案利用了哈希值作為存儲查詢依據(jù)，能夠便捷地對大數(shù)據(jù)進(jìn)行存儲，同時提高了后續(xù)查詢數(shù)據(jù)的效率。

技術(shù)領(lǐng)域

本申請涉及大數(shù)據(jù)處理領(lǐng)域，具體而言，涉及鍵值數(shù)據(jù)處理方法、裝置、計算機(jī)設(shè)備及可讀存儲介質(zhì)。

背景技術(shù)

大數(shù)據(jù)的發(fā)展增強(qiáng)了各類業(yè)務(wù)的處理效率，而在相關(guān)技術(shù)中，鍵值對的查找是指通過給定的鍵來查詢其對應(yīng)的值的過程。利用其專業(yè)知識和技巧處理數(shù)據(jù)，能更快的找到鍵對應(yīng)的值。在業(yè)界，通常是使用數(shù)據(jù)庫來存儲鍵值對，查找值時，使用SQL（結(jié)構(gòu)化查詢語言）從數(shù)據(jù)庫中查找給定的鍵對應(yīng)的值。這種方案在數(shù)據(jù)量少時，可以實(shí)現(xiàn)不錯的性能效果，但當(dāng)數(shù)據(jù)量越來越大后，會出現(xiàn)越來越多的問題，例如查詢速度慢、數(shù)據(jù)庫宕機(jī)、程序等待時間長等缺陷。

發(fā)明內(nèi)容

本申請的目的在于提供一種鍵值數(shù)據(jù)處理方法、裝置、計算機(jī)設(shè)備及可讀存儲介質(zhì)。

第一方面，本申請實(shí)施例提供一種鍵值數(shù)據(jù)處理方法，包括：

獲取待處理鍵值數(shù)據(jù)集，并計算待處理鍵值數(shù)據(jù)集的多個哈希值的絕對值，待處理鍵值數(shù)據(jù)集包括多個待處理鍵值數(shù)據(jù)，待處理鍵值數(shù)據(jù)與哈希值對應(yīng)；

根據(jù)絕對值對待處理鍵值數(shù)據(jù)集進(jìn)行聚合，將待處理鍵值數(shù)據(jù)集中具備相同哈希值的待處理鍵值數(shù)據(jù)合并；

將聚合后的待處理鍵值數(shù)據(jù)集進(jìn)行壓縮，得到壓縮鍵值數(shù)據(jù)集；

將壓縮鍵值數(shù)據(jù)集寫入文件中，并將哈希值作為文件的索引項。

在一種可能的實(shí)施方式中，文件包括索引文件和數(shù)據(jù)文件，將壓縮鍵值數(shù)據(jù)集寫入文件中，并將哈希值作為文件的索引項，包括：

將壓縮鍵值數(shù)據(jù)集包括的數(shù)據(jù)寫入數(shù)據(jù)文件；

將哈希值寫入索引文件，并以壓縮鍵值數(shù)據(jù)集包括的數(shù)據(jù)的首個哈希值作為文件的文件名，構(gòu)建索引項；

將文件落入磁盤，并固定磁盤中存儲的文件的數(shù)量。

在一種可能的實(shí)施方式中，將壓縮鍵值數(shù)據(jù)集包括的數(shù)據(jù)寫入數(shù)據(jù)文件，包括：

按照壓縮鍵值數(shù)據(jù)集包括的數(shù)據(jù)的哈希值的順序?qū)嚎s鍵值數(shù)據(jù)集包括的數(shù)據(jù)以追加方式寫入數(shù)據(jù)文件，并獲取壓縮鍵值數(shù)據(jù)集包括的數(shù)據(jù)的開始偏移量和數(shù)據(jù)壓縮后的長度。

在一種可能的實(shí)施方式中，將哈希值寫入索引文件，包括：

將壓縮鍵值數(shù)據(jù)集包括的數(shù)據(jù)的開始偏移量和數(shù)據(jù)壓縮后的長度追加至索引文件中，得到多個索引項，其中，每個索引項的長度固定。

在一種可能的實(shí)施方式中，還包括：

獲取待查詢鍵數(shù)據(jù)，計算鍵數(shù)據(jù)對應(yīng)的哈希值；

根據(jù)哈希值確定出對應(yīng)的索引項；

定位到索引項在文件中的位置，并再向后讀取預(yù)設(shè)數(shù)量字節(jié)的數(shù)據(jù)信息；

根據(jù)數(shù)據(jù)信息定位到鍵數(shù)據(jù)對應(yīng)的開始偏移量，并向后讀取預(yù)設(shè)字節(jié)長度，得到鍵數(shù)據(jù)對應(yīng)的值數(shù)據(jù)。

在一種可能的實(shí)施方式中，根據(jù)數(shù)據(jù)信息定位到鍵數(shù)據(jù)對應(yīng)的開始偏移量，并向后讀取預(yù)設(shè)字節(jié)長度，得到鍵數(shù)據(jù)對應(yīng)的值數(shù)據(jù)，包括：

對數(shù)據(jù)信息對應(yīng)的數(shù)據(jù)進(jìn)行解壓；

根據(jù)鍵數(shù)據(jù)對應(yīng)的開始偏移量和預(yù)設(shè)字節(jié)長度獲取鍵數(shù)據(jù)對應(yīng)的解壓數(shù)據(jù)；

按照預(yù)設(shè)鍵加密規(guī)則對解壓數(shù)據(jù)進(jìn)行加密，得到加密結(jié)果；

若加密結(jié)果與鍵數(shù)據(jù)匹配，則將解壓數(shù)據(jù)作為鍵數(shù)據(jù)對應(yīng)的值數(shù)據(jù)；