[發(fā)明專利]鍵值數(shù)據(jù)處理方法、裝置、計(jì)算機(jī)設(shè)備及可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110639861.4
• 申請(qǐng)日: 2021-06-09
• 公開（公告）號(hào): CN113342813A
• 公開（公告）日: 2021-09-03
• 發(fā)明（設(shè)計(jì)）人: 顧凌云;郭志攀;王偉;張愛平
• 申請(qǐng)（專利權(quán)）人: 南京冰鑒信息科技有限公司
• 主分類號(hào): G06F16/22
• 分類號(hào): G06F16/22
• 代理公司: 成都頂峰專利事務(wù)所(普通合伙) 51224
• 代理人: 錢學(xué)宇

1.一種鍵值數(shù)據(jù)處理方法，其特征在于，包括：

獲取待處理鍵值數(shù)據(jù)集，并計(jì)算所述待處理鍵值數(shù)據(jù)集的多個(gè)哈希值的絕對(duì)值，所述待處理鍵值數(shù)據(jù)集包括多個(gè)待處理鍵值數(shù)據(jù)，所述待處理鍵值數(shù)據(jù)與所述哈希值對(duì)應(yīng)；

根據(jù)所述絕對(duì)值對(duì)所述待處理鍵值數(shù)據(jù)集進(jìn)行聚合，將所述待處理鍵值數(shù)據(jù)集中具備相同所述哈希值的所述待處理鍵值數(shù)據(jù)合并；

將聚合后的所述待處理鍵值數(shù)據(jù)集進(jìn)行壓縮，得到壓縮鍵值數(shù)據(jù)集；

將所述壓縮鍵值數(shù)據(jù)集寫入文件中，并將所述哈希值作為所述文件的索引項(xiàng)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述文件包括索引文件和數(shù)據(jù)文件，所述將所述壓縮鍵值數(shù)據(jù)集寫入文件中，并將所述哈希值作為所述文件的索引項(xiàng)，包括：

將所述壓縮鍵值數(shù)據(jù)集包括的數(shù)據(jù)寫入數(shù)據(jù)文件；

將所述哈希值寫入所述索引文件，并以所述壓縮鍵值數(shù)據(jù)集包括的數(shù)據(jù)的首個(gè)哈希值作為所述文件的文件名，構(gòu)建所述索引項(xiàng)；

將所述文件落入磁盤，并固定所述磁盤中存儲(chǔ)的所述文件的數(shù)量。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述將所述壓縮鍵值數(shù)據(jù)集包括的數(shù)據(jù)寫入數(shù)據(jù)文件，包括：

按照所述壓縮鍵值數(shù)據(jù)集包括的數(shù)據(jù)的哈希值的順序?qū)⑺鰤嚎s鍵值數(shù)據(jù)集包括的數(shù)據(jù)以追加方式寫入數(shù)據(jù)文件，并獲取所述壓縮鍵值數(shù)據(jù)集包括的數(shù)據(jù)的開始偏移量和數(shù)據(jù)壓縮后的長(zhǎng)度。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述將所述哈希值寫入所述索引文件，包括：

將所述壓縮鍵值數(shù)據(jù)集包括的數(shù)據(jù)的開始偏移量和數(shù)據(jù)壓縮后的長(zhǎng)度追加至所述索引文件中，得到多個(gè)所述索引項(xiàng)，其中，每個(gè)所述索引項(xiàng)的長(zhǎng)度固定。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

獲取待查詢鍵數(shù)據(jù)，計(jì)算所述鍵數(shù)據(jù)對(duì)應(yīng)的所述哈希值；

根據(jù)所述哈希值確定出對(duì)應(yīng)的所述索引項(xiàng)；

定位到所述索引項(xiàng)在所述文件中的位置，并再向后讀取預(yù)設(shè)數(shù)量字節(jié)的數(shù)據(jù)信息；

根據(jù)所述數(shù)據(jù)信息定位到所述鍵數(shù)據(jù)對(duì)應(yīng)的開始偏移量，并向后讀取預(yù)設(shè)字節(jié)長(zhǎng)度，得到所述鍵數(shù)據(jù)對(duì)應(yīng)的值數(shù)據(jù)。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述根據(jù)所述數(shù)據(jù)信息定位到所述鍵數(shù)據(jù)對(duì)應(yīng)的開始偏移量，并向后讀取預(yù)設(shè)字節(jié)長(zhǎng)度，得到所述鍵數(shù)據(jù)對(duì)應(yīng)的值數(shù)據(jù)，包括：

對(duì)所述數(shù)據(jù)信息對(duì)應(yīng)的數(shù)據(jù)進(jìn)行解壓；

根據(jù)所述鍵數(shù)據(jù)對(duì)應(yīng)的開始偏移量和所述預(yù)設(shè)字節(jié)長(zhǎng)度獲取所述鍵數(shù)據(jù)對(duì)應(yīng)的解壓數(shù)據(jù)；

按照預(yù)設(shè)鍵加密規(guī)則對(duì)所述解壓數(shù)據(jù)進(jìn)行加密，得到加密結(jié)果；

若所述加密結(jié)果與所述鍵數(shù)據(jù)匹配，則將所述解壓數(shù)據(jù)作為所述鍵數(shù)據(jù)對(duì)應(yīng)的所述值數(shù)據(jù)；

若所述加密結(jié)果與所述鍵數(shù)據(jù)不匹配，則返回執(zhí)行所述根據(jù)所述鍵數(shù)據(jù)對(duì)應(yīng)的開始偏移量和所述預(yù)設(shè)字節(jié)長(zhǎng)度獲取所述鍵數(shù)據(jù)對(duì)應(yīng)的解壓數(shù)據(jù)的步驟，直至遍歷所述數(shù)據(jù)信息對(duì)應(yīng)的數(shù)據(jù)。

7.根據(jù)權(quán)利要求5所述的方法，其特征在于，在所述定位到所述索引項(xiàng)在所述文件中的位置之前，包括：

獲取所述索引項(xiàng)的索引項(xiàng)信息；

判斷所述索引項(xiàng)信息的預(yù)設(shè)結(jié)尾字節(jié)是否為0；

若是，則結(jié)束查詢流程，并顯示所述鍵數(shù)據(jù)對(duì)應(yīng)的值數(shù)據(jù)不存在；

若否，則執(zhí)行所述定位到所述索引項(xiàng)在所述文件中的位置的步驟。

8.一種鍵值數(shù)據(jù)處理裝置，其特征在于，包括：

獲取模塊，用于獲取待處理鍵值數(shù)據(jù)集，并計(jì)算所述待處理鍵值數(shù)據(jù)集的多個(gè)哈希值的絕對(duì)值，所述待處理鍵值數(shù)據(jù)集包括多個(gè)待處理鍵值數(shù)據(jù)，所述待處理鍵值數(shù)據(jù)與所述哈希值對(duì)應(yīng)；

聚合模塊，用于根據(jù)所述絕對(duì)值對(duì)所述待處理鍵值數(shù)據(jù)集進(jìn)行聚合，將所述待處理鍵值數(shù)據(jù)集中具備相同所述哈希值的所述待處理鍵值數(shù)據(jù)合并；

壓縮模塊，用于將聚合后的所述待處理鍵值數(shù)據(jù)集進(jìn)行壓縮，得到壓縮鍵值數(shù)據(jù)集；

存儲(chǔ)模塊，用于將所述壓縮鍵值數(shù)據(jù)集寫入文件中，并將所述哈希值作為所述文件的索引項(xiàng)。