[發明專利]哈希表數據存儲管理方法、裝置、介質和電子設備

有效

• 申請號: 202011529973.6
• 申請日: 2020-12-22
• 公開（公告）號: CN112632069B
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 鄢貴海;盧文巖;王雪;張孟杰
• 申請（專利權）人: 中科馭數（北京）科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22
• 代理公司: 北京開陽星知識產權代理有限公司 11710
• 代理人: 祝樂芳

本公開涉及一種哈希表數據存儲管理方法、裝置、介質和電子設備，其中方法包括：獲取待處理哈希表中的數據，每個數據攜帶哈希值、地址偏移量及所屬哈希表的標識；基于每個數據所屬哈希表的標識及哈希值，在預先建立的哈希查找表中查找每個數據在存儲器內對應存儲區的地址，以及在相應存儲區內對應的存儲單元的地址，再基于地址偏移量確定數據待寫入的實際物理地址，最后將數據寫入存儲器內對應的存儲單元。本公開的實施方案可以提高哈希表的可移植性，數據存儲得更聚集，從而使得后續對哈希表的數據讀取效率較高。

技術領域

本公開實施例涉及計算機技術領域，尤其涉及一種哈希表數據存儲管理方法、哈希表數據存儲管理裝置，實現哈希表數據存儲管理方法的計算機可讀存儲介質和電子設備。

背景技術

在數據庫系統中，哈希表(Hash table)是最常見的一種數據結構。通常在數據庫系統中哈希表的數據量相對較大，并且會建有多個哈希表。因此一般情況下無法將哈希表中數據全部緩存到片上存儲器中，需要存儲到片外主存例如動態隨機存取存儲器(DynamicRandom Access Memory，DRAM)中。

DRAM具有高數據存取延時和高數據帶寬的特征，發明人發現，如果直接對DRAM進行哈希表的數據存儲，可能會造成數據存儲的較為離散，這樣后續對哈希表的數據讀取時會浪費很多時間，并且使哈希表的可移植性降低。

發明內容

為了解決上述技術問題或者至少部分地解決上述技術問題，本公開實施例提供了一種哈希表數據存儲管理方法、哈希表數據存儲管理裝置，實現哈希表數據存儲管理方法的計算機可讀存儲介質和電子設備。

第一方面，本公開實施例提供了一種哈希表數據存儲管理方法，包括：

獲取待處理哈希表中的一個或多個數據，每個所述數據攜帶哈希值、地址偏移量以及所屬哈希表的標識；

基于每個所述數據所屬哈希表的標識，在哈希查找表中查找每個所述數據在存儲器內對應的存儲區的地址，所述哈希查找表包括不同哈希表的標識與存儲器內不同的存儲區的地址之間的對應關系；

基于每個所述數據的哈希值，在所述哈希查找表中查找每個所述數據在對應的所述存儲區內的存儲單元的地址，所述哈希查找表還包括每個哈希表中各數據的哈希值與存儲區內的不同存儲單元的地址之間的對應關系；

基于每個所述數據的地址偏移量，以及查找的每個所述數據在所述存儲器內對應的存儲區的地址以及所述存儲區內對應的存儲單元的地址，確定每個所述數據待寫入的實際物理地址；

基于每個所述數據待寫入的實際物理地址，將每個所述數據寫入所述存儲器內對應的存儲單元。

在本公開的一些實施例中，所述存儲器是動態隨機存取存儲器，包括多個不同的存儲區，每個所述存儲區包括邏輯上的主存儲區，所述主存儲區包括多個存儲單元，所述哈希查找表包括每個哈希表中各數據的哈希值與對應的每個所述存儲區內的主存儲區的存儲單元的地址之間的對應關系。

在本公開的一些實施例中，每個所述存儲區還包括邏輯上的輔存儲區，所述輔存儲區包括多個存儲單元；每個所述主存儲區內的每個所述存儲單元包括數據存儲子單元和地址存儲子單元。

在本公開的一些實施例中，所述方法還包括：

在計算的每個所述數據的哈希值中存在哈希沖突時，將哈希沖突的哈希值對應的數據寫入對應主存儲區的對應存儲單元的數據存儲子單元；

在所述主存儲區寫滿時，在所述輔存儲區中為新哈希沖突的哈希值對應的數據申請一個存儲單元，將新哈希沖突的哈希值對應的數據寫入申請的該存儲單元中，并將申請的該存儲單元的地址存儲于所述主存儲區中與新哈希沖突對應的數據所在存儲單元的地址存儲子單元。

在本公開的一些實施例中，所述方法還包括：