[發明專利]一種分布式存儲器哈希索引方法及系統

有效

• 申請號: 201410077069.4
• 申請日: 2014-03-04
• 公開（公告）號: CN104156380B
• 公開（公告）日: 2019-03-26
• 發明（設計）人: 許志良;王寅峰;賴紅;張運生
• 申請（專利權）人: 深圳信息職業技術學院
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 深圳中一專利商標事務所 44237
• 代理人: 張全文

本發明屬于數據庫、分布式信息處理技術領域，尤其涉及一種分布式存儲器哈希索引方法及系統。在本發明中，將哈希表的地址范圍映射到多個存儲器節點中，主節點計算鍵key的哈希值，根據計算得到的鍵key的哈希值獲取存儲器節點編號；然后根據存儲器節點編號與存儲器節點IP的映射關系查找到對應的存儲器節點地址，對存儲器節點地址對應存儲器節點進行寫入、讀取、或刪除操作，由于通過多個存儲器節點擴充了存儲器容量，同時通過基于鍵值（key?value）分布式哈希查找，提高了數據庫系統的讀寫性能。

技術領域

本發明屬于數據庫、分布式信息處理技術領域，尤其涉及一種分布式存儲器哈希索引方法及系統。

背景技術

在科技快速發展的今天，社會各個領域中的需要統計的數據都飛速增長，海量數據的記錄、查找為計算機技術帶來新的發展方向，提供新的技術課題。傳統基于磁盤的哈希表，每一次磁盤I/O都要耗費大量的時間，很難滿足現代交易系統（如股票等）對實時回應時間的要求。此外對于海量數據，單機節點由于存儲器容量的限制無法將全部索引保存在內存中。

發明內容

本發明的目的在于提供一種基于多存儲節點以及key-value的分布式存儲器哈希索引方法，旨在解決現有的磁盤哈希表I/O耗時長以及單機節點由于存儲器容量的限制無法將全部索引保存在內存中的問題。

本發明是這樣實現的，一種分布式存儲器哈希索引方法，包括：

將哈希表的地址范圍映射到多個存儲器節點中；

主節點計算鍵key的哈希值，根據計算得到的鍵key的哈希值獲取存儲器節點編號；

根據存儲器節點編號與存儲器節點IP的映射關系查找到對應的存儲器節點地址，所述存儲器節點編號與存儲器節點IP的映射關系存儲在路由表中，所述路由表存儲在主節點中；

對所述存儲器節點地址對應存儲器節點進行寫入、讀取、或刪除操作。

進一步的，所述的根據計算得到的鍵值的哈希值獲取節點編號，具體為：

將計算得到的key的哈希值的前m位作為節點編號，所述m為存儲器節點的個數。

進一步的，所述方法還包括：

磁盤節點通過基于磁盤的哈希表保存存儲器節點中的哈希表的鏡像，對磁盤節點進行寫入或刪除操作。

本發明還提供了一種分布式存儲器哈希索引系統，包括：映射模塊、計算模塊、第一獲取模塊、第一查找模塊、寫入模塊、讀取模塊、刪除模塊；

所述映射模塊，用于將哈希表的地址范圍映射到多個存儲器節點中；

所述計算模塊，用于主節點計算鍵key的哈希值；

所述第一獲取模塊，用于根據計算得到的鍵key的哈希值獲取存儲器節點編號；

所述第一查找模塊，用于根據存儲器節點編號與存儲器節點IP的映射關系查找到對應的存儲器節點地址，所述存儲器節點編號與存儲器節點IP的映射關系存儲在路由表中，所述路由表存儲在主節點中；

所述寫入模塊，用于對所述存儲器節點地址對應存儲器節點進行寫入操作；

所述讀取模塊，用于對所述存儲器節點地址對應存儲器節點進行讀取操作；

所述刪除模塊，用于對所述存儲器節點地址對應存儲器節點進行刪除操作。

進一步的，所述第一獲取模塊還包括：

第一獲取子模塊，用于將計算得到的key的哈希值的前m位作為節點編號，所述m為存儲器節點的個數。

進一步的，所述系統還包括：存儲模塊，用于磁盤節點通過基于磁盤的哈希表保存存儲器節點中的哈希表的鏡像；