[發明專利]優化鍵值數據庫的數據存儲結構的方法和裝置

有效

• 申請號: 201610305828.7
• 申請日: 2016-05-10
• 公開（公告）號: CN107357794B
• 公開（公告）日: 2020-06-05
• 發明（設計）人: 黃肖明
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本申請公開了優化鍵值數據庫的數據存儲結構的方法和裝置。所述方法的一具體實施方式包括：從數據庫中讀取預設數量的關鍵字并對讀取的每一個關鍵字執行分析步驟直至已分析數據庫中的所有關鍵字，得到前綴列表；獲取命中前綴列表中的前綴的關鍵字的數量和存儲空間；根據命中前綴列表中的前綴的關鍵字的數量和存儲空間，優化數據庫的數據存儲結構。該實施方式提升了數據庫的存儲性能并加速了數據庫的讀取效率。

技術領域

本申請涉及計算機技術領域，具體涉及互聯網技術領域，尤其涉及優化鍵值數據庫的數據存儲結構的方法和裝置。

背景技術

隨著分布式數據存儲業務的復雜性越來越高，為了避免在單個共享內存上讀取壓力過大，可以通過哈希(hash)等算法對共享存儲設備進行負載均衡，但這也帶來了鍵值表數量的劇增。

目前，在監控分布式數據存儲中的鍵值表時，通常獲取所有關鍵字并逐個展示關鍵字的存儲空間和數據結構，或者針對用戶指定的關鍵字獲取存儲空間和關鍵字的數據結構，又或者通過在線實時監控應用讀寫關鍵字，并實時分析關鍵字的讀取性能等使用情況。

然而，目前監控鍵值表時所獲取的數據僅為鍵值表中某一行數據占用的存儲空間或讀寫頻繁等信息，無法根據獲取的數據優化數據存儲。

發明內容

本申請的目的在于提出一種改進的優化鍵值數據庫的數據存儲結構的方法和裝置，來解決以上背景技術部分提到的技術問題。

第一方面，本申請提供了一種優化鍵值數據庫的數據存儲結構的方法，所述方法包括：從數據庫中讀取預設數量的關鍵字并對讀取的每一個關鍵字執行分析步驟直至已分析數據庫中的所有關鍵字，所述分析步驟包括：分析讀取的關鍵字以得到分詞，對所述分詞執行檢測步驟，所述檢測步驟包括：刪除最后一個分詞以得到預測前綴，識別所述預測前綴是否命中前綴列表中的前綴，若命中，則將所述前綴列表中的前綴的被命中次數加1，若未命中，則將所述預測前綴添加至所述前綴列表，并識別所述預測前綴是否為單個分詞，若是，則對讀取的下一個關鍵字執行分析步驟，若否，則對所述預測前綴中的分詞執行所述檢測步驟；獲取命中所述前綴列表中的前綴的關鍵字的數量和存儲空間；根據所述命中所述前綴列表中的前綴的關鍵字的數量和存儲空間，優化數據庫的數據存儲結構。

在一些實施例中，所述獲取命中所述前綴列表中的前綴的關鍵字的數量和存儲空間包括：對所述前綴列表中被命中次數小于2次的前綴對應的關鍵字重新執行分析步驟，得到更新后的前綴列表；獲取命中所述更新后的前綴列表中的前綴的關鍵字的數量和存儲空間；以及所述根據所述命中所述前綴列表中的前綴的關鍵字的數量和存儲空間，優化數據庫的數據存儲結構包括：根據命中所述更新后的前綴列表中的前綴的關鍵字的數量和存儲空間，優化數據庫的數據存儲結構。

在一些實施例中，從數據庫中讀取預設數量的關鍵字并對讀取的每一個關鍵字執行分析步驟直至已分析數據庫中的所有關鍵字包括：從數據庫中讀取預設數量的關鍵字并對讀取的每一個關鍵字執行分析步驟，在對預設數量的關鍵字執行分析步驟結束時，將所述前綴列表中命中標識小于2次的前綴作為獨立前綴移至獨立哈希表中直至已分析數據庫中的所有關鍵字；所述獲取命中所述前綴列表中的前綴的關鍵字的數量和存儲空間包括：在識別所述數據庫中所有關鍵字之后，對與所述獨立前綴相對應的鍵重新執行所述分析步驟以得到更新后的前綴列表，獲取命中所述更新后的前綴列表中的前綴的關鍵字的數量和存儲空間；以及所述根據所述命中所述前綴列表中的前綴的關鍵字的數量和存儲空間，優化數據庫的數據存儲結構包括：根據命中所述更新后的前綴列表中的前綴的關鍵字的數量和存儲空間，優化數據庫的數據存儲結構。

在一些實施例中，所述數據庫包括實例和/或內存快照文件。

在一些實施例中，所述分析讀取的關鍵字以得到分詞包括：