[發明專利]基于分布式數據庫的數據存儲方法、裝置及電子設備

在審

• 申請號: 202110096014.8
• 申請日: 2021-01-25
• 公開（公告）號: CN112818047A
• 公開（公告）日: 2021-05-18
• 發明（設計）人: 程賡;劉建波;李明佳
• 申請（專利權）人: 中國鐵塔股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/182;G06F16/22;G06F16/27
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 黃燦;劉念

本發明提供一種分布式數據庫的數據存儲方法、裝置及電子設備，該方法包括：獲取待存儲至分布式數據庫的目標數據文件，所述目標數據文件包括待存儲數據和所述待存儲數據對應的鍵值；基于所述鍵值和所述分布式數據庫的物理存儲節點的數量，生成所述待存儲數據對應的節點編號；將所述待存儲數據存儲至所述節點編號對應的物理存儲節點中。本發明實施例可以提高節點訪問效率。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種基于分布式數據庫的數據存儲方法、裝置及電子設備。

背景技術

隨著業務的拓展和管理精細化程度提升，數據量增長迅猛，在數據存儲管理方面，分布式數據庫如HBase得到了廣泛的應用。

HBase在數據寫入時通常是使用單調遞增或者時序的鍵值將訪問熱度高的數據聚集在一個物理存儲節點中，導致該物理存儲節點的負載高，這樣，數據分析統計和訪問過程中會在并行訪問某批數據如存儲在該物理存儲節點中的數據時出現問題，導致訪問效率低。

發明內容

本發明實施例提供一種基于分布式數據庫的數據存儲方法、裝置及電子設備，以解決現有技術中由于將訪問熱度高的數據聚集在一個物理存儲節點中而導致的訪問效率低的問題。

第一方面，本發明實施例提供了一種基于分布式數據庫的數據存儲方法，所述方法包括：

獲取待存儲至分布式數據庫的目標數據文件，所述目標數據文件包括待存儲數據和所述待存儲數據對應的鍵值；

基于所述鍵值和所述分布式數據庫的物理存儲節點的數量，生成所述待存儲數據對應的節點編號；

將所述待存儲數據存儲至所述節點編號對應的物理存儲節點中。

第二方面，本發明實施例還提供一種基于分布式數據庫的數據存儲裝置，所述裝置包括：

獲取模塊，用于獲取待存儲至分布式數據庫的目標數據文件，所述目標數據文件包括待存儲數據和所述待存儲數據對應的鍵值；

生成模塊，用于基于所述鍵值和所述分布式數據庫的物理存儲節點的數量，生成所述待存儲數據對應的節點編號；

存儲模塊，包括將所述待存儲數據存儲至所述節點編號對應的物理存儲節點中。

第三方面，本發明實施例還提供一種電子設備，包括處理器、存儲器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述計算機程序被所述處理器執行時實現上述基于分布式數據庫的數據存儲方法的步驟。

第四方面，本發明實施例還提供一種計算機可讀存儲介質，所述計算機可讀存儲介質上存儲計算機程序，所述計算機程序被處理器執行時實現上述基于分布式數據庫的數據存儲方法的步驟。

本發明實施例中，通過獲取待存儲至分布式數據庫的目標數據文件，所述目標數據文件包括待存儲數據和所述待存儲數據對應的鍵值；并基于所述鍵值和所述分布式數據庫的物理存儲節點的數量，生成所述待存儲數據對應的節點編號；將所述待存儲數據存儲至所述節點編號對應的物理存儲節點中。如此，可以避免將目標數據文件中各待存儲數據集中分配至一個物理存儲節點上，從而可以均衡集群中各物理存儲節點的訪問壓力，進而可以提高節點訪問效率。

附圖說明

為了更清楚地說明本發明實施例的技術方案，下面將對本發明實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。

圖1是本發明實施例提供的基于分布式數據庫的數據存儲方法的流程圖；

圖2是本發明實施例提供的基于分布式數據庫的數據存儲方法一具體實施例的流程圖；