[發明專利]一種基于大數據的數據存儲方法、系統、設備及存儲介質

有效

• 申請號: 201810560730.5
• 申請日: 2018-05-25
• 公開（公告）號: CN108763559B
• 公開（公告）日: 2021-10-01
• 發明（設計）人: 郭文鑫;王海柱;趙瑞鋒;盧建剛;徐展強;鄧大為
• 申請（專利權）人: 廣東電網有限責任公司;廣東電網有限責任公司電力調度控制中心
• 主分類號: G06F16/27
• 分類號: G06F16/27
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 羅滿

1.一種基于大數據的數據存儲方法，其特征在于，包括：

根據業務參數以及各個計算集群的硬件參數，為每個所述計算集群規劃各自存儲的數據列數；

在虛擬數據庫中構建包含每個所述計算集群中存儲的每一列數據的超級表格SuperTable，并根據每個所述計算集群各自存儲的所述數據列數，將所述SuperTable縱向切分為多個目標列表Cabinet；

構建路由信息，以使得在對所述SuperTable中的任意列進行讀寫操作時定位到相應的計算集群中，所述路由信息中包括每個所述Cabinet各自對應的所述計算集群的信息，以及每個所述Cabinet與所述SuperTable之間的映射關系。

2.根據權利要求1所述的基于大數據的數據存儲方法，其特征在于，在所述構建路由信息之后，還包括：

接收目標讀寫指令；

通過解析所述目標讀寫指令，并根據所述路由信息生成針對待讀寫的一個或多個所述Cabinet的目標執行指令；

根據所述目標執行指令進行數據的讀寫。

3.根據權利要求2所述的基于大數據的數據存儲方法，其特征在于，所述根據所述目標執行指令進行數據的讀寫，包括：

當確定出的待讀寫的所述Cabinet為多個時，將所述目標執行指令分解為與待讀寫的所述Cabinet數量相同的多個子目標執行指令，各個所述子目標執行指令與各個待讀寫的所述Cabinet一一對應；

將各個所述子目標執行指令分別發送至對應于各個待讀寫的所述Cabinet的計算集群中進行數據的讀寫。

4.根據權利要求1所述的基于大數據的數據存儲方法，其特征在于，所述業務參數包括：業務數據的列的數量，采集所述業務數據的頻率，采集所述業務數據的吞吐量。

5.根據權利要求1所述的基于大數據的數據存儲方法，其特征在于，所述各個計算集群的硬件參數包括：各個計算集群各自的磁盤每秒并發IO數量，各個所述計算集群各自的內存大小，各個所述計算集群各自的內存吞吐量。

6.根據權利要求1所述的基于大數據的數據存儲方法，其特征在于，所述計算集群與所述Cabinet之間的數量對應關系為1∶1的對應關系。

7.根據權利要求1至6任一項所述的基于大數據的數據存儲方法，其特征在于，所述路由信息中還包括：各個所述計算集群的訪問方式信息。

8.一種基于大數據的數據存儲系統，其特征在于，包括：

計算集群規劃模塊，用于根據業務參數以及各個計算集群的硬件參數，為每個所述計算集群規劃各自存儲的數據列數；

Cabinet構建模塊，用于在虛擬數據庫中構建包含每個所述計算集群中存儲的每一列數據的超級表格SuperTable，并根據每個所述計算集群各自存儲的所述數據列數，將所述SuperTable縱向切分為多個目標列表Cabinet；

路由信息構建模塊，用于構建路由信息，以使得在對所述SuperTable中的任意列進行讀寫操作時定位到相應的計算集群中，所述路由信息中包括每個所述Cabinet各自對應的所述計算集群的信息，以及每個所述Cabinet與所述SuperTable之間的映射關系。

9.一種基于大數據的數據存儲設備，其特征在于，包括：

存儲器，用于存儲數據存儲程序；

處理器，用于執行所述數據存儲程序以實現權利要求1至7任一項所述的基于大數據的數據存儲方法的步驟。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有數據存儲程序，所述數據存儲程序被處理器執行時實現如權利要求1至7任一項所述的基于大數據的數據存儲方法的步驟。