[發(fā)明專利]一種基于大數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)方法、系統(tǒng)、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201810560730.5
• 申請(qǐng)日: 2018-05-25
• 公開（公告）號(hào): CN108763559B
• 公開（公告）日: 2021-10-01
• 發(fā)明（設(shè)計(jì)）人: 郭文鑫;王海柱;趙瑞鋒;盧建剛;徐展強(qiáng);鄧大為
• 申請(qǐng)（專利權(quán)）人: 廣東電網(wǎng)有限責(zé)任公司;廣東電網(wǎng)有限責(zé)任公司電力調(diào)度控制中心
• 主分類號(hào): G06F16/27
• 分類號(hào): G06F16/27
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 羅滿

本發(fā)明公開了一種基于大數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)方法：根據(jù)業(yè)務(wù)參數(shù)以及各個(gè)計(jì)算集群的硬件參數(shù)，為每個(gè)計(jì)算集群規(guī)劃各自存儲(chǔ)的數(shù)據(jù)列數(shù)；在虛擬數(shù)據(jù)庫中構(gòu)建包含每個(gè)計(jì)算集群中存儲(chǔ)的每一列數(shù)據(jù)的超級(jí)表格SuperTable，并根據(jù)每個(gè)計(jì)算集群各自存儲(chǔ)的數(shù)據(jù)列數(shù)，將SuperTable縱向切分為多個(gè)目標(biāo)列表Cabinet；構(gòu)建路由信息，以使得在對(duì)SuperTable中的任意列進(jìn)行讀寫操作時(shí)定位到相應(yīng)的計(jì)算集群中。應(yīng)用本發(fā)明所提供的方法，可以對(duì)具有任意列數(shù)的海量數(shù)據(jù)進(jìn)行存儲(chǔ)，實(shí)現(xiàn)了數(shù)據(jù)存儲(chǔ)列表的寬度的無限拓展。本發(fā)明還公開了具有相應(yīng)技術(shù)效果的基于大數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)系統(tǒng)、設(shè)備及存儲(chǔ)介質(zhì)。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域，特別是涉及一種基于大數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)方法、系統(tǒng)、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

現(xiàn)今的社會(huì)高速發(fā)展，隨著云時(shí)代的來臨，大數(shù)據(jù)也越來越受到關(guān)注，在越來越多的領(lǐng)域中，大數(shù)據(jù)都得到了廣泛的應(yīng)用。

大數(shù)據(jù)的一個(gè)顯著特點(diǎn)便是數(shù)據(jù)量非常大，例如物聯(lián)網(wǎng)數(shù)據(jù)就是一種海量的并且仍在爆發(fā)性增長的大數(shù)據(jù)。對(duì)于這些海量數(shù)據(jù)，為了節(jié)約物理存儲(chǔ)空間以及提升數(shù)據(jù)分析效率，通常采用的是在關(guān)系型數(shù)據(jù)庫中的列式存儲(chǔ)的方式。

例如Vertica作為一種代表性的列式數(shù)據(jù)庫存儲(chǔ)模型，相比于傳統(tǒng)行式數(shù)據(jù)庫引擎，有10至50倍性能提升，但其目前支持的表寬度最多為1600列。還有一種主要的存儲(chǔ)方式是使用BigTable存儲(chǔ)模型，其表寬能夠達(dá)到百萬級(jí)別。但對(duì)于海量的數(shù)據(jù)而言，該表寬仍舊不足。例如一個(gè)720萬的地級(jí)市，智能電表的數(shù)量達(dá)到了150萬，如果為每個(gè)量測設(shè)備分配一列，將各列數(shù)據(jù)存儲(chǔ)在同一數(shù)據(jù)列表中，就能夠消除列與列之間的連接(JOIN)計(jì)算的開銷，進(jìn)而滿足海量數(shù)據(jù)的高效存儲(chǔ)與高性能分析的要求，但BigTable存儲(chǔ)模型的表寬度遠(yuǎn)低于量測設(shè)備的數(shù)量，即BigTable存儲(chǔ)模型的列數(shù)仍舊不足。

綜上所述，如何設(shè)計(jì)一種針對(duì)大數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)方法，使得數(shù)據(jù)存儲(chǔ)模型的列數(shù)滿足海量數(shù)據(jù)的要求，是目前本領(lǐng)域技術(shù)人員急需解決的技術(shù)問題。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于大數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)方法、系統(tǒng)、設(shè)備及存儲(chǔ)介質(zhì)，使得數(shù)據(jù)存儲(chǔ)模型的列數(shù)滿足海量數(shù)據(jù)的要求。

為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：

一種基于大數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)方法，包括：

根據(jù)業(yè)務(wù)參數(shù)以及各個(gè)計(jì)算集群的硬件參數(shù)，為每個(gè)所述計(jì)算集群規(guī)劃各自存儲(chǔ)的數(shù)據(jù)列數(shù)；

在虛擬數(shù)據(jù)庫中構(gòu)建包含每個(gè)所述計(jì)算集群中存儲(chǔ)的每一列數(shù)據(jù)的超級(jí)表格SuperTable，并根據(jù)每個(gè)所述計(jì)算集群各自存儲(chǔ)的所述數(shù)據(jù)列數(shù)，將所述SuperTable縱向切分為多個(gè)目標(biāo)列表Cabinet；

構(gòu)建路由信息，以使得在對(duì)所述SuperTable中的任意列進(jìn)行讀寫操作時(shí)定位到相應(yīng)的計(jì)算集群中，所述路由信息中包括每個(gè)所述Cabinet各自對(duì)應(yīng)的所述計(jì)算集群的信息，以及每個(gè)所述Cabinet與所述SuperTable之間的映射關(guān)系。

優(yōu)選的，在所述構(gòu)建路由信息之后，還包括：

接收目標(biāo)讀寫指令；

通過解析所述目標(biāo)讀寫指令，并根據(jù)所述路由信息生成針對(duì)待讀寫的一個(gè)或多個(gè)所述Cabinet的目標(biāo)執(zhí)行指令；

根據(jù)所述目標(biāo)執(zhí)行指令進(jìn)行數(shù)據(jù)的讀寫。

優(yōu)選的，所述根據(jù)所述目標(biāo)執(zhí)行指令進(jìn)行數(shù)據(jù)的讀寫，包括：

當(dāng)確定出的待讀寫的所述Cabinet為多個(gè)時(shí)，將所述目標(biāo)執(zhí)行指令分解為與待讀寫的所述Cabinet數(shù)量相同的多個(gè)子目標(biāo)執(zhí)行指令，各個(gè)所述子目標(biāo)執(zhí)行指令與各個(gè)待讀寫的所述Cabinet一一對(duì)應(yīng)；

將各個(gè)所述子目標(biāo)執(zhí)行指令分別發(fā)送至對(duì)應(yīng)于各個(gè)待讀寫的所述Cabinet的計(jì)算集群中進(jìn)行數(shù)據(jù)的讀寫。