[發(fā)明專利]數(shù)據(jù)存儲方法、裝置、計算機設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202011240738.7
• 申請日: 2020-11-09
• 公開（公告）號: CN112328688B
• 公開（公告）日: 2023-10-13
• 發(fā)明（設(shè)計）人: 李文濤;李旦;王華夏;毛茂德
• 申請（專利權(quán)）人: 廣州虎牙科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/22;G06F9/50
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發(fā)明實施例公開了一種數(shù)據(jù)存儲方法、裝置、計算機設(shè)備及存儲介質(zhì)。所述方法包括：也即，該程序被處理器執(zhí)行時實現(xiàn)：根據(jù)各類型的數(shù)據(jù)在存儲節(jié)點上的歷史寫入統(tǒng)計次數(shù)，計算均衡寫入次數(shù)，并根據(jù)所述均衡寫入次數(shù)將各所述類型進(jìn)行分組，形成至少一個類型組；建立各所述類型組中的每個類型與存儲節(jié)點之間的對應(yīng)關(guān)系，其中，隸屬與同一類型組的各類型對應(yīng)于同一存儲節(jié)點；接收目標(biāo)數(shù)據(jù)，并根據(jù)所述目標(biāo)數(shù)據(jù)的類型和所述對應(yīng)關(guān)系，將所述目標(biāo)數(shù)據(jù)存儲于匹配的目標(biāo)存儲節(jié)點中。本發(fā)明實施例可以使存儲性能負(fù)載均衡，提高存儲資源的利用率，以及提高查詢性能。

技術(shù)領(lǐng)域

本發(fā)明實施例涉及數(shù)據(jù)處理領(lǐng)域，尤其涉及一種數(shù)據(jù)存儲方法、裝置、計算機設(shè)備及存儲介質(zhì)。

背景技術(shù)

數(shù)據(jù)分片指的是根據(jù)一定的規(guī)則把某一指標(biāo)的數(shù)據(jù)寫入到指定的存儲節(jié)點。分片的規(guī)則對于存儲節(jié)點的負(fù)載均衡以及查詢的性能有很大的關(guān)系。

現(xiàn)有的數(shù)據(jù)分片方法是：根據(jù)指標(biāo)和標(biāo)簽(tag)進(jìn)行數(shù)據(jù)分片，例如監(jiān)控系統(tǒng)Nightingale和長期存儲方案VictoriaMetrics，都是根據(jù)指標(biāo)和標(biāo)簽的組合算出哈希值，再結(jié)合存儲節(jié)點數(shù)量做一致性哈希分片，實現(xiàn)數(shù)據(jù)均衡存儲在不同存儲節(jié)點中。

但在使用上述方式時，往往出現(xiàn)將同一指標(biāo)的數(shù)據(jù)寫入至不同存儲節(jié)點的請求，進(jìn)而查詢指標(biāo)維度數(shù)據(jù)的時候需要到多個節(jié)點請求數(shù)據(jù)，這導(dǎo)致針對一個指標(biāo)的查詢需要發(fā)起多個網(wǎng)絡(luò)請求，查詢性能較低。

發(fā)明內(nèi)容

本發(fā)明實施例提供一種數(shù)據(jù)存儲方法、裝置、計算機設(shè)備及存儲介質(zhì)，可以使存儲性能負(fù)載均衡，提高存儲資源的利用率，以及提高查詢性能。

第一方面，本發(fā)明實施例提供了一種數(shù)據(jù)存儲方法，包括：

根據(jù)各類型的數(shù)據(jù)在存儲節(jié)點上的歷史寫入統(tǒng)計次數(shù)，計算均衡寫入次數(shù)，并根據(jù)所述均衡寫入次數(shù)將各所述類型進(jìn)行分組，形成至少一個類型組；

建立各所述類型組中的每個類型與存儲節(jié)點之間的對應(yīng)關(guān)系，其中，隸屬與同一類型組的各類型對應(yīng)于同一存儲節(jié)點；

接收目標(biāo)數(shù)據(jù)，并根據(jù)所述目標(biāo)數(shù)據(jù)的類型和所述對應(yīng)關(guān)系，將所述目標(biāo)數(shù)據(jù)存儲于匹配的目標(biāo)存儲節(jié)點中。

第二方面，本發(fā)明實施例還提供了一種數(shù)據(jù)存儲裝置，包括：

寫入次數(shù)統(tǒng)計模塊，用于根據(jù)各類型的數(shù)據(jù)在存儲節(jié)點上的歷史寫入統(tǒng)計次數(shù)，計算均衡寫入次數(shù)，并根據(jù)所述均衡寫入次數(shù)將各所述類型進(jìn)行分組，形成至少一個類型組；

類型與節(jié)點對應(yīng)模塊，用于建立各所述類型組中的每個類型與存儲節(jié)點之間的對應(yīng)關(guān)系，其中，隸屬與同一類型組的各類型對應(yīng)于同一存儲節(jié)點；

均衡寫入模塊，用于接收目標(biāo)數(shù)據(jù)，并根據(jù)所述目標(biāo)數(shù)據(jù)的類型和所述對應(yīng)關(guān)系，將所述目標(biāo)數(shù)據(jù)存儲于匹配的目標(biāo)存儲節(jié)點中。

第三方面，本發(fā)明實施例還提供了一種計算機設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序所述處理器執(zhí)行所述程序時實現(xiàn)如本發(fā)明實施例中任一所述的數(shù)據(jù)存儲方法。

第四方面，本發(fā)明實施例還提供了一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，該程序被處理器執(zhí)行時實現(xiàn)如本發(fā)明實施例中任一所述的數(shù)據(jù)存儲方法。

本發(fā)明實施例通過統(tǒng)計均衡寫入次數(shù)，并根據(jù)各類型的數(shù)據(jù)在存儲節(jié)點上的歷史寫入統(tǒng)計次數(shù)對各類型進(jìn)行分組，并配置同一個類型組的各類型對應(yīng)同一存儲節(jié)點，在接收到同一類型的數(shù)據(jù)時，將該數(shù)據(jù)存入同一存儲節(jié)點，解決了現(xiàn)有技術(shù)中同一指標(biāo)的數(shù)據(jù)寫入不同的存儲節(jié)點，導(dǎo)致查詢性能較差的問題，可以合理配置存儲資源，并兼顧提高查詢性能，同時實現(xiàn)存儲節(jié)點集群負(fù)載均衡，提高存儲資源的利用率。

附圖說明

圖1是本發(fā)明實施例一中的一種數(shù)據(jù)存儲方法的流程圖；