[發(fā)明專利]數(shù)據(jù)存儲方法及裝置、計算機可讀存儲介質(zhì)、電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202110903692.0
• 申請日: 2021-08-06
• 公開（公告）號: CN113609090A
• 公開（公告）日: 2021-11-05
• 發(fā)明（設(shè)計）人: 柳奇濤;李雪冬;張磊;黃崛;駱庚
• 申請（專利權(quán)）人: 杭州網(wǎng)易云音樂科技有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/22;G06F16/25
• 代理公司: 北京律智知識產(chǎn)權(quán)代理有限公司 11438
• 代理人: 王輝;闞梓瑄

1.一種數(shù)據(jù)存儲方法，包括：

對待存儲數(shù)據(jù)進行分片處理，得到包括鍵值對的待存儲分片，并根據(jù)所述待存儲分片的鍵，確定所述待存儲分片所屬的存儲區(qū)間；

將屬于同一存儲區(qū)間的待存儲分片轉(zhuǎn)換成待存儲文件；

根據(jù)所述存儲區(qū)間所屬的存儲引擎節(jié)點，將所述待存儲文件存儲至所述存儲引擎節(jié)點中。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)存儲方法，其中，對待存儲數(shù)據(jù)進行分片處理，得到多個包括鍵值對的待存儲分片，包括：

獲取待存儲數(shù)據(jù)，并對所述待存儲數(shù)據(jù)的鍵進行哈希運算，得到所述待存儲數(shù)據(jù)的鍵的哈希值；

根據(jù)所述待存儲數(shù)據(jù)的鍵的哈希值以及與所述待存儲數(shù)據(jù)的鍵對應(yīng)的值，得到所述包括鍵值對的待存儲分片。

3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)存儲方法，其中，獲取待存儲數(shù)據(jù)包括：

根據(jù)數(shù)據(jù)文件的路徑，從分布式文件系統(tǒng)中獲取包括鍵值對的待存儲數(shù)據(jù)；和/或

從Hive集群中獲取包括鍵值對的待存儲數(shù)據(jù)。

4.根據(jù)權(quán)利要求2所述的數(shù)據(jù)存儲方法，其中，根據(jù)所述待存儲分片的鍵，確定所述待存儲分片所屬的存儲區(qū)間，包括：

根據(jù)所述待存儲分片的鍵的哈希值的第一個字符在預設(shè)的字典序中的順序，確定所述待存儲分片所屬的存儲區(qū)間。

5.根據(jù)權(quán)利要求4所述的數(shù)據(jù)存儲方法，其中，所述數(shù)據(jù)存儲方法還包括：

根據(jù)所述待存儲分片的鍵的哈希值的第一個字符在預設(shè)的字典序中的順序，對屬于同一存儲區(qū)間的待存儲分片進行排序。

6.根據(jù)權(quán)利要求1所述的數(shù)據(jù)存儲方法，其中，將屬于同一存儲區(qū)間的待存儲分片轉(zhuǎn)換成待存儲文件，包括：

根據(jù)所述待存儲分片所屬的存儲區(qū)間，對所述待存儲分片進行歸類；

獲取屬于同一存儲區(qū)間的待存儲分片的場景編號以及所述存儲區(qū)間的區(qū)間編碼，并將所述場景編號以及所述區(qū)間編碼寫入所述待存儲分片的鍵中；

獲取屬于同一類別的待存儲分片的版本號、過期時間以及寫入時間，并將所述版本號、過期時間以及寫入時間，寫入所述待存儲分片的值中；

對屬于同一存儲區(qū)間的待存儲分片進行格式轉(zhuǎn)換，得到所述待存儲文件。

7.根據(jù)權(quán)利要求6所述的數(shù)據(jù)存儲方法，其中，所述數(shù)據(jù)存儲方法還包括：

計算當前待存儲文件的數(shù)據(jù)量，并判斷所述數(shù)據(jù)量是否大于預設(shè)閾值；

若是，則將剩余的待存儲分片寫入下一個待存儲文件。

8.一種數(shù)據(jù)存儲裝置，包括：

存儲區(qū)間確定模塊，用于對待存儲數(shù)據(jù)進行分片處理，得到包括鍵值對的待存儲分片，并根據(jù)所述待存儲分片的鍵，確定所述待存儲分片所屬的存儲區(qū)間；

待存儲文件轉(zhuǎn)換模塊，用于將屬于同一存儲區(qū)間的待存儲分片轉(zhuǎn)換成待存儲文件；

文件存儲模塊，用于根據(jù)所述存儲區(qū)間所屬的存儲引擎節(jié)點，將所述待存儲文件存儲至所述存儲引擎節(jié)點中。

9.一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1-7任一項所述的數(shù)據(jù)存儲方法。

10.一種電子設(shè)備，包括：

處理器；以及

存儲器，用于存儲所述處理器的可執(zhí)行指令；

其中，所述處理器配置為經(jīng)由執(zhí)行所述可執(zhí)行指令來執(zhí)行權(quán)利要求1-7任一項所述的數(shù)據(jù)存儲方法。