[發(fā)明專利]數(shù)據(jù)處理方法、裝置、計算機(jī)設(shè)備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210464796.0
• 申請日: 2022-04-29
• 公開（公告）號: CN115292394A
• 公開（公告）日: 2022-11-04
• 發(fā)明（設(shè)計）人: 狄靜舒;宋懷明;郭慶
• 申請（專利權(quán)）人: 曙光信息產(chǎn)業(yè)（北京）有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/18;G06F16/172;G06F11/34;G06F9/48
• 代理公司: 華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 伍健聰

1.一種數(shù)據(jù)處理方法，其特征在于，所述方法包括：

調(diào)用計算服務(wù)節(jié)點(diǎn)接收數(shù)據(jù)庫操作請求，若所述數(shù)據(jù)庫操作請求為數(shù)據(jù)寫入請求，則基于所述數(shù)據(jù)寫入請求構(gòu)建預(yù)寫日志；

調(diào)用存儲服務(wù)節(jié)點(diǎn)對所述預(yù)寫日志進(jìn)行劃分，得到多個預(yù)寫日志片段，并對所述多個預(yù)寫日志片段進(jìn)行存儲處理。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述存儲服務(wù)節(jié)點(diǎn)包括多個存儲節(jié)點(diǎn)；所述調(diào)用存儲服務(wù)節(jié)點(diǎn)對所述預(yù)寫日志進(jìn)行劃分，得到多個預(yù)寫日志片段，并對所述多個預(yù)寫日志片段進(jìn)行存儲處理，包括：

根據(jù)所述預(yù)寫日志中寫入數(shù)據(jù)與存儲節(jié)點(diǎn)之間的對應(yīng)關(guān)系，對所述預(yù)寫日志進(jìn)行劃分，得到與各所述存儲節(jié)點(diǎn)對應(yīng)的預(yù)寫日志片段；

將各所述預(yù)寫日志片段存儲至對應(yīng)的各所述存儲節(jié)點(diǎn)中。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述存儲節(jié)點(diǎn)包括預(yù)寫日志片段文件、數(shù)據(jù)文件和數(shù)據(jù)緩存；所述對所述多個預(yù)寫日志片段進(jìn)行存儲處理，包括：

根據(jù)預(yù)設(shè)的排序規(guī)則，將各所述預(yù)寫日志片段依次存儲至各所述存儲節(jié)點(diǎn)對應(yīng)的預(yù)寫日志片段文件中；

按照預(yù)設(shè)的第一操作頻率，從各所述預(yù)寫日志片段文件中讀取對應(yīng)的預(yù)寫日志片段，將所述預(yù)寫日志片段重放至各所述存儲節(jié)點(diǎn)的數(shù)據(jù)文件和數(shù)據(jù)緩存中。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述按照預(yù)設(shè)的第一操作頻率，從各所述預(yù)寫日志片段文件中讀取對應(yīng)的預(yù)寫日志片段，將所述預(yù)寫日志片段重放至各所述存儲節(jié)點(diǎn)的數(shù)據(jù)文件和數(shù)據(jù)緩存中，包括：

針對每一個所述存儲節(jié)點(diǎn)，按照所述第一操作頻率，獲取所述預(yù)寫日志片段文件中第一預(yù)寫日志片段的第一序列號、所述數(shù)據(jù)文件中第二預(yù)寫日志片段的第二序列號、所述第三數(shù)據(jù)緩存中預(yù)寫日志片段的第三序列號；

根據(jù)所述第一序列號、所述第二序列號以及所述第三序列號，將所述第一預(yù)寫日志片段重放至各所述存儲節(jié)點(diǎn)的數(shù)據(jù)文件和數(shù)據(jù)緩存中。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述第一序列號、所述第二序列號以及所述第三序列號，將所述預(yù)寫日志片段重放至各所述存儲節(jié)點(diǎn)的數(shù)據(jù)文件和數(shù)據(jù)緩存中，包括：

在所述第一序列號大于所述第二序列號的情況下，將所述第一預(yù)寫日志片段文件重放至所述數(shù)據(jù)文件中；

在所述第一序列號大于所述第三序列號的情況下，將所述第一預(yù)寫日志片段文件重放至所述數(shù)據(jù)緩存中。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

根據(jù)預(yù)設(shè)的副本數(shù)量，將當(dāng)前存儲節(jié)點(diǎn)中的預(yù)寫日志片段同步至其他存儲節(jié)點(diǎn)中。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述方法還包括：

獲取所述當(dāng)前存儲節(jié)點(diǎn)的預(yù)寫日志片段的有效副本數(shù)量；

在所述有效副本數(shù)量小于所述預(yù)設(shè)的副本數(shù)量的情況下，基于所述有效副本數(shù)量和所述預(yù)設(shè)的副本數(shù)量，計算所需副本數(shù)量；

確定所述所需副本數(shù)量的其他存儲節(jié)點(diǎn)為候選存儲節(jié)點(diǎn)，將所述當(dāng)前存儲節(jié)點(diǎn)的預(yù)寫日志片段同步至所述候選存儲節(jié)點(diǎn)中。

8.一種數(shù)據(jù)處理裝置，其特征在于，所述裝置包括：

計算服務(wù)模塊，用于接收數(shù)據(jù)庫操作請求，在所述數(shù)據(jù)庫操作請求為數(shù)據(jù)寫入請求的情況下，基于所述數(shù)據(jù)寫入請求構(gòu)建預(yù)寫日志；

存儲服務(wù)模塊，用于對所述預(yù)寫日志進(jìn)行劃分，得到多個預(yù)寫日志片段，并對所述多個預(yù)寫日志片段進(jìn)行存儲處理。

9.一種計算機(jī)設(shè)備，包括存儲器和處理器，所述存儲器存儲有計算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計算機(jī)程序時實(shí)現(xiàn)權(quán)利要求1至7中任一項(xiàng)所述的方法的步驟。

10.一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，其特征在于，所述計算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)權(quán)利要求1至7中任一項(xiàng)所述的方法的步驟。