[發(fā)明專利]數(shù)據(jù)處理方法、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210096168.1
• 申請日: 2022-01-26
• 公開（公告）號(hào): CN114489985A
• 公開（公告）日: 2022-05-13
• 發(fā)明（設(shè)計(jì)）人: 陳壯豪
• 申請（專利權(quán)）人: 阿里云計(jì)算有限公司
• 主分類號(hào): G06F9/48
• 分類號(hào): G06F9/48;G06F9/54;G06F9/50;G06F9/455;G06F16/23;G06F16/27
• 代理公司: 北京太合九思知識(shí)產(chǎn)權(quán)代理有限公司 11610
• 代理人: 張愛;劉戈

1.一種數(shù)據(jù)處理方法，其特征在于，包括：

響應(yīng)模型加載事件，通過目標(biāo)作業(yè)實(shí)例，從目標(biāo)存儲(chǔ)空間加載至少一個(gè)數(shù)據(jù)處理模型的元數(shù)據(jù)；

通過所述目標(biāo)作業(yè)實(shí)例，分別根據(jù)所述至少一個(gè)數(shù)據(jù)處理模型的元數(shù)據(jù)，運(yùn)行所述至少一個(gè)數(shù)據(jù)處理模型；

通過所述目標(biāo)作業(yè)實(shí)例，根據(jù)所述至少一個(gè)數(shù)據(jù)處理模型各自的計(jì)算規(guī)則，對當(dāng)前監(jiān)聽的第一數(shù)據(jù)源中的數(shù)據(jù)分別進(jìn)行處理。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，通過目標(biāo)作業(yè)實(shí)例，從指定存儲(chǔ)空間加載至少一個(gè)數(shù)據(jù)處理模型的模型元數(shù)據(jù)之前，還包括：

接收模型提交請求；所述模型提交請求攜帶新增的數(shù)據(jù)處理模型的模型元數(shù)據(jù)以及所述目標(biāo)作業(yè)實(shí)例的實(shí)例標(biāo)識(shí)；

將所述新增的數(shù)據(jù)處理模型的模型元數(shù)據(jù)，存儲(chǔ)在所述實(shí)例標(biāo)識(shí)對應(yīng)的所述目標(biāo)存儲(chǔ)空間中。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述至少一個(gè)數(shù)據(jù)處理模型各自的計(jì)算規(guī)則，對當(dāng)前監(jiān)聽的第一數(shù)據(jù)源中的數(shù)據(jù)分別進(jìn)行處理之前，還包括：

針對所述至少一個(gè)數(shù)據(jù)處理模型中的任一數(shù)據(jù)處理模型，確定所述數(shù)據(jù)處理模型對應(yīng)的第二數(shù)據(jù)源；

將所述第二數(shù)據(jù)源中的數(shù)據(jù)以及所述數(shù)據(jù)的處理進(jìn)度信息，實(shí)時(shí)同步至所述第一數(shù)據(jù)源中，以供所述目標(biāo)作業(yè)實(shí)例讀取。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，通過所述目標(biāo)作業(yè)實(shí)例，分別根據(jù)所述至少一個(gè)數(shù)據(jù)處理模型的元數(shù)據(jù)，運(yùn)行所述至少一個(gè)數(shù)據(jù)處理模型，包括：

根據(jù)所述數(shù)據(jù)處理模型的元數(shù)據(jù)，確定所述數(shù)據(jù)處理模型包含的多個(gè)計(jì)算單元；

識(shí)別所述多個(gè)計(jì)算單元各自的計(jì)算類型；

根據(jù)所述多個(gè)計(jì)算單元各自的計(jì)算類型，將所述數(shù)據(jù)處理模型的運(yùn)行過程劃分為至少一個(gè)運(yùn)行階段；

采用所述目標(biāo)作業(yè)實(shí)例對應(yīng)的不同資源，分別運(yùn)行所述至少一個(gè)運(yùn)行階段各自包含的計(jì)算單元。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，識(shí)別所述多個(gè)計(jì)算單元各自的計(jì)算類型，包括：

針對所述多個(gè)計(jì)算單元中的任一計(jì)算單元，從所述數(shù)據(jù)處理模型的元數(shù)據(jù)中獲取所述計(jì)算單元的執(zhí)行腳本；

解析所述執(zhí)行腳本，并根據(jù)解析結(jié)果判斷所述計(jì)算單元是否包含狀態(tài)讀寫操作；

若所述計(jì)算單元包含狀態(tài)讀寫操作，則確定所述計(jì)算單元的計(jì)算類型為有狀態(tài)計(jì)算。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述目標(biāo)作業(yè)實(shí)例部署在分布式計(jì)算系統(tǒng)中，所述分布式計(jì)算系統(tǒng)包含：用于執(zhí)行無狀態(tài)計(jì)算的第一類計(jì)算節(jié)點(diǎn)，以及用于執(zhí)行有狀態(tài)計(jì)算的第二類計(jì)算節(jié)點(diǎn)；

采用所述目標(biāo)作業(yè)實(shí)例對應(yīng)的不同的資源，分別運(yùn)行所述至少一個(gè)運(yùn)行階段各自包含的計(jì)算單元，包括：

通過所述目標(biāo)作業(yè)實(shí)例，采用所述第一類計(jì)算節(jié)點(diǎn)中的第一目標(biāo)節(jié)點(diǎn)運(yùn)行無狀態(tài)計(jì)算階段的計(jì)算單元，和/或，采用所述第二類計(jì)算節(jié)點(diǎn)中的第二目標(biāo)節(jié)點(diǎn)運(yùn)行有狀態(tài)計(jì)算階段的計(jì)算單元。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，通過所述目標(biāo)作業(yè)實(shí)例，根據(jù)所述至少一個(gè)數(shù)據(jù)處理模型各自的計(jì)算規(guī)則，對當(dāng)前監(jiān)聽的第一數(shù)據(jù)源中的數(shù)據(jù)分別進(jìn)行處理，包括：

通過所述第一目標(biāo)節(jié)點(diǎn)上運(yùn)行的計(jì)算單元，根據(jù)接收到的數(shù)據(jù)進(jìn)行無狀態(tài)計(jì)算，得到無狀態(tài)計(jì)算結(jié)果；

若所述數(shù)據(jù)處理模型不包含有狀態(tài)計(jì)算規(guī)則，則通過所述第一目標(biāo)節(jié)點(diǎn)輸出所述無狀態(tài)計(jì)算結(jié)果。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，還包括：

若所述數(shù)據(jù)處理模型包含有狀態(tài)計(jì)算規(guī)則，則通過所述第一目標(biāo)節(jié)點(diǎn)，根據(jù)所述數(shù)據(jù)處理模型的標(biāo)識(shí)，將所述無狀態(tài)計(jì)算結(jié)果發(fā)送至所述第二目標(biāo)節(jié)點(diǎn)；

通過所述第二目標(biāo)節(jié)點(diǎn)上運(yùn)行的計(jì)算單元，根據(jù)接收到的所述無狀態(tài)計(jì)算結(jié)果進(jìn)行有狀態(tài)計(jì)算，得到有狀態(tài)計(jì)算結(jié)果，并輸出所述有狀態(tài)計(jì)算結(jié)果。

9.一種服務(wù)器，其特征在于，包括：存儲(chǔ)器和處理器；

所述存儲(chǔ)器用于存儲(chǔ)一條或多條計(jì)算機(jī)指令；

所述處理器用于執(zhí)行所述一條或多條計(jì)算機(jī)指令以用于：執(zhí)行權(quán)利要求1-8任一項(xiàng)所述的方法中的步驟。

10.一種存儲(chǔ)有計(jì)算機(jī)程序的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，計(jì)算機(jī)程序被處理器執(zhí)行時(shí)能夠?qū)崿F(xiàn)權(quán)利要求1-8任一項(xiàng)所述的方法中的步驟。