[發(fā)明專(zhuān)利]數(shù)據(jù)處理方法、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210096168.1
• 申請(qǐng)日: 2022-01-26
• 公開(kāi)（公告）號(hào): CN114489985A
• 公開(kāi)（公告）日: 2022-05-13
• 發(fā)明（設(shè)計(jì)）人: 陳壯豪
• 申請(qǐng)（專(zhuān)利權(quán)）人: 阿里云計(jì)算有限公司
• 主分類(lèi)號(hào): G06F9/48
• 分類(lèi)號(hào): G06F9/48;G06F9/54;G06F9/50;G06F9/455;G06F16/23;G06F16/27
• 代理公司: 北京太合九思知識(shí)產(chǎn)權(quán)代理有限公司 11610
• 代理人: 張愛(ài);劉戈

本申請(qǐng)實(shí)施例提供一種數(shù)據(jù)處理方法、設(shè)備及存儲(chǔ)介質(zhì)。在數(shù)據(jù)處理方法中，已創(chuàng)建的目標(biāo)作業(yè)實(shí)例可動(dòng)態(tài)加載一個(gè)或者多個(gè)數(shù)據(jù)處理模型的元數(shù)據(jù)，并根據(jù)動(dòng)態(tài)加載到的元數(shù)據(jù)運(yùn)行新增的一個(gè)或者多個(gè)數(shù)據(jù)處理模型。在運(yùn)行新增的數(shù)據(jù)處理模型后，可根據(jù)該新增的數(shù)據(jù)處理模型的計(jì)算規(guī)則，對(duì)當(dāng)前監(jiān)聽(tīng)的數(shù)據(jù)源中的數(shù)據(jù)進(jìn)行處理。在這種實(shí)施方式中，一方面，作業(yè)實(shí)例可動(dòng)態(tài)加載數(shù)據(jù)處理模型，無(wú)需在提交作業(yè)時(shí)對(duì)數(shù)據(jù)處理模型進(jìn)行定制化開(kāi)發(fā)，降低了開(kāi)發(fā)成本；另一方面，一個(gè)作業(yè)實(shí)例可支持一個(gè)或者多個(gè)數(shù)據(jù)處理模型的運(yùn)行操作，實(shí)現(xiàn)了資源的共享，極大提升了資源的利用率。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)計(jì)算技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

流式處理(streaming process)是一種對(duì)無(wú)界數(shù)據(jù)或事件的連續(xù)處理方式，流式處理的過(guò)程可采用有向無(wú)環(huán)圖(Directed Acyclic Graph，DAG)進(jìn)行描述。在DAG中，每條邊可表示數(shù)據(jù)或事件流，每個(gè)頂點(diǎn)可表示一個(gè)數(shù)據(jù)處理模型。數(shù)據(jù)處理模型可按照設(shè)定的規(guī)則進(jìn)行數(shù)據(jù)處理。

在現(xiàn)有技術(shù)中，基于流式數(shù)據(jù)處理框架進(jìn)行流式數(shù)據(jù)處理時(shí)，可向流式數(shù)據(jù)處理框架提交數(shù)據(jù)處理模型對(duì)應(yīng)的作業(yè)任務(wù)。流式數(shù)據(jù)處理框架可利用資源創(chuàng)建對(duì)應(yīng)的作業(yè)實(shí)例，以執(zhí)行數(shù)據(jù)處理模型對(duì)應(yīng)的數(shù)據(jù)處理任務(wù)。但是，隨著數(shù)據(jù)處理模型的數(shù)量增長(zhǎng)，作業(yè)實(shí)例的數(shù)量也隨之增長(zhǎng)，大量的作業(yè)實(shí)例將占用大量的資源。因此，有待提出一種新的解決方案。

發(fā)明內(nèi)容

本申請(qǐng)的多個(gè)方面提供一種數(shù)據(jù)處理方法、設(shè)備及存儲(chǔ)介質(zhì)，用以實(shí)現(xiàn)多個(gè)模型對(duì)作業(yè)實(shí)例進(jìn)行共享，提升資源的利用率。

本申請(qǐng)實(shí)施例提供一種數(shù)據(jù)處理方法，包括：響應(yīng)模型加載事件，通過(guò)目標(biāo)作業(yè)實(shí)例，從目標(biāo)存儲(chǔ)空間加載至少一個(gè)數(shù)據(jù)處理模型的元數(shù)據(jù)；通過(guò)所述目標(biāo)作業(yè)實(shí)例，分別根據(jù)所述至少一個(gè)數(shù)據(jù)處理模型的元數(shù)據(jù)，運(yùn)行所述至少一個(gè)數(shù)據(jù)處理模型；通過(guò)所述目標(biāo)作業(yè)實(shí)例，根據(jù)所述至少一個(gè)數(shù)據(jù)處理模型各自的計(jì)算規(guī)則，對(duì)當(dāng)前監(jiān)聽(tīng)的第一數(shù)據(jù)源中的數(shù)據(jù)分別進(jìn)行處理。

進(jìn)一步可選地，通過(guò)目標(biāo)作業(yè)實(shí)例，從指定存儲(chǔ)空間加載至少一個(gè)數(shù)據(jù)處理模型的模型元數(shù)據(jù)之前，還包括：接收模型提交請(qǐng)求；所述模型提交請(qǐng)求攜帶新增的數(shù)據(jù)處理模型的模型元數(shù)據(jù)以及所述目標(biāo)作業(yè)實(shí)例的實(shí)例標(biāo)識(shí)；將所述新增的數(shù)據(jù)處理模型的模型元數(shù)據(jù)，存儲(chǔ)在所述實(shí)例標(biāo)識(shí)對(duì)應(yīng)的所述目標(biāo)存儲(chǔ)空間中。

進(jìn)一步可選地，根據(jù)所述至少一個(gè)數(shù)據(jù)處理模型各自的計(jì)算規(guī)則，對(duì)當(dāng)前監(jiān)聽(tīng)的第一數(shù)據(jù)源中的數(shù)據(jù)分別進(jìn)行處理之前，還包括：針對(duì)所述至少一個(gè)數(shù)據(jù)處理模型中的任一數(shù)據(jù)處理模型，確定所述數(shù)據(jù)處理模型對(duì)應(yīng)的第二數(shù)據(jù)源；將所述第二數(shù)據(jù)源中的數(shù)據(jù)以及所述數(shù)據(jù)的處理進(jìn)度信息，實(shí)時(shí)同步至所述第一數(shù)據(jù)源中，以供所述目標(biāo)作業(yè)實(shí)例讀取。

進(jìn)一步可選地，通過(guò)所述目標(biāo)作業(yè)實(shí)例，分別根據(jù)所述至少一個(gè)數(shù)據(jù)處理模型的元數(shù)據(jù)，運(yùn)行所述至少一個(gè)數(shù)據(jù)處理模型，包括：根據(jù)所述數(shù)據(jù)處理模型的元數(shù)據(jù)，確定所述數(shù)據(jù)處理模型包含的多個(gè)計(jì)算單元；識(shí)別所述多個(gè)計(jì)算單元各自的計(jì)算類(lèi)型；根據(jù)所述多個(gè)計(jì)算單元各自的計(jì)算類(lèi)型，將所述數(shù)據(jù)處理模型的運(yùn)行過(guò)程劃分為至少一個(gè)運(yùn)行階段；采用所述目標(biāo)作業(yè)實(shí)例對(duì)應(yīng)的不同資源，分別運(yùn)行所述至少一個(gè)運(yùn)行階段各自包含的計(jì)算單元。

進(jìn)一步可選地，識(shí)別所述多個(gè)計(jì)算單元各自的計(jì)算類(lèi)型，包括：針對(duì)所述多個(gè)計(jì)算單元中的任一計(jì)算單元，從所述數(shù)據(jù)處理模型的元數(shù)據(jù)中獲取所述計(jì)算單元的執(zhí)行腳本；解析所述執(zhí)行腳本，并根據(jù)解析結(jié)果判斷所述計(jì)算單元是否包含狀態(tài)讀寫(xiě)操作；若所述計(jì)算單元包含狀態(tài)讀寫(xiě)操作，則確定所述計(jì)算單元的計(jì)算類(lèi)型為有狀態(tài)計(jì)算。

進(jìn)一步可選地，所述目標(biāo)作業(yè)實(shí)例部署在分布式計(jì)算系統(tǒng)中，所述分布式計(jì)算系統(tǒng)包含：用于執(zhí)行無(wú)狀態(tài)計(jì)算的第一類(lèi)計(jì)算節(jié)點(diǎn)，以及用于執(zhí)行有狀態(tài)計(jì)算的第二類(lèi)計(jì)算節(jié)點(diǎn)；采用所述目標(biāo)作業(yè)實(shí)例對(duì)應(yīng)的不同的資源，分別運(yùn)行所述至少一個(gè)運(yùn)行階段各自包含的計(jì)算單元，包括：通過(guò)所述目標(biāo)作業(yè)實(shí)例，采用所述第一類(lèi)計(jì)算節(jié)點(diǎn)中的第一目標(biāo)節(jié)點(diǎn)運(yùn)行無(wú)狀態(tài)計(jì)算階段的計(jì)算單元，和/或，采用所述第二類(lèi)計(jì)算節(jié)點(diǎn)中的第二目標(biāo)節(jié)點(diǎn)運(yùn)行有狀態(tài)計(jì)算階段的計(jì)算單元。