[發(fā)明專利]數(shù)據(jù)處理方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210588450.1
• 申請(qǐng)日: 2022-05-27
• 公開（公告）號(hào): CN114936223A
• 公開（公告）日: 2022-08-23
• 發(fā)明（設(shè)計(jì)）人: 崔棟燦;李雨涵;戴文軍;林亮;李飛飛
• 申請(qǐng)（專利權(quán)）人: 阿里云計(jì)算有限公司
• 主分類號(hào): G06F16/2453
• 分類號(hào): G06F16/2453;G06F16/2455
• 代理公司: 北京東方億思知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11258
• 代理人: 彭瓊

本申請(qǐng)公開了一種數(shù)據(jù)處理方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)。該數(shù)據(jù)處理方法基于計(jì)算節(jié)點(diǎn)的執(zhí)行資源，執(zhí)行第一任務(wù)和第二任務(wù)，并構(gòu)建與計(jì)算節(jié)點(diǎn)對(duì)應(yīng)的運(yùn)行數(shù)據(jù)過濾器，第一任務(wù)為多個(gè)階段中第一階段的任務(wù)，第二任務(wù)為多個(gè)階段中第二階段的至少部分任務(wù)；在第一階段執(zhí)行結(jié)束且運(yùn)行數(shù)據(jù)過濾器構(gòu)建完成的情況下，獲取第二任務(wù)的執(zhí)行狀態(tài)；在執(zhí)行狀態(tài)表征第二任務(wù)未執(zhí)行結(jié)束的情況下，執(zhí)行第三任務(wù)，得到第二階段中與第二任務(wù)對(duì)應(yīng)的執(zhí)行結(jié)果，第三任務(wù)為通過運(yùn)行數(shù)據(jù)過濾器過濾第二任務(wù)后的任務(wù)。根據(jù)本申請(qǐng)實(shí)施例提供的數(shù)據(jù)處理方法，能夠優(yōu)化Join的查詢性能，縮短查詢整體的運(yùn)行時(shí)間。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

在數(shù)據(jù)庫(kù)的數(shù)據(jù)查詢過程中，連接操作(Join)是根據(jù)兩個(gè)或多個(gè)表之間的關(guān)系，將這些表連接起來以從這些表中查詢數(shù)據(jù)的過程。其中，可以通過運(yùn)行數(shù)據(jù)過濾器(Runtime Filter)在探測(cè)端提前過濾掉不會(huì)命中Join的輸入數(shù)據(jù)，以減少數(shù)據(jù)傳輸和計(jì)算，從而縮短查詢整體的運(yùn)行時(shí)間。

然而，在通過整體同步并行計(jì)算模型(Bulk Synchronous Parallel ComputingModel，BSP)實(shí)現(xiàn)Runtime Filter的過程中，往往使用復(fù)制子查詢的方式去解決調(diào)度上存在數(shù)據(jù)庫(kù)可用性組(Database Availability Group，DAG)依賴的問題，使得大量待計(jì)算的資源在等待Runtime Filter的構(gòu)建，延長(zhǎng)了數(shù)據(jù)查詢的運(yùn)行時(shí)間以及降低了資源利用率。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供一種基于數(shù)據(jù)處理方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)，能夠優(yōu)化Join的查詢性能，縮短數(shù)據(jù)查詢的運(yùn)行時(shí)間，以提升數(shù)據(jù)庫(kù)的資源利用率。

根據(jù)本申請(qǐng)實(shí)施例的第一方面，提供一種數(shù)據(jù)處理方法，包括：

基于計(jì)算節(jié)點(diǎn)的執(zhí)行資源，執(zhí)行第一任務(wù)和第二任務(wù)，并構(gòu)建與計(jì)算節(jié)點(diǎn)對(duì)應(yīng)的運(yùn)行數(shù)據(jù)過濾器，第一任務(wù)為多個(gè)階段中第一階段的任務(wù)，第二任務(wù)為多個(gè)階段中第二階段的至少部分任務(wù)；

在第一階段執(zhí)行結(jié)束且運(yùn)行數(shù)據(jù)過濾器構(gòu)建完成的情況下，獲取第二任務(wù)的執(zhí)行狀態(tài)；

在執(zhí)行狀態(tài)表征第二任務(wù)未執(zhí)行結(jié)束的情況下，執(zhí)行第三任務(wù)，得到第二階段中與第二任務(wù)對(duì)應(yīng)的執(zhí)行結(jié)果，第三任務(wù)為通過運(yùn)行數(shù)據(jù)過濾器過濾第二任務(wù)后的任務(wù)。

根據(jù)本申請(qǐng)實(shí)施例的第二方面，提供一種數(shù)據(jù)處理裝置，包括：

處理模塊，用于基于計(jì)算節(jié)點(diǎn)的執(zhí)行資源，執(zhí)行第一任務(wù)和第二任務(wù)，并構(gòu)建與計(jì)算節(jié)點(diǎn)對(duì)應(yīng)的運(yùn)行數(shù)據(jù)過濾器，第一任務(wù)為多個(gè)階段中第一階段的任務(wù)，第二任務(wù)為多個(gè)階段中第二階段的至少部分任務(wù)；

獲取模塊，用于在第一階段執(zhí)行結(jié)束且運(yùn)行數(shù)據(jù)過濾器構(gòu)建完成的情況下，獲取第二任務(wù)的執(zhí)行狀態(tài)；

執(zhí)行模塊，用于在執(zhí)行狀態(tài)表征第二任務(wù)未執(zhí)行完畢的情況下，執(zhí)行第三任務(wù)，得到第二階段中與第二任務(wù)對(duì)應(yīng)的執(zhí)行結(jié)果，第三任務(wù)為通過運(yùn)行數(shù)據(jù)過濾器過濾第二任務(wù)后的任務(wù)。

根據(jù)本申請(qǐng)實(shí)施例的第三方面，提供一種計(jì)算機(jī)設(shè)備，包括：存儲(chǔ)器和處理器；

存儲(chǔ)器，用于存儲(chǔ)有計(jì)算機(jī)程序；

處理器，用于執(zhí)行存儲(chǔ)器中存儲(chǔ)的計(jì)算機(jī)程序，計(jì)算機(jī)程序運(yùn)行時(shí)使得處理器執(zhí)行如第一方面所示的數(shù)據(jù)處理方法的步驟。

根據(jù)本申請(qǐng)實(shí)施例的第四方面，提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)程序或指令，在程序或指令被計(jì)算機(jī)設(shè)備執(zhí)行的情況下，使得計(jì)算機(jī)設(shè)備執(zhí)行如第一方面所示的數(shù)據(jù)處理方法的步驟。

根據(jù)本申請(qǐng)實(shí)施例的第五方面，提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，在計(jì)算機(jī)程序被計(jì)算機(jī)設(shè)備執(zhí)行的情況下，使得計(jì)算機(jī)設(shè)備執(zhí)行如第一方面所示的數(shù)據(jù)處理方法的步驟。