[發(fā)明專利]一種大數(shù)據(jù)任務(wù)處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011044886.1
• 申請(qǐng)日: 2020-09-28
• 公開（公告）號(hào): CN112181704A
• 公開（公告）日: 2021-01-05
• 發(fā)明（設(shè)計(jì)）人: 楊澤森
• 申請(qǐng)（專利權(quán)）人: 京東數(shù)字科技控股股份有限公司
• 主分類號(hào): G06F11/07
• 分類號(hào): G06F11/07;G06F11/32;G06F8/41
• 代理公司: 北京華夏泰和知識(shí)產(chǎn)權(quán)代理有限公司 11662
• 代理人: 盧萬騰;孫劍鋒

1.一種大數(shù)據(jù)任務(wù)處理方法，其特征在于，包括：

對(duì)大數(shù)據(jù)任務(wù)進(jìn)行解析，得到所述大數(shù)據(jù)任務(wù)的待診斷信息；

確定所述待診斷信息中不符合預(yù)設(shè)的目標(biāo)信息規(guī)則的異常信息，所述異常信息對(duì)應(yīng)的異常類型至少包含以下之一：語法異常、數(shù)據(jù)層級(jí)異常、資源利用異常；

執(zhí)行與所述異常信息對(duì)應(yīng)的處理策略。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，對(duì)大數(shù)據(jù)任務(wù)進(jìn)行解析，得到所述大數(shù)據(jù)任務(wù)的待診斷信息，包括：

獲取與預(yù)設(shè)的目標(biāo)異常類型對(duì)應(yīng)的解析策略，并利用所述解析策略對(duì)所述大數(shù)據(jù)任務(wù)進(jìn)行解析，得到所述大數(shù)據(jù)任務(wù)的待診斷信息。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，獲取與預(yù)設(shè)的目標(biāo)異常類型對(duì)應(yīng)的解析策略，并利用所述解析策略對(duì)所述大數(shù)據(jù)任務(wù)進(jìn)行解析，得到所述大數(shù)據(jù)任務(wù)的待診斷信息，包括：

若所述目標(biāo)異常類型包含語法異常和數(shù)據(jù)層級(jí)異常之中的至少一種，則獲取腳本解析策略和腳本解釋計(jì)劃解析策略；

利用所述腳本解析策略對(duì)所述大數(shù)據(jù)任務(wù)的Hive QL腳本進(jìn)行解析，得到所述大數(shù)據(jù)任務(wù)對(duì)應(yīng)的第一抽象語法樹；

利用所述腳本解釋計(jì)劃解析策略對(duì)所述大數(shù)據(jù)任務(wù)的Hive腳本解釋計(jì)劃進(jìn)行解析，得到所述大數(shù)據(jù)任務(wù)對(duì)應(yīng)的第二抽象語法樹；

由所述第一抽象語法樹中的信息和所述第二抽象語法樹中的信息組成所述大數(shù)據(jù)任務(wù)的第一待診斷信息，所述第一待診斷信息至少包含以下之一：目標(biāo)表、來源信息表、查詢條件、查詢字段、來源信息表元數(shù)據(jù)。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，獲取與預(yù)設(shè)的目標(biāo)異常類型對(duì)應(yīng)的解析策略，并利用所述解析策略對(duì)所述大數(shù)據(jù)任務(wù)進(jìn)行解析，得到所述大數(shù)據(jù)任務(wù)的待診斷信息，包括：

若所述目標(biāo)異常類型包含資源利用異常，則獲取資源占用數(shù)據(jù)解析策略；

利用所述資源占用數(shù)據(jù)解析策略，確定所述大數(shù)據(jù)任務(wù)對(duì)應(yīng)的計(jì)算任務(wù)及所述計(jì)算任務(wù)包括的所有子任務(wù)，并獲取所述所有子任務(wù)對(duì)應(yīng)的計(jì)算資源占用數(shù)據(jù)；

根據(jù)所述第二待診斷信息計(jì)算所述大數(shù)據(jù)任務(wù)對(duì)應(yīng)的計(jì)算資源異常量和/或數(shù)據(jù)傾斜程度；

將所述計(jì)算資源異常量和/或數(shù)據(jù)傾斜程度作為所述大數(shù)據(jù)任務(wù)的第二待診斷信息。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，確定所述待診斷信息中不符合預(yù)設(shè)的目標(biāo)信息規(guī)則的異常信息，包括：

若所述目標(biāo)異常類型中包含語法異常，則所述目標(biāo)信息規(guī)則中包含用于檢測語法異常的語法規(guī)則，確定所述第一待診斷信息中不符合所述語法規(guī)則的信息為異常類型為語法異常的異常信息。

6.根據(jù)權(quán)利要求3所述的方法，其特征在于，確定所述待診斷信息中不符合預(yù)設(shè)的目標(biāo)信息規(guī)則的異常信息，包括：

若所述目標(biāo)異常類型中包含數(shù)據(jù)層級(jí)異常，則所述目標(biāo)信息規(guī)則中包含用于檢測數(shù)據(jù)層級(jí)異常的數(shù)據(jù)層級(jí)規(guī)則，確定所述第一待診斷信息中數(shù)據(jù)層級(jí)不符合所述數(shù)據(jù)層級(jí)規(guī)則的目標(biāo)表和對(duì)應(yīng)的來源信息表為異常類型為數(shù)據(jù)層級(jí)異常的異常信息。

7.根據(jù)權(quán)利要求4所述的方法，其特征在于，確定所述待診斷信息中不符合預(yù)設(shè)的目標(biāo)信息規(guī)則的異常信息，包括：

若所述目標(biāo)異常類型中包含資源利用異常，則所述目標(biāo)信息規(guī)則中包含用于檢測資源利用異常的資源利用規(guī)則，若所述第二待診斷信息中的計(jì)算資源異常量和/或所述數(shù)據(jù)傾斜程度不滿足所述資源利用規(guī)則，則確定所述待診斷信息中包含異常類型為資源利用異常的異常信息。

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，執(zhí)行與所述異常信息對(duì)應(yīng)的處理策略，包括：

根據(jù)所述異常信息，確定與所述異常信息對(duì)應(yīng)的優(yōu)化策略；

對(duì)所述異常信息和對(duì)應(yīng)的優(yōu)化策略進(jìn)行展示。