[發(fā)明專利]大數(shù)據(jù)平臺(tái)動(dòng)態(tài)性能優(yōu)化方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110796515.7
• 申請(qǐng)日: 2021-07-14
• 公開（公告）號(hào): CN113377747A
• 公開（公告）日: 2021-09-10
• 發(fā)明（設(shè)計(jì)）人: 徐隴浙;蔣照耀
• 申請(qǐng)（專利權(quán)）人: 浙江宇視科技有限公司
• 主分類號(hào): G06F16/21
• 分類號(hào): G06F16/21;G06F16/22;G06F16/245;G06F16/28
• 代理公司: 北京安信方達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11262
• 代理人: 吳曉霞;栗若木

1.一種大數(shù)據(jù)平臺(tái)動(dòng)態(tài)性能優(yōu)化方法，其特征在于，

遍歷作業(yè)系統(tǒng)中的數(shù)據(jù)處理流程；其中，每個(gè)數(shù)據(jù)處理流程包括一個(gè)或多個(gè)作業(yè)；

對(duì)于每個(gè)數(shù)據(jù)處理流程進(jìn)行如下操作：

分別查找出每個(gè)作業(yè)中的冗余數(shù)據(jù)；

根據(jù)冗余數(shù)據(jù)的類型對(duì)冗余數(shù)據(jù)進(jìn)行存儲(chǔ)優(yōu)化和/或計(jì)算性能優(yōu)化。

2.如權(quán)利要求1所述的方法，其特征在于：

其中，每個(gè)作業(yè)包括數(shù)據(jù)表，每個(gè)數(shù)據(jù)表包括字段；

冗余數(shù)據(jù)的類型包括冗余字段、冗余作業(yè)、冗余數(shù)據(jù)表；

分別查找出每個(gè)作業(yè)中的冗余數(shù)據(jù)，包括：分別查找出每個(gè)作業(yè)中的以下一種或多種類型的冗余數(shù)據(jù)：冗余字段、冗余數(shù)據(jù)表、冗余作業(yè)。

3.如權(quán)利要求2所述的方法，其特征在于：

其中，每個(gè)數(shù)據(jù)處理流程中至少一個(gè)作業(yè)包括出向API；

當(dāng)冗余數(shù)據(jù)的類型為冗余字段時(shí)，分別查找出每個(gè)作業(yè)中的冗余數(shù)據(jù)，包括：

遍歷出向API直接關(guān)聯(lián)的數(shù)據(jù)表；

對(duì)于每個(gè)與出向API直接關(guān)聯(lián)的數(shù)據(jù)表進(jìn)行如下操作：

將該數(shù)據(jù)表中滿足第一預(yù)設(shè)條件的字段判定為冗余字段；

遍歷每個(gè)作業(yè)，如果該作業(yè)的數(shù)據(jù)輸出表是包含有冗余字段的數(shù)據(jù)表，則將該作業(yè)的數(shù)據(jù)輸入表中與冗余字段對(duì)應(yīng)的字段判定為冗余字段。

4.如權(quán)利要求3所述的方法，其特征在于：

所述第一預(yù)設(shè)條件包括：該字段與出向API的返回結(jié)果字段以及數(shù)據(jù)排序條件字段以及數(shù)據(jù)過濾條件字段不相同。

5.如權(quán)利要求3所述的方法，其特征在于：

分別查找出每個(gè)作業(yè)中的冗余字段，還包括：

對(duì)于每個(gè)作業(yè)分別進(jìn)行如下處理：

獲取該作業(yè)的數(shù)據(jù)輸入表的字段與其他作業(yè)中的字段的對(duì)應(yīng)關(guān)系；獲取所述其他作業(yè)的作業(yè)關(guān)聯(lián)條件字段、排序條件字段、過濾條件字段；

如果該作業(yè)的數(shù)據(jù)輸入表中的字段與所述其他作業(yè)中的字段不存在對(duì)應(yīng)關(guān)系，且該作業(yè)的數(shù)據(jù)輸入表中的字段不是其他作業(yè)的作業(yè)關(guān)聯(lián)條件字段以及排序條件字段以及過濾條件字段，則判定該作業(yè)的數(shù)據(jù)輸入表中的字段為冗余字段；

其中，所述其他作業(yè)為數(shù)據(jù)處理流程中除該作業(yè)之外的作業(yè)。

6.如權(quán)利要求3所述的方法，其特征在于：

當(dāng)冗余數(shù)據(jù)的類型為冗余作業(yè)和冗余數(shù)據(jù)表時(shí)，分別查找出每個(gè)作業(yè)中的冗余數(shù)據(jù)，包括：

獲取出向API上一次的調(diào)用時(shí)間；

如果上一次的調(diào)用時(shí)間與當(dāng)前時(shí)間的差值超過預(yù)設(shè)閾值，則判定該出向API為冗余作業(yè)；

判定與該出向API相關(guān)聯(lián)的全部作業(yè)為冗余作業(yè)；判定與冗余作業(yè)相關(guān)聯(lián)的數(shù)據(jù)表為冗余數(shù)據(jù)表。

7.如權(quán)利要求6所述的方法，所述判定與該出向API相關(guān)聯(lián)的全部作業(yè)為冗余作業(yè)，判定與冗余作業(yè)相關(guān)聯(lián)的數(shù)據(jù)表為冗余數(shù)據(jù)表，包括：

獲取該出向API引用的數(shù)據(jù)輸入表且滿足第二預(yù)設(shè)條件的數(shù)據(jù)輸入表，將所獲取的數(shù)據(jù)輸入表判定為冗余數(shù)據(jù)表；

查找以獲取到的數(shù)據(jù)輸入表作為數(shù)據(jù)輸出表的作業(yè)，將查找到的作業(yè)判定為冗余作業(yè)；

將冗余作業(yè)的全部輸入表中滿足第二預(yù)設(shè)條件的數(shù)據(jù)輸入表判定為冗余數(shù)據(jù)表。

8.如權(quán)利要求2所述的方法，對(duì)冗余數(shù)據(jù)進(jìn)行存儲(chǔ)優(yōu)化和/或計(jì)算性能優(yōu)化，包括：

對(duì)冗余字段不進(jìn)行存儲(chǔ)；

和/或，對(duì)冗余作業(yè)和冗余數(shù)據(jù)表進(jìn)行鎖定。

9.如權(quán)利要求3所述的方法，其特征在于，還包括：

當(dāng)新增出口API接口或修改出口API接口時(shí)，觸發(fā)冗余字段的重新查找。

10.如權(quán)利要求9所述的方法，其特征在于，還包括：

當(dāng)接收到激活被鎖定的出口API接口的命令時(shí)，激活被鎖定的出口API接口，并激活被鎖定的該出口API接口關(guān)聯(lián)的被鎖定的作業(yè)和數(shù)據(jù)表。

11.一種大數(shù)據(jù)平臺(tái)動(dòng)態(tài)性能優(yōu)化裝置，包括存儲(chǔ)器和處理器，其特征在于：

所述存儲(chǔ)器，用于保存用于優(yōu)化的程序；

所述處理器，用于讀取執(zhí)行所述用于優(yōu)化的程序，執(zhí)行如權(quán)利要求1-10任一項(xiàng)所述的方法。