[發明專利]一種分布式數據處理系統中的內存預估與配置優化的方法

有效

• 申請號: 201810184254.1
• 申請日: 2018-03-06
• 公開（公告）號: CN108415776B
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 石宣化;金海;柯志祥;吳文超
• 申請（專利權）人: 華中科技大學
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/445
• 代理公司: 北京海虹嘉誠知識產權代理有限公司 11129
• 代理人: 何志欣;侯越玲

1.一種分布式數據處理系統中的內存預估與配置優化的方法，其特征在于，所述方法至少包括：

將經過針對應用jar包中程序代碼的條件分支和/或循環體分析及處理的程序數據流與數據特征庫進行匹配，并且基于匹配成功的結果預估至少一個階段的內存上限，

基于所述內存上限對應用程序進行配置參數優化，

基于優化后應用程序的運行過程采集程序數據的靜態特征和/或動態特征并進行持久化記錄。

2.如權利要求1所述的分布式數據處理系統中的內存預估與配置優化的方法，其特征在于，所述方法還包括：

基于所述程序數據的靜態特征和/或動態特征的反饋結果再次預估至少一個階段的內存上限并對應用程序進行配置參數優化。

3.如權利要求1或2所述的分布式數據處理系統中的內存預估與配置優化的方法，其特征在于，所述程序代碼的條件分支和/或循環體進行分析及處理的方法包括：

在判斷程序代碼是否存在條件分支的基礎上進行循環體分析，

基于所述循環體的內存穩定性確定是否預估至少一個階段的內存上限。

4.如權利要求3所述的分布式數據處理系統中的內存預估與配置優化的方法，其特征在于，所述程序數據流與所述數據特征庫的匹配方法至少包括：

判斷所述程序數據流與所述數據特征庫的動態特征和/或靜態特征是否完全匹配，

在完全匹配失敗的情況下放棄內存預估并將所述應用jar包提交運行，

在完全匹配成功的情況下，預估至少一個階段的內存上限，并且進行配置優化，將優化后的應用jar包提交運行。

5.如權利要求3所述的分布式數據處理系統中的內存預估與配置優化的方法，其特征在于，所述程序數據的靜態特征和/或動態特征的采集方式包括：

以改寫運行中的應用job的Task的流程的方式采集所述程序數據的靜態特征和/或動態特征，

統計匯總所述數據的靜態特征和/或動態特征并持久化至所述數據特征庫中以更新所述數據特征庫。

6.如權利要求1所述的分布式數據處理系統中的內存預估與配置優化的方法，其特征在于，所述方法還包括：

基于所述循環體的代碼分析和數據特征庫內的數據特征判斷所述循環體的內存變化，

在內存穩定不變或下降的情況下，將去除循環條件的循環體代碼與非循環體代碼對接，

在內存上升的情況下，放棄內存預估并將所述應用jar包提交運行。

7.如權利要求1所述的分布式數據處理系統中的內存預估與配置優化的方法，其特征在于，所述方法還包括：

在程序代碼中的所述條件分支不存在的情況下，對所述應用jar包的程序代碼進行循環體分析及處理，和/或

在程序代碼中的所述條件分支和/或循環體均不存在的情況下，將所述應用jar包的程序數據流與數據特征庫中的數據特征直接進行匹配。

8.如權利要求7所述的分布式數據處理系統中的內存預估與配置優化的方法，其特征在于，所述方法還包括：

在程序代碼中的所述條件分支存在的情況下，自動填充所述條件分支的條件并枚舉出所有的條件分支，對所述條件分支進行循環體代碼分析。

9.一種分布式數據處理系統中的內存預估與配置優化系統，其特征在于，所述系統至少包括數據特征采集模塊、內存預估模塊和配置優化模塊，

所述內存預估模塊將經過針對應用jar包中程序代碼的條件分支和/或循環體分析及處理的程序數據流與數據特征記錄模塊存儲的數據特征庫進行匹配，并且基于匹配成功的結果預估至少一個階段的內存上限，

所述配置優化模塊對應用程序進行配置參數優化，

所述數據特征采集模塊基于優化后應用程序的運行過程采集程序數據的靜態特征和/或動態特征并進行持久化記錄。

10.如權利要求9所述的分布式數據處理系統中的內存預估與配置優化系統，其特征在于，

所述內存預估模塊基于所述數據特征采集模塊對程序數據的靜態特征和/或動態特征的反饋結果再次預估至少一個階段的內存上限。