[發明專利]數據湖的性能診斷方法、裝置、計算機設備及存儲介質

有效

• 申請號: 202110738024.7
• 申請日: 2021-06-30
• 公開（公告）號: CN113342502B
• 公開（公告）日: 2023-01-20
• 發明（設計）人: 鄧晟;黃亞兵;陳陽;林開賢;敖毅波;沈志勇
• 申請（專利權）人: 招商局金融科技有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 深圳眾鼎專利商標代理事務所(普通合伙) 44325
• 代理人: 黃章輝

本發明公開了一種數據湖的性能診斷方法、裝置、計算機設備及存儲介質，所述方法包括：從上一預設周期的任務調度信息數據中，獲取滿足服務等級協議的日期的任務調度信息數據；根據第一起始執行時間和第一終止執行時間，確定在執行日期內每個預設時間段的延遲系數；根據拉依達準則和延遲系數，計算得到第一異常值檢測閾值和第二異常值檢測閾值；獲取當前執行日期的任務調度信息數據；根據第二起始執行時間、第二終止執行時間和當前執行日期，計算得到當前延遲系數；根據當前延遲系數、第一異常值檢測閾值和第二異常值檢測閾值，將數據湖的當前性能和歷史性能進行比較，確定數據湖的當前性能是否滿足等級服務協議，提高確定數據湖的性能的效率。

技術領域

本發明涉及數據分析技術領域，尤其涉及一種數據湖的性能診斷方法、裝置、計算機設備及存儲介質。

背景技術

企業數據湖為企業提供大數據批量計算服務，通過調度系統對批量計算任務進行周期性調度，易出現周期性調度任務延遲的情況，例如，當調度系統將批量計算任務提交到數據湖執行時，提交的批量計算任務超過了調度系統并發，會導致任務執行時間增加，且數據湖基礎服務(如Hive、Yarn、GaussDB200)的性能下降，如系統進程內存溢出、頻繁FullGC、負載不均衡、數據傾斜、業務表數據膨脹等，也會導致任務執行時間增加；當批量計算任務使用數據湖的CPU、內存、IO等計算資源時，在計算資源出現瓶頸時，如新上線任務資源使用量大，導致在計算資源緊張，計算任務排隊延遲執行，導致任務執行時間增加。

目前，主要需要技術人員逐個排查周期性調度任務延遲的原因，效率低下，無法快速確定數據湖的性能。

發明內容

本發明實施例提供一種數據湖的性能診斷方法、裝置、計算機設備和存儲介質，以提高確定數據湖的性能的效率。

為了解決上述技術問題，本申請實施例提供一種數據湖的性能診斷方法，包括：

從上一預設周期的任務調度信息數據中，獲取滿足服務等級協議的日期的任務調度信息數據，作為第一基準數據集，其中，所述預設周期為M天，每天由N個連續的預設時間段組成，所述第一基準數據集包括K個第一任務編號、每個所述第一任務編號對應的第一起始執行時間、每個所述第一任務編號對應的第一終止執行時間和每個所述第一任務編號對應的執行日期；

針對每個所述執行日期，根據所述第一起始執行時間和所述第一終止執行時間，確定在每個所述執行日期內每個所述預設時間段的延遲系數；

根據拉依達準則和所述延遲系數，計算得到每個所述預設時間段的第一異常值檢測閾值和每個所述預設時間段的第二異常值檢測閾值，其中，所述第一異常值檢測閾值小于所述第二異常值檢測閾值；

獲取當前預設周期中當前執行日期的任務調度信息數據，作為第二基準數據集，所述第二基準數據集包括L個第二任務編號、每個第二任務編號對應的第二起始執行時間、每個第二任務編號對應的第二終止執行時間和每個第二任務編號對應的所述當前執行日期；

根據所述第二起始執行時間、所述第二終止執行時間和所述當前執行日期，計算得到在所述當前執行日期的當前預設時間段的當前延遲系數；

根據所述當前延遲系數、所述第一異常值檢測閾值和所述第二異常值檢測閾值，將所述當前預設時間段內數據湖的當前性能和所述預設時間段內數據湖的歷史性能進行比較，確定所述當前預設時間段內數據湖的當前性能是否滿足所述等級服務協議。

為了解決上述技術問題，本申請實施例還提供一種數據湖的性能診斷裝置，包括：

第一獲取模塊，用于從上一預設周期的任務調度信息數據中，獲取滿足服務等級協議的日期的任務調度信息數據，作為第一基準數據集，其中，所述預設周期為M天，每天由N個連續的預設時間段組成，所述第一基準數據集包括K個第一任務編號、每個所述第一任務編號對應的第一起始執行時間、每個所述第一任務編號對應的第一終止執行時間和每個所述第一任務編號對應的執行日期；