[發明專利]分布式數據系統的應災處理方法、裝置、設備及存儲介質

在審

• 申請號: 202111007167.7
• 申請日: 2021-08-30
• 公開（公告）號: CN113722292A
• 公開（公告）日: 2021-11-30
• 發明（設計）人: 梁天愷
• 申請（專利權）人: 平安國際智慧城市科技股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/2458;G06F16/27
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 翁唱玲

本申請適用于人工智能、系統應災處理技術領域，提供一種分布式數據系統的應災處理方法、裝置、設備及存儲介質，其方法包括：獲取分布式數據系統當前的資源使用率，并判斷分布式數據系統當前的資源使用率是否達到應災啟動閾值；若資源使用率達到應災啟動閾值，則采用預設的應災模型求解出系統應災需要追加的計算資源用量；根據需要追加的計算資源用量對分布式數據系統進行資源調度處理，以使分布式數據系統的資源使用率下降至表征系統安全運行的基準值。基于該方法，在分布式數據系統有突發的數據災難事件來臨時，可以利用退火算法進行數據災難的“澆滅”，使得分布式數據系統中集群的資源使用率下降至一個安全的值，從而保證系統正常運行。

技術領域

本申請涉及人工智能、系統應災處理技術領域，尤其涉及一種分布式數據系統的應災處理方法、裝置、設備及存儲介質。

背景技術

在數據瘋狂增長的大數據時代，大數據挖掘和分析技術在各行業領域中被廣泛應用。然而，隨著數據量的不斷增長，傳統的數據管理系統在有突發的數據災難事件來臨時，難以保障數據的安全性，缺乏應對數據災難以及突發數據丟失的能力。

發明內容

有鑒于此，本申請實施例提供了一種分布式數據系統的應災處理方法、裝置、電子設備及存儲介質，可以通過融合Hadoop集群技術和退火算法，實現數據的分布式存儲的同時有效地提高分布式數據系統應對數據災難以及突發數據丟失的能力，解決傳統的醫療大數據存儲所存在的讀取效率以及數據安全性問題。

本申請實施例的第一方面提供了一種分布式數據系統的應災處理方法，包括：

獲取分布式數據系統當前的資源使用率，并判斷所述分布式數據系統當前的資源使用率是否達到應災啟動閾值；

若所述資源使用率達到應災啟動閾值，則采用預設的應災模型求解出系統應災需要追加的計算資源用量；

根據所述需要追加的計算資源用量對所述分布式數據系統進行資源調度處理，以使所述分布式數據系統的資源使用率下降至表征系統安全運行的基準值。

結合第一方面，在第一方面的第一種可能實現方式中，所述若所述資源使用率達到應災啟動閾值，則采用預設的應災模型求解出系統應災需要追加的計算資源用量的步驟，包括：

將預設的初始化的計算資源追加用量輸入到所述預設的應災模型中進行迭代處理，獲得迭代后的計算資源追加用量；

根據所述迭代后的計算資源追加用量，模擬計算所述分布式數據系統在追加計算資源后的資源使用率；

判斷所述分布式數據系統在追加計算資源后的資源使用率是否低于預設的資源使用率閾值，若是，則將所述迭代后的計算資源追加用量配置為系統應災需要追加的計算資源用量，否則重新進行迭代處理，直至所述分布式數據系統在追加計算資源后的資源使用率低于預設的資源使用率閾值為止。

結合第一方面的第一種可能實現方式，在第一方面的第二種可能實現方式中，所述將預設的初始化的計算資源追加用量輸入到所述預設的應災模型中進行迭代處理，獲得迭代后的計算資源追加用量的步驟，包括：

將所述預設置的初始化的計算資源追加用量作為所述預設的應災模型中目標損失函數的初始解計算所述目標損失函數，獲得第一函數值；

按照預設的擾動條件對所述初始解進行擾動處理，獲得與所述初始解相對應的若干個擾動解；

從所述若干個擾動解中隨機選取一個擾動解作為所述預設的應災模型中目標損失函數的新解計算所述目標損失函數，獲得第二函數值；

比對所述第一函數值和所述第二函數值，若所述第二函數值小于等于所述第一函數值，則接受所述新解并以所述新解作為初始解對所述目標損失函數進行下一輪的迭代處理，直至迭代次數達到預設次數閾值為止，獲得迭代后的計算資源追加用量。