[發明專利]一種動態資源分區方法

有效

• 申請號: 202011384022.4
• 申請日: 2020-12-01
• 公開（公告）號: CN112506652B
• 公開（公告）日: 2023-10-20
• 發明（設計）人: 吳嘉澍;王洋;李敏;張錦霞;須成忠
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N20/00
• 代理公司: 北京市誠輝律師事務所 11430
• 代理人: 耿慧敏

本發明公開了一種動態資源分區方法。該方法包括：利用樣本數據集預訓練分區數決策模型，該樣本數據集表征多種場景數據特征與對應的并發性能最優進程分區數之間的關聯關系；在滿足設定觸發條件的情況下，使用所述預訓練的分區數決策模型預測當前場景的最優分區數；對于在線形式到達的進程，根據獲得的當前場景的最優分區數和每個進程的資源使用特征通過無監督聚類算法對其進行聚類分區，獲得進程聚類分區策略，該進程聚類分區策略用于指示進程所述的分區；根據獲得的進程聚類分區策略對資源按需進行分區。本發明可以動態接收在線到來的進程，并對系統資源進行動態的分區，具有實時性且可以最大化系統的并發性能。

技術領域

本發明涉及計算機技術領域，更具體地，涉及一種動態資源分區方法。

背景技術

隨著云計算技術的快速發展及其在眾多領域的廣泛應用，對云計算系統中的各種資源的合理分區(Partitioning)利用，以達到最優的系統性能，變得愈發重要。在運行眾多進程的云計算系統中，如果無法對資源進行合理的分區利用，則會因為資源搶占而造成進程的阻塞，甚至是死鎖，這將嚴重影響到系統的性能與可靠性。而為了避免死鎖出現，部分進程需要被停止執行并阻塞。所以，如何在避免死鎖的前提下通過對系統中運行的進程進行分區，以達成對各項資源的合理分區，從而減少進程的阻塞并最優化系統的并發性(Concurrency)成為了需要解決的關鍵問題。

現有技術對于資源的合理分區已進行了一些探索。例如，根據進程對單種資源需求的起止時間對進程進行分組并對資源進行分區。這種方法僅考慮對單種資源進行分區及分配，而無法處理對多種資源的分區與分配，這種局限性對于現今快速發展的云計算系統來說顯然是不可接受的。

又如，通過人為設定資源需求閾值，對應用進行分組，并將資源分區以滿足不同資源需求的應用。這種人為設置的資源分區閾值缺少靈活性，限制了云計算系統對資源進行動態分區調整的能力。

再如，首先通過訓練人工神經網絡這一機器學習模型來判斷具有不同特征的進程的資源需求量，然后，訓練隨機登山算法，根據所得到的資源需求量預測值來尋找最優資源分區方式，并將進程分配到各個資源分區中。這種方法雖然可以對多種資源進行同時分區分配，但是所使用的人工神經網絡算法模型較為復雜，參數眾多，對訓練數據需求量大，訓練比較低效。此外，這種方法無法應對以在線形式(Online fashion)到來的進程，這些缺點給云計算系統帶來局限性，限制了云計算系統的高效運行。

發明內容

本發明的目的是克服上述現有技術的缺陷，提供一種動態資源分區方法，能夠以在線方式接收新到來的進程，在避免死鎖的前提下，動態地將進程進行合理分區，并根據進程的分區進行合理的資源分配，具有最優的并發性能。

本發明提供一種動態資源分區方法，該方法包括以下步驟：

利用樣本數據集預訓練分區數決策模型，該樣本數據集表征多種場景數據特征與對應的并發性能最優進程分區數之間的關聯關系；

在滿足設定觸發條件的情況下，使用所述預訓練的分區數決策模型預測當前場景的最優分區數；

對于在線形式到達的進程，根據獲得的當前場景的最優分區數和每個進程的資源使用特征通過無監督聚類算法對其進行聚類分區，獲得進程聚類分區策略，該進程聚類分區策略用于指示進程所述的分區；

根據獲得的進程聚類分區策略對資源按需進行分區。

與現有技術相比，本發明的優點在于，不受資源種類的限制，可以對多種資源進行動態分區，而不是僅僅對單一種類資源進行分區，具有一般性；不需要依賴于人為設定的閾值，而是通過機器學習的手段動態地根據當前資源使用情況及各個進程的資源使用情況進行資源分區調整，靈活性好。此外，本發明訓練更加高效，且通過多種方法的巧妙配合，所做決策可以最大化系統的并發性能；可以動態接收在線到來的進程，并對系統資源進行動態的分區，具有實時性。