[發明專利]一種動態調整文件系統讀寫資源的方法

有效

• 申請號: 202010741987.8
• 申請日: 2020-07-29
• 公開（公告）號: CN111625367B
• 公開（公告）日: 2020-11-27
• 發明（設計）人: 肖正剛;王寧;楊昆
• 申請（專利權）人: 北京并行科技股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F16/182;G06K9/62;G06F9/54
• 代理公司: 北京思睿峰知識產權代理有限公司 11396
• 代理人: 謝建云;高攀

1.一種動態調整文件系統讀寫資源的方法，適于在計算設備中執行，所述計算設備與計算機集群耦接，所述計算機集群包括多個適于運行作業的計算節點，所述計算節點中駐留有文件系統的存儲客戶端，所述存儲客戶端與文件系統的存儲服務器通信連接，運行中的作業能夠通過存儲客戶端訪問存儲服務器進行數據讀寫，所述方法包括：

當目標作業分配到計算節點后，每運行預設時長時，收集所述預設時長內目標作業的作業狀態數據，所述作業狀態數據為目標作業運行預設時長內的系統調用數據，包括調用次數占比最大的預定數量個系統函數名稱及其調用次數占比；

將所述作業狀態數據輸入到作業分類模型，獲得所述目標作業對應的作業類型，其中，每種作業類型對應一種讀寫資源配置；

基于目標作業的作業類型對應的讀寫資源配置，為所述目標作業對應的存儲客戶端配置下一個預設時長的讀寫資源。

2.如權利要求1所述的方法，其中，所述基于目標作業的作業類型對應的讀寫資源配置，為所述目標作業對應的存儲客戶端配置下一個預設時長的讀寫資源還包括：

結合所述目標作業的作業類型對應的讀寫資源配置和所述存儲服務器的負載率，為所述目標作業對應的存儲客戶端配置下一個預設時長的讀寫資源。

3.如權利要求1或2所述的方法，還包括：

所述目標作業分配到計算節點的初始時刻，所述目標作業的讀寫資源配置設置為預定讀寫資源配置。

4.如權利要求1或2所述的方法，其中，所述文件系統為lustre文件系統。

5.如權利要求1或2所述的方法，其中，所述讀寫資源配置為所述存儲客戶端訪問存儲服務器的RPC速率，所述基于目標作業的作業類型對應的讀寫資源配置，為所述目標作業對應的存儲客戶端配置下一個預設時長的讀寫資源包括：

根據所述目標作業的作業類型對應的讀寫資源配置設定令牌桶過濾器規則。

6.如權利要求2所述的方法，其中，所述結合所述目標作業的作業類型對應的讀寫資源配置和所述存儲服務器的負載率，為所述目標作業對應的存儲客戶端配置下一個預設時長的讀寫資源包括：

獲取存儲服務器的負載率；

如果所述負載率低于預定值，則根據所述目標作業的作業類型對應的讀寫資源配置設定令牌桶過濾器規則。

7.如權利要求2所述的方法，其中，所述結合所述目標作業的作業類型對應的讀寫資源配置和所述存儲服務器的負載率，為所述目標作業對應的存儲客戶端配置下一個預設時長的讀寫資源包括：

獲取存儲服務器的負載率；

如果所述負載率超過預定值，且所述目標作業的作業類型對應的讀寫資源配置高于之前的讀寫資源配置，則所述目標作業的讀寫資源配置不做調整，并根據預定規則調整其他作業的讀寫資源配置。

8.如權利要求7所述的方法，其中，所述根據預定規則調整其他作業的讀寫資源配置包括：

獲取優先級低于所述目標作業的其它作業；

按照優先級由低到高的順序依次降低其它作業的讀寫資源配置，直至所述存儲服務器負載率低于預定值。

9.如權利要求1或2所述的方法，其中，所述將所述作業狀態數據輸入到作業分類模型，獲得所述目標作業對應的作業類型包括：

所述作業分類模型通過KNN算法根據所述作業狀態數據獲取所述目標作業對應的作業類型。

10.如權利要求1或2所述的方法，其中，所述作業分類模型通過下列方式獲得，包括：

收集作業分類模型的訓練樣本，所述訓練樣本包含樣本數據和標注數據；

將所述訓練樣本輸入所述作業分類模型，所述作業分類模型對所述訓練樣本進行分類，獲得作業類型和各作業類型的標注數據；

當所述作業類型及其對應的標注數據不再變化或達到最大迭代次數時，結束訓練，獲得訓練好的作業分類模型。