[發(fā)明專利]一種動態(tài)調(diào)整文件系統(tǒng)讀寫資源的方法

有效

• 申請?zhí)枺?/td>: 202010741987.8
• 申請日: 2020-07-29
• 公開（公告）號: CN111625367B
• 公開（公告）日: 2020-11-27
• 發(fā)明（設(shè)計）人: 肖正剛;王寧;楊昆
• 申請（專利權(quán)）人: 北京并行科技股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F16/182;G06K9/62;G06F9/54
• 代理公司: 北京思睿峰知識產(chǎn)權(quán)代理有限公司 11396
• 代理人: 謝建云;高攀

本發(fā)明公開了一種動態(tài)調(diào)整文件系統(tǒng)讀寫資源的方法，適于在計算設(shè)備中執(zhí)行，計算設(shè)備與計算機集群耦接，計算機集群包括計算節(jié)點，計算節(jié)點中駐留有存儲客戶端，運行中的作業(yè)能夠通過存儲客戶端訪問存儲服務(wù)器進行數(shù)據(jù)讀寫，方法包括：當(dāng)目標(biāo)作業(yè)分配到計算節(jié)點后，每運行預(yù)設(shè)時長時，收集預(yù)設(shè)時長內(nèi)目標(biāo)作業(yè)的作業(yè)狀態(tài)數(shù)據(jù)，并輸入到作業(yè)分類模型，獲得所述目標(biāo)作業(yè)對應(yīng)的作業(yè)類型，其中，每種作業(yè)類型對應(yīng)一種讀寫資源配置；基于目標(biāo)作業(yè)的作業(yè)類型對應(yīng)的讀寫資源配置，為所述目標(biāo)作業(yè)對應(yīng)的存儲客戶端配置下一個預(yù)設(shè)時長的讀寫資源。本發(fā)明一并公開了相應(yīng)的計算設(shè)備及可讀存儲介質(zhì)。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，尤其涉及一種動態(tài)調(diào)整文件系統(tǒng)讀寫資源的方法、計算設(shè)備及可讀存儲介質(zhì)。

背景技術(shù)

集群文件系統(tǒng)成為當(dāng)今高性能計算機的主流體系結(jié)構(gòu)，隨著高性能計算技術(shù)的不斷發(fā)展,很多高性能計算應(yīng)用的存儲需求在不斷提高，Lustre是領(lǐng)先的集群文件系統(tǒng)，已經(jīng)成為構(gòu)建高性能計算存儲系統(tǒng)的標(biāo)準(zhǔn)，在高性能計算市場中占據(jù)統(tǒng)治地位，為了提升文件系統(tǒng)性能，可以對文件系統(tǒng)進行擴展，隨著節(jié)點不斷增加，這使得計算機集群變得日益龐大，同時隨著應(yīng)用不斷地更新迭代其對高性能計算系統(tǒng)中存儲的要求也越來越高，在存儲性能一定的前提下，面對不斷增長和變化的用戶需求，合理管理存儲資源顯得尤為重要，但是目前的作業(yè)處理中，都是根據(jù)用戶的優(yōu)先級將用戶分配到計算機集群中的不同的計算節(jié)點，以保證優(yōu)先級高的用戶作業(yè)的QoS，這就使得讀寫資源不能得到實時調(diào)節(jié)，影響整個文件系統(tǒng)的穩(wěn)定性。

發(fā)明內(nèi)容

為此，本發(fā)明提供了一種動態(tài)調(diào)整文件系統(tǒng)讀寫資源的方法、計算設(shè)備和可讀存儲介質(zhì)，以力圖解決或者至少緩解上面存在的問題。

根據(jù)本發(fā)明的一個方面，提供一種動態(tài)調(diào)整文件系統(tǒng)讀寫資源的方法，適于在計算設(shè)備中執(zhí)行，計算設(shè)備與計算機集群耦接，計算機集群包括多個適于運行作業(yè)的計算節(jié)點，計算節(jié)點中駐留有存儲客戶端，存儲客戶端與存儲服務(wù)器通信連接，運行中的作業(yè)能夠通過存儲客戶端訪問存儲服務(wù)器進行數(shù)據(jù)讀寫，方法包括：當(dāng)目標(biāo)作業(yè)分配到計算節(jié)點后，每運行預(yù)設(shè)時長時，收集預(yù)設(shè)時長內(nèi)目標(biāo)作業(yè)的作業(yè)狀態(tài)數(shù)據(jù)；將作業(yè)狀態(tài)數(shù)據(jù)輸入到作業(yè)分類模型，獲得目標(biāo)作業(yè)對應(yīng)的作業(yè)類型，其中，每種作業(yè)類型對應(yīng)一種讀寫資源配置；基于目標(biāo)作業(yè)的作業(yè)類型對應(yīng)的讀寫資源配置，為目標(biāo)作業(yè)對應(yīng)的存儲客戶端配置下一個預(yù)設(shè)時長的讀寫資源。

可選的，在根據(jù)本發(fā)明的動態(tài)調(diào)整文件系統(tǒng)讀寫資源的方法中，基于目標(biāo)作業(yè)的作業(yè)類型對應(yīng)的讀寫資源配置，為目標(biāo)作業(yè)對應(yīng)的存儲客戶端配置下一個預(yù)設(shè)時長的讀寫資源還包括：結(jié)合目標(biāo)作業(yè)的作業(yè)類型對應(yīng)的讀寫資源配置和存儲服務(wù)器的負(fù)載率，為目標(biāo)作業(yè)對應(yīng)的存儲客戶端配置下一個預(yù)設(shè)時長的讀寫資源。

可選的，在根據(jù)本發(fā)明的動態(tài)調(diào)整文件系統(tǒng)讀寫資源的方法中，還包括：目標(biāo)作業(yè)分配到計算節(jié)點的初始時刻，目標(biāo)作業(yè)的讀寫資源配置設(shè)置為預(yù)定讀寫資源配置。

可選的，在根據(jù)本發(fā)明的動態(tài)調(diào)整文件系統(tǒng)讀寫資源的方法中，文件系統(tǒng)為lustre文件系統(tǒng)。

可選的，在根據(jù)本發(fā)明的動態(tài)調(diào)整文件系統(tǒng)讀寫資源的方法中，作業(yè)狀態(tài)數(shù)據(jù)為目標(biāo)作業(yè)運行預(yù)設(shè)時長內(nèi)的系統(tǒng)調(diào)用數(shù)據(jù)，包括調(diào)用次數(shù)占比最大的預(yù)定數(shù)量個系統(tǒng)函數(shù)名稱及其調(diào)用次數(shù)占比。

可選的，在根據(jù)本發(fā)明的動態(tài)調(diào)整文件系統(tǒng)讀寫資源的方法中，讀寫資源配置為存儲客戶端訪問存儲服務(wù)器的RPC速率，基于目標(biāo)作業(yè)的作業(yè)類型對應(yīng)的讀寫資源配置，為目標(biāo)作業(yè)對應(yīng)的存儲客戶端配置下一個預(yù)設(shè)時長的讀寫資源包括：根據(jù)目標(biāo)作業(yè)的作業(yè)類型對應(yīng)的讀寫資源配置設(shè)定令牌桶過濾器規(guī)則。

可選的，在根據(jù)本發(fā)明的動態(tài)調(diào)整文件系統(tǒng)讀寫資源的方法中，結(jié)合目標(biāo)作業(yè)的作業(yè)類型對應(yīng)的讀寫資源配置和存儲服務(wù)器的負(fù)載率，為目標(biāo)作業(yè)對應(yīng)的存儲客戶端配置下一個預(yù)設(shè)時長的讀寫資源包括：獲取存儲服務(wù)器的負(fù)載率；如果負(fù)載率低于預(yù)定值，則根據(jù)目標(biāo)作業(yè)的作業(yè)類型對應(yīng)的讀寫資源配置設(shè)定令牌桶過濾器規(guī)則。