[發明專利]分布式文件系統及控制方法

有效

• 申請號: 201811466884.4
• 申請日: 2018-12-03
• 公開（公告）號: CN111258748B
• 公開（公告）日: 2023-09-05
• 發明（設計）人: 顧卿;嚴庭翔;賈棟;裴力;邱曉波;胡可
• 申請（專利權）人: 中國移動通信集團上海有限公司;中國移動通信集團有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F16/182
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩;李相雨

本發明實施例提供一種分布式文件系統及控制方法。所述系統包括：控制模塊、任務池以及配置中心；其中，所述控制模塊用于獲取待執行任務的任務參數，為所述待執行任務配置一任務模塊，將所述任務參數存儲在所述配置中心；所述任務模塊包括：分配單元以及處理單元；所述分配單元用于從所述配置中心加載所述任務參數，根據所述任務參數從所述分布式文件系統中獲取所述待執行任務的文件分片，并將所述文件分片發布至任務池中；所述處理單元用于從所述任務池中獲取所述文件分片，并執行所述待執行任務。本發明實施例解決了現有技術中，分布式文件系統中原有的文件搶占模式造成I/O資源沖突的問題。

技術領域

本發明實施例涉及移動通信技術領域，尤其涉及一種分布式文件系統及控制方法。

背景技術

隨著彈性服務化框架技術的發展，分布式云系統對現有文件系統在響應及時率、高可用以及擴展性等方面提出了更高的要求。現有文件系統中，較為常見的是基于磁盤陣列的文件系統，其主要是以冗余備份來保障文件安全以及快速訪問，構建原理是基于數組方式的磁盤組，配合數據分散排列的設計，以提升數據的安全性。磁盤陣列由很多價格低廉、容量較小、穩定性較高且速度較慢的磁盤，組合成一個大型的磁盤組，利用其中個別磁盤提供數據所產生的加成效果提來升整個磁盤系統效能。然而，復雜的構建原理必然導致較差的擴展性，比如，當需要增加存儲或者更換磁盤時，無法做到服務的平滑過渡。

分布式文件系統將廣泛分布各個不同物理存儲空間(比如本機、局域網和廣域網)中的數據以一定邏輯形式組成文件系統，分布式文件系統提供的服務更多的是索引(指向)作用，不必耗費很大的部署資源，順應了云計算的發展方向。

具體地，分布式文件系統中的索引功能，對于文件系統的原子性操作，例如rename(rename是一個計算函數，功能是給一個文件重命名，用該函數可以實現文件移動功能，把一個文件的完整路徑的盤符改一下就實現了這個文件的移動。)、mv等指令，由于增加了算法額外開銷，性能會有一定的降低。作為示例，參見表1，在相同硬件資源(CPU、內存)環境下，表1中對ClusterFS、MooseFS以及本地磁盤耗時的基本命令性能測試進行對比，得出如下數據：

表1：

對于文件無狀態化時的任務分配方式主要有如下兩種(以文件全路徑名稱為任務分片)：任務處理單元直接從文件系統中競爭任務分片(如具有原子性的rename操作)；以及任務處理單元從統一的協調中心競爭或順序獲取任務分片。

而直接從文件系統競爭任務分片時，需要各任務處理單元獨立遍歷目錄中全量數據后，搶占到各自的臨時路徑下。而當任務處理單元數量較多時，各自的遍歷、rename操作產生的上下文切換與I/O操作將產生資源沖突，而在分布式文件系統的高延時下，這種資源沖突將造成極大的系統負擔。

發明內容

本發明實施例提供一種分布式文件系統及控制方法，用以解決現有技術中，分布式文件系統中原有的文件搶占模式造成I/O資源沖突的問題。

一方面，本發明實施例提供一種分布式文件系統，所述系統包括：控制模塊、任務池以及配置中心；

其中，所述控制模塊用于獲取待執行任務的任務參數，為所述待執行任務配置一任務模塊，將所述任務參數存儲在所述配置中心；

所述任務模塊包括：分配單元以及處理單元；

所述分配單元用于從所述配置中心加載所述任務參數，根據所述任務參數從所述分布式文件系統中獲取所述待執行任務的文件分片，并將所述文件分片發布至任務池中；

所述處理單元用于從所述任務池中獲取所述文件分片，并執行所述待執行任務。

一方面，本發明實施例提供一種分布式文件系統的控制方法，應用于上述分布式文件系統，所述方法包括：