[發明專利]一種分布式文件系統及數據管理方法

在審

• 申請號: 202010591962.4
• 申請日: 2020-06-24
• 公開（公告）號: CN111796767A
• 公開（公告）日: 2020-10-20
• 發明（設計）人: 陳輝
• 申請（專利權）人: 北京青云科技股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F16/17;G06F16/182
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種分布式文件系統，其特征在于，包括：服務端、鍵值數據庫、共享磁盤、空間與IO事務管理服務以及元數據服務；

所述鍵值數據庫，用于儲存非普通文件的元數據信息及關聯關系信息，以及儲存普通文件的關聯關系信息；

所述共享磁盤，用于儲存所述普通文件的元數據信息；

所述服務端，用于接收客戶端發送的數據操作請求，并分析所述數據操作請求，確定發送給所述元數據服務和/或空間與IO事務管理服務的操作指令；

所述空間與IO事務管理服務，用于在接收到操作指令后，開啟或關閉一個普通文件的IO事務，以及對普通文件在所述共享磁盤上的存儲空間進行管理；

所述元數據服務，用于作為一個服務接口，在接收到操作指令后，執行將非普通文件的元數據信息和關聯關系信息，以及普通文件的關聯關系信息存儲所述鍵值數據庫的操作；或者，執行向所述服務端反饋對應所接收操作指令的相關數據信息的操作。

2.根據權利要求1所述的系統，其特征在于，所述服務端，具體用于：

接收所述客戶端發送的數據操作請求，分析所述數據操作請求對應的請求執行目標；

如果所述請求執行目標為非普通文件，則基于所述數據操作請求形成發送給所述元數據服務的操作指令；

如果所述請求執行目標為普通文件，則直接從所述共享磁盤中讀取對應所述數據操作請求的數據信息；或者，基于所述數據操作請求形成發送給所述空間與IO事務管理服務的操作指令。

3.根據權利要求2所述的系統，其特征在于，所述元數據服務具體用于：

當所接收操作指令為對非普通文件的寫操作時，執行將所述非普通文件的元數據信息以及關聯關系信息寫入所述鍵值數據庫的操作；

當所接收操作指令為對普通文件所對應關聯關系信息的寫操作時，執行將所述普通文件的關聯關系信息寫入所述鍵值數據庫的操作。

4.根據權利要求2所述系統，其特征在于，所述系統還包括：數據緩存模塊，用于緩存儲存在所述鍵值數據庫中的數據；

相應的，所述元數據服務具體用于：

當所接收操作指令為對目標文件的讀操作時，執行從所述數據緩存模塊獲取所述目標文件的相關數據信息的操作，其中，所述相關數據信息為所述非普通文件的元數據信息以及關聯關系信息，或者所述普通文件的關聯關系信息；

當所述數據緩存模塊內不存在所述目標文件的相關數據信息時，執行從所述鍵值數據庫獲取所述目標文件的相關數據信息的操作。

5.根據權利要求4所述的系統，其特征在于，所述元數據服務具體還用于：

在執行從所述鍵值數據庫獲取所述目標文件的相關數據信息的操作后，當所述數據緩存模塊中不存在相關數據信息時，將所述目標文件的相關數據信息緩存到所述數據緩存模塊。

6.根據權利要求1-5任一項所述的方法，其特征在于，所述元數據服務具體還用于：

在針對所接收操作指令進行相應的數據操作后，將所執行數據操作的操作結果反饋給所述服務端。

7.根據權利要求6所述的系統，其特征在于，所述服務端具體用于：

當所述元數據服務反饋的操作結果與所述非普通文件關聯時，緩存所述元數據服務反饋的操作結果并反饋給所述客戶端；

當所述元數據服務反饋的操作結果為與所述普通文件關聯的關聯關系信息時，緩存所述元素數據服務反饋的操作結果，并在從所述共享磁盤中獲得所述普通文件的文件內容以及相應的元數據信息后，將所述普通文件的元數據信息、關聯關系信息以及文件內容返回給所述客戶端。

8.根據權利要求6所述的系統，其特征在于，所述空間與IO事務管理服務具體用于：

當所述操作指令為對所述普通文件的寫操作時，在所述共享磁盤中為所述普通文件分配空間，并將對應所述寫操作生成的寫IO事務信息返回給所述服務端，以使所述服務端基于元數據服務所反饋普通文件的關聯關系信息，將所述普通文件的元數據信息以及文件內容寫入在對應分配的空間中。