[發(fā)明專利]分布式系統(tǒng)數(shù)據(jù)處理方法、裝置、設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210868227.2
• 申請(qǐng)日: 2022-07-22
• 公開（公告）號(hào): CN115114239A
• 公開（公告）日: 2022-09-27
• 發(fā)明（設(shè)計(jì)）人: 陳浩鵬
• 申請(qǐng)（專利權(quán)）人: 濟(jì)南浪潮數(shù)據(jù)技術(shù)有限公司
• 主分類號(hào): G06F16/13
• 分類號(hào): G06F16/13;G06F16/16;G06F16/182
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王曉坤

1.一種分布式系統(tǒng)數(shù)據(jù)處理方法，其特征在于，應(yīng)用于內(nèi)核客戶端，包括：

接收文件讀指令；

解析所述文件讀指令，確定待讀取文件的屬性信息；

判斷所述待讀取文件是否具有聚合屬性；

若否，則直接對(duì)所述待讀取文件進(jìn)行讀操作；

若是，則根據(jù)所述待讀取文件的元數(shù)據(jù)打開對(duì)應(yīng)的聚合大文件，在所述聚合大文件的相應(yīng)位置讀取所述待讀取文件的數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的分布式系統(tǒng)數(shù)據(jù)處理方法，其特征在于，所述根據(jù)所述待讀取文件的元數(shù)據(jù)打開對(duì)應(yīng)的聚合大文件，包括：

根據(jù)所述待讀取文件的元數(shù)據(jù)確定對(duì)應(yīng)的聚合大文件的索引節(jié)點(diǎn)編號(hào)；

根據(jù)所述索引節(jié)點(diǎn)編號(hào)打開所述聚合大文件。

3.根據(jù)權(quán)利要求1所述的分布式系統(tǒng)數(shù)據(jù)處理方法，其特征在于，所述在所述聚合大文件的相應(yīng)位置讀取所述待讀取文件的數(shù)據(jù)，包括：

查詢所述待讀取文件對(duì)應(yīng)的小文件在所述聚合大文件中的偏移位置；

根據(jù)所述偏移位置，確定所述小文件；

讀取所述小文件中所述待讀取文件的數(shù)據(jù)。

4.根據(jù)權(quán)利要求3所述的分布式系統(tǒng)數(shù)據(jù)處理方法，其特征在于，在所述讀取所述小文件中所述待讀取文件的數(shù)據(jù)之前，還包括：

判斷所述小文件的起始讀取位置距離所述小文件頭部的長度與所述待讀取文件的長度之和是否大于所述小文件的總長度；

若是，則自動(dòng)更改所述待讀取文件的長度；

若否，則直接讀取所述小文件中所述待讀取文件的數(shù)據(jù)。

5.根據(jù)權(quán)利要求1所述的分布式系統(tǒng)數(shù)據(jù)處理方法，其特征在于，還包括：

接收文件寫指令；

解析所述文件寫指令，確定待寫入文件的屬性信息；

判斷所述待寫入文件是否具有聚合屬性；

若否，則直接對(duì)所述待寫入文件進(jìn)行寫操作；

若是，則根據(jù)所述待寫入文件的元數(shù)據(jù)打開對(duì)應(yīng)的聚合大文件，在所述聚合大文件的相應(yīng)位置寫入所述待寫入文件的數(shù)據(jù)。

6.根據(jù)權(quán)利要求5所述的分布式系統(tǒng)數(shù)據(jù)處理方法，其特征在于，所述在所述聚合大文件的相應(yīng)位置寫入所述待寫入文件的數(shù)據(jù)，包括：

判斷所述待寫入文件對(duì)應(yīng)的小文件的起始寫入位置距離所述小文件頭部的長度與所述待寫入文件的長度之和是否大于所述小文件的總長度；

若否，則直接在所述聚合大文件的相應(yīng)位置寫入所述待寫入文件的數(shù)據(jù)；

若是，則增加臨時(shí)頁和構(gòu)造所述小文件的頁緩存，將所述聚合大文件中的原有小文件數(shù)據(jù)填充到所述臨時(shí)頁，填充完成后將所述臨時(shí)頁中的數(shù)據(jù)拷貝到所述小文件的頁緩存中并下刷，下刷完成后將所述待寫入文件的數(shù)據(jù)直接寫入所述小文件中。

7.根據(jù)權(quán)利要求6所述的分布式系統(tǒng)數(shù)據(jù)處理方法，其特征在于，在所述將所述待寫入文件的數(shù)據(jù)直接寫入所述小文件中之后，還包括：

更新所述小文件的元數(shù)據(jù)信息；

更新所述聚合大文件的無效空間，并向聚合對(duì)象頭的索引節(jié)點(diǎn)位圖處寫零。

8.一種分布式系統(tǒng)數(shù)據(jù)處理裝置，其特征在于，應(yīng)用于內(nèi)核客戶端，包括：

指令接收模塊，用于接收文件讀指令；

指令解析模塊，用于解析所述文件讀指令，確定待讀取文件的屬性信息；

屬性判斷模塊，用于判斷所述待讀取文件是否具有聚合屬性；

第一讀操作模塊，用于當(dāng)所述待讀取文件不具有聚合屬性時(shí)，直接對(duì)所述待讀取文件進(jìn)行讀操作；

第二讀操作模塊，用于當(dāng)所述待讀取文件具有聚合屬性時(shí)，根據(jù)所述待讀取文件的元數(shù)據(jù)打開對(duì)應(yīng)的聚合大文件，在所述聚合大文件的相應(yīng)位置讀取所述待讀取文件的數(shù)據(jù)。

9.一種分布式系統(tǒng)數(shù)據(jù)處理設(shè)備，其特征在于，包括處理器和存儲(chǔ)器，其中，所述處理器執(zhí)行所述存儲(chǔ)器中存儲(chǔ)的計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述的分布式系統(tǒng)數(shù)據(jù)處理方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，用于存儲(chǔ)計(jì)算機(jī)程序，其中，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述的分布式系統(tǒng)數(shù)據(jù)處理方法。