[發明專利]分布式系統數據處理方法、裝置、設備及介質

在審

• 申請號: 202210868227.2
• 申請日: 2022-07-22
• 公開（公告）號: CN115114239A
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 陳浩鵬
• 申請（專利權）人: 濟南浪潮數據技術有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/16;G06F16/182
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王曉坤

本申請涉及數據處理技術領域，公開了一種分布式系統數據處理方法、裝置、設備及介質，應用于內核客戶端，該方法包括：接收文件讀指令；解析文件讀指令，確定待讀取文件的屬性信息；判斷待讀取文件是否具有聚合屬性；若否，則直接對待讀取文件進行讀操作；若是，則根據待讀取文件的元數據打開對應的聚合大文件，在聚合大文件的相應位置讀取待讀取文件的數據。這樣內核客戶端在進行文件操作時，一方面不會影響對不帶有分級聚合屬性文件的讀操作，另一方面可以對文件分級聚合后的聚合大文件采用直讀的方式進行讀操作，進而通過間接操作聚合大文件達到操作小文件的目的，避免產生大文件的緩存。

技術領域

本發明涉及數據處理技術領域，特別是涉及一種分布式系統數據處理方法、裝置、設備及介質。

背景技術

隨著云計算、云原生、互聯網等技術的發展，存儲及讀寫的數據量日益增大，而不同數據的存儲和讀寫方式是不同的，另外用戶對于數據的訪問頻率不同，文件存放的位置也會不同。通常情況下將訪問頻率高的文件放置于快池，將訪問頻率低的文件放置于慢池，以達到合理利用資源的目的；這里的快池一般是由固態硬盤(Solid State Disk，SSD)創建的存儲池，慢池一般是由硬盤驅動器(Hard Disk Drive，HDD)創建的存儲池。

特定場景下，用戶操作的主要為小文件，在存儲系統中會出現海量的小文件，為了提升性能和存儲空間，廣泛采取將小文件聚合為大文件，聚合后的大文件由一個個4MB的對象組成，每個對象中前8KB是inode(索引節點)位圖，按文件排列順序存放著小文件的inode號，剩余位置存放著大量小文件，文件以4KB空間存儲；同時將大文件遷移到HDD慢池中。目前通過內核客戶端對分布式文件系統的操作基本局限在普通文件，可以正常的讀寫等操作，但是對于海量小文件經過分級聚合后形成的大文件則不能進行正常的訪問和讀寫。

因此，如何解決目前內核客戶端對文件分級聚合后的大文件不能進行正常訪問和操作的問題，是本領域技術人員亟待解決的技術問題。

發明內容

有鑒于此，本發明的目的在于提供一種分布式系統數據處理方法、裝置、設備及介質，可以通過間接操作聚合大文件達到操作小文件的目的，避免產生大文件的緩存。其具體方案如下：

一種分布式系統數據處理方法，應用于內核客戶端，包括：

接收文件讀指令；

解析所述文件讀指令，確定待讀取文件的屬性信息；

判斷所述待讀取文件是否具有聚合屬性；

若否，則直接對所述待讀取文件進行讀操作；

若是，則根據所述待讀取文件的元數據打開對應的聚合大文件，在所述聚合大文件的相應位置讀取所述待讀取文件的數據。

優選地，在本發明實施例提供的上述分布式系統數據處理方法中，所述根據所述待讀取文件的元數據打開對應的聚合大文件，包括：

根據所述待讀取文件的元數據確定對應的聚合大文件的索引節點編號；

根據所述索引節點編號打開所述聚合大文件。

優選地，在本發明實施例提供的上述分布式系統數據處理方法中，所述在所述聚合大文件的相應位置讀取所述待讀取文件的數據，包括：

查詢所述待讀取文件對應的小文件在所述聚合大文件中的偏移位置；

根據所述偏移位置，確定所述小文件；

讀取所述小文件中所述待讀取文件的數據。

優選地，在本發明實施例提供的上述分布式系統數據處理方法中，在所述讀取所述小文件中所述待讀取文件的數據之前，還包括：

判斷所述小文件的起始讀取位置距離所述小文件頭部的長度與所述待讀取文件的長度之和是否大于所述小文件的總長度；