[發(fā)明專利]一種文件讀寫方法、系統(tǒng)及設(shè)備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201810326333.1
• 申請日: 2018-04-12
• 公開（公告）號: CN108563743A
• 公開（公告）日: 2018-09-21
• 發(fā)明（設(shè)計）人: 馬順
• 申請（專利權(quán)）人: 鄭州云海信息技術(shù)有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 羅滿

本發(fā)明公開了一種文件讀寫方法、系統(tǒng)及設(shè)備和存儲介質(zhì)，該方法包括：接收上層接口發(fā)送的目標文件序列的讀取請求，并在所述目標文件序列中選擇目標文件；確定所述目標文件的文件大小，并判斷所述文件大小是否小于預(yù)設(shè)值；若是，則在數(shù)據(jù)存儲器中讀取所述目標文件，存儲至所述客戶端的inode節(jié)點中，同時在所述目標文件序列中重新選擇除所述目標文件之外的文件作為目標文件，直至所述目標文件序列中的文件全部讀取完成；將所述inode節(jié)點中的數(shù)據(jù)發(fā)送至所述上層接口。由此可見，本發(fā)明提供的文件讀寫方法相比于現(xiàn)有技術(shù)直接讀取逐個返回的方法，提高了小文件的傳輸效率，提高了存儲系統(tǒng)的讀寫性能。

技術(shù)領(lǐng)域

本發(fā)明涉及存儲技術(shù)領(lǐng)域，更具體地說，涉及一種文件讀寫方法、系統(tǒng)及設(shè)備和一種計算機可讀存儲介質(zhì)。

背景技術(shù)

隨著互聯(lián)網(wǎng)時代的高速發(fā)展，許多行業(yè)的數(shù)據(jù)量都達到了P級，例如，目前國內(nèi)最大的在線購物網(wǎng)站淘寶的可用存儲數(shù)據(jù)為35PB，實際使用了24PB的容量，存儲了近千億的圖片信息，而且這些信息每天都會以億級數(shù)量遞增，這使得海量數(shù)據(jù)的存儲受到了極大的挑戰(zhàn)。

通過大數(shù)據(jù)分析得出，在整個數(shù)據(jù)應(yīng)用端和數(shù)據(jù)存儲端，存儲的數(shù)據(jù)60％都是平均大小只有17.45KB的小文件，這些文件格式是多種多樣的，可能是圖片JPG格式、可執(zhí)行文件EXE或大量的自定義格式?，F(xiàn)有技術(shù)主要采用直接讀寫大量的小文件的方式，使得客戶端在讀寫集群文件的時候IOPS(英文全稱：Input/Output Operations Per Second，中文全稱：每秒進行讀寫操作的次數(shù))非常高，嚴重影響了存儲系統(tǒng)的讀寫性能，降低了集群文件的傳輸速率。

因此，如何提高小文件的傳輸效率，提高存儲系統(tǒng)的讀寫性能是本領(lǐng)域技術(shù)人員需要解決的問題。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種文件讀寫方法、系統(tǒng)及設(shè)備和一種計算機可讀存儲介質(zhì)，提高了小文件的傳輸效率，提高了存儲系統(tǒng)的讀寫性能。

為實現(xiàn)上述目的，本發(fā)明提供了一種文件讀寫方法，應(yīng)用于客戶端，包括：

接收上層接口發(fā)送的目標文件序列的讀取請求，并在所述目標文件序列中選擇目標文件；

確定所述目標文件的文件大小，并判斷所述文件大小是否小于預(yù)設(shè)值；

若是，則在數(shù)據(jù)存儲器中讀取所述目標文件，存儲至所述客戶端的inode節(jié)點中，同時在所述目標文件序列中重新選擇除所述目標文件之外的文件作為目標文件，直至所述目標文件序列中的文件全部讀取完成；

將所述inode節(jié)點中的數(shù)據(jù)發(fā)送至所述上層接口。

其中，確定所述目標文件的文件大小，包括：

向元數(shù)據(jù)存儲器發(fā)送所述目標文件的元數(shù)據(jù)查詢請求，并判斷所述客戶端的本地緩存是否存在所述目標文件的元數(shù)據(jù)；

若是，則根據(jù)所述本地緩存中的元數(shù)據(jù)確定所述目標文件的文件大小；

若否，則接收所述元數(shù)據(jù)存儲器返回的元數(shù)據(jù)，并根據(jù)所述元數(shù)據(jù)存儲器返回的元數(shù)據(jù)確定所述目標文件的文件大小。

其中，所述接收所述元數(shù)據(jù)存儲器返回的元數(shù)據(jù)之后，還包括：

將所述元數(shù)據(jù)存儲器返回的元數(shù)據(jù)存儲至所述本地緩存中。

其中，所述讀取請求至少包括所述目標文件序列中所有文件的索引，所述判斷所述客戶端的本地緩存是否存在所述目標文件的元數(shù)據(jù)，包括：

判斷所述客戶端的本地緩存是否存在所述目標文件的索引。

其中，還包括：

當所述元數(shù)據(jù)存儲器中文件的元數(shù)據(jù)發(fā)生變化時，根據(jù)所述文件的索引更新所述本地緩存中的元數(shù)據(jù)。

其中，還包括：