[發(fā)明專利]一種基于本地文件系統(tǒng)的小文件讀寫方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201710742715.8
• 申請(qǐng)日: 2017-08-25
• 公開（公告）號(hào): CN107506447A
• 公開（公告）日: 2017-12-22
• 發(fā)明（設(shè)計(jì)）人: 劉相樂(lè)
• 申請(qǐng)（專利權(quán)）人: 鄭州云海信息技術(shù)有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06F3/06
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司11227
• 代理人: 羅滿

技術(shù)領(lǐng)域

本發(fā)明涉及文件系統(tǒng)領(lǐng)域，特別是涉及一種基于本地文件系統(tǒng)的小文件讀寫方法。本發(fā)明還涉及一種基于本地文件系統(tǒng)的小文件讀寫系統(tǒng)。

背景技術(shù)

隨著技術(shù)的發(fā)展和存儲(chǔ)性能的提高，存儲(chǔ)的數(shù)據(jù)越來(lái)越多樣化，存儲(chǔ)的應(yīng)用場(chǎng)景也越來(lái)越廣泛，其中一種就是以海量小文件為主的應(yīng)用場(chǎng)景。針對(duì)這種應(yīng)用場(chǎng)景，使用較廣泛的存儲(chǔ)方式是多節(jié)點(diǎn)的分布式存儲(chǔ)。然而分布式存儲(chǔ)并不是在所有的情況下都可以使用，而且成本相對(duì)較高。因此，在傳統(tǒng)的統(tǒng)一存儲(chǔ)當(dāng)中也有以海量小文件為主的應(yīng)用場(chǎng)景。

傳統(tǒng)的統(tǒng)一存儲(chǔ)中使用的都是單節(jié)點(diǎn)的本地文件系統(tǒng)比如XFS(Extensions for FinancialServices，金融服務(wù)擴(kuò)展)、Ext4(Fourth Extended Filesystem，第四代擴(kuò)展文件系統(tǒng))等，在以海量小文件為主的應(yīng)用場(chǎng)景中，對(duì)每個(gè)小文件進(jìn)行操作時(shí)都需要從磁盤讀取相應(yīng)的數(shù)據(jù)，顯然，由于各個(gè)小文件在磁盤中存儲(chǔ)的位置不同，對(duì)數(shù)量較多的不同小文件進(jìn)行操作時(shí)則需要頻繁的換道讀取數(shù)據(jù)，磁盤上的尋道時(shí)間損耗較多，從而大幅降低了本地文件系統(tǒng)對(duì)小文件進(jìn)行操作的效率。

因此，如何提供一種解決上述技術(shù)問(wèn)題的方案是本領(lǐng)域技術(shù)人員目前需要解決的問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于本地文件系統(tǒng)的小文件讀寫方法，讀寫過(guò)程中磁盤上的時(shí)間損耗較少；本發(fā)明的另一目的是提供一種基于本地文件系統(tǒng)的小文件讀寫系統(tǒng)，對(duì)小文件的讀寫效率較高。

為解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種基于本地文件系統(tǒng)的小文件讀寫方法，包括：

將本地文件系統(tǒng)中屬于同一目錄的小文件聚合成N個(gè)大文件，N為正整數(shù)；

為每個(gè)所述目錄生成一一對(duì)應(yīng)的索引文件，所述索引文件包括所述目錄中所有小文件的名稱、小文件所在的大文件的名稱及小文件在大文件中的位置；

接收包括小文件的路徑名的小文件操作指令，根據(jù)所述小文件操作指令確定與所述小文件所屬的目錄對(duì)應(yīng)的索引文件，所述操作包括讀和/或?qū)懀?/p>

根據(jù)確定的所述索引文件將所述小文件操作指令的路徑名中的小文件的名稱和位置修改為所述小文件所在的大文件的名稱及所述小文件在大文件中的位置；

根據(jù)修改后的指令對(duì)所述小文件所在的大文件執(zhí)行相應(yīng)的操作，以實(shí)現(xiàn)對(duì)所述小文件的操作。

優(yōu)選地，所述將本地文件系統(tǒng)中屬于同一目錄的小文件聚合成N個(gè)大文件的過(guò)程具體為：

將本地文件系統(tǒng)中屬于同一目錄的小文件聚合成第一大文件，直至所述第一大文件的大小達(dá)到預(yù)設(shè)的第一閾值；

當(dāng)所述第一大文件的大小達(dá)到所述預(yù)設(shè)的第一閾值時(shí)，判斷是否還有屬于所述目錄的小文件不在所述第一大文件中，如果是，將不在所述第一大文件中的屬于所述目錄的小文件聚合成下一個(gè)大文件，直至屬于所述目錄的所有小文件聚合完畢，其中，每個(gè)大文件的大小不超過(guò)所述預(yù)設(shè)的第一閾值。

優(yōu)選地，當(dāng)要進(jìn)行操作的所述小文件所屬的目錄中沒(méi)有大文件時(shí)，所述根據(jù)所述小文件操作指令確定與所述小文件所屬的目錄對(duì)應(yīng)的索引文件的過(guò)程具體為：

在所述小文件所屬的目錄中創(chuàng)建一個(gè)大文件，將所述小文件聚合在創(chuàng)建的所述大文件中，并根據(jù)所述小文件的名稱、創(chuàng)建的所述大文件的名稱及所述小文件在創(chuàng)建的所述大文件中的位置創(chuàng)建與所述小文件所屬的目錄一一對(duì)應(yīng)的索引文件。

優(yōu)選地，當(dāng)要進(jìn)行操作的所述小文件所屬的目錄中有大文件時(shí)，所述根據(jù)所述小文件操作指令確定與所述小文件所屬的目錄對(duì)應(yīng)的索引文件的過(guò)程具體為：

判斷所述小文件是否為新建的文件；

如果是，則判斷所述小文件所屬的目錄中最后一個(gè)大文件是否未達(dá)到預(yù)設(shè)的第一閾值，如果否，將所述小文件聚合在所述最后一個(gè)大文件中，并將所述小文件的名稱、最后一個(gè)所述大文件的名稱及所述小文件在最后一個(gè)所述大文件中的位置更新至與所述小文件所屬的目錄對(duì)應(yīng)的索引文件；如果是，在所述小文件所屬的目錄中新建一個(gè)大文件將所述小文件聚合在新建的所述大文件中，并將所述小文件的名稱、新建的所述大文件的名稱及所述小文件在新建的所述大文件中的位置更新至與所述小文件所屬的目錄對(duì)應(yīng)的索引文件；

如果否，則判斷本次操作是否需要為所述小文件分配新的空間，如果是，確定分配新的空間后的小文件在所述小文件所在的大文件中新的位置，并將所述新的位置更新至與所述小文件所屬的目錄對(duì)應(yīng)的索引文件；如果否，在所述本地文件系統(tǒng)當(dāng)前的索引文件中得到與所述小文件所屬的目錄對(duì)應(yīng)的索引文件。