[發(fā)明專利]一種分布式文件系統(tǒng)的文件管理方法及裝置

有效

• 申請?zhí)枺?/td>: 202010087305.6
• 申請日: 2020-02-11
• 公開（公告）號: CN111309677B
• 公開（公告）日: 2023-05-23
• 發(fā)明（設(shè)計(jì)）人: 宋江波
• 申請（專利權(quán)）人: 西安奧卡云數(shù)據(jù)科技有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/16;G06F16/182
• 代理公司: 西安維賽恩專利代理事務(wù)所(普通合伙) 61257
• 代理人: 李明全

本發(fā)明公開了一種分布式文件系統(tǒng)的文件管理方法及裝置，獲取文件創(chuàng)建時(shí)刻的文件序號、時(shí)間戳以及文件的存儲節(jié)點(diǎn)序號；其中，文件序號為該文件創(chuàng)建時(shí)刻在分布式文件系統(tǒng)中所有創(chuàng)建的文件中的排序號碼；將文件序號、時(shí)間戳以及文件的存儲節(jié)點(diǎn)序號串聯(lián)，組成文件在分布式文件系統(tǒng)中的唯一標(biāo)識；根據(jù)文件的唯一標(biāo)識生成文件的存儲路徑；根據(jù)文件的存儲路徑進(jìn)行文件的創(chuàng)建、讀寫和刪除操作；本發(fā)明通過使用文件創(chuàng)建時(shí)刻的序號、時(shí)間戳和存儲節(jié)點(diǎn)的序號生成該文件在分布式文件系統(tǒng)中的唯一標(biāo)識，并根據(jù)該唯一標(biāo)識生成該文件的存儲路徑，再結(jié)合在各個(gè)存儲節(jié)點(diǎn)本地文件目錄樹，可以有效提高元數(shù)據(jù)文件和數(shù)據(jù)文件的訪問性能，節(jié)省訪問時(shí)間。

【技術(shù)領(lǐng)域】

本發(fā)明屬于分布式文件系統(tǒng)的存儲策略技術(shù)領(lǐng)域，尤其涉及一種分布式文件系統(tǒng)的文件管理方法及裝置。

【背景技術(shù)】

當(dāng)今是數(shù)字化時(shí)代，大數(shù)據(jù)帶來的信息風(fēng)暴，產(chǎn)生的數(shù)據(jù)的存儲是當(dāng)今需要重點(diǎn)解決的問題之一，現(xiàn)如今有各種分布式文件系統(tǒng)，如GFS、TFS和lustre文件系統(tǒng)都是為了解決海量數(shù)據(jù)的存儲。

在現(xiàn)有的文件系統(tǒng)中，為了實(shí)現(xiàn)數(shù)據(jù)的存儲會產(chǎn)生大量的元數(shù)據(jù)，并且在數(shù)據(jù)存儲過程中，元數(shù)據(jù)同時(shí)被存儲，當(dāng)文件系統(tǒng)中的存儲數(shù)據(jù)和元數(shù)據(jù)越來越多時(shí)，文件系統(tǒng)的運(yùn)行效率會越來越低。

【發(fā)明內(nèi)容】

本發(fā)明的目的是提供一種分布式文件系統(tǒng)的文件管理方法及裝置，采用簡潔的數(shù)據(jù)存儲策略進(jìn)行數(shù)據(jù)存儲，以提高文件系統(tǒng)的存儲和讀取效率，進(jìn)而提高數(shù)據(jù)訪問能力。

本發(fā)明采用以下技術(shù)方案：一種分布式文件系統(tǒng)的文件管理方法，包括：

獲取文件創(chuàng)建時(shí)刻的文件序號、時(shí)間戳以及文件的存儲節(jié)點(diǎn)序號；其中，文件序號為該文件創(chuàng)建時(shí)刻在分布式文件系統(tǒng)中所有創(chuàng)建的文件中的排序號碼；

將文件序號、時(shí)間戳以及文件的存儲節(jié)點(diǎn)序號串聯(lián)，組成文件在分布式文件系統(tǒng)中的唯一標(biāo)識；

根據(jù)文件的唯一標(biāo)識生成文件的存儲路徑；

根據(jù)文件的存儲路徑進(jìn)行文件的創(chuàng)建、讀寫和刪除操作。

進(jìn)一步地，根據(jù)文件的唯一標(biāo)識生成文件的存儲路徑包括：

當(dāng)文件為元數(shù)據(jù)文件時(shí)，以唯一標(biāo)識為輸入信息，利用哈希算法生成元數(shù)據(jù)文件的存儲路徑。

進(jìn)一步地，當(dāng)文件為元數(shù)據(jù)目錄時(shí)，創(chuàng)建該元數(shù)據(jù)目錄包括：

獲取該元數(shù)據(jù)目錄的父目錄的所有目錄項(xiàng)；

檢索父目錄的所有目錄項(xiàng)中是否存在該元數(shù)據(jù)目錄：

響應(yīng)于父目錄的所有目錄項(xiàng)中存在該元數(shù)據(jù)目錄，結(jié)束該元數(shù)據(jù)目錄的創(chuàng)建；

響應(yīng)于父目錄的所有目錄項(xiàng)中不存在該元數(shù)據(jù)目錄，創(chuàng)建該元數(shù)據(jù)目錄文件，獲取對應(yīng)的時(shí)間戳、該元數(shù)據(jù)的文件序號以及存儲節(jié)點(diǎn)序號，并組合成該元數(shù)據(jù)目錄的唯一標(biāo)識；

根據(jù)該元數(shù)據(jù)目錄的唯一標(biāo)識生成其在存儲節(jié)點(diǎn)序號對應(yīng)的存儲節(jié)點(diǎn)上的存儲路徑，并在存儲路徑的指向位置創(chuàng)建以該元數(shù)據(jù)目錄唯一標(biāo)識命名的元數(shù)據(jù)目錄文件。

進(jìn)一步地，獲取存儲節(jié)點(diǎn)序號包括：

獲取所有文件存儲節(jié)點(diǎn)的空閑空間信息；

選擇空閑空間最大的文件存儲節(jié)點(diǎn)，提取該文件存儲節(jié)點(diǎn)的序號。

進(jìn)一步地，當(dāng)文件為元數(shù)據(jù)目錄項(xiàng)文件時(shí)，創(chuàng)建該元數(shù)據(jù)目錄項(xiàng)文件包括：

獲取元數(shù)據(jù)目錄項(xiàng)文件的父目錄的元數(shù)據(jù)目錄；

讀取元數(shù)據(jù)目錄的唯一標(biāo)識以及其存儲節(jié)點(diǎn)序號；

根據(jù)唯一標(biāo)識生成元數(shù)據(jù)目錄在對應(yīng)的存儲節(jié)點(diǎn)上的存儲路徑；