[發(fā)明專利]一種基于日志合并的分布式文件系統(tǒng)索引方法和裝置

有效

• 申請?zhí)枺?/td>: 201810718623.0
• 申請日: 2018-07-02
• 公開（公告）號: CN108984686B
• 公開（公告）日: 2021-03-30
• 發(fā)明（設(shè)計）人: 張曉宇;雷達;吳曉晨;李昀;鄭寄平
• 申請（專利權(quán)）人: 中國電子科技集團公司第五十二研究所
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/182;G06F16/18
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 楊天嬌

本發(fā)明公開了一種基于日志合并的分布式文件系統(tǒng)索引方法和裝置，通過分布式文件系統(tǒng)的元數(shù)據(jù)服務(wù)器，在日志合并時，構(gòu)建文件操作元數(shù)據(jù)信息并寫入存儲單元，然后讀取并解析存儲單元中的操作元數(shù)據(jù)信息，最后執(zhí)行文件索引操作，建立對應(yīng)索引，刪除已處理對象。本發(fā)明可以解決索引遺漏，客戶端兼容性差、無法增量構(gòu)建文件索引以及構(gòu)建耗時長，效率較低的問題。

技術(shù)領(lǐng)域

本發(fā)明屬于文件存儲與處理技術(shù)領(lǐng)域，尤其涉及一種基于日志合并的分布式文件系統(tǒng)索引方法和裝置。

背景技術(shù)

隨著互聯(lián)網(wǎng)、云計算、大數(shù)據(jù)、人工智能的快速發(fā)展，據(jù)互聯(lián)網(wǎng)數(shù)據(jù)中心(IDC)市場調(diào)研機構(gòu)預(yù)計，全球數(shù)據(jù)總量將會以每年50％左右的速度增長，到2020年，全球數(shù)據(jù)總量將達到40ZB(1ZB＝10億TB)。在這些數(shù)據(jù)中，只有約15％的數(shù)據(jù)會被經(jīng)常訪問，絕大部分數(shù)據(jù)都會在產(chǎn)生之后逐漸變冷。雖然這些“冷數(shù)據(jù)”的訪問率很低，但還是需要保留這些數(shù)據(jù)，且對于企業(yè)而言，還有大量數(shù)據(jù)需要存儲及檢索。

日志文件系統(tǒng)(Journaling File System)是一個具有故障恢復(fù)能力的文件系統(tǒng)，其利用日志來記錄尚未提交到文件系統(tǒng)的修改，以防止元數(shù)據(jù)被破壞。相對于非日志文件系統(tǒng)，大大提高了文件系統(tǒng)的穩(wěn)定性，在系統(tǒng)崩潰或斷電時增加了可靠性，縮短了恢復(fù)時間，保證了文件操作的原子性。

目前，對文件建立檢索的方式主要分為在客戶端和服務(wù)端建立索引，在客戶端建立索引需要考慮各種客戶端的類型，兼容性較差。在服務(wù)端建立索引主要有以下幾種方法：

通過監(jiān)聽文件系統(tǒng)掛載文件夾的操作，來建立對應(yīng)索引；

通過遍歷指定掛載文件夾下的文件，來建立文件索引；

上述技術(shù)方法存在的問題是，在第一種方法中，有些操作無法監(jiān)聽到，如移動操作(mv)，所以此種方法會遺漏一些文件的索引。第二種方法需要遍歷文件夾下的所有子文件夾和文件，無法進行增量構(gòu)建，且當文件數(shù)量很大時，遍歷過程耗時很長，效率較低。

此外，日志文件系統(tǒng)的日志中記錄了與文件相關(guān)的每一個操作，如果基于沒有日志合并功能的文件系統(tǒng)去構(gòu)建索引，則需要解析每一個操作，也會導(dǎo)致索引建立效率較低。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于日志合并的分布式文件系統(tǒng)索引方法和裝置，以解決索引遺漏，客戶端兼容性差、無法增量構(gòu)建文件索引以及構(gòu)建耗時長，效率較低的問題。

為實現(xiàn)上述目的，本發(fā)明所采用的技術(shù)方案為：

一種基于日志合并的分布式文件系統(tǒng)索引方法，所述基于日志合并的分布式文件系統(tǒng)索引方法，包括：

步驟一、在文件操作發(fā)生時，記錄文件操作信息，并寫入日志，所述文件操作信息包括文件操作的類型和文件操作的發(fā)生時間，并且在文件操作的類型為移動操作時，在記錄完文件操作信息并寫入日志后，立即構(gòu)建文件操作元數(shù)據(jù)信息；

步驟二、在滿足觸發(fā)條件下，執(zhí)行日志合并操作；

步驟三、針對日志合并操作中被修改過的文件，當發(fā)生的文件操作的類型為創(chuàng)建/刪除操作時，構(gòu)建文件操作元數(shù)據(jù)信息，并寫入信息存儲單元；當發(fā)生的文件操作的類型為移動操作時，將已經(jīng)構(gòu)建的文件操作元數(shù)據(jù)信息寫入信息存儲單元；

步驟四、讀取信息存儲單元中的文件操作元數(shù)據(jù)信息；

步驟五、對讀取到的文件操作元數(shù)據(jù)信息進行解析，根據(jù)解析后所得的文件操作的類型，執(zhí)行相應(yīng)的文件索引操作；

步驟六、待所有文件索引操作執(zhí)行完成后，刪除信息存儲單元中的已處理對象。

進一步地，所述記錄文件操作信息，包括：

通過在被操作的文件的目錄項結(jié)構(gòu)中增加字段分別記錄文件操作的類型、文件操作的發(fā)生時間以及刪除操作時被刪除文件的索引節(jié)點；