[發(fā)明專利]一種高性能元數(shù)據(jù)日志文件管理方法、系統(tǒng)、介質(zhì)及終端

在審

• 申請?zhí)枺?/td>: 202010843131.1
• 申請日: 2020-08-20
• 公開（公告）號: CN111984598A
• 公開（公告）日: 2020-11-24
• 發(fā)明（設計）人: 劉勝金
• 申請（專利權）人: 重慶紫光華山智安科技有限公司
• 主分類號: G06F16/16
• 分類號: G06F16/16;G06F16/172;G06F16/18;G06F16/182
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 代玲

本發(fā)明提供一種高性能元數(shù)據(jù)日志文件管理方法、系統(tǒng)、介質(zhì)及終端，方法包括將數(shù)據(jù)與元數(shù)據(jù)設置于不同的文件系統(tǒng)；記錄數(shù)據(jù)寫入時所有修改過程中的操作，并將其作為第一級過程元數(shù)據(jù)日志文件；對所述第一級過程元數(shù)據(jù)日志文件中記錄的過程進行合并，獲取合并結果；將所述合并結果進行記錄，將其作為第二級結果元數(shù)據(jù)日志文件；根據(jù)所述第一級過程元數(shù)據(jù)日志文件和第二級結果元數(shù)據(jù)日志文件進行組合寫入，完成元數(shù)據(jù)日志文件的加載合并操作；本發(fā)明一方面，增加數(shù)據(jù)寫入的性能，滿足在大壓力場景下的業(yè)務需求，確保元數(shù)據(jù)信息不會丟失，簡化了元數(shù)據(jù)的管理流程；另一方面，加快了元數(shù)據(jù)信息的讀寫性能，克服了由元數(shù)據(jù)信息記錄帶來的性能消耗問題。

技術領域

本發(fā)明涉及計算機領域，尤其涉及一種高性能元數(shù)據(jù)日志文件管理方法、系統(tǒng)、介質(zhì)及終端。

背景技術

在分布式存儲中，數(shù)據(jù)與元數(shù)據(jù)信息除了有元數(shù)據(jù)管理節(jié)點的管理之外還需要將元數(shù)據(jù)信息記錄在各數(shù)據(jù)節(jié)點中，元數(shù)據(jù)信息即是包含了數(shù)據(jù)文件在存儲節(jié)點中的位置，大小，時間等信息，通過元數(shù)據(jù)信息可以準確尋址到數(shù)據(jù)文件信息。因此，元數(shù)據(jù)的管理對于存儲尤為重要。

目前，元數(shù)據(jù)與數(shù)據(jù)通常采用一個文件系統(tǒng)的方式，這樣的方式對于文件系統(tǒng)存在很高的IO壓力，文件系統(tǒng)一方面管理大量的數(shù)據(jù)文件，一方面管理著元數(shù)據(jù)文件，這兩種文件在業(yè)務層面來說是不同管理方式，數(shù)據(jù)文件訪問頻率低，修改頻率低，而元數(shù)據(jù)日志文件則相反，訪問頻率高，修改頻率高，因此，需要一種新的元數(shù)據(jù)管理方式，在保證整個存儲系統(tǒng)的讀寫性能的基礎上，增加對元數(shù)據(jù)文件的處理效率。

發(fā)明內(nèi)容

鑒于以上所述現(xiàn)有技術的缺點，本發(fā)明提供一種高性能元數(shù)據(jù)日志文件管理方法、系統(tǒng)、介質(zhì)及終端，以解決上述技術問題。

本發(fā)明提供的高性能元數(shù)據(jù)日志文件管理方法，包括：

將數(shù)據(jù)與元數(shù)據(jù)設置于不同的文件系統(tǒng)；

記錄數(shù)據(jù)寫入時所有修改過程中的操作，并將其作為第一級過程元數(shù)據(jù)日志文件；

對所述第一級過程元數(shù)據(jù)日志文件中記錄的過程進行合并，獲取合并結果；

將所述合并結果進行記錄，將其作為第二級結果元數(shù)據(jù)日志文件；

根據(jù)所述第一級過程元數(shù)據(jù)日志文件和第二級結果元數(shù)據(jù)日志文件進行組合寫入，完成元數(shù)據(jù)日志文件的加載合并操作。

可選的，通過第一文件系統(tǒng)對元數(shù)據(jù)日志文件進行管理，通過第二文件系統(tǒng)對數(shù)據(jù)文件進行管理，所述第一文件系統(tǒng)包括XFS文件系統(tǒng)。

可選的，對所述第一級元數(shù)據(jù)日志文件中記錄的過程進行合并后，還包括：

檢查是否存在第二級結果元數(shù)據(jù)日志中間文件，如果存在，則判定合并過程未完成；如果存在，在判定合并過程完成。

可選的，當判定合并過程未完成時，將原第二級結果元數(shù)據(jù)日志文件刪除，并將所述第二級結果元數(shù)據(jù)日志中間文件重命名為第二級結果元數(shù)據(jù)日志文件；

加載重命名后的第二級結果元數(shù)據(jù)日志文件，并對其進行解析，加至內(nèi)存哈希表中；

加載第一級元數(shù)據(jù)日志中間文件，并對其進行解析，獲取第二級結果元數(shù)據(jù)日志文件所在哈希表中的節(jié)點，

對節(jié)點信息進行基本操作，所述基本操作包括數(shù)據(jù)節(jié)點信息的創(chuàng)建、修改和刪除；

將哈希表中的記錄轉換為基本數(shù)據(jù)寫入第二級結果元數(shù)據(jù)日志中間文件中，完成第一級元數(shù)據(jù)日志中間文件的合并。

可選的，刪除合并后的第一級元數(shù)據(jù)日志中間文件，以及原第二級結果元數(shù)據(jù)日志文件，并將第二級結果元數(shù)據(jù)日志中間文件重命名為第二級結果元數(shù)據(jù)日志文件。