[發(fā)明專(zhuān)利]一種高性能元數(shù)據(jù)日志文件管理方法、系統(tǒng)、介質(zhì)及終端

在審

• 申請(qǐng)?zhí)枺?/td>: 202010843131.1
• 申請(qǐng)日: 2020-08-20
• 公開(kāi)（公告）號(hào): CN111984598A
• 公開(kāi)（公告）日: 2020-11-24
• 發(fā)明（設(shè)計(jì)）人: 劉勝金
• 申請(qǐng)（專(zhuān)利權(quán)）人: 重慶紫光華山智安科技有限公司
• 主分類(lèi)號(hào): G06F16/16
• 分類(lèi)號(hào): G06F16/16;G06F16/172;G06F16/18;G06F16/182
• 代理公司: 上海光華專(zhuān)利事務(wù)所(普通合伙) 31219
• 代理人: 代玲

1.一種高性能元數(shù)據(jù)日志文件管理方法，其特征在于，包括：

將數(shù)據(jù)與元數(shù)據(jù)設(shè)置于不同的文件系統(tǒng)；

記錄數(shù)據(jù)寫(xiě)入時(shí)所有修改過(guò)程中的操作，并將其作為第一級(jí)過(guò)程元數(shù)據(jù)日志文件；

對(duì)所述第一級(jí)過(guò)程元數(shù)據(jù)日志文件中記錄的過(guò)程進(jìn)行合并，獲取合并結(jié)果；

將所述合并結(jié)果進(jìn)行記錄，將其作為第二級(jí)結(jié)果元數(shù)據(jù)日志文件；

根據(jù)所述第一級(jí)過(guò)程元數(shù)據(jù)日志文件和第二級(jí)結(jié)果元數(shù)據(jù)日志文件進(jìn)行組合寫(xiě)入，完成元數(shù)據(jù)日志文件的加載合并操作。

2.根據(jù)權(quán)利要求1所述的高性能元數(shù)據(jù)日志文件管理方法，其特征在于，通過(guò)第一文件系統(tǒng)對(duì)元數(shù)據(jù)日志文件進(jìn)行管理，通過(guò)第二文件系統(tǒng)對(duì)數(shù)據(jù)文件進(jìn)行管理，所述第一文件系統(tǒng)包括XFS文件系統(tǒng)。

3.根據(jù)權(quán)利要求1所述的高性能元數(shù)據(jù)日志文件管理方法，其特征在于，對(duì)所述第一級(jí)元數(shù)據(jù)日志文件中記錄的過(guò)程進(jìn)行合并后，還包括：

檢查是否存在第二級(jí)結(jié)果元數(shù)據(jù)日志中間文件，如果存在，則判定合并過(guò)程未完成；如果存在，在判定合并過(guò)程完成。

4.根據(jù)權(quán)利要求3所述的高性能元數(shù)據(jù)日志文件管理方法，其特征在于，

當(dāng)判定合并過(guò)程未完成時(shí)，將原第二級(jí)結(jié)果元數(shù)據(jù)日志文件刪除，并將所述第二級(jí)結(jié)果元數(shù)據(jù)日志中間文件重命名為第二級(jí)結(jié)果元數(shù)據(jù)日志文件；

加載重命名后的第二級(jí)結(jié)果元數(shù)據(jù)日志文件，并對(duì)其進(jìn)行解析，加至內(nèi)存哈希表中；

加載第一級(jí)元數(shù)據(jù)日志中間文件，并對(duì)其進(jìn)行解析，獲取第二級(jí)結(jié)果元數(shù)據(jù)日志文件所在哈希表中的節(jié)點(diǎn)，

對(duì)節(jié)點(diǎn)信息進(jìn)行基本操作，所述基本操作包括數(shù)據(jù)節(jié)點(diǎn)信息的創(chuàng)建、修改和刪除；

將哈希表中的記錄轉(zhuǎn)換為基本數(shù)據(jù)寫(xiě)入第二級(jí)結(jié)果元數(shù)據(jù)日志中間文件中，完成第一級(jí)元數(shù)據(jù)日志中間文件的合并。

5.根據(jù)權(quán)利要求4所述的高性能元數(shù)據(jù)日志文件管理方法，其特征在于，刪除合并后的第一級(jí)元數(shù)據(jù)日志中間文件，以及原第二級(jí)結(jié)果元數(shù)據(jù)日志文件，并將第二級(jí)結(jié)果元數(shù)據(jù)日志中間文件重命名為第二級(jí)結(jié)果元數(shù)據(jù)日志文件。

6.根據(jù)權(quán)利要求4所述的高性能元數(shù)據(jù)日志文件管理方法，其特征在于，當(dāng)所述第一級(jí)過(guò)程元數(shù)據(jù)日志文件的大小達(dá)到預(yù)設(shè)的閾值時(shí)，將其重命名為一第一級(jí)元數(shù)據(jù)日志中間文件并重新打開(kāi)一新的第一級(jí)過(guò)程元數(shù)據(jù)日志文件。

7.根據(jù)權(quán)利要求1所述的高性能元數(shù)據(jù)日志文件管理方法，其特征在于，將磁盤(pán)劃分為至少兩個(gè)分區(qū)，其中一分區(qū)為用于存儲(chǔ)元數(shù)據(jù)文件的元數(shù)據(jù)分區(qū)，其他分區(qū)為用于存儲(chǔ)數(shù)據(jù)的數(shù)據(jù)分區(qū)，并將所述元數(shù)據(jù)分區(qū)格式化為XFS文件系統(tǒng)。

8.一種高性能元數(shù)據(jù)日志文件管理系統(tǒng)，其特征在于，包括：

磁盤(pán)管理單元，用于對(duì)磁盤(pán)的分區(qū)管理，將數(shù)據(jù)與元數(shù)據(jù)設(shè)置于不同的文件系統(tǒng)；

日志流程單元，用于記錄數(shù)據(jù)寫(xiě)入時(shí)所有修改過(guò)程中的操作，并將其作為第一級(jí)過(guò)程元數(shù)據(jù)日志文件；對(duì)所述第一級(jí)過(guò)程元數(shù)據(jù)日志文件中記錄的過(guò)程進(jìn)行合并，獲取合并結(jié)果；將所述合并結(jié)果進(jìn)行記錄，將其作為第二級(jí)結(jié)果元數(shù)據(jù)日志文件；

日志控制單元，用于根據(jù)所述第一級(jí)過(guò)程元數(shù)據(jù)日志文件和第二級(jí)結(jié)果元數(shù)據(jù)日志文件進(jìn)行組合寫(xiě)入，完成元數(shù)據(jù)日志文件的加載合并操作。

9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于：該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至8中任一項(xiàng)所述方法。

10.一種電子終端，其特征在于，包括：處理器及存儲(chǔ)器；

所述存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序，所述處理器用于執(zhí)行所述存儲(chǔ)器存儲(chǔ)的計(jì)算機(jī)程序，以使所述終端執(zhí)行如權(quán)利要求1至8中任一項(xiàng)所述方法。