[發(fā)明專利]一種對(duì)存儲(chǔ)卷的管理系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010145511.8
• 申請(qǐng)日: 2020-03-05
• 公開(kāi)（公告）號(hào): CN111488321A
• 公開(kāi)（公告）日: 2020-08-04
• 發(fā)明（設(shè)計(jì)）人: 郭彥輝
• 申請(qǐng)（專利權(quán)）人: 北京聯(lián)創(chuàng)信安科技股份有限公司
• 主分類號(hào): G06F16/182
• 分類號(hào): G06F16/182;G06F9/455
• 代理公司: 北京安博達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11271
• 代理人: 徐國(guó)文

1.一種對(duì)存儲(chǔ)卷的管理系統(tǒng)，其特征在于，包括：

多個(gè)節(jié)點(diǎn)、數(shù)據(jù)庫(kù)和接口層；

每個(gè)節(jié)點(diǎn)包括多個(gè)磁盤、至少1個(gè)文件系統(tǒng)和節(jié)點(diǎn)文件管控系統(tǒng)；其中文件系統(tǒng)由所述節(jié)點(diǎn)中的多個(gè)磁盤虛擬化得到，所述文件系統(tǒng)中包括存儲(chǔ)卷，所述存儲(chǔ)卷用于存儲(chǔ)用戶構(gòu)建的文件，所述節(jié)點(diǎn)文件管控系統(tǒng)用于監(jiān)控并采集所述節(jié)點(diǎn)上文件系統(tǒng)中文件的元數(shù)據(jù)；

所述數(shù)據(jù)庫(kù)，用于將各文件系統(tǒng)中文件的元數(shù)據(jù)進(jìn)行存儲(chǔ)；

所述接口層，用于基于用戶要求的服務(wù)對(duì)數(shù)據(jù)庫(kù)的元數(shù)據(jù)進(jìn)行管理。

2.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述節(jié)點(diǎn)文件管控系統(tǒng)包括：監(jiān)控模塊和采集模塊；

所述監(jiān)控模塊，用于通過(guò)對(duì)接所述節(jié)點(diǎn)上操作系統(tǒng)內(nèi)核中的監(jiān)控文件系統(tǒng)組件來(lái)監(jiān)控每個(gè)節(jié)點(diǎn)中的文件系統(tǒng)是否被操作，并將所述操作以事件的方式插入到events事件列表中，同時(shí)基于events事件列表生成所述文件系統(tǒng)的事件通知，并基于所述事件通知生成所述文件系統(tǒng)的事件告警任務(wù)，所述監(jiān)控模塊還用于將所述事件告警任務(wù)發(fā)送到采集模塊；

所述采集模塊，用于基于所述事件告警任務(wù)采集相應(yīng)文件系統(tǒng)的元數(shù)據(jù)并將采集結(jié)果存儲(chǔ)到數(shù)據(jù)庫(kù)中；

其中，文件系統(tǒng)被操作包括文件系統(tǒng)中文件的創(chuàng)建、刪除、讀、寫(xiě)以及移動(dòng)操作；所述事件包括文件的創(chuàng)建、刪除、讀、寫(xiě)和/或移動(dòng)。

3.如權(quán)利要求2所述的系統(tǒng)，其特征在于，所述采集模塊包括：

消息中間件，任務(wù)執(zhí)行單元和任務(wù)執(zhí)行結(jié)果單元；

所述消息中間件，用于提供存放事件告警任務(wù)的任務(wù)調(diào)度隊(duì)列；

所述任務(wù)執(zhí)行單元，用于基于任務(wù)調(diào)度隊(duì)列中的事件告警任務(wù)采集文件系統(tǒng)的元數(shù)據(jù)并將采集結(jié)果存儲(chǔ)到數(shù)據(jù)庫(kù)中；

所述任務(wù)執(zhí)行結(jié)果單元，用于存儲(chǔ)任務(wù)執(zhí)行單元的執(zhí)行結(jié)果。

4.如權(quán)利要求3所述的系統(tǒng)，其特征在于，所述任務(wù)執(zhí)行單元，包括：

任務(wù)調(diào)度子單元、多個(gè)元數(shù)據(jù)采集子單元和數(shù)據(jù)存儲(chǔ)子單元；

所述任務(wù)調(diào)度子單元，用于從消息中間件中獲取事件告警任務(wù)，并調(diào)度元數(shù)據(jù)采集子單元執(zhí)行所述事件告警任務(wù)；

所述元數(shù)據(jù)采集子單元，用于基于任務(wù)調(diào)度子單元分配的任務(wù)采集文件系統(tǒng)的元數(shù)據(jù)，并將所述文件系統(tǒng)的元數(shù)據(jù)發(fā)送給數(shù)據(jù)存儲(chǔ)子單元；

所述數(shù)據(jù)存儲(chǔ)子單元，用于將元數(shù)據(jù)采集子單元的采集結(jié)果存儲(chǔ)到數(shù)據(jù)庫(kù)中；

所述文件系統(tǒng)的元數(shù)據(jù)包括文件的名稱、類型、路徑、大小、所在卷、所在節(jié)點(diǎn)、所在文件系統(tǒng)、創(chuàng)建時(shí)間和修改時(shí)間。

5.如權(quán)利要求3所述的系統(tǒng)，其特征在于，所述任務(wù)調(diào)度子單元，還用于在調(diào)度元數(shù)據(jù)采集子單元之前，通過(guò)判斷各元數(shù)據(jù)采集子單元的繁忙程度及執(zhí)行任務(wù)次數(shù)確定調(diào)度的元數(shù)據(jù)采集子單元。

6.如權(quán)利要求4所述的系統(tǒng)，其特征在于，所述接口層包括：統(tǒng)計(jì)單元、檢索單元和數(shù)據(jù)治愈單元；

所述統(tǒng)計(jì)單元，用于在數(shù)據(jù)庫(kù)中統(tǒng)計(jì)文件類型、文件數(shù)量和文件分布；

所述檢索單元，用于根據(jù)文件的名稱、類型、路徑、大小、卷、節(jié)點(diǎn)、文件系統(tǒng)、創(chuàng)建時(shí)間和/或修改時(shí)間在數(shù)據(jù)庫(kù)中進(jìn)行檢索；

所述數(shù)據(jù)治愈單元，用于當(dāng)節(jié)點(diǎn)上有文件損壞需要治愈時(shí)，先根據(jù)文件名稱、類型、路徑、所在卷確定所述損壞文件的正本與副本，其次根據(jù)損壞文件的創(chuàng)建時(shí)間、修改時(shí)間和大小選擇恢復(fù)依據(jù)，然后根據(jù)損壞文件的創(chuàng)建時(shí)間新舊、修改時(shí)間新舊和大小選擇策略，最后通過(guò)rsync工具將損壞文件恢復(fù)。

7.如權(quán)利要求6所述的系統(tǒng)，其特征在于，所述統(tǒng)計(jì)單元，包括：

文件類型統(tǒng)計(jì)子單元，用于在數(shù)據(jù)庫(kù)中基于類型字段，調(diào)用aggregate方法進(jìn)行聚類，統(tǒng)計(jì)出元數(shù)據(jù)中所有類型文件的個(gè)數(shù)；

文件數(shù)量統(tǒng)計(jì)子單元，用于檢索數(shù)據(jù)庫(kù)中所有文件元數(shù)據(jù)，進(jìn)行count算法統(tǒng)計(jì)出所有文件數(shù)量；

文件分布統(tǒng)計(jì)子單元，用于在數(shù)據(jù)庫(kù)中分別根據(jù)文件所在節(jié)點(diǎn)字段、所在卷字段、所在文件字段，調(diào)用aggregate方法進(jìn)行聚類，統(tǒng)計(jì)出節(jié)點(diǎn)下所有的文件數(shù)量、卷中文件的數(shù)量、文件系統(tǒng)中文件的數(shù)量及分布式文件系統(tǒng)中正副本的位置。