[發(fā)明專利]基于salt的海量mongodb慢日志管理系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201710324787.0
• 申請日: 2017-05-10
• 公開（公告）號: CN107220304B
• 公開（公告）日: 2018-05-01
• 發(fā)明（設(shè)計(jì)）人: 顧偉濤
• 申請（專利權(quán)）人: 杭州銘師堂教育科技發(fā)展有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 杭州求是專利事務(wù)所有限公司33200
• 代理人: 劉靜,邱啟旺

技術(shù)領(lǐng)域

本發(fā)明屬于mongodb數(shù)據(jù)庫慢日志管理和性能調(diào)優(yōu)領(lǐng)域，主要應(yīng)用于互聯(lián)網(wǎng)行業(yè)海量存儲和性能調(diào)優(yōu)場景。

背景技術(shù)

隨著互聯(lián)網(wǎng)行業(yè)蓬勃發(fā)展，業(yè)務(wù)對數(shù)據(jù)庫的需求更加多樣化，其中，mongodb數(shù)據(jù)庫作為非關(guān)系型數(shù)據(jù)庫，在生產(chǎn)環(huán)境應(yīng)用越來越廣泛。對于大規(guī)模mongodb集群，管理海量的慢日志顯得越來越重要。

現(xiàn)有的管理慢日志系統(tǒng)的缺點(diǎn)：

(1)維護(hù)成本高：需要較多的人工維護(hù)mongodb日志管理工作，效率低下。

(2)功能簡單：無法解析mongodb慢日志和展示慢日志，無法查看歷史信息。

(3)缺乏自動化：自動化程度低下，需要大量的人力操作。

發(fā)明內(nèi)容

本發(fā)明的目的在于針對現(xiàn)有技術(shù)的不足，提供一種基于salt的海量mongodb慢日志管理系統(tǒng)，可以管理大規(guī)模mongodb慢日志，并且可以解析慢日志，為性能調(diào)優(yōu)提供參考依據(jù)。

本發(fā)明的目的是通過以下技術(shù)方案來實(shí)現(xiàn)的：一種基于salt的海量mongodb慢日志管理系統(tǒng)，包括salt管理端、mongodb節(jié)點(diǎn)和分布式存儲；

salt管理端是管理salt客戶端的服務(wù)器，用于注冊和注銷salt客戶端，發(fā)送指令到salt客戶端；salt管理端包括salt管理模塊、元信息管理模塊、采集慢日志模塊和解析慢日志模塊；

mongodb節(jié)點(diǎn)是部署mongodb服務(wù)的服務(wù)器，每個mongodb節(jié)點(diǎn)均需要部署salt客戶端；salt客戶端接收salt管理端的指令，完成相應(yīng)的操作，返回結(jié)果給salt管理端；mongodb節(jié)點(diǎn)包括慢日志管理模塊；

分布式存儲是指存儲海量小文件的分布式文件系統(tǒng)，包括存儲慢日志模塊。

進(jìn)一步地，所述salt管理模塊包括：

在所有mongodb節(jié)點(diǎn)部署salt客戶端，salt管理端部署在單獨(dú)的一臺服務(wù)器上。該模塊定期調(diào)用salt管理端接口，檢查所有的mongodb節(jié)點(diǎn)上的salt客戶端是否注冊到salt管理端，如未注冊，調(diào)用salt管理端接口，注冊所述salt客戶端；如注冊失敗，則發(fā)送通知給管理員。可選擇注銷某個mongodb節(jié)點(diǎn)的salt客戶端。所有的mongodb節(jié)點(diǎn)對應(yīng)的salt客戶端全部注冊到salt管理端后，salt管理端就可以發(fā)送指令和文件給salt客戶端，完成特定的操作。在salt管理端，定期檢測salt客戶端是否通達(dá)，如不通，發(fā)送通知給管理員。

進(jìn)一步地，所述元信息管理模塊包括：

salt管理端定期調(diào)用元信息管理模塊，及時獲取最新的元信息。所述元信息包括mongodb節(jié)點(diǎn)主機(jī)名、mongodb節(jié)點(diǎn)IP、mongodb端口和mongodb慢日志文件名。

首先，salt管理端獲取所有的mongodb節(jié)點(diǎn)主機(jī)名；然后，針對每個mongodb節(jié)點(diǎn)，salt管理端通過發(fā)送指令給salt客戶端，獲取每個mongodb節(jié)點(diǎn)上所有的mongodb進(jìn)程信息，通過mongodb進(jìn)程信息，可以解析得到mongodb配置文件名，通過所述mongodb配置文件名，可以獲取mongodb端口和mongodb慢日志文件名。同時，根據(jù)mongodb節(jié)點(diǎn)主機(jī)名獲取到mongodb節(jié)點(diǎn)IP。所述mongodb節(jié)點(diǎn)主機(jī)名、mongodb節(jié)點(diǎn)IP、mongodb端口和mongodb慢日志文件名保存在元信息表中。存儲慢日志模塊運(yùn)行結(jié)束后，慢日志文件名和存儲路徑保存在慢日志元信息表中。

進(jìn)一步地，所述慢日志管理模塊包括：

需要傳入的參數(shù)：mongodb節(jié)點(diǎn)主機(jī)名mongodb慢日志文件名

慢日志管理模塊定期切割慢日志文件和清理無用慢日志文件。

在salt管理端，采用定時任務(wù)形式，定期切割所有mongodb節(jié)點(diǎn)上的mongodb慢日志文件：

針對每個所述mongodb節(jié)點(diǎn)，根據(jù)所述mongodb慢日志文件名，執(zhí)行歸檔操作，將mongodb慢日志文件內(nèi)容打印到一個以日期為后綴的文件里，記為歸檔文件；同時，清空mongodb慢日志文件內(nèi)容。所述日期是當(dāng)天的日期。對于3天前的歸檔文件，定期刪除。在salt管理端，定期清理3天前的mongodb慢日志文件和慢日志解析文件。

進(jìn)一步地，所述采集慢日志模塊包括：

需要傳入如下兩個參數(shù)：mongodb節(jié)點(diǎn)主機(jī)名、歸檔mongdb慢日志文件名。