[發(fā)明專利]一種基于ceph的分布式存儲元數(shù)據(jù)系統(tǒng)日志優(yōu)化系統(tǒng)與方法

有效

• 申請?zhí)枺?/td>: 202010110099.6
• 申請日: 2020-02-23
• 公開（公告）號: CN111309266B
• 公開（公告）日: 2022-07-22
• 發(fā)明（設(shè)計）人: 魏坤
• 申請（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F11/30;G06F16/18;G06F16/182
• 代理公司: 濟南誠智商標(biāo)專利事務(wù)所有限公司 37105
• 代理人: 李修杰

本發(fā)明提供了一種基于ceph的分布式存儲元數(shù)據(jù)系統(tǒng)日志優(yōu)化系統(tǒng)與方法，本發(fā)明通過采取新增共享日志的策略來解決性能瓶頸和數(shù)據(jù)不一致的問題，將一組由網(wǎng)絡(luò)連接的ceph集群設(shè)備作為單個日志共享給數(shù)據(jù)中心的控制端，在客戶端上運行的進(jìn)程可以將數(shù)據(jù)添加到共享日志中，也可以從共享日志中讀取任意位置的日志記錄數(shù)據(jù)。本發(fā)明解決了ceph分布式系統(tǒng)規(guī)模較大時存在一定的日志保存問題，以一種更加合理的方式對全局的元數(shù)據(jù)信息進(jìn)行管理，提升日志處理流程的性能，降低性能開銷，并通過同步解決數(shù)據(jù)不一致的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及分布式存儲系統(tǒng)技術(shù)領(lǐng)域，特別是一種基于ceph的分布式存儲元數(shù)據(jù)系統(tǒng)日志優(yōu)化系統(tǒng)與方法。

背景技術(shù)

隨著互聯(lián)網(wǎng)業(yè)務(wù)量的增加、訪問量和元數(shù)據(jù)流量的快速增長，分布式系統(tǒng)各個核心部分的處理強度也相對增大，使系統(tǒng)工作負(fù)載增大，在ceph系統(tǒng)中采用一致性CRUSH算法用于元數(shù)據(jù)分布的計算，在這個過程中，CRUSH算法將METADATE映射到一組MDS中，通過METADATE來劃分元數(shù)據(jù)分區(qū)使每個METADATE管理的元數(shù)據(jù)區(qū)間相同，從而保證元數(shù)據(jù)能夠均勻的分布在METADATE上。但是，在實際應(yīng)用環(huán)境中，MDS作為分布式系統(tǒng)所有的元數(shù)據(jù)管理節(jié)點，METADATE只會按照CRUSH算法在MDS上進(jìn)行偽隨機分布，使得出METADATE分布并不能達(dá)到完美的均衡，造成有些MDS上分布的METADATE數(shù)量較多，有些MDS分布的METADATE數(shù)量較少的情況。因此元數(shù)據(jù)寫入分布式文件系統(tǒng)的時候，帶來了性能的額外開銷，另外如果沒有得到及時同步會造成數(shù)據(jù)不一致的問題。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于ceph的分布式存儲元數(shù)據(jù)系統(tǒng)日志優(yōu)化系統(tǒng)與方法，旨在解決現(xiàn)有技術(shù)中元數(shù)據(jù)管理存在性能開銷大以及數(shù)據(jù)不一致的問題，實現(xiàn)降低性能開銷，并通過同步保證數(shù)據(jù)一致性。

為達(dá)到上述技術(shù)目的，本發(fā)明提供了一種基于ceph的分布式存儲元數(shù)據(jù)系統(tǒng)日志優(yōu)化系統(tǒng)，所述系統(tǒng)包括：

控制端接收模塊，用于在業(yè)務(wù)端向MDS進(jìn)行請求時分發(fā)進(jìn)程任務(wù)；

用戶空間模塊，用于創(chuàng)建元數(shù)據(jù)目錄樹，并提供查詢操作；

操作守護進(jìn)程模塊，用于對flog的請求對象判斷是何操作，并對用戶空間的元數(shù)據(jù)目錄樹進(jìn)行元數(shù)據(jù)更新；

日志管理模塊，用于對控制端接收模塊接收到的業(yè)務(wù)端請求信息，以及將序列化后的日志提交給操作守護進(jìn)程模塊進(jìn)行處理；

flog查詢模塊，用于將日志管理模塊提供的日志序列號從共享日志讀取到日志記錄并交由日志管理模塊以及向flog模塊查詢共享日志的末尾位置序列號；

flog模塊，用于存儲封裝為日志記錄的元數(shù)據(jù)操作信息，并通過定序器對日志記錄分發(fā)日志序號。

優(yōu)選地，所述flog模塊以副本的存儲方式存儲在集群中。

優(yōu)選地，所述日志記錄以鏈表的形式進(jìn)行追加，以指針的方式返回是否成功寫入。

優(yōu)選地，所述業(yè)務(wù)端請求最新元數(shù)據(jù)信息時，查詢當(dāng)前日志記錄的末尾位置的序號，如果所述序號大于本地緩存值，則讀取所有未讀取的日志記錄，并進(jìn)行元數(shù)據(jù)目錄樹的更新。

優(yōu)選地，所述控制端通過查詢接口查詢相應(yīng)的元數(shù)據(jù)信息時，如果元數(shù)據(jù)信息的最后一次操作的日志序號大于業(yè)務(wù)端的日志序列號，則將最新的元數(shù)據(jù)信息返回給業(yè)務(wù)端，如果兩者相同，則向業(yè)務(wù)端發(fā)送已確認(rèn)最新的狀態(tài)碼。

本發(fā)明還提供了一種基于ceph的分布式存儲元數(shù)據(jù)系統(tǒng)日志優(yōu)化方法，所述方法包括以下步驟：

S1、封裝元數(shù)據(jù)操作信息為日志記錄，并通過定序器對日志記錄分發(fā)日志序號，存儲于集群中，并創(chuàng)建元數(shù)據(jù)目錄樹；