[發(fā)明專利]擬態(tài)分布式存儲(chǔ)系統(tǒng)、數(shù)據(jù)讀、寫方法及可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010645217.3
• 申請(qǐng)日: 2020-07-07
• 公開（公告）號(hào): CN111885124B
• 公開（公告）日: 2023-01-17
• 發(fā)明（設(shè)計(jì)）人: 顧長順;郭義偉;馮志峰;鮑尚策
• 申請(qǐng)（專利權(quán)）人: 河南信大網(wǎng)御科技有限公司;珠海高凌信息科技股份有限公司
• 主分類號(hào): H04L67/1097
• 分類號(hào): H04L67/1097;H04L67/1042;H04L67/56;G06F16/13
• 代理公司: 鄭州德勤知識(shí)產(chǎn)權(quán)代理有限公司 41128
• 代理人: 武亞楠;黃軍委

1.一種擬態(tài)分布式存儲(chǔ)系統(tǒng)，包括數(shù)據(jù)切片存儲(chǔ)模塊OSD，其特征在于，還包括：

輸入代理模塊，用于接收客戶端發(fā)送的數(shù)據(jù)分布信息獲取請(qǐng)求，并復(fù)制分發(fā)給動(dòng)態(tài)異構(gòu)MON執(zhí)行體池中的各個(gè)異構(gòu)MON集群執(zhí)行體；

動(dòng)態(tài)異構(gòu)MON執(zhí)行體池，其包括兩個(gè)或兩個(gè)以上的異構(gòu)MON集群執(zhí)行體；每個(gè)異構(gòu)MON集群執(zhí)行體與所述輸入代理模塊通訊互聯(lián)，用于分別根據(jù)接收到的數(shù)據(jù)分布信息獲取請(qǐng)求生成數(shù)據(jù)分布圖，并將包含所述數(shù)據(jù)分布圖的數(shù)據(jù)分布裁決請(qǐng)求發(fā)送至裁決器；

裁決器，分別與所述異構(gòu)MON集群執(zhí)行體通訊互聯(lián)，用于接收不同異構(gòu)MON集群執(zhí)行體輸出的數(shù)據(jù)分布裁決請(qǐng)求，根據(jù)預(yù)置裁決規(guī)則進(jìn)行投票表決，向輸出代理模塊輸出可信數(shù)據(jù)分布結(jié)果；

輸出代理模塊，與所述裁決器通訊互聯(lián)，用于接收所述可信數(shù)據(jù)分布結(jié)果并轉(zhuǎn)發(fā)至客戶端；

以及負(fù)反饋控制器，分別與所述輸出代理模塊、各個(gè)異構(gòu)MON集群執(zhí)行體和所述輸入代理模塊通訊互聯(lián)，用于對(duì)所述動(dòng)態(tài)異構(gòu)MON執(zhí)行體池進(jìn)行數(shù)據(jù)同步、更新或者清洗；并在裁決器未輸出可信數(shù)據(jù)分布結(jié)果時(shí)，控制所述輸入代理模塊再次向各個(gè)異構(gòu)MON集群執(zhí)行體復(fù)制分發(fā)數(shù)據(jù)分布信息獲取請(qǐng)求；

從所述的擬態(tài)分布式存儲(chǔ)系統(tǒng)中讀取數(shù)據(jù)時(shí)，執(zhí)行：

客戶端生成數(shù)據(jù)分布信息獲取請(qǐng)求，并通過輸入代理模塊復(fù)制分發(fā)給動(dòng)態(tài)異構(gòu)MON執(zhí)行體池中的各個(gè)異構(gòu)MON集群執(zhí)行體；所述異構(gòu)MON集群執(zhí)行體分別根據(jù)接收到的數(shù)據(jù)分布信息獲取請(qǐng)求，生成數(shù)據(jù)分布圖，并將包含數(shù)據(jù)分布圖的數(shù)據(jù)分布裁決請(qǐng)求發(fā)送至裁決器；所述裁決器接收不同異構(gòu)MON集群執(zhí)行體輸出的數(shù)據(jù)分布裁決請(qǐng)求，并根據(jù)預(yù)置裁決規(guī)則進(jìn)行投票表決，向輸出代理模塊輸出可信數(shù)據(jù)分布結(jié)果；

所述客戶端通過所述輸出代理模塊獲取可信數(shù)據(jù)分布結(jié)果，并基于所述可信數(shù)據(jù)分布結(jié)果獲取待讀取數(shù)據(jù)對(duì)應(yīng)的存儲(chǔ)數(shù)據(jù)與數(shù)據(jù)塊之間、數(shù)據(jù)塊與對(duì)象之間、對(duì)象與放置組之間以及放置組與數(shù)據(jù)切片存儲(chǔ)模塊OSD之間的映射關(guān)系；

所述客戶端根據(jù)對(duì)象與放置組之間的映射關(guān)系以及放置組與數(shù)據(jù)切片存儲(chǔ)模塊OSD之間的映射關(guān)系獲取所需數(shù)據(jù)塊，并基于存儲(chǔ)數(shù)據(jù)與數(shù)據(jù)塊之間的映射關(guān)系以及數(shù)據(jù)塊與對(duì)象之間的映射關(guān)系，重組出待讀取數(shù)據(jù)。

2.一種擬態(tài)分布式存儲(chǔ)系統(tǒng)，包括數(shù)據(jù)切片存儲(chǔ)模塊OSD，其特征在于，還包括：

輸入代理模塊，用于接收客戶端發(fā)送的數(shù)據(jù)分布信息獲取請(qǐng)求，并復(fù)制分發(fā)給動(dòng)態(tài)異構(gòu)MON執(zhí)行體池中的各個(gè)異構(gòu)MON集群執(zhí)行體；

動(dòng)態(tài)異構(gòu)MON執(zhí)行體池，其包括兩個(gè)或兩個(gè)以上的異構(gòu)MON集群執(zhí)行體；每個(gè)異構(gòu)MON集群執(zhí)行體與所述輸入代理模塊通訊互聯(lián)，用于分別根據(jù)接收到的數(shù)據(jù)分布信息獲取請(qǐng)求生成數(shù)據(jù)分布圖，并將包含所述數(shù)據(jù)分布圖的數(shù)據(jù)分布裁決請(qǐng)求發(fā)送至裁決器；

裁決器，分別與所述異構(gòu)MON集群執(zhí)行體通訊互聯(lián)，用于接收不同異構(gòu)MON集群執(zhí)行體輸出的數(shù)據(jù)分布裁決請(qǐng)求，根據(jù)預(yù)置裁決規(guī)則進(jìn)行投票表決，向輸出代理模塊輸出可信數(shù)據(jù)分布結(jié)果；

輸出代理模塊，與所述裁決器通訊互聯(lián)，用于接收所述可信數(shù)據(jù)分布結(jié)果并轉(zhuǎn)發(fā)至客戶端；

以及負(fù)反饋控制器，分別與所述輸出代理模塊、各個(gè)異構(gòu)MON集群執(zhí)行體和所述輸入代理模塊通訊互聯(lián)，用于對(duì)所述動(dòng)態(tài)異構(gòu)MON執(zhí)行體池進(jìn)行數(shù)據(jù)同步、更新或者清洗；并在裁決器未輸出可信數(shù)據(jù)分布結(jié)果時(shí)，控制所述輸入代理模塊再次向各個(gè)異構(gòu)MON集群執(zhí)行體復(fù)制分發(fā)數(shù)據(jù)分布信息獲取請(qǐng)求；

向所述的擬態(tài)分布式存儲(chǔ)系統(tǒng)中寫入待存儲(chǔ)數(shù)據(jù)時(shí)，執(zhí)行：

客戶端生成數(shù)據(jù)寫入請(qǐng)求，并通過輸入代理模塊將數(shù)據(jù)寫入請(qǐng)求復(fù)制分發(fā)給動(dòng)態(tài)異構(gòu)MON執(zhí)行體池中的各個(gè)異構(gòu)MON集群執(zhí)行體；所述異構(gòu)MON集群執(zhí)行體分別根據(jù)接收到的數(shù)據(jù)寫入請(qǐng)求，向裁決器輸出包含數(shù)據(jù)分布圖的裁決請(qǐng)求；所述裁決器接收不同異構(gòu)MON集群執(zhí)行體輸出的裁決請(qǐng)求，并根據(jù)預(yù)置裁決規(guī)則進(jìn)行投票表決，向輸出代理模塊輸出可信數(shù)據(jù)分布結(jié)果；

所述客戶端將待存儲(chǔ)數(shù)據(jù)切割成若干數(shù)據(jù)塊并映射到對(duì)象上，獲取每個(gè)對(duì)象的唯一標(biāo)識(shí)碼；

所述客戶端計(jì)算出每個(gè)對(duì)象的唯一標(biāo)識(shí)碼的哈希值，將所述哈希值與放置組參數(shù)進(jìn)行邏輯與運(yùn)算，獲得每個(gè)對(duì)象對(duì)應(yīng)的放置組標(biāo)識(shí)碼；

所述客戶端通過CRUSH算法計(jì)算出每個(gè)放置組對(duì)應(yīng)的多個(gè)數(shù)據(jù)切片存儲(chǔ)模塊OSD位置；配置其中一個(gè)數(shù)據(jù)切片存儲(chǔ)模塊OSD作為主數(shù)據(jù)切片存儲(chǔ)模塊OSD，除主數(shù)據(jù)切片存儲(chǔ)模塊OSD外的數(shù)據(jù)切片存儲(chǔ)模塊OSD為從數(shù)據(jù)切片存儲(chǔ)模塊OSD；

所述客戶端基于獲取到的可信數(shù)據(jù)分布結(jié)果和計(jì)算出每個(gè)放置組對(duì)應(yīng)的多個(gè)數(shù)據(jù)切片存儲(chǔ)模塊OSD位置，將所述數(shù)據(jù)塊寫入主數(shù)據(jù)切片存儲(chǔ)模塊OSD。