[發(fā)明專利]一種計(jì)算機(jī)分布式存儲(chǔ)系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011077396.1
• 申請(qǐng)日: 2020-10-10
• 公開（公告）號(hào): CN112202910B
• 公開（公告）日: 2021-10-08
• 發(fā)明（設(shè)計(jì)）人: 吳佳;李禮;苗詩君
• 申請(qǐng)（專利權(quán)）人: 上海威固信息技術(shù)股份有限公司
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明提供了一種計(jì)算機(jī)分布式存儲(chǔ)系統(tǒng)，包括：獲取模塊、發(fā)送模塊、數(shù)據(jù)分塊模塊、控制模塊、數(shù)據(jù)模塊、重復(fù)寫入模塊、替換模塊和讀取模塊。本發(fā)明可以判斷待存儲(chǔ)的數(shù)據(jù)是否需要，從而避免浪費(fèi)存儲(chǔ)資，通過重復(fù)寫入模塊和替換模塊可以提高計(jì)算機(jī)分布式存儲(chǔ)系統(tǒng)的存儲(chǔ)效率和系統(tǒng)的穩(wěn)定性，通過讀取模塊還保證了用戶讀取存儲(chǔ)數(shù)據(jù)的安全性。

技術(shù)領(lǐng)域

本發(fā)明涉及存儲(chǔ)技術(shù)領(lǐng)域，特別涉及一種計(jì)算機(jī)分布式存儲(chǔ)系統(tǒng)。

背景技術(shù)

目前，隨著計(jì)算機(jī)技術(shù)的快速發(fā)展，產(chǎn)生的數(shù)據(jù)量也在不斷的增長，傳統(tǒng)的網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)采用集中的存儲(chǔ)服務(wù)器存放所有數(shù)據(jù)，存儲(chǔ)服務(wù)器成為系統(tǒng)性能的瓶頸，也是可靠性和安全性的焦點(diǎn)，不能滿足大規(guī)模存儲(chǔ)應(yīng)用的需要。分布式網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu)，利用多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷，利用位置服務(wù)器定位存儲(chǔ)信息，它不但提高了系統(tǒng)的可靠性、可用性和存取效率，還易于擴(kuò)展。分布式存儲(chǔ)系統(tǒng)中，現(xiàn)有的數(shù)據(jù)存儲(chǔ)方法無法快速判別存儲(chǔ)的數(shù)據(jù)是否已有，從而浪費(fèi)存儲(chǔ)資源。

發(fā)明內(nèi)容

本發(fā)明提供一種計(jì)算機(jī)分布式存儲(chǔ)系統(tǒng)，用于快速判別存儲(chǔ)的數(shù)據(jù)是否已有，從而避免浪費(fèi)存儲(chǔ)資源,還提高了用戶讀取數(shù)據(jù)的安全性。

一種計(jì)算機(jī)分布式存儲(chǔ)系統(tǒng)，其特征在于，包括：

獲取模塊，用于接收用戶終端發(fā)送的數(shù)據(jù)寫入請(qǐng)求命令，確定待寫入數(shù)據(jù)；

發(fā)送模塊，用于發(fā)送所述待寫入數(shù)據(jù)的分塊命令；

數(shù)據(jù)分塊模塊，用于接收所述分塊命令，將所述待寫入數(shù)據(jù)進(jìn)行分塊，形成數(shù)據(jù)塊集合；

控制模塊，用于在待寫入數(shù)據(jù)分塊后，生成數(shù)據(jù)寫入命令，并通過預(yù)設(shè)的控制節(jié)點(diǎn)將所述寫入命令發(fā)送至對(duì)應(yīng)的數(shù)據(jù)節(jié)點(diǎn)；

數(shù)據(jù)模塊，用于通過預(yù)設(shè)的數(shù)據(jù)節(jié)點(diǎn)接收所述寫入命令，并根據(jù)所述寫入命令，將所述數(shù)據(jù)塊寫入數(shù)據(jù)節(jié)點(diǎn)；

重復(fù)寫入模塊，用于在所述數(shù)據(jù)塊寫入失敗時(shí)，確定寫入失敗因素，并基于所述寫入失敗因素，重新將所述數(shù)據(jù)塊寫入數(shù)據(jù)節(jié)點(diǎn)；

替換模塊，用于在所述數(shù)據(jù)塊寫入數(shù)據(jù)節(jié)點(diǎn)后，判斷是否存在非正常讀寫數(shù)據(jù)，并在具有非正常讀寫數(shù)據(jù)時(shí)，基于預(yù)設(shè)的替換策略，對(duì)所述非正常讀寫數(shù)據(jù)進(jìn)行替換；

讀取模塊，用于在接收到用戶的讀取指令時(shí)，確定需要讀取的數(shù)據(jù)信息，讀取相應(yīng)數(shù)據(jù)節(jié)點(diǎn)中寫入的數(shù)據(jù)塊。

進(jìn)一步的，所述數(shù)據(jù)分塊模塊包括：

識(shí)別單元，用于將所述待寫入數(shù)據(jù)的通過預(yù)設(shè)的閾值存儲(chǔ)量劃分為大型數(shù)據(jù)和小型數(shù)據(jù)；其中，

所述大型數(shù)據(jù)為大于等于閾值存儲(chǔ)量的數(shù)據(jù)；

所述小型數(shù)據(jù)為小于閾值存儲(chǔ)量的數(shù)據(jù)；

第一分塊單元，用于將所述大型數(shù)據(jù)進(jìn)行分塊，形成數(shù)據(jù)組；其中，

所述分塊后的數(shù)據(jù)組大于1；

第二分塊單元，用于將所述小型數(shù)據(jù)劃分為獨(dú)立數(shù)據(jù)塊；

集合模塊：用于通過所述獨(dú)立數(shù)據(jù)塊和數(shù)據(jù)組生成數(shù)據(jù)塊集合。

進(jìn)一步的，所述數(shù)據(jù)模塊包括：

對(duì)比單元，用于將所述數(shù)據(jù)塊與存儲(chǔ)在所述數(shù)據(jù)節(jié)點(diǎn)中的預(yù)存數(shù)據(jù)塊進(jìn)行比較，判斷所述數(shù)據(jù)塊與存儲(chǔ)在所述數(shù)據(jù)節(jié)點(diǎn)中的預(yù)存數(shù)據(jù)塊是否相同；

執(zhí)行單元，用于在所述數(shù)據(jù)塊與所述數(shù)據(jù)節(jié)點(diǎn)中預(yù)存數(shù)據(jù)塊相同時(shí)，控制所述預(yù)設(shè)的數(shù)據(jù)節(jié)點(diǎn)不接收所述控制模塊的寫入命令，還用于在所述數(shù)據(jù)塊與所述數(shù)據(jù)節(jié)點(diǎn)中預(yù)存數(shù)據(jù)塊不相同時(shí)，所述預(yù)設(shè)的數(shù)據(jù)節(jié)點(diǎn)接收所述控制模塊的寫入命令。

進(jìn)一步的，所述重復(fù)寫入模塊包括：