[發(fā)明專利]在分布式存儲(chǔ)系統(tǒng)中寫入數(shù)據(jù)副本的方法、裝置及其系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710476108.1
• 申請(qǐng)日: 2017-06-21
• 公開（公告）號(hào): CN107332888B
• 公開（公告）日: 2020-04-10
• 發(fā)明（設(shè)計(jì)）人: 王宏輝;邱模炯
• 申請(qǐng)（專利權(quán)）人: 優(yōu)刻得科技股份有限公司
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08;G06F16/27
• 代理公司: 上海華誠(chéng)知識(shí)產(chǎn)權(quán)代理有限公司 31300
• 代理人: 肖華

技術(shù)領(lǐng)域

本發(fā)明涉及通信領(lǐng)域，特別涉及一種在分布式存儲(chǔ)系統(tǒng)中寫入數(shù)據(jù)副本的方法、裝置及其系統(tǒng)。

背景技術(shù)

近年來，隨著云存儲(chǔ)技術(shù)的發(fā)展，可擴(kuò)展成本低的分布式存儲(chǔ)方法收到廣泛關(guān)注。考慮到單個(gè)存儲(chǔ)節(jié)點(diǎn)出現(xiàn)故障時(shí)系統(tǒng)數(shù)據(jù)的可靠性問題，通常，一份數(shù)據(jù)會(huì)在多個(gè)存儲(chǔ)節(jié)點(diǎn)上存儲(chǔ)。目前分布式存儲(chǔ)系統(tǒng)在存儲(chǔ)多副本的情況下，寫入數(shù)據(jù)通常采用并發(fā)寫入模式和串行寫入模式，這兩種方法在副本數(shù)量較多時(shí)都存在明顯缺陷，前者的缺點(diǎn)是并發(fā)同時(shí)向多個(gè)副本的存儲(chǔ)節(jié)點(diǎn)寫入數(shù)據(jù)會(huì)導(dǎo)致網(wǎng)絡(luò)帶寬不足，且平均到每個(gè)存儲(chǔ)節(jié)點(diǎn)上的帶寬非常小，后者的缺點(diǎn)是多副本情況下數(shù)據(jù)需要在多個(gè)存儲(chǔ)節(jié)點(diǎn)之間串行傳遞，且副本位于不同的網(wǎng)絡(luò)節(jié)點(diǎn)，使得傳輸延時(shí)非常高。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種在分布式存儲(chǔ)系統(tǒng)中寫入數(shù)據(jù)副本的方法、裝置及其系統(tǒng)，能夠根據(jù)實(shí)際需求調(diào)節(jié)將副本寫入分布式存儲(chǔ)系統(tǒng)時(shí)所需的網(wǎng)絡(luò)帶寬或者傳輸延時(shí)，有效解決多副本寫入分布式存儲(chǔ)系統(tǒng)時(shí)，存儲(chǔ)網(wǎng)絡(luò)帶寬不足或者網(wǎng)絡(luò)傳輸延時(shí)過高的問題。

為解決上述技術(shù)問題，本發(fā)明的實(shí)施方式公開了一種在分布式存儲(chǔ)系統(tǒng)中寫入多個(gè)數(shù)據(jù)副本的方法，該方法包括以下步驟：

獲取步驟，獲取待寫入數(shù)據(jù)和與該待寫入數(shù)據(jù)相對(duì)應(yīng)的存儲(chǔ)節(jié)點(diǎn)信息；

寫入步驟，根據(jù)獲取的存儲(chǔ)節(jié)點(diǎn)信息，將待寫入數(shù)據(jù)寫入由多個(gè)存儲(chǔ)節(jié)點(diǎn)組成的存儲(chǔ)節(jié)點(diǎn)集中以存儲(chǔ)待寫入數(shù)據(jù)的多個(gè)副本；

其中，存儲(chǔ)節(jié)點(diǎn)信息為表示存儲(chǔ)節(jié)點(diǎn)集中各存儲(chǔ)節(jié)點(diǎn)間的傳輸關(guān)系的信息；并且

存儲(chǔ)節(jié)點(diǎn)集包括至少兩個(gè)級(jí)別的存儲(chǔ)節(jié)點(diǎn)，至少兩個(gè)級(jí)別的存儲(chǔ)節(jié)點(diǎn)包括至少一個(gè)一級(jí)存儲(chǔ)節(jié)點(diǎn)和至少兩個(gè)由該一級(jí)存儲(chǔ)節(jié)點(diǎn)傳輸待寫入數(shù)據(jù)的二級(jí)存儲(chǔ)節(jié)點(diǎn)。

此外，在一實(shí)例中，該方法還包括以下步驟：

設(shè)置步驟，設(shè)置存儲(chǔ)節(jié)點(diǎn)間的傳輸關(guān)系，以得到副本的存儲(chǔ)節(jié)點(diǎn)信息，其中，存儲(chǔ)節(jié)點(diǎn)的數(shù)目與待寫入數(shù)據(jù)需保存的副本數(shù)目相同。

此外，在一實(shí)例中，上述設(shè)置步驟包括以下子步驟：

設(shè)置子步驟，根據(jù)存儲(chǔ)節(jié)點(diǎn)的帶寬和在將待寫入數(shù)據(jù)寫入存儲(chǔ)節(jié)點(diǎn)中時(shí)單次寫入的數(shù)據(jù)包的大小，設(shè)置存儲(chǔ)節(jié)點(diǎn)間的傳輸關(guān)系。

此外，在一實(shí)例中，每個(gè)存儲(chǔ)節(jié)點(diǎn)的帶寬相同；并且在設(shè)置步驟的設(shè)置子步驟之后，還包括以下子步驟：

第一調(diào)整子步驟，如果單次寫入的數(shù)據(jù)包的大小大于預(yù)定大小閾值，則調(diào)整增加存儲(chǔ)節(jié)點(diǎn)集中存儲(chǔ)節(jié)點(diǎn)的級(jí)別數(shù)。

此外，在一實(shí)例中，在設(shè)置步驟的設(shè)置子步驟之后，還包括以下子步驟：

第二調(diào)整子步驟，如果將待寫入數(shù)據(jù)寫入存儲(chǔ)節(jié)點(diǎn)集中的存儲(chǔ)節(jié)點(diǎn)的寫入延時(shí)大于預(yù)定延時(shí)閾值，則調(diào)整減少存儲(chǔ)節(jié)點(diǎn)集中存儲(chǔ)節(jié)點(diǎn)的級(jí)別數(shù)。

此外，在一實(shí)例中，在設(shè)置步驟的設(shè)置子步驟之后，還包括以下子步驟：

第三調(diào)整子步驟，如果寫入待寫入數(shù)據(jù)的最小寫入帶寬小于預(yù)定帶寬，則調(diào)整增加存儲(chǔ)節(jié)點(diǎn)集中存儲(chǔ)節(jié)點(diǎn)的級(jí)別數(shù)。

最小寫入帶寬是指在將待寫入數(shù)據(jù)寫入存儲(chǔ)節(jié)點(diǎn)集中的各存儲(chǔ)節(jié)點(diǎn)中時(shí)，各存儲(chǔ)節(jié)點(diǎn)接收寫入數(shù)據(jù)所具有的網(wǎng)絡(luò)帶寬中的最小網(wǎng)絡(luò)帶寬。

本發(fā)明的實(shí)施方式還公開了一種在分布式存儲(chǔ)系統(tǒng)中寫入多個(gè)數(shù)據(jù)副本的裝置，包括：

獲取單元，用于獲取待寫入數(shù)據(jù)和與該待寫入數(shù)據(jù)相對(duì)應(yīng)的存儲(chǔ)節(jié)點(diǎn)信息；

寫入單元，用于根據(jù)獲取的存儲(chǔ)節(jié)點(diǎn)信息，將待寫入數(shù)據(jù)寫入由多個(gè)存儲(chǔ)節(jié)點(diǎn)組成的存儲(chǔ)節(jié)點(diǎn)集中以存儲(chǔ)待寫入數(shù)據(jù)的多個(gè)副本；

其中，存儲(chǔ)節(jié)點(diǎn)信息為表示存儲(chǔ)節(jié)點(diǎn)集中各存儲(chǔ)節(jié)點(diǎn)間的傳輸關(guān)系的信息；并且

存儲(chǔ)節(jié)點(diǎn)集包括至少兩個(gè)級(jí)別的存儲(chǔ)節(jié)點(diǎn)，至少兩個(gè)級(jí)別的存儲(chǔ)節(jié)點(diǎn)包括至少一個(gè)一級(jí)存儲(chǔ)節(jié)點(diǎn)和至少兩個(gè)由該一級(jí)存儲(chǔ)節(jié)點(diǎn)傳輸待寫入數(shù)據(jù)的二級(jí)存儲(chǔ)節(jié)點(diǎn)。

能夠根據(jù)實(shí)際需求調(diào)節(jié)將副本寫入分布式存儲(chǔ)系統(tǒng)時(shí)所需的網(wǎng)絡(luò)帶寬或者傳輸延時(shí)，有效解決多副本寫入分布式存儲(chǔ)系統(tǒng)時(shí)，存儲(chǔ)網(wǎng)絡(luò)帶寬不足或者網(wǎng)絡(luò)傳輸延時(shí)過高的問題。

此外，在一實(shí)例中，該裝置還包括：

設(shè)置單元，用于設(shè)置存儲(chǔ)節(jié)點(diǎn)間的傳輸關(guān)系，以得到副本的存儲(chǔ)節(jié)點(diǎn)信息。

此外，在一實(shí)例中，該裝置的設(shè)置單元包括以下子單元：

設(shè)置子單元，用于根據(jù)存儲(chǔ)節(jié)點(diǎn)的帶寬和在將待寫入數(shù)據(jù)寫入存儲(chǔ)節(jié)點(diǎn)中時(shí)單次寫入的數(shù)據(jù)包的大小，設(shè)置存儲(chǔ)節(jié)點(diǎn)間的傳輸關(guān)系；

第一調(diào)整子單元，用于在單次寫入的數(shù)據(jù)包的大小大于預(yù)定大小閾值時(shí)調(diào)整增加存儲(chǔ)節(jié)點(diǎn)集中存儲(chǔ)節(jié)點(diǎn)的級(jí)別數(shù)；

第二調(diào)整子步驟，用于在將待寫入數(shù)據(jù)寫入存儲(chǔ)節(jié)點(diǎn)集中的存儲(chǔ)節(jié)點(diǎn)的寫入延時(shí)大于預(yù)定延時(shí)閾值時(shí)調(diào)整減少存儲(chǔ)節(jié)點(diǎn)集中存儲(chǔ)節(jié)點(diǎn)的級(jí)別數(shù)。