[發明專利]一種數據處理方法及裝置

有效

• 申請號: 201810367047.X
• 申請日: 2018-04-23
• 公開（公告）號: CN108614749B
• 公開（公告）日: 2020-11-03
• 發明（設計）人: 周淵婓
• 申請（專利權）人: 北京搜狐新媒體信息技術有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 李金;王寶筠

本發明提供一種數據處理方法及裝置，在獲取待存儲的原始數據后，將待存儲的原始數據劃分成至少兩個數據塊，并分別利用第一算法和第二算法對至少兩個數據塊進行編碼，得到其對應的至少一個第一編碼塊和至少一個第二編碼塊，將得到的數據塊、第一編碼塊和第二編碼塊存儲至不同機房的機架式服務器中，以通過編碼方式實現數據冗余，從而可以在保證數據的可靠性的同時降低存儲成本。在某個機房發生機房級別故障時可以對其進行數據恢復，實現機房級別故障的存儲容災。并且第一算法和第二算法其中之一算法的數據恢復速率優于另一個算法的數據恢復速率，在發生機架級別故障時，可以通過數據恢復速率較優的算法進行數據恢復，提高數據恢復速率。

技術領域

本發明屬于數據處理技術領域，更具體地說，尤其涉及一種數據處理方法及裝置。

背景技術

對于分布式存儲系統來說，在分布式存儲系統發生機器級別、機架級別和機房級別等任意一種級別的故障時，保障在這些故障發生時分布式存儲系統中存儲的數據的可靠性是分布式存儲系統的重中之重。

目前分布式存儲系統保障其存儲的數據的可靠性采用數據冗余方式，即對于任意一份數據，將該份數據的不同副本存儲在不同機房的不同機架式服務器中，這樣分布式存儲系統中某份數據丟失，仍可以通過其他機房的機架式服務器中存儲的該份數據的副本來恢復所丟失的數據，但是這種數據冗余方式會增加存儲成本，因此在保證數據的可靠性的同時降低存儲成本是分布式存儲系統的一個重要問題。

發明內容

有鑒于此，本發明的目的在于提供一種數據處理方法及裝置，用于在保證數據的可靠性的同時降低存儲成本。技術方案如下：

本發明提供一種數據處理方法，所述方法包括：

獲取待存儲的原始數據，并將所述待存儲的原始數據劃分成至少兩個數據塊；

利用第一算法對所述至少兩個數據塊進行編碼，得到所述至少兩個數據塊對應的至少一個第一編碼塊；

利用第二算法對所述至少兩個數據塊進行編碼，得到所述至少兩個數據塊對應的至少一個第二編碼塊，其中所述第一算法和所述第二算法其中之一算法的數據恢復速率優于另一個算法的數據恢復速率；

將所述至少兩個數據塊、所述至少一個第一編碼塊和所述至少一個第二編碼塊存儲至不同機房的機架式服務器中，其中任一機房的機架式服務器中存儲有所述至少兩個數據塊中的至少一個數據塊、所述至少一個第一編碼塊和所述至少一個第二編碼塊其中之一的編碼塊。

優選的，所述方法還包括：對任一機房：在確定該機房的機架式服務器發生機房級別故障的情況下，從其他沒有發生故障的機房的機架式服務器中獲取數據塊和編碼塊，其中所獲取的數據塊和編碼塊用于恢復該機房的機架式服務器中丟失的數據塊；

利用所獲取的編碼塊對應的算法，對所獲取的編碼塊和數據塊進行處理，得到該機房的機架式服務器中丟失的數據塊。

優選的，所述方法還包括：對任一機房：在確定該機房的機架式服務器發生機架級別故障的情況下，從其他沒有發生故障的機房的機架式服務器中獲取數據塊和編碼塊，其中所獲取的數據塊和編碼塊用于恢復該機房的機架式服務器中丟失的數據塊；

根據預設規則從所述第一算法和所述第二算法中選取一個算法；

利用所選取的算法，對所獲取的數據塊和編碼塊進行處理，得到該機房的機架式服務器中丟失的數據塊。

優選的，所述根據預設規則從所述第一算法和所述第二算法中選取一個算法包括：

從所述第一算法和所述第二算法中隨機選取一個算法；

或者

從所述第一算法和所述第二算法中選取數據恢復速率優于沒有被選取算法的數據恢復速率的算法。