[發明專利]一種數據處理方法及分布式存儲系統

有效

• 申請號: 201811260310.1
• 申請日: 2018-10-26
• 公開（公告）號: CN111104048B
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 李昕杰;何榮峰;祝斌;吳素宏;方協云
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京中博世達專利商標代理有限公司 11274
• 代理人: 申健

一種數據處理方法及分布式存儲系統。分布式存儲系統的存儲盤包括至少兩個存儲盤群，至少兩個存儲盤群配置有至少兩個節能態。具體的，該方法包括：分布式存儲系統的處理模塊接收包括待處理數據的標識的讀請求，并根據待處理數據的標識，讀取待處理數據的元數據，以確定第一存儲盤群和第二存儲盤群，這里，第一存儲盤群配置有第一節能態，第二存儲盤群配置有第二節能態，第一節能態的喚醒時延小于第二節能態的喚醒時延；后續，從第一存儲盤群中讀取第一子數據，并在讀取第一子數據后，從第二存儲盤群中讀取第二子數據。綜合考慮存儲盤的功耗和數據處理時延，提升了存儲盤的工作效率。

技術領域

本申請涉及存儲技術領域，尤其涉及一種數據處理方法及分布式存儲系統。

背景技術

一般的，按照訪問頻次和時延要求，云存儲系統中的數據可分為熱數據(也可稱為活躍/臨時數據)、溫數據(也可稱為低頻訪問存儲的數據/非活躍數據)、冷數據(也可稱為備份/歸檔數據)。其中，熱數據是指可隨時訪問、訪問時延要求為毫秒(ms)級的數據，溫數據是指訪問頻次較低(例如平均一個月訪問一次)、訪問時延要求為毫秒級的數據，冷數據是指訪問頻次非常低(例如平均一年訪問一次)、訪問時延要求為分鐘級的數據。

目前，存儲溫數據的存儲盤基本處于可讀態。由于溫數據的訪問頻次較低，因此，存儲溫數據的存儲盤的輸入輸出(input/output，IO)功能大部分時間是空閑的，導致該存儲盤的功耗較大。而溫數據的時延要求為毫秒級，因此，也不能將存儲溫數據的存儲盤下電或置為休眠態。如果將該存儲盤下電或置為休眠態，則在需要讀取溫數據時，要先將該存儲盤上電或喚醒。而上電或喚醒的過程往往需要花費30～50秒的時間，無法滿足溫存數據對時延的要求。

發明內容

本申請提供一種數據處理方法及分布式存儲系統，能夠解決無法同時滿足存儲盤的低功耗和數據對時延的要求的問題。

為達到上述目的，本申請采用如下技術方案：

第一方面，提供一種數據處理方法，該數據處理方法應用于包括至少一個處理節點和至少兩個存儲節點的分布式存儲系統，至少兩個存儲節點的存儲盤包括至少兩個存儲盤群，至少兩個存儲盤群配置有至少兩個節能態，至少一個處理節點上部署有處理模塊。具體的，該數據處理方法包括：處理模塊在接收到包括待處理數據的標識的讀請求后，根據待處理數據的標識，讀取待處理數據的元數據，以確定第一存儲盤群和第二存儲盤群，第一存儲盤群配置有第一節能態，第二存儲盤群配置有第二節能態，第一節能態的喚醒時延小于第二節能態的喚醒時延，這樣，處理模塊從第一存儲盤群中讀取待處理數據的第一子數據，并在讀取第一子數據后，從第二存儲盤群中讀取待處理數據的第二子數據。

處于節能態的存儲盤的功耗較低，因此，將待處理數據的不同子數據存儲于不同節能態的存儲盤群的方式有效的降低了存儲盤的功耗。當需要讀取上述待處理數據時，根據訪問先后順序依次讀取各個子數據。由于不同節能態的存儲盤的喚醒時延不同，因此，可以根據訪問先后順序和喚醒時延從短到長的順序確定子數據所存儲的存儲盤群以使得在需要讀取某一子數據時，存儲該子數據的存儲盤的喚醒時延基本結束，有效的保證了每一子數據的時延要求。

本申請中“至少兩個存儲盤群配置有至少兩個節能態”可以指任意兩個存儲盤群配置的節能態不同，也可以指至少兩個存儲盤群中的一部分存儲盤群配置的節能態相同，其他存儲盤配置的節能態與這一部分存儲盤的節能態不同。

可選的，在本申請的一種可能的實現方式中，從第一存儲盤群中讀取第一子數據之前，處理模塊還根據待處理數據的元數據，確定第一存儲盤群中的第一存儲盤組和第二存儲盤群中的第二存儲盤組；其中，第一存儲盤組所包括的存儲盤為第一存儲盤群中存儲第一子數據的存儲盤，第二存儲盤組所包括的存儲盤為第二存儲盤群中存儲第二子數據的存儲盤。相應的，上述“處理模塊從第一存儲盤群中讀取第一子數據”的方法為：處理模塊從第一存儲盤組中讀取第一子數據。上述“處理模塊從第二存儲盤群中讀取第二子數據”的方法為：處理模塊從第二存儲盤組中讀取第二子數據。