[發(fā)明專利]基于分布式文件系統(tǒng)的多副本讀取方法、設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201711076732.9
• 申請日: 2017-11-06
• 公開（公告）號: CN110019086A
• 公開（公告）日: 2019-07-16
• 發(fā)明（設(shè)計）人: 歐陽偉
• 申請（專利權(quán)）人: 中興通訊股份有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/172;G06F11/14
• 代理公司: 工業(yè)和信息化部電子專利中心 11010
• 代理人: 于金平

本發(fā)明公開了一種基于分布式文件系統(tǒng)的多副本讀取方法、設(shè)備及存儲介質(zhì)。該方法包括：調(diào)用sendfile接口在本地存儲節(jié)點讀取副本數(shù)據(jù)；當調(diào)用sendfile接口在本地存儲節(jié)點讀取副本數(shù)據(jù)失敗時，通過writev接口從其他副本存儲節(jié)點獲取副本數(shù)據(jù)?；诖?，本發(fā)明有效提高了使用sendfile的容錯性，即保證了讀性能的高效，又能兼顧云存儲的安全，提升了整體性能和用戶體驗。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)存儲技術(shù)領(lǐng)域，特別是涉及一種基于分布式文件系統(tǒng)的多副本讀取方法、設(shè)備及存儲介質(zhì)。

背景技術(shù)

目前，分布式文件系統(tǒng)在原來的系統(tǒng)read接口下，由于受應(yīng)用態(tài)到內(nèi)核態(tài)頻繁切換和磁盤本身最大ops(每秒操作次數(shù))影響，不改變業(yè)務(wù)架構(gòu)或更換硬件的前提下，磁盤的讀性能很難提高。因此，提供一種高性能的讀取方式是很有必要的。

發(fā)明內(nèi)容

本發(fā)明提供一種基于分布式文件系統(tǒng)的多副本讀取方法、設(shè)備及存儲介質(zhì)，用以解決現(xiàn)有分布式文件系統(tǒng)中讀取效率低的問題。

為實現(xiàn)上述發(fā)明目的，本發(fā)明采用下述的技術(shù)方案：

依據(jù)本發(fā)明的一個方面，提供一種基于分布式文件系統(tǒng)的多副本讀取方法，其特征在于，包括：

調(diào)用sendfile接口在本地存儲節(jié)點讀取副本數(shù)據(jù)；

當調(diào)用sendfile接口在本地存儲節(jié)點讀取副本數(shù)據(jù)失敗時，通過writev接口從其他副本存儲節(jié)點獲取所述副本數(shù)據(jù)。

可選的，所述調(diào)用sendfile接口在本地存儲節(jié)點讀取副本數(shù)據(jù)，包括：

獲取源文件句柄；

根據(jù)所述源文件句柄確定所要讀取的副本數(shù)據(jù)的物理塊句柄；

通過調(diào)用sendfile接口讀取所述物理塊句柄中的副本數(shù)據(jù)。

可選的，所述根據(jù)所述源文件句柄確定所要讀取的副本數(shù)據(jù)的物理塊句柄，包括：

判斷所述源文件句柄是本地句柄還是云存儲句柄；

當判斷所述源文件句柄為云存儲句柄時，根據(jù)所述源文件句柄確定所要讀取的副本數(shù)據(jù)的物理塊句柄。

可選的，所述判斷源文件句柄是本地句柄還是云存儲句柄，包括：

當所述源文件句柄數(shù)量大于預(yù)設(shè)閾值時，則判定所述源文件句柄為云存儲句柄；

當所述源文件句柄數(shù)量小于或等于預(yù)設(shè)閾值時，則判定所述源文件句柄為本地句柄。

可選的，所述根據(jù)所述源文件句柄確定所要讀取的副本數(shù)據(jù)的物理塊句柄，包括：

根據(jù)預(yù)先存儲于元數(shù)據(jù)服務(wù)器中文件句柄與物理塊句柄的映射關(guān)系獲取所述源文件句柄所對應(yīng)的物理塊句柄。

可選的，在獲取源文件句柄之后，所述方法還包括：

根據(jù)偏移位置和副本數(shù)據(jù)的字節(jié)數(shù)計算所述物理塊的索引，以根據(jù)所述索引確定所述物理塊的位置；

所述通過調(diào)用sendfile接口讀取所述物理塊句柄中的副本數(shù)據(jù)，包括：

根據(jù)所述物理塊句柄，從所述物理塊的位置讀取所述副本數(shù)據(jù)。

可選的，所述通過writev接口從其他副本存儲節(jié)點獲取所述副本數(shù)據(jù)，包括：

調(diào)用read接口從所述其他副本存儲節(jié)點讀取所述副本數(shù)據(jù)，通過writev接口將所述副本數(shù)據(jù)存儲至writev數(shù)組中；

當所述writev數(shù)組達到預(yù)設(shè)個數(shù)后，將所述writev數(shù)組中的數(shù)據(jù)一次寫入目標文件的緩存中。