[發明專利]數據讀取方法、裝置、電子設備及可讀存儲介質

有效

• 申請號: 201910373166.0
• 申請日: 2019-05-06
• 公開（公告）號: CN110198346B
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 劉俊宏;萬暢;李建斌;張世龍
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F11/14
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 莎日娜

1.一種數據讀取的方法，其特征在于，所述方法包括：

為HDFS系統中各個數據存儲節點DN設置機房標識，并為待備份數據設置副本分布屬性，該副本分布屬性至少包括：機房標識和副本數量；其中，所述機房標識是表征客戶端所在機房的標識；

按照所述待備份數據的副本分布屬性，確定所述機房標識對應的目標機房，并從該目標機房中選擇所述副本數量的數據存儲節點DN；

將所述待備份數據存儲在所選擇的DN中；

在通過NN接收到客戶端發送的針對目標數據的讀數據請求時，通過所述NN將存儲有所述目標數據的全部DN的DN標識發送給所述客戶端，所述客戶端與所述HDFS系統包括的多個DN中的一個DN位于同一主機中；

通過所述客戶端確定存儲有所述目標數據的每個DN的機房標識是否與所述客戶端的機房標識相同；

在所述客戶端確定所述全部DN包含機房標識與所述客戶端的機房標識相同的目標DN的情況下，從所述目標DN中讀取所述目標數據；

其中，所述HDFS系統與機房數據管理服務器ZDMS和區域服務器ZS分別連接；在所述待備份數據為被跨機房讀取的數據的情況下，為待備份數據設置副本分布屬性，包括：

通過ZDMS從所述HDFS系統包括的管理節點NN中實時讀取歷史操作記錄，所述歷史操作記錄包括多個數據的歷史讀寫操作；

通過ZDMS根據讀取的歷史操作記錄中在不同機房的客戶端之間進行跨機房讀數據的歷史讀操作，生成多個緩存規則，每個所述緩存規則至少包括：被跨機房讀取的數據的存儲路徑、發起跨機房讀數據請求的客戶端所在的機房的原機房標識、被跨機房讀取的數據的副本數量和有效期；

通過ZS從ZDMS中讀取緩存規則，根據讀取的緩存規則為被跨機房讀取的數據設置副本分布屬性。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

通過ZS將讀取的緩存規則中的存儲路徑發送給所述NN；

通過所述NN根據接收到的存儲路徑，確定所述存儲路徑對應的DN標識，并將確定的DN標識返回給ZS；

通過ZS根據讀取的緩存規則中的副本數量和接收到的DN標識，控制該DN標識對應的DN對被跨機房讀取的數據進行備份，以將被跨機房讀取的數據備份至所述ZS的機房標識所對應的機房中的其他DN。

3.根據權利要求2所述的方法，其特征在于，所述方法還包括：

通過ZS從所述NN中實時讀取歷史操作記錄；

在ZS確定讀取的歷史操作記錄包含與所述存儲路徑關聯的寫入新數據操作的情況下，根據緩存規則為所述新數據設置副本分布屬性。

4.根據權利要求1所述的方法，其特征在于，所述方法還包括：

通過NN接收所述HDFS系統包括的多個DN分別發送的狀態信息；

通過NN根據接收到的狀態信息，確定所述多個DN中發生故障的DN；

通過NN根據所述發生故障的DN中存儲的數據的副本分布屬性，控制其他DN對所述發生故障的DN中存儲的數據進行備份。

5.根據權利要求1所述的方法，其特征在于，所述副本分布屬性還包括：有效期；所述方法還包括：

通過NN對所述HDFS系統包括的多個DN各自存儲的數據進行掃描；

針對所述多個DN中的每個DN，在NN確定該DN存儲的數據的存儲時長大于該數據的副本分布屬性中的有效期時，控制DN刪除該數據。

6.根據權利要求1所述的方法，其特征在于，所述HDFS系統與YARN系統連接，所述YARN系統包括資源管理服務器以及多個節點管理服務器，所述資源管理服務器與多個節點管理服務器分別連接；所述方法還包括：

在計算隊列的隊列名字中添加機房標識，并為所述多個節點管理服務器中的每個節點管理服務器設置機房標識；

通過所述資源管理服務器根據計算隊列的隊列名字中包含的機房標識，為該計算隊列中的作業分配至少一個節點管理服務器提供的計算資源，所述至少一個節點管理服務器的機房標識與所述算隊列的隊列名字中包含的機房標識相同。