[發明專利]數據讀取方法、裝置、電子設備及可讀存儲介質

有效

• 申請號: 201910373166.0
• 申請日: 2019-05-06
• 公開（公告）號: CN110198346B
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 劉俊宏;萬暢;李建斌;張世龍
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F11/14
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 莎日娜

本申請實施例提供了一種數據讀取方法、裝置、電子設備及可讀存儲介質。該方法包括：為HDFS系統中各個數據存儲節點DN設置機房標識，并為待備份數據設置副本分布屬性；確定所述機房標識對應的目標機房，并從該目標機房中選擇所述副本數量的數據存儲節點DN；將所述待備份數據存儲在所選擇的DN中；在通過NN接收到客戶端發送的針對目標數據的讀數據請求時，通過所述NN將存儲有所述目標數據的全部DN的DN標識發送給所述客戶端；通過所述客戶端確定存儲有所述目標數據的每個DN的機房標識是否與所述客戶端的機房標識相同；在所述客戶端確定所述全部DN包含機房標識與所述客戶端的機房標識相同的目標DN的情況下，從所述目標DN中讀取所述目標數據。

技術領域

本申請實施例涉及數據處理技術領域，尤其涉及一種數據讀取方法、裝置、電子設備及可讀存儲介質。

背景技術

文件分布式系統基礎架構Hadoop包含了兩種重要服務系統，分別是文件分布式系統HDFS(Hadoop Distributed File System)和資源管理系統YARN(Yet Another RecourseNegotiator)。其中，HDFS基于主從結構(master/slaver),包括至少一個作為master的管理節點NameNode(NN)和多個作為slaver的數據存儲節點DataNode(DN)。寫入HDFS中的文件會首先被分為若干個文件塊block，每個文件塊被備份為多份，每份存儲至一個DataNode中。的HDFS在讀寫數據時，通常會大量占用機房間的帶寬，導致讀寫效率較低。

發明內容

本申請實施例提供一種數據讀取方法、裝置、電子設備及可讀存儲介質，以提高HDFS系統的數據讀寫效率。

本申請實施例第一方面提供了一種數據讀取方法，所述方法包括：

為HDFS系統中各個數據存儲節點DN設置機房標識，并為待備份數據設置副本分布屬性，該副本分布屬性至少包括：機房標識和副本數量；

按照所述待備份數據的副本分布屬性，確定所述機房標識對應的目標機房，并從該目標機房中選擇所述副本數量的數據存儲節點DN；

將所述待備份數據存儲在所選擇的DN中；

在通過NN接收到客戶端發送的針對目標數據的讀數據請求時，通過所述NN將存儲有所述目標數據的全部DN的DN標識發送給所述客戶端，所述客戶端與所述HDFS系統包括的多個DN中的一個DN位于同一主機中；

通過所述客戶端確定存儲有所述目標數據的每個DN的機房標識是否與所述客戶端的機房標識相同；

在所述客戶端確定所述全部DN包含機房標識與所述客戶端的機房標識相同的目標DN的情況下，從所述目標DN中讀取所述目標數據。

可選地，所述HDFS系統與機房數據管理服務器ZDMS和區域服務器ZS分別連接；在所述待備份數據為被跨機房讀取的數據的情況下，為待備份數據設置副本分布屬性，包括：

通過ZDMS從所述HDFS系統包括的管理節點NN中實時讀取歷史操作記錄，所述歷史操作記錄包括多個數據的歷史讀寫操作；

通過ZDMS根據讀取的歷史操作記錄中在不同機房的客戶端之間進行跨機房讀數據的歷史讀操作，生成多個緩存規則，每個所述緩存規則至少包括：被跨機房讀取的數據的存儲路徑、發起跨機房讀數據請求的客戶端所在的機房的原機房標識、被跨機房讀取的數據的副本數量和有效期；

通過ZS從ZDMS中讀取緩存規則，根據讀取的緩存規則為被跨機房讀取的數據設置副本分布屬性。

可選地，所述方法還包括：

通過ZS將讀取的緩存規則中的存儲路徑發送給所述NN；

通過所述NN根據接收到的存儲路徑，確定所述存儲路徑對應的DN標識，并將確定的DN標識返回給ZS；