[發明專利]一種大數據中轉傳輸同步及存儲方法

有效

• 申請號: 201510400002.4
• 申請日: 2015-07-09
• 公開（公告）號: CN105049504B
• 公開（公告）日: 2019-03-05
• 發明（設計）人: 郭宇;艾建文;季統凱
• 申請（專利權）人: 國云科技股份有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 廣東莞信律師事務所 44332
• 代理人: 余倫

1.一種大數據中轉傳輸同步及存儲方法，其特征在于：所述的方法是處于不同網域的分布式集群之間，通過一個網絡中擁有公共IP的節點作為名稱節點，存儲其他位于局域網內的數據節點映射信息與塊信息；名稱節點所在網域中選擇性搭建起HDFS作為中轉服務器的存儲系統；客戶端集群之間，通過與中轉服務器的通信，根據所屬具體網絡環境，通過中轉服務器的存儲系統作為跳板，傳輸所需海量大數據；數據傳輸所用HDFS接口采用RESTful風格發布作為webHDFS的變種實現；在中轉服務器各數據節點中建立數據完整性校驗機制，保證數據完整與安全；

所述的方法中，如果需要進行傳輸的數據位于異地分布式集群且在傳輸過程中客戶端雙方無法直接取得連接；則通過存儲在名稱節點上的信息，獲取到客戶端所需同步傳輸模塊所在地址，通過RESTful的HDFS接口于TCP/IP之上將位于所述客戶端的不同數據節點上的數據并發傳輸至中轉服務器的存儲系統，傳輸完成后通過MD5完成數據完整校驗，如果數據傳輸過程中出現丟包，則等待重傳直到傳輸完整或任務失敗；在待同步數據傳輸至中轉服務器后，利用相同原理連接另一個客戶端，將數據并發傳輸至所述另一客戶端的數據節點完成同步。

2.根據權利要求1所述的大數據中轉傳輸同步及存儲方法，其特征在于：所述的方法中，HDFS分布式文件存儲工作流程是：處于客戶端的分布式集群數據節點通過統一網關與外界因特網相連，擁有公用對外IP地址，處于中轉服務器端各數據節點擁有獨立公有IP地址，其信息存儲在名稱節點中；客戶端數據節點集群與名稱節點建立多對一連接關系，并發將客戶端各數據節點中數據發送至中轉服務器的存儲系統。

3.根據權利要求1所述的大數據中轉傳輸同步及存儲方法，其特征在于：當MD5碼校驗成功，則將本塊信息冗余至另外2個客戶端數據節點，并返回成功標志；當MD5碼指示傳輸丟包后，根據當前傳輸塊信息，從名稱節點中獲取塊信息與索引信息，從擁有該塊的中轉服務器數據節點中隨機選擇一個節點完成重傳，達到負載均衡。

4.根據權利要求2所述的大數據中轉傳輸同步及存儲方法，其特征在于：當MD5碼校驗成功，則將本塊信息冗余至另外2個客戶端數據節點，并返回成功標志；當MD5碼指示傳輸丟包后，根據當前傳輸塊信息，從名稱節點中獲取塊信息與索引信息，從擁有該塊的中轉服務器數據節點中隨機選擇一個節點完成重傳，達到負載均衡。

5.根據權利要求1至4任一項所述的大數據中轉傳輸同步及存儲方法，其特征在于：所述方法的主要步驟是：

S1.名稱節點檢查讀寫請求的目標文件是否存在，權限是否滿足，滿足則進入下一步S2，否則向客戶端報告異常；

S2.讀寫文件之前，客戶端數據節點先將文件切分為多個包，向名稱節點申請塊空間存儲數據節點列表；

S3.以packet作為傳輸基本單元，從客戶端數據節點中讀取或寫入所需的數據塊；完成一個客戶端數據節點的讀寫后，繼續下一個客戶端數據節點的讀寫；

S4.在過程中如果出現錯誤，則該讀寫過程結束，名稱節點會在其他冗余機中，選擇一個新的客戶端數據節點作為替代，將出現錯誤的客戶端數據節點替換掉，然后繼續讀寫；

S5.在完成過程后，名稱節點更新其上的塊信息與映射信息。

6.根據權利要求1至4任一項所述的大數據中轉傳輸同步及存儲方法，其特征在于：

以webHDFS的形式將中轉服務器端HDFS接口RESTful風格化對外暴露，在中轉服務器中加入身份驗證與權限驗證，保證整個系統的安全性；其具體HDFS接口與RESTful風格對接對應關系包括：綁定RESTful的Get操作和綁定RESTful的Put操作；

在綁定了所需RESTful對外接口前，需要保證Hadoop平臺的正確搭建與啟動；在客戶端根據暴露的接口直接和名稱節點進行通信，名稱節點收到相應的操作后通過驗證，則觸發相應動作進行處理。

7.根據權利要求5所述的大數據中轉傳輸同步及存儲方法，其特征在于：

以webHDFS的形式將中轉服務器端HDFS接口RESTful風格化對外暴露，在中轉服務器中加入身份驗證與權限驗證，保證整個系統的安全性；其具體HDFS接口與RESTful風格對接對應關系包括：綁定RESTful的Get操作和綁定RESTful的Put操作；

在綁定了所需RESTful對外接口前，需要保證Hadoop平臺的正確搭建與啟動；在客戶端根據暴露的接口直接和名稱節點進行通信，名稱節點收到相應的操作后通過驗證，則觸發相應動作進行處理。