[發明專利]一種大數據中轉傳輸同步及存儲方法

有效

• 申請號: 201510400002.4
• 申請日: 2015-07-09
• 公開（公告）號: CN105049504B
• 公開（公告）日: 2019-03-05
• 發明（設計）人: 郭宇;艾建文;季統凱
• 申請（專利權）人: 國云科技股份有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 廣東莞信律師事務所 44332
• 代理人: 余倫

本發明涉及數據傳輸與同步技術領域，尤其是一種面向不同網域之間的大數據中轉傳輸同步及存儲方法。本發明所述的方法是處于不同網域的分布式集群之間，通過一個網絡中擁有公共IP的節點作為名稱節點，存儲其他位于局域網內的數據節點映射信息與塊信息；名稱節點所在網域中選擇性搭建起HDFS作為中轉服務器的存儲系統；客戶端集群之間，通過與中轉服務器的通信，根據所屬具體網絡環境，通過中轉服務器的存儲系統作為跳板，傳輸所需海量大數據；數據傳輸所用HDFS接口采用RESTful風格發布作為webHDFS的變種實現；在中轉服務器各數據節點中建立數據完整性校驗機制，保證數據完整與安全。本發明可以應用于跨域分布式海量數據的傳輸、同步中。

技術領域

本發明涉及數據傳輸與同步技術領域，尤其是一種面向不同網域之間的大數據中轉傳輸同步及存儲方法。

背景技術

隨著信息技術的快速發展，數據信息量的爆炸式增長，傳統的數據存儲及處理的模式已經難以滿足當今時代對于高速、靈敏反應的需求，而分布式和虛擬化技術的應用帶來了解決方案的同時，也提出了其他方面的要求及問題，分布式間大數據的傳輸也成為其中一個關鍵問題。如何解決快速、安全、穩定的跨網傳輸成為關注的熱點，在Hadoop分布式文件系統中出現的webHDFS給出了一個解決該問題的可能性。

發明內容

本發明解決的技術問題在于提供一種面向不同網域之間的大數據中轉傳輸同步及存儲方法；實現海量數據傳輸、數據完整性校驗、分布式文件存儲、HDFS的RESTful接口定義使用以及點對點大數據同步的中轉。

本發明解決上述技術問題的技術方案是：

所述的方法是處于不同網域的分布式集群之間，通過一個網絡中擁有公共IP的節點作為名稱節點，存儲其他位于局域網內的數據節點映射信息與塊信息；名稱節點所在網域中選擇性搭建起HDFS作為中轉服務器的存儲系統；客戶端集群之間，通過與中轉服務器的通信，根據所屬具體網絡環境，通過中轉服務器的存儲系統作為跳板，傳輸所需海量大數據；數據傳輸所用HDFS接口采用RESTful風格發布作為webHDFS的變種實現；在中轉服務器各數據節點中建立數據完整性校驗機制，保證數據完整與安全。

所述的方法中，如果需要進行傳輸的數據位于異地分布式集群且在傳輸過程中客戶端雙方無法直接取得連接；則通過存儲在中轉服務器名稱節點上的信息，獲取到客戶端所需同步傳輸模塊所在地址，通過RESTful的HDFS接口于TCP/IP之上將位于不同數據節點上的數據并發傳輸至中轉服務器的存儲系統，傳輸完成后通過MD5完成數據完整校驗，如果數據傳輸過程中出現丟包，則等待重傳直到傳輸完整或任務失敗；在待同步數據傳輸至中轉服務器后，利用相同原理連接另一個客戶端，將數據并發傳輸至其各數據節點完成同步。

所述的方法中，HDFS分布式文件存儲工作流程是：處于客戶端的分布式集群數據節點通過統一網關與外界因特網相連，擁有公用對外ip地址，處于服務器端各數據節點可擁有獨立公有Ip地址，其信息存儲在服務器名稱節點中；客戶端數據節點集群與服務器名稱節點集群建立一對多連接關系，并發將客戶端各數據節點中數據發送至中轉服務器的存儲系統。

當MD5碼校驗成功，則將本塊信息冗余至另外2個數據節點，并返回成功標志；當MD5碼指示傳輸丟包后，根據當前傳輸塊信息，從名稱節點中獲取塊信息與索引信息，從擁有該塊的數據節點中隨機選擇一個節點完成重傳，達到負載均衡。

所述方法的主要步驟是：

S1.服務器名稱節點檢查讀寫請求的目標文件是否存在，權限是否滿足，滿足則進入下一步S2，否則向客戶端報告異常；

S2.讀寫文件之前，數據節點先將文件切分為多個包，向名稱節點申請塊空間存儲數據節點列表；

S3.以packet作為傳輸基本單元，從數據節點中讀取或寫入所需的數據塊；完成一個數據節點的讀寫后，繼續下一個數據節點的讀寫；