[發明專利]數據文件可靠存儲方法

在審

• 申請號: 201810186581.0
• 申請日: 2018-03-07
• 公開（公告）號: CN108388658A
• 公開（公告）日: 2018-08-10
• 發明（設計）人: 楊曉瑩;吳偉杰
• 申請（專利權）人: 成都創信特電子技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L29/08
• 代理公司: 北京天奇智新知識產權代理有限公司 11340
• 代理人: 楊春

本發明提供了一種數據文件可靠存儲方法，該方法包括：將接收到的數據根據數據塊名劃分，并通過與數據塊名對應的通道傳送給DataNode的中繼單元；將來自所述中繼單元的結果數據傳輸給對應的云存儲服務器。本發明提出了一種數據文件可靠存儲方法，實現了實時變化的大數據集合的高效實時處理。

技術領域

本發明涉及云存儲，特別涉及一種數據文件可靠存儲方法。

背景技術

隨著信息技術的飛速發展，大量數據源帶來數據規模的爆發式增長，對大數據進行復雜計算已經遠遠超過單臺計算機的處理能力，由此推動了對大數據云計算系統的改進。云計算系統中將需要進行復雜計算的大數據劃分成小塊后，分交由多臺DataNode并行處理，并將局部計算結果整合得出最終結果。然而在異構的大數據環境中，存在實時傳輸的、持續產生的、非結構化數據。例如傳感器實時產生的監控數據，社交網絡產生的實時通信數據。面對這些始終變化著的大數據，如果不能對其進行高效率的實時處理，將錯過數據塊中攜帶的關鍵信息。現有的云計算系統無法整合來自多個異構數據源的數據，包括數值計算、數據挖掘和模型預測，實時地給出用戶關心的結果，也無法跨不同服務器共享存儲資源。即無法滿足多路徑環境和云計算系統多節點訪問存儲需求；包括對訪問沖突的防止和資源均衡的實現。

發明內容

為解決上述現有技術所存在的問題，本發明提出了一種數據文件可靠存儲方法，包括：

將接收到的數據根據數據塊名劃分，并通過與數據塊名對應的通道傳送給DataNode的中繼單元；將來自所述中繼單元的結果數據傳輸給對應的云存儲服務器。

優選地，所述中繼單元接收劃分后的數據，并將接收到的數據放入以待處理業務名稱命名的隊列中；

基于各待處理業務的優先級開啟待處理業務，并將待處理業務發送給DataNode計算單元；

所述計算單元開啟的待處理業務，對來自中繼單元的數據進行計算，并向中繼單元輸出計算之后的數據塊。

優選地，所述方法還包括：

使DataNode的數據傳輸和內部的邏輯計算隔離，將輸入數據按數據塊名劃分，并將數據傳送給中繼單元；中繼單元根據數據和當前DataNode的待處理業務的關聯關系，維護一個針對所有處于就緒狀態的待處理業務的分層隊列。

優選地，所述中繼單元根據DataNode的負載確定啟動多少個業務，并從分層隊列中選擇相應數量的、優先級最高的待處理業務啟動；

所述中繼單元還將數據傳送給執行待處理業務的計算單元，并接收經過計算單元處理后的結果數據；在包括上述DataNode的云計算系統中，對輸入或結果數據的劃分、融合和處理都在內存中完成。

本發明相比現有技術，具有以下優點：

本發明提出了一種數據文件可靠存儲方法，實現了實時變化的大數據集合的高效實時處理。

附圖說明

圖1是根據本發明實施例的數據文件可靠存儲方法的流程圖。

具體實施方式

下文與圖示本發明原理的附圖一起提供對本發明一個或者多個實施例的詳細描述。結合這樣的實施例描述本發明，但是本發明不限于任何實施例。本發明的范圍僅由權利要求書限定，并且本發明涵蓋諸多替代、修改和等同物。在下文描述中闡述諸多具體細節以便提供對本發明的透徹理解。出于示例的目的而提供這些細節，并且無這些具體細節中的一些或者所有細節也可以根據權利要求書實現本發明。

本發明的一方面提供了一種數據文件可靠存儲方法。圖1是根據本發明實施例的數據文件可靠存儲方法流程圖。本發明用于大數據處理的云計算系統包括多個DataNode。每個DataNode包括：