[發明專利]一種數據傳輸的處理方法及處理系統

在審

• 申請號: 202110909249.4
• 申請日: 2021-08-09
• 公開（公告）號: CN113608700A
• 公開（公告）日: 2021-11-05
• 發明（設計）人: 徐小君
• 申請（專利權）人: 北京隆普智能科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京卓特專利代理事務所(普通合伙) 11572
• 代理人: 段旺

本申請公開了一種數據傳輸的處理方法及處理系統，其中數據傳輸的處理方法具體包括以下步驟：接收數據；進行數據存儲傳輸路徑的構建；將數據存儲至數據存儲傳輸路徑中；根據數據的存儲，確定數據的有效存儲路徑；進行有效路徑的異常檢測；若異常檢測合格，則將接收數據存儲至有效存儲路徑中。本申請能夠在接收數據后，對數據的傳輸存儲路徑進行有效和高效的規劃，并不斷對該路徑進行優化，保證了數據傳輸過程的可靠與安全性。

技術領域

本申請涉及數據處理領域，具體地，涉及一種數據傳輸的處理方法及處理系統。

背景技術

隨著數據的爆炸式增長，分布式存儲系統如何對海量數據有效的進行查詢、寫入等處理成為了數據存儲領域的研究重點。目前數據存儲的方式主要是，通過設置一大型數據庫來專用的存儲海量數據，這種數據存儲方式，雖然可通過大型數據庫滿足海量數據的高存儲量要求，但從大型數據庫中查詢、寫入某一數據的效率大幅的降低，犧牲了數據處理效率。并且，在數據的傳輸存儲的過程中，也會遭遇各種不確定的因素而導致存儲鏈路所不能進行數據的存儲。

因此如何在兼顧數據處理效率，和海量數據的高存儲量要求的情況下，實現數據的傳輸和存儲，成為本領域技術人員急需解決的問題。

發明內容

本申請提供了一種數據傳輸的處理方法，具體包括以下步驟：接收數據；進行數據存儲傳輸路徑的構建；將數據存儲至數據存儲傳輸路徑中；根據數據的存儲，確定數據的有效存儲路徑；進行有效路徑的異常檢測；若異常檢測合格，則將接收數據存儲至有效存儲路徑中。

如上的，其中，若異常檢測不合格，則重新選取再生節點。

如上的，其中，存儲傳輸路徑由系統節點構成，系統節點包括根節點、中路節點和葉節點。

如上的，其中，將接收的數據存儲至中路節點與葉節點中。

如上的，其中，當接收數據的數據量過大時，將數據分塊存儲至不同的中路節點，或將數據分塊存儲至不同的葉節點中。

如上的，其中，根據數據的存儲，確定數據的有效存儲路徑，包括以下子步驟：根據數據在數據存儲傳輸路徑中的存儲情況，確定有效存儲路徑；查看有效路徑是否能完全容納接收數據；進行新的有效路徑的構建。

如上的，其中，進行新有效路徑的構建還包括，根據評估指標，查看存儲數據的節點是否能進行節點的再生。

如上的，其中，評估指標b1具體表示為；

其中，v表示磁盤讀寫速度，v_max和v_min為預先設定的磁盤讀寫速度比對標準。

如上的，其中，選擇存儲數據的任意一個節點進行多個節點的再生，直至存儲數據以及再生節點完全容納接收的數據。

一種數據傳輸的處理系統，包括接收單元、構建單元、第一存儲單元、路徑確定單元、異常檢測單元、選取單元以及第二存儲單元；接收單元，用于接收數據；構建單元，用于進行數據存儲傳輸路徑的構建；第一存儲單元，用于將數據存儲至數據存儲傳輸路徑中；路徑確定單元，用于根據數據的存儲，確定數據的有效存儲路徑；異常檢測單元，用于進行有效路徑的異常檢測；選取單元，用于若異常檢測不合格，則重新選取再生節點；第二存儲單元，用于若異常檢測合格，將接收數據存儲至有效存儲路徑中。

本申請具有以下有益效果：

本申請提供的數據傳輸的處理方法及處理系統能夠在接收數據后，對數據的傳輸存儲路徑進行有效和高效的規劃，并不斷對該路徑進行優化，保證了數據傳輸過程的可靠與安全性。

附圖說明