[發明專利]一種大數據分組傳輸方法

在審

• 申請號: 202011201591.0
• 申請日: 2020-11-02
• 公開（公告）號: CN112311888A
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 艾的夢
• 申請（專利權）人: 深圳市賽宇景觀設計工程有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L29/06
• 代理公司: 北京化育知識產權代理有限公司 11833
• 代理人: 尹均利

本申請公開了一種大數據分組傳輸方法，包括：MEC節點獲取接入終端發送的第一HTTP/2消息；MEC節點基于CA證書對HTTP/2請求消息進行認證，并在認證成功后，將第一HTTP/2消息透發至云存儲節點；云存儲節點設置第一獨立存儲空間，并將第一數據包存儲至第一獨立存儲空間；云存儲節點接收第N個HTTP/2消息，第N個HTTP/2消息中包含有第N個數據包，其中第N個數據包中具備第N?1待處理數據；將第N?1待處理數據存儲至第一獨立存儲空間，并將第一起始標識符、第一待處理數據及第N?1待處理數據按照第一索引表定義的順序，拼接成第一應用消息，并在第一應用消息中添加鏈式存儲的第一區塊數據，第一區塊數據用于對第一應用消息進行防篡改保護。

技術領域

本申請涉及數據處理技術領域，尤其涉及大數據分組傳輸方法。

背景技術

大數據，是一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統數據庫軟件工具能力范圍的數據集合，具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特征。

大數據存儲在云端，由多個云存儲節點進行存儲，但是海量的數據對于大數據的數據存儲而言是一個極大的挑戰，尤其是接收到分組的數據包時，需要預先將該分組數據包按照隊列方式存儲至云存儲節點的緩存中，若該緩存不能及時釋放，會造成大數據內存溢出等異常情況，從而導致應用消息接收失敗。此外，在數據分組傳輸過程中分幀數據極易被入侵或篡改，應用消息本身的安全性也無法保證。

發明內容

本申請實施例提供一種大數據分組傳輸方法，用于解決現有技術中大數據存儲溢出導致應用消息接收失敗、應用消息安全性低的問題。

本發明實施例提供一種大數據分組傳輸方法，包括：

多邊緣計算MEC節點獲取接入終端發送的第一HTTP/2消息，所述HTTP/2消息中包含所述接入終端ID、第一數據包及數字認證CA證書，且所述第一數據包中具備第一索引表及第一起始標識符，所述第一起始標識符為第一應用消息的起始標識符；

所述MEC節點基于所述CA證書對所述HTTP/2請求消息進行認證，并在認證成功后，將所述第一HTTP/2消息透發至云存儲節點；

所述云存儲節點設置第一獨立存儲空間，并將所述第一數據包存儲至所述第一獨立存儲空間，其中所述第一獨立存儲空間與所述云存儲節點其余存儲空間相隔離；

所述云存儲節點接收所述MEC節點認證成功并透發的第二HTTP/2消息，所述第二HTTP/2消息中包含有第二數據包，其中所述第二數據包中具備第一待處理數據；

所述云存儲節點提取所述第一待處理數據，并基于所述第一索引表，判斷所述第一待處理數據是否屬于所述第一應用消息的分幀數據；

當所述云存儲節點判斷出所述第一待處理數據屬于第一應用消息的分幀數據時，將所述第一待處理數據存儲至所述獨立存儲空間；

所述云存儲節點接收所述MEC節點認證成功并透發的第N個HTTP/2消息，所述第N個HTTP/2消息中包含有第N個數據包，其中所述第N個數據包中具備第N-1待處理數據，所述N為大于3的自然數；

所述云存儲節點提取所述第N-1待處理數據，并基于所述第一索引表，判斷所述第一待處理數據是否屬于所述第一應用消息的分幀數據，且屬于所述第一應用消息的最后一個數據幀；

所述云存儲節點將所述第N-1待處理數據存儲至所述第一獨立存儲空間，并將所述第一起始標識符、第一待處理數據及第N-1待處理數據按照所述第一索引表定義的順序，拼接成所述第一應用消息，并在所述第一應用消息中添加鏈式存儲的第一區塊數據，所述第一區塊數據用于對所述第一應用消息進行防篡改保護；