[發明專利]海量數據定向分類傳輸方法及系統

有效

• 申請號: 201711432769.0
• 申請日: 2017-12-26
• 公開（公告）號: CN108023895B
• 公開（公告）日: 2020-06-16
• 發明（設計）人: 曹新朝;金風明;譚小野;馬健;王建勛
• 申請（專利權）人: 北京中船信息科技有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08
• 代理公司: 北京市盛峰律師事務所 11337
• 代理人: 席小東

本發明提供一種海量數據定向分類傳輸方法及系統，海量數據定向分類傳輸系統包括數據供給方客戶端、數據需求方客戶端和網絡傳輸系統；所述數據供給方客戶端，用于收集數據，并將收集到的數據傳輸給網絡傳輸系統；所述數據需求方客戶端，用于向網絡傳輸系統發送獲取數據的請求消息；所述網絡傳輸系統，包括數據分類模塊、需求生成模塊、匹配度計算模塊和傳輸機制選擇模塊。優點為：數據傳輸的驅動力是需求端提出需求，系統根據需求定向發送數據，而在需求方沒有提出需求時，不進行數據的傳輸，針對不同的數據類型和用戶的需求，只傳輸必要的數據，減少了數據傳輸過程的擁堵，同時降低了能源消耗，從根本上解決了網絡擁堵問題。

技術領域

本發明屬于數據傳輸技術領域，具體涉及一種海量數據定向分類傳輸方法及系統。

背景技術

在大型設備制造的生產現場，布置著大量的傳感器等數據采集裝置，對車間環境，中間產品，設備狀態等信息進行監控，并實時傳輸到用戶終端。靜態管理信息(如產品三維模型、文字描述、數控代碼等)與實時狀態信息(如語音、現場錄像、位置信息等)構成了制造現場的海量數據，這些海量數據在傳輸過程中，不同類型的節點競爭傳輸系統上的優先權，無線頻帶中來自多個設備的此類干擾和增加的使用降低了網絡的整體性能，造成傳輸網絡的擁堵和延遲，并且可能造成網絡癱瘓、數據丟失等不可挽回的損失。例如，制造現場的監控視頻實時傳輸到用戶終端，當用戶提出想要查詢制造現場的其他數據信息時，兩種類型的數據同時傳輸，競爭無線信道中傳輸的優先權，可能會造成網絡的擁堵，擁堵信道的數據識別其他可傳輸的路徑，與更多的傳輸數據進行競爭，進而造成傳輸網絡大面積的擁堵和癱瘓，并且可能造成重要數據的丟失。

如今，解決數據擁堵的技術主要包括網絡服務質量(Quality of Service,QoS)與軟件定義網絡(Software-defined networking,SDN)。

網絡服務質量(QoS)是網絡提供給用戶的服務性能的一種測量，是指網絡在傳輸數據流時需要滿足的一系列服務請求，具體可以量化為帶寬、延遲、延遲抖動、丟失率等性能指標。通過制定不同的QoS指標，來監控數據傳輸過程中的擁堵和丟包等問題。利用QoS來控制擁堵的方式包括流量調節、擁塞管理和擁塞避免。流量調節是指：通過控制數據流的速率，推遲不合格數據傳輸時間，來保證數據均能正常傳輸，但會大大增加傳輸延遲；擁塞管理是指：根據數據的優先級和端口支持的隊列進行分類，用來區分不同的傳輸隊列，進行隊列與特定數據流的映射，利用這種方式，如果分配給某個隊列的資源都被占用了，依舊會產生擁堵；擁塞避免是指：根據數據的優先級，在達到一定的填滿程度之后，丟棄部分傳輸數據。可見，QoS擁塞控制機制并沒有完全解決擁塞和丟包問題，只在一定程度上避免網絡傳輸擁堵。

軟件定義網絡技術(SDN)采用分層的思想，將數據層和控制層分離。控制層掌握全局網絡信息，方便運營商和科研人員管理配置網絡和部署新協議；數據層的交換機僅具有簡單的數據轉發功能，可以快速處理匹配的數據包，適應流量日益增長的需求。系統能夠快速的聚合網絡資源，實現平均分配，通過分層技術，達到降低設備負載的目的，降低運行成本，減少網絡擁塞的情況。但這種網絡結構增加了組件的復雜性，路由器和控制器的功能分區還在研究階段，功能配置仍然是個懸而未決的事情。

由此可見，使用上述兩種方式進行數據傳輸，雖然通過增加控制協議或者改變系統方式，在一定程度上減少擁堵出現的概率，但并沒有從根本上解決傳輸過程中擁堵的問題，尤其是在大型的工業制造車間，存在海量的數據傳輸過程，例如生產過程的監控視頻的傳輸，數據種類復雜。因此，目前迫切需要從根本上解決傳輸過程中擁堵的問題。

發明內容

針對現有技術存在的缺陷，本發明提供一種海量數據定向分類傳輸方法及系數，可有效解決上述問題。

本發明采用的技術方案如下：

本發明提供一種海量數據定向分類傳輸方法，包括以下步驟：

步驟1，數據供給方客戶端收集數據，并將收集到的數據傳輸給網絡傳輸系統；