[發明專利]一種多路監控數據傳輸優化方法

有效

• 申請號: 202110088751.3
• 申請日: 2021-01-22
• 公開（公告）號: CN112925689B
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 張為華;王發令;趙如全
• 申請（專利權）人: 復旦大學
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F9/50
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;陸尤

本發明屬于監控數據傳輸技術領域，具體為一種多路監控數據傳輸優化方法。本發明針對多個數據傳輸路徑的數據進行優化，目標是對多路的數據統一管理，以便減少監控數據的傳輸數據量；具體分為對監控數據不變部分的傳輸過程優化和對監控數據變化部分的傳輸過程優化。本發明優化方法不依賴于數據的類型且由數據表管理模塊統一管理，并根據多路數據中的不變數據提取到數據表，變化的數據在一段時間內取一個基礎值，然后后續數據只發送基礎值的增加內容，本發明的監控數據傳輸方法更加靈活和高效，且不依賴于監控數據的內容；可有效減少監控數據的傳輸數據量。

技術領域

本發明屬于計算機系統軟件技術領域，具體涉及一種多路數據傳輸優化方法。

背景技術

監控數據傳輸是指在數據采集客戶端和數據接收服務器之間傳輸監控數據，隨著互聯網應用的迅速發展，當前系統的規模不斷增加，使得采集的監控數據量急劇上升，直接向網絡傳輸大量的監控數據會增加網絡的負擔，甚至導致網絡癱瘓。

傳統網絡傳輸優化方法使用壓縮算法對傳輸數據直接進行壓縮，但傳統方法沒有考慮多路監控數據的相關性，在應對大規模監控數據采集時滿足不了需求，為此本發明提出了基于多路數據的傳輸優化方法，

在采集多路監控數據時，提取多路數據源的公共字段并構建共享表，可以充分利用共享信息表，有效的減少監控數據的傳輸數據量。

當前在監控數據傳輸的方法有不同的優化方式。李佳提出了車用遠程實時監控數據傳輸方法及系統（CN110481250A）實現了對原始監控數據的采樣，然后對采樣數據計算后上傳至云端數據中心；柳鯤鵬等人提出了一種監控數據傳輸系統及其實現方法（CN104780347A）實現了對視頻數據的分類，服務器根據不同分辨率的視頻數據進行選擇性的發送；廖福瑋提出了一種分布式監控數據傳輸系統（CN105207352A）實現了分布式布局下的設備數據的傳輸，可以不受地理約束；李正民等人提出了基于統計信息的監控數據傳輸系統（CN109743230A）實現了對主機分組，可以動態地指定該組內主機需要監控的指標。

發明內容

本發明的目的在于提供一種靈活、高效且不依賴于監控數據內容的多路監控數據傳輸優化方法。

本發明提供的監控數據傳輸優化方法，針對多個數據傳輸路徑的數據進行優化，目標是對多路的數據統一管理，以便減少監控數據的傳輸數據量。多路數據的傳輸如圖1所示，多路數據的每路數據都有采集源，多路數據的采集源同時進行監控數據的采集。為達到多路數據傳輸優化的目的，本發明將監控數據分為兩部分：不變數據和變化數據，根據這兩部分的特點，分別對監控數據的不變部分和變化部分傳輸過程進行優化。對于不變數據，通過共享表對公共部分進行管理，設計了一種多路數據傳輸優化技術，系統框架如圖2；對于變化數據，選定一段時間內的首個變化數據作為該時間段內的基礎值，其后的數據只發送基礎值的增量部分，系統框架如圖3。

本發明方法的具體操作流程，對于不變數據，根據階段，分為共享表構建、監控數據插入、監控數據替換和監控數據傳輸、監控數據查找和監控數據存儲六個部分，如圖2所示，對于變化數據，根據階段，分為選定基礎值數據和計算增量數據兩個部分。

所述共享表構建，其過程主要有：共享表用來保存多路數據的公共不變數據，共享表的公共不變數據與一個唯一的Number編號對應，每次有新的不變數據產生時，都會在共享表中記錄，每個數據源只需要在初始發送數據時構建共享表，共享表一旦建立，可供做個采集數據源使用。

所述監控數據插入，其過程主要有：監控數據采集后首先將數據的不變部分與共享表中已經記錄的數據進行比較，判斷是否該數據在共享表中是否記錄。如果沒有記錄，就向共享表中插入該條數據和對應的Number編號，不再進行下一步的監控數據替換過程；如果有記錄，不再向共享表中插入數據，直接取出該數據的Number編號，接著進行下一步的監控數據替換過程。