[發明專利]一種跨網絡環境遠程部署分布式數據采集節點的方法

有效

• 申請號: 201410051160.9
• 申請日: 2014-02-14
• 公開（公告）號: CN103795803B
• 公開（公告）日: 2018-10-26
• 發明（設計）人: 張明;李建明;盧向輝
• 申請（專利權）人: 浪潮天元通信信息系統有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

本發明提供一種跨網絡環境遠程部署分布式數據采集節點的方法，該方法用于針對數據采集系統與數據源相距很遠,連接二者的網絡環境復雜，網速不穩定的情況下，將采集節點前置，進行基于安全文件傳送協議SFTP的文件傳輸方式的數據采集，針對數據采集的遠程跨網絡采集、海量數據傳輸、采集數據時效性和完整性要求高的特點，提供一種跨網絡環境遠程部署分布式數據采集節點的機制，通過將數據采集節點遠程部署，拉近采集節點與數據源的距離，規避了網絡環境因素的影響，提高了對原始數據的采集效率。同時采集節點將已經采集好的原始數據進行打包壓縮后，基于安全文件傳送協議SFTP把文件傳輸到數據采集系統中，在保證數據安全性的同時，實現了邊采集邊傳輸。

技術領域

本發明涉及一種計算機應用技術領域, 具體地說是一種跨網絡環境遠程部署分布式數據采集節點的方法。

背景技術

在信息行業快速發展的今天，數據采集已經被廣泛應用于各個行業領域，如電信、教育、醫藥衛生、交通運輸等等。尤其是在電信領域中，有很多業務支撐系統，例如網絡性能管理系統（NPM）、設備管理系統（FM）等，都是通過數據采集來獲取原始數據。

上述數據采集具有下列特點：

1）數據源分布地域廣闊，與數據采集系統相距很遠，從數據源到數據采集系統之間路由經過的網絡環境復雜，存在網速不穩定、網絡易掉線等情況，對數據傳輸質量產生很大影響；

2）數據源數量眾多，并且每個數據源在單位時間內需要輸出的原始數據量很大，直接導致采集節點采集到數據量巨大，最終匯總到數據采集系統的數據量為海量數據；

3）采集節點采集的原始數據需要及時傳回到后端的數據采集系統中，以確保采集數據的時效性，并且在遠程文件傳輸過程中，需要確保不會造成文件內容的丟失，被竊取或篡改，保證采集數據的完整性；

因此，當前迫切需要一種全新的數據采集機制，來解決遠程跨網絡采集、海量數據傳輸、數據時效性和完整性要求高等難題。

發明內容

本發明的目的是提供一種跨網絡環境遠程部署分布式數據采集節點的方法。

本發明的目的是按以下方式實現的，如圖1所示。數據采集系統基于安全文件傳送協議（SFTP）向各個前置采集節點下發采集任務（包括數據采集規則、數據采集周期等），前置采集節點根據采集任務對數據源進行數據采集，在采集數據的同時，采集節點對已完成采集的原始數據文件，先進行壓縮處理，然后通過安全文件傳送協議（SFTP）上傳壓縮文件，如果在傳輸過程中，出現網絡異常導致傳輸失敗，采集節點記錄已傳輸完成文件列表，下次上傳時只傳輸未上傳的文件，數據采集系統接收到上傳的壓縮文件后，先進行解壓處理，然后將解壓后原始數據文件，存放到指定目錄，后繼供上層應用使用。

按照上述描述的技術方案，具體的執行步驟如圖2所示，說明如下：

步驟101：數據采集系統定期將各個采集節點的采集任務，以安全文件傳送協議（SFTP方式下發到各個節點上，采集任務內容包括數據采集規則、數據采集周期等。

步驟102：前置采集節點根據采集任務對數據源進行數據采集，采集過程中，根據采集規則和已采集文件列表對數據進行過濾，數據采集周期決定采集節點訪問數據源的頻率。

步驟103：前置采集節點根據已采集數據文件列表和已上傳文件列表，來判斷當前是否需要上傳文件，如果有，進入到步驟104；如果沒有，進入到步驟109。

步驟104：將待上傳的數據文件進行壓縮，然后通過安全文件傳送協議（SFTP）傳輸方式上傳到數據采集系統的指定目錄下。在文件上傳過程中，先作為臨時文件命名方式上傳，等文件完全上傳成功后，在重命名為正式文件。如果本次上傳過程中由于異常原因中止，則下次采集任務的執行過程中，會將未完成上傳的文件，一并上傳到數據采集系統中。