[發明專利]一種跨網絡環境遠程部署分布式數據采集節點的方法

有效

• 申請號: 201410051160.9
• 申請日: 2014-02-14
• 公開（公告）號: CN103795803B
• 公開（公告）日: 2018-10-26
• 發明（設計）人: 張明;李建明;盧向輝
• 申請（專利權）人: 浪潮天元通信信息系統有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

1.一種跨網絡環境遠程部署分布式數據采集節點的方法, 其特征在于內容包括：

數據采集系統基于安全文件傳送協議SFTP向各個前置采集節點下發采集任務，任務包括：數據采集規則、數據采集周期，前置采集節點根據采集任務對數據源進行數據采集，在采集數據的同時，前置采集節點對已完成采集的原始數據文件，先進行壓縮處理，然后通過安全文件傳送協議SFTP上傳壓縮文件，如果在傳輸過程中，出現網絡異常導致傳輸失敗，前置采集節點記錄已傳輸完成文件列表，下次上傳時只傳輸未上傳的文件，數據采集系統接收到上傳的壓縮文件后，先進行解壓處理，然后將解壓后原始數據文件，存放到指定目錄，后繼供上層應用使用；

具體的執行步驟說明如下：

步驟101：數據采集系統定期將各個前置采集節點的采集任務，以安全文件傳送協議SFTP方式下發到各個前置采集節點上，采集任務內容包括數據采集規則、數據采集周期；

步驟102：前置采集節點根據采集任務對數據源進行數據采集，采集過程中，根據采集規則和已采集文件列表對數據進行過濾，數據采集周期決定采集節點訪問數據源的頻率；

步驟103：前置采集節點根據已采集數據文件列表和已上傳文件列表，來判斷當前是否需要上傳文件，有，進入到步驟104；沒有，進入到步驟109；

步驟104：前置采集節點將待上傳的數據文件進行壓縮，然后通過安全文件傳送協議SFTP傳輸方式上傳到數據采集系統的指定目錄下，在文件上傳過程中，先作為臨時文件命名方式上傳，等文件完全上傳成功后，在重命名為正式文件，如果本次上傳過程中由于異常原因中止，則下次采集任務的執行過程中，會將未完成上傳的文件，一并上傳到數據采集系統中；

步驟105：數據采集系統檢測到有新上傳的采集數據壓縮文件后，對壓縮文件進行解壓處理；

步驟106：數據采集系統將解壓后的原始數據文件，存放到指定目錄下，供其他上層應用系統使用；

步驟107：前置采集節點將成功上傳的原始數據文件名稱，記錄到已上傳文件列表中；

步驟108：前置采集節點根據已采集數據文件列表，判斷本次數據采集任務是否已經完成，如果已完成，則進入到步驟109；如果未完成，則進入到步驟103；

步驟109：前置采集節點完成本次采集任務后，會將本次采集到的原始數據文件名稱，全部記錄到已采集文件列表，供下次采集任務過濾使用。

2.根據權利要求1所述的方法，其特征在于，前置采集節點與數據源對接。

3.根據權利要求1所述的方法，其特征在于，前置采集節點上傳數據文件時，先核對已上傳文件列表，對已上傳文件不再重新上傳。