[發明專利]一種數據跨網傳輸方法及裝置

在審

• 申請號: 202011554028.1
• 申請日: 2020-12-24
• 公開（公告）號: CN112738188A
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 王彤;黃勇;田翔;范亞洲;周恩澤;魏瑞增;郭圣;劉淑琴
• 申請（專利權）人: 廣東電網有限責任公司電力科學研究院
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L29/06
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

本發明公開了一種數據跨網傳輸方法及裝置，應用于數據跨網采集傳輸系統，所述數據跨網采集傳輸系統包括處于不同網絡的多個分布式數據采集主機，網閘和數據匯集主機；所述分布式數據采集主機上部署有數據采集Agent；所述數據匯集主機上部署有數據匯集Agent；其中，方法包括：所述數據匯集主機通過所述數據匯集Agent接收所述網閘發送的待匯集數據；所述待匯集數據為多個所述分布式數據采集主機分別通過對應的所述數據采集Agent采集得到；對所述待匯集數據進行校驗；當校驗通過時，完成數據傳輸。解決了現有的數據跨網傳輸方法的傳輸可靠性較低、傳輸效率和傳輸速度慢的技術問題。

技術領域

本發明涉及數據傳輸技術領域，尤其涉及一種數據跨網傳輸方法及裝置。

背景技術

為引入衛星遙感數據、環境監測數據為電網日常運營管理提供服務，需建立數據采集匯總、統一管理的平臺。衛星遙感數據種類繁多，數據來源各異，統計包括高分系列衛星數據、資源系列衛星數據、高景衛星數據、吉林一號衛星數據、風云衛星數據，以及通過內部網絡和互聯網采集的哨兵衛星數據、landsat、AMSR2、METOP-A/B、AVHRR、Himawari8，以及臺風路徑及強度數據、氣象雷達數據、數值模式預報數據等。同時，大數據管理平臺統一接收各類傳感器、監測站上傳的實時數據。

根據業務要求和安全要求，各類型數據大多部署在不同的網絡中，來自多種監測設施。例如，高分衛星數據來自國家航天局的數據分發平臺，資源衛星數據來自國家資源衛星應用中心的陸地觀測衛星數據服務平臺，AMSR2、METOP-A/B、AVHRR來自合作方數據分發平臺，Himawari8來自自建衛星數據接收站，部分野外環境監測數據來自獨立的數據傳輸專用網絡。各數據網絡傳輸速率、信道質量、保密等級、安全要求差異很大。

為統一保存、管理、使用、分發這些數據，需建設多源異構數據的跨網絡采集子系統，適應復雜網絡環境要求，完成數據采集匯總。因此，針對這些數據中高價值、高要求的內容，需要在跨網的情況下，要確保數據的可靠性，必須采用一定的機制實現跨網可信數據傳輸。

然而，簡單環境下數據采集，大多簡單的采用基于TCP、UDP/IP的FTP、HTTP協議，進行數據點到點的傳輸，在數據源單一、網絡環境單純的情況下，能夠完成某種數據的傳輸任務，但是，在大數據管理平臺采集匯總數據時，需要在安全要求高的網絡中跨網傳輸數據，滿足不同信息系統規定的等保要求和業務管理規范，且存在數據傳輸的完整性、一致性和時間排序等方面的要求，要統一解決多源異構數據跨網傳輸問題，并保證傳輸的可靠性。

此外，跨網環境下數據傳送，采用其它手段，如光盤擺渡機、移動存儲設備拷貝等，均無法在數據傳輸效率、速度上滿足要求。

發明內容

本發明提供了一種數據跨網傳輸方法及裝置，用于解決現有的數據跨網傳輸方法的傳輸可靠性較低、傳輸效率和傳輸速度慢的技術問題。

本發明提供的一種數據跨網傳輸方法，應用于數據跨網采集傳輸系統，所述數據跨網采集傳輸系統包括處于不同網絡的多個分布式數據采集主機，網閘和數據匯集主機；所述分布式數據采集主機上部署有數據采集Agent；所述數據匯集主機上部署有數據匯集Agent；所述方法包括：

所述數據匯集主機通過所述數據匯集Agent接收所述網閘發送的待匯集數據；所述待匯集數據為多個所述分布式數據采集主機分別通過對應的所述數據采集Agent采集得到；

對所述待匯集數據進行校驗；

當校驗通過時，向所述分布式數據采集主機發送確認信息，完成數據傳輸。

可選地，所述對所述待匯集數據進行校驗的步驟，包括：

接收所述網閘發送的所述待匯集數據的數據標簽；

采用預設歷史標簽對所述數據標簽進行校驗。

可選地，還包括：