[發明專利]工業互聯網數據處理系統及方法

有效

• 申請號: 202011600683.6
• 申請日: 2020-12-29
• 公開（公告）號: CN112671922B
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 孫亞東;王志海;王聞馨;喻波;魏力
• 申請（專利權）人: 北京明朝萬達科技股份有限公司
• 主分類號: H04L67/1001
• 分類號: H04L67/1001;H04L67/1095;H04L67/1097;H04L67/12;H04L43/12
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 楊愛平

本發明實施例提供一種工業互聯網數據處理系統及方法，其中系統包括：數據采集探針組件，用于獲取包括工業互聯網對應的網絡流量數據和日志數據的數據集合并緩存，根據獲取的網絡負載狀態和/或本地數據存儲狀態，將數據集合發送；數據存儲裝置，用于接收數據采集探針組件發送的數據集合并存儲，基于預設數據標準對已存儲的數據集合中的數據進行整合生成標準化數據源；數據傳輸總線，用于在接收到上層應用發送的數據請求的情況下，基于庫直連同步、數據文件同步或者接口服務同步，在標準化數據源中獲取數據請求對應的目標數據并傳輸至上層應用。本發明可以降低數據采集成本，降低網絡負載，提高數據整合效率，為上層應用提供標準的數據服務。

技術領域

本發明涉及工業互聯網技術領域，特別是涉及一種工業互聯網數據處理系統及方法。

背景技術

在裝備制造企業的網絡架構內，涉及網絡協議(Internet Protocol，IP)網絡和工控網絡，IP網絡主要服務于生產經營管理人員，采用傳輸控制協議(Transmission ControlProtocol，TCP)\IP協議族，對應于大量辦公終端、結構化與非結構化數據庫、大量業務系統。工控網絡主要為生產設備和現場設備管理人員服務，采用工控環網，包括大量上位機、下位機、分散控制系統(Distributed Control System，DCS)等工業數據庫、工業應用軟件。

采集IP網絡和工控網絡的網絡流量數據以及設備、終端、應用的日志數據，對于應對網絡安全問題，保障業務持續運行具有重要作用。但是在數據采集過程中，由于網絡異構、設備多、應用多，導致企業不同網域、不同應用、不同終端采用了千差萬別的采集系統，使得數據采集實施成本高。且在裝備制造業這種重資產、大量設備應用的環境中，存在數以萬計的采集點，在數據采集后，需要實時調用存儲服務器，發送數據，占用了大量網絡資源，易導致重要業務延時。同時由于采集源十分廣泛，因此數據結構與元數據非常不統一，上層業務系統在使用數據時，需要花費大量時間進行數據整合工作，嚴重影響業務運營效率。

由此可見，現有技術中，在面對裝備制造業工業互聯網進行數據采集、存儲以及整合時，存在采集實施成本高、網絡負載大以及整合效率低的弊端。

發明內容

本發明提供了一種工業互聯網數據處理系統及方法，以解決現有技術中在面對裝備制造業工業互聯網進行數據采集、存儲以及整合時，存在的采集實施成本高、網絡負載大以及整合效率低的問題。

第一方面，本發明實施例提供了一種工業互聯網數據處理系統，包括：

數據采集探針組件，用于獲取包括工業互聯網對應的網絡流量數據和日志數據的數據集合并緩存，根據獲取的網絡負載狀態和/或本地數據存儲狀態，將所述數據集合發送；

數據存儲裝置，用于接收所述數據采集探針組件發送的所述數據集合，將所述數據集合存儲，基于預設數據標準對已存儲的所述數據集合中的數據進行整合，生成標準化數據源；

數據傳輸總線，用于在接收到上層應用發送的數據請求的情況下，基于庫直連同步、數據文件同步或者接口服務同步，在所述數據存儲裝置的標準化數據源中獲取所述數據請求對應的目標數據并傳輸至所述上層應用。

第二方面，本發明實施例提供了一種工業互聯網數據處理方法，應用于數據處理系統，包括：

獲取包括工業互聯網對應的網絡流量數據和日志數據的數據集合并緩存，根據獲取的網絡負載狀態和/或本地數據存儲狀態，觸發所述數據集合的存儲，其中，所述數據集合在被發送至目標位置后進行存儲；

基于預設數據標準對已存儲的所述數據集合中的數據進行整合，生成標準化數據源；

接收到上層應用發送的數據請求的情況下，基于庫直連同步、數據文件同步或者接口服務同步，在所述標準化數據源中獲取所述數據請求對應的目標數據并傳輸至所述上層應用。