[發明專利]基于工業大數據的數據采集系統及方法

有效

• 申請號: 201810141488.8
• 申請日: 2018-02-11
• 公開（公告）號: CN108566369B
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 王瑩;楊碩;孔華永
• 申請（專利權）人: 中國神華能源股份有限公司;神華信息技術有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08;H04L12/851
• 代理公司: 北京潤平知識產權代理有限公司 11283
• 代理人: 陸文超;肖冰濱

1.一種基于工業大數據的數據采集系統，其特征在于，該數據采集系統包括：

數據采集接口，該數據采集接口包括：第一共享內存區，

所述數據采集接口用于通過多進程并發形式采集所述工業大數據，對所述工業大數據進行數據過濾以獲取時間戳和數據值同時變化的工業大數據，對所獲取的工業大數據進行協議轉換，將轉換后的工業大數據存入所述第一共享內存區，以及對所述第一共享內存區的工業大數據進行首次封包上傳；以及

數據接收接口，用于接收首次封包上傳的工業大數據，對所接收的工業大數據進行數據解析及數值壓縮的處理，并將處理后的工業大數據寫入數據庫。

2.根據權利要求1所述的基于工業大數據的數據采集系統，其特征在于，該數據采集系統還包括：

數據匯聚接口，用于對所述首次封包上傳的工業大數據進行數據匯總、數據壓縮、數據加密及二次封包上傳，

所述數據接收接口用于接收二次封包上傳的工業大數據，對該工業大數據進行數據解密、數據解壓縮、數據解析及數值壓縮的處理，并將處理后的工業大數據寫入數據庫。

3.根據權利要求2所述的基于工業大數據的數據采集系統，其特征在于，所述數據采集接口與所述數據匯聚接口還采用斷點續傳技術傳輸數據，

其中，所述斷點續傳技術包括：

當所述數據采集接口與所述數據匯聚接口的通訊故障時，標記未傳輸的數據；以及當該通訊恢復正常時，在不影響正常數據上傳的情況下，再將所述未傳輸的數據上傳到所述數據匯聚接口，和/或

當所述數據匯聚接口與所述數據接收接口的通訊故障時，標記未傳輸的數據；以及當該通訊恢復正常時，在不影響正常數據上傳的情況下，再將所述未傳輸的數據上傳到所述數據接收接口。

4.根據權利要求2所述的基于工業大數據的數據采集系統，其特征在于，所述數據加密包括采用非對稱加密算法進行數據加密，所述數據解密包括采用非對稱解密算法進行數據解密。

5.根據權利要求2所述的基于工業大數據的數據采集系統，其特征在于，所述數據匯聚接口包括：第二共享內存區，

所述數據匯聚接口對所述首次封包上傳的工業大數據進行數據加密后，將所加密的工業大數據存入所述第二共享內存區；以及

所述數據接收接口包括：第三共享內存區，

所述數據接收接口對所述首次封包上傳或二次封包上傳的工業大數據進行數值壓縮后，將所壓縮的工業大數據存入所述第三共享內存區。

6.根據權利要求2所述的基于工業大數據的數據采集系統，其特征在于，所述數據采集接口通過UDP網絡傳輸協議將所述首次封包上傳的工業大數據上傳至所述數據匯聚接口；所述數據匯聚接口通過TCP網絡傳輸協議將所述二次封包上傳的工業大數據上傳至所述數據接收接口。

7.一種基于工業大數據的數據采集方法，其特征在于，該數據采集方法包括：

在數據采集接口處，通過多進程并發形式采集所述工業大數據，對所述工業大數據進行數據過濾以獲取時間戳和數據值同時變化的工業大數據，對所獲取的工業大數據進行協議轉換，將轉換后的工業大數據存入所述數據采集接口中的第一共享內存區，以及對所述第一共享內存區的工業大數據進行首次封包上傳；以及

在數據接收接口處，接收首次封包上傳的工業大數據，對所接收的工業大數據進行數據解析及數值壓縮的處理，并將處理后的工業大數據寫入數據庫。

8.根據權利要求7所述的基于工業大數據的數據采集方法，其特征在于，所述接收首次封包上傳的工業大數據，對所接收的工業大數據進行數據解析及數值壓縮的處理，并將處理后的工業大數據寫入數據庫包括：

在數據匯聚接口處，接收所述首次封包上傳的工業大數據，對該工業大數據進行數據匯總、數據壓縮、數據加密及二次封包上傳；以及

在所述數據接收接口處，接收二次封包上傳的工業大數據，對該工業大數據進行數據解密、數據解壓縮、數據解析及數值壓縮的處理，并將處理后的工業大數據寫入數據庫。