[發明專利]基于工業大數據的數據采集系統及方法

有效

• 申請號: 201810141488.8
• 申請日: 2018-02-11
• 公開（公告）號: CN108566369B
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 王瑩;楊碩;孔華永
• 申請（專利權）人: 中國神華能源股份有限公司;神華信息技術有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08;H04L12/851
• 代理公司: 北京潤平知識產權代理有限公司 11283
• 代理人: 陸文超;肖冰濱

本發明涉及工業大數據技術領域領域，公開了一種基于工業大數據的數據采集系統及方法。該數據采集系統包括：數據采集接口，用于通過多進程并發形式采集所述工業大數據，并對所述工業大數據進行協議轉換及首次封包上傳；以及數據接收接口，用于接收首次封包上傳的所述工業大數據，對該工業大數據進行數據解析及數值壓縮的處理，并將處理后的所述工業大數據寫入數據庫。本發明可實現秒頻率的實時數據采集，保證工業大數據能夠實時且安全地傳輸，從而有效地緩解數據采集接口和網絡傳輸的壓力。

技術領域

本發明涉及工業大數據技術領域，具體地涉及一種基于工業大數據的數據采集系統及方法。

背景技術

隨著消費互聯網的崛起，大數據分析與云計算技術的發展壯大，“工業大數據”時代應運而生，各個企業的核心從“單點對多點”的數據中心模式轉變為以用戶為核心的平臺式服務模式。各國制造業創新戰略的實施基礎都是工業大數據的搜集和特征分析，及以此為未來制造系統搭建無憂環境。通過工業大數據的分析和應用去預測需求、預測制造，整合產業鏈和價值鏈，發現用戶的價值缺口及管理不可預見的問題，實現為用戶提供定制化的產品和服務。

工業大數據和傳統的互聯網大數據相比，具有更強的專業性、關聯性、流程性、時序性和解析性等特點。工業大數據的采集主要是運用工業互聯網技術進行遠程數據采集、可視化采集，通過采集軟件在工業互聯網中進行廣域的、大規模的、實時的采集和傳遞，經過多次匯聚和轉發，最終發送給大數據平臺作為分析和應用的數據源。

工業大數據主要是三類數據，一是從工業控制系統采集的所有生產數據，二是直接采集智能傳感器PLC設備的監視數據，三是工廠內外管理系統的數據，如ERP系統、客戶關系管理系統及銷售系統等。目前工業大數據采集的數據對象中，第一類和第二類數據，即各種控制系統和大量的智能設備的數據，數據量最多、增長最快、實時性要求較高、難度較大的是；第三類數據主要是通過管理軟件之間的接口來實現采集。下面將主要針對前兩類數據的采集情況進行說明。

工業控制系統一般通過協議或規約來提供以工業太網中的現場數據，尤其在電力行業中，經常采用modbus協議、CDT規約、101規約、104規約，DNP協議或其它專有協議。這些協議大部分屬于請求/應答式的技術協議，只能用以獲取瞬時數據，常用于工業以太網。工業控制系統中另一種常見的提供數據方式，是提供既支持即時產生的實時數據又支持歷史實時數據的協議，其中最具有代表性和廣泛性的是OPC協議。

智能傳感器PLC一般通過專有協議提供數據，目前大部分智能傳感器都支持OPC協議進行網絡數據通信，或者串行RS232/485協議通信。

工業大數據的采集面臨的主要問題是：數據源實時產生的數據量巨大，工業控制系統或智能傳感器的數據幾乎是秒級變化，在數據包小、數量多且頻率高的情況下，對采集服務器和傳輸網絡的壓力非常大，且對數據傳輸的方式和數據安全性有很高的要求。尤其是將現場數據的范圍放到廣域網分布的系統范圍之后，大數據總和是多個現場數據的總和，當采集點總量達到百萬級時這個問題更加明顯和棘手。

發明內容

本發明的目的是提供一種基于工業大數據的數據采集系統及方法，該數據采集系統可實現秒頻率的實時數據采集，保證工業大數據能夠實時且安全地傳輸，從而有效地緩解數據采集接口和網絡傳輸的壓力。

為了實現上述目的，本發明提供一種基于工業大數據的數據采集系統，該數據采集系統包括：數據采集接口，用于通過多進程并發形式采集所述工業大數據，并對所述工業大數據進行協議轉換及首次封包上傳；以及數據接收接口，用于接收首次封包上傳的所述工業大數據，對該工業大數據進行數據解析及數值壓縮的處理，并將處理后的所述工業大數據寫入數據庫。

可選的，該數據采集系統還包括：數據匯聚接口，用于對所述首次封包上傳的所述工業大數據進行數據匯總、數據壓縮、數據加密及二次封包上傳，所述數據接收接口用于接收二次封包上傳的所述工業大數據，對該工業大數據進行數據解密、數據解壓縮、數據解析及數值壓縮的處理，并將處理后的所述工業大數據寫入數據庫。