[發明專利]面向工業大數據的數據處理方法及系統

在審

• 申請號: 202011115939.4
• 申請日: 2020-10-19
• 公開（公告）號: CN112347140A
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 孫猛猛;紀旭宇;郭寧;潘正頤;韓錦
• 申請（專利權）人: 上海微億智造科技有限公司;常州微億智造科技有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/26;G06F16/953;G06F16/9537;H04W4/80
• 代理公司: 上海塔科專利代理事務所(普通合伙) 31380
• 代理人: 耿恩華

本發明公開了一種面向工業大數據的數據處理方法及系統，其中方法包括：與工業設備通信連接的藍牙網關將采集到的工業設備數據傳輸給前端數據過濾應用；所述前端數據過濾應用對所述工業設備數據進行數據過濾、篩選，并將經過濾篩選后的所述工業設備數據傳輸給后端服務器作進一步的數據分析和數據可視化處理。本發明通過前端數據過濾應用在服務器前端對工業設備數據作了數據過濾、篩選，大幅減少了工業設備數據的數據量，可明顯提升后端服務器對工業設備數據的數據分析處理速度。

技術領域

本發明涉及數據處理技術領域，具體涉及一種面向工業大數據的數據處理方法及系統。

背景技術

目前，對工業設備運行產生的數據進行數據分析處理的方法通常是，將工業設備數據傳輸給服務器，服務器根據預設的運算邏輯進行數據分析、數據可視化處理等。但當工業設備數據的數據量較為龐大時，服務器對數據進行分析處理的耗時延長，無法及時對工業設備數據進行分析、處理，難以確保數據分析處理的實時性，并且數據處理更加容易出錯，影響數據處理分析的準確性。

發明內容

本發明的目的在于提供一種面向工業大數據的數據處理方法，在服務器前端對工業設備數據進行過濾、篩選，以減少服務器的數據處理量，確保數據分析處理的及時性和準確性。

為達此目的，本發明采用以下技術方案：

提供一種面向工業大數據的數據處理方法，包括：

與工業設備通信連接的藍牙網關將采集到的工業設備數據傳輸給前端數據過濾應用；

所述前端數據過濾應用對所述工業設備數據進行數據過濾、篩選，并將經過濾篩選后的所述工業設備數據傳輸給后端服務器作進一步的數據分析和數據可視化處理。

作為本發明的一種優選方案，所述藍牙網關通過Topic通信機制將采集到的所述工業設備數據傳輸給所述前端數據過濾應用。

作為本發明的一種優選方案，所述前端數據過濾應用過濾所述工業設備數據的方法包括如下步驟：

步驟M1，將不包含產量數據的所述工業設備數據直接進行過濾；

步驟M2，將經數據過濾保留的所述工業設備數據的數據格式統一轉換為key-value式的map結構數據，所述map結構數據以工業設備的MAC地址為唯一key，以關聯所述工業設備的所述產量數據為value；

步驟M3，根據預設的數據篩選方法，對所述map結構數據進行數據篩選；

步驟M4，對篩選保留的所述map結構數據進行降維處理，以將各所述map結構數據統一轉換為同一種類型的數據數組格式；

步驟M5，通過卡爾曼濾波算法對將步驟M4生成的數據數組進行進一步的數據過濾、篩選，并將處理后的多維數據進行降維拋出；

步驟M6，對降維拋出的數據進行打包壓縮后傳輸給所述后端服務器。

作為本發明的一種優選方案，所述步驟M3中，預設的所述數據篩選方法為：

當在指定時間段內，相同的所述MAC地址在所述map結構數據中出現的次數小于或等于2次，則過濾掉所述指定時間段內從關聯所述MAC地址的所述工業設備處采集的所述工業設備數據。

作為本發明的一種優選方案，步驟M3中，預設的所述數據篩選方法為：

根據所述藍牙網關藍牙連接所述工業設備的信號強弱，估算所述藍牙網關與所述工業設備間的距離，并當兩者間的估算距離大于一距離閾值時，則過濾掉從所述工業設備處采集的所述工業設備數據。

作為本發明的一種優選方案，步驟M3中，預設的所述數據篩選方法包括：