[發明專利]一種基于物聯網數據中臺的數據處理方法及系統

有效

• 申請號: 202110136094.5
• 申請日: 2021-02-01
• 公開（公告）號: CN112948845B
• 公開（公告）日: 2022-06-07
• 發明（設計）人: 郭祿鵬;李超;張強
• 申請（專利權）人: 航天科技控股集團股份有限公司
• 主分類號: G06F21/60
• 分類號: G06F21/60;G06K9/62;H04L67/12
• 代理公司: 佛山粵進知識產權代理事務所(普通合伙) 44463
• 代理人: 張敏

本發明公開了一種基于物聯網數據中臺的數據處理方法及系統，通過設計三級數據處理結構，在采集端設置初步的設定和篩選，數據導向也設置有兩級，采集端可以根據采集的數據安全性及處理緊急性而選擇由數據處理平臺還是對應的特別數據處理點進行數據處理。同時，對于數據的生成者、使用者和處理者進行記錄，對三者分別授予不同的權限，在進行數據處理的過程中，實時監控數據處理過程中需要用到的權限，若權限對應不匹配，則明顯說明數據存在安全問題。而如果在采集端設計多級數據處理端則會增加數據傳輸的時效性下降，而本申請可以完全解決這一問題，通過快速匹配和標記設定規則對預處理數據進行快速分類和第一步處理。

技術領域

本發明涉及計算機技術領域，尤其涉及一種基于物聯網數據中臺的數據處理方法及系統。

背景技術

最近幾年，隨著工業互聯網和工業物聯網技術的迅猛發展，大數據在互聯網工業的舞臺上發揮了重要作用。在工業物聯網領域往往存在大量的需要進行監控的監控點或者監控設備，對這些監控點或者監控設備檢測到的實時數據都需要及時的上傳至云端服務器，因此需要涉及到遠程數據進行采集，而不同的設備數據往往會通過不同的協議將數據傳送到網關。

現有的工業數據采集方案在遇到由不同協議發送來的數據時，想要通過網關將這些數據上傳至云端服務器通常會有兩種解決方案，一種是，增加多個網關設備對不同協議傳輸的數據進行一對一解析后上傳。采用這種方案時網關設備的通用性不強，需要不同的網關設備對數據進行解析。另一種是，在網關前增加設備將不同協議傳遞的數據轉換為統一協議傳遞的數據，但是這樣做需要額外的設備對數據進行協議轉換。

可見，上述的兩種方案都是對采集到的數據進行整包透傳，針對性地獲取需要的數據，而大量的不必要數據在傳輸時會造成不必要的流量成本。

采集端的數據的安全性也不能得到保證，在大數據處理過程中，由于數據的易予性，對于單一功能的采集端很難保證數據的安全性，對于別有用心的人而言，在獲取特定采集點的采集數據后很容易做出針對性決策而對用戶不利，本申請通過設計三級數據處理結構，在采集端設置初步的設定和篩選，數據導向也設置有兩級，采集端可以根據采集的數據安全性及處理緊急性而選擇由數據處理平臺還是對應的特別數據處理點進行數據處理。同時，對于數據的生成者、使用者和處理者進行記錄，對三者分別授予不同的權限，在進行數據處理的過程中，實時監控數據處理過程中需要用到的權限，若權限對應不匹配，則明顯說明數據存在安全問題。而如果在采集端設計多級數據處理端則會增加數據傳輸的時效性下降，而本申請可以完全解決這一問題，通過快速匹配和標記設定規則對預處理數據進行快速分類和第一步處理。

發明內容

本發明旨在至少解決現有技術中存在的技術問題。為此，本發明公開了一種基于物聯網數據中臺的數據處理方法，所述數據處理方法包括如下步驟：

步驟1，構建分布式采集點和數據處理平臺，所述分布式采集點與所述數據處理平臺通過網絡進行連接，其中，所述分布式采集點為物聯網采集終端和初步數據篩選標識單元；

步驟2，設置所述分布式采集點的數據處理規則，所述數據處理規則通過數據標識位表征，所述分布式采集點根據采集到的數據標識選擇數據的數據處理方向，若所述初步數據篩選標識單元檢測到標識位為第一數據規則，則所述采集點直接通過網絡將數據傳輸至對應受理點，在受理點完成數據處理有將數據處理結果和數據處理日志發送至所述數據處理平臺；若檢測到標識位第二數據規則，則所述采集點將采集數據發送至數據處理中臺，然后刪除所述采集點的緩存采集數據并生成第一偽裝數據，所述數據處理平臺接收到待處理數據后，生成數據處理結果和對應的處理日志；

步驟3，數據處理平臺根據接收到的數據處理日志提取數據日志中的采集端和處理端的操作過程，所述數據處理平臺根據預先存儲于設備權限庫中的設備權限判斷所述采集端和處理端的操作合法性；