[發明專利]一種數據采集方法及系統

有效

• 申請號: 202011103247.8
• 申請日: 2020-10-15
• 公開（公告）號: CN112231353B
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 涂平;金劍;羅超;梁春峰;彭蓉
• 申請（專利權）人: 中電工業互聯網有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/27;H04L67/025
• 代理公司: 長沙國科天河知識產權代理有限公司 43225
• 代理人: 趙小龍

本發明公開一種數據采集方法及系統，該方法包括如下步驟：獲取數據采集的最高頻率、最低頻率與業務可接受延遲時長，選取最低頻率與最高頻率之間的任意一值作為當前采集頻率；基于當前采集頻率采集數據，并將數據上傳，記錄數據上傳時間；對數據進行處理，并將處理后的數據輸出，記錄數據輸出時間；基于數據上傳時間與數據輸出時間得到數據處理總時長；基于數據處理總時長、業務可接受延遲時長以及數據采集的最高頻率、最低頻率得到最佳頻率，并以最佳頻率進行數據采集。在數據同步過程監控數據處理及傳輸延遲，并在設定的采集頻率范圍內，自適應調整采集頻率，使業務在滿足實時性的前提下，保證數據處理的最優質量。

技術領域

本發明涉及數據采集技術領域，具體是一種數據采集方法及系統。

背景技術

在工業互聯網領域，數據采集是常見的應用場景之一，一般系統通過邊緣設備對工廠設備進行數據采集，然后上發到服務器端進行處理和展示，而在某些業務場景中，業務對數據采集頻率依賴度不敏感，但是對實時性要求比較高，例如設備溫度監測曲線，在數據采集頻繁時，業務數據處理和展示更精細，而在數據采集頻率降低后，業務數據展示和處理質量會下降，但也不會導致業務處理失敗，而在網絡延時高或者服務器處理壓力大時，過高的數據采集頻率會導致數據處理延遲增加，例如回流爐溫度不能實時顯示而導致監測不及時，而在服務器閑時，低的采集頻率會導致業務處理質量差，影響用戶體驗性。

而且現有的數據采集技術在同步數據時，不會考慮數據采集頻率對數據處理性能和網絡狀況的影響，在網絡狀況差，仍在使用同樣的頻率做數據采集，導致網絡狀況差或服務器性能差時，數據量過大，使得網絡或服務器負載更加嚴重，導致業務實時性受到嚴重影響。

發明內容

針對上述現有技術中的不足，本發明提供一種數據采集方法及系統，能夠自適應調整采集頻率，使業務在滿足實時性的前提下，保證數據處理的最優質量。

為實現上述目的，本發明提供一種數據采集方法，包括如下步驟：

步驟1，獲取數據采集的最高頻率、最低頻率與業務可接受延遲時長，選取最低頻率與最高頻率之間的任意一值作為當前采集頻率；

步驟2，基于當前采集頻率采集數據，并將數據上傳，記錄數據上傳時間；

步驟3，對數據進行處理，并將處理后的數據輸出，記錄數據輸出時間；

步驟4，基于數據上傳時間與數據輸出時間得到數據處理總時長；

步驟5，基于數據處理總時長、業務可接受延遲時長以及數據采集的最高頻率、最低頻率得到最佳頻率，并以最佳頻率進行數據采集。

在其中一個實施例中，還包括：

步驟6，重復步驟2-步驟5，以實時調整數據采集的頻率。

在其中一個實施例中，步驟5中，所述基于數據處理總時長、業務可接受延遲時長以及數據采集的最高頻率、最低頻率得到最佳頻率，具體為：

式中，F為最佳頻率，F_max為最高頻率，F_min為最低頻率，T為數據處理總時長，T_delay為業務可接受延遲時長。

在其中一個實施例中，若T≤T_delay時計算得到的FF_min，則令F＝F_min。

為實現上述目的，本發明還提供一種數據采集系統，包括云服務端與數據采集設備；

所述數據采集設備包括：

數據采集單元，用于以數據分析單元反饋的采集頻率進行數據采集；

數據傳輸單元，用于將數據傳輸單元采集的數據上傳至云服務端，并將數據上傳時間犯反饋至數據分析單元；