[發明專利]一種輕量級的大數據智能采集方法

有效

• 申請號: 201810754010.2
• 申請日: 2018-07-11
• 公開（公告）號: CN108958957B
• 公開（公告）日: 2020-03-27
• 發明（設計）人: 于富東;匙凱;楊林
• 申請（專利權）人: 吉林吉大通信設計院股份有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54
• 代理公司: 長春市吉利專利事務所 22206
• 代理人: 李曉莉

1.一種輕量級的大數據智能采集方法，其特征是：包括以下步驟，

步驟一、建立數據存儲的前置模塊，內部包括批次控制器和修正控制器；建立數據存儲的調度模塊，包括刷新定時器和參數調節器，其中參數調節器包括配制池大小Pool_size調節器和延遲時間timeout調節器；

步驟二、設置前置模塊的配制池大小Pool_size 初始值以及延遲時間timeout初始值，前置模塊收集本地數據，直至數據量達到配制池大小Pool_size初始值，建立與緩沖隊列的通道，將數據傳輸到存儲器；或達到延遲時間timeout初始值，建立與緩沖隊列的通道，將數據傳輸到存儲器；

步驟三、調度模塊實時監控各個采集客戶端與緩沖隊列之間的通信情況，收集一個周期內的關鍵通信指標，包括每個采集客戶端每次與緩沖隊列傳輸的數據條數patch_size以及每次傳輸到達緩沖隊列的時間reach_time數值；

步驟四、將每一個周期內每個采集客戶端每次與緩沖隊列傳輸的數據條數patch_size和每次傳輸到達緩沖隊列的時間reach_time數值分別傳遞給Pool_size調節器和timeout調節器；

步驟五、Pool_size調節器將一個周期每個采集客戶端每次與緩沖隊列傳輸的數據條數patch_size進行平均值計算，將平均值patch_size_ave傳輸給刷新定時器，等待更新；

步驟六、Timeout調節器將一個周期每次傳輸到達緩沖隊列的時間reach_time數值與上一次的傳輸到達緩沖隊列的時間reach_time數值做差值運算，并將全部的差值取平均值獲得每個采集客戶端的差值平均值timeout_ave，傳輸給刷新定時器，等待更新；

步驟七、將步驟六中獲得的每個采集客戶端的差值平均值timeout_ave再次取平均值，獲得整個系統的差值平均值system_timeout_ave，將每個采集客戶端的差值平均值timeout_ave和整個系統的差值平均值system_timeout_ave做差值運算，得到每個采集客戶端與整個系統的差值平均值system_timeout_ave之間的偏離度，將偏離度結果儲存在系統偏離數組diverge[]內，并傳輸給刷新定時器，等待更新；

步驟八、刷新定時器的時間達到預設時間，刷新定時器將每個采集客戶端的平均值patch_size_ave、差值平均值timeout_ave以及系統偏離數組diverge[]傳輸給前置模塊；

步驟九、前置模塊內部的批次控制器進行賦值，Pool_size=patch_size_ave，timeout=timeout_ave，將系統偏離數組diverge[]傳遞給修正控制器，修正控制器在每次請求到達時會生成一個隨機數Ran，隨機數Ran為介于0～1之間的二位精度小數，同時將采集客戶端的偏離值d與隨機數Ran取乘積，將乘積值和批次控制器內的延遲時間timeout數值做加法運算，作為本次請求的實際延時時間timeout，計算公式為：

本次請求的實際延時時間timeout = timeout+Ran*d ；

步驟十、重復步驟一至步驟九進行調度模塊每一個周期的持續迭代，通過前置模塊的批次控制，保持參數持續優化。

2.根據權利要求1所述的一種輕量級的大數據智能采集方法，其特征是：所述步驟九中的偏離值d為系統偏離數組diverage[]內相對應的采集客戶端的偏離值，為正數、零或負數。

3.根據權利要求1所述的一種輕量級的大數據智能采集方法，其特征是：所述前置模塊設置在采集客戶端內，用于批量數據傳輸控制。