[發明專利]一種多源異構柔性均衡采集方法、電子設備、存儲介質

在審

• 申請號: 202011635306.6
• 申請日: 2020-12-31
• 公開（公告）號: CN112698949A
• 公開（公告）日: 2021-04-23
• 發明（設計）人: 溫桂龍;趙炎;江新剛
• 申請（專利權）人: 珠海派諾科技股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 廣州市越秀區哲力專利商標事務所(普通合伙) 44288
• 代理人: 葛燕婷

本發明提供一種多源異構柔性均衡采集方法，包括以下步驟：注冊IP，確定位置，獲取采集對象信息，數據采集。通過哈希算法實現采集線程均衡分配，當數據采集服務擴容時，僅需遷移擴容節點前一節點采集線程，當數據采集服務縮容時，也僅只需遷移本縮容節點的采集線程，對其它正常采集節點無影響。本發明涉及電子設備和存儲介質，用于執行一種多源異構柔性均衡采集方法。本發明保證了采集線程和數據最小的遷移，適用于對分布式集群，避免了大量數據遷移，減小了服務器的壓力，增加了采集服務的穩定性。

技術領域

本發明涉及物聯網數據采集技術領域，尤其涉及一種多源異構柔性均衡采集方法、電子設備、存儲介質。

背景技術

目前，系統的物聯網數據采集服務對接的協議和設備越來越多。傳統的主備數據采集服務存在單機性能瓶頸。一些數據采集出現單機性能瓶頸，在服務動態擴容時，造成采集服務長時間的中斷，采集線程和數據大量遷移，加大了服務器壓力的同時，還存在長時間丟失采集對象的重要數據。

發明內容

為了克服現有技術的不足，本發明的目的在于提供一種多源異構柔性均衡采集方法，避免了大量數據遷移，減小了服務器的壓力，增加了采集服務的穩定性。

本發明提供一種多源異構柔性均衡采集方法，包括以下步驟：

注冊IP，數據采集服務啟動時，注冊本節點IP至注冊中心；

確定位置，數據采集服務收到注冊中心通知的當前服務的IP列表后，將各個數據采集服務IP進行標識，得到每個數據采集服務的位置；

獲取采集對象信息，所述數據采集服務拉取所有需要采集對象信息；

查找數據采集服務，所述數據采集服務遍歷所述采集對象信息，通過采集對象IP確定數據采集服務的位置，通過確定的位置查找分配到的數據采集服務；

數據采集，當查找到的數據采集服務為當前數據采集服務IP時，開啟線程進行數據采集。

進一步地，所述確定位置步驟中，將各個數據采集服務IP使用Hash算法進行計算，得到每個數據采集服務在哈希環的位置。

進一步地，所述查找數據采集服務步驟中，將采集對象IP使用Hash算法計算出哈希值，并確定此數據在所述哈希環上的位置，從此位置沿環順時針查找，遇到的節點就是其分配到的數據采集服務。

進一步地，所述數據采集步驟中，若查找到的數據采集服務不是當前數據采集服務IP，則跳過。

進一步地，還包括數據采集服務擴容，在數據采集服務擴容時，注冊新加入的服務注冊節點IP到注冊中心，重復所述確定位置步驟、所述獲取采集對象信息步驟、所述查找數據采集服務步驟和所述數據采集步驟。

進一步地，所述數據采集服務擴容步驟中，若計算非本節點啟動的采集線程，且本節點已啟動采集，則關閉連接，銷毀線程。

進一步地，還包括數據采集服務縮容，在數據采集服務縮容時，通知所述注冊中心移除該節點，關閉本節點的采集線程，重復所述確定位置步驟、所述獲取采集對象信息步驟、所述查找數據采集服務步驟和所述數據采集步驟。

進一步地，所述采集對象信息包括采集協議、IP和端口。

一種電子設備，包括：處理器；

存儲器；以及程序，其中所述程序被存儲在所述存儲器中，并且被配置成由處理器執行，所述程序包括用于執行一種多源異構柔性均衡采集方法。

一種計算機可讀存儲介質，其上存儲有計算機程序，所述計算機程序被處理器執行一種多源異構柔性均衡采集方法。

相比現有技術，本發明的有益效果在于：