[發明專利]數據采集方法、裝置、存儲介質及處理器

在審

• 申請號: 202310036009.7
• 申請日: 2023-01-10
• 公開（公告）號: CN116170466A
• 公開（公告）日: 2023-05-26
• 發明（設計）人: 劉玉琴;張佩;覃飛;王俊華;孫博碩;李東亮;余依然;孫志朋
• 申請（專利權）人: 國能智深控制技術有限公司
• 主分類號: H04L67/12
• 分類號: H04L67/12;H04L67/1042;H04L67/63
• 代理公司: 北京潤平知識產權代理有限公司 11283
• 代理人: 封瑛

本發明實施例提供一種數據采集方法、裝置、存儲介質及處理器，屬于數據采集技術領域。數據采集方法通過Zookeeper集群實時獲取各個數采服務器的狀態信息；根據數采服務器的狀態信息，采用調度服務程序生成調度指令，并發送調度指令到Zookeeper集群；通過Zookeeper集群將調度指令發送至各個數采服務器，以使各個數采服務器分別根據調度指令采集數據；調度服務程序用于在分布式環境中為數采服務器分配采集任務。可以有效分配每個數采服務器采集數據，從而保證數采服務器不會出現重復采集的情況，提高了數據采集系統的性能，避免了數據采集系統性能的浪費，保證數據采集系統運行的穩定性。

技術領域

本發明涉及數據采集技術領域，具體地涉及一種數據采集方法、一種數據采集裝置、一種機器可讀存儲介質及一種處理器。

背景技術

基于IOT(物聯網)分布式架構和標準Web技術的新一代SCADA(數據采集與監視控制系統)具備客戶端免安裝，直接在瀏覽器上輕松訪問系統的特點。但是Web應用前端運行環境的復雜性和多樣性，導致Web應用穩定性、可用性和高性能很難保證。Web系統頁面的加載速度，直接影響著用戶的體驗，影響著企業的安全生產運行和經濟效益。所以，對基于IOT(物聯網)分布式架構和標準Web技術的新一代SCADA的性能進行優化，加快其頁面的加載速度，保證系統運行的穩定性、可用性具有十分重要的意義。

在分布式架構中，對于無狀態WEB服務的性能優化，可通過負載均衡的方式，將無狀態服務部署多份配置負載策略，從而提升無狀態服務的整體性能；而對于有狀態WEB服務，如果僅是部署多個服務實例，多個服務實例進程只能簡單的重復執行相同的任務，整個系統的性能不但沒有提升反而造成了性能浪費。現有技術中，采用部署多套數采服務器對多個微服務數據進行了重復采集的方法，但是整個系統的性能降低。

發明內容

本發明實施例的目的是提供一種數據采集方法、一種數據采集裝置、一種機器可讀存儲介質及一種處理器，該數據采集方法可以提高數據采集系統的性能。

為了實現上述目的，本申請第一方面提供一種數據采集方法，包括：

通過Zookeeper集群實時獲取各個數采服務器的狀態信息；

根據所述數采服務器的狀態信息，采用調度服務程序生成調度指令，并發送所述調度指令到Zookeeper集群；

通過所述Zookeeper集群將所述調度指令發送至各個數采服務器，以使所述各個數采服務器分別根據所述調度指令采集數據；

其中，所述調度服務程序用于在分布式環境中為數采服務器分配采集任務。

在本申請實施例中，所述調度服務程序包括多個實例；

所述根據所述數采服務器的狀態信息，采用調度服務程序生成調度指令，包括：

采用Zookeeper集群對所述多個實例進行選舉，得到leader實例；

根據所述數采服務器的狀態信息，執行所述leader實例，生成調度指令。

在本申請實施例中，在所述各個數采服務器分別根據所述調度指令采集數據之后，還包括：

獲取采集到的數據；

將所述采集到的數據按照預置的配置規則進行業務轉化，生成多個業務；

確定所述多個業務是否存在處理順序要求；

在確定所述多個業務不存在處理順序要求的情況下，對所述多個業務采用多線程并行處理的方式進行處理；

在確定所述多個業務存在處理順序要求的情況下，對所述采集到的數據采用串行任務并行化執行的方式進行處理。