[發(fā)明專利]數(shù)據(jù)采集方法、裝置、存儲介質(zhì)及處理器

在審

• 申請?zhí)枺?/td>: 202310036009.7
• 申請日: 2023-01-10
• 公開（公告）號: CN116170466A
• 公開（公告）日: 2023-05-26
• 發(fā)明（設(shè)計）人: 劉玉琴;張佩;覃飛;王俊華;孫博碩;李東亮;余依然;孫志朋
• 申請（專利權(quán)）人: 國能智深控制技術(shù)有限公司
• 主分類號: H04L67/12
• 分類號: H04L67/12;H04L67/1042;H04L67/63
• 代理公司: 北京潤平知識產(chǎn)權(quán)代理有限公司 11283
• 代理人: 封瑛

1.一種數(shù)據(jù)采集方法，其特征在于，包括：

通過Zookeeper集群實時獲取各個數(shù)采服務(wù)器的狀態(tài)信息；

根據(jù)所述數(shù)采服務(wù)器的狀態(tài)信息，采用調(diào)度服務(wù)程序生成調(diào)度指令，并發(fā)送所述調(diào)度指令到Zookeeper集群；

通過所述Zookeeper集群將所述調(diào)度指令發(fā)送至各個數(shù)采服務(wù)器，以使所述各個數(shù)采服務(wù)器分別根據(jù)所述調(diào)度指令采集數(shù)據(jù)；

其中，所述調(diào)度服務(wù)程序用于在分布式環(huán)境中為數(shù)采服務(wù)器分配采集任務(wù)。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)采集方法，其特征在于，所述調(diào)度服務(wù)程序包括多個實例；

所述根據(jù)所述數(shù)采服務(wù)器的狀態(tài)信息，采用調(diào)度服務(wù)程序生成調(diào)度指令，包括：

采用Zookeeper集群對所述多個實例進行選舉，得到leader實例；

根據(jù)所述數(shù)采服務(wù)器的狀態(tài)信息，執(zhí)行所述leader實例，生成調(diào)度指令。

3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)采集方法，其特征在于，在所述各個數(shù)采服務(wù)器分別根據(jù)所述調(diào)度指令采集數(shù)據(jù)之后，還包括：

獲取采集到的數(shù)據(jù)；

將所述采集到的數(shù)據(jù)按照預(yù)置的配置規(guī)則進行業(yè)務(wù)轉(zhuǎn)化，生成多個業(yè)務(wù)；

確定所述多個業(yè)務(wù)是否存在處理順序要求；

在確定所述多個業(yè)務(wù)不存在處理順序要求的情況下，對所述多個業(yè)務(wù)采用多線程并行處理的方式進行處理；

在確定所述多個業(yè)務(wù)存在處理順序要求的情況下，對所述采集到的數(shù)據(jù)采用串行任務(wù)并行化執(zhí)行的方式進行處理。

4.根據(jù)權(quán)利要求3所述的數(shù)據(jù)采集方法，其特征在于，在對所述多個業(yè)務(wù)采用多線程并行處理的方式進行處理的過程中，每一個業(yè)務(wù)的處理過程包括IO密集型的處理過程，將所述IO密集型的處理過程采用隊列的方式進行處理。

5.根據(jù)權(quán)利要求3所述的數(shù)據(jù)采集方法，其特征在于，所述對所述采集到的數(shù)據(jù)采用串行任務(wù)并行化執(zhí)行的方式進行處理，包括：

構(gòu)建串行任務(wù)并行化執(zhí)行的處理架構(gòu)模型；

將所述采集到的數(shù)據(jù)依次輸入至所述處理架構(gòu)模型中，以實現(xiàn)對所述采集到的數(shù)據(jù)采用串行任務(wù)并行化執(zhí)行的方式進行處理。

6.根據(jù)權(quán)利要求5所述的數(shù)據(jù)采集方法，其特征在于，所述構(gòu)建串行任務(wù)并行化執(zhí)行的處理架構(gòu)模型，包括：

將處理過程按照順序依次劃分為多個任務(wù)階段，所述多個任務(wù)階段依次包括配置加載任務(wù)階段、數(shù)據(jù)類型轉(zhuǎn)換任務(wù)階段、量程轉(zhuǎn)換任務(wù)階段、零漂任務(wù)階段、變發(fā)任務(wù)階段、人工置數(shù)任務(wù)階段和超時重發(fā)任務(wù)階段；

所述配置加載任務(wù)階段、數(shù)據(jù)類型轉(zhuǎn)換任務(wù)階段、量程轉(zhuǎn)換任務(wù)階段、零漂任務(wù)階段、變發(fā)任務(wù)階段、人工置數(shù)任務(wù)階段和超時重發(fā)任務(wù)階段分別采用隊列處理的方式，以構(gòu)建得到串行任務(wù)并行化執(zhí)行的處理架構(gòu)模型。

7.一種數(shù)據(jù)采集裝置，其特征在于，包括：

獲取模塊，用于通過Zookeeper集群實時獲取各個數(shù)采服務(wù)器的狀態(tài)信息；

調(diào)度模塊，用于根據(jù)所述數(shù)采服務(wù)器的狀態(tài)信息，采用調(diào)度服務(wù)程序生成調(diào)度指令，并發(fā)送所述調(diào)度指令到Zookeeper集群；其中，所述調(diào)度服務(wù)

程序用于在分布式環(huán)境中為數(shù)采服務(wù)器分配采集任務(wù)；

采集模塊，用于通過所述Zookeeper集群將所述調(diào)度指令發(fā)送至各個數(shù)采服務(wù)器，以使所述各個數(shù)采服務(wù)器分別根據(jù)所述調(diào)度指令采集數(shù)據(jù)。

8.根據(jù)權(quán)利要求7所述的數(shù)據(jù)采集裝置，其特征在于，所述調(diào)度服務(wù)程序包括多個實例；

所述調(diào)度模塊包括：

選舉單元，用于采用Zookeeper集群對所述多個實例進行選舉，得到leader實例；

指令生成單元，用于根據(jù)所述數(shù)采服務(wù)器的狀態(tài)信息，執(zhí)行所述leader實例，生成調(diào)度指令。

9.一種處理器，其特征在于，被配置成執(zhí)行根據(jù)權(quán)利要求1至6中任一項所述的數(shù)據(jù)采集方法。

10.一種機器可讀存儲介質(zhì)，該機器可讀存儲介質(zhì)上存儲有指令，其特征在于，該指令在被處理器執(zhí)行時使得所述處理器被配置成執(zhí)行根據(jù)權(quán)利要求1至6中任一項所述的數(shù)據(jù)采集方法。