[發明專利]一種電力系統設備隱患在線識別方法及其應用平臺

在審

• 申請號: 201911087461.6
• 申請日: 2019-11-08
• 公開（公告）號: CN110865997A
• 公開（公告）日: 2020-03-06
• 發明（設計）人: 段翔兮;何明;高劍;羅榮森;吳杰;李小鵬;龍呈;李世龍;馮世林;胡蓉
• 申請（專利權）人: 國網四川省電力公司電力科學研究院
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/2458;G06F16/25;G06Q50/06
• 代理公司: 成都路航知識產權代理有限公司 51256
• 代理人: 徐海林

1.一種電力系統設備隱患在線識別方法，其特征在于，包括以下步驟：

S1.數據接入：將各類數據從外部數據源導入數據分析域存儲系統，以備計算、分析；所述數據接入方式包括結構化數據的抽取清洗、實時數據的采集接入、非結構化數據的采集接入；

S2.數據存儲：將上述接入的結構化數據、實時數據和非結構化數據進行集中存儲，用于后期查詢；

S3.數據計算：為數據分析域提供分布式運行引擎和協同計算，提供離線計算、實時計算，滿足各類業務應用不同時效性的數據計算需求；

S4.統一分析：為業務人員提供數據挖掘工具、自助式分析；同時提供數據路由、數據網關，實現對外提供統一的數據服務及展現服務；

S5.系統管理：為數據分析域提供元數據管理、系統監控、接口監控、運行調度、運維輔助，為管理、運維人員提供系統管理、系統實時監測的技術支撐工具；

其中，通過跨域協同、兩級數據級聯，實現跨域計算任務協同，實現兩級數據分析域數據交互；

所述S1.中，結構化數據的抽取清洗采用數據ETL工具、數據批量加載工具、數據復制工具；實時數據的采集接入采用消息隊列組件和流計算組件。

2.根據權利要求1所述的一種電力系統設備隱患在線識別方法，其特征在于，所述S1.中，實時數據的采集接入，采用Apache Kafka作為消息隊列，使用Spark Streaming作為實時流處理引擎。

3.根據權利要求2所述的一種電力系統設備隱患在線識別方法，其特征在于，所述Apache Kafka包括兩類客戶端分別是消息生產者和消息消費者；所述消息生產者將應用程序的流式數據發送到Apache Kafka，Apache Kafka集群中每個節點都有一個被稱為broker的實例，負責緩存數據；Apache Kafka中不同業務系統的消息通過topic進行區分，每個消息被分區，用以分擔消息讀寫負載，每個分區又有多個副本以防止數據丟失；所述消息消費者在具體消費某個topic消息時，指定起始偏移量。

4.根據權利要求2或3所述的一種電力系統設備隱患在線識別方法，其特征在于，所述S1.中，Spark Streaming通過以下模式讀取Apache Kafka數據源：Spark Streaming基于Receiver接收Apache Kafka數據流，Receiver是使用Apache Kafka的高層次Consumer API來實現的，receiver從Apache Kafka中獲取的數據都是存儲在Spark Executor的內存中的，然后Spark Streaming啟動的job去處理數據。

5.根據權利要求2或3所述的一種電力系統設備隱患在線識別方法，其特征在于，所述S1.中，Spark Streaming通過以下模式讀取Kafka數據源：定期地從Apache Kafka的topic+partition中查詢最新的偏移量，再根據定義的偏移量范圍在每個batch里面處理數據；當作業需要處理的數據來臨時，spark通過調用Apache Kafka的簡單消費者API讀取一定范圍的數據。

6.根據權利要求2所述的一種電力系統設備隱患在線識別方法，其特征在于，所述S1.中，SparkStreaming接收到數據流后，使用spark進行數據業務邏輯的處理，處理之后的數據再實時的存入到數據庫。

7.根據權利要求1所述的一種電力系統設備隱患在線識別方法，其特征在于，所述S1.中，通過RDD實現非結構化數據的采集接入；所述RDD為一個分布式對象集合，是一個只讀的分區記錄集合；每個RDD分成多個分區，每個分區就是一個數據集片段；一個RDD的不同分區保存到集群。