[發(fā)明專利]一種基于Hadoop平臺的電力系統(tǒng)諧波監(jiān)測方法

在審

• 申請?zhí)枺?/td>: 201710446703.0
• 申請日: 2017-06-13
• 公開（公告）號: CN107330008A
• 公開（公告）日: 2017-11-07
• 發(fā)明（設(shè)計）人: 陳文娟;于勝洋;白德寧
• 申請（專利權(quán)）人: 廣東電網(wǎng)有限責(zé)任公司佛山供電局
• 主分類號: G06F17/30
• 分類號: G06F17/30;G01R23/16
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司44102
• 代理人: 林麗明

1.一種基于Hadoop平臺的電力系統(tǒng)諧波監(jiān)測方法，其特征在于，包括以下步驟：

S1：搭建Hadoop分布式文件系統(tǒng)，該文件系統(tǒng)的基礎(chǔ)架構(gòu)包括構(gòu)Hadoop客戶端和Hadoop集群，Hadoop集群包括名稱節(jié)點Namenode、備用名稱節(jié)點SecondaryNamenode和用于管理存儲數(shù)據(jù)的數(shù)據(jù)節(jié)點Datanodes；該文件系統(tǒng)中，客戶端通過名稱節(jié)點獲取數(shù)據(jù)節(jié)點和文件塊的映射關(guān)系，通過名稱節(jié)點記錄的映射關(guān)系到相應(yīng)的位置訪問文件塊。名稱節(jié)點對文件、目錄進行創(chuàng)建、刪除和重命名等操作，管理數(shù)據(jù)節(jié)點和文件塊的映射關(guān)系。數(shù)據(jù)節(jié)點的數(shù)據(jù)保存在本地Linux文件系統(tǒng)中，每個數(shù)據(jù)節(jié)點會周期性地向名稱節(jié)點發(fā)送“心跳”信號，報告自己的狀態(tài)；

S2：定制MapReduce并行化編程模型，對各個變電站按照時間序列采集的采樣數(shù)據(jù)進行并行化處理；與搭建的Hadoop分布式文件系統(tǒng)的主從節(jié)點結(jié)構(gòu)相對應(yīng)，MapReduce框架也包括一個Master和若干個Slave，對應(yīng)于Hadoop分布式文件系統(tǒng)的名稱節(jié)點和數(shù)據(jù)節(jié)點，Master上運行JobTracker，Slave上運行TaskTracker，用戶提交的每個計算作業(yè)，都會被劃分成若干個任務(wù)，JobTracker負(fù)責(zé)作業(yè)和任務(wù)的調(diào)度，監(jiān)控他們的執(zhí)行，并重新調(diào)度已經(jīng)失敗的任務(wù)，TaskTracker負(fù)責(zé)執(zhí)行JobTracker指派的任務(wù)。

2.根據(jù)權(quán)利要求1所述的基于Hadoop平臺的電力系統(tǒng)諧波監(jiān)測方法，其特征在于，所述步驟S2的具體過程如下：

S21：對待處理文件進行邏輯切分，該邏輯切分并不是進行了實際的文件切割，而是記錄了要處理的數(shù)據(jù)的位置和長度，其中，數(shù)據(jù)的位置信息即為采樣的變電站ID和采樣時間，選取的待分析采樣序列長度統(tǒng)一設(shè)定為2048；

S22：將待分析數(shù)據(jù)解析成記錄，并轉(zhuǎn)換成鍵值對的形式，傳遞給Map任務(wù)，使用Record Reader的默認(rèn)解析功能，產(chǎn)生的鍵是數(shù)據(jù)在文件中的位置，值是組成這條記錄的數(shù)據(jù)塊；

S23：定制Map，對Record Reader傳入的記錄進行諧波分析，根據(jù)需求，定制Map輸出的中間結(jié)果是以采樣序列的變電站ID和采樣時間組成的組合鍵，輸出的中間結(jié)果的值是采樣時間和采樣序列，Map任務(wù)中的諧波分析算法會根據(jù)采樣數(shù)據(jù)分析得出該條記錄的基波和諧波參數(shù)，其中諧波參數(shù)包括幅值、相位、頻率；

S24：定制Partition和WritableComparator對Map任務(wù)的輸出結(jié)果以組合鍵第一個字段即變電站ID為單位，按照第二字段即采樣時刻進行排序；

S25：通過Shuffle過程將所有的Partition輸出的鍵值對拉取到Reduce任務(wù)本地機上，按照這些數(shù)據(jù)的鍵進行排序并寫入一個較大的List中；

S26：以Shuffle過程輸出的<key，value-list>形式的中間結(jié)果作為輸入，在迭代器中，計算得出各個變電站、各個采樣時刻的基波參數(shù)和諧波畸變率并進行輸出；

S27：獲取Reduce端輸出的最終鍵值對，首先驗證輸出目錄是否已經(jīng)存在，以及輸出結(jié)果的類型是否符合配置文件中的設(shè)置，如果均滿足，就輸出Reduce結(jié)果到分布式文件系統(tǒng)進行保存。