[發明專利]電網調控多源業務流即時處理的數據清洗方法及相關裝置

在審

• 申請號: 202211616538.6
• 申請日: 2022-12-15
• 公開（公告）號: CN116226101A
• 公開（公告）日: 2023-06-06
• 發明（設計）人: 謝琳;李立新;葉瑞麗;狄方春;王巖;馮瓊;陶蕾;朱靖愷;封超涵;李大鵬;王治華;王佳琪;夏文岳;陳宏福;崔燦;高峰;張周杰;武書舟
• 申請（專利權）人: 中國電力科學研究院有限公司;國網上海市電力公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/26;G06Q50/06
• 代理公司: 北京中巡通大知識產權代理有限公司 11703
• 代理人: 李宏德

1.電網調控多源業務流即時處理的數據清洗方法，其特征在于，包括以下步驟：

對電網調控多源運行數據的數據流進行解析，按單對象對解析后的數據進行數據分流形成多個非連續時間片集合；

分析電網調控多源運行數據的時序關系及變化趨勢特征，根據時序關系及變化趨勢特征對多個非連續時間片集合重排序形成時間有序的運行數據；

將運行數據的主鍵信息與電網調控模型數據進行關聯，提取運行數據的特征，對運行數據的特征進行維度分解、聚合重組，形成待清洗數據流；

對待清洗數據流進行多數據源識別，識別得到多個數據源，利用多源數據最優源選擇算法對多個數據源進行篩選，獲取唯一源數據；

對唯一源數據進行異常數據識別，識別得到異常數據，利用數據修復算法對異常數據進行對應修復處理，形成清洗后數據。

2.根據權利要求1所述的電網調控多源業務流即時處理的數據清洗方法，其特征在于，所述對電網調控多源運行數據的數據流進行解析，按單對象對解析后的數據進行數據分流形成多個非連續時間片集合，包括：

1)從源數據端獲取采集的多業務系統數據所封裝成的原始報文；

2)對各原始報文進行數據解析得到各原始報文對應的原始數據，對各原始數據進行過濾，得到符合主鍵規范的原始數據；

3)將原始數據進行存儲，同時將原始數據封裝成驅動清洗業務分析使用的生數據報文，發送到數據處理中心；生數據報文中包含多種數據類型、多個對象、多個電壓等級的數據，并且生數據報文主題按照數據類型進行區分；

4)數據處理中心接收到生數據報文后，對生數據報文進行解析，并按照生數據報文中的數據對象類型對實時數據進行分組，以報文為單位形成多個單對象時間片集合。

3.根據權利要求1所述的電網調控多源業務流即時處理的數據清洗方法，其特征在于，所述分析電網調控多源運行數據的時序關系及變化趨勢特征，根據時序關系及變化趨勢特征對多個非連續時間片集合重排序形成時間有序的運行數據，包括：

1)以報文為單位對非連續時間片集合的數據進行劃分，得到數據窗口序列；

2)對窗口內的數據按照對象id、數據類型、數據來源分組后形成一個單測點數據序列，按照數據業務時間進行升序排列，確定單測點數據序列的開始時間和結束時間；

3)將新接收到數據窗口序列的開始時間和結束時間與已有數據窗口序列比較，后一窗口的開始時間與前一序處理窗口的結束時間對齊，保證同一測點的整體數據流的時間有序性。

4.根據權利要求1所述的電網調控多源業務流即時處理的數據清洗方法，其特征在于，所述將運行數據的主鍵信息與電網調控模型數據進行關聯，提取運行數據的特征，對運行數據的特征進行維度分解、聚合重組，形成待清洗數據流，包括：

1)利用融合電網調控模型數據提取運行數據的特征，對運行數據的特征進行提取，得到運行數據中的對象ID編碼、統計口徑編碼、數據類型編碼、數據來源編碼；將對象ID編碼、統計口徑編碼、數據類型編碼、數據來源編碼與電網模型數據關聯，分析出關鍵信息，同時獲取調度機構與設備、運維機構與設備、設備容器與設備的數據對象之間的關聯關系；

2)統計時間有序的運行數據中的數據量信息，結合關鍵信息和關聯關系形成描述數據流片段的多種維度的特征集合；然后利用數據清洗業務對多種維度的特征集合中的特征進行動態選取和組合，得到重組后的多種維度的特征集合，將重組后的維度信息作為數據流片段的主鍵描述信息，得到待清洗數據流。