[發明專利]數據處理方法及數據處理裝置

在審

• 申請號: 202110396355.7
• 申請日: 2021-04-13
• 公開（公告）號: CN113077159A
• 公開（公告）日: 2021-07-06
• 發明（設計）人: 馬軼;韓浩;任延平;趙俊
• 申請（專利權）人: 中能融合智慧科技有限公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q10/04;G06K9/62;G06Q50/06
• 代理公司: 北京正和明知識產權代理事務所(普通合伙) 11845
• 代理人: 馮志慧

本發明公開了一種數據處理方法及數據處理裝置。其中，該方法包括：根據預設規則對采集的原始數據依次進行清洗、提取；根據提取的數據構建關鍵指標矩陣，其中，行代表不同用戶，列代表不同關鍵指標；采用預設算法對所述關鍵指標矩陣進行歸一化處理，并對歸一化后的矩陣進行降維處理；根據所述降維處理后的矩陣及預設算法獲得所述關鍵指標的預測值。采用本發明的數據處理方法，有效降低了原始數據的稀疏性，提高了數據處理的效率及數據分析的準確度；此外，采用獲得的預測值對缺失的關鍵指標數據進行補充，為后續數據分析提供支撐。

技術領域

本發明涉及工業互聯網領域，具體而言，涉及一種數據處理方法及數據處理裝置。

背景技術

目前能源工業互聯網接收了不同電廠端系統的數據，數據種類豐富且數量龐大；此外，不同電廠之間的配置有所區別，導致不同電廠端系統的數據種類不同，數據維度很高，稀疏性很大。

數據稀疏性很大的弊端主要在于某些關鍵指標可能只出現在少數電廠端系統，而其他電廠端系統并未設置該關鍵指標或根本沒有對該關鍵指標進行監測/記錄，從而導致在進行數據分析時無法給出統一的分析評判標準，進而無法給出合理的分析結果，無法對電廠給出有針對性的、具有實際指導意義的建議或解決辦法。此外，數據稀疏性大導致數據處理及數據分析的效率非常低，且分析的準確度也受到嚴重影響。

因此，亟需一種有效的數據處理方法，解決現有技術中數據稀疏性大的問題，有效提高數據處理的效率及數據分析的準確度。

發明內容

本發明提供了一種數據處理方法及數據處理裝置，以至少解決相關技術中數據稀疏性大的技術問題。

根據本發明的一個方面，提供了一種數據處理方法，包括：根據預設規則對采集的原始數據依次進行清洗、提取；根據提取的數據構建關鍵指標矩陣，其中，行代表不同用戶，列代表不同關鍵指標；采用預設算法對所述關鍵指標矩陣進行歸一化處理，并對歸一化后的矩陣進行降維處理；根據所述降維處理后的矩陣及預設算法獲得所述關鍵指標的預測值。采用本發明的數據處理方法，有效降低了原始數據的稀疏性，提高了數據處理的效率及數據分析的準確度；此外，根據獲得的關鍵指標的預測值對原始數據中缺失的相關數據進行補充，并反饋相關電廠，提醒其對該關鍵指標進行監測，并根據預測值對其實際監測值進行評估。

優選地，所述清洗包括刪除所述原始數據中的無效數據、重復數據和/或錯誤數據，其中，所述無效數據包括缺少關鍵信息的數據、無法解析的數據等；所述重復數據包括同一時間采集的某個/些電廠的某個/些指標的相同重復的數據；所述錯誤數據包括不完整的數據或明顯不符合規則的數據。

優選地，所述提取包括對清洗后的數據進行歸類，所述歸類包括根據數據類別、數據來源和/或參數指標對清洗后的數據進行歸類，其中，所述數據類別包括性能類、生產類、安全類、經濟類、消費類、節能減排類等；所述數據來源包括電廠和/或電廠中各類數據相關設備；所述參數指標包括設備參數、生產參數、安全參數等。

優選地，根據時間段將提取的數據進行拆分，在同一時間段內同一用戶不同維度的數據整合為一行，用戶的不同關鍵指標作為列數據，構建成為一個原始關鍵指標矩陣，其中，行代表不同用戶，列代表不同關鍵指標。

優選地，所述歸一化處理包括以下步驟：將所述關鍵指標矩陣中各元素根據其所在列的最大值、最小值進行歸一化到0-1之間。對關鍵指標矩陣進行歸一化處理有利于提高數據處理速度及其精度。

優選地，所述降維處理包括以下步驟：根據奇異值分解算法將所述歸一化后的矩陣分解為三個矩陣U、Σ、V^T；根據奇異值平方和對矩陣U、Σ、V^T的維度進行簡化，獲得簡化后的矩陣U、Σ、V^T；對簡化后的矩陣U進行復原，獲得復原后的矩陣U。

具體地，根據奇異值分解算法將所述歸一化后的矩陣分解為三個矩陣U、Σ、V^T，其中，