[發明專利]在線數據填補方法

在審

• 申請號: 202310086343.3
• 申請日: 2023-02-09
• 公開（公告）號: CN116226694A
• 公開（公告）日: 2023-06-06
• 發明（設計）人: 鄧翔;陳適銘;徐永凱;張念東
• 申請（專利權）人: 珠海派諾科技股份有限公司
• 主分類號: G06F18/2321
• 分類號: G06F18/2321;G06N20/00
• 代理公司: 南昌市贛昌知識產權代理事務所(普通合伙) 36140
• 代理人: 劉鴻運

本發明公開了一種在線數據填補方法。包括：根據歷史數據使用標準化等相應的數據挖掘流程構建機器學習模型；通過分析統計歷史預測填補缺失值序列和真實樣本序列的誤差找到填補缺失值序列和其對應的真實值序列的誤差分布；針對數據缺失的A、B兩個階段分別處理，于A階段，使用基于歷史數據構建好的機器學習模型線上實時持續預測填補；于B階段，對填補數據仿真，通過歷史的誤差分布來分配填補值和真實值的總差值還原到填補缺失值序列上，修正填補缺失值序列，修正后的填補缺失值序列將用于原機器學習模型的更新。該在線數據填補方法解決了現有數據填補方法響應速度慢、無法滿足為實現短期調整的時效性問題。

技術領域

本發明涉及一種數據填補方法，尤其涉及一種基于機器學習模型在線預測、數據平滑、歷史誤差分布統計等的在線數據填補方法。

背景技術

近些年來基于數據的優化控制、調度、決策、故障診斷等，都基于完整的數據這樣的前提。由于信號不穩定等原因而導致在工業數據序列中數據采集缺失的問題，很多廠家采用對序列的所有缺失值和后繼的真實值求和，把求和值作為上報值，針對這種情況，對缺失數據進行填補。目前存在的數據填補方法，無論是基于均值缺失值等統計的方法，還是使用機器學習模型來預測缺失值的填補方法，都難以在短時間內解決相應數據缺失的問題，也難以在短時間內滿足優化控制、調度、決策、故障診斷方法的時效性要求，并且難以滿足填補誤差較小的要求等。

發明內容

本發明的目的是針對上述現有技術存在的不足，提供了一種在線數據填補方法。本發明在線數據填補方法解決了現有數據填補方法響應速度慢、無法滿足為實現短期調整的時效性、精度的問題。

本發明在線數據填補方法的技術方案包括：

根據歷史數據使用標準化等相應的數據挖掘流程構建機器學習模型；

通過分析統計歷史預測填補缺失值序列和真實樣本序列的誤差找到填補缺失值序列和其對應的真實值序列的誤差分布；

針對數據缺失的A、B兩個階段分別處理，于A階段，使用基于歷史數據構建好的機器學習模型線上實時持續預測填補；于B階段，對填補數據仿真，通過歷史的誤差分布來分配填補值和真實值的總差值還原到填補缺失值序列上，修正填補缺失值序列，修正后的填補缺失值序列將用于原機器學習模型的更新。

所述A階段包括;某段數據缺失產生過程中，所述B階段包括：某段數據缺失停止產生后。

本發明有益的技術效果：

本發明在線數據填補方法其包括通過針對數據缺失的A、B兩個階段分別處理等特有的技術手段，尤其是針對數據缺失停止產生時（即B階段）對填補數據仿真的改進處理方式，獲得數據填補的快速響應，能夠實現在不損失預測精度的前提下提高填補速度，降低了因數據缺失導致對后續的短期預測和實時平衡調度的影響，具有更強的缺失數據的可填補性，從根本上增強和改善了缺失數據填補性能和效果，并減少人工介入。

附圖說明

圖1為本發明一實施例流程圖;圖2為本發明一實施例的在線學習過程流程圖；圖3為本發明的填補值序列圖。

具體實施方式

為更好的理解本發明，現通過實施例結合附圖對本發明的技術方案進行清楚、完整地說明。

本發明數據填補方法包括采取針對數據缺失的A、B兩個階段分別處理的方式。

其根據歷史數據使用相應（如標準化等）的數據挖掘流程構建機器學習模型；

通過分析統計歷史預測填補缺失值序列和真實樣本序列的誤差找到填補缺失值序列和其對應的真實值序列的誤差分布；

針對數據缺失產生過程中（A階段）處理，判斷是否處于A階段，若是，則使用基于歷史數據構建好的機器學習模型線上實時持續預測填補；