[發明專利]動態離群值偏倚減少系統和方法

在審

• 申請號: 201710142639.7
• 申請日: 2012-08-17
• 公開（公告）號: CN106919539A
• 公開（公告）日: 2017-07-04
• 發明（設計）人: R·B·瓊斯
• 申請（專利權）人: 哈佛蒸汽鍋爐檢驗和保險公司
• 主分類號: G06F17/18
• 分類號: G06F17/18;G01N33/00
• 代理公司: 中國國際貿易促進委員會專利商標事務所11038
• 代理人: 邊海梅

本申請是申請日為2012年8月17日、發明名稱為“動態離群值偏倚減少系統和方法”的中國專利申請201280048043.6的分案申請。

相關申請的交叉引用

此國際專利申請要求2011年8月19日遞交的標題為“Dynamic Outlier Bias Reduction System and Method”、序列號為13/213,780的美國非臨時專利申請的權益和優先權，這里通過引用將該美國申請全部并入。

技術領域

本發明涉及對數據的分析，其中離群元素被從分析開發中去除(或過濾掉)。分析可與簡單統計量的計算或者在其開發中涉及使用數據的數學模型的更復雜操作有關。離群數據過濾的目的可以是執行數據質量和數據驗證操作，或者計算能夠應用于后續分析、回歸分析、時間序列分析中的代表性標準、統計量、數據群組或者用于數學模型開發的合格數據。

背景技術

在標準或數據驅動模型開發中去除離群數據是分析前工作的一個重要部分，用來確保從底層數據開發出有代表性的且合理的分析。例如，為二氧化碳(CO₂)、臭氧(O₃)、水蒸氣(H₂O)、氫氟碳(HFC)、全氟化碳(PFC)、含氯氟烴(CFC)、六氟化硫(SF₆)、甲烷(CH₄)、一氧化二氮(N₂O)、一氧化碳(CO)、氧化氮(NOx)以及非甲烷揮發性有機化合物(NMVOC)排放的溫室氣體標準開發公正的基準要求在標準開發中使用的所收集的工業數據表現出某些屬性。少數幾個工業場所的極好或極壞的性能不應當導致為其他場所計算的標準的偏倚?？梢耘袛鄬⑦@種性能結果包括在標準計算中是不合理或者沒有代表性的。過去，經由一種要求主觀輸入的半定量過程來去除性能離群值(outlier)。本系統和方法是一種數據驅動的方案，該方案把此任務作為模型開發的一個組成部分來執行，而不是在分析前或模型開發前階段執行。

偏倚(bias)的去除可以是一個主觀過程，其中以某種形式記錄認為恰當的理由以證實數據變化。然而，任何形式的離群值去除都是一種帶著改變計算結果的潛在可能性的數據審查。這種數據過濾可能減少或不減少計算中的偏倚或誤差，并且本著完全分析公開的精神，嚴格的數據去除指導方針和去除離群值的證明材料需要與分析結果包括在一起。因此，在現有技術中需要提供一種新的系統和方法，用于利用一種對于數據質量操作、數據驗證、統計計算或數學模型開發等等有用的動態統計過程來客觀地去除離群數據偏倚。離群值偏倚去除系統和方法還可用于將數據分組成代表性類別，其中數據被應用到為每個群組定制的數學模型開發。在優選實施例中，系數被定義為數學模型中的乘法和加法因子以及在性質上非線性的其他數值參數。例如，在數學模型f(x,y,z)＝a*x+b*y^c+d*sin(ez)+f中，a、b、c、d、e和f全都被定義為系數。這些項的值可以固定或者是數學模型的開發的一部分。

發明內容

優選實施例包括一種用于減少離群值偏倚的由計算機實現的方法，包括以下步驟：選擇偏倚標準；提供數據集合；提供模型系數的集合；選擇目標值的集合；(1)為完整數據集合生成預測值的集合；(2)為數據集生成誤差集合；(3)基于誤差集合和偏倚標準生成誤差閾值的集合；(4)由處理器基于誤差集合和誤差閾值的集合生成經審查的數據集合；(5)由處理器生成新模型系數的集合；(6)使用新模型系數的集合，重復步驟(1)-(5)，除非滿足了審查性能終止標準。在優選實施例中，可基于數據集合和模型系數的集合來生成預測值的集合。在優選實施例中，誤差集合可包括基于預測值的集合和目標值的集合生成的絕對誤差的集合和相對誤差的集合。在另一實施例中，誤差集合可包括作為預測值的集合與目標值的集合之間的差異計算出的值。在另一實施例中，生成新系數的集合的步驟還可包括最小化預測值的集合與實際值的集合之間的誤差的集合的步驟，這可利用線性或非線性優化模型來實現。在優選實施例中，審查性能終止標準可基于標準誤差(standard error)和確定系數(coefficient of determination)。