[發(fā)明專利]動態(tài)離群值偏倚減少系統(tǒng)和方法

在審

• 申請?zhí)枺?/td>: 201710142741.7
• 申請日: 2012-08-17
• 公開（公告）號: CN106933779A
• 公開（公告）日: 2017-07-07
• 發(fā)明（設(shè)計）人: R·B·瓊斯
• 申請（專利權(quán)）人: 哈佛蒸汽鍋爐檢驗和保險公司
• 主分類號: G06F17/18
• 分類號: G06F17/18;G01N33/00
• 代理公司: 中國國際貿(mào)易促進(jìn)委員會專利商標(biāo)事務(wù)所11038
• 代理人: 邊海梅

本申請是申請日為2012年8月17日、發(fā)明名稱為“動態(tài)離群值偏倚減少系統(tǒng)和方法”的中國專利申請201280048043.6的分案申請。

相關(guān)申請的交叉引用

此國際專利申請要求2011年8月19日遞交的標(biāo)題為“Dynamic Outlier Bias Reduction System and Method”、序列號為13/213,780的美國非臨時專利申請的權(quán)益和優(yōu)先權(quán)，這里通過引用將該美國申請全部并入。

技術(shù)領(lǐng)域

本發(fā)明涉及對數(shù)據(jù)的分析，其中離群元素被從分析開發(fā)中去除(或過濾掉)。分析可與簡單統(tǒng)計量的計算或者在其開發(fā)中涉及使用數(shù)據(jù)的數(shù)學(xué)模型的更復(fù)雜操作有關(guān)。離群數(shù)據(jù)過濾的目的可以是執(zhí)行數(shù)據(jù)質(zhì)量和數(shù)據(jù)驗證操作，或者計算能夠應(yīng)用于后續(xù)分析、回歸分析、時間序列分析中的代表性標(biāo)準(zhǔn)、統(tǒng)計量、數(shù)據(jù)群組或者用于數(shù)學(xué)模型開發(fā)的合格數(shù)據(jù)。

背景技術(shù)

在標(biāo)準(zhǔn)或數(shù)據(jù)驅(qū)動模型開發(fā)中去除離群數(shù)據(jù)是分析前工作的一個重要部分，用來確保從底層數(shù)據(jù)開發(fā)出有代表性的且合理的分析。例如，為二氧化碳(CO₂)、臭氧(O₃)、水蒸氣(H₂O)、氫氟碳(HFC)、全氟化碳(PFC)、含氯氟烴(CFC)、六氟化硫(SF₆)、甲烷(CH₄)、一氧化二氮(N₂O)、一氧化碳(CO)、氧化氮(NOx)以及非甲烷揮發(fā)性有機化合物(NMVOC)排放的溫室氣體標(biāo)準(zhǔn)開發(fā)公正的基準(zhǔn)要求在標(biāo)準(zhǔn)開發(fā)中使用的所收集的工業(yè)數(shù)據(jù)表現(xiàn)出某些屬性。少數(shù)幾個工業(yè)場所的極好或極壞的性能不應(yīng)當(dāng)導(dǎo)致為其他場所計算的標(biāo)準(zhǔn)的偏倚。可以判斷將這種性能結(jié)果包括在標(biāo)準(zhǔn)計算中是不合理或者沒有代表性的。過去，經(jīng)由一種要求主觀輸入的半定量過程來去除性能離群值(outlier)。本系統(tǒng)和方法是一種數(shù)據(jù)驅(qū)動的方案，該方案把此任務(wù)作為模型開發(fā)的一個組成部分來執(zhí)行，而不是在分析前或模型開發(fā)前階段執(zhí)行。

偏倚(bias)的去除可以是一個主觀過程，其中以某種形式記錄認(rèn)為恰當(dāng)?shù)睦碛梢宰C實數(shù)據(jù)變化。然而，任何形式的離群值去除都是一種帶著改變計算結(jié)果的潛在可能性的數(shù)據(jù)審查。這種數(shù)據(jù)過濾可能減少或不減少計算中的偏倚或誤差，并且本著完全分析公開的精神，嚴(yán)格的數(shù)據(jù)去除指導(dǎo)方針和去除離群值的證明材料需要與分析結(jié)果包括在一起。因此，在現(xiàn)有技術(shù)中需要提供一種新的系統(tǒng)和方法，用于利用一種對于數(shù)據(jù)質(zhì)量操作、數(shù)據(jù)驗證、統(tǒng)計計算或數(shù)學(xué)模型開發(fā)等等有用的動態(tài)統(tǒng)計過程來客觀地去除離群數(shù)據(jù)偏倚。離群值偏倚去除系統(tǒng)和方法還可用于將數(shù)據(jù)分組成代表性類別，其中數(shù)據(jù)被應(yīng)用到為每個群組定制的數(shù)學(xué)模型開發(fā)。在優(yōu)選實施例中，系數(shù)被定義為數(shù)學(xué)模型中的乘法和加法因子以及在性質(zhì)上非線性的其他數(shù)值參數(shù)。例如，在數(shù)學(xué)模型f(x,y,z)＝a*x+b*y^c+d*sin(ez)+f中，a、b、c、d、e和f全都被定義為系數(shù)。這些項的值可以固定或者是數(shù)學(xué)模型的開發(fā)的一部分。

發(fā)明內(nèi)容

優(yōu)選實施例包括一種用于減少離群值偏倚的由計算機實現(xiàn)的方法，包括以下步驟：選擇偏倚標(biāo)準(zhǔn)；提供數(shù)據(jù)集合；提供模型系數(shù)的集合；選擇目標(biāo)值的集合；(1)為完整數(shù)據(jù)集合生成預(yù)測值的集合；(2)為數(shù)據(jù)集生成誤差集合；(3)基于誤差集合和偏倚標(biāo)準(zhǔn)生成誤差閾值的集合；(4)由處理器基于誤差集合和誤差閾值的集合生成經(jīng)審查的數(shù)據(jù)集合；(5)由處理器生成新模型系數(shù)的集合；(6)使用新模型系數(shù)的集合，重復(fù)步驟(1)-(5)，除非滿足了審查性能終止標(biāo)準(zhǔn)。在優(yōu)選實施例中，可基于數(shù)據(jù)集合和模型系數(shù)的集合來生成預(yù)測值的集合。在優(yōu)選實施例中，誤差集合可包括基于預(yù)測值的集合和目標(biāo)值的集合生成的絕對誤差的集合和相對誤差的集合。在另一實施例中，誤差集合可包括作為預(yù)測值的集合與目標(biāo)值的集合之間的差異計算出的值。在另一實施例中，生成新系數(shù)的集合的步驟還可包括最小化預(yù)測值的集合與實際值的集合之間的誤差的集合的步驟，這可利用線性或非線性優(yōu)化模型來實現(xiàn)。在優(yōu)選實施例中，審查性能終止標(biāo)準(zhǔn)可基于標(biāo)準(zhǔn)誤差(standard error)和確定系數(shù)(coefficient of determination)。