[發明專利]大數據平臺上的自動回歸診斷方法

有效

• 申請號: 201810933414.8
• 申請日: 2018-08-15
• 公開（公告）號: CN109284320B
• 公開（公告）日: 2021-10-26
• 發明（設計）人: 張毅駿;張瑞瑞;陳遠猷;張瀚瀟
• 申請（專利權）人: 上海派拉軟件股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F17/18
• 代理公司: 上海申匯專利代理有限公司 31001
• 代理人: 翁若瑩;柏子雵

1.一種大數據平臺上的自動回歸診斷方法，其特征在于，包括以下步驟：

步驟1、將數據源導入到大數據平臺上，大數據平臺中每臺用于計算的服務器為一個節點；

步驟2、確定數據抽樣個數和每份樣本大小后，對導入大數據平臺的數據進行放回樣本的隨機抽樣；

步驟3、在各個節點上，分別利用核心算法對隨機抽樣得到的每份樣本進行計算，得到每份樣本所對應的回歸模型；

步驟4、對步驟3得到的各回歸模型進行交叉驗證，計算得到最終的回歸模型，其中，步驟3中所述的核心算法包括以下步驟：

步驟301、設定迭代停止條件，迭代停止的條件包括模型的 R 平方和模型的均方誤差；

步驟302、對當前樣本的數據進行線性模型的擬合；

步驟303、計算步驟302得到的模型的R 平方和均方誤差，判斷指標是否滿足步驟301所設的迭代停止條件，若滿足，則將模型作為當前樣本對應的回歸模型輸出，若不滿足，則進入步驟304；

步驟304、對每個自變量單獨求取當前自變量對因變量對應的 Box-Cox 轉換的轉換系數，利用轉換系數的均值，對因變量進行 Box-Cox 轉換；

步驟305、計算方差膨脹系數，刪除自變量中方差膨脹系數大于等于設定閾值的自變量；

步驟306、計算AIC 指標的中位數，刪除自變量中AIC 指標大于 AIC 指標中位數的自變量；

步驟307、計算偏 R 平方，保留自變量中偏 R 平方小于等于A1且大于等于A2的自變量，A1、A2為預先設定的閾值；

步驟308、計算樣本數據中所有數據的學生氏殘差的B%分位數，B為預先設定的閾值，刪除樣本數據中學生氏殘差大于所有數據的學生氏殘差的B%分位數的數據；

步驟309、計算樣本數據中所有數據的刪后殘差，并計算所有數據刪后殘差的B%分位數，刪除刪后殘差大于所有數據刪后殘差的B%分位數的數據；

步驟310、計算樣本數據中所有數據的杠桿值，并計算所有數據杠桿值的B%分位數，刪除杠桿值大于所有數據杠桿值的B%分位數的數據；

步驟311、計算樣本數據中各數據的庫克距離，并計算所有數據的庫克距離 C%分位數，C為預先設定的閾值，且CB，刪除庫克距離大于所有數據的庫克距離 C%分位數的數據；

步驟312、對當前樣本中剩余的數據進行線性模型的擬合，若遍歷所有樣本，則返回步驟4，若未遍歷所有樣本，則返回步驟3。