[發明專利]鋁/銅板帶材生產全流程大數據清洗與分析方法

在審

• 申請號: 202110476972.8
• 申請日: 2021-04-29
• 公開（公告）號: CN113177040A
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 劉士新;隋佳歡;陳大力;溫睿;趙梓焱;姚明昊
• 申請（專利權）人: 東北大學
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/2458;G06F16/28;G06K9/62;G06Q10/06;G06Q50/04
• 代理公司: 大連東方專利代理有限責任公司 21212
• 代理人: 何圣斐;李洪福

本發明涉及一種鋁/銅板帶材生產全流程大數據清洗與分析方法，包括構建適用于鋁/銅板帶材全流程大數據的質量問題檢測方法和按照符合數據特點和工藝背景進行數據清洗；完成建立面向鋁/銅板帶材全流程大數據的分布式計算分析算法工具庫。本發明通過設計面向鋁/銅板帶材生產全流程大數據清洗與分析方法，為鋁/銅板帶材生產全流程大數據的挖掘利用提供了方向，提高鋁/銅板帶材生產全流程大數據的利用率。

技術領域

本發明涉及大數據和數據挖掘領域，尤其涉及一種鋁/銅板帶材生產全流程大數據清洗與分析方法。

背景技術

鋁/銅板帶材生產全流程工業大數據多源異構、數據不精確、查詢困難，對生產全流程數據的數據清洗及分析提出了極高的要求。隨著機器學習、大數據等理論的蓬勃發展，不少學者結合機器學習和大數據技術實現數據驅動技術對工業生產過程數據分析與優化進行了一系列研究，并取得了一定進展。利用工業過程數據對生產過程中的各個關鍵參數進行關系模型的構建，不僅加快了建模速度，還避免了傳統機理建模復雜的問題。基于數據驅動的建模方法不需要對生產機理有過多的了解，他將生產過程轉化為一些了機器學習模型，進而能夠較大程度地減少建模時間。此外，由于數據驅動的建模與優化方法是以數據為出發點，因此，可以避免由于缺少專業知識而產生的建模錯誤的問題，也有可能為專業人員帶來新的發現。技術數據驅動的工業過程建模與優化方法為工業過程分析提供了新方法。因此對鋁/銅板帶材生產全流程大數據的清洗與分析，有著重大和深遠的意義。

在采集鋁/銅板帶材廠生產的大量數據時，數據導入和檢索工作往往會占用技術人員的大量時間和精力，為相關技術人員帶來巨大工作負擔。同時由于生產、數據傳輸、人工處理等過程難免會收到噪聲的干擾，因此，采集到的數據中往往參雜了大量的干擾甚至錯誤信息，產生了大量的“臟數據”，如錯誤數據、缺失數據和重復數據等；并且歷史數據中包含大量的缺失值，異常值和重復值等，數據信息價值不高；針對鋁/銅板帶材全流程生產過程工藝建立傳統機理建模十分復雜并且由于缺少專業知識而常常產生建模錯誤問題；鋁/銅板帶材廠的全流程生產專業性強，數據質量問題繁雜，缺乏專業定制的數據清洗與分析方法。

發明內容

針對上述問題，本發明的目的在于提供一種鋁/銅板帶材生產全流程大數據清洗與分析方法，可有效解決數據不齊、存在多元異常等問題。

本發明采用的技術方案如下：

本發明所提出的鋁/銅板帶材生產全流程大數據清洗與分析方法，包括以下步驟：

S1：構建適用于鋁/銅板帶材全流程大數據的清洗系統，按照符合鋁/銅板帶材生產全流程數據的特點和工藝的背景進行數據清洗；

S2：完成建立面向鋁/銅板帶材全流程大數據的分布式計算分析算法工具庫，構建生產過程中的關系模型，實現對工藝參數與合金成分的優化。

進一步的，所述步驟S1中的具體過程如下：

(1.1)分析鋁/銅板帶材的全流程大數據質量問題，針對鋁/銅板帶材生產全流程生產加工特點，分析總結出現數據質量問題的環節；

所述數據質量問題包括：設備性能限制導致的數據缺失或錯誤；人員操作失誤導致的數據缺失或錯誤；

(1.2)分析數據質量問題并設計對應的處理方案，所述處理方案包括

單一值處理：針對單一值進行特定處理，若某列中的值全為單一值，則采用列刪除的方式將該列刪除，并將結果保存；若單一值列中缺少個別數據，則對其進行行刪除操作，或采用單一值填充的方式對單一值列進行數據補全；

缺失值處理：數據缺失值處理包括行刪除和數據補全；

異常值處理：異常值處理包括行刪除和數據替換；