[發明專利]一種平臺數據處理系統

在審

• 申請號: 201810711340.3
• 申請日: 2018-07-02
• 公開（公告）號: CN109063964A
• 公開（公告）日: 2018-12-21
• 發明（設計）人: 葉栩伽;徐勇;張鵬飛
• 申請（專利權）人: 浙江百先得服飾有限公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q50/04
• 代理公司: 上海翼勝專利商標事務所(普通合伙) 31218
• 代理人: 翟羽

本發明涉及數據處理技術領域，尤其是一種平臺數據處理系統，包括展現層、數據處理層、業務層，所述展現層包括BI智能決策系統，所述業務層中管理系統和平臺數據均與數據處理層信號連接，所述數據處理層包括建模模塊，所述建模模塊信號連接有抽取模塊，所述抽取模塊信號連接有缺失值清洗模塊，所述缺失值清洗模塊信號連接有格式內容清洗模塊，所述格式內容清洗模塊信號連接有邏輯錯誤清洗模塊，所述邏輯錯誤清洗模塊信號連接有非需求數據清洗模塊，所述非需求數據清洗模塊信號連接有關聯性驗證模塊，所述關聯性驗證模塊與BI智能決策系統信號連接。本發明能夠對數據進行二次加工處理，且不會對源業務系統數據造成影響，能夠提高辦公效率。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種平臺數據處理系統。

背景技術

數據（Data）是對事實、概念或指令的一種表達形式，可由人工或自動化裝置進行處理。數據經過解釋并賦予一定的意義之后，便成為信息。數據處理（data processing）是對數據的采集、存儲、檢索、加工、變換和傳輸。數據處理的基本目的是從大量的、可能是雜亂無章的、難以理解的數據中抽取并推導出對于某些特定的人們來說是有價值、有意義的數據。數據處理是系統工程和自動控制的基本環節。數據處理貫穿于社會生產和社會生活的各個領域。數據處理技術的發展及其應用的廣度和深度，極大地影響著人類社會發展的進程。

數據處理離不開軟件的支持，數據處理軟件包括：用以書寫處理程序的各種程序設計語言及其編譯程序，管理數據的文件系統和數據庫系統，以及各種數據處理方法的應用軟件包。為了保證數據安全可靠，還有一整套數據安全保密的技術。

隨著物聯網信息技術的發展，各種智能管理系統已經運用到企業內部的生產和管理中，尤其是服裝制造業，各種管理系統在運行的過程中會產生大量的信息，這些信息中存在部分無用重復的信息，管理人員在對企業進行分析時容易受到這些信息的影響，而降低工作效率，因此需要一種能夠對大量數據進行處理的系統。

發明內容

本發明的目的是為了解決現有技術中存在效率低的缺點，而提出的一種平臺數據處理系統。

為了實現上述目的，本發明采用了如下技術方案：

設計一種平臺數據處理系統，包括展現層、數據處理層、業務層，所述展現層包括BI智能決策系統，數據處理層用于大數據倉庫數據建模、抽取、清洗，業務層包括企業的各個管理系統和平臺，所述業務層中管理系統和平臺數據均與數據處理層信號連接，所述數據處理層包括建模模塊，建模模塊用于形成數據倉庫，所述建模模塊信號連接有抽取模塊，抽取模塊用于對數據進行抽取，所述抽取模塊信號連接有缺失值清洗模塊，缺失值清洗模塊用于處理數據缺失值問題，其具體過程如下，先確定缺失值范圍，對每個字段都計算其缺失值比例，然后按照缺失比例和字段重要性，分別制定策略，之后取出不需要的字段，最后填充缺失內容，以業務知識或經驗推測填充缺失值，或以同一指標的計算結果（均值、中位數、眾數等）填充缺失值，或以不同指標的計算結果填充缺失值，所述缺失值清洗模塊信號連接有格式內容清洗模塊，格式內容清洗模塊用于處理數據中由于人工收集或用戶填寫造成的格式問題，所述格式內容清洗模塊信號連接有邏輯錯誤清洗模塊，邏輯錯誤清洗模塊用于處理一些經過邏輯推理能夠直接發現的數據問題，所述邏輯錯誤清洗模塊信號連接有非需求數據清洗模塊，非需求數據清洗模塊用于清除無關字段，所述非需求數據清洗模塊信號連接有關聯性驗證模塊，關聯性驗證模塊用于驗證多個數據來源取得的相關信息是否一致，所述關聯性驗證模塊與BI智能決策系統信號連接，BI智能決策系統對經過建模、抽取、清洗后的數據進行分析決策。

優選的，格式內容清洗模塊用于處理以下幾種情況：時間、日期、數值、全半角等顯示格式不一致；內容中有不該存在的字符；內容與該字段應有內容不符，例如數據內容與數據類別不符，數據長度與規范的長度不符等，常見的有姓名填寫了性別、手機號填寫了身份證號等。