[發明專利]基于大數據的EXCEL數據源清洗方法、系統、電子設備和存儲介質

有效

• 申請號: 202110364627.5
• 申請日: 2021-04-06
• 公開（公告）號: CN112800049B
• 公開（公告）日: 2021-08-03
• 發明（設計）人: 孫東祥;常衛濤;張坤;鄭媛媛;王茹
• 申請（專利權）人: 航天神舟智慧系統技術有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/28
• 代理公司: 北京華創智道知識產權代理事務所(普通合伙) 11888
• 代理人: 彭隨麗

本發明涉及一種基于大數據的EXCEL數據源清洗方法、系統、電子設備和存儲介質，其中方法包括：解析并結構化EXCEL數據源；對解析并結構化后的EXCEL數據源中的數據進行關鍵屬性名稱的標準化處理；對標準化后的EXCEL數據源進行清洗；根據標準數據庫對清洗后的EXCEL數據源進行標準匹配并完善數據信息。根據本發明的技術方案，可以有效地提高數據處理的準確率，緩解用戶的工作量，為之后的大數據分析和使用提供數據保障。

技術領域

本發明涉及數據清洗技術領域，尤其涉及一種基于大數據的EXCEL數據源清洗方法、系統、電子設備和存儲介質。

背景技術

智慧城市的建設需要大數據技術的支持，當前大數據領域主要針對的是數據的挖掘、分析和使用，而將數據標準性和準確性的處理交給了用戶，這樣就給用戶帶來了巨大的工作量。并且，用戶花費大量的時間與精力，手工整理出來的數據的準確率還不一定高。

各行各業都擁有大量、不同類型的數據，而這些數據又存在著多種多樣的問題，對數據的準確使用造成了很大的障礙。為了消除障礙，就需要對數據進行清洗，從而獲得準確而優質的數據。

各行業數據的存儲方式主要是EXCEL和各種數據庫，存儲的結構也是各種各樣，如果要進行數據清洗，就需要對各種不同結構和類型的數據做人工梳理，造成了人工成本的浪費。

EXCEL中大部分數據的質量和可信度都非常差。影響了對數據信息的分析和發掘，對決策提供了錯誤的參考。

發明內容

本發明的目的在于解決上述背景技術中的至少一個技術問題，提供一種基于大數據的EXCEL數據源清洗方法、系統、電子設備和存儲介質。

為實現上述目的，本發明提供一種基于大數據的EXCEL數據源清洗方法，包括：

解析并結構化EXCEL數據源；

對解析并結構化后的EXCEL數據源中的數據進行關鍵屬性名稱的標準化處理；

對標準化后的EXCEL數據源進行清洗；

根據標準數據庫對清洗后的EXCEL數據源進行標準匹配并完善數據信息。

根據本發明的一個方面，解析并結構化EXCEL數據源，包括：

上傳EXCEL數據源，指定數據源中標題行數；

根據標題行數區分標題行和數據區；

根據標題最后一行自動構建數據模型，定義相應字段名稱；

建立字段與標題的對應關系；

將EXCEL數據源的數據存入數據庫。

根據本發明的一個方面，對解析并結構化后的EXCEL數據源中的數據進行關鍵屬性名稱的標準化處理為對EXCEL數據源中的關鍵字段數據與標準數據進行匹配。

根據本發明的一個方面，對標準化后的EXCEL數據源進行清洗，包括：

對EXCEL數據源中的數據進行預處理；

構建知識庫模型，將預處理后的EXCEL數據源中的數據與知識庫模型中儲存的非標準數據作對照，如果相等，則確定EXCEL數據源中的數據為對應的標準數據；

構建設置有標準數據的標準庫，對EXCEL數據源中的數據進行深層清洗后確認與標準庫中的標準數據相似的數據，并將其替換為標準庫中的標準數據。

根據本發明的一個方面，所述預處理包括：

使用JAVA中去除前后空格的方法去除數據中的前后空格；

使用JAVA中字符替換的方法，將空格替換為符號，去除字符串中的所有空格；