[發明專利]一種數據處理方法、電子設備及計算機存儲介質

在審

• 申請號: 201811323448.1
• 申請日: 2018-11-07
• 公開（公告）號: CN109522746A
• 公開（公告）日: 2019-03-26
• 發明（設計）人: 肖涌川
• 申請（專利權）人: 平安醫療健康管理股份有限公司
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06F16/215
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

本申請實施例公開了一種數據處理方法、電子設備及計算機存儲介質，涉及數據處理及數據標準化技術，其中方法包括：獲取原始數據和所述原始數據攜帶的數據標簽；對所述原始數據進行脫敏處理，獲得目標數據；獲取所述數據標簽對應的標準化規則，所述標準化規則包括完整性排查規則和格式規則；依據所述標準化規則處理所述目標數據，獲得滿足所述完整性排查規則和所述格式規則的標準數據，便于標準化數據，以進行后續的數據存儲或者處理過程，可以提高數據處理的效率和準確度。

技術領域

本申請涉及數據處理技術領域，尤其涉及一種數據處理方法、電子設備及計算機存儲介質。

背景技術

大數據已經被廣泛認為是一種戰略性的新型資源，可以定義當今時代產生的海量數據以及相關的技術發展與服務創新。大數據蘊藏著巨大的商業價值。在數據流通領域，隨著數據量迅速增長，不同數據源的數據質量參次不齊，數據質量有不同的概念和標準，數據質量一般包括數據的準確性、完整性、及時性、一致性等定量描述。對于大數據時代下的用戶來說，其所需存儲、處理的數據量大，數據來源和數據結構繁多復雜，為大數據的分析和應用帶來很多挑戰。用戶要想充分發揮大數據所賦予的機遇和優勢，前提是必須擁有可靠、準確、及時的高質量的數據，只有從高質量的大規模數據中提取隱含的、有用的信息，才能做出更加精準、更加符合市場和客戶需求的決策。為此，用戶更加注重數據質量及其重要性。

在醫療保健領域，在各方面都需要處理大量的醫保數據，因此數據處理依然需要在保證準確性的前提下，提高處理效率。數據本身來源復雜，可能存在一定的誤差，并且其數據類型、格式等可能差異較大，因此在數據處理和分析的過程中不能準確地獲得分析結果，以及會導致系統出現誤差甚至錯誤，數據處理的穩定性和處理效率較低。

發明內容

本申請實施例提供一種數據處理方法、電子設備及計算機存儲介質，涉及數據處理及數據標準化技術，便于獲得規范數據以進行后續的數據存儲或者處理過程，可以提高數據處理的效率和準確度。

第一方面，本申請實施例提供了一種數據處理方法，該方法包括：

獲取原始數據和所述原始數據攜帶的數據標簽；

對所述原始數據進行脫敏處理，獲得目標數據；

獲取所述數據標簽對應的標準化規則，所述標準化規則包括完整性排查規則和格式規則；

依據所述標準化規則處理所述目標數據，獲得滿足所述完整性排查規則和所述格式規則的標準數據。

作為一種可能的實施方式，響應于所述標準化規則包括所述完整性排查規則的情況，所述依據所述標準化規則處理所述目標數據包括：

檢測所述目標數據中的項目是否有空缺，若有空缺，生成包含所述空缺項目的報告，輸出所述報告以提示對所述空缺項目進行補全。

作為一種可能的實施方式，所述標準化規則還包括重復排查規則，所述依據所述標準化規則處理所述目標數據還包括：

檢測所述目標數據中的項目的相似度，若所述相似度高于第一閾值，判斷所述項目為重復項目，合并所述重復項目的數據或者刪除所述重復項目之一的數據。

作為一種可能的實施方式，響應于所述標準化規則包括所述格式規則的情況，所述依據所述標準化規則處理所述目標數據還包括：

檢測所述目標數據中的項目字段是否與模板字段匹配，若不匹配，按照所述格式規則將所述不匹配的項目字段轉換為與所述模板字段匹配的目標字段。

作為一種可能的實施方式，所述方法還包括：

若檢測到所述與模板字段不匹配的項目字段存在錯誤數據，生成錯誤記錄；

確定所述項目字段的項目類別，在修正數據庫中查找所述項目類別對應的、與所述項目字段匹配的修正數據，輸出包含所述修正數據的提示信息。