[發明專利]數據歸一方法及裝置、計算機可讀存儲介質、電子設備

在審

• 申請號: 201911410132.0
• 申請日: 2019-12-31
• 公開（公告）號: CN111159158A
• 公開（公告）日: 2020-05-15
• 發明（設計）人: 張黎
• 申請（專利權）人: 北京懿醫云科技有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/28
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 王輝;闞梓瑄

本公開屬于計算機技術領域，涉及一種數據歸一方法及裝置、計算機可讀存儲介質、電子設備。該方法包括：獲取標準數據，并根據標準數據的分類標簽建立結構化數據實體；根據分類標簽對結構化數據實體進行劃分，并根據劃分結果確定粗粒度規則和細粒度規則；獲取待處理數據，并根據待處理數據確定滿足粗粒度規則和細粒度規則的標準數據為歸一數據。本公開一方面，采用粗粒度規則和細粒度規則替換人工標注，提高了歸一數據的準確率和處理效率，易于復用；另一方面，確定出最優的歸一數據，避免了大量人工規則的設計、維護和校準等工作，降低維護成本，節約使用成本。

技術領域

本公開涉及計算機技術領域，尤其涉及一種數據歸一方法與數據歸一裝置、計算機可讀存儲介質及電子設備。

背景技術

在醫院的醫囑藥品數據中往往包含藥品名稱、劑型、規格以及生產廠商等多種混合數據，但多種混合數據沒有明確的文本模板。在藥品用藥統計、分析、展示和挖掘等諸多應用場景中，雜亂無章的數據給各種應用造成極大不便，因此，各業務場景對醫囑藥品數據提出了包括清洗、標準化和填充等技術需求。

在對醫囑藥品數據的標準化處理過程中，主要采用人工標注詞典匹配的方式，實現數據的清洗和標準化處理。但是這種方式依賴人工標注，速度慢且成本高，準確率也無法得到有效保證。除此之外，還可以對數據字典和正則表達式進行清洗，剔除醫囑藥品數據中的無用信息，并對正則表達式的多個關鍵詞進行匹配映射處理，實現醫囑藥品數據的標準化。但是正則表達式的規則設計十分復雜，相互之間容易出現沖突，維護成本較高。

鑒于此，本領域亟需開發一種新的數據歸一方法及裝置。

需要說明的是，在上述背景技術部分公開的信息僅用于加強對本公開的背景的理解，因此可以包括不構成對本領域普通技術人員已知的現有技術的信息。

發明內容

本公開的目的在于提供一種數據歸一方法、數據歸一裝置、計算機可讀存儲介質及電子設備，進而至少在一定程度上克服由于相關技術的限制而導致的準確率低和成本高等問題。

本公開的其他特性和優點將通過下面的詳細描述變得顯然，或部分地通過本公開的實踐而習得。

根據本公開的一個方面，提供一種數據歸一方法，所述方法包括：獲取標準數據，并根據所述標準數據的分類標簽建立結構化數據實體；根據所述分類標簽對所述結構化數據實體進行劃分，并根據劃分結果確定粗粒度規則和細粒度規則；獲取所述待處理數據，并根據所述待處理數據確定滿足所述粗粒度規則和所述細粒度規則的所述標準數據為歸一數據。

在本公開的一種示例性實施例中，所述所述根據所述標準數據的分類標簽建立結構化數據實體，包括：獲取與所述標準數據對應的分類標簽，并確定所述標準數據的數據標識；對所述分類標簽與所述數據標識建立映射關系，并根據所述映射關系建立結構化數據實體。

在本公開的一種示例性實施例中，根據劃分結果確定粗粒度規則和細粒度規則，包括：對所述分類標簽進行劃分，以在所述分類標簽中確定粗粒度標簽和細粒度標簽；將所述粗粒度標簽下的所述標準數據進行劃分，并將與劃分后的所述標準數據對應的規則確定為粗粒度規則；將所述細粒度標簽下的所述標準數據進行劃分，并將與劃分后的所述標準數據對應的規則確定為細粒度規則。

在本公開的一種示例性實施例中，所述根據所述待處理數據確定滿足所述粗粒度規則和所述細粒度規則的所述標準數據為歸一數據，包括：基于所述粗粒度規則，若在所述結構化數據實體中查詢到與所述待處理數據對應的所述標準數據，確定所述待處理數據為目標待處理數據；基于所述細粒度規則，若在所述結構化數據實體中查詢到與所述待處理數據對應的所述標準數據，確定所述目標待處理數據為待歸一數據；將所述待歸一數據對應的所述標準數據確定為歸一數據。