[發明專利]一種消費品質量信息的處理方法和裝置

有效

• 申請號: 202110598175.7
• 申請日: 2021-05-28
• 公開（公告）號: CN113435701B
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 劉俊彥;王柏林;倪坪雄;魏偉力;劉甦兒;陳錦笑;鐘麗紅
• 申請（專利權）人: 消費者報道雜志社有限公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q30/02
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郭浩輝;顏希文

本發明涉及計算機技術領域，公開了一種消費品質量信息的處理方法和裝置，所述方法包括：獲取多個消費品質量信息的第一表格文件，每個第一表格文件中所有消費品質量信息條目中的每個數據項名稱映射到預設的第二表格文件中，進行數據清洗得到規范化的數據項字段；將規范化的數據項字段與第三表格文件進行匹配，將規范化的數據項字段替換為標準化的數據項字段，得到結構化的消費品質量信息。本發明的有益效果：將獲取到的大量第一表格文件進行批量化處理，將第一表格文件中的數據內容整理為規范化、標準化的數據項字段，在這個過程中不需要額外投入人力成本，并且提高了數據處理的速度和效率，可以滿足對消費品質量信息進行統計分析的需求。

技術領域

本發明涉及計算機技術領域，特別是涉及一種消費品質量信息的處理方法和裝置。

背景技術

隨著社會經濟的快速發展，豐富多樣的消費品的出現給人們的生活帶來很大物質和精神的享受，但同時，消費品客觀存在的部分質量問題，也可能給消費者帶來了潛在的質量和安全風險。如何對消費品質量情況進行有效監管成為一個時代的挑戰。通過對消費品質量信息數據進行統計分析，有利于掌控各地區各領域的消費品質量總體情況，從而制定有效的監管策略，是質量監管的一個重要手段。

如果要對消費品質量信息進行統計分析必須先獲取消費品質量信息，但是目前的消費品質量信息的數據的數量龐大，分布零散，存儲方式各不相同，數據存在一定的無規律性。如何能夠在擁有如此海量數據的情況下高效地管理和利用這些數據是一個難題。

消費品質量信息中包括大量的非結構化的文本信息，目前并沒有較好的方法能夠去對其進行處理。通常都是使用大量人力資源的方式來對已有的非結構化文本信息進行數據清洗和預處理，進而提取出關鍵信息，將信息轉化為結構化的數據庫記錄后再進行后續操作。然這種方式不僅效率十分低下，同時也浪費了大量的人力資源成本，增大了開銷。這種低效的處理方式，不能滿足對消費品質量信息統計和分析的需求，需要進一步的改進。

發明內容

本發明的目的是：提供一種能夠高效處理消費品質量信息的方法和裝置，提高數據處理的速度和效率，減少人力成本的投入，滿足對消費品質量信息進行統計分析的需求。

為了實現上述目的，本發明提供了一種消費品質量信息的處理方法，包括：

獲取多個消費品質量信息的第一表格文件，其中，一個消費品質量信息對應一個或多個第一表格文件；每個第一表格文件包括若干條消費品質量信息條目，每個消費品質量信息條目中包括若干條數據項名稱。

根據預設的第一映射規則，依次將每個第一表格文件中所有消費品質量信息條目中的每個數據項名稱映射到預設的第二表格文件中，其中，所述第二表格文件中存在若干個與所述數據項名稱對應的數據項字段；所述第一映射規則包括數據項名稱和數據項字段的映射關系。

根據預設的數據清洗規則，對映射到第二表格文件中的數據項字段進行清洗，得到規范化的數據項字段；

根據預設的第三表格文件將第二表格文件中的規范化的數據項字段替換為標準化的數據項字段，得到結構化的消費品質量信息，其中，所述第三表格文件包括標準化的數據項字段與規范化的數據項字段相對應。

進一步的，所述根據預設的第一映射規則，依次將每個第一表格文件中所有消費品質量信息條目中的每個數據項名稱映射到預設的第二表格文件中，具體為：

若數據項名稱和數據項字段可以進行映射，則將數據項名稱記錄到第二表格文件相應的數據項字段中；

若數據項名稱和數據項字段不可以進行映射，則根據文本相似度算法和文本分類技術生成數據項名稱與數據表字段的映射關系，并將生成的映射關系更新到第一映射規則中。

進一步的，在得到結構化的消費品質量信息后，所述處理方法還包括：