[發明專利]一種消費品質量信息的處理方法和裝置

有效

• 申請號: 202110598175.7
• 申請日: 2021-05-28
• 公開（公告）號: CN113435701B
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 劉俊彥;王柏林;倪坪雄;魏偉力;劉甦兒;陳錦笑;鐘麗紅
• 申請（專利權）人: 消費者報道雜志社有限公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q30/02
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郭浩輝;顏希文

1.一種消費品質量信息的處理方法，其特征在于，包括：

獲取多個消費品質量信息的第一表格文件，其中，一個消費品質量信息對應一個或多個第一表格文件；每個第一表格文件包括若干條消費品質量信息條目，每個消費品質量信息條目中包括若干條數據項名稱；

根據預設的第一映射規則，依次將每個第一表格文件中所有消費品質量信息條目中的每個數據項名稱映射到預設的第二表格文件中，其中，所述第二表格文件中存在若干個與所述數據項名稱對應的數據項字段；所述第一映射規則包括數據項名稱和數據項字段的映射關系；

根據預設的數據清洗規則，對映射到第二表格文件中的數據項字段進行清洗，得到規范化的數據項字段；

根據預設的第三表格文件將第二表格文件中的規范化的數據項字段替換為標準化的數據項字段，得到結構化的消費品質量信息，其中，所述第三表格文件包括標準化的數據項字段與規范化的數據項字段相對應；所述根據預設的第一映射規則，依次將每個第一表格文件中所有消費品質量信息條目中的每個數據項名稱映射到預設的第二表格文件中，具體為：

若數據項名稱和數據項字段可以進行映射，則將數據項名稱記錄到第二表格文件相應的數據項字段中；

若數據項名稱和數據項字段不可以進行映射，則根據文本相似度算法和文本分類技術生成數據項名稱與數據表字段的映射關系，并將生成的映射關系更新到第一映射規則中；

所述獲取多個消費品質量信息的第一表格文件，具體為：

爬取各級監管部門發布的多個消費品質量抽檢公告并對爬取到的消費品質量抽檢報告進行去重，分別對去重后的每份消費品質量抽檢公告正文及附件中的表格數據進行提取，并將提取到的表格數據以消費品質量抽檢公告為單位分別儲存到若干個第一表格文件中；獲得多個存儲消費品質量信息的第一表格文件。

2.根據權利要求1所述的一種消費品質量信息的處理方法，其特征在于，在得到結構化的消費品質量信息后，所述處理方法還包括：

根據預設的核心數據項字段將第二表格文件進行提取，將具有相同核心數據項字段的消費品質量信息條目分到同一數據組，得到多個核心數據項字段不同的數據組；遍歷每個數據組中所有消費品質量信息條目，并判斷同一數據組中每個消費品質量信息條目的次核心數據項字段是否相同，若存在多個消費品質量信息條目的次核心數據項字段相同，則保留其中一個消費品質量信息條目，并將其余消費品質量信息條目標記為廢棄狀態，若所述次核心數據項字段不相同，則保留所有消費品質量信息條目，得到第四表格文件。

3.根據權利要求2所述的一種消費品質量信息的處理方法，其特征在于，在得到第四表格文件后，所述處理方法還包括：

對所述第四表格文件進行數據挖掘，具體為：

所述結構化的消費品質量信息中標準化的數據項字段包括：企業名稱和產品名稱；

根據企業名稱挖掘出企業的注冊地址及所屬的標準行政區劃，并將挖掘到的企業注冊地址及所屬的標準行政區規劃記錄到第四表格文件中；

根據產品名稱對產品進行歸類，使產品名稱和標準化消費品分類相對應，并將對應的標準化消費品分類名稱記錄到第四表格文件中。

4.根據權利要求3所述的一種消費品質量信息的處理方法，其特征在于，所述方法還包括：

將經過數據挖掘的第四表格文件進行拆分得到多個相互關聯的子表格文件。