[發明專利]數據清洗方法、裝置、計算機設備及可讀存儲介質

在審

• 申請號: 202010016777.2
• 申請日: 2020-01-08
• 公開（公告）號: CN111241258A
• 公開（公告）日: 2020-06-05
• 發明（設計）人: 李淵;楊銘;劉設偉
• 申請（專利權）人: 泰康保險集團股份有限公司;泰康在線財產保險股份有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/35;G06F40/30;G06F16/215;G06N3/04;G06N3/08
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 周曉飛;許曼

本發明實施例提供了一種數據清洗方法、裝置、計算機設備及可讀存儲介質，其中，該方法包括：獲取待清洗數據，針對每個知識點，將主知識點問題和每個子知識點問題分別組成知識點對；針對每個知識點對，將主知識點問題和子知識點問題分別輸入bert預訓練模型，輸出主知識點問題的上下文語義特征向量序列，輸出子知識點問題的上下文語義特征向量序列；針對每個知識點對，將主知識點問題的上下文語義特征向量序列和子知識點問題的上下文語義特征向量序列輸入注意力機制模型，根據主知識點問題的特征向量序列和子知識點問題的特征向量序列輸出該知識點對的語義匹配度值；根據語義匹配度確定所述知識點對是否為臟數據。

技術領域

本發明涉及人工智能技術領域，特別涉及一種數據清洗方法、裝置、計算機設備及可讀存儲介質。

背景技術

隨著這些年互聯網產業高速發展，越來越多的互聯網平臺開始使用智能問答系統服務于線上客戶咨詢業務。然而智能問答系統的使用效果取決于背后的知識庫，根據線上實時數據整理的知識點會保存在知識庫中。知識庫中存在多個知識點，每個知識點包含多個子知識點以及對應的答案。智能問答系統會根據客戶問題從知識庫中輸出最佳的答案。

所以針對智能問答系統，其知識庫的準確性決定了其應用效果。同時我們根據線上數據整理的知識庫或多或少存在臟數據，對知識庫知識點的驗證以及確保答案正確性十分重要。故我們需要針對知識庫進行數據檢測和清洗。

目前，數據檢測和清洗方法對文本語義理解能力不足，使得影響了數據檢測和清洗的準確性。

發明內容

本發明實施例提供了一種數據清洗方法，以解決現有技術中數據清洗存在準確度低的技術問題。該方法包括：

獲取待清洗數據，針對每個知識點，將主知識點問題和每個子知識點問題分別組成知識點對；

針對每個知識點對，將主知識點問題和子知識點問題分別輸入bert預訓練模型，輸出主知識點問題的上下文語義特征向量序列，輸出子知識點問題的上下文語義特征向量序列，其中，所述bert預訓練模型是基于待清洗數據的樣本數據訓練得到的；

針對每個知識點對，將主知識點問題的上下文語義特征向量序列和子知識點問題的上下文語義特征向量序列輸入注意力機制模型，根據主知識點問題的特征向量序列和子知識點問題的特征向量序列輸出該知識點對的語義匹配度值，其中，主知識點問題的特征向量序列和子知識點問題的特征向量序列中包括表示特征向量全局重要程度的特征信息；

根據語義匹配度確定所述知識點對是否為臟數據。

本發明實施例還提供了一種數據清洗裝置，以解決現有技術中數據清洗存在準確度低的技術問題。該裝置包括：

數據獲取模塊，用于獲取待清洗數據，針對每個知識點，將主知識點問題和每個子知識點問題分別組成知識點對；

向量提取模塊，用于針對每個知識點對，將主知識點問題和子知識點問題分別輸入bert預訓練模型，輸出主知識點問題的上下文語義特征向量序列，輸出子知識點問題的上下文語義特征向量序列，其中，所述bert預訓練模型是基于待清洗數據的樣本數據訓練得到的；

語義匹配度計算模塊，用于針對每個知識點對，將主知識點問題的上下文語義特征向量序列和子知識點問題的上下文語義特征向量序列輸入注意力機制模型，根據主知識點問題的特征向量序列和子知識點問題的特征向量序列輸出該知識點對的語義匹配度值，其中，主知識點問題的特征向量序列和子知識點問題的特征向量序列中包括表示特征向量全局重要程度的特征信息；

數據清洗模塊，用于根據語義匹配度確定所述知識點對是否為臟數據。

本發明實施例還提供了一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現上述任意的數據清洗方法，以解決現有技術中數據清洗存在準確度低的技術問題。