[發明專利]數據清洗方法及裝置、計算機設備和介質

在審

• 申請號: 202110315924.0
• 申請日: 2021-03-24
• 公開（公告）號: CN112860681A
• 公開（公告）日: 2021-05-28
• 發明（設計）人: 趙志新;龐敏輝;肖巖
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 北京市漢坤律師事務所 11602
• 代理人: 姜浩然;吳麗麗

1.一種數據清洗方法，包括：

獲取多個待清洗數據，其中，所述多個待清洗數據中每個待清洗數據具有對應的類別標簽；

針對所述多個待清洗數據中每個待清洗數據，執行以下操作：

在所述多個待清洗數據中除去該待清洗數據的剩余待清洗數據中確定與該待清洗數據相似的一個或多個召回數據；以及

針對所述一個或多個召回數據中每個召回數據，響應于該召回數據所對應的類別標簽與該待清洗數據所對應的類別標簽不一致，將該召回數據與該待清洗數據確定為糾纏數據對；以及

對基于所述多個待清洗數據所確定的一個或多個糾纏數據對中的至少一個糾纏數據對進行清洗處理。

2.根據權利要求1所述的方法，其中，所述在所述多個待清洗數據中除去該待清洗數據的剩余待清洗數據中確定與該待清洗數據相似的一個或多個召回數據包括：

獲取所述多個待清洗數據中每個待清洗數據的特征向量；以及

基于所述多個待清洗數據的特征向量，確定與該待清洗數據相似的一個或多個召回數據。

3.根據權利要求2所述的方法，其中，所述獲取所述多個待清洗數據中每個待清洗數據的特征向量包括：

響應于確定該待清洗數據為文本，獲取該待清洗數據的句向量。

4.根據權利要求2或3所述的方法，還包括：

在基于所述多個待清洗數據的特征向量，確定與該待清洗數據相似的一個或多個召回數據之前，對所述多個待清洗數據的特征向量執行歸一化處理。

5.根據權利要求2至4中任一項所述的方法，其中，所述基于所述多個待清洗數據的特征向量，確定與該待清洗數據相似的一個或多個召回數據包括：

基于相應的特征向量，生成所述多個待清洗數據中每個待清洗數據的向量索引；以及

基于相應的向量索引，在所述多個待清洗數據中搜索與該待清洗數據相似的一個或多個召回數據。

6.根據權利要求5所述的方法，其中，所述在所述多個待清洗數據中搜索與該待清洗數據相似的一個或多個召回數據包括：

在所述多個待清洗數據中執行基于GPU的并行搜索，以得到與該待清洗數據相似的一個或多個召回數據。

7.根據權利要求1所述的方法，其中，所述對基于所述多個待清洗數據所確定的一個或多個糾纏數據對中的至少一個糾纏數據對進行清洗處理包括：

確定一個或多個糾纏數據對中每個糾纏數據對的糾纏程度；

根據每個糾纏數據對的糾纏程度，從一個或多個糾纏數據對中確定所述至少一個糾纏數據對；以及

對所述至少一個糾纏數據對進行清洗處理。

8.根據權利要求7所述的方法，其中，每個糾纏數據對的糾纏程度為根據余弦相似度來確定的。

9.根據權利要求1所述的方法，其中，所述對基于所述多個待清洗數據所確定的一個或多個糾纏數據對中的至少一個糾纏數據對進行清洗處理包括：

針對一個或多個糾纏數據對中的每個糾纏數據對，基于該糾纏數據對中的兩個待清洗數據所分別對應的類別標簽，從所述一個或多個糾纏數據對中除去該糾纏數據對的剩余糾纏數據對中確定該糾纏數據對的至少一個相關糾纏數據對，其中，每個相關糾纏數據對所對應的兩個類別標簽的組合與該糾纏數據對所對應的兩個類別標簽的組合相同；

至少基于相應的相關糾纏數據對的數量，從一個或多個糾纏數據對中確定至少一個糾纏數據對；以及

對所述至少一個糾纏數據對進行清洗處理。