[發明專利]數據消歧方法、裝置及計算機設備

有效

• 申請號: 201710807103.2
• 申請日: 2017-09-08
• 公開（公告）號: CN107609094B
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 劉瓊瓊
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/955
• 分類號: G06F16/955;G06F40/289
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 宋合成

1.一種數據消歧方法，其特征在于，包括以下步驟：

構造訓練數據；

對所述訓練數據中每條數據，基于待分類類別進行標注，得到標注為屬于所述待分類類別的多條第一數據和標注為不屬于所述待分類類別的多條第二數據；

基于用戶點擊行為日志確定與每條第一數據相關的特征并作為第一特征，以及與每條第二數據相關的特征并作為第二特征，所述第一特征和所述第二特征包括：字面特征和用戶行為特征；

根據所述第一特征和所述第二特征對所述每條第一數據和每條第二數據對應的標注進行訓練；

所述根據所述第一特征和所述第二特征對所述每條第一數據和每條第二數據對應的標注進行訓練，包括：

根據第一數據的點擊特征生成第一候選URL集合，并根據第二數據的點擊特征生成第二候選URL集合；

分別根據通用的URL負例集合對所述第一候選URL集合和所述第二候選URL集合進行過濾，得到第一當前URL集合和第二當前URL集合；

分別從所述第一當前URL集合和所述第二當前URL集合中，篩選出點擊次數大于或等于第一預設值的URL作為第一目標URL集合和第二目標URL集合；

判斷所述第一目標URL集合和第二目標URL集合與歷史挖掘出的候選URL集合的相似性是否滿足預設條件；

將滿足所述預設條件的URL作為第一最終URL集合和第二最終URL集合；

將所述第一最終URL集合和第二最終URL集合，以及所述第一特征和所述第二特征作為GBDT決策樹算法的輸入，根據所述算法的輸出作為與所述待分類類別對應的分類模型；

基于所述與所述待分類類別對應的分類模型，對所述每條第一數據和每條第二數據對應的標注進行訓練。

2.如權利要求1所述的數據消歧方法，其特征在于，所述用戶行為特征為點擊特征，所述基于用戶點擊行為日志確定與每條第一數據相關的特征并作為第一特征，以及與每條第二數據相關的特征并作為第二特征，所述第一特征和所述第二特征包括：字面特征和用戶行為特征，包括：

分別確定所述每條第一數據和每條第二數據的長度特征；

分別對所述每條第一數據和每條第二數據進行分詞，得到分詞結果，并將所述長度特征和所述分詞結果作為所述字面特征；

從預設類別關鍵詞庫中，確定屬于所述待分類類別的類別關鍵詞，并根據所述屬于所述待分類類別的類別關鍵詞生成第一關鍵詞集合；

從所述預設類別關鍵詞庫中，確定不屬于所述待分類類別的類別關鍵詞，并根據所述不屬于所述待分類類別的關鍵詞生成第二關鍵詞集合；

從所述用戶點擊行為日志中，確定屬于所述待分類類別的類別url，并根據所述屬于所述待分類類別的類別url生成第一url集合；

根據通用的URL負例集合，確定不屬于所述待分類類別的類別url，并根據所述不屬于所述待分類類別的類別url生成第二url集合；

將所述第一關鍵詞集合和所述第一url集合作為與所述第一數據對應的第一相關推薦，將所述第二關鍵詞集合和所述第二url集合作為與所述第二數據對應的第二相關推薦；

根據所述用戶點擊行為日志，確定用戶點擊所述第一相關推薦的第一次數，用戶搜索所述第一相關推薦的第一次數，所述第一url集合中的網站URL對應的標題中，包含所述第一關鍵詞集合中的類別關鍵詞的第一次數，并將所述第一次數作為與所述第一數據對應的點擊特征；

根據所述用戶點擊行為日志，確定用戶點擊所述第二相關推薦的第二次數，用戶搜索所述第二相關推薦的第二次數，所述第二url集合中的網站URL對應的標題中，包含所述第二關鍵詞集合中的類別關鍵詞的第二次數，并將所述第二次數作為與所述第二數據對應的點擊特征；

將所述每條第一數據的字面特征和所述點擊特征作為與其對應的第一特征，將所述每條第二數據的字面特征和所述點擊特征作為與其對應的第二特征。

3.如權利要求1所述的數據消歧方法，其特征在于，所述基于所述與所述待分類類別對應的分類模型，對所述每條第一數據和每條第二數據對應的標注進行訓練，包括：

分別將標注為屬于所述待分類類別的多條第一數據的第一特征，和標注為不屬于所述待分類類別的多條第二數據的第二特征，作為所述分類模型的輸入，得到所述分類模型輸出的與第一特征和第二特征對應的分類標簽；

根據所述與每個第一特征和每個第二特征對所述每條第一數據和每條第二數據對應的標注進行訓練。