[發明專利]數據消歧方法、裝置及計算機設備有效
| 申請號: | 201710807103.2 | 申請日: | 2017-09-08 |
| 公開(公告)號: | CN107609094B | 公開(公告)日: | 2020-12-04 |
| 發明(設計)人: | 劉瓊瓊 | 申請(專利權)人: | 北京百度網訊科技有限公司 |
| 主分類號: | G06F16/955 | 分類號: | G06F16/955;G06F40/289 |
| 代理公司: | 北京清亦華知識產權代理事務所(普通合伙) 11201 | 代理人: | 宋合成 |
| 地址: | 100085 北京市*** | 國省代碼: | 北京;11 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 數據 方法 裝置 計算機 設備 | ||
1.一種數據消歧方法,其特征在于,包括以下步驟:
構造訓練數據;
對所述訓練數據中每條數據,基于待分類類別進行標注,得到標注為屬于所述待分類類別的多條第一數據和標注為不屬于所述待分類類別的多條第二數據;
基于用戶點擊行為日志確定與每條第一數據相關的特征并作為第一特征,以及與每條第二數據相關的特征并作為第二特征,所述第一特征和所述第二特征包括:字面特征和用戶行為特征;
根據所述第一特征和所述第二特征對所述每條第一數據和每條第二數據對應的標注進行訓練;
所述根據所述第一特征和所述第二特征對所述每條第一數據和每條第二數據對應的標注進行訓練,包括:
根據第一數據的點擊特征生成第一候選URL集合,并根據第二數據的點擊特征生成第二候選URL集合;
分別根據通用的URL負例集合對所述第一候選URL集合和所述第二候選URL集合進行過濾,得到第一當前URL集合和第二當前URL集合;
分別從所述第一當前URL集合和所述第二當前URL集合中,篩選出點擊次數大于或等于第一預設值的URL作為第一目標URL集合和第二目標URL集合;
判斷所述第一目標URL集合和第二目標URL集合與歷史挖掘出的候選URL集合的相似性是否滿足預設條件;
將滿足所述預設條件的URL作為第一最終URL集合和第二最終URL集合;
將所述第一最終URL集合和第二最終URL集合,以及所述第一特征和所述第二特征作為GBDT決策樹算法的輸入,根據所述算法的輸出作為與所述待分類類別對應的分類模型;
基于所述與所述待分類類別對應的分類模型,對所述每條第一數據和每條第二數據對應的標注進行訓練。
2.如權利要求1所述的數據消歧方法,其特征在于,所述用戶行為特征為點擊特征,所述基于用戶點擊行為日志確定與每條第一數據相關的特征并作為第一特征,以及與每條第二數據相關的特征并作為第二特征,所述第一特征和所述第二特征包括:字面特征和用戶行為特征,包括:
分別確定所述每條第一數據和每條第二數據的長度特征;
分別對所述每條第一數據和每條第二數據進行分詞,得到分詞結果,并將所述長度特征和所述分詞結果作為所述字面特征;
從預設類別關鍵詞庫中,確定屬于所述待分類類別的類別關鍵詞,并根據所述屬于所述待分類類別的類別關鍵詞生成第一關鍵詞集合;
從所述預設類別關鍵詞庫中,確定不屬于所述待分類類別的類別關鍵詞,并根據所述不屬于所述待分類類別的關鍵詞生成第二關鍵詞集合;
從所述用戶點擊行為日志中,確定屬于所述待分類類別的類別url,并根據所述屬于所述待分類類別的類別url生成第一url集合;
根據通用的URL負例集合,確定不屬于所述待分類類別的類別url,并根據所述不屬于所述待分類類別的類別url生成第二url集合;
將所述第一關鍵詞集合和所述第一url集合作為與所述第一數據對應的第一相關推薦,將所述第二關鍵詞集合和所述第二url集合作為與所述第二數據對應的第二相關推薦;
根據所述用戶點擊行為日志,確定用戶點擊所述第一相關推薦的第一次數,用戶搜索所述第一相關推薦的第一次數,所述第一url集合中的網站URL對應的標題中,包含所述第一關鍵詞集合中的類別關鍵詞的第一次數,并將所述第一次數作為與所述第一數據對應的點擊特征;
根據所述用戶點擊行為日志,確定用戶點擊所述第二相關推薦的第二次數,用戶搜索所述第二相關推薦的第二次數,所述第二url集合中的網站URL對應的標題中,包含所述第二關鍵詞集合中的類別關鍵詞的第二次數,并將所述第二次數作為與所述第二數據對應的點擊特征;
將所述每條第一數據的字面特征和所述點擊特征作為與其對應的第一特征,將所述每條第二數據的字面特征和所述點擊特征作為與其對應的第二特征。
3.如權利要求1所述的數據消歧方法,其特征在于,所述基于所述與所述待分類類別對應的分類模型,對所述每條第一數據和每條第二數據對應的標注進行訓練,包括:
分別將標注為屬于所述待分類類別的多條第一數據的第一特征,和標注為不屬于所述待分類類別的多條第二數據的第二特征,作為所述分類模型的輸入,得到所述分類模型輸出的與第一特征和第二特征對應的分類標簽;
根據所述與每個第一特征和每個第二特征對所述每條第一數據和每條第二數據對應的標注進行訓練。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于北京百度網訊科技有限公司,未經北京百度網訊科技有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/201710807103.2/1.html,轉載請聲明來源鉆瓜專利網。
- 數據顯示系統、數據中繼設備、數據中繼方法、數據系統、接收設備和數據讀取方法
- 數據記錄方法、數據記錄裝置、數據記錄媒體、數據重播方法和數據重播裝置
- 數據發送方法、數據發送系統、數據發送裝置以及數據結構
- 數據顯示系統、數據中繼設備、數據中繼方法及數據系統
- 數據嵌入裝置、數據嵌入方法、數據提取裝置及數據提取方法
- 數據管理裝置、數據編輯裝置、數據閱覽裝置、數據管理方法、數據編輯方法以及數據閱覽方法
- 數據發送和數據接收設備、數據發送和數據接收方法
- 數據發送裝置、數據接收裝置、數據收發系統、數據發送方法、數據接收方法和數據收發方法
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置





