[發(fā)明專利]數(shù)據(jù)推薦方法、裝置和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110289868.8
• 申請日: 2021-03-15
• 公開（公告）號: CN113051471A
• 公開（公告）日: 2021-06-29
• 發(fā)明（設計）人: 田宇;崔鮮云;常飛
• 申請（專利權）人: 北京線點科技有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F16/951
• 代理公司: 北京智沃律師事務所 11620
• 代理人: 吳志宏

本申請公開了一種數(shù)據(jù)推薦方法、裝置和系統(tǒng)，屬于推薦引擎技術領域，數(shù)據(jù)推薦方法包括：通過爬蟲技術以及正文識別技術獲取目標網(wǎng)址中的網(wǎng)頁信息，并將網(wǎng)頁信息存儲到爬蟲數(shù)據(jù)庫中；定時獲取目標數(shù)據(jù)，目標數(shù)據(jù)包括爬蟲數(shù)據(jù)庫中存儲的網(wǎng)頁信息和企業(yè)內業(yè)務系統(tǒng)中存儲的結構化數(shù)據(jù)與文件數(shù)據(jù)；提取目標數(shù)據(jù)的關鍵詞信息，并將關鍵詞信息作為數(shù)據(jù)標簽；將目標數(shù)據(jù)統(tǒng)一調整為預設結構數(shù)據(jù)，預設的結構為“主鍵、標題、正文、發(fā)布時間、來源、數(shù)據(jù)標簽和訪問地址”；清除預設結構數(shù)據(jù)中不合格的數(shù)據(jù)；根據(jù)預設結構數(shù)據(jù)以及用戶點擊記錄表，通過推薦算法向目標用戶推薦數(shù)據(jù)；以http協(xié)議的方式向其他系統(tǒng)提供推薦的數(shù)據(jù)。

技術領域

本申請屬于推薦引擎技術領域，具體涉及一種數(shù)據(jù)推薦方法、裝置和系統(tǒng)。

背景技術

推薦系統(tǒng)最先應用于電子商務領域，是電子商務快速發(fā)展的助推器，優(yōu)秀的推薦系統(tǒng)不僅可以降低交易成本，提升用戶的購物體驗，更能夠推動電子商務生態(tài)的良性發(fā)展。隨著系統(tǒng)成熟，越來越多的企業(yè)也將推薦系統(tǒng)用于企業(yè)內部。企業(yè)應用推薦引擎希望能降低員工查找信息的成本，能夠將企業(yè)內新聞、郵件、文檔庫等不同數(shù)據(jù)源的信息推薦給需要的員工。

但是，企業(yè)面對內部信息推薦時目前的成熟解決方案很稀缺。發(fā)明人發(fā)現(xiàn)現(xiàn)有技術當前至少存在以下問題：企業(yè)內部信息的數(shù)據(jù)源眾多，并且數(shù)據(jù)源的結構各異，例如推薦引擎需要推薦的數(shù)據(jù)可能同時有新聞、郵件、文檔或者收文信息，難以做到統(tǒng)一處理并統(tǒng)一推薦。

發(fā)明內容

本申請實施例的目的是提供一種數(shù)據(jù)推薦方法、裝置和系統(tǒng)，能夠解決目前企業(yè)內部信息的數(shù)據(jù)源眾多，并且數(shù)據(jù)源的結構各異，難以做到統(tǒng)一處理并統(tǒng)一推薦的技術問題。

為了解決上述技術問題，本申請是這樣實現(xiàn)的：

第一方面，本申請實施例提供了一種數(shù)據(jù)推薦方法，應用于數(shù)據(jù)推薦系統(tǒng)，所述方法包括：

通過爬蟲技術以及正文識別技術獲取目標網(wǎng)址中的網(wǎng)頁信息，并將所述網(wǎng)頁信息存儲到爬蟲數(shù)據(jù)庫中；

定時獲取目標數(shù)據(jù)，所述目標數(shù)據(jù)包括所述爬蟲數(shù)據(jù)庫中存儲的網(wǎng)頁信息和企業(yè)內業(yè)務系統(tǒng)中存儲的結構化數(shù)據(jù)與文件數(shù)據(jù)；

提取所述目標數(shù)據(jù)的關鍵詞信息，并將所述關鍵詞信息作為數(shù)據(jù)標簽；

將所述目標數(shù)據(jù)統(tǒng)一調整為預設結構數(shù)據(jù)，預設的結構為“主鍵、標題、正文、發(fā)布時間、來源、數(shù)據(jù)標簽和訪問地址”；

清除所述預設結構數(shù)據(jù)中不合格的數(shù)據(jù)；

根據(jù)所述預設結構數(shù)據(jù)以及用戶點擊記錄表，通過推薦算法向目標用戶推薦數(shù)據(jù)；

以http協(xié)議的方式向其他系統(tǒng)提供推薦的數(shù)據(jù)。

進一步地，所述通過爬蟲技術以及正文識別技術獲取目標網(wǎng)址中的網(wǎng)頁信息，具體為：

通過爬蟲技術多進程多線程地采集目標網(wǎng)址中的網(wǎng)頁信息；

對所述網(wǎng)頁信息進行分塊；

計算每個塊的文本密度和符號密度；

根據(jù)所述文本密度和所述符號密度計算塊的密度；

選取密度最高的塊作為目標塊，將所述目標塊的文本作為所述目標網(wǎng)址的正文。

進一步地，所述提取所述目標數(shù)據(jù)的關鍵詞信息，并將所述關鍵詞信息作為數(shù)據(jù)標簽，具體包括：

對所述目標數(shù)據(jù)進行詞語切分；

通過TF-IDF算法提取評分最高的預設數(shù)量的關鍵詞，將所述關鍵詞作為數(shù)據(jù)標簽。

進一步地，所述不合格的數(shù)據(jù)包括：標題不合格的數(shù)據(jù)、含有敏感詞匯的數(shù)據(jù)和含有列表頁面的數(shù)據(jù)。