[發明專利]數據時效識別方法及裝置

在審

• 申請號: 202010942695.0
• 申請日: 2020-09-09
• 公開（公告）號: CN112199565A
• 公開（公告）日: 2021-01-08
• 發明（設計）人: 周瑾萱
• 申請（專利權）人: 北京小米松果電子有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/906;H04L29/08
• 代理公司: 北京鉦霖知識產權代理有限公司 11722
• 代理人: 李志新;劉亞平

1.一種數據時效識別方法，其特征在于，所述方法包括：

獲取待處理數據；

根據所述待處理數據，利用網頁爬蟲獲取關聯數據；

基于所述待處理數據與所述關聯數據的語義關系確定所述待處理數據的時效信息，其中，所述時效信息包括舊聞或非舊聞。

2.根據權利要求1所述的數據時效識別方法，其特征在于，在根據所述待處理數據，利用網頁爬蟲獲取關聯數據之前，所述方法還包括：

響應于所述待處理數據包含日期信息，根據所述日期信息判斷所述待處理數據的時效信息；

響應于所述待處理數據不包含日期信息，執行根據所述待處理數據，利用網頁爬蟲獲取關聯數據的步驟。

3.根據權利要求2所述的數據時效識別方法，其特征在于，所述根據所述日期信息判斷所述待處理數據的時效信息，包括：

確定入庫時間，所述入庫時間為獲取所述待處理數據的時間；

響應于所述日期信息與所述入庫時間的相差時間大于第一時間閾值，確定所述待處理數據為舊聞或執行根據所述待處理數據，利用網頁爬蟲獲取關聯數據的步驟；

響應于所述日期信息與所述入庫時間的相差時間小于或等于第一時間閾值，確定所述待處理數據為非舊聞。

4.根據權利要求1所述的數據時效識別方法，其特征在于，所述待處理數據包括第一標題信息；

所述根據所述待處理數據，利用網頁爬蟲獲取關聯數據，包括：

根據所述第一標題信息，通過搜索引擎，獲取搜索結果；

基于所述搜索結果，得到作為所述關聯數據的第二標題信息及發布時間。

5.根據權利要求4所述的數據時效識別方法，其特征在于，所述基于所述待處理數據與所述關聯數據的語義關系確定所述待處理數據的時效信息，包括：

對所述第一標題信息與所述第二標題信息進行預處理；

將所述預處理后的所述第一標題信息和所述第二標題信息分別向量化，轉化為第一向量和第二向量；

基于所述第一向量和所述第二向量，確定所述第一標題信息與每個所述第二標題信息之間的語義相似度；

響應于最大語義相似度大于或等于文本相似閾值，根據第二時間閾值判斷所述待處理數據的時效信息；

響應于最大語義相似度小于文本相似閾值，確定所述待處理數據為非舊聞。

6.根據權利要求1-5任一項所述的數據時效識別方法，所述方法還包括：

響應于所述待處理數據的時效信息確定為舊聞，確定所述時效信息為舊聞的待處理數據的時效性：

響應于所述時效性為無時效性，將所述時效信息為舊聞的待處理數據的時效信息，重新確定為非舊聞；

響應于所述時效性為有時效性，維持所述時效信息為舊聞的待處理數據的時效信息。

7.根據權利要求6所述的數據時效識別方法，其特征在于，通過時效分類模型，確定所述時效信息為舊聞的待處理數據的時效性，其中，所述時效分類模型通過以下訓練方式得到：

獲取訓練集，所述訓練集包括多個訓練數據以及所述訓練數據對應的標注，其中，所述標注至少包括有時效性和無時效性，和/或強時效性和弱時效性；

通過所述訓練集，訓練所述時效分類模型。

8.一種內容推送方法，其特征在于，所述方法包括：

根據用戶個性化信息，從數據庫的數據中獲取推送內容，其中，所述數據庫的數據通過如權利要求1-7任一項所述的數據時效識別方法確定所述待處理數據的時效信息后存入所述數據中；

將所述推送內容向所述用戶推送。

9.一種數據時效識別裝置，其特征在于，所述裝置包括：

數據獲取單元，用于獲取待處理數據；

爬蟲單元，用于根據所述待處理數據，利用網頁爬蟲獲取關聯數據；

時效確定單元，用于基于所述待處理數據與所述關聯數據的語義關系確定所述待處理數據的時效信息，其中，所述時效信息包括舊聞或非舊聞。