[發明專利]確定網站更新信息的方法、裝置、設備和存儲介質

在審

• 申請號: 202011625737.4
• 申請日: 2020-12-30
• 公開（公告）號: CN112650910A
• 公開（公告）日: 2021-04-13
• 發明（設計）人: 徐軍;楊光;許海洋;王藝
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/958;G06F16/903;G06F16/906;G06N3/04
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 范芳茗

公開了一種確定網站更新信息的方法，涉及深度學習領域，具體的，涉及網絡信息采集領域。該方法包括：抓取目標網站的多個網頁，多個網頁包括列表頁和內容頁；從抓取的多個網頁中識別列表頁以及與所識別的列表頁關聯的內容頁；針對每個識別的列表頁，確定與所識別的列表頁關聯的內容頁的地址的正則表達式；以及根據正則表達式來確定與所識別的列表頁關聯的內容頁的更新。本公開還公開了一種確定網站更新信息的裝置、設備、存儲介質和計算機程序產品。

技術領域

本公開涉及深度學習領域，具體的，涉及網絡信息采集領域，更具體的，涉及一種確定網站更新信息的方法、裝置、設備、存儲介質和一種計算機程序產品。

背景技術

隨著互聯網技術的發展，越來越多的企業和職能部門通過網站來發布各種信息。為了及時獲取這些信息，需要對網站的更新進行實時監控。可以通過人工的方式對網站的網頁進行篩選，但需要耗費較高的人力成本，且容易遺漏鏈接層級較深的網頁。也可以針對網站的類型、樣式等設計定制化的自動監控程序進行篩選，但這種方式不易擴展且篩選準確率較低。

發明內容

有鑒于此，本公開提供了一種確定網站更新信息的方法、裝置、設備、存儲介質和計算機程序產品。

根據第一方面，提供了一種確定網站更新信息的方法，包括：

抓取目標網站的多個網頁，所述多個網頁包括列表頁和內容頁；

從抓取的多個網頁中識別列表頁以及與所識別的列表頁關聯的內容頁；

針對每個識別的列表頁，確定與所識別的列表頁關聯的內容頁的地址的正則表達式；以及

根據所述正則表達式來確定與所識別的列表頁關聯的內容頁的更新。

根據第二方面，還提供了一種確定網站更新信息的裝置，包括：

抓取模塊，配置為抓取目標網站的多個網頁，所述多個網頁包括列表頁和內容頁；

識別模塊，配置為從抓取的多個網頁中識別列表頁以及與所識別的列表頁關聯的內容頁；

表達式確定模塊，配置為針對每個識別的列表頁，確定與所識別的列表頁關聯的內容頁的地址的正則表達式；以及

更新確定模塊，配置為根據所述正則表達式來確定與所識別的列表頁關聯的內容頁的更新。

根據第三方面，還提供了一種電子設備，包括：

至少一個處理器；以及

與所述至少一個處理器通信連接的存儲器；其中，

所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行根據第一方面所述的方法。

根據第四方面，還提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，其中，所述計算機指令用于使所述計算機執行根據第一方面所述的方法。

根據第五方面，還提供了一種計算機程序產品，包括計算機程序，所述計算機程序在被處理器執行時實現根據第一方面所述的方法。

根據本公開的實施例，通過識別網頁中的列表頁以及與所識別的列表頁關聯的內容頁，并確定與所識別的列表頁關聯的內容頁的地址的正則表達式，實現了基于正則表達式的對網站更新信息的實時監控，提高了網頁篩選的準確率，有利于準確定位到所需的網頁，并且能夠實現對鏈接層級較深的網頁的篩選，降低了監控成本。

應當理解，本部分所描述的內容并非旨在標識本公開的實施例的關鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。

附圖說明

附圖用于更好地理解本方案，不構成對本公開的限定。其中：