[發(fā)明專利]內(nèi)容抓取的方法、裝置、設(shè)備、介質(zhì)及程序產(chǎn)品

有效

• 申請?zhí)枺?/td>: 202110863076.7
• 申請日: 2021-07-29
• 公開（公告）號: CN113553489B
• 公開（公告）日: 2023-06-23
• 發(fā)明（設(shè)計）人: 張繼武
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951
• 代理公司: 北京英賽嘉華知識產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種內(nèi)容抓取的方法，包括：

獲取多個抓取請求中每個抓取請求對應(yīng)的圖實例，其中，所述圖實例的頂點為執(zhí)行所述每個抓取請求的算子；

從預(yù)設(shè)的配置文件中，獲取所述每個抓取請求中資源類型對應(yīng)的依賴關(guān)系；

將所述每個抓取請求對應(yīng)的任務(wù)對象放入任務(wù)隊列中；

利用與所述每個抓取請求對應(yīng)的依賴關(guān)系，以及所述每個抓取請求中資源類型對應(yīng)的算子，批量處理任務(wù)隊列中的任務(wù)對象，對所述每個抓取請求中資源類型的內(nèi)容進行抓取。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述資源類型為網(wǎng)頁或圖片。

3.根據(jù)權(quán)利要求1或2所述的方法，所述方法還包括：

獲取資源服務(wù)器的歷史壓力；

響應(yīng)于所述歷史壓力滿足預(yù)設(shè)的壓力閾值，確定與所述歷史壓力對應(yīng)的抓取資源類型的數(shù)量。

4.一種內(nèi)容抓取的裝置，包括：

數(shù)據(jù)獲取模塊，被配置成獲取多個抓取請求中每個抓取請求對應(yīng)的圖實例，其中，所述圖實例的頂點為執(zhí)行所述每個抓取請求的算子；

關(guān)系獲取模塊，被配置成從預(yù)設(shè)的配置文件中，獲取所述每個抓取請求中資源類型對應(yīng)的依賴關(guān)系；

內(nèi)容抓取模塊，被配置成：

將所述每個抓取請求對應(yīng)的任務(wù)對象放入任務(wù)隊列中；

利用與所述每個抓取請求對應(yīng)的依賴關(guān)系，以及所述每個抓取請求中資源類型對應(yīng)的算子，批量處理任務(wù)隊列中的任務(wù)對象，對所述每個抓取請求中資源類型的內(nèi)容進行抓取。

5.根據(jù)權(quán)利要求4所述的裝置，其中，所述資源類型為網(wǎng)頁或圖片。

6.根據(jù)權(quán)利要求4或5所述的裝置，所述裝置還包括：

壓力獲取模塊，被配置成獲取資源服務(wù)器的歷史壓力；

數(shù)量確定模塊，被配置成響應(yīng)于所述歷史壓力滿足預(yù)設(shè)的壓力閾值，確定與所述歷史壓力對應(yīng)的抓取資源類型的數(shù)量。

7.一種電子設(shè)備，包括：

至少一個處理器；以及

與所述至少一個處理器通信連接的存儲器；其中，

所述存儲器存儲有可被所述至少一個處理器執(zhí)行的指令，所述指令被所述至少一個處理器執(zhí)行，以使所述至少一個處理器能夠執(zhí)行權(quán)利要求1-3中任一項所述的方法。

8.一種存儲有計算機指令的非瞬時計算機可讀存儲介質(zhì)，所述計算機指令用于使所述計算機執(zhí)行權(quán)利要求1-3中任一項所述的方法。

9.一種內(nèi)容抓取系統(tǒng)，包括：終端設(shè)備和如權(quán)利要求7所述的電子設(shè)備，其中，

電子設(shè)備，被配置成獲取多個抓取請求中每個抓取請求對應(yīng)的圖實例，其中，圖實例的頂點為執(zhí)行每個抓取請求的算子；從預(yù)設(shè)的配置文件中，獲取每個抓取請求中資源類型對應(yīng)的依賴關(guān)系；將所述每個抓取請求對應(yīng)的任務(wù)對象放入任務(wù)隊列中；利用所述與所述每個抓取請求對應(yīng)的依賴關(guān)系，以及所述每個抓取請求中資源類型對應(yīng)的算子，批量處理任務(wù)隊列中的任務(wù)對象，對所述每個抓取請求中資源類型的內(nèi)容進行抓取；

所述終端設(shè)備，被配置成接收所述電子設(shè)備發(fā)送的每個抓取請求中資源類型的內(nèi)容。

10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中，所述資源類型為網(wǎng)頁或圖片。

11.根據(jù)權(quán)利要求9或10所述的系統(tǒng)，所述電子設(shè)備，進一步被配置成：

獲取資源服務(wù)器的歷史壓力；響應(yīng)于所述歷史壓力滿足預(yù)設(shè)的壓力閾值，確定與所述歷史壓力對應(yīng)的抓取資源類型的數(shù)量。