[發明專利]一種網絡信息采集方法、服務器、終端和系統

有效

• 申請號: 201911305040.6
• 申請日: 2019-12-17
• 公開（公告）號: CN112994968B
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 肖爽
• 申請（專利權）人: 北京沃東天駿信息技術有限公司
• 主分類號: H04L43/04
• 分類號: H04L43/04;H04L67/02;H04L67/60
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張效榮;馮培培

本發明公開了一種網絡信息采集方法、服務器、終端和系統，涉及計算機技術領域。該方法的一具體實施方式包括：確定采集任務；發送采集任務給目標終端，以使目標終端通過客戶端為采集任務生成訪問請求；接收目標終端發送的訪問請求，并將訪問請求發送給web服務端，以觸發web服務端發送與訪問請求相匹配的訪問頁面；接收訪問頁面，并采集訪問頁面中的信息。該實施方式能夠完整的采集發布于客戶端內置瀏覽器上的信息。

技術領域

本發明涉及計算機技術領域，尤其涉及一種網絡信息采集方法、服務器、終端和系統。

背景技術

隨著網絡的快速發展，通過客戶端內置瀏覽器發布各種文章、新聞報道以及企業信息等，已成為網絡信息公開的主要途徑之一。因此，在網絡信息采集中，采集通過客戶端內置瀏覽器訪問的信息已不可被忽視。

現有網絡信息采集的方式是，直接或者模擬瀏覽器向web服務端發起HTTP請求，以訪問web服務端返回的該HTTP請求對應的頁面。由于客戶端內置瀏覽器向web服務端發送的訪問頁面請求會攜帶有特征信息，而web服務端會根據該特征信息返回完整信息。而通過現有網絡信息采集的方式只能采集一部分發布于客戶端內置瀏覽器上的信息。比如，發布于客戶端內置瀏覽器上的包含有訪問量和評論等的新聞，通過現有網絡信息采集的方式往往只能采集到新聞，而并不能采集到訪問量和評論等。

在實現本發明過程中，發明人發現現有技術中至少存在如下問題：

現有網絡信息采集的方式并不能完整的采集發布于客戶端內置瀏覽器上的信息。

發明內容

有鑒于此，本發明實施例提供一種網絡信息采集方法、服務器、終端和系統，能夠完整的采集發布于客戶端內置瀏覽器上的信息。

為實現上述目的，根據本發明實施例的一個方面，提供了一種網絡信息采集方法，應用于服務器，包括：

確定采集任務；

發送所述采集任務給目標終端，以使所述目標終端為所述采集任務生成訪問請求；

接收所述目標終端發送的所述訪問請求，并將所述訪問請求發送給web服務端，以觸發所述web服務端發送與所述訪問請求相匹配的訪問頁面；

接收所述訪問頁面，并采集所述訪問頁面中的信息。

優選地，

上述網絡信息采集方法，進一步包括：

設置采集管理項，并將多個配置信息錄入所述采集管理項，其中，每一個所述配置信息包括采集時間；

在所述采集管理項中，根據所述采集時間，查找是否存在滿足當前時間的配置信息，

如果是，則根據所述滿足當前時間的配置信息，執行所述確定采集任務的步驟；

否則，將兜底頁面的訪問地址發送給目標終端，所述兜底頁面指示定時調用預設的接口，以使所述目標終端點擊所述兜底頁面的訪問地址后，執行定時調用預設的接口的操作。

優選地，

每一個所述配置信息進一步包括：訪問地址、采集頻率以及采集周期；

所述根據所述滿足當前時間的配置信息，執行所述確定采集任務的步驟，包括：

將所述滿足當前時間的配置信息中的訪問地址包裝為一個超鏈接標簽，將所述超鏈接標簽、所述滿足當前時間的配置信息中的采集頻率和采集周期組合為一個采集任務。

優選地，

所述將所述超鏈接標簽以及所述滿足當前時間的配置信息中的采集頻率組合為一個采集任務，包括：

判斷在當前時間是否接收到所述web服務端發送的訪問頁面，