[發明專利]一種信息提取方法及系統

在審

• 申請號: 202010095181.6
• 申請日: 2020-02-14
• 公開（公告）號: CN111343253A
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 徐志欣
• 申請（專利權）人: 蘇寧金融科技（南京）有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L29/06;H04L29/12
• 代理公司: 北京市萬慧達律師事務所 11111
• 代理人: 段曉玲

1.一種信息提取方法，其特征在于，所述方法包括步驟：

信息提取服務器發送信息提取代理服務請求至代理服務器；

所述代理服務器將所述信息提取代理服務請求分發給代理池中的公網代理IP，并通過所述公網代理IP向目標頁面發起信息提取請求；所述公網代理IP為預先從公網中獲得的有效代理IP；

所述代理服務器獲取所述公網代理IP返回的信息提取結果，并發送給所述信息提取服務器。

2.根據權利要求1所述的一種信息提取方法，其特征在于，所述方法還包括：

所述信息提取服務器預先將信息提取代理服務的地址指定為代理服務器的地址。

3.根據權利要求2所述的一種信息提取方法，其特征在于，所述信息提取服務器預先將信息提取代理服務的地址指定為代理服務器的地址包括：

所述信息提取服務器獲取所有的所述信息提取代理服務的等級值；

所述信息提取服務器將每一所述等級值與預設閾值比較；

所述信息提取服務器將小于所述預設閾值的所述等級值對應的所述信息提取代理服務的地址指定為所述代理服務器的地址。

4.根據權利要求1所述的一種信息提取方法，其特征在于，所述代理池中的所述公網代理IP通過如下步驟獲得：

所述代理服務器實時檢測公網獲得公網中的所有代理IP；

所述代理服務器檢測所有的所述代理IP的有效性；

所述代理服務器將有效的代理IP存入所述代理池中。

5.根據權利要求4所述的一種信息提取方法，其特征在于，所述方法還包括：

在滿足預設的觸發條件時，檢測所述代理池中存儲的每一所述代理IP的有效性；

將失效的代理IP從所述代理池中剔除。

6.根據權利要求1所述的一種信息提取方法，其特征在于，所述方法還包括：

所述信息提取服務器根據所述信息提取結果獲取所述信息提取代理服務請求被響應的成功率值；

所述信息提取服務器判斷所述成功率值是否小于預設閾值；

若是，所述信息提取服務器保持當前運行狀態；

若否，所述信息提取服務器按照預設順序逐一將所有的所述信息提取代理服務請求發送至所述代理服務器。

7.根據權利要求4所述的一種信息提取方法，其特征在于，

所述代理服務器搭建在隔離區；

所述代理服務器采用HttpClient和Jsoup技術檢測所述公網；

所述代理池存儲在Redis緩存中；

所述代理服務器使用Socket與所述信息提取服務器和所述公網代理IP進行信息傳輸。

8.一種信息提取系統，其特征在于，所述系統包括：

信息提取服務器，用于發送信息提取代理服務請求至代理服務器；

所述代理服務器，用于將所述信息提取代理服務請求分發給代理池中的公網代理IP，并通過所述公網代理IP向目標頁面發起信息提取請求；所述公網代理IP為從公網中信息提取得到的有效代理IP；

所述代理服務器，還用于獲取所述公網代理IP返回的信息提取結果，并發送給所述信息提取服務器。

9.根據權利要求8所述的一種信息提取系統，其特征在于，所述代理服務器，具體用于實時檢測公網獲得公網中的所有代理IP，檢測所有的所述代理IP的有效性并將有效的代理IP存入所述代理池中。

10.一種計算機系統，其特征在于，所述系統包括：

一個或多個處理器；以及

與所述處理器關聯的存儲器，所述存儲器用于存儲程序指令,所述程序指令在被所述處理器讀取執行時，執行如權利要求1-7任一項所述的方法。