[發明專利]資源庫的確定方法和裝置、存儲介質及電子裝置

在審

• 申請號: 202010888627.0
• 申請日: 2020-08-28
• 公開（公告）號: CN112035723A
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 朱學鋒;鐵力;何沉;田然;田江;向小佳;丁永建;李璠
• 申請（專利權）人: 光大科技有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/9535;G06F16/955;G06F16/958
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 王曉婷

1.一種資源庫的確定方法，其特征在于，包括：

通過網絡捕獲器獲取與目標主題對應的第一網頁地址，根據所述第一網頁地址生成第一地址隊列；

使用所述網絡捕獲器獲取所述第一地址隊列對應的網頁源碼；

根據所述網頁源碼生成網頁向量，確定所述網頁向量與預先建立的標準特征向量之間的第一距離，將第一距離小于第一預設閾值對應的第二網頁地址從所述第一地址隊列中刪除，得到第二地址隊列，其中，所述網頁向量是根據所述網頁源碼對應的文本信息生成的；

從所述第二地址隊列對應的網頁源碼中獲取目標資源信息，將所述目標資源信息存儲至目標資源庫，其中，所述目標資源信息用于描述與所述目標主題相關的資源，所述目標資源庫用于存儲與所述目標主題相關的資源信息。

2.根據權利要求1所述的方法，其特征在于，所述通過網絡捕獲器獲取與目標主題對應的第一網頁地址，包括：

通過網絡捕獲器并使用所述目標主題，按照預設優先級依次對地址庫中的地址進行爬取，得到所述第一網頁地址。

3.根據權利要求1所述的方法，其特征在于，所述使用所述網絡捕獲器獲取所述第一地址隊列對應的網頁源碼之后，所述方法還包括：

確定所述第一地址隊列對應的網頁源碼對應的樹形節點結構；

將所述樹形節點結構中用于表示視覺特征對應的部分進行去噪處理，其中，所述樹形節點結構中用于表示視覺特征對應的部分為style和script。

4.根據權利要求1所述的方法，其特征在于，所述根據所述網頁源碼生成網頁向量，包括：

采用正則表達式對所述第一地址隊列對應網頁源碼進行抽取，得到所述文本信息；

根據所述文本信息生成所述網頁向量。

5.根據權利要求1至4任一項中所述的方法，其特征在于，在所述從所述第二地址隊列對應的網頁源碼中獲取目標資源信息之后，所述方法還包括：

根據所述目標資源信息確定所述第二地址隊列中每個網頁地址對應的指紋信息，其中，所述指紋信息用于表示所述目標資源信息；

根據所述指紋信息確定第二網頁地址中任意兩個網頁地址之間的的第二距離，其中，所述第二網頁地址為所述第二地址隊列中的網頁地址；

將所述第二距離小于第二預設閾值對應的任意兩個網頁地址中的一個網頁地址刪除，得到目標地址隊列。

6.一種資源庫的確定裝置，其特征在于，包括：

第一處理單元，用于通過網絡捕獲器獲取與目標主題對應的第一網頁地址，根據所述第一網頁地址生成第一地址隊列；

第一獲取單元，用于使用所述網絡捕獲器獲取所述第一地址隊列對應的網頁源碼；

第一確定單元，用于根據所述網頁源碼生成網頁向量，確定所述網頁向量與預先建立的標準特征向量之間的第一距離，將第一距離小于第一預設閾值對應的第二網頁地址從所述第一地址隊列中刪除，得到第二地址隊列，其中，所述網頁向量是根據所述網頁源碼對應的文本信息生成的；

第二處理單元，用于從所述第二地址隊列對應的網頁源碼中獲取目標資源信息，將所述目標資源信息存儲至目標資源庫，其中，所述目標資源信息用于描述與所述目標主題相關的資源，所述目標資源庫用于存儲與所述目標主題相關的資源信息。

7.根據權利要求6所述的裝置，其特征在于，所述第一處理單元，還用于通過網絡捕獲器并使用所述目標主題，按照預設優先級依次對地址庫中的地址進行爬取，得到所述第一網頁地址。

8.根據權利要求6所述的裝置，其特征在于，所述裝置還包括：

第二確定單元，用于所述使用所述網絡捕獲器獲取所述第一地址隊列對應的網頁源碼之后，確定所述第一地址隊列對應的網頁源碼對應的樹形節點結構；

第三處理單元，用于將所述樹形節點結構中用于表示視覺特征對應的部分進行去噪處理，其中，所述樹形節點結構中用于表示視覺特征對應的部分為style和script。