[發明專利]應對網頁woff字體反爬蟲的爬蟲方法和裝置

在審

• 申請號: 202011135071.4
• 申請日: 2020-10-22
• 公開（公告）號: CN114385881A
• 公開（公告）日: 2022-04-22
• 發明（設計）人: 王思昊;李晴洋;艾成;戴永恒;劉學謙
• 申請（專利權）人: 電科云（北京）科技有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/957
• 代理公司: 北京金咨知識產權代理有限公司 11612
• 代理人: 宋教花

1.一種應對網頁woff字體反爬蟲的爬蟲方法，其特征在于，所述方法包括以下步驟：

獲取網站中網頁的網絡地址，并獲取網站主體的參數信息；

獲取所述網絡地址中的層疊樣式表css鏈接，并從中獲取預定的類的woff字體文件鏈接，基于獲取的woff字體文件鏈接獲取文字與對應編碼的對應關系；

對所述預定的類的網絡地址進行頁面抓取，并返回映射信息，返回的映射信息包含網頁中真實文本內容字體對應的編碼；

基于所述真實文本內容字體對應的編碼和獲取的文字與對應編碼的對應關系獲得所述預定類的真實文字內容；

保存抓取的真實文字內容。

2.根據權利要求1所述的方法，其特征在于，所述網頁為店鋪網頁或數據平臺的網頁。

3.根據權利要求2所述的方法，其特征在于，所述網站主體的參數信息包括以下中的至少一種：網站主體ID、城市ID、網站主體類型和層疊樣式表文本版本號。

4.根據權利要求2所述的方法，其特征在于，所述預定的類為評論。

5.根據權利要求4所述的方法，其特征在于，

基于woff字體文件鏈接獲取的文字與對應編碼的對應關系中的編碼包括第一固定編碼部分和第一標識性編碼部分；

所述映射信息包含的真實文本內容字體對應的編碼包括第二固定編碼部分和第二標識性編碼部分；

所述基于所述真實文本內容字體對應的編碼和獲取的文字與對應編碼的對應關系獲得所述預定類的真實文字內容包括：至少基于所述第二標識性編碼部分與所述第一標識性編碼部分的匹配關系以及獲取的文字與對應編碼的對應關系，獲得所述預定類的真實文字內容。

6.根據權利要求5所述的方法，其特征在于，所述第一固定編碼部分和所述第二固定編碼部分不同。

7.根據權利要求5所述的方法，其特征在于，至少基于所述第二標識性編碼部分與所述第一標識性編碼部分的匹配關系以及獲取的文字與對應編碼的對應關系，獲得所述預定類的真實文字內容包括：將返回的所述映射信息中的第二固定編碼部分替換為所述第一固定編碼部分，得到更新映射信息，基于更新映射信息中的編碼與所述woff字體文件中的編碼進行匹配，以基于匹配結果和所述woff字體文件中文字與對應編碼的對應關系，獲得所述預定類的真實文字內容。

8.根據權利要求1或2所述的方法，其特征在于，

對所述預定的類的網絡地址進行頁面抓取的步驟包括：對獲取的網頁的網絡地址進行ajax請求，所述ajax請求中包含網站主體的參數信息；

所述返回的映射信息為json格式的映射信息。

9.一種應對網頁woff字體反爬蟲的爬蟲裝置，該裝置包括處理器和存儲器，其特征在于，所述存儲器中存儲有計算機指令，所述處理器用于執行所述存儲器中存儲的計算機指令，當所述計算機指令被處理器執行時該裝置實現如權利要求1-9中任意一項所述方法的步驟。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現如權利要求1至9中任意一項所述方法的步驟。