[發明專利]反爬蟲方法和裝置

有效

• 申請號: 202011004725.X
• 申請日: 2020-09-22
• 公開（公告）號: CN112182603B
• 公開（公告）日: 2022-12-13
• 發明（設計）人: 張馳;簡志枰;張舜華;任文濤;汪楠;吳興;譚漢堅
• 申請（專利權）人: 中國建設銀行股份有限公司
• 主分類號: G06F21/60
• 分類號: G06F21/60;G06F16/951;H04L9/14
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張效榮;馮培培

本發明公開了一種反爬蟲方法和裝置，涉及計算機技術領域。其中，該方法包括：基于第一密鑰和第一加密算法對原始字體文件進行加密以得到目標字體文件；響應于客戶端的數據獲取請求，基于第二密鑰和第二加密算法加密結果數據；其中，所述第二密鑰為第一密鑰的反向密鑰，所述第二加密算法為第一加密算法的逆向加密算法；將加密后的結果數據和字體文件標識發送至所述客戶端，以使所述客戶端基于所述字體文件標識對應的目標字體文件展示所述加密后的結果數據。通過以上步驟，能夠提高反爬蟲的防御效果，提高爬蟲程序的破解難度。

技術領域

本發明涉及計算機技術領域，尤其涉及一種反爬蟲方法和裝置。

背景技術

爬蟲技術起源于早期互聯網流行的全文搜索引擎抓取網頁數據的下載系統。在互聯網中，各式各樣的網頁可以看作一個異常巨大的有向圖，這個圖的節點有上百億個。抓取程序從其中一個節點開始按照深度優先和廣度優先相結合的方式遍歷網絡，直觀的看就像一個或者多個蜘蛛在網絡上爬行。在互聯網發展的早期，爬蟲程序可以讓網站被搜索引擎或者導航網站收錄，不僅有助于的網站推廣，而且也能使用戶更快地找到想要獲取的信息，對網站擁有者和用戶雙方都非常有益。進而，產生了網絡爬蟲排除協議(Robots ExclusionProtocol，REP)這樣的君子協定。REP協議規定在站點根目錄下使用robots.txt文件來定義哪些頁面信息可以被爬蟲程序采集，哪些頁面信息不允許被采集。

隨著互聯網和移動通訊技術的飛速發展，Web頁面的載體從傳統的PC端擴展到各種移動設備、甚至智能家電和其他物聯網設備中。與此同時，爬蟲的類型日益豐富，數量日益龐大，所采用的技術手段也越來越先進。

目前，非法網絡爬蟲出于商業目的采集未被REP協議許可的網頁信息，甚至是非法采集用戶的敏感個人信息，已經成為不容忽視的問題。非法網絡爬蟲的危害主要有如下幾點：第一，網絡爬蟲的大量訪問請求會占用Web服務器內存和CPU資源，給服務器帶來巨大的負荷，導致服務器性能下降，影響正常用戶的體驗；第二，大量的爬蟲請求會大量消耗服務器的網絡帶寬，帶來額外的網絡費用，增加了企業的網絡帶寬成本；第三，影響搜索引擎對用戶訪問行為的挖掘，進而影響搜索引擎網站數據排名，干擾了網站內部的數據采集或者用戶行為的監控系統，擾亂了網站內部監控系統的準確性，對用戶數據的進一步挖掘也失去了意義。

因此，對爬蟲程序進行提前防御、識別出爬蟲程序的訪問請求，以及對來自爬蟲程序的請求進行封禁、或者返回錯誤雜亂的信息干擾爬蟲程序等各方面反爬蟲手段的研究具有重大的現實意義。

在實現本發明的過程中，本發明的發明人發現：在現有技術中，往往采取單一的反爬蟲措施，比如從運維、后端、或者前端等方面單獨采取措施來反制爬蟲程序。由于這些措施是從單方面考慮的，缺乏聯動和配合，導致爬蟲程序也能輕易地破解這些措施。

發明內容

有鑒于此，本發明提供了一種反爬蟲方法和裝置，能夠提高反爬蟲的防御效果，提高爬蟲程序的破解難度。

為實現上述目的，根據本發明的第一個方面，提供了一種反爬蟲方法。

本發明的反爬蟲方法包括：基于第一密鑰和第一加密算法對原始字體文件進行加密以得到目標字體文件；響應于客戶端的數據獲取請求，基于第二密鑰和第二加密算法加密結果數據；其中，所述第二密鑰為第一密鑰的反向密鑰，所述第二加密算法為第一加密算法的逆向加密算法；將加密后的結果數據和字體文件標識發送至所述客戶端，以使所述客戶端基于所述字體文件標識對應的目標字體文件展示所述加密后的結果數據。

可選地，所述方法還包括：在基于第一密鑰和第一加密算法對原始字體文件進行加密以得到目標字體文件之前，通過偽隨機數生成器生成所述第一密鑰。

可選地，所述方法還包括：在所述基于第二密鑰和第二加密算法加密結果數據之前，獲取第一密鑰，對所述第一密鑰的組成元素的順序進行反向以得到所述第二密鑰。