[發明專利]申請登錄憑證的方法和裝置

有效

• 申請號: 201510706429.7
• 申請日: 2015-10-27
• 公開（公告）號: CN106611118B
• 公開（公告）日: 2020-05-12
• 發明（設計）人: 崔志伸
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: G06F21/33
• 分類號: G06F21/33;G06F16/951;G06F16/953;G06F16/9535
• 代理公司: 北京鼎佳達知識產權代理事務所(普通合伙) 11348
• 代理人: 王偉鋒;劉鐵生

本發明公開了一種申請登錄憑證的方法和裝置，涉及互聯網技術領域，能夠解決現有技術中爬蟲程序申請登錄憑證效率低的問題。本發明的方法主要包括：接收爬蟲程序發送的登錄憑證請求，所述登錄憑證請求用于申請獲得所述爬蟲程序待爬取網站的登錄憑證；獲取所述登錄憑證請求中攜帶的網址；從本地獲取與所述網址對應的登錄憑證；向所述爬蟲程序發送所述登錄憑證。本發明主要適用于爬蟲程序爬取網頁的場景中。

技術領域

本發明涉及互聯網技術領域，尤其涉及一種申請登錄憑證的方法和裝置。

背景技術

網絡爬蟲是一種按照一定的規則，自動抓取萬維網信息的程序。在實際應用中，爬蟲程序在爬取各種網站時，常常會遇到需要登錄憑證才有權爬取網頁內容的網站。在這種情況下，在爬蟲程序爬取網站之前，會先向網站服務器發送登錄賬號；網站服務器接收到登錄賬號后，會通過驗證規則對該登錄賬號進行驗證；若驗證通過，則向該爬蟲程序反饋登錄憑證，以便爬蟲程序通過登錄憑證爬取該網站上的網頁內容。然而，網站服務器驗證登錄賬號卻需要花費較長的時間，并且當存在大量的爬蟲程序使用相同的登錄賬號向網站服務器申請登錄憑證時，網站服務器會暫時停用該登錄賬號，此時爬蟲程序又需要更換登錄賬號，再次向網站服務器申請登錄憑證，從而使得申請登錄憑證的效率較低。

發明內容

鑒于上述技術問題，本發明提供了一種申請登錄憑證的方法和裝置，能夠解決現有技術中爬蟲程序申請登錄憑證效率低的問題。

一方面，本發明提供了一種申請登錄憑證的方法，所述方法包括：

接收爬蟲程序發送的登錄憑證請求，所述登錄憑證請求用于申請獲得所述爬蟲程序待爬取網站的登錄憑證；

獲取所述登錄憑證請求中攜帶的網址；

從本地獲取與所述網址對應的登錄憑證；

向所述爬蟲程序發送所述登錄憑證。

另一方面，本發明提供了一種申請登錄憑證的裝置，所述裝置包括：

接收單元，用于接收爬蟲程序發送的登錄憑證請求，所述登錄憑證請求用于申請獲得所述爬蟲程序待爬取網站的登錄憑證；

獲取單元，用于獲取所述接收單元接收的所述登錄憑證請求中攜帶的網址；

所述獲取單元，還用于從本地獲取與所述網址對應的登錄憑證；

發送單元，用于向所述爬蟲程序發送所述獲取單元獲取的所述登錄憑證。

借由上述技術方案，本發明提供的申請登錄憑證的方法和裝置，能夠當爬蟲程序待爬取的網站需要登錄憑證才能爬取該網站上的網頁時，爬蟲程序直接向登錄憑證管理器發送攜帶網址的登錄憑證請求，登錄憑證管理器接收該登錄憑證請求后，可直接在本地查找與該網址對應的登錄憑證，而無需讓爬蟲程序發送登錄信息(例如登錄賬號)，并對登錄信息進行繁瑣的驗證操作，同時也不存在由于所使用的登錄賬號被暫時停用，而需要更換登錄賬號再次向網站服務器申請登錄憑證的現象，從而提高了爬蟲程序申請登錄憑證的效率。

上述說明僅是本發明技術方案的概述，為了能夠更清楚了解本發明的技術手段，而可依照說明書的內容予以實施，并且為了讓本發明的上述和其它目的、特征和優點能夠更明顯易懂，以下特舉本發明的具體實施方式。

附圖說明

通過閱讀下文優選實施方式的詳細描述，各種其他的優點和益處對于本領域普通技術人員將變得清楚明了。附圖僅用于示出優選實施方式的目的，而并不認為是對本發明的限制。而且在整個附圖中，用相同的參考符號表示相同的部件。在附圖中：

圖1示出了本發明實施例提供的一種申請登錄憑證的方法的流程圖；

圖2示出了本發明實施例提供的一種申請登錄憑證的裝置的組成框圖；