[發(fā)明專利]微信文章以及公眾號(hào)的獲取方法及獲取系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201510609672.7
• 申請(qǐng)日: 2015-09-22
• 公開（公告）號(hào): CN105320740B
• 公開（公告）日: 2018-10-16
• 發(fā)明（設(shè)計(jì)）人: 薛一波;易成岐;郭澤豪
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 李相雨

1.一種微信文章以及公眾號(hào)的獲取方法，其特征在于，所述方法包括以下步驟：

S1、獲取微信檢索所需關(guān)鍵字，對(duì)于每一個(gè)關(guān)鍵字，為其構(gòu)建1個(gè)或多個(gè)搜索URL，并將構(gòu)建的所述搜索URL放入請(qǐng)求隊(duì)列；

S2、啟動(dòng)爬蟲組件，對(duì)每一個(gè)關(guān)鍵字的每一個(gè)搜索URL以及對(duì)應(yīng)于所述搜索URL的頁面上未爬取的URL進(jìn)行爬取；其中所述步驟S2中爬取步驟具體為：

S21、判斷當(dāng)前爬取頁面是否是驗(yàn)證碼頁面，若當(dāng)前爬取頁面是驗(yàn)證碼頁面，則執(zhí)行步驟S22，否則執(zhí)行步驟S23；

S22、獲取當(dāng)前頁面的驗(yàn)證碼，并上傳至第三方平臺(tái)，由所述第三方平臺(tái)進(jìn)行驗(yàn)證碼識(shí)別，之后由模擬驗(yàn)證碼提交表單提交驗(yàn)證碼，之后執(zhí)行所述步驟S21；

S23、判斷當(dāng)前爬取頁面的URL是否為當(dāng)前關(guān)鍵字對(duì)應(yīng)的多個(gè)所述搜索URL中的一個(gè)，若是執(zhí)行步驟S24，否則執(zhí)行步驟S30；

S24、利用微信的文章ID號(hào)以及微信號(hào)做布隆過濾，篩選出當(dāng)前爬取頁面中未爬取的微信文章的URL以及對(duì)應(yīng)的微信公眾號(hào)的URL，并放入所述請(qǐng)求隊(duì)列；對(duì)于微信文章的URL以及微信公眾號(hào)的URL中的每一個(gè)URL，執(zhí)行步驟S21；

S25、判斷當(dāng)前爬取頁面是否為當(dāng)前關(guān)鍵字的第一個(gè)搜索URL對(duì)應(yīng)的頁面，若是執(zhí)行步驟S26，否則執(zhí)行步驟S27；

S26、獲取當(dāng)前爬取頁面的第一個(gè)文章的ID號(hào)，并更新入增量列表，之后執(zhí)行步驟S27；其中所述增量列表用于存儲(chǔ)每一個(gè)關(guān)鍵字的第一個(gè)頁面的第一個(gè)文章的ID號(hào)；

S27、判斷當(dāng)前爬取頁面是否為當(dāng)前關(guān)鍵字的最后一個(gè)搜索URL對(duì)應(yīng)的頁面，若是，則當(dāng)前關(guān)鍵字的爬取操作完成，執(zhí)行步驟S29；否則執(zhí)行步驟S28；

S28、判斷當(dāng)前爬取頁面的下一個(gè)搜索URL對(duì)應(yīng)的頁面是否已經(jīng)爬過，若是，執(zhí)行步驟S29；否則，將當(dāng)前爬取頁面的下一個(gè)搜索URL放入所述請(qǐng)求隊(duì)列中，并執(zhí)行步驟S21；

S29、判斷當(dāng)前關(guān)鍵字是否是最后一個(gè)關(guān)鍵字，若是，爬蟲結(jié)束；否則，執(zhí)行步驟S21進(jìn)行下一個(gè)關(guān)鍵字的搜索URL以及搜索URL頁面上未爬取的URL的爬取操作，

S30、從當(dāng)前爬取頁面中解析得到微信公眾號(hào)或者微信文章，并將分析得到的微信公眾號(hào)或者微信文章進(jìn)行處理，之后進(jìn)行存儲(chǔ)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S26中更新入增量列表之前，所述方法還包括增量列表加載的步驟。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S1中將第一個(gè)關(guān)鍵字的搜索URL放入所述請(qǐng)求隊(duì)列，并且在步驟S27中，當(dāng)前關(guān)鍵字的爬取操作完成后再將下一個(gè)關(guān)鍵字的搜索URL放入所述請(qǐng)求隊(duì)列。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S24中，在布隆過濾方法篩選出當(dāng)前爬取頁面中未爬取的微信文章的URL以及微信公眾號(hào)的URL之前，所述方法還包括以下步驟：

將當(dāng)前爬取頁面的URL以及當(dāng)前關(guān)鍵字存儲(chǔ)到斷點(diǎn)日志中。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S26中，在獲取當(dāng)前爬取頁面的第一個(gè)文章的ID號(hào)之前，所述方法還包括以下步驟：

將增量列表下載到本地文件中，從下載的增量列表中獲取上一次存儲(chǔ)的關(guān)鍵字以及對(duì)應(yīng)的第一個(gè)搜索URL頁面上第一個(gè)文章的ID號(hào)，并存入內(nèi)存中。