[發(fā)明專利]基于代理的侵入式社交數(shù)據(jù)采集方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910037397.4
• 申請(qǐng)日: 2019-01-15
• 公開（公告）號(hào): CN109831491B
• 公開（公告）日: 2022-03-15
• 發(fā)明（設(shè)計(jì)）人: 李森;李凌悅;蘇磊
• 申請(qǐng)（專利權(quán)）人: 科大國(guó)創(chuàng)軟件股份有限公司
• 主分類號(hào): H04L67/02
• 分類號(hào): H04L67/02;H04L67/141;H04L67/56;H04L9/40;G06F16/951
• 代理公司: 合肥洪雷知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 34164
• 代理人: 孫小華

1.一種基于代理的侵入式社交數(shù)據(jù)采集方法，其特征在于，包括如下步驟：

步驟S1：?jiǎn)?dòng)調(diào)度程序定時(shí)任務(wù)，從數(shù)據(jù)庫(kù)中取出公眾號(hào)放入redis中，并進(jìn)行去重處理；

步驟S2：定時(shí)從redis中取出地址放入rabbitMq隊(duì)列中；

步驟S3：用戶登錄微信客戶端，打開公眾號(hào)文章，向微信服務(wù)器發(fā)送請(qǐng)求；

步驟S4：經(jīng)過代理服務(wù)器處理，代理截取微信服務(wù)器的響應(yīng)數(shù)據(jù)，注入JS響應(yīng)到客戶端；

步驟S5：根據(jù)注入的JS連接爬蟲服務(wù)，爬蟲服務(wù)端通過注入的JS操作客戶端；

步驟S6：從隊(duì)列中取出公眾號(hào)地址放到客戶端執(zhí)行請(qǐng)求，通過下拉操作獲得公眾號(hào)歷史文章；

步驟S7：客戶端返回文章連接資源到程序中，保存到詳情隊(duì)列中；

步驟S8：判斷隊(duì)列中是否存在下一個(gè)公眾號(hào)地址；

若是，則通過客戶端發(fā)送請(qǐng)求并返回步驟S4繼續(xù)執(zhí)行；

若否，則執(zhí)行步驟S9；

步驟S9：從詳情隊(duì)列中取鏈接放到客戶端發(fā)起請(qǐng)求，經(jīng)過代理服務(wù)器注入JS，連接程序服務(wù)端；

步驟S10：程序控制客戶端獲得文章信息；

其中，步驟S1中，微信瀏覽器與socket服務(wù)器成功建立連接時(shí)，服務(wù)器會(huì)初始化當(dāng)前采集的頁面基本數(shù)據(jù)，客戶端在連接成功后發(fā)送信號(hào)至服務(wù)端，將頁面的url傳給服務(wù)端，直至所有數(shù)據(jù)初始化完成后，服務(wù)端給客戶端發(fā)送取數(shù)據(jù)指令，開始進(jìn)行數(shù)據(jù)采集；

其中，步驟S4中，http請(qǐng)求經(jīng)過代理服務(wù)器時(shí)，具體的處理步驟為：

步驟S41：收集request請(qǐng)求的所有請(qǐng)求參數(shù)；

步驟S42：使用代理服務(wù)器對(duì)客戶端的請(qǐng)求進(jìn)行處理，返回新的請(qǐng)求參數(shù)或返回響應(yīng)內(nèi)容；

步驟S43：若返回響應(yīng)內(nèi)容，則立即把此響應(yīng)返回到客戶端，流程結(jié)束；

步驟S44：若返回請(qǐng)求參數(shù)，則根據(jù)請(qǐng)求參數(shù)，向服務(wù)端發(fā)出請(qǐng)求，接受服務(wù)端響應(yīng)；

步驟S45：調(diào)用規(guī)則模塊，對(duì)微信服務(wù)端的響應(yīng)進(jìn)行處理，把響應(yīng)信息返回給客戶端。

2.根據(jù)權(quán)利要求1所述的一種基于代理的侵入式社交數(shù)據(jù)采集方法，其特征在于，所述步驟S45中，調(diào)用規(guī)則模塊中的方法根據(jù)返回內(nèi)容判斷是否會(huì)明文解析請(qǐng)求，當(dāng)https請(qǐng)求被明文解析后，處理流程同http一致，未被明文解析的請(qǐng)求則不會(huì)進(jìn)入規(guī)則模塊進(jìn)行處理。

3.根據(jù)權(quán)利要求1所述的一種基于代理的侵入式社交數(shù)據(jù)采集方法，其特征在于，數(shù)據(jù)采集完成時(shí)，服務(wù)端會(huì)從相應(yīng)的隊(duì)列中取出下一個(gè)采集頁面的url，并發(fā)送至客戶端讓其自行跳轉(zhuǎn)；若當(dāng)前采集隊(duì)列消費(fèi)為空，則消費(fèi)另一個(gè)隊(duì)列，若兩個(gè)隊(duì)列消費(fèi)都為空，則服務(wù)端會(huì)一直監(jiān)聽兩個(gè)隊(duì)列，直至獲取下一個(gè)url。