[發(fā)明專利]網(wǎng)頁日志收集方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011561969.8
• 申請日: 2020-12-25
• 公開（公告）號: CN112528206A
• 公開（公告）日: 2021-03-19
• 發(fā)明（設(shè)計）人: 楊小彥
• 申請（專利權(quán)）人: 平安普惠企業(yè)管理有限公司
• 主分類號: G06F16/958
• 分類號: G06F16/958;G06F16/18;G06F9/50
• 代理公司: 北京鴻元知識產(chǎn)權(quán)代理有限公司 11327
• 代理人: 袁文婷;張娓娓

本發(fā)明涉及數(shù)據(jù)采集領(lǐng)域，提供一種網(wǎng)頁日志收集方法，首先在網(wǎng)頁客戶端與資源服務(wù)器之間連接代理服務(wù)器，使網(wǎng)頁客戶端經(jīng)由代理服務(wù)器向所述資源服務(wù)器發(fā)出用戶請求，再通過代理服務(wù)器確認(rèn)用戶請求的請求方是否屬于代理服務(wù)器中記錄的白名單列表，若屬于白名單列表，則將用戶請求轉(zhuǎn)發(fā)至資源服務(wù)器，資源服務(wù)器將響應(yīng)發(fā)送至代理服務(wù)器，而后將一致性返回文本及日志收集腳本返回至所述網(wǎng)頁客戶端，在響應(yīng)中注入日志收集腳本形成響應(yīng)日志，并將響應(yīng)日志上傳至日志平臺以進(jìn)行日志收集，從而無需大規(guī)模一并收集所有網(wǎng)頁用戶的網(wǎng)頁日志，減少存儲成本，提高收集效率，并且更具針對性，能夠更精準(zhǔn)的輔助定位生產(chǎn)問題。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)采集領(lǐng)域，涉及一種日志收集方法，尤其涉及一種網(wǎng)頁日志收集方法、裝置、電子設(shè)備及計算機(jī)可讀存儲介質(zhì)。

背景技術(shù)

網(wǎng)站頁面是互聯(lián)網(wǎng)服務(wù)的基本載體，即使在如今傳統(tǒng)互聯(lián)網(wǎng)形態(tài)逐漸讓位于移動互聯(lián)網(wǎng)的背景下，HTML頁面依舊是最普遍的業(yè)務(wù)形態(tài)，對于以網(wǎng)頁為基本展現(xiàn)形式的互聯(lián)網(wǎng)產(chǎn)品和服務(wù)，衡量其業(yè)務(wù)水平的基本指標(biāo)是網(wǎng)頁瀏覽量(PV)和訪客數(shù)(UV)。為此，需要采集頁面被瀏覽器加載展現(xiàn)的記錄，這是最原始的互聯(lián)網(wǎng)日志采集需求，也是一切互聯(lián)網(wǎng)數(shù)據(jù)分析得以展開的基礎(chǔ)和前提。

但是傳統(tǒng)的日志收集主要是針對于所有用戶的日志一并收集，這樣對于日志存儲端來說，每天要存儲所有用戶的日志數(shù)據(jù)，日志的價值主要是在用戶發(fā)生問題的時候，需要通過用戶的實時日志數(shù)據(jù)輔助定位生產(chǎn)問題，但是大量日志是不需要的，或者是沒有價值的，一并收集日志反而不僅不會提高定位問題的精準(zhǔn)性，而且還會增加存儲成本。

因此，亟需一種能夠節(jié)約存儲成本，提高日志查找速度的網(wǎng)頁日志收集方法。

發(fā)明內(nèi)容

本發(fā)明提供一種網(wǎng)頁日志收集方法、裝置、電子設(shè)備及計算機(jī)可讀存儲介質(zhì)，其主要目的在于只收集對問題定位有價值的網(wǎng)頁日志，從而節(jié)約存儲日志的成本，提高日志查找速度，并且在采集網(wǎng)頁日志時采用與網(wǎng)頁操作不同的線程，邊使用網(wǎng)頁邊采集網(wǎng)頁日志，兩者相互獨(dú)立、互不影響。

為實現(xiàn)上述目的，本發(fā)明提供的一種網(wǎng)頁日志收集方法，包括：

在網(wǎng)頁客戶端與資源服務(wù)器之間連接代理服務(wù)器，使所述網(wǎng)頁客戶端經(jīng)由所述代理服務(wù)器向所述資源服務(wù)器發(fā)出用戶請求；

通過所述代理服務(wù)器攔截接收所述用戶請求，并確認(rèn)所述用戶請求的請求方是否屬于所述代理服務(wù)器中記錄的白名單列表，若屬于所述白名單列表，則將所述用戶請求轉(zhuǎn)發(fā)至所述資源服務(wù)器；其中，所述白名單列表包括測試ID和存在網(wǎng)頁操作錯誤的用戶ID；

通過所述代理服務(wù)器從所述資源服務(wù)器獲取針對所述用戶請求做出的響應(yīng)，并對所述響應(yīng)進(jìn)行適應(yīng)性修改形成一致性返回文本；

將所述一致性返回文本及日志收集腳本返回至所述網(wǎng)頁客戶端，在所述響應(yīng)中注入日志收集腳本形成響應(yīng)日志，并將所述響應(yīng)日志上傳至日志平臺以進(jìn)行日志收集。

可選地，在網(wǎng)頁客戶端與資源服務(wù)器之間連接代理服務(wù)器，使所述網(wǎng)頁客戶端經(jīng)由所述代理服務(wù)器向所述資源服務(wù)器發(fā)出用戶請求的過程，包括：

通過所述網(wǎng)頁客戶端向所述代理服務(wù)器發(fā)起連接請求；

所述代理服務(wù)器根據(jù)所述連接請求獲取所述網(wǎng)頁客戶端的規(guī)格信息；

根據(jù)所述規(guī)格信息評測所述網(wǎng)頁客戶端的安全系數(shù)；

若所述網(wǎng)頁客戶端的安全系數(shù)大于預(yù)設(shè)的安全閾值，則所述代理服務(wù)器向所述網(wǎng)頁客戶端發(fā)出連接響應(yīng)，以建立所述網(wǎng)頁客戶端與所述代理服務(wù)器的連接，并獲取所述網(wǎng)頁客戶端發(fā)送用戶請求的歸屬地址；

所述代理服務(wù)器根據(jù)所述歸屬地址找尋所述資源服務(wù)器，并向所述資源服務(wù)器發(fā)起信任指令；