[發(fā)明專利]數(shù)據(jù)處理方法、日志處理方法和終端

有效

• 申請(qǐng)?zhí)枺?/td>: 201711329386.0
• 申請(qǐng)日: 2017-12-13
• 公開(kāi)（公告）號(hào): CN110020161B
• 公開(kāi)（公告）日: 2023-05-02
• 發(fā)明（設(shè)計(jì)）人: 王意林;尚博;張永鈺;李奇
• 申請(qǐng)（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號(hào): G06F16/9535
• 分類號(hào): G06F16/9535;G06F16/955;H04L67/02
• 代理公司: 北京博浩百睿知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11134
• 代理人: 宋子良

本發(fā)明公開(kāi)了一種數(shù)據(jù)處理方法、日志處理方法和終端。其中，該方法包括：獲取數(shù)據(jù)鏈路對(duì)應(yīng)的日志，其中，數(shù)據(jù)鏈路包括：數(shù)據(jù)從數(shù)據(jù)庫(kù)經(jīng)過(guò)中間件和/或應(yīng)用代碼最終展現(xiàn)的調(diào)用鏈路；通過(guò)日志對(duì)數(shù)據(jù)鏈路進(jìn)行篩選，得到滿足預(yù)設(shè)條件的數(shù)據(jù)鏈路。本發(fā)明解決了由于現(xiàn)有技術(shù)中通過(guò)人工對(duì)敏感數(shù)據(jù)進(jìn)行排查，帶來(lái)的排查效率低的技術(shù)問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明涉及互聯(lián)網(wǎng)技術(shù)應(yīng)用領(lǐng)域，具體而言，涉及一種數(shù)據(jù)處理方法、日志處理方法和終端。

背景技術(shù)

隨著網(wǎng)絡(luò)技術(shù)的越來(lái)越發(fā)達(dá)，各企業(yè)和個(gè)人均對(duì)保障數(shù)據(jù)安全存在著極大的需求，在現(xiàn)有的污點(diǎn)分析技術(shù)會(huì)從代碼層面入手，檢測(cè)被攻擊者輸入污染的變量、內(nèi)存和指令。

現(xiàn)有人工識(shí)別，很難列舉所有敏感數(shù)據(jù)的匹配規(guī)則，在大流量的業(yè)務(wù)下，針對(duì)于每個(gè)HTTP請(qǐng)求做返回內(nèi)容匹配，消耗資源量巨大。

針對(duì)上述由于現(xiàn)有技術(shù)中通過(guò)人工對(duì)敏感數(shù)據(jù)進(jìn)行排查，帶來(lái)的排查效率低的問(wèn)題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種數(shù)據(jù)處理方法、日志處理方法和終端，以至少解決由于現(xiàn)有技術(shù)中通過(guò)人工對(duì)敏感數(shù)據(jù)進(jìn)行排查，帶來(lái)的排查效率低的技術(shù)問(wèn)題。

根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種數(shù)據(jù)處理方法，包括：獲取數(shù)據(jù)鏈路對(duì)應(yīng)的日志，其中，數(shù)據(jù)鏈路包括：數(shù)據(jù)從數(shù)據(jù)庫(kù)經(jīng)過(guò)中間件和/或應(yīng)用代碼最終展現(xiàn)的調(diào)用鏈路；通過(guò)日志對(duì)數(shù)據(jù)鏈路進(jìn)行篩選，得到滿足預(yù)設(shè)條件的數(shù)據(jù)鏈路。

可選的，獲取數(shù)據(jù)鏈路對(duì)應(yīng)的日志包括：分別獲取數(shù)據(jù)鏈路對(duì)應(yīng)的超文本傳輸協(xié)議日志、結(jié)構(gòu)化查詢語(yǔ)言日志和業(yè)務(wù)打點(diǎn)日志。

進(jìn)一步地，可選的，分別獲取數(shù)據(jù)鏈路對(duì)應(yīng)的超文本傳輸協(xié)議日志、結(jié)構(gòu)化查詢語(yǔ)言日志和業(yè)務(wù)打點(diǎn)日志包括：在獲取數(shù)據(jù)鏈路對(duì)應(yīng)的超文本傳輸協(xié)議日志的情況下，通過(guò)預(yù)設(shè)分光器鏡像流量獲取數(shù)據(jù)鏈路對(duì)應(yīng)的超文本傳輸協(xié)議日志；其中，通過(guò)預(yù)設(shè)分光器鏡像流量獲取數(shù)據(jù)鏈路對(duì)應(yīng)的超文本傳輸協(xié)議日志包括：在數(shù)據(jù)鏈路入口處通過(guò)路由設(shè)備配置流量鏡像，獲取所有數(shù)據(jù)鏈路以超文本傳輸協(xié)議傳輸?shù)臍v史信息。

可選的，分別獲取數(shù)據(jù)鏈路對(duì)應(yīng)的超文本傳輸協(xié)議日志、結(jié)構(gòu)化查詢語(yǔ)言日志和業(yè)務(wù)打點(diǎn)日志包括：在獲取數(shù)據(jù)鏈路對(duì)應(yīng)的超文本傳輸協(xié)議日志的情況下，通過(guò)預(yù)設(shè)容器收集所有設(shè)備的日志，得到數(shù)據(jù)鏈路對(duì)應(yīng)的超文本傳輸協(xié)議日志。

可選的，分別獲取數(shù)據(jù)鏈路對(duì)應(yīng)的超文本傳輸協(xié)議日志、結(jié)構(gòu)化查詢語(yǔ)言日志和業(yè)務(wù)打點(diǎn)日志包括：在獲取數(shù)據(jù)鏈路對(duì)應(yīng)的結(jié)構(gòu)化查詢語(yǔ)言日志的情況下，通過(guò)預(yù)設(shè)內(nèi)核模塊存儲(chǔ)的結(jié)構(gòu)化查詢語(yǔ)言日志，得到數(shù)據(jù)鏈路對(duì)應(yīng)的結(jié)構(gòu)化查詢語(yǔ)言日志。

可選的，分別獲取數(shù)據(jù)鏈路對(duì)應(yīng)的超文本傳輸協(xié)議日志、結(jié)構(gòu)化查詢語(yǔ)言日志和業(yè)務(wù)打點(diǎn)日志包括：在獲取數(shù)據(jù)鏈路對(duì)應(yīng)的業(yè)務(wù)打點(diǎn)日志的情況下，獲取所有數(shù)據(jù)鏈路的網(wǎng)絡(luò)請(qǐng)求，依據(jù)網(wǎng)絡(luò)請(qǐng)求中攜帶的路徑信息得到數(shù)據(jù)鏈路對(duì)應(yīng)的業(yè)務(wù)打點(diǎn)日志。

可選的，通過(guò)日志對(duì)數(shù)據(jù)鏈路進(jìn)行篩選，得到滿足預(yù)設(shè)條件的數(shù)據(jù)鏈路包括：通過(guò)日志生成數(shù)據(jù)鏈路圖；根據(jù)數(shù)據(jù)鏈路圖對(duì)數(shù)據(jù)鏈路進(jìn)行篩選，得到滿足預(yù)設(shè)條件的數(shù)據(jù)鏈路。

進(jìn)一步地，可選的，在通過(guò)日志生成數(shù)據(jù)鏈路圖之前，該方法還包括：通過(guò)預(yù)設(shè)白盒代碼對(duì)數(shù)據(jù)鏈路進(jìn)行分析，得到數(shù)據(jù)鏈路對(duì)應(yīng)的結(jié)構(gòu)化查詢語(yǔ)言的標(biāo)識(shí)，以及數(shù)據(jù)鏈路對(duì)應(yīng)的超文本傳輸協(xié)議接口和業(yè)務(wù)邏輯代碼。

可選的，通過(guò)日志生成數(shù)據(jù)鏈路圖包括：對(duì)結(jié)構(gòu)化查詢語(yǔ)言日志進(jìn)行解析，得到數(shù)據(jù)鏈路中滿足數(shù)據(jù)泄露條件的數(shù)據(jù)；通過(guò)對(duì)獲取的數(shù)據(jù)鏈路對(duì)應(yīng)的超文本傳輸協(xié)議日志、結(jié)構(gòu)化查詢語(yǔ)言日志和業(yè)務(wù)打點(diǎn)日志進(jìn)行歸一化操作，得到數(shù)據(jù)鏈路在各日志中的節(jié)點(diǎn)；依據(jù)數(shù)據(jù)和節(jié)點(diǎn)，得到數(shù)據(jù)鏈路圖。

進(jìn)一步地，可選的，根據(jù)數(shù)據(jù)鏈路圖對(duì)數(shù)據(jù)鏈路進(jìn)行篩選，得到滿足預(yù)設(shè)條件的數(shù)據(jù)鏈路包括：根據(jù)預(yù)設(shè)搜索算法在數(shù)據(jù)鏈路圖中進(jìn)行搜索，得到數(shù)據(jù)對(duì)應(yīng)的鏈路節(jié)點(diǎn)；依據(jù)鏈路節(jié)點(diǎn)得到數(shù)據(jù)鏈路。