[發明專利]數據處理方法、日志處理方法和終端

有效

• 申請號: 201711329386.0
• 申請日: 2017-12-13
• 公開（公告）號: CN110020161B
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 王意林;尚博;張永鈺;李奇
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F16/955;H04L67/02
• 代理公司: 北京博浩百睿知識產權代理有限責任公司 11134
• 代理人: 宋子良

1.一種數據處理方法，其特征在于，包括：

獲取數據鏈路對應的日志，其中，所述數據鏈路包括：數據從數據庫經過中間件和/或應用代碼最終展現的調用鏈路，所述日志包括所述數據鏈路對應的超文本傳輸協議日志、結構化查詢語言日志和業務打點日志；

基于所述超文本傳輸協議日志、所述結構化查詢語言日志和所述業務打點日志生成數據鏈路圖；

根據所述數據鏈路圖對所述數據鏈路進行篩選，得到滿足預設條件的數據鏈路。

2.根據權利要求1所述的數據處理方法，其特征在于，所述獲取數據鏈路對應的日志包括：

分別獲取所述數據鏈路對應的超文本傳輸協議日志、結構化查詢語言日志和業務打點日志。

3.根據權利要求2所述的數據處理方法，其特征在于，所述分別獲取所述數據鏈路對應的超文本傳輸協議日志、結構化查詢語言日志和業務打點日志包括：

在獲取所述數據鏈路對應的所述超文本傳輸協議日志的情況下，通過預設分光器鏡像流量獲取所述數據鏈路對應的所述超文本傳輸協議日志；

其中，通過預設分光器鏡像流量獲取所述數據鏈路對應的所述超文本傳輸協議日志包括：在數據鏈路入口處通過路由設備配置流量鏡像，獲取所有所述數據鏈路以超文本傳輸協議傳輸的歷史信息。

4.根據權利要求2所述的數據處理方法，其特征在于，所述分別獲取所述數據鏈路對應的超文本傳輸協議日志、結構化查詢語言日志和業務打點日志包括：

在獲取所述數據鏈路對應的所述超文本傳輸協議日志的情況下，通過預設容器收集所有設備的日志，得到所述數據鏈路對應的所述超文本傳輸協議日志。

5.根據權利要求2所述的數據處理方法，其特征在于，所述分別獲取所述數據鏈路對應的超文本傳輸協議日志、結構化查詢語言日志和業務打點日志包括：

在獲取所述數據鏈路對應的所述結構化查詢語言日志的情況下，通過預設內核模塊存儲的結構化查詢語言日志，得到所述數據鏈路對應的所述結構化查詢語言日志。

6.根據權利要求2所述的數據處理方法，其特征在于，所述分別獲取所述數據鏈路對應的超文本傳輸協議日志、結構化查詢語言日志和業務打點日志包括：

在獲取所述數據鏈路對應的所述業務打點日志的情況下，獲取所有數據鏈路的網絡請求，依據所述網絡請求中攜帶的路徑信息得到所述數據鏈路對應的所述業務打點日志。

7.根據權利要求1所述的數據處理方法，其特征在于，在生成數據鏈路圖之前，所述方法還包括：

通過預設白盒代碼對所述數據鏈路進行分析，得到所述數據鏈路對應的結構化查詢語言的標識，以及所述數據鏈路對應的超文本傳輸協議接口和業務邏輯代碼。

8.根據權利要求1所述的數據處理方法，其特征在于，所述基于所述超文本傳輸協議日志、所述結構化查詢語言日志和所述業務打點日志生成數據鏈路圖包括：

對所述結構化查詢語言日志進行解析，得到所述數據鏈路中滿足數據泄露條件的數據；

通過對獲取的所述數據鏈路對應的超文本傳輸協議日志、結構化查詢語言日志和業務打點日志進行歸一化操作，得到所述數據鏈路在各日志中的節點；

依據所述數據和所述節點，得到所述數據鏈路圖。

9.根據權利要求1所述的數據處理方法，其特征在于，所述根據所述數據鏈路圖對所述數據鏈路進行篩選，得到滿足預設條件的數據鏈路包括：

根據預設搜索算法在所述數據鏈路圖中進行搜索，得到所述數據對應的鏈路節點；

依據所述鏈路節點得到所述數據鏈路。

10.根據權利要求1所述的數據處理方法，其特征在于，所述預設條件包括：造成數據泄露的數據鏈路。