[發明專利]基于流式處理API網關及其日志采集方法

有效

• 申請號: 202011175033.1
• 申請日: 2020-10-28
• 公開（公告）號: CN112272115B
• 公開（公告）日: 2023-03-28
• 發明（設計）人: 張宇;肖鵬
• 申請（專利權）人: 首都信息發展股份有限公司
• 主分類號: H04L41/069
• 分類號: H04L41/069;H04L67/02;H04L67/1004;H04L67/63;H04L12/66
• 代理公司: 北京八月瓜知識產權代理有限公司 11543
• 代理人: 秦瑩

本發明公開了一種基于流式處理API網關及其日志采集方法，所述方法包括：對客戶端發送的請求信息進行路由判斷，對允許的請求信息進行服務分發處理，將請求信息分發到基于流式技術構建的過濾器鏈中的pre鏈；通過pre鏈對請求信息中的請求頭進行讀取，對請求體進行預處理，并對預處理后的請求體進行讀取，將解析后的請求信息的數據采集到日志中，存儲于上下文中，并將所述請求信息發送到后端服務；通過post鏈接收后端服務器發送的響應信息，對響應信息中的響應頭讀取，對響應體進行預處理，重新封裝響應體后放入post鏈中，同時啟動異步的響應體處理流程和上下文完成狀態處理流程，實現響應體數據的日志采集，并將響應信息返回客戶端。

技術領域

本發明涉及計算機技術領域，尤其是涉及一種基于流式處理API網關及其日志采集方法。

背景技術

現有的API網關對服務訪問的日志采集分為請求及響應兩部分進行讀取，請求部分需要記錄HTTP請求的請求行(method、uri、http version)，請求頭、請求體，網關根據uri匹配響應路由規則，獲取真實訪問路徑real uri，網關將請求部分內容發送到真實訪問路徑，服務端收到請求后返回服務響應，服務響應包括響應行(http version、status code)、響應頭、響應體，網關記錄HTTP響應日志后，將響應發送給客戶請求方，在這一過程中，請求體及響應體的內容讀取將造成服務端后者客戶端的獲取的內容為空，造成日志數據完整性缺失；同時網關為后端服務提供對外接口，在面對高并發訪問下，日志記錄直接持久化會降低網關性能。

發明內容

本發明的目的在于提供一種基于流式處理API網關及其日志采集方法，旨在解決現有技術中的上述問題。

本發明提供一種基于流式處理API網關的日志采集方法，包括：

對客戶端發送的請求信息進行路由判斷，對允許的請求信息進行服務分發處理，將請求信息分發到基于流式技術構建的過濾器鏈中的pre鏈；

通過pre鏈對請求信息中的請求頭進行讀取，對請求體進行預處理，通過負載均衡過濾器獲取真實訪問地址，并對預處理后的請求體進行讀取，將解析后的請求信息的數據采集到日志中，將日志存儲于上下文中，并將請求信息發送到后端服務；

通過基于流式技術構建的過濾器鏈中的post鏈接收后端服務器發送的響應信息，對響應信息中的響應頭讀取，對響應體進行預處理，重新封裝響應體后放入post鏈中，同時啟動異步的響應體處理流程和上下文完成狀態處理流程，進行響應體信息的處理，將響應信息中響應頭和響應體的數據采集到日志中，進行日志持久化操作，并進行網絡協議封裝處理，將所述響應信息返回客戶端。

本發明提供一種基于流式處理的API網關，包括：

路由判斷分發模塊，用于對客戶端發送的請求信息進行路由判斷，對允許的請求信息進行服務分發處理，將請求信息分發到基于流式技術構建的過濾器鏈中的pre鏈；

過濾器鏈，用于通過pre鏈對請求信息中的請求頭進行讀取，對請求體進行預處理，通過負載均衡過濾器獲取真實訪問地址，并對預處理后的請求體進行讀取，將解析后的請求信息的數據采集到日志中，將日志存儲于上下文中，并將所述請求信息發送到后端服務；

所述過濾器鏈進一步用于：通過post鏈接收后端服務器發送的響應信息，對響應信息中的響應頭讀取，對響應體進行預處理，重新封裝響應體后放入post鏈中，同時啟動異步的響應體處理流程和上下文完成狀態處理流程，進行響應體信息的處理，將響應信息中響應頭和響應體的數據采集到日志中，進行日志持久化操作，并進行網絡協議封裝處理，將所述響應信息返回客戶端。

采用本發明實施例，利用過濾器鏈結合流復制技術將網絡服務請求的請求及響應的參數及內容在過濾器鏈不同階段逐步獲取，在保證網關整體的服務性能情況下，能夠獲取完整的服務訪問日志信息。