[發明專利]日志數據處理方法、系統和存儲介質

有效

• 申請號: 201911191616.0
• 申請日: 2019-11-28
• 公開（公告）號: CN112866319B
• 公開（公告）日: 2023-10-13
• 發明（設計）人: 戴婧;文勇;趙甜;黃強;李正新;張文英;曾媛媛
• 申請（專利權）人: 順豐科技有限公司
• 主分類號: H04L67/06
• 分類號: H04L67/06;H04L67/1001;H04L67/1097
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 楊歡

1.一種日志數據處理方法，其特征在于，所述方法包括：

通過多于一種的、且對應不同服務類型的業務服務器，獲取各自對應的日志數據；

各所述業務服務器按預設格式，將所述日志數據生成對應的日志文件；

各所述業務服務器將各自對應的日志文件分別發送至分流處理集群；

所述分流處理集群按所述日志文件中各日志數據的生成時間，對所述日志數據進行分流處理，得到第一分流日志文件和第二分流日志文件；所述第一分流日志文件包括全量日志數據，所述第二分流日志文件包括實時日志數據；

所述分流處理集群將所述第一分流日志文件和所述第二分流日志文件分別存儲至相應的存儲設備。

2.根據權利要求1所述的方法，其特征在于，所述不同服務類型的業務服務器包括通用服務器和微服務器，所述通過多于一種的、且對應不同服務類型的業務服務器，獲取各自對應的日志數據，包括：

通過所述通用服務器獲取用戶終端和所述通用服務器本地所生成的日志數據；

通過所述微服務器獲取所述微服務器本地所生成的日志數據。

3.根據權利要求2所述的方法，其特征在于，所述通過所述通用服務器獲取用戶終端和所述通用服務器本地所生成的日志數據，包括：

所述通用服務器接收不同用戶終端所發送的日志數據；

所述通用服務器獲取所述通用服務器本地所生成的日志數據；

所述用戶終端發送日志數據的步驟包括：

所述用戶終端通過預先融合有日志數據攔截器的前端頁面框架，獲取所述用戶終端產生的日志數據；

所述用戶終端將所述用戶終端產生的日志數據異步傳輸給所述通用服務器。

4.根據權利要求1所述的方法，其特征在于，所述各所述業務服務器按預設格式，將所述日志數據生成對應的日志文件，包括：

各所述業務服務器根據預設業務需求，確定相同的預設格式；

各所述業務服務器按所述相同的預設格式中的預設字段和預設字段的排序，將所述日志數據生成對應的日志文件。

5.根據權利要求1所述的方法，其特征在于，所述各所述業務服務器將各自對應的日志文件分別發送至分流處理集群，包括：

各所述業務服務器通過采集代碼監測各自對應的日志文件；

當各所述業務服務器監測到各自對應的日志文件更新時，將更新后的各所述業務服務器各自對應的日志文件分別發送至分流處理集群。

6.根據權利要求1所述的方法，其特征在于，所述分流處理集群按所述日志文件中各日志數據的生成時間，對所述日志數據進行分流處理，得到第一分流日志文件和第二分流日志文件，包括：

所述分流處理集群根據所述預設格式中的時間字段，確定所述日志文件中各日志數據的生成時間；

所述分流處理集群將所述日志文件中各日志數據的生成時間進行降序排序，得到對應的時間排序結果；

所述分流處理集群根據所述時間排序結果和預設待存儲字段，從所述日志文件的各日志數據中，篩選出符合第一預設條件的第一分流日志數據，并根據所述第一分流日志數據生成第一分流日志文件；

所述分流處理集群根據所述時間排序結果，從所述日志文件的各日志數據中，篩選出符合第二預設條件的第二分流日志數據，并根據所述第二分流日志數據生成第二分流日志文件。

7.根據權利要求1至6中任一項所述的方法，其特征在于，所述存儲設備包括全量存儲設備和實時存儲設備，所述分流處理集群將所述第一分流日志文件和所述第二分流日志文件分別存儲至相應的存儲設備，包括：

所述分流處理集群分別獲取所述全量存儲設備的地址和所述實時存儲設備的地址；

所述分流處理集群根據所述全量存儲設備的地址，將所述第一分流日志文件存儲至所述全量存儲設備的物理內存中；

所述分流處理集群根據所述實時存儲設備的地址，將所述第二分流日志文件存儲至所述實時存儲設備。