[發明專利]一種CDN日志統計方法、裝置及電子設備

在審

• 申請號: 202111624627.0
• 申請日: 2021-12-27
• 公開（公告）號: CN114443606A
• 公開（公告）日: 2022-05-06
• 發明（設計）人: 曹國棟;馬佳駿;彭華杰;譚運保;王浩光;陳偉松;唐中平
• 申請（專利權）人: 天翼云科技有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/18;H04L67/1095;H04L67/1097
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種CDN日志統計方法、裝置及電子設備，存儲有CDN日志數據的存儲模塊與多集群通信連接，所述方法應用于多集群中任一集群對應的處理設備，包括：從對應集群中的Hadoop分布式文件系統上讀取CDN日志數據到Spark的對應分區中，并以CDN日志數據的部分字段組成維度組合作為CDN日志分類依據，以CDN日志類型作為鍵、將對應類型的CDN日志數值維度作為值；對同一個Spark分區內的每一個鍵遍歷其對應的所有值構建對應的小頂堆數據結構；對所述集群中的不同Spark分區中相同的鍵所對應的小頂堆數據結構中的數據進行合并；將合并后得到的每一個鍵對應小頂堆數據結構中的數據同步到其他集群中。

技術領域

本發明涉及大數據分析技術領域，具體涉及一種CDN日志統計方法、裝置及電子設備。

背景技術

隨著信息技術的發展，網絡流量的快速增長成為了當下的現實和未來的趨勢，作為提高網絡服務質量和減少內容源站壓力的技術服務——內容分發網絡(CDN)的使用量也因此呈現爆發式增長。在使用CDN服務的情況下，每一次網絡請求都會產生一條CDN日志，為了滿足數據分析及業務相關的需求，CDN廠商往往要對巨大數據量的CDN日志定時進行某個維度或維度組合的對應的數值數據進行排序統計，計算出排名最靠前的N個數據用于業務需求。在海量數據的場景下，使用單機進行數據處理往往會造成數據處理性能瓶頸，從而無法到達實時性要求。同時在單機處理下，計算和儲存服務的可靠性往往無法保證，在出現網絡和硬件故障時容易出現線上事故造成服務出現不可用的情況，嚴重影響使用體驗。

發明內容

因此，本發明要解決的技術問題在于克服現有單機進行處理海量數據時實時性差且無法保證計算和儲存服務的可靠性的缺陷，從而提供一種CDN日志統計方法、裝置及電子設備。

根據第一方面，本發明實施例公開了一種CDN日志統計方法，存儲有CDN日志數據的存儲模塊與多集群通信連接，所述多集群按照預設比例存儲相應的CDN日志數據，所述方法應用于多集群中任一集群對應的處理設備，包括：從對應集群中的Hadoop分布式文件系統上讀取CDN日志數據到Spark的對應分區中，并以CDN日志數據的部分字段組成維度組合作為CDN日志分類依據，以CDN日志類型作為鍵，將對應類型的CDN日志數值維度作為值；對同一個Spark分區內的每一個鍵遍歷其對應的所有值構建對應的小頂堆數據結構；對所述集群中的不同Spark分區中相同的鍵所對應的小頂堆數據結構中的數據進行合并；將合并后得到的每一個鍵對應小頂堆數據結構中的數據同步到其他集群中。

可選地，所述方法還包括：獲取其他集群中同步的所述合并后得到的每一個鍵對應小頂堆數據結構中的同步數據；將所述同步數據保存到ClickHouse中。

可選地，所述對同一個Spark分區內的每一個鍵遍歷其對應的所有值構建對應的小頂堆數據結構，包括：對同一個Spark分區內的每一個鍵遍歷其對應的前N個值得到大小為N的小頂堆；根據所述得到的大小為N的小頂堆遍歷除了所述前N個值以外的其他值，當所述其他值大于小頂堆的堆頂數據，對小頂堆中的堆頂數據進行替換，并根據替換后的數據重新構建成一個大小為N的小頂堆。

可選地，所述對所述集群中的不同Spark分區中相同的鍵所對應的小頂堆進行合并，包括：獲取不同Spark分區內相同的鍵對應的小頂堆數據結構中所有值，并得到對應的值的集合；根據不同Spark分區內相同的鍵遍歷所述值的集合中的所有值的前N個值得到對應大小為N的小頂堆；根據所述得到的對應大小為N的小頂堆遍歷對應的值的集合內除了所述前N個值以外的其他值，當所述其他值大于小頂堆的堆頂數據，對小頂堆中的堆頂數據進行替換，并根據替換后的數據重新構建成一個大小為N的小頂堆。

可選地，所述將所述同步數據保存到ClickHouse中之后，所述方法還包括：當獲取到客戶端的查詢數據請求時，響應客戶端的查詢數據請求操作并從ClickHouse中獲取對應的數據反饋至客戶端。