[發(fā)明專利]一種CDN系統(tǒng)內(nèi)日志實(shí)時(shí)分析的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710703746.2
• 申請(qǐng)日: 2017-08-16
• 公開(kāi)（公告）號(hào): CN107332719A
• 公開(kāi)（公告）日: 2017-11-07
• 發(fā)明（設(shè)計(jì)）人: 溫偉球;劉曉光;汪志武
• 申請(qǐng)（專利權(quán)）人: 北京云端智度科技有限公司
• 主分類號(hào): H04L12/24
• 分類號(hào): H04L12/24;H04L29/06
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種CDN系統(tǒng)內(nèi)日志實(shí)時(shí)分析的方法，其特征在于，在CDN中心節(jié)點(diǎn)上部署有中心日志分析系統(tǒng)，集中處理各節(jié)點(diǎn)匯總后數(shù)據(jù)的日志，基于分布式發(fā)布訂閱消息系統(tǒng)進(jìn)行實(shí)時(shí)分析,分布式發(fā)布訂閱消息系統(tǒng)部署在各個(gè)CDN節(jié)點(diǎn)之上，由主題、分區(qū)、消息、生產(chǎn)商、消息和數(shù)據(jù)消費(fèi)者、緩存代理組成，為了均衡負(fù)載將主題分成多個(gè)分區(qū)，每個(gè)代理存儲(chǔ)一或多個(gè)分區(qū)，多個(gè)生產(chǎn)者和消費(fèi)者同時(shí)生產(chǎn)和獲取消息分布式發(fā)布訂閱消息系統(tǒng)，

CDN各節(jié)點(diǎn)上的分布式發(fā)布訂閱消息系統(tǒng)通過(guò)API接口的方式與中心日志分析系統(tǒng)進(jìn)行數(shù)據(jù)的通訊；CDN各節(jié)點(diǎn)通過(guò)API接口將數(shù)據(jù)傳遞到中心日志分析系統(tǒng)，中心日志分析系統(tǒng)匯總、保存接收到的數(shù)據(jù)，并按數(shù)據(jù)的類型進(jìn)行分類整理；

其中：

生產(chǎn)商、緩存代理、消息和數(shù)據(jù)消費(fèi)者均有多個(gè)；

生產(chǎn)商、消息和數(shù)據(jù)消費(fèi)者用于實(shí)現(xiàn)分布式發(fā)布訂閱消息系統(tǒng)注冊(cè)的接口，數(shù)據(jù)從生產(chǎn)商發(fā)送到緩存代理，再由緩存代理分發(fā)注冊(cè)到系統(tǒng)中的消費(fèi)者中。

2.根據(jù)權(quán)利要求1所述的一種CDN系統(tǒng)內(nèi)日志實(shí)時(shí)分析的方法，其特征在于，分布式發(fā)布訂閱消息系統(tǒng)的各個(gè)組成部分具體為：

主題：特指本分布式發(fā)布訂閱消息系統(tǒng)組件處理的消息源的不同分類；

分區(qū)：標(biāo)題物理上的分組，一個(gè)主題分為多個(gè)分區(qū)，每個(gè)分區(qū)是一個(gè)有序的隊(duì)列，分區(qū)中的每條消息都會(huì)被分配一個(gè)有序的id；

消息：是通信的基本單位，每個(gè)生產(chǎn)商可以向一個(gè)主題發(fā)布一些消息；

生產(chǎn)商：消息和數(shù)據(jù)生產(chǎn)者，向本分布式發(fā)布訂閱消息系統(tǒng)組件的一個(gè)主題發(fā)布消息的過(guò)程叫做生產(chǎn)；

消息和數(shù)據(jù)消費(fèi)者：訂閱主題并處理其發(fā)布的消息的過(guò)程叫做消費(fèi)；

緩存代理：承擔(dān)中間緩存和分發(fā)的作用，即活躍的數(shù)據(jù)和離線處理系統(tǒng)之間的緩存，

本分布式發(fā)布訂閱消息系統(tǒng)組件的集群中的一臺(tái)或多臺(tái)服務(wù)器統(tǒng)稱為代理。

3.根據(jù)權(quán)利要求1所述的一種CDN系統(tǒng)內(nèi)日志實(shí)時(shí)分析的方法，其特征在于，首先是由分布式發(fā)布訂閱消息系統(tǒng)完成對(duì)各自CDN節(jié)點(diǎn)數(shù)據(jù)的初步分析，然后將數(shù)據(jù)發(fā)送到中心日志分析系統(tǒng)，由中心日志分析系統(tǒng)完成對(duì)各個(gè)CDN節(jié)點(diǎn)的匯總分析，完整的工作周期為：分布式發(fā)布訂閱消息系統(tǒng)的小集群采集本節(jié)點(diǎn)內(nèi)各CDN節(jié)點(diǎn)的服務(wù)器的實(shí)時(shí)數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)分析，然后將實(shí)時(shí)分析的結(jié)果傳遞給中心日志分析系統(tǒng)，由中心日志分析系統(tǒng)對(duì)各分布式發(fā)布訂閱消息系統(tǒng)的小集群發(fā)送過(guò)來(lái)的數(shù)據(jù)進(jìn)行匯總分析。

4.根據(jù)權(quán)利要求1所述的一種CDN系統(tǒng)內(nèi)日志實(shí)時(shí)分析的方法，其特征在于，分布式發(fā)布訂閱消息系統(tǒng)作為日志的聚合、緩存的組件。

5.根據(jù)權(quán)利要求1所述的一種CDN系統(tǒng)內(nèi)日志實(shí)時(shí)分析的方法，其特征在于，分布式發(fā)布訂閱消息系統(tǒng)提供三種模式來(lái)保障消息投遞的可靠性：第一種生產(chǎn)商將消息發(fā)送出去就視為成功投遞到緩存代理；第二種模型，針對(duì)主盤盤和從盤(Master Slave)模型，只有當(dāng)主盤和所有從盤都接收到消息時(shí)，才算投遞成功；第三種模型，針對(duì)主盤盤和從盤(Master Slave)模型，即只要主盤確認(rèn)收到消息就算投遞成功。

6.根據(jù)權(quán)利要求1所述的一種CDN系統(tǒng)內(nèi)日志實(shí)時(shí)分析的方法，其特征在于，每個(gè)分區(qū)單獨(dú)存在一個(gè)緩存代理上，消費(fèi)者往任一個(gè)分區(qū)發(fā)送消息，以此實(shí)現(xiàn)生產(chǎn)的分布式，任一分區(qū)都可以被且只被一個(gè)消費(fèi)者消費(fèi)，以此實(shí)現(xiàn)消費(fèi)的分布式。

7.根據(jù)權(quán)利要求1所述的一種CDN系統(tǒng)內(nèi)日志實(shí)時(shí)分析的方法，其特征在于，一種CDN系統(tǒng)內(nèi)日志實(shí)時(shí)分析的方法采用分布式實(shí)時(shí)計(jì)算方案，以分布式發(fā)布訂閱消息系統(tǒng)為核心，分布到各個(gè)節(jié)點(diǎn)中，進(jìn)行節(jié)點(diǎn)內(nèi)的日志實(shí)時(shí)分析。

8.根據(jù)權(quán)利要求1所述的一種CDN系統(tǒng)內(nèi)日志實(shí)時(shí)分析的方法，其特征在于，一種CDN系統(tǒng)內(nèi)日志實(shí)時(shí)分析的方法采用直接使用頁(yè)面緩存、線性的寫入方式。

9.根據(jù)權(quán)利要求1所述的一種CDN系統(tǒng)內(nèi)日志實(shí)時(shí)分析的方法，其特征在于，一種CDN系統(tǒng)內(nèi)日志實(shí)時(shí)分析的方法采用以kafka為核心組件，基于kafka stream進(jìn)行實(shí)時(shí)分析。