[發(fā)明專利]一種流媒體日志合并方法

在審

• 申請?zhí)枺?/td>: 202111586948.6
• 申請日: 2021-12-23
• 公開（公告）號: CN114281785A
• 公開（公告）日: 2022-04-05
• 發(fā)明（設(shè)計）人: 李滾;李灝;莊之駿;邱國偉
• 申請（專利權(quán)）人: 天翼視訊傳媒有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/182
• 代理公司: 上海申匯專利代理有限公司 31001
• 代理人: 翁若瑩;徐穎

1.一種流媒體日志合并方法，其特征在于，多gpfdist數(shù)據(jù)源就地初始化處理流媒體日志為格式化數(shù)據(jù)，利用greenplum數(shù)據(jù)庫外部表與gpfdist數(shù)據(jù)源并行高速加載數(shù)據(jù)，對不同日志記錄分類合并處理，重構(gòu)數(shù)據(jù)配置。

2.根據(jù)權(quán)利要求1所述流媒體日志合并方法，其特征在于，所述對不同日志記錄分類合并處理的具體實現(xiàn)方法：創(chuàng)建外部表對應(yīng)的實體表，并實際加載外部表數(shù)據(jù)至實體表，再通過標(biāo)準(zhǔn)greenplum數(shù)據(jù)庫支持的SQL聚合語句對相同業(yè)務(wù)標(biāo)識的日志進(jìn)行合并存儲。

3.根據(jù)權(quán)利要求1所述流媒體日志合并方法，其特征在于，所述不同日志記錄分類合并處理包括相同業(yè)務(wù)標(biāo)識數(shù)據(jù)的聚合處理，多廠商多時段數(shù)據(jù)協(xié)同處理。

4.一種CDN流媒體日志合并方法，其特征在于，具體包括如下步驟：

1)準(zhǔn)備多臺服務(wù)器并搭建gpfdist服務(wù)作為gpfdist數(shù)據(jù)源服務(wù)器；

2)將各CDN廠商及企業(yè)源服務(wù)器的流媒體播放日志下載到多臺gpfdist服務(wù)器，每臺gpfdist服務(wù)器對下載的流媒體播放日志進(jìn)行結(jié)構(gòu)解析格式化預(yù)處理，即服務(wù)器輸出的日志數(shù)據(jù)為統(tǒng)一的結(jié)構(gòu)格式；

3)創(chuàng)建greenplum數(shù)據(jù)庫外部表對應(yīng)上述多臺gpfdist服務(wù)器，外部表按不同時段、不同CDN對應(yīng)gpfdist服務(wù)器不同文件，分散數(shù)據(jù)源進(jìn)行存儲；

4)將上述外部表加載到greenplum數(shù)據(jù)庫實體表，greenplum集群內(nèi)各實例segment連接gpfdist服務(wù)器并行抽取數(shù)據(jù)；

5)查詢上述實體表并通過group語句聚合相同業(yè)務(wù)標(biāo)識的預(yù)處理日志對需要的流量、時長進(jìn)行合并，并對播放時間取最早和最晚作為同一次播放的開始和結(jié)束時間。

5.根據(jù)權(quán)利要求1至4所述任意一種流媒體日志合并方法構(gòu)建的系統(tǒng)，其特征在于，包括多地服務(wù)器和一個greenplum數(shù)據(jù)庫集群，多地服務(wù)器利用gpfdist就地下載處理流媒體日志，greenplum數(shù)據(jù)庫集群從多地服務(wù)器并行高速加載數(shù)據(jù)，greenplum數(shù)據(jù)庫集群對日志記錄分類合并。