[發明專利]一種流媒體日志合并方法

在審

• 申請號: 202111586948.6
• 申請日: 2021-12-23
• 公開（公告）號: CN114281785A
• 公開（公告）日: 2022-04-05
• 發明（設計）人: 李滾;李灝;莊之駿;邱國偉
• 申請（專利權）人: 天翼視訊傳媒有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/182
• 代理公司: 上海申匯專利代理有限公司 31001
• 代理人: 翁若瑩;徐穎

本發明涉及一種流媒體日志合并方法，多gpfdist數據源就地初始化處理流媒體日志為格式化數據，利用greenplum數據庫外部表與gpfdist數據源并行高速加載數據，對不同日志記錄分類合并處理，重構數據配置。利用了分布式數據庫、大規模并行處理架構、SQL語言，實現流媒體播放日志等相似數據聚合方法。加快流媒體日志合并，減少資源和人力的投入。可以多臺數據源服務器和分布式數據庫高速并行加載，提高了數據加載吞吐率，通過分布式數據庫相關技術分散了各業務標識數據，在相似數據的聚合上具有實用性。適用于CDN日志聚合、用戶行為日志縮量。

技術領域

本發明涉及一種數據存儲技術，特別涉及一種流媒體日志合并方法。

背景技術

信息爆炸時代產生的大量音視頻資源，流媒體技術及相關產品將更廣泛的應用于視頻點播、直播、遠程教育等，對流媒體播放產生的海量日志文件,現在常規日志文件直接存儲于服務器中，占用大量內存，并且日志文件中存有訪問傾向特征，在反復調用后會嚴重影響系統的性能，不利于后續快速調用日志文件，因此對日志文件的處理提出新要求。

發明內容

針對海量日志文件存儲問題，提出了一種流媒體日志合并方法，使用分布式數據庫greenplum技術處理流媒體日志，在滿足業務需求的情況下，使用多臺服務器高效并發靈活可控的處理流程。對從CDN(內容分發網絡)廠商下載的流媒體原始日志格式化為結構化數據，使用分布式數據庫greenplum加速聚合流量、時長、播放時間等屬性，并替換合并其他業務參數值。

本發明的技術方案為：一種流媒體日志合并方法，多gpfdist數據源就地初始化處理流媒體日志為格式化數據，利用greenplum數據庫外部表與gpfdist數據源并行高速加載數據，對不同日志記錄分類合并處理，重構數據配置。

進一步，所述對不同日志記錄分類合并處理的具體實現方法：創建外部表對應的實體表，并實際加載外部表數據至實體表，再通過greenplum數據庫支持的標準SQL聚合語句對相同業務標識的日志進行合并存儲。

進一步，所述不同日志記錄分類合并處理包括相同業務標識數據的聚合處理，多廠商多時段數據協同處理。

一種CDN流媒體日志合并方法，具體包括如下步驟：

1)準備多臺服務器并搭建gpfdist服務作為gpfdist數據源服務器；

2)將各CDN廠商及企業源服務器的流媒體播放日志下載到多臺gpfdist服務器，每臺gpfdist服務器對下載的流媒體播放日志進行結構解析格式化預處理，即服務器輸出的日志數據為統一的結構格式；

3)創建greenplum數據庫外部表對應上述多臺gpfdist服務器，外部表按不同時段、不同CDN對應gpfdist服務器不同文件，分散數據源進行存儲；

4)將上述外部表加載到greenplum數據庫實體表，greenplum集群內各實例segment連接gpfdist服務器并行抽取數據；

5)查詢上述實體表并通過group語句聚合相同業務標識的預處理日志對需要的流量、時長進行合并，并對播放時間取最早和最晚作為同一次播放的開始和結束時間。

一種流媒體日志合并系統，包括多地服務器和一個greenplum數據庫集群，多地服務器利用gpfdist就地下載處理流媒體日志，greenplum數據庫集群從多地服務器并行高速加載數據，greenplum數據庫集群對日志記錄分類合并。

本發明的有益效果在于：本發明流媒體日志合并方法，利用了分布式數據庫、大規模并行處理架構、SQL語言，實現流媒體播放日志等相似數據聚合方法。加快流媒體日志合并，減少資源和人力的投入。可以多臺數據源服務器和分布式數據庫高速并行加載，提高了數據加載吞吐率，通過分布式數據分散了各業務標識數據，在相似數據的聚合上具有實用性。適用于CDN日志聚合、用戶行為日志縮量。