[發明專利]億級流量廣告實時處理方法、存儲介質、電子設備和系統

在審

• 申請號: 201810607860.X
• 申請日: 2018-06-13
• 公開（公告）號: CN110599229A
• 公開（公告）日: 2019-12-20
• 發明（設計）人: 肖源;陳少杰;張文明
• 申請（專利權）人: 武漢斗魚網絡科技有限公司
• 主分類號: G06Q30/02
• 分類號: G06Q30/02
• 代理公司: 42225 武漢智權專利代理事務所(特殊普通合伙)
• 代理人: 張凱

本發明公開了一種億級流量廣告實時處理方法、存儲介質、電子設備和系統，涉及互聯網直播領域領域，該方法包括：S1：獲取廣告信息，所述廣告信息至少包括廣告ID、廣告位ID。S2：獲取客戶端的類型，將同一類型客戶端的廣告信息存放于一個或一組Redis隊列。S3：將Redis隊列中的廣告信息存儲于Kafka信息隊列。S4：讀取Kafka信息隊列中的廣告信息，并使用于分布式實時流處理框架計算廣告信息之間的映射關系數據，并將映射關系數據存儲于MySQL數據庫中。

技術領域

本發明涉及互聯網直播領域領域，具體涉及一種億級流量廣告實時處理方法及系統。

背景技術

播放廣告是一些大型互聯網公司的主要經濟來源之一，對其進行有效的、合理的管理是一個互聯網公司能夠長遠發展和立足的必備技能。然而當下正處的大數據時代，網絡情況復雜，安全環境惡劣，直播網站作為一個開放性的平臺，每時每刻都面對著高并發用戶的大流量訪問。因此如何在復雜的網絡和惡劣安全環境中，對海量的廣告曝光和點擊數據進行有效信息實時獲取，是每一個直播類互聯網公司在進行廣告投放時，所必須面臨的挑戰。

傳統互聯網公司對于廣告投放的信息管理通常是對離線廣告信息進行分析，首先，對每天產生的億級的廣告信息進行離線存儲，將會浪費大量的存儲空間，如果每天的廣告曝光、點擊信息條數有4億條，按每條信息數據大小為0.3kb進行計算，則一天內，需要進行離線存儲的廣告信息的空間大小約為120GB，即提高了廣告的成本；其次，離線廣告信息不能并不能及時的反映廣告的投放效果，其投放的廣告也無法及時管控其所達到的投放效果。此外，大量的離線廣告信息需要消耗員工大量的時間進行離線的數據處理，因此，采用傳統的離線數據分析將會消耗大量的時間以及成本。

然而對于直播行業來講，將廣告定點投放到某一賽事或娛樂直播，存在則嚴苛的實時要求，其需要十分方便及時調整的投放策略，以滿足客戶要求。

發明內容

針對現有技術中存在的缺陷，本發明的目的在于提供一種億級流量廣告實時處理方法及系統，能夠處理海量的廣告信息流量減少崩潰和數據丟失，同時十分方便且實時的調整廣告投放策略。

為達到以上目的，本發明采取的技術方案是：

一種億級流量廣告實時處理方法其包括：

S1：獲取廣告信息，所述廣告信息至少包括廣告ID、廣告位ID；

S2：獲取客戶端的類型，將同一類型客戶端的廣告信息存放于一個或一組Redis隊列；

S3：將Redis隊列中的廣告信息存儲于Kafka信息隊列；

S4：讀取Kafka信息隊列中的廣告信息，并使用于分布式實時流處理框架計算廣告信息之間的映射關系數據，并將映射關系數據存儲于MySQL數據庫中。

在上述技術方案的基礎上，所述廣告信息還包括：

用戶ID、設備ID、操作類型、操作時間、素材ID、素材url、廣告組ID、合同ID。

在上述技術方案的基礎上，步驟S3中Redis隊列中的廣告信息還存儲于本地磁盤，存儲于本地磁盤的廣告信息用于數據離線分析以及數據備份。

在上述技術方案的基礎上，步驟S2具體包括以下步驟：

將客戶端分類為安卓端、IOS端和網頁端；

將同一類型客戶端的廣告信息存放于一個或一組Redis隊列。

在上述技術方案的基礎上，步驟S2具體包括以下步驟：

預設地域分類，根據客戶端所在地域將客戶端分類至不同地域；

將各個地域客戶端分類為安卓端、IOS端和網頁端；