[發明專利]一種大數據高并發下全域頻控系統及方法

在審

• 申請號: 202110235537.6
• 申請日: 2021-03-03
• 公開（公告）號: CN112948437A
• 公開（公告）日: 2021-06-11
• 發明（設計）人: 徐高省
• 申請（專利權）人: 蘇州合數科技有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F9/54;G06F16/23;G06F16/27;G06Q30/02;H04L29/08
• 代理公司: 無錫蘇元專利代理事務所(普通合伙) 32471
• 代理人: 張姝

本發明公開了一種大數據高并發下全域頻控系統和方法，創建基于文件的共享內存，讓每個訂單頻控標識對應一個共享內存文件，生成自定義緩存，將共享內存映射到緩存中。消息處理系統管理多個壓縮寫進程，競價系統進行頻控查詢的時候，先將數據進行分片計算，確定訪問那組緩存服務器的那臺服務器可讀，連接該緩存服務器的某個讀進程，根據媒體標記，查詢所有該媒體的所有訂單，從自定義緩存中取出對應的頻控標識對應的共享內存映射，取出共享內存中的頻控次數。最后格式化信息將所有訂單的頻控情況一起返回競價服務器。整個系統解決了現有分布式緩存的缺點和不足，非常適用于大數據并且高并發的環境，輕松實現了全域頻控系統的要求。

技術領域

本發明涉及一種大數據高并發下全域頻控系統及方法。

背景技術

隨著網絡技術的發展及智能終端的快速普及，移動互聯網及傳統互聯網給大數據精準營銷公司帶來了新的機遇，同時也帶來了新的挑戰。在大數據精準營銷公司中，互聯網廣告平臺DSP(需求方平臺)是一個在線實時廣告平臺，它擁有兩個核心特點，一是大量數據下非?？斓臄祿\算速度和技術，二是高并發下先進的用戶定向技術能力。

互聯網廣告平臺對數據運算技術和速度、用戶定向技術都要求極其苛刻。從普通用戶在瀏覽器中地址欄輸入網站的網址，到用戶看到頁面上的內容和廣告這短短百多毫秒之內，互聯網廣告平臺和媒體門戶網站就需要發生了好幾次網絡往返的數據信息交換。媒體賣方平臺首先要向DSP發競價請求，到DSP的競價響應，響應超時時間不得120毫秒，否則認為競價失敗。在這段時間內dsp平臺還需要對幾十乃至于上百個訂單的每個訂單進行地域判斷，平臺判斷，頻控次數判斷，價格判斷，尺寸判斷，廣告類型判斷，點擊數判斷，曝光數判斷，黑白名單判斷，展示類型判斷等等，還要對用戶進行性別、職業、年齡、收入、興趣愛好等等進行判斷。實現用戶定向投放。每個訂單對大型數據的查詢和運算不下幾十次，對每次的查詢和運算都是毫秒級的，并且dsp平臺的QPS一般都是幾十萬，這對系統的架構及一些系統的應用帶來了很大的挑戰。

全域頻控系統就是其中的挑戰之一。全域頻控是指在用戶全部的媒體中看到該廣告的次數。例如:某個廣告主希望每個用戶在所有的媒體中，最多看到3次他的廣告，從而能夠節約成本，在有限的廣告預算中能讓更多的人看到廣告。當然，全域頻控也可以只針對某種類型或者某地域或者某時間段頻控，是可大可小的靈活設置的頻控方式。頻控的一條數據大約是50個byte左右，一個訂單大約10億左右的數據，占用的內存大約在70G左右，redis也準備2倍以上的空間，大約需要150G以上。設計每天100個訂單計算需要15T左右的內存。對內存的占用也是難以承受。

互聯網高速發展的今天,高并發的場景并不鮮見。例如電商秒殺和搶購以及12306網站上節假日搶票等,都是比較典型的互聯網高并發場景。對于高并發場景，如果不進行合理架構及流量管控，將導致一系列的問題出現，比如一些可用的連接資源被耗盡、分布式緩存的容量被撐爆、數據庫吞吐量降低，最終必然會導致系統產生雪崩效應。一般情況下，這些互聯網站通常采用的做法是通過擴容、動靜分離、緩存、服務降級及限流等手段來保護系統的穩定運行。