[發(fā)明專(zhuān)利]基于SQL的用戶增量計(jì)算方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710519904.9
• 申請(qǐng)日: 2017-06-30
• 公開(kāi)（公告）號(hào): CN107330066A
• 公開(kāi)（公告）日: 2017-11-07
• 發(fā)明（設(shè)計(jì)）人: 陳光
• 申請(qǐng)（專(zhuān)利權(quán)）人: 云雀科技成都有限責(zé)任公司
• 主分類(lèi)號(hào): G06F17/30
• 分類(lèi)號(hào): G06F17/30;H04L29/08
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

技術(shù)領(lǐng)域

本發(fā)明涉及流計(jì)算技術(shù)領(lǐng)域，具體涉及基于SQL的用戶增量計(jì)算方法。

背景技術(shù)

每年的雙十一除了“折扣”，全世界都關(guān)注的另一個(gè)焦點(diǎn)是面向媒體直播的“實(shí)時(shí)大屏”。包括總成交量在內(nèi)的各項(xiàng)指標(biāo)，通過(guò)數(shù)字維度展現(xiàn)了雙十一狂歡節(jié)，這一是買(mǎi)家、賣(mài)家及物流小二一起創(chuàng)造的奇跡！雙十一媒體直播大屏，這一大屏背后需要實(shí)時(shí)處理海量的龐大電商系統(tǒng)各個(gè)子處理模塊產(chǎn)生的。

在電商系統(tǒng)中，一般包括多個(gè)子處理模塊，該子處理模塊通常直接將新增用戶傳輸?shù)诫娚滔到y(tǒng)的總用戶存儲(chǔ)設(shè)備中，整個(gè)交易極快，數(shù)據(jù)寫(xiě)入非常頻繁，這使得該存儲(chǔ)設(shè)備非常容易損壞，從而造成整體用戶數(shù)據(jù)損失。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供基于SQL的用戶增量計(jì)算方法，解決現(xiàn)有的總用戶存儲(chǔ)設(shè)備因?yàn)閿?shù)據(jù)寫(xiě)入過(guò)于頻繁而極容易損壞，造成整體用戶數(shù)據(jù)損失的問(wèn)題；實(shí)現(xiàn)一種適用于電商系統(tǒng)用戶數(shù)量統(tǒng)計(jì)的方法。

本發(fā)明通過(guò)下述技術(shù)方案實(shí)現(xiàn)：

基于SQL的用戶增量計(jì)算方法，包括以下步驟：

A：建立一個(gè)用戶組和若干個(gè)臨時(shí)組，每個(gè)臨時(shí)組對(duì)應(yīng)一個(gè)子處理模塊；

B：所述子處理模塊采集新增用戶數(shù)據(jù)，并將新增用戶數(shù)據(jù)寫(xiě)入對(duì)應(yīng)的臨時(shí)組；

C：所述臨時(shí)組內(nèi)的用戶數(shù)據(jù)到達(dá)預(yù)設(shè)閾值時(shí)，將內(nèi)部用戶數(shù)據(jù)全部傳輸給用戶組，并將內(nèi)部數(shù)據(jù)自動(dòng)更新清0。進(jìn)一步的，

本發(fā)明設(shè)計(jì)了一種針對(duì)新增用戶的計(jì)算方法，首先建立用于記錄存儲(chǔ)總用戶數(shù)據(jù)的用戶組，在子處理模塊系統(tǒng)與用戶組之間設(shè)置多個(gè)臨時(shí)組，將臨時(shí)組作為緩存區(qū)，當(dāng)臨時(shí)組內(nèi)的用戶數(shù)據(jù)到達(dá)預(yù)設(shè)閾值時(shí)，再將內(nèi)部用戶數(shù)據(jù)全部傳輸給用戶組，這樣將用戶數(shù)據(jù)分段打包傳輸?shù)姆绞浇档土藢?duì)用戶組的寫(xiě)入次數(shù)，減緩了整體寫(xiě)入效率，對(duì)用戶組起到保護(hù)作用，這樣即使作為緩存區(qū)的臨時(shí)組壞了，也不影響整體數(shù)據(jù)。另外，設(shè)置多個(gè)臨時(shí)組可以保證數(shù)據(jù)傳輸?shù)臅惩ā?/p>

所述步驟B還包括以下步驟：

B1：子處理模塊對(duì)采集的數(shù)據(jù)自定義序列化，并將序列化后的數(shù)據(jù)處理成多個(gè)壓縮包；

B2：在步驟B1完成后，所述子處理模塊將多個(gè)壓縮包分別通過(guò)不同的數(shù)據(jù)/命令通道傳輸給對(duì)應(yīng)的臨時(shí)組。進(jìn)一步的，子處理模塊將新增用戶數(shù)據(jù)以壓縮打包，并分?jǐn)?shù)據(jù)/命令通道傳輸?shù)姆绞綐O大的提高了寫(xiě)入臨時(shí)組的速度，并保證了數(shù)據(jù)傳輸?shù)臅惩ā?/p>

所述步驟B還包括以下步驟：當(dāng)一個(gè)臨時(shí)組出現(xiàn)故障時(shí)，所述臨時(shí)組對(duì)應(yīng)的子處理模塊隨機(jī)選擇一個(gè)新的臨時(shí)組，并自動(dòng)排隊(duì)接入新的臨時(shí)組。進(jìn)一步的，臨時(shí)組對(duì)應(yīng)的子處理模塊隨機(jī)選擇一個(gè)新的臨時(shí)組，并自動(dòng)排隊(duì)接入新的臨時(shí)組可保證數(shù)據(jù)的正常傳輸，這樣某一個(gè)臨時(shí)組壞了，也不影響整體數(shù)據(jù)的傳輸，保證了數(shù)據(jù)的完整性。

本發(fā)明與現(xiàn)有技術(shù)相比，具有如下的優(yōu)點(diǎn)和有益效果：

本發(fā)明基于SQL的用戶增量計(jì)算方法，建立一個(gè)用戶組和若干個(gè)臨時(shí)組，每個(gè)臨時(shí)組對(duì)應(yīng)一個(gè)子處理模塊，將臨時(shí)組作為緩存區(qū)，這樣將用戶數(shù)據(jù)分段打包傳輸?shù)姆绞浇档土藢?duì)用戶組的寫(xiě)入次數(shù)，減緩了整體寫(xiě)入效率，對(duì)用戶組起到保護(hù)作用，這樣即使作為緩存區(qū)的臨時(shí)組壞了，也不影響整體數(shù)據(jù)，同時(shí)保證了數(shù)據(jù)傳輸?shù)臅惩ā?/p>

具體實(shí)施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，下面結(jié)合實(shí)施例，對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說(shuō)明，本發(fā)明的示意性實(shí)施方式及其說(shuō)明僅用于解釋本發(fā)明，并不作為對(duì)本發(fā)明的限定。

實(shí)施例

本發(fā)明基于SQL的用戶增量計(jì)算方法包括以下步驟：

A：建立一個(gè)用戶組和若干個(gè)臨時(shí)組，每個(gè)臨時(shí)組對(duì)應(yīng)一個(gè)子處理模塊；

B：所述子處理模塊采集新增用戶數(shù)據(jù)，并將新增用戶數(shù)據(jù)寫(xiě)入對(duì)應(yīng)的臨時(shí)組；

C：所述臨時(shí)組內(nèi)的用戶數(shù)據(jù)到達(dá)預(yù)設(shè)閾值時(shí)，將內(nèi)部用戶數(shù)據(jù)全部傳輸給用戶組，并將內(nèi)部數(shù)據(jù)自動(dòng)更新清0。

所述步驟B還包括以下步驟：B1：子處理模塊對(duì)采集的數(shù)據(jù)自定義序列化，并將序列化后的數(shù)據(jù)處理成多個(gè)壓縮包；B2：在步驟B1完成后，所述子處理模塊將多個(gè)壓縮包分別通過(guò)不同的數(shù)據(jù)/命令通道傳輸給對(duì)應(yīng)的臨時(shí)組。

所述步驟B還包括以下步驟：當(dāng)一個(gè)臨時(shí)組出現(xiàn)故障時(shí)，所述臨時(shí)組對(duì)應(yīng)的子處理模塊隨機(jī)選擇一個(gè)新的臨時(shí)組，并自動(dòng)排隊(duì)接入新的臨時(shí)組。本發(fā)明實(shí)現(xiàn)了一種適用于電商系統(tǒng)用戶數(shù)量統(tǒng)計(jì)的方法；以此解決了現(xiàn)有的總用戶存儲(chǔ)設(shè)備因?yàn)閿?shù)據(jù)寫(xiě)入過(guò)于頻繁而極容易損壞，造成整體用戶數(shù)據(jù)損失的問(wèn)題。

以上所述的具體實(shí)施方式，對(duì)本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說(shuō)明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實(shí)施方式而已，并不用于限定本發(fā)明的保護(hù)范圍，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。