[發明專利]一種在統計信息投放頻次時降低計算復雜度的方法及系統

有效

• 申請號: 201210230656.3
• 申請日: 2012-07-04
• 公開（公告）號: CN102819563A
• 公開（公告）日: 2012-12-12
• 發明（設計）人: 王涵予;姚健;尹玉宗;盧學裕;付鵬;潘柏宇;盧述奇
• 申請（專利權）人: 合一網絡技術（北京）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種在統計信息投放頻次時降低計算復雜度的方法，其特征在于包括如下步驟：

步驟(1)用戶使用觸發器觸發信息調取；

步驟(2)中央處理單元，向調取單元傳送調取命令；

步驟(3)調取單元遍歷信息存儲數據庫獲得最高優先級的信息，同一優先級存在多個信息的隨機調取；

步驟(4)在調取結束后向日志存儲數據庫寫入相應的日志，日志是不同維度組合與相應的值的數據信息；

步驟(5)根據日志信息執行第一次MapReduce以獲得某一維度組合下的當天值和累計值；

步驟(6)根據第一次Reduce的結果來執行第二次MapReduce以計算所述某一維度組合下的Nreach數據。

2.根據權利要求1所述的方法，其特征在于當初始計算時步驟(5)和步驟(6)進一步包括：

第一次Map，通過日志存儲數據庫調取前一天日志作為輸入，其中Key1為某一維度組合，Value1的輸出值為數組型數據類型的兩個值v1、v2，第一個值是當天值，第二個值是累積值；

第一次reduce，累加相同key1下的value1，用于獲得在某一維度組合下用戶查看信息的次數；

第二次Map，所述第一次Reduce結果作為第二次Map的輸入，Key2為某一維度組合，Value2為用40個位置表示的40個值，前20個位置放的是當天reach數據，后20個位置放的是累計reach數據，如果v1值在value2的v1位置點上時該v1位置點上+1，v1超過20的時候，當做20處理；如果v2值在value2的v2+20位置點上時該v2+20位置點上+1，v2超過20的時候，當做40處理；

第二次reduce，對第二次Map的結果進行累計，從第N個開始遞歸往前加和到第1個值，從第40個開始遞歸往前加和到第40-N+1個值，其中N小于等于20，最后分別獲得某一維度組合下的當天值和累積值的Nreach數據。

3.根據權利要求2所述的方法，其特征在于當非初始計算時步驟(5)和步驟(6)進一步包括：

第一次Map輸入為前一天日志或前一天第一次reduce結果，判斷為前一天日志時輸出value1值為1、1，判斷為前一天第一次reduce時輸出value1值為0、1。

4.根據權利要求1或2所述的方法，其特征在于：

所述維度組合是指合同、用戶、信息分類、信息頻道的不同組合。

5.根據權利要求1或2所述的方法，其特征在于：

所述Nreach數據是指某一維度組合下的信息到達用戶的頻次度量數據。

6.一種用于降低系統計算復雜度的系統，其特征在于該系統包括：

信息存儲數據庫，存儲有效的不同優先級的信息；

觸發器，用戶根據該觸發器觸發信息調取；

中央處理單元，向調取單元傳送調取命令并在調取結束后向日志存儲數據庫寫入相應的日志；

調取單元，遍歷信息存儲數據庫獲得最高優先級的信息，同一優先級存在多個信息的隨機調取；

日志存儲數據庫，存儲有不同維度組合與相應的值的數據；

統計單元，根據日志信息執行第一次MapReduce以獲得某一維度組合下的當天值和累計值；根據第一次Reduce的結果執行第二次MapReduce來計算所述某一維度組合下的Nreach數據。