[發明專利]一種大數據環境下的指標計算方法

有效

• 申請號: 201810048169.2
• 申請日: 2018-01-18
• 公開（公告）號: CN108268639B
• 公開（公告）日: 2022-02-11
• 發明（設計）人: 尹學淵;蔣自國
• 申請（專利權）人: 成都嗨翻屋科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/23
• 代理公司: 成都睿道專利代理事務所(普通合伙) 51217
• 代理人: 薛波

1.一種大數據環境下的指標計算方法，其特征是，包括以下步驟：

S1、初始化，從數據庫獲取Job調度和指標計算SQL信息，并對需要使用的SQL中的參數進行初始化；

S2、根據初始化信息，從云存儲服務器加載游戲對應的事件數據到內存，并創建對應的事件視圖，供后續步驟使用；

S3、如事件數據有臟數據或錯誤數據，則利用SparkSQL，對步驟S2加載的事件數據進行數據清洗；如事件數據沒有臟數據或錯誤數據，則直接跳轉至步驟S4；

S4、利用SparkSQL進行中間表計算，并創建中間表視圖；

S5、利用事件視圖和中間表視圖，進行游戲指標計算，計算完后，插入至數據庫以供展示；

S6、根據計算時間和系統需求，結束本操作；或繼續更新計算時間，返回步驟S1，重復操作；

步驟S1包括以下步驟：

S11、根據數據庫表數據，構造事件加載信息EventLoadMap，事件加載信息EventLoadMap包括云存儲服務器中事件對應的文件名以及事件加載到內存后創建的視圖名；

S12、判斷對應的事件數E，若E 0，說明該游戲沒有需要加載的事件數據，則結束該游戲的整個計算流程；若E≥0，進入步驟S13；

S13、根據數據庫數據，構造事件數據清洗信息CleanDirtyDataMap，事件數據清洗信息CleanDirtyDataMap包括需要數據清洗的視圖名稱以及清洗數據的SparkSQL；

S14、構造中間表計算信息MidDataMap，中間表計算信息MidDataMap包括中間表視圖名以及計算中間表的SparkSQL；

S15、構造指標計算信息MetricComputeMap，指標計算信息MetricComputeMap包括指標計算完后需要插入到數據庫的表名以及計算該指標的SpakrSQL。

2.根據權利要求1所述的大數據環境下的指標計算方法，其特征是，所述步驟S5的游戲指標計算包括以下步驟：

S51：遍歷步驟S15所述指標計算信息MetricComputeMap，獲取指標對應數據庫表名和該表所包含指標的計算SQL集合C；

S52：遍歷指標計算SQL集合C，并對遍歷出的SQL進行參數初始化，然后執行指標計算；

S53：若已遍歷完集合C，則對計算出的指標進行合并；若未遍歷完集合C，返回步驟S52；

S54：若需要更新歷史指標數據，則進入下一步，否則跳至步驟S57；

S55：讀取歷史指標數據，并還原該數據的指標維度；

S56：進行新舊數據合并，更新數據庫中的指標維度信息，并對合并之后的指標數據的維度信息進行映射，替換為維度信息的id；

S57：根據刪除sql，刪除對應的歷史數據，同時插入新的指標數據；

S58：若所述指標計算信息MetricComputeMap遍歷未結束，則跳轉至步驟S51，繼續指標的計算；否則結束ST時間段的指標計算，跳轉至步驟S6。

3.根據權利要求2所述的大數據環境下的指標計算方法，其特征是，所述步驟S4的中間表計算包括以下步驟：

S41：遍歷步驟S14所述中間表計算信息MidDataMap，獲取中間表視圖名MidDataViewName；

S42：根據中間表視圖名，從云存儲服務器拷貝中間表數據至內存；

S43：若有所述中間表數據，則創建視圖；若無所述中間表數據，則執行中間表InitSql，構造所述中間表視圖結構；

S44：執行deleteSql，刪除ST時間段的中間表數據；

S45：執行computeSql，計算中間表數據，并重新創建所述中間表視圖；

S46：利用Spark，上傳數據至oss；

S47：若所述中間表計算信息MidDataMap遍歷結束，則進入步驟S51；若所述中間表計算信息MidDataMap未遍歷結束，返回步驟S41，繼續計算事件數據。