[發(fā)明專利]用戶增量類數(shù)據(jù)獲取方法、裝置及設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201710432078.4
• 申請(qǐng)日: 2017-06-09
• 公開（公告）號(hào): CN107329998A
• 公開（公告）日: 2017-11-07
• 發(fā)明（設(shè)計(jì)）人: 陶勝
• 申請(qǐng)（專利權(quán)）人: 廣州虎牙信息科技有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06Q30/02
• 代理公司: 北京市立方律師事務(wù)所11330
• 代理人: 劉延喜,王增鑫

1.一種用戶增量類數(shù)據(jù)獲取方法，其特征在于，包括如下步驟：

對(duì)Hadoop的數(shù)據(jù)庫(kù)運(yùn)算，獲取預(yù)定時(shí)間范圍內(nèi)所有用戶首次訪問(wèn)產(chǎn)品產(chǎn)生的數(shù)據(jù)記錄，并存儲(chǔ)于第一數(shù)據(jù)表中；

對(duì)所述數(shù)據(jù)庫(kù)運(yùn)算，獲取在預(yù)定時(shí)間范圍內(nèi)訪問(wèn)所述產(chǎn)品的所有用戶為相應(yīng)產(chǎn)品的總量用戶，并獲取在預(yù)定時(shí)間范圍外的前置時(shí)間段內(nèi)訪問(wèn)所述產(chǎn)品的所有用戶為相應(yīng)產(chǎn)品的存量用戶，從而獲取所述產(chǎn)品除了所述存量用戶之外的所述總量用戶作為相應(yīng)產(chǎn)品的增量用戶，將所述增量用戶和產(chǎn)品或/和預(yù)定時(shí)間范圍關(guān)聯(lián)性存儲(chǔ)于第二數(shù)據(jù)表中；

對(duì)所述第一數(shù)據(jù)表和所述第二數(shù)據(jù)表運(yùn)算，獲取預(yù)定時(shí)間范圍內(nèi)各增量用戶首次訪問(wèn)相應(yīng)產(chǎn)品產(chǎn)生的數(shù)據(jù)記錄。

2.根據(jù)權(quán)利要求1所述的用戶增量類數(shù)據(jù)獲取方法，其特征在于，所述對(duì)所述數(shù)據(jù)庫(kù)運(yùn)算，獲取在預(yù)定時(shí)間范圍內(nèi)訪問(wèn)所述產(chǎn)品的用戶為相應(yīng)產(chǎn)品的總量用戶，包括：

對(duì)所述數(shù)據(jù)庫(kù)中用于獲取所述存儲(chǔ)于第一數(shù)據(jù)表中的數(shù)據(jù)記錄的第一源數(shù)據(jù)表運(yùn)算，獲取在預(yù)定時(shí)間范圍內(nèi)訪問(wèn)所述產(chǎn)品的所有用戶為相應(yīng)產(chǎn)品的總量用戶；或

對(duì)所述第一數(shù)據(jù)表運(yùn)算，獲取在所述預(yù)定時(shí)間范圍內(nèi)首次訪問(wèn)所述產(chǎn)品產(chǎn)生該第一數(shù)據(jù)表所儲(chǔ)存數(shù)據(jù)記錄的所有用戶作為相應(yīng)產(chǎn)品的總量用戶。

3.根據(jù)權(quán)利要求1所述的用戶增量類數(shù)據(jù)獲取方法，其特征在于，所述獲取預(yù)定時(shí)間范圍內(nèi)所有用戶首次訪問(wèn)產(chǎn)品產(chǎn)生的數(shù)據(jù)記錄，包括，調(diào)用聚合函數(shù)order_first_row在預(yù)定時(shí)間范圍內(nèi)按時(shí)間升序分別對(duì)每個(gè)所有用戶訪問(wèn)各個(gè)產(chǎn)品產(chǎn)生的數(shù)據(jù)記錄進(jìn)行排列后篩選出首條數(shù)據(jù)記錄。

4.根據(jù)權(quán)利要求1所述的用戶增量類數(shù)據(jù)獲取方法，其特征在于，所述獲取所述產(chǎn)品除了所述存量用戶之外的所述總量用戶作為相應(yīng)產(chǎn)品的增量用戶，包括：

分別標(biāo)記預(yù)定時(shí)間范圍內(nèi)所述產(chǎn)品對(duì)應(yīng)的所述總量用戶和所述存量用戶；

使用集合操作符UNION ALL基于產(chǎn)品和用戶或/和預(yù)定時(shí)間范圍的映射關(guān)系合并所述產(chǎn)品及其對(duì)應(yīng)的所述總量用戶和所述存量用戶并存儲(chǔ)于合并數(shù)據(jù)表；

調(diào)用外部函數(shù)GROUP BY對(duì)所述合并數(shù)據(jù)表基于產(chǎn)品和用戶或/和預(yù)定時(shí)間范圍的映射關(guān)系去掉重復(fù)數(shù)據(jù)記錄，并調(diào)用外部函數(shù)HAVING和聚合函數(shù)過(guò)濾出各個(gè)產(chǎn)品含有總量用戶對(duì)應(yīng)標(biāo)記且不含所述存量用戶對(duì)應(yīng)標(biāo)記的用戶作為增量用戶。

5.根據(jù)權(quán)利要求1所述的用戶增量類數(shù)據(jù)獲取方法，其特征在于，所述對(duì)所述第一數(shù)據(jù)表和所述第二數(shù)據(jù)表運(yùn)算，獲取預(yù)定時(shí)間范圍內(nèi)各增量用戶首次訪問(wèn)相應(yīng)產(chǎn)品產(chǎn)生的數(shù)據(jù)記錄，包括：

調(diào)用外部函數(shù)JOIN基于同一用戶關(guān)聯(lián)于同一產(chǎn)品的數(shù)據(jù)記錄或者基于同一用戶在同一時(shí)間范圍內(nèi)關(guān)聯(lián)于同一產(chǎn)品的數(shù)據(jù)記錄，連接所述第一數(shù)據(jù)表和所述第二數(shù)據(jù)表，獲取預(yù)定時(shí)間范圍內(nèi)各增量用戶首次訪問(wèn)相應(yīng)產(chǎn)品產(chǎn)生的數(shù)據(jù)記錄。

6.根據(jù)權(quán)利要求4所述的用戶增量類數(shù)據(jù)獲取方法，其特征在于，所述獲取所述產(chǎn)品除了所述存量用戶之外的所述總量用戶作為相應(yīng)產(chǎn)品的增量用戶之前，還包括，調(diào)用外部函數(shù)GROUP BY對(duì)預(yù)定時(shí)間范圍內(nèi)各個(gè)產(chǎn)品及其對(duì)應(yīng)的所述總量用戶基于各個(gè)產(chǎn)品和用戶或/和預(yù)定時(shí)間范圍的映射關(guān)系去掉重復(fù)數(shù)據(jù)記錄。

7.根據(jù)權(quán)利要求1-6任意一項(xiàng)所述的用戶增量類數(shù)據(jù)獲取方法，其特征在于，所述用戶增量類數(shù)據(jù)獲取方法為基于Hive執(zhí)行的用戶增量類數(shù)據(jù)獲取方法。

8.根據(jù)權(quán)利要求1-6任意一項(xiàng)所述的用戶增量類數(shù)據(jù)獲取方法，所述獲取預(yù)定時(shí)間范圍內(nèi)各增量用戶首次訪問(wèn)相應(yīng)產(chǎn)品產(chǎn)生的數(shù)據(jù)記錄之后，還包括：

將獲取的所述預(yù)定時(shí)間范圍內(nèi)各增量用戶首次訪問(wèn)相應(yīng)產(chǎn)品產(chǎn)生的數(shù)據(jù)記錄，存儲(chǔ)于所述數(shù)據(jù)庫(kù)中用于獲取所述存量用戶的第二源數(shù)據(jù)表中。