[發(fā)明專利]一種大數(shù)據(jù)處理方法和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202310191803.9
• 申請(qǐng)日: 2023-02-27
• 公開（公告）號(hào): CN116308511A
• 公開（公告）日: 2023-06-23
• 發(fā)明（設(shè)計(jì)）人: 韋吉謀;陸振洪;吳瑞華
• 申請(qǐng)（專利權(quán)）人: 北京神州泰岳軟件股份有限公司
• 主分類號(hào): G06Q30/0207
• 分類號(hào): G06Q30/0207;G06F16/2455
• 代理公司: 北京弘權(quán)知識(shí)產(chǎn)權(quán)代理有限公司 11363
• 代理人: 朱紫曉;孫亞芹

本申請(qǐng)?zhí)峁┝艘环N大數(shù)據(jù)處理方法和系統(tǒng)，能夠?qū)Υ髷?shù)據(jù)進(jìn)行實(shí)時(shí)地處理，以實(shí)現(xiàn)大數(shù)據(jù)的在線分析。方法包括根據(jù)目標(biāo)存儲(chǔ)數(shù)據(jù)的屬性劃分目標(biāo)存儲(chǔ)數(shù)據(jù)，獲取至少一個(gè)字段，屬性包括用戶的自然屬性、用戶的地址和操作數(shù)據(jù)的部分字段中的一個(gè)或多個(gè)；根據(jù)至少一個(gè)字段中第一字段的屬性，確定第一字段對(duì)應(yīng)的關(guān)鍵值碼值對(duì)，關(guān)鍵值碼值對(duì)包括關(guān)鍵值和碼值，關(guān)鍵值為整型數(shù)據(jù)類型，碼值為第一字段或者第一字段所存儲(chǔ)的位置；將第一字段對(duì)應(yīng)的關(guān)鍵值和碼值轉(zhuǎn)化為二進(jìn)制數(shù)據(jù)，并以比特為單位，將關(guān)鍵值對(duì)應(yīng)的二進(jìn)制數(shù)據(jù)和碼值對(duì)應(yīng)的二進(jìn)制數(shù)據(jù)相鄰存儲(chǔ)于存儲(chǔ)空間，其中，具有相同屬性的字段對(duì)應(yīng)的二進(jìn)制數(shù)據(jù)占據(jù)存儲(chǔ)空間的長(zhǎng)度相同。

技術(shù)領(lǐng)域

本申請(qǐng)涉及大數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種大數(shù)據(jù)處理方法和系統(tǒng)。

背景技術(shù)

隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、5G、人工智能、云計(jì)算等技術(shù)的不斷發(fā)展，越來(lái)越多的數(shù)據(jù)在互聯(lián)網(wǎng)上產(chǎn)生。由于業(yè)務(wù)運(yùn)營(yíng)需要精細(xì)化處理，因此在互聯(lián)網(wǎng)上產(chǎn)生的各種數(shù)據(jù)的基礎(chǔ)上，大數(shù)據(jù)處理、數(shù)據(jù)分析、數(shù)字營(yíng)銷成為每個(gè)互聯(lián)網(wǎng)企業(yè)發(fā)展的重點(diǎn)，且對(duì)處理大數(shù)據(jù)的實(shí)時(shí)性的需求越來(lái)越高。

例如，用戶在使用某個(gè)應(yīng)用(Application，APP)時(shí)，通過彈窗等方式進(jìn)入到了用于購(gòu)物的應(yīng)用，或者用戶直接打開了用于購(gòu)物的應(yīng)用來(lái)瀏覽商品，用于購(gòu)物的應(yīng)用需要獲取用戶在該用于購(gòu)物的應(yīng)用上的操作數(shù)據(jù)，實(shí)時(shí)處理并分析用戶的操作數(shù)據(jù)(也可稱為用戶行為)來(lái)定制運(yùn)營(yíng)活動(dòng)策略，從而為用戶推薦其感興趣的商品，其中，處理并分析用戶的操作數(shù)據(jù)得到的結(jié)果可稱為用戶畫像。由于使用該購(gòu)物的應(yīng)用的用戶數(shù)量成千上萬(wàn)，用戶的操作數(shù)據(jù)的數(shù)據(jù)量會(huì)到達(dá)億級(jí)，因此，實(shí)時(shí)性地處理大數(shù)據(jù)對(duì)購(gòu)物的應(yīng)用非常重要。

然而，目前常見的在線分析處理(Online?Analytical?Processing，OLAP)數(shù)據(jù)庫(kù)包括Hive、Druid等，Hive的計(jì)算時(shí)效性不高，查詢時(shí)延一般在分鐘級(jí)以上，不適用于實(shí)時(shí)分析場(chǎng)景。Druid不支持多表連接，更新效率較低，無(wú)法實(shí)時(shí)更新用戶畫像。

因此，如何對(duì)大數(shù)據(jù)進(jìn)行實(shí)時(shí)地處理以實(shí)現(xiàn)大數(shù)據(jù)的在線分析成為亟待解決的問題。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┝艘环N大數(shù)據(jù)處理方法和系統(tǒng)，能夠?qū)Υ髷?shù)據(jù)進(jìn)行實(shí)時(shí)地處理，以實(shí)現(xiàn)大數(shù)據(jù)的在線分析。

第一方面，提供了一種大數(shù)據(jù)處理方法，包括：

根據(jù)目標(biāo)存儲(chǔ)數(shù)據(jù)的屬性劃分目標(biāo)存儲(chǔ)數(shù)據(jù)，獲取至少一個(gè)字段，屬性包括用戶的自然屬性、用戶的地址和操作數(shù)據(jù)的部分字段中的一個(gè)或多個(gè)；

根據(jù)至少一個(gè)字段中第一字段的屬性，確定第一字段對(duì)應(yīng)的關(guān)鍵值碼值對(duì)，關(guān)鍵值碼值對(duì)包括關(guān)鍵值和碼值，關(guān)鍵值為整型數(shù)據(jù)類型，碼值為第一字段或者第一字段所存儲(chǔ)的位置；

將第一字段對(duì)應(yīng)的關(guān)鍵值和碼值轉(zhuǎn)化為二進(jìn)制數(shù)據(jù)，并以比特為單位，將關(guān)鍵值對(duì)應(yīng)的二進(jìn)制數(shù)據(jù)和碼值對(duì)應(yīng)的二進(jìn)制數(shù)據(jù)相鄰存儲(chǔ)于存儲(chǔ)空間，其中，具有相同屬性的字段對(duì)應(yīng)的二進(jìn)制數(shù)據(jù)占據(jù)存儲(chǔ)空間的長(zhǎng)度相同。

在一個(gè)示例中，根據(jù)至少一個(gè)字段中第一字段的屬性，確定第一字段對(duì)應(yīng)的關(guān)鍵值碼值對(duì)，包括：

根據(jù)至少一個(gè)字段中第一字段的屬性和第一關(guān)聯(lián)關(guān)系，確定第一字段對(duì)應(yīng)的關(guān)鍵值，將第一字段作為碼值并結(jié)合對(duì)應(yīng)的關(guān)鍵值，獲取第一字段對(duì)應(yīng)的關(guān)鍵值碼值對(duì)，其中，第一關(guān)聯(lián)關(guān)系用于關(guān)聯(lián)被編碼字段、屬性和至少一個(gè)關(guān)鍵值，至少一個(gè)關(guān)鍵值包括第一字段對(duì)應(yīng)的關(guān)鍵值，被編碼字段包括第一字段，或者，

采用城市哈希64位字符串散列算法計(jì)算第一字段對(duì)應(yīng)的關(guān)鍵值，將第一字段存儲(chǔ)到磁盤，并將存儲(chǔ)第一字段的位置作為碼值，確定第一字段對(duì)應(yīng)的關(guān)鍵值碼值對(duì)。

在一個(gè)示例中，將第一字段存儲(chǔ)到磁盤，包括：

將第一字段的二進(jìn)制數(shù)據(jù)按照數(shù)據(jù)頁(yè)能夠存儲(chǔ)的數(shù)據(jù)量劃分為至少一份，數(shù)據(jù)頁(yè)存儲(chǔ)于內(nèi)存中用于緩存數(shù)據(jù)的系統(tǒng)分區(qū)；