[發(fā)明專(zhuān)利]一種多維數(shù)據(jù)處理方法、裝置及設(shè)備、存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201811236196.9
• 申請(qǐng)日: 2018-10-23
• 公開(kāi)（公告）號(hào): CN111090705B
• 公開(kāi)（公告）日: 2023-08-25
• 發(fā)明（設(shè)計(jì)）人: 曾銳;陳國(guó)棟;徐乾龍
• 申請(qǐng)（專(zhuān)利權(quán)）人: 杭州海康威視數(shù)字技術(shù)股份有限公司
• 主分類(lèi)號(hào): G06F16/28
• 分類(lèi)號(hào): G06F16/28;G06F16/2455
• 代理公司: 北京博思佳知識(shí)產(chǎn)權(quán)代理有限公司 11415
• 代理人: 林祥

本發(fā)明提供一種多維數(shù)據(jù)處理方法、裝置及設(shè)備、存儲(chǔ)介質(zhì)，該方法包括：確定讀取的多維數(shù)據(jù)所屬的數(shù)據(jù)層級(jí)，并依據(jù)所述數(shù)據(jù)層級(jí)對(duì)所述多維數(shù)據(jù)進(jìn)行聚合得到屬于對(duì)應(yīng)數(shù)據(jù)層級(jí)的cube數(shù)據(jù)；將所述cube數(shù)據(jù)存入本地的目標(biāo)層級(jí)緩存區(qū)中，所述目標(biāo)層級(jí)緩存區(qū)是本地的與cube數(shù)據(jù)所屬的數(shù)據(jù)層級(jí)對(duì)應(yīng)的層級(jí)緩存區(qū)；判斷所述目標(biāo)層級(jí)緩存區(qū)中所述緩存的數(shù)據(jù)量是否達(dá)到指定閾值，若是，則將所述目標(biāo)層級(jí)緩存區(qū)中緩存的數(shù)據(jù)轉(zhuǎn)存至目標(biāo)數(shù)據(jù)庫(kù)的與所述數(shù)據(jù)層級(jí)對(duì)應(yīng)的層級(jí)數(shù)據(jù)庫(kù)表中。避免因多維數(shù)據(jù)的無(wú)差別聚合及存儲(chǔ)而導(dǎo)致的查詢(xún)cube數(shù)據(jù)時(shí)數(shù)據(jù)量大的問(wèn)題，有利于提升查詢(xún)效率。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及的是一種多維數(shù)據(jù)處理方法、裝置及設(shè)備、存儲(chǔ)介質(zhì)。

背景技術(shù)

大數(shù)據(jù)處理包括多維數(shù)據(jù)處理。數(shù)據(jù)立方(Data?Cube)是針對(duì)大數(shù)據(jù)例如多維數(shù)據(jù)的處理利器，可以實(shí)現(xiàn)cube數(shù)據(jù)的任意多關(guān)鍵字實(shí)時(shí)索引。將多維數(shù)據(jù)聚合統(tǒng)計(jì)為數(shù)據(jù)立方數(shù)據(jù)（簡(jiǎn)稱(chēng)cube數(shù)據(jù)）后，可以從多個(gè)角度探索和分析cube數(shù)據(jù)集，由于已經(jīng)針對(duì)多個(gè)維度數(shù)據(jù)聚合得到cube數(shù)據(jù)，可以直接從cube數(shù)據(jù)集中查詢(xún)得到所需結(jié)果，而不用再對(duì)多維數(shù)據(jù)實(shí)時(shí)地計(jì)算，可以大大加快數(shù)據(jù)的查詢(xún)和檢索效率。

相關(guān)多維數(shù)據(jù)處理方式中，對(duì)從數(shù)據(jù)源獲取的各個(gè)多維數(shù)據(jù)以統(tǒng)一的聚合處理方式聚合處理后，聚合得到cube數(shù)據(jù)都存儲(chǔ)至數(shù)據(jù)庫(kù)的同一個(gè)數(shù)據(jù)庫(kù)表中。

上述多維數(shù)據(jù)處理方式中，由于聚合及存儲(chǔ)方式的一致性，當(dāng)需要查詢(xún)感興趣的cube數(shù)據(jù)時(shí)，需要遍歷所有已存儲(chǔ)的cube數(shù)據(jù)，導(dǎo)致查詢(xún)數(shù)據(jù)量大，查詢(xún)效率低。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供一種多維數(shù)據(jù)處理方法、裝置及設(shè)備、存儲(chǔ)介質(zhì)，避免因聚合及存儲(chǔ)方式的一致性而導(dǎo)致查詢(xún)數(shù)據(jù)量大的問(wèn)題，有利于提升查詢(xún)效率。

本發(fā)明第一方面提供一種多維數(shù)據(jù)處理方法，包括：

確定讀取的多維數(shù)據(jù)所屬的數(shù)據(jù)層級(jí)，并依據(jù)所述數(shù)據(jù)層級(jí)對(duì)所述多維數(shù)據(jù)進(jìn)行聚合得到屬于對(duì)應(yīng)數(shù)據(jù)層級(jí)的cube數(shù)據(jù)；

將所述cube數(shù)據(jù)存入本地的目標(biāo)層級(jí)緩存區(qū)中，所述目標(biāo)層級(jí)緩存區(qū)是本地的與cube數(shù)據(jù)所屬的數(shù)據(jù)層級(jí)對(duì)應(yīng)的層級(jí)緩存區(qū)；

判斷所述目標(biāo)層級(jí)緩存區(qū)中所述緩存的數(shù)據(jù)量是否達(dá)到指定閾值，若是，則將所述目標(biāo)層級(jí)緩存區(qū)中緩存的數(shù)據(jù)轉(zhuǎn)存至目標(biāo)數(shù)據(jù)庫(kù)的與所述數(shù)據(jù)層級(jí)對(duì)應(yīng)的層級(jí)數(shù)據(jù)庫(kù)表中。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，將所述cube數(shù)據(jù)存入本地的目標(biāo)層級(jí)緩存區(qū)中，包括：

依據(jù)cube數(shù)據(jù)所屬的數(shù)據(jù)層級(jí)及對(duì)應(yīng)多維數(shù)據(jù)的時(shí)間維度數(shù)據(jù)中指定時(shí)間層級(jí)上的時(shí)間值，確定所述cube數(shù)據(jù)的數(shù)據(jù)標(biāo)識(shí)；

依據(jù)所述cube數(shù)據(jù)的數(shù)據(jù)標(biāo)識(shí)確定目標(biāo)層級(jí)緩存區(qū)，并查詢(xún)所述目標(biāo)層級(jí)緩存區(qū)中是否存在與所述數(shù)據(jù)標(biāo)識(shí)對(duì)應(yīng)的第一cube數(shù)據(jù)；

若存在，獲取所述第一cube數(shù)據(jù)，將所述cube數(shù)據(jù)與獲取的第一cube數(shù)據(jù)進(jìn)行合并，并將所述目標(biāo)層級(jí)緩存區(qū)中的所述第一cube數(shù)據(jù)修改為合并后的cube數(shù)據(jù)。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，將所述cube數(shù)據(jù)存入本地的目標(biāo)層級(jí)緩存區(qū)中，還進(jìn)一步包括：

若所述目標(biāo)層級(jí)緩存區(qū)中不存在第一cube數(shù)據(jù)，在已建立的數(shù)據(jù)標(biāo)識(shí)表中查找所述數(shù)據(jù)標(biāo)識(shí)；所述數(shù)據(jù)標(biāo)識(shí)表中記錄有已存入至所述目標(biāo)數(shù)據(jù)庫(kù)的cube數(shù)據(jù)的數(shù)據(jù)標(biāo)識(shí)；

若查找到，從所述目標(biāo)數(shù)據(jù)庫(kù)中獲取與所述數(shù)據(jù)標(biāo)識(shí)對(duì)應(yīng)的第二cube數(shù)據(jù)，將所述cube數(shù)據(jù)與獲取的第二cube數(shù)據(jù)進(jìn)行合并，將合并后的cube數(shù)據(jù)與所述數(shù)據(jù)標(biāo)識(shí)存入至目標(biāo)層級(jí)緩存區(qū)，并刪除所述數(shù)據(jù)標(biāo)識(shí)表中的所述數(shù)據(jù)標(biāo)識(shí)；

若未查找到，將所述cube數(shù)據(jù)與所述數(shù)據(jù)標(biāo)識(shí)存入至目標(biāo)層級(jí)緩存區(qū)。