[發(fā)明專利]數(shù)據(jù)處理方法、裝置、系統(tǒng)及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201811240090.6
• 申請(qǐng)日: 2018-10-23
• 公開（公告）號(hào): CN109522299B
• 公開（公告）日: 2020-12-18
• 發(fā)明（設(shè)計(jì)）人: 丁鵬云;沈軍棟
• 申請(qǐng)（專利權(quán)）人: 咪咕數(shù)字傳媒有限公司;咪咕文化科技有限公司
• 主分類號(hào): G06F16/215
• 分類號(hào): G06F16/215;G06F16/2455;G06F9/50
• 代理公司: 北京派特恩知識(shí)產(chǎn)權(quán)代理有限公司 11270
• 代理人: 張振偉;張穎玲

本發(fā)明實(shí)施例公開了一種數(shù)據(jù)處理方法、裝置、系統(tǒng)及存儲(chǔ)介質(zhì)，該數(shù)據(jù)處理方法包括：對(duì)各業(yè)務(wù)數(shù)據(jù)中的key值數(shù)據(jù)進(jìn)行至少兩次不同的空間映射轉(zhuǎn)換，以得到各空間映射轉(zhuǎn)換結(jié)果；通過融合各key值數(shù)據(jù)分別對(duì)應(yīng)的各空間映射轉(zhuǎn)換結(jié)果，得到各key值數(shù)據(jù)的空間坐標(biāo)值；根據(jù)預(yù)設(shè)時(shí)長內(nèi)各key值數(shù)據(jù)的空間坐標(biāo)值出現(xiàn)次數(shù)的統(tǒng)計(jì)結(jié)果獲取熱點(diǎn)坐標(biāo)集，其中，所述熱點(diǎn)坐標(biāo)集包括統(tǒng)計(jì)結(jié)果中次數(shù)大小靠前的預(yù)設(shè)數(shù)量個(gè)空間坐標(biāo)值；確定空間坐標(biāo)值屬于所述熱點(diǎn)坐標(biāo)集的業(yè)務(wù)數(shù)據(jù)為熱點(diǎn)數(shù)據(jù)。本發(fā)明實(shí)施例數(shù)據(jù)處理方法的熱點(diǎn)數(shù)據(jù)識(shí)別的效率高，且節(jié)省了客戶端的CPU消耗。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)緩存領(lǐng)域，具體涉及一種數(shù)據(jù)處理方法、裝置、系統(tǒng)及存儲(chǔ)介質(zhì)。

背景技術(shù)

業(yè)務(wù)平臺(tái)對(duì)緩存的依賴程度很高，主要業(yè)務(wù)內(nèi)容對(duì)應(yīng)的數(shù)據(jù)大多存儲(chǔ)于緩存中，對(duì)緩存性能以及健壯性有極高的要求，需要能承載高并發(fā)訪問壓力，并且具備完善的容災(zāi)、備份、壓力擴(kuò)容體系。

在出現(xiàn)瞬時(shí)爆發(fā)式訪問場景時(shí)，為滿足對(duì)于數(shù)據(jù)的訪問需求，現(xiàn)有的擴(kuò)容方案是對(duì)緩存集群數(shù)據(jù)全量復(fù)制到新節(jié)點(diǎn)進(jìn)行擴(kuò)容。這樣的全量復(fù)制擴(kuò)容方案受限于對(duì)于業(yè)務(wù)數(shù)據(jù)的“無區(qū)分”，會(huì)導(dǎo)致處理資源的盲目耗費(fèi)。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實(shí)施例提供了一種數(shù)據(jù)處理方法、裝置、系統(tǒng)及存儲(chǔ)介質(zhì)，用以解決現(xiàn)有技術(shù)由于對(duì)于業(yè)務(wù)數(shù)據(jù)“無區(qū)分”，會(huì)導(dǎo)致處理資源盲目耗費(fèi)的問題。

本發(fā)明實(shí)施例的技術(shù)方案是這樣實(shí)現(xiàn)的：

第一方面，本發(fā)明實(shí)施例提供一種數(shù)據(jù)處理方法，該數(shù)據(jù)處理方法包括：

對(duì)各業(yè)務(wù)數(shù)據(jù)中的key值數(shù)據(jù)進(jìn)行至少兩次不同的空間映射轉(zhuǎn)換，以得到各空間映射轉(zhuǎn)換結(jié)果；通過融合各key值數(shù)據(jù)分別對(duì)應(yīng)的各空間映射轉(zhuǎn)換結(jié)果，得到各key值數(shù)據(jù)的空間坐標(biāo)值；

根據(jù)預(yù)設(shè)時(shí)長內(nèi)各key值數(shù)據(jù)的空間坐標(biāo)值出現(xiàn)次數(shù)的統(tǒng)計(jì)結(jié)果獲取熱點(diǎn)坐標(biāo)集，其中，所述熱點(diǎn)坐標(biāo)集包括統(tǒng)計(jì)結(jié)果中次數(shù)大小靠前的預(yù)設(shè)數(shù)量個(gè)空間坐標(biāo)值；

確定空間坐標(biāo)值屬于所述熱點(diǎn)坐標(biāo)集的業(yè)務(wù)數(shù)據(jù)為熱點(diǎn)數(shù)據(jù)。

第二方面，本發(fā)明實(shí)施例提供一種數(shù)據(jù)處理裝置，該數(shù)據(jù)處理裝置包括：

轉(zhuǎn)換模塊，用于對(duì)各業(yè)務(wù)數(shù)據(jù)中的key值數(shù)據(jù)進(jìn)行至少兩次不同的空間映射轉(zhuǎn)換，以得到各空間映射轉(zhuǎn)換結(jié)果；通過融合各key值數(shù)據(jù)分別對(duì)應(yīng)的各空間映射轉(zhuǎn)換結(jié)果，得到各key值數(shù)據(jù)的空間坐標(biāo)值；

獲取模塊，用于根據(jù)預(yù)設(shè)時(shí)長內(nèi)各key值數(shù)據(jù)的空間坐標(biāo)值出現(xiàn)次數(shù)的統(tǒng)計(jì)結(jié)果獲取熱點(diǎn)坐標(biāo)集，其中，所述熱點(diǎn)坐標(biāo)集包括統(tǒng)計(jì)結(jié)果中次數(shù)大小靠前的預(yù)設(shè)數(shù)量個(gè)空間坐標(biāo)值；

確定模塊，用于確定空間坐標(biāo)值屬于所述熱點(diǎn)坐標(biāo)集的業(yè)務(wù)數(shù)據(jù)為熱點(diǎn)數(shù)據(jù)。

第三方面，本發(fā)明實(shí)施例還提供一種數(shù)據(jù)處理系統(tǒng)，該數(shù)據(jù)處理系統(tǒng)包括：

客戶端，用于對(duì)各業(yè)務(wù)數(shù)據(jù)中的key值數(shù)據(jù)進(jìn)行至少兩次不同的空間映射轉(zhuǎn)換，以得到各空間映射轉(zhuǎn)換結(jié)果；通過融合各key值數(shù)據(jù)分別對(duì)應(yīng)的各空間映射轉(zhuǎn)換結(jié)果，得到各key值數(shù)據(jù)的空間坐標(biāo)值；根據(jù)預(yù)設(shè)時(shí)長內(nèi)各key值數(shù)據(jù)的空間坐標(biāo)值出現(xiàn)次數(shù)的統(tǒng)計(jì)結(jié)果獲取熱點(diǎn)坐標(biāo)集，其中，所述熱點(diǎn)坐標(biāo)集包括統(tǒng)計(jì)結(jié)果中次數(shù)大小靠前的預(yù)設(shè)數(shù)量個(gè)空間坐標(biāo)值；確定空間坐標(biāo)值屬于所述熱點(diǎn)坐標(biāo)集的業(yè)務(wù)數(shù)據(jù)為熱點(diǎn)數(shù)據(jù)；

監(jiān)控系統(tǒng)，用于以所述預(yù)設(shè)時(shí)長為間隔周期性發(fā)送所述熱點(diǎn)坐標(biāo)集給所述客戶端。

第四方面，本發(fā)明實(shí)施例還提供一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，存儲(chǔ)有可執(zhí)行程序，所述可執(zhí)行程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)上述任一實(shí)施例所述的數(shù)據(jù)處理方法。