[發明專利]數據處理方法、裝置、系統及存儲介質有效
| 申請號: | 201811240090.6 | 申請日: | 2018-10-23 |
| 公開(公告)號: | CN109522299B | 公開(公告)日: | 2020-12-18 |
| 發明(設計)人: | 丁鵬云;沈軍棟 | 申請(專利權)人: | 咪咕數字傳媒有限公司;咪咕文化科技有限公司 |
| 主分類號: | G06F16/215 | 分類號: | G06F16/215;G06F16/2455;G06F9/50 |
| 代理公司: | 北京派特恩知識產權代理有限公司 11270 | 代理人: | 張振偉;張穎玲 |
| 地址: | 310006 浙江*** | 國省代碼: | 浙江;33 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 數據處理 方法 裝置 系統 存儲 介質 | ||
1.一種數據處理方法,其特征在于,包括:
對各業務數據中的key值數據進行至少兩次不同的空間映射轉換,并在空間映射轉換后對結果取余,以得到各空間映射轉換結果;通過融合各key值數據分別對應的各空間映射轉換結果,得到各key值數據的空間坐標值;
根據預設時長內各key值數據的空間坐標值出現次數的統計結果獲取熱點坐標集,其中,所述熱點坐標集包括統計結果中次數大小靠前的預設數量個空間坐標值;
確定空間坐標值屬于所述熱點坐標集的業務數據為熱點數據。
2.如權利要求1所述的數據處理方法,其特征在于,所述對各業務數據中的key值數據進行至少兩次不同的空間映射轉換,并在空間映射轉換后對結果取余,以得到各空間映射轉換結果,包括:
對所述key值數據分別經第一、第二、第三空間映射函數做哈希運算,得到三個第一整型數據;
將所述三個第一整型數據分別與所述預設數量取余,得到三個第二整型數據;
所述通過融合各key值數據分別對應的各空間映射轉換結果,得到各key值數據的空間坐標值,包括:
將所述三個第二整型數據填充至一第三整型數據的預設數位,所述第三整型數據用于表征所述key值數據的空間坐標值。
3.如權利要求1所述的數據處理方法,其特征在于,所述根據預設時長內各key值數據的空間坐標值出現次數的統計結果獲取熱點坐標集,包括:
接收監控系統發送的熱點坐標集;
其中,所述監控系統用于以所述預設時長為間隔周期性發送所述熱點坐標集。
4.如權利要求1所述的數據處理方法,其特征在于,所述對各業務數據中的key值數據進行至少兩次不同的空間映射轉換之前,還包括:
對業務數據中的key值數據按照預設規則進行數據清洗,將清洗后的key值數據作為待轉換的對象。
5.如權利要求1所述的數據處理方法,其特征在于,所述確定空間坐標值屬于所述熱點坐標集的業務數據為熱點數據,包括:
檢測是否接收到擴容請求,接收到所述擴容請求時,確定空間坐標值屬于所述熱點坐標集的業務數據為熱點數據。
6.如權利要求1所述的數據處理方法,其特征在于,所述確定空間坐標值屬于所述熱點坐標集的業務數據為熱點數據之后,還包括:
對熱點數據對應的訪問請求進行標識,并發送攜帶標識的訪問請求給緩存代理網關,所述攜帶標識的訪問請求用于緩存代理網關在擴容存儲節點確定應復制的數據。
7.一種數據處理裝置,其特征在于,包括:
轉換模塊,用于對各業務數據中的key值數據進行至少兩次不同的空間映射轉換,并在空間映射轉換后對結果取余,以得到各空間映射轉換結果;通過融合各key值數據分別對應的各空間映射轉換結果,得到各key值數據的空間坐標值;
獲取模塊,用于根據預設時長內各key值數據的空間坐標值出現次數的統計結果獲取熱點坐標集,其中,所述熱點坐標集包括統計結果中次數大小靠前的預設數量個空間坐標值;
確定模塊,用于確定空間坐標值屬于所述熱點坐標集的業務數據為熱點數據。
8.如權利要求7所述的數據處理裝置,其特征在于,還包括:
請求模塊,用于對識別的熱點數據對應的訪問請求進行標識,并發送攜帶標識的訪問請求給緩存代理網關,所述攜帶標識的訪問請求用于緩存代理網關在擴容存儲節點確定應復制的數據。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于咪咕數字傳媒有限公司;咪咕文化科技有限公司,未經咪咕數字傳媒有限公司;咪咕文化科技有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/201811240090.6/1.html,轉載請聲明來源鉆瓜專利網。
- 上一篇:用于CIM的數據清洗方法
- 下一篇:有效數據篩選裝置





