[發明專利]一種數據處理方法及裝置在審
| 申請號： | 201711025417.3 | 申請日： | 2017-10-27 |
| 公開（公告）號： | CN110019360A | 公開（公告）日： | 2019-07-16 |
| 發明（設計）人： | 熊亮春 | 申請（專利權）人： | 阿里巴巴集團控股有限公司 |
| 主分類號： | G06F16/2455 | 分類號： | G06F16/2455;G06F16/22 |
| 代理公司： | 北京安信方達知識產權代理有限公司 11262 | 代理人： | 孫敬霞;栗若木 |
| 地址： | 英屬開曼群島大開*** | 國省代碼： | 開曼群島;KY |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 哈希表 數據處理 哈希連接 表數據 不一致 掃描 復制 合并 廣播 申請 | ||
1.一種數據處理方法，包括：
通過掃描本地的內表數據生成第一哈希表；
廣播所述第一哈希表，以便其他計算節點基于所述第一哈希表得到第二哈希表，所述第二哈希表至少由所述第一哈希表合并得到。
2.根據權利要求1所述的數據處理方法，其特征在于，
所述方法還包括：將所述第一哈希表壓縮；
所述廣播所述第一哈希表，包括：廣播所述壓縮后的第一哈希表。
3.根據權利要求1或2所述的數據處理方法，其特征在于，所述廣播所述第一哈希表，包括如下之一：
向除當前計算節點之外的計算節點廣播所述第一哈希表；
向目標計算節點廣播所述第一哈希表。
4.一種數據處理方法，包括：
獲取全量哈希表，所述全量哈希表至少由第一哈希表合并得到，所述第一哈希表通過掃描計算節點的本地內表數據生成；
將所述全量哈希表與外表進行哈希連接。
5.根據權利要求4所述的數據處理方法，其特征在于，所述獲取全量哈希表包括如下之一：
接收來自其他計算節點的第一哈希表，將自身得到的第一哈希表與所述來自其他計算節點的第一哈希表合并，得到所述全量哈希表；
接收來自目標計算節點的所述全量哈希表。
6.根據權利要求5所述的數據處理方法，其特征在于，所述方法還包括：
在接收到來自其他計算節點的壓縮的第一哈希表時，在所述合并之前將所述壓縮的第一哈希表解壓縮。
7.根據權利要求4所述的數據處理方法，其特征在于，所述將所述全量哈希表與外表進行哈希連接，包括：
根據來自協調節點的通知，將所述外表的部分數據進行分發，以便通過其他計算節點執行所述外表的部分數據與所述全量哈希表的哈希連接操作。
8.根據權利要求4所述數據處理方法，其特征在于，所述將所述全量哈希表與外表進行哈希連接，包括：
接收來自其他計算節點的外表數據，并將所述外表數據與所述全量哈希表進行哈希連接操作。
9.一種數據處理方法，包括：
通過掃描內表數據生成第一哈希表；
廣播所述第一哈希表；
獲取全量哈希表，所述全量哈希表由所述第一哈希表合并得到；
將所述全量哈希表與外表進行哈希連接。
10.根據權利要求9所述的數據處理方法，其特征在于，
所述方法還包括：將所述第一哈希表壓縮；
所述廣播所述第一哈希表，包括：廣播所述壓縮后的第一哈希表。
11.根據權利要求9或10所述的數據處理方法，其特征在于，所述廣播所述第一哈希表，包括如下之一：
向除當前計算節點之外的計算節點廣播所述第一哈希表；
向目標計算節點廣播所述第一哈希表，以便所述目標計算節點基于所述第一哈希表得到所述全量哈希表或所述全量哈希表。
12.根據權利要求9或10所述的數據處理方法，其特征在于，所述獲取全量哈希表，包括如下之一：
接收來自其他計算節點的第一哈希表，將本地的所述第一哈希表與所述來自其他計算節點的第一哈希表合并，得到所述全量哈希表；
接收來自目標計算節點的全量哈希表。
13.根據權利要求12所述的數據處理方法，其特征在于，所述方法還包括：
在接收到來自其他計算節點的壓縮的第一哈希表時，在所述合并之前將所述壓縮的第一哈希表解壓縮。
14.根據權利要求9所述數據處理方法，其特征在于，所述將所述全量哈希表與外表進行哈希連接，包括：
根據來自協調節點的通知，將所述外表的部分數據進行分發。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于阿里巴巴集團控股有限公司，未經阿里巴巴集團控股有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201711025417.3/1.html，轉載請聲明來源鉆瓜專利網。
- 上一篇：一種防止緩存擊穿的方法、裝置及系統
- 下一篇：一種數據的緩存方法及裝置
