[發明專利]在分布式系統中選取節點的方法和裝置有效
| 申請號: | 201510016624.7 | 申請日: | 2015-01-13 |
| 公開(公告)號: | CN104580476B | 公開(公告)日: | 2018-09-14 |
| 發明(設計)人: | 呂信;郭李明 | 申請(專利權)人: | 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司 |
| 主分類號: | H04L29/08 | 分類號: | H04L29/08 |
| 代理公司: | 中原信達知識產權代理有限責任公司 11219 | 代理人: | 姜勁;金潔 |
| 地址: | 100080 北京市海淀區杏石口路6*** | 國省代碼: | 北京;11 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 分布式 系統 選取 節點 方法 裝置 | ||
1.一種在分布式系統中選取節點的方法,所述分布式系統為PrestoDB集群,其特征在于,該方法包括:
在所述分布式系統中,將指定的一部分節點作為候選的None節點;
在需要將多個Source節點的數據片匯聚到一個節點的情況下,在所述候選的None節點中選擇一個節點,然后將所述多個Source節點的數據片匯聚到選擇的節點;
其中,在將指定的一部分節點作為候選的None節點之后,還包括:
在需要將多個Source節點的數據片匯聚到多個Fixed節點的情況下,判斷當前是否允許所述候選的None節點作為候選的Fixed節點,若是,則在所述分布式系統中隨機選取多個節點作為Fixed節點,否則在所述分布式系統中所述候選的None節點之外隨機選取多個節點作為Fixed節點;
其中,在將指定的一部分節點作為候選的None節點之后,還包括:
在需要將分片的數據保存到Source節點的情況下,判斷當前是否允許所述候選的None節點作為候選的Source節點,若是,則在所述分布式系統中隨機選取多個節點作為Source節點,否則在所述分布式系統中所述候選的None節點之外隨機選取多個節點作為Source節點。
2.根據權利要求1所述的方法,其特征在于,在所述分布式系統中隨機選取多個節點作為Source節點的步驟包括:在當前采用硬件感知方式的情況下,在所述分布式系統中按照本地性原則選取多個節點作為Source節點。
3.根據權利要求1或2所述的方法,其特征在于,在所述分布式系統中所述候選的None節點之外隨機選取多個節點作為Source節點的步驟包括:在當前采用硬件感知方式的情況下,在所述分布式系統中所述候選的None節點之外按照本地性原則選取多個節點作為Source節點。
4.一種在分布式系統中選取節點的裝置,所述分布式系統為PrestoDB集群,其特征在于,該裝置包括:
配置模塊,用于記錄所述分布式系統中被指定的作為候選的None節點的一部分節點;
None節點選擇模塊,用于在需要將多個Source節點的數據片匯聚到一個節點的情況下,在所述候選的None節點中選擇一個節點作為None節點;
其中,還包括Fixed節點選擇模塊,用于在需要將多個Source節點的數據片匯聚到多個Fixed節點的情況下,判斷當前是否允許所述候選的None節點作為候選的Fixed節點,若是,則在所述分布式系統中隨機選取多個節點作為Fixed節點,否則在所述分布式系統中所述候選的None節點之外隨機選取多個節點作為Fixed節點;
其中,還包括Source節點選擇模塊,用于在需要將分片的數據保存到Source節點的情況下,判斷當前是否允許所述候選的None節點作為候選的Source節點,若是,則在所述分布式系統中隨機選取多個節點作為Source節點,否則在所述分布式系統中所述候選的None節點之外隨機選取多個節點作為Source節點。
5.根據權利要求4所述的裝置,其特征在于,所述Source節點選擇模塊還用于在當前采用硬件感知方式的情況下,在所述分布式系統中按照本地性原則選取多個節點作為Source節點。
6.根據權利要求4或5所述的裝置,其特征在于,所述Source節點選擇模塊還用于在當前采用硬件感知方式的情況下,在所述分布式系統中所述候選的None節點之外按照本地性原則選取多個節點作為Source節點。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司,未經北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/201510016624.7/1.html,轉載請聲明來源鉆瓜專利網。





