[發明專利]基于Yarn隊列實現多集群多租戶資源隔離的方法及系統

在審

• 申請號: 201811541036.5
• 申請日: 2018-12-17
• 公開（公告）號: CN109614241A
• 公開（公告）日: 2019-04-12
• 發明（設計）人: 趙章萬
• 申請（專利權）人: 杭州玳數科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 常州佰業騰飛專利代理事務所(普通合伙) 32231
• 代理人: 滕詣迪

1.一種基于Yarn隊列實現多集群多租戶資源隔離的方法，其特征在于，包括：

發送任務的客戶端根據任務所屬的租戶獲取集群配置信息；

發送任務的客戶端將所述任務與所述集群配置信息進行拼裝，得到拼裝信息，并將所述拼裝信息發送至提交任務的代理器；

所述提交任務的代理器接收所述拼裝信息，提取所述任務中的任務類型和所述集群配置信息，實例化計算引擎的客戶端，利用所述計算引擎的客戶端將所述任務提交到關聯的集群上通過Yarn隊列執行。

2.根據權利要求1所述的方法，其特征在于，所述發送任務的客戶端根據任務所屬的租戶獲取集群配置信息包括：

發送任務的客戶端根據所述任務所屬的租戶查詢緩存；

在查詢到緩存中存儲有所述集群配置信息時，從緩存中獲取所述集群配置信息；

在查詢到緩存中沒有存儲所述集群配置信息時，從集群控制臺獲取所述集群配置信息。

3.根據權利要求2所述的方法，其特征在于，所述集群控制臺通過Rest訪問接口與所述發送任務的客戶端進行通信。

4.根據權利要求2所述的方法，其特征在于，還包括：

所述集群控制臺在變更所述集群配置信息時，觸發事件通知，并將所述事件通知發送至所述發送任務的客戶端。

5.根據權利要求4所述的方法，其特征在于，還包括：

所述發送任務的客戶端接收所述事件通知，根據所述事件通知清理緩存。

6.一種基于Yarn隊列實現多集群多租戶資源隔離的系統，其特征在于，包括：

發送任務的客戶端，用于根據任務所屬的租戶獲取集群配置信息，將所述任務與所述集群配置信息進行拼裝，得到拼裝信息，并將所述拼裝信息發送至提交任務的代理器；

所述提交任務的代理器，用于接收所述拼裝信息，提取所述任務中的任務類型和所述集群配置信息，實例化計算引擎的客戶端，利用所述計算引擎的客戶端將所述任務提交到關聯的集群上通過Yarn隊列執行。

7.根據權利要求6所述的系統，其特征在于，還包括：集群控制臺；

所述發送任務的客戶端，具體用于根據所述任務所屬的租戶查詢緩存，在查詢到緩存中存儲有所述集群配置信息時，從緩存中獲取所述集群配置信息；在查詢到緩存中沒有存儲所述集群配置信息時，從所述集群控制臺獲取所述集群配置信息。

8.根據權利要求7所述的系統，其特征在于，所述集群控制臺，還用于通過Rest訪問接口與所述發送任務的客戶端進行通信。

9.根據權利要求7所述的系統，其特征在于，所述集群控制臺，還用于在變更所述集群配置信息時，觸發事件通知，并將所述事件通知發送至所述發送任務的客戶端，所述發送任務的客戶端還用于接收所述事件通知，根據所述事件通知清理緩存。

10.一種基于Yarn隊列實現多集群多租戶資源隔離的系統，其特征在于，包括：

集群控制臺、發送任務的客戶端和提交任務的代理器；

其中，

所述集群控制臺包括集群信息管理單元、資源控制單元和事件通知單元；

所述發送任務的客戶端包括緩存器單元和事件處理單元；

其中，所述集群信息管理單元，用于管理所有集群配置信息，添加新的集群配置信息，對已有的集群配置信息進行修改、刪除操作，和/或管理租戶和Yarn隊列的邏輯關系；

所述資源控制單元，用于使用Apache Hadoop Yarn作為統一的資源管理和調度框架，節點機器統一使用基于Linux內核的系統，并使用cgroup組件控制系統資源，和/或集群中的計算資源通過Yarn隊列進行分配；

所述事件通知單元，用于修改或刪除一個集群配置信息時引發集群事件通知，和/或修改租戶與Yarn隊列的邏輯關系時引發租戶事件通知；

所述緩存器單元，用于緩存所述集群配置信息；

所述事件處理單元，用于監聽所述事件通知單元，并接收事件通知，處理集群事件和/或處理租戶事件。