[發明專利]多租戶數據持久化方法、裝置、存儲介質和計算機設備

在審

• 申請號: 202111432747.0
• 申請日: 2021-11-29
• 公開（公告）號: CN114168156A
• 公開（公告）日: 2022-03-11
• 發明（設計）人: 張浩
• 申請（專利權）人: 深圳依時貨拉拉科技有限公司
• 主分類號: G06F8/60
• 分類號: G06F8/60;G06F8/61
• 代理公司: 深圳瑞天謹誠知識產權代理有限公司 44340
• 代理人: 溫青玲

本申請提供一種多租戶數據持久化方法、多租戶數據持久化裝置及計算機可讀存儲介質和計算機設備。多租戶數據持久化方法用于Zeppelin平臺，Zeppelin平臺部署于K8S集群的宿主機中。該方法包括：在K8S集群的每個計算節點中進行S3存儲桶的掛載；在租戶使用Zeppelin平臺時，在與租戶對應的計算節點中為租戶創建單獨的用戶目錄，其中，對應于同一計算節點的多個租戶的用戶目錄位于計算節點掛載的S3存儲桶中，且同一S3存儲桶中不同的租戶的用戶目錄之間相互隔離。本申請實施方式的多租戶數據持久化方法、多租戶數據持久化裝置及計算機可讀存儲介質和計算機設備可以實現租戶相關操作的數據持久化的存儲和記錄，且不同租戶的數據之間不會相互影響。

技術領域

本申請涉及計算機技術領域，具體而言，本申請涉及一種多租戶數據持久化方法、多租戶數據持久化裝置、計算機可讀存儲介質和計算機設備。

背景技術

大多數互聯網企業都提供有類似Notebook類的產品，該類產品采用交互式的方式進行數據分析、數據建模及數據可視化。Zeppelin Notebook就是其中一個廣泛使用的大數據分析、建模及可視化的產品。

基于Zeppelin可以定制構建一個多租戶的部署在K8S中、打通了大數據平臺的notebook應用。然而，部署在K8S中的服務默認沒有數據持久化功能，Zeppelin容器異常退出或者服務停止時，用戶編寫的notebook代碼及上傳的數據就會面臨丟失的風險。

目前有幾種方式可以解決該類問題。例如，可以基于本地磁盤掛載的方式實現數據持久化，然而，這種方式需要程序化解決多用戶數據卷創建和掛載的問題，并且還存在多租戶場景下掛載同一數據卷目錄產生多人編輯同一份數據造成代碼及數據混亂的問題，此外，僅僅是掛載宿主機磁盤目錄，會存在容器重啟停止后調度到不同的宿主機導致掛載的文件不一致問題。再例如，還可以采用在集群中所有計算節點手動去掛載分布式文件系統，然而，這種方式下所有計算節點都需要手動在宿主機上安裝掛載軟件、設置配置文件，還需要應對機器重啟、集群擴容等運維問題。

發明內容

為至少能解決上述的技術缺陷之一，本申請提供了以下技術方案的多租戶數據持久化方法、多租戶數據持久化裝置、計算機可讀存儲介質和計算機設備。

本申請實施方式提供了一種多租戶數據持久化方法，用于Zeppelin平臺，所述Zeppelin平臺部署于K8S集群的宿主機中。多租戶數據持久化方法包括：在所述K8S集群的每個計算節點中進行S3存儲桶的掛載；在所述租戶使用所述Zeppelin平臺時，在與所述租戶對應的所述計算節點中為所述租戶創建單獨的用戶目錄，其中，對應于同一所述計算節點的多個所述租戶的用戶目錄位于所述計算節點掛載的所述S3存儲桶中，且同一所述S3存儲桶中不同的所述租戶的用戶目錄之間相互隔離。

在某些實施方式中，所述在所述K8S集群的每個計算節點中進行S3存儲桶的掛載，包括：鏡像制作與所述S3存儲桶的掛載相關的軟件；由所述K8S集群中的DaemonSet基于鏡像制作的所述相關的軟件，將所述S3存儲桶掛載到每個所述計算節點中。

在某些實施方式中，與所述S3存儲桶的掛載相關的軟件包括啟動腳本及dockerfile。

在某些實施方式中，所述由所述K8S集群中的DaemonSet基于鏡像制作的所述相關的軟件，將所述S3存儲桶掛載到每個所述計算節點中，包括：創建ConfigMap對象，所述ConfigMap對象包含掛載所述S3存儲桶的基礎配置信息；創建DaemonSet對象，所述DaemonSet對象基于所述啟動腳本、所述dockerfile及所述ConfigMap對象將所述S3存儲桶掛載到每個所述計算節點的目標目錄中。

在某些實施方式中，所述在所述租戶使用所述Zeppelin平臺時，在與所述租戶對應的所述計算節點中為所述租戶創建單獨的用戶目錄，包括：在任一所述租戶使用所述Zeppelin平臺時，判斷所述租戶是否要進行數據保存；若是，則在與所述租戶對應的所述計算節點中為所述租戶創建單獨的用戶目錄。