[發明專利]基于Kubernetes的數據讀寫方法、裝置、系統及設備

在審

• 申請號: 202011610556.4
• 申請日: 2020-12-30
• 公開（公告）號: CN112632011A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 蒲威
• 申請（專利權）人: 上海中通吉網絡技術有限公司
• 主分類號: G06F16/172
• 分類號: G06F16/172;G06F16/182
• 代理公司: 北京細軟智谷知識產權代理有限責任公司 11471
• 代理人: 付登云

本發明涉及一種基于Kubernetes的數據讀寫方法、裝置、系統及設備，屬于通信技術領域，該方法、裝置、系統及設備，通過在主機上設置SSD高速緩存盤，不再使用內存資源作為緩存，從而避免網絡的傳輸，減小了網絡壓力；并且Cache數據保留在主機本地，無需通過網絡來訪問；為每一個容器的劃分一定的緩存空間，互相不會爭搶資源；通過分層虛擬文件系統解決對容器的緩存優化和管理的能力。

技術領域

本發明屬于通信技術領域，具體涉及一種基于Kubernetes的數據讀寫方法、裝置、系統及設備。

背景技術

Kubernetes是一種流行的、被廣泛采用的后臺分布式服務集群方案，可以在大量主機上運行大量的容器，以接受大量客戶的并發訪問。Kubernetes集群上會運行大量的容器，這些容器需要存儲資源來保存持久化的數據，比如運行時產生的交易記錄、操作日志等等。存儲資源主要來自于后臺的存儲集群，集群將存儲資源劃分成一個個存儲卷掛載到需要的容器上。所有的存儲讀寫必須通過網絡傳輸才能完成。而大量的容器對存儲卷的讀寫，對后臺的存儲集群產生了巨大壓力。

保證可用性，Kubernetes發布了CSI規范，所有支持Kubernetes容器存儲的后端方案必須支持CSI才能接入到Kubernetes集群。每一個方案的實現都被稱為一個CSI插件(CSIPlugin)。為了緩解大量容器對存儲集群的訪問壓力，現有技術中普遍使用的方案是利用緩存，減少對存儲的訪問頻率。目前有兩種緩存方案：第一種，是在后端存儲集群使用緩存磁盤或者內存緩存，減小對磁盤的壓力；第二種，是在容器所運行的主機上，利用內存作為緩存。

但是，在后端存儲集群上使用緩存磁盤無法解決網絡上的壓力，即使從緩存中讀取到了數據，卻還是要通過網絡發送給前端的主機；而主機上基于內存的緩存受到內存大小的制約，容量不夠大，并且當容器的內存需求增加后，操作系統會自動減小內存中的緩存，提供給容器使用，使得緩存容量更小。

發明內容

為了至少解決現有技術存在的上述問題，本發明提供了一種基于Kubernetes的數據讀寫方法、裝置、系統及設備。

本發明提供的技術方案如下：

一方面，一種基于Kubernetes的數據讀寫系統，包括：存儲插件CSP和虛擬分層文件系統CFS；所述存儲插件CSP用于觸發所述虛擬分層文件系統CFS模擬創建容器的存儲卷；

所述存儲卷，包括上層和底層；所述存儲卷的上層，包括在容器主機上創建的文件系統；所述存儲卷的底層，包括后臺存儲集群所創建的區域存儲卷；

所述存儲插件CSP，用于接收Kubernetes的CSI調用指令；根據所述CSI調用指令，創建所述區域存儲卷，并將所述區域存儲卷連接掛載到對應的容器主機；在所述容器主機上創建所述虛擬分層文件系統CFS，將所述區域存儲卷的連接掛載信息和文件系統的信息提供給所述虛擬分層文件系統CFS；將所述虛擬分層文件系統CFS掛載到容器主機上，并將所述虛擬分層文件系統CFS提供給所述容器作為存儲卷，以使所述容器對所述存儲卷進行數據讀寫。

可選的，所述存儲插件CSP，用于在所述容器主機上的文件系統上分配一個目錄，為所述容器提供Cache保存的位置；或，在自行管理磁盤的基礎上，完成Cache的保存。

又一方面，一種基于Kubernetes的數據讀寫方法，應用上述任一所述的基于Kubernetes的數據讀寫系統，所述方法，包括：

接收讀請求，根據所述讀寫請求，判斷文件系統對應的存儲區域是否存在內容，若存在，則在所述存儲區域的內容中讀取與所述讀寫請求對應的相關內容，并將所述相關內容返回給容器；若不存在，則在所述區域存儲卷對應的存儲區域上讀取文件的相關內容，并將所述相關內容返回給容器；

接收寫請求，根據預設寫入規則，寫入對應的寫入信息。