[發明專利]一種有效降低容器化關系型數據庫I/O消耗的方法

有效

• 申請號: 201910235720.9
• 申請日: 2019-03-25
• 公開（公告）號: CN109933312B
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 李鵬;楊菲;王汝傳;徐鶴;李超飛;樊衛北;朱楓;程海濤
• 申請（專利權）人: 南京郵電大學;江蘇省精創電氣股份有限公司
• 主分類號: G06F8/20
• 分類號: G06F8/20;G06F9/455;G06F16/28
• 代理公司: 南京正聯知識產權代理有限公司 32243
• 代理人: 王素琴

本發明公開了一種有效降低容器化關系型數據庫I/O消耗的方法，本發明方法通過在RDS實例層和存儲層之間通過在kubernetes和Docker平臺搭建基于memcached的高可用分布式緩存架構；RDS實例層需要寫入到存儲層的數據先寫入所述高可用分布式緩存架構持久保存，再由所述高可用分布式緩存架構刷新到存儲層；并由所述高可用分布式緩存架構緩存RDS實例層中的熱點數據；本發明可利用高可用分布式緩存架構阻擋了RDS實例層和存儲層之間的直接交互，能有效降低RDS實例層中I/O的消耗，同時，能夠降低網絡I/O距離。

技術領域

本發明屬于容器虛擬化的性能優化技術領域，具體涉及一種有效降低容器化關系型數據庫I/O消耗的方法。

背景技術

隨著信息技術的快速發展，集群系統的規模日益龐大，如何充分高效的使用集群系統資源成為急需解決的問題。由于傳統虛擬化技術存在實施難度高、更新和升級困難等問題，容器化成為了傳統虛擬化技術的替代，具有輕量級，共享資源及快速擴展等優點。 容器可以解決許多分布式應用挑戰，例如便攜性和性能開銷。不過使用容器作為大規模系統的基礎技術時其資源管理領域面臨許多挑戰。Kubernetes 是一個在平臺即服務（PaaS）云中實現基于容器部署的系統，是業界廣泛認可的docker集群解決方案，它可以部署云原生應用程序，是一個由（微）服務組成的分布式和水平可擴展系統，具有彈性和彈性支持等功能。云行業對kubernetes和Docker的組合接受程度超乎想象，并逐漸將其引入RDS（Relational Database Service，關系型數據庫服務）領域，但數據庫作為一種有狀態的應用，使用容器部署時，必須考慮數據持久化問題，就出現了本地存儲和遠程存儲（分離架構的原因）：Kubernetes提供的volume類型中的emptyDir或hostPath（本地存儲）方式，會導致容器在重啟或漂移后無法保留之前的數據，存儲容量受限于單個node節點的容量，以及RDS實例部署節點選擇受限于底層存儲介質（SSD/HDD）；而Kubernetes提供的volume類型中的云存儲以及分布式存儲方式都可以實現數據的持久存儲，這種將數據持久化到遠程存儲端的方式便利用了計算與存儲分離架構。計算與存儲分離最大的優勢就是：利用volume將有狀態的數據掛載到存儲層，RDS實例部署時，不需要像local方式去感知Node節點的存儲介質，只需要調度到滿足計算資源（requests、limits）要求的Node節點，數據庫實例啟動時，只需在存儲層掛載匹配的volume即可，顯著的提高了數據庫容器實例的部署密度和計算資源的利用率，同時架構也清晰，且存儲容量擴展方便。這種分離架構與本地存儲（local）方式相比，需要進行遠程的數據傳輸，單路I/O多了網絡開銷，較local方式請求響應時間增加，對數據庫這種延時敏感型應用, 網絡延時會極大影響數據庫的性能，導致業務系統的服務質量低下，若在高密度部署的場景,可能導致計算資源和存儲資源利用不充分。

互聯網的飛速發展以及業務的不斷擴張，使得數據量急劇膨脹，單個微服務通常對應單獨的數據庫，這樣一個大型應用程序通常由多個庫來分擔龐大的數據量，同時可能會有多個備份實例，導致數據庫實例數量龐大，此時計算與存儲分離架構面臨多個實例需要將數據持久保存到存儲層，造成網絡I/O開銷，尤其在RDS實例層（平臺中所有的RDS實例）高度并發訪問遠端存儲系統場景，網絡帶寬成為性能瓶頸，網絡流量消耗劇增。同時，在存儲層引入分布式存儲時，分布式存儲系統會把計算機系統的兩大瓶頸點（磁盤I/O和網絡I/O）引入業務系統，進一步加劇分離架構的I/O開銷。

現有的優化計算與存儲分離架構性能的方法：（1）針對RDS實例層進行的優化：數據庫實例可以通過優化事務commit時寫Redo的速度來提高I/O吞吐，以及數據庫讀寫分離，DB拆分等；（2）針對存儲層進行優化：存儲層的多副本（replicas）寫入設計中采用副本達到多數即返回策略，硬件升級，或在存儲層采用流量控制設計。這些方法不僅成本高昂，而且對于存儲分離架構的性能很難達到數量級上的提升，無法滿足要求。

發明內容