[發明專利]一種基于ceph的多journal記錄方法、裝置和介質

在審

• 申請號: 202010832983.0
• 申請日: 2020-08-18
• 公開（公告）號: CN111966295A
• 公開（公告）日: 2020-11-20
• 發明（設計）人: 成金祥
• 申請（專利權）人: 浪潮商用機器有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 史翠

本發明實施例公開了一種基于ceph的多journal記錄方法、裝置和介質，預先為每個shard隊列建立對應的journal隊列和journal文件；每個journal文件有其對應的文件標識。當目標shard隊列中生成新的journal數據時，將journal數據插入到目標journal隊列。根據目標journal隊列所對應的文件標識確定出相對應的目標journal文件，將journal數據存儲至目標journal文件中。通過對每個shard隊列建立對應的journal隊列和journal文件，無需額外調用write_thread線程，減少了IO棧中的線程切換帶來的性能損耗，同時實現了OSD中shard隊列的joural數據的并行處理。

技術領域

本發明涉及分布式存儲技術領域，特別是涉及一種基于ceph的多journal記錄方法、裝置和計算機可讀存儲介質。

背景技術

對象存儲設備(Object Store Device，OSD)主要負責處理客戶端的輸入輸出(Input/Output，IO)請求，并將數據寫到磁盤。為了保證數據的一致性，在OSD崩潰之后可以找回數據，寫數據之前，OSD會構造journal數據(journal)，并將journal寫到磁盤之后向客戶端返回寫操作已完成，然后再進行數據的寫入即執行數據的落盤操作。

在數據落盤之前需要執行journal寫入磁盤的操作，由此可見，提高journal的處理速度能改善ceph的寫性能。

每個OSD中有多個用于處理IO數據的工作隊列即shard隊列，所有數據的處理在shard隊列中進行，shard隊列通過shard線程進行事務的構造及journal的生成，之后會提交journal到writeq隊列中。傳統方式中多個shard隊列將生成的journal數據向一個writeq隊列提交時，為了避免數據存儲的混亂，每個shard隊列在向writeq隊列存儲數據時需要進行加鎖操作，并且通過信號量喚醒write_thread線程，從而完成journal數據的存儲。對于NVMe閃存(Non-Volatile Memory express，NVMe)、存儲級內存(Storage ClassMemory，SCM)等高性能硬件平臺，這種設計會成為性能瓶頸，造成IO處理達不到應用要求，出現延時高等問題。

可見，如何提升IO處理及響應速度，以減少IO時延，是本領域技術人員需要解決的問題。

發明內容

本發明實施例的目的是提供一種基于ceph的多journal記錄方法、裝置和計算機可讀存儲介質，可以提升IO處理及響應速度，以減少IO時延。

為解決上述技術問題，本發明實施例提供一種基于ceph的多journal記錄方法，包括：

預先為每個shard隊列建立對應的journal隊列和journal文件；其中，每個所述journal文件有其對應的文件標識；

當目標shard隊列中生成新的journal數據時，將所述journal數據插入到對應的目標journal隊列；其中，所述目標shard隊列為所有所述shard隊列中的任意一個shard隊列；

根據所述目標journal隊列所對應的文件標識確定出相對應的目標journal文件，將所述journal數據存儲至所述目標journal文件中。

可選地，在所述根據所述目標journal隊列所對應的文件標識確定出相對應的目標journal文件，將所述journal數據存儲至所述目標journal文件之后還包括：

獲取journal數據當前所對應的的水位線信息；

將所述目標journal文件中與所述水位線信息相匹配的journal數據刪除。