[發(fā)明專利]一種數據對象下刷方法、裝置、設備及介質

在審

• 申請?zhí)枺?/td>: 202210868345.3
• 申請日: 2022-07-22
• 公開（公告）號: CN115113824A
• 公開（公告）日: 2022-09-27
• 發(fā)明（設計）人: 王鵬;孟祥瑞
• 申請（專利權）人: 濟南浪潮數據技術有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 劉松

本申請公開了一種數據對象下刷方法、裝置、設備及介質，涉及計算機技術領域，包括：將固態(tài)硬盤中被修改的數據對象確定為臟數據對象，并將其添加至臟數據對象隊列；按照機械硬盤的預設單元長度對臟數據對象進行劃分得到若干劃分區(qū)間；將臟數據總量大于下刷閾值的劃分區(qū)間中的臟數據下刷至機械硬盤；將下刷后臟數據對象添加至目標隊列，并判斷下刷后臟數據對象中是否存在臟數據，如果存在，則重新將臟數據對象添加至臟數據對象隊列，如果不存在，則對目標隊列中下刷后數據對象進行釋放。本申請優(yōu)先下刷臟數據總量大于下刷閾值的劃分區(qū)間中的臟數據，避免下刷零散臟數據，如此一來，增加了下刷聚合程度，降低了對機械硬盤的壓力。

技術領域

本發(fā)明涉及計算機技術領域，特別涉及一種數據對象下刷方法、裝置、設備及介質。

背景技術

SSD(Solid State Drives，固態(tài)硬盤)具有較高隨機IO(Input/Output，數據讀寫)性能，因此當前很多存儲系統(tǒng)都會使用SSD作為緩存盤，讓業(yè)務IO先寫入緩存盤，后續(xù)通過異步下刷將數據從SSD緩存盤上下刷到HDD(Hard Disk Drive，機械硬盤)。目前大部分存儲系統(tǒng)都以數據對象作為系統(tǒng)處理數據的基本單元，因此目前通常以整對象為最小單元進行下刷。在業(yè)務IO修改了某個數據對象后，將該數據對象標記為臟數據對象并加入到臟數據對象LRU(Least Recently Used，最近最少使用)隊列中，然后下刷模塊從臟數據對象LRU中取出臟數據對象，計算其臟數據段并進行下刷，下刷完畢后將該數據對象加入目標數據對象LRU隊列中，表示該對象所有數據已寫入主存，但緩存中的數據還未刪除，需要在后續(xù)回收緩存空間時再對該對象的目標數據進行釋放。

然而一個數據對象通常為4M或者更大的大小，在隨機小IO的業(yè)務場景中，一個數據對象上可能會產生上百個臟數據段，在這些臟數據段中，可能其中的一些數據段已經聚合為一個比較大的臟數據段，但另一些臟數據段仍然比較分散。因此當對整個數據對象進行下刷時，大量隨機的IO使得HDD需要頻繁尋道，會對HDD瞬間產生較大的壓力，下刷的效率較低并且會由于磁盤的繁忙導致其時延增大影響業(yè)務的性能。

為此，如何避免下刷零散臟數據以及減少機械硬盤尋道次數，以降低對機械硬盤的壓力并提高業(yè)務性能是本領域亟待解決的問題。

發(fā)明內容

有鑒于此，本發(fā)明的目的在于提供一種數據對象下刷方法、裝置、設備及介質，能夠避免下刷零散臟數據以及減少機械硬盤尋道次數，以降低對機械硬盤的壓力并提高業(yè)務性能，其具體方案如下：

第一方面，本申請公開了一種數據對象下刷方法，包括：

當檢測到客戶端對固態(tài)硬盤中的數據對象的修改操作，則確定所述數據對象為臟數據對象，并將所述臟數據對象添加至預設的臟數據對象隊列；

從所述臟數據對象隊列中確定出所述臟數據對象，并按照機械硬盤的預設單元長度對所述臟數據對象進行劃分，得到若干個劃分區(qū)間；

判斷每一所述劃分區(qū)間對應的所述臟數據對象中的各個數據段的臟數據總量是否大于預設的臟數據量下刷閾值，并將臟數據總量大于所述預設的臟數據量下刷閾值的所述劃分區(qū)間中的臟數據下刷至所述機械硬盤；

將下刷后的所述臟數據對象添加至預設的目標對象隊列，并判斷所述下刷后的所述臟數據對象中是否存在臟數據，如果存在，則重新執(zhí)行所述將所述臟數據對象添加至預設的臟數據對象隊列的步驟，如果不存在，則對所述目標對象隊列中的所述下刷后的所述數據對象進行數據釋放。

可選的，所述當檢測到客戶端對固態(tài)硬盤中的數據對象的修改操作，則確定所述數據對象為臟數據對象，并將所述臟數據對象添加至預設的臟數據對象隊列，包括：

當檢測到客戶端對固態(tài)硬盤中的數據對象中的數據段的修改操作，則確定所述數據對象為臟數據對象，并確定所述數據段為臟數據段，然后將所述臟數據對象添加至預設的臟數據對象隊列。