[發(fā)明專利]數(shù)據(jù)寫入處理方法、裝置及電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202110352865.4
• 申請日: 2021-03-31
• 公開（公告）號: CN113419670A
• 公開（公告）日: 2021-09-21
• 發(fā)明（設(shè)計(jì)）人: 王松波;劉攀
• 申請（專利權(quán)）人: 阿里巴巴新加坡控股有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F11/14
• 代理公司: 北京市惠誠律師事務(wù)所 11353
• 代理人: 劉子敬

本申請涉及一種數(shù)據(jù)寫入處理方法、裝置及電子設(shè)備，其中，方法包括：獲取待寫入數(shù)據(jù)，根據(jù)待寫入數(shù)據(jù)的大小和/或優(yōu)先級，分配磁盤數(shù)據(jù)塊空間；向分配的磁盤數(shù)據(jù)塊空間中寫入待寫入數(shù)據(jù)；更新內(nèi)存中與該待寫入數(shù)據(jù)對應(yīng)的元數(shù)據(jù)；以預(yù)設(shè)的更新策略，將內(nèi)存中的元數(shù)據(jù)更新到磁盤中。本發(fā)明實(shí)施例中，在確保數(shù)據(jù)高效寫入磁盤的前提下，通過以一定的時(shí)間間隔來集中更新磁盤中的元數(shù)據(jù)，從而減少了在數(shù)據(jù)寫入過程中，對于磁盤的IO訪問次數(shù)，有效的提高了磁盤數(shù)據(jù)的寫入效率。

技術(shù)領(lǐng)域

本申請涉及一種數(shù)據(jù)寫入處理方法、裝置及電子設(shè)備，屬于計(jì)算機(jī)技術(shù)領(lǐng)域。

背景技術(shù)

隨著云原生應(yīng)用對可遷移性、擴(kuò)展性和動態(tài)特性的需求，對云原生存儲也帶來了相應(yīng)的密度、速度、混合度的要求。在云原生場景下，強(qiáng)依賴于支持POSIX(PortableOperating System Interface，可移植操作系統(tǒng)接口)語義的文件系統(tǒng)的應(yīng)用(例如MySQL)，對于文件系統(tǒng)的彈性部署和性能需求也會變得更加重要。在基于POSIX標(biāo)準(zhǔn)的文件存儲處理中，需要對文件系統(tǒng)對POSIX語義的支持，而POSIX語義在性能上并不適合分布式系統(tǒng)，因此，目前很多會采用本地文件系統(tǒng)來實(shí)現(xiàn)基于POSIX標(biāo)準(zhǔn)的文件存儲處理。

傳統(tǒng)本地文件系統(tǒng)，如ext4和xfs，均采用journal機(jī)制，在這種機(jī)制下，每次IO所需要的更新數(shù)據(jù)和元數(shù)據(jù)，當(dāng)面對大量數(shù)據(jù)的存儲處理時(shí)，會帶來嚴(yán)重的寫入放大問題，使文件系統(tǒng)的性能嚴(yán)重降低，不利于云原生存儲的應(yīng)用場景。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種數(shù)據(jù)寫入處理方法、裝置及電子設(shè)備，以提高向磁盤寫入數(shù)據(jù)的效率。

為了實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例提供了一種數(shù)據(jù)寫入處理方法，包括：

獲取待寫入數(shù)據(jù)，根據(jù)所述待寫入數(shù)據(jù)的大小和/或優(yōu)先級，分配磁盤數(shù)據(jù)塊空間；

向分配的磁盤數(shù)據(jù)塊空間中寫入所述待寫入數(shù)據(jù)；

更新內(nèi)存中與該待寫入數(shù)據(jù)對應(yīng)的元數(shù)據(jù)；

以預(yù)設(shè)的更新策略，將所述內(nèi)存中的元數(shù)據(jù)更新到所述磁盤中。

本發(fā)明實(shí)施例還提供了一種數(shù)據(jù)寫入處理裝置，包括：

數(shù)據(jù)塊空間分配模塊，用于獲取待寫入數(shù)據(jù)，根據(jù)所述待寫入數(shù)據(jù)的大小和/或優(yōu)先級，分配磁盤數(shù)據(jù)塊空間；

磁盤數(shù)據(jù)寫入模塊，用于向分配的磁盤數(shù)據(jù)塊空間中寫入所述待寫入數(shù)據(jù)；

內(nèi)存元數(shù)據(jù)更新模塊，用于更新內(nèi)存中與該待寫入數(shù)據(jù)對應(yīng)的元數(shù)據(jù)；

磁盤元數(shù)據(jù)更新模塊，用于以預(yù)設(shè)的更新策略，將所述內(nèi)存中的元數(shù)據(jù)更新到所述磁盤中。

本發(fā)明實(shí)施例還提供了一種電子設(shè)備，包括：

存儲器，用于存儲程序；

處理器，用于運(yùn)行所述存儲器中存儲的所述程序，以執(zhí)行前述的數(shù)據(jù)寫入處理方法。

本發(fā)明實(shí)施例的數(shù)據(jù)寫入處理方法、裝置及電子設(shè)備，在確保數(shù)據(jù)高效寫入磁盤的前提下，通過以一定的時(shí)間間隔來集中更新磁盤中的元數(shù)據(jù)，從而減少了在數(shù)據(jù)寫入過程中，對于磁盤的IO訪問次數(shù)，有效的提高了磁盤數(shù)據(jù)的寫入效率。

上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說明書的內(nèi)容予以實(shí)施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點(diǎn)能夠更明顯易懂，以下特舉本發(fā)明的具體實(shí)施方式。

附圖說明

圖1為本發(fā)明實(shí)施例的本地文件系統(tǒng)的數(shù)據(jù)存儲結(jié)構(gòu)示意圖；

圖2為本發(fā)明實(shí)施例的本地文件系統(tǒng)的數(shù)據(jù)寫入原理示意圖；

圖3為本發(fā)明實(shí)施例的數(shù)據(jù)寫入處理方法的流程示意圖；