[發明專利]一種基于糾刪碼的文件寫入方法及相關裝置

有效

• 申請號: 201710882638.6
• 申請日: 2017-09-26
• 公開（公告）號: CN107608820B
• 公開（公告）日: 2020-08-21
• 發明（設計）人: 方蘭春
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F11/10
• 分類號: G06F11/10
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 羅滿

本申請公開了一種基于糾刪碼的文件寫入方法、文件寫入裝置、計算機可讀存儲介質及服務器，該方法包括：判斷源數據的長度是否需要寫入零數據以補齊到糾刪條帶的長度；若是，則將所述零數據寫入所述源數據，并利用糾刪碼算法計算得到冗余數據；當所述零數據寫入硬盤時，通過系統操作命令創建與所述零數據相同大小的文件，以使存儲系統將所述文件識別為所述零數據。通過在零數據寫入硬盤時，用創建與零數據相同大小的空文件代替寫入操作，并且存儲系統會識別零數據已經寫入，節省了寫入零數據的時間，解放了原有寫入零數據的性能，提高了存儲系統的性能利用率。其中，文件寫入裝置、計算機可讀存儲介質及服務器，具有上述有益效果。

技術領域

本申請涉及分布式存儲技術領域，特別涉及一種基于糾刪碼的文件寫入方法、文件寫入裝置、計算機可讀存儲介質及服務器。

背景技術

隨著存儲技術的不斷發展，延伸出應對不同應用場景的存儲系統。在處理大量數據方面，一般使用分布式存儲系統，其中為了保持數據存儲的可靠性，常用糾刪碼技術提高存儲系統的可靠性。

糾刪碼技術是一種數據保護方法，通過講一定長度的數據分割為K份，用K份數據通過編碼算法計算得到M分冗余的校驗塊數據。將設K+M份數據存儲在不同的位置，比如磁盤、存儲節點或者其他位置。只需要K+M份數據中的K份數據就可以會付出所有的數據。因此，糾刪碼技術相比于存儲數據副本的方式，在保障數據安全的情況相同，可以有效的提高存儲空間的利用率。

但是，糾刪碼中的數據讀寫都是以糾刪數據條帶大小為基本單位，當所寫入的數據不足與該條帶大小時，會使用零數據將不足的長度進行補充，補齊到條帶大小。即使是寫入一個字節的長度的數據，他也想用零數據繼續補齊到條帶長度，然后以條帶長度為最小的寫入單位將補齊后的內容都寫入硬盤中，當寫入的有效數據小于糾刪條帶大小時，有可能寫入的有效數據分布在所有寫入數據硬盤的部分硬盤中，而其他的硬盤寫入用來補齊的零數據。

進一步的，零數據都是無效數據，不僅占用硬盤的實際存儲空間，還增加了寫入的時間。當存儲系統的運行壓力較大是，寫入這些零數據無疑會影響整個存儲系統的性能，造成存儲系統的性能浪費。

因此，如何解決在糾刪碼技術下寫入零數據影響存儲系統性能的問題，是本領域技術人員關注的熱點問題。

發明內容

本申請的目的是提供一種基于糾刪碼的文件寫入方法、文件寫入裝置、計算機可讀存儲介質及服務器，通過在零數據寫入硬盤時，用創建與零數據相同大小的空文件代替寫入操作，并且存儲系統會識別零數據已經寫入，節省了寫入零數據的時間，解放了原有寫入零數據的性能，提高了存儲系統的性能利用率。

為解決上述技術問題，本申請提供一種基于糾刪碼的文件寫入方法，包括：

判斷源數據的長度是否需要寫入零數據以補齊到糾刪條帶的長度；

若是，則將所述零數據寫入所述源數據，并利用糾刪碼算法計算得到冗余數據；

當所述零數據寫入硬盤時，通過系統操作命令創建與所述零數據相同大小的文件，以使存儲系統將所述文件識別為所述零數據。

可選的，所述當所述零數據寫入硬盤時，通過系統操作命令創建與所述零數據相同大小的文件，以使存儲系統將所述文件識別為所述零數據，包括：

所述當所述零數據寫入硬盤時，通過touch操作創建空文件；

使用truncate操作將所述空文件的大小數據修改為所述零數據的大小數據，得到所述文件，以使所述存儲系統將所述文件識別為所述零數據。

可選的，所述判斷寫入源數據是否需要寫入零數據以補齊糾刪條帶的長度，包括：

根據需要寫入的所述源數據的偏移量和寫入長度判斷所述源數據的數據塊的數量是否小于糾刪碼數據塊的數量。

可選的，還包括：