[發明專利]一種合并存儲空間回收方法、裝置及電子設備

有效

• 申請號: 201711136335.6
• 申請日: 2017-11-16
• 公開（公告）號: CN108090128B
• 公開（公告）日: 2021-11-26
• 發明（設計）人: 李杰輝;牛立國
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F16/17
• 分類號: G06F16/17;G06F16/16
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 馬敬;項京

本發明實施例提供了一種合并存儲空間回收方法、裝置及電子設備，包括：確定第一文件塊中待回收存儲空間的小文件；按照第一文件塊中至少一個小文件在第一文件塊的存儲位置的前后順序，依次對至少一個小文件執行第一或第二處理；第一處理包括：判斷出小文件是待回收存儲空間的小文件，對小文件所占的存儲空間執行文件空洞處理；第二處理包括：判斷出小文件不是待回收存儲空間的小文件，將小文件復制到第一文件塊的存儲區域的尾部，對小文件被復制前所占的存儲空間執行文件空洞處理。本發明實施例通過就地回收的方式對第一文件塊進行存儲空間的回收，節約了回收過程中合并存儲系統的存儲空間。

技術領域

本發明涉及存儲技術領域，特別是涉及一種合并存儲空間回收方法、裝置及電子設備。

背景技術

互聯網的高速發展產生了海量的圖片、文檔等文件，這些文件的特點是尺寸較小(一般在100KB以下)以及數量巨大(一般數以億計)，傳統的可移植操作系統接口(PortableOperating System Interface，POSIX)文件系統已經難以滿足對海量小文件的處理需求，這就是業界著名的海量小文件問題。

對于海量小文件問題，業界的通用做法是合并存儲，即將小文件合并存儲到一個POSIX文件中，例如一些社交網站或購物網站都有專用的合并存儲系統，如：Haystack，Ambry和TFS。在合并存儲系統中，除了將小文件的內容存儲到POSIX大文件中之外，還需要保存小文件在大文件中偏移量，也就是索引信息。

在合并存儲系統中，刪除一個小文件時，通用的做法是在索引信息里將小文件標識為已刪除的狀態。標識為已刪除的小文件在POSIX大文件里面所占的存儲空間并不會馬上被回收，而是通過后臺進程進行異步回收。目前一般都是采用2階段式的復制-提交(Copy-Commit)方法對POSIX大文件的存儲空間進行異步回收，其步驟為：首先復制階段包括：創建一個臨時文件和臨時索引文件；然后，從頭開始掃描大文件里的所有小文件，如果該小文件被標識為已刪除，則跳過，否則，將該小文件復制到臨時文件，同時在臨時索引文件里添加臨時文件中小文件的索引信息；最后提交階段包括：用臨時文件代替大文件，原先的大文件就不存在了，從而完成大文件的存儲空間的回收。然而，Copy-Commit方法存在這樣的缺點：在復制小文件的過程中，采用非就地的方式，即大文件和臨時文件同時存在，因此，需要合并存儲系統預留出足夠的存儲空間。

發明內容

本發明實施例的目的在于提供一種合并存儲空間回收方法、裝置及電子設備，以通過就地回收的方式對第一文件塊進行存儲空間的回收，節約回收過程中合并存儲系統的存儲空間。具體技術方案如下：

為達到上述目的，第一方面，本發明實施例提供了一種合并存儲空間回收方法，所述方法包括：

確定第一文件塊中待回收存儲空間的小文件；其中，所述第一文件塊存儲有至少一個小文件，且所述至少一個小文件被依次連續存儲在所述第一文件塊中；

按照所述至少一個小文件在所述第一文件塊的存儲位置的前后順序，依次對所述至少一個小文件執行第一處理或第二處理；其中，

所述第一處理包括：判斷出該小文件是待回收存儲空間的小文件，則對該待回收存儲空間的小文件所占的存儲空間執行文件空洞處理；

所述第二處理包括：判斷出該小文件不是待回收存儲空間的小文件，將該不是待回收存儲空間的小文件復制到所述第一文件塊的存儲區域的尾部，對該不是待回收存儲空間的小文件被復制前所占的存儲空間執行文件空洞處理，其中，所述第一文件塊的存儲區域為所述至少一個小文件在所述第一文件塊中被連續存儲的區域。

可選地，所述確定第一文件塊中待回收存儲空間的小文件，包括：

獲取所述至少一個小文件的刪除狀態信息；其中，所述刪除狀態信息用于標識所述至少一個小文件為已刪除或未刪除；

將所有標識為已刪除的小文件確定為第一文件塊中待回收存儲空間的小文件。