[發明專利]一種文件存儲方法、系統及計算機存儲介質

有效

• 申請號: 201710480364.8
• 申請日: 2017-06-22
• 公開（公告）號: CN107229427B
• 公開（公告）日: 2019-10-18
• 發明（設計）人: 江汛洋;葛利亞;王靜;李道兵;許式偉
• 申請（專利權）人: 上海七牛信息技術有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 上海碩力知識產權代理事務所(普通合伙) 31251
• 代理人: 郭桂峰

本發明公開一種文件存儲方法、系統及計算機存儲介質，該方法包括：在文件系統層，將文件進行分塊形成多個數據塊，對數據塊進行亂序寫操作；將數據塊同步到對象存儲隊列，如果數據塊的數據發生變化，則在對象存儲隊列增加任務，按第一預設周期循環執行對象存儲隊列內的任務；在對象存儲層，根據操作指令將多個數據塊按預設順序拼接成文件；在文件系統層中設置循環回收任務；循環回收任務包括：按預設策略回收文件系統中已同步到對象存儲中且滿足預設條件的數據塊，并將數據塊刪除且標記數據塊地址為對象存儲。融合文件系統與對象存儲的分級存儲方法，達到既能支持亂序讀寫，又能擁有對象存儲的優勢，即低成本、易分發并發訪問、支持海量存儲。

技術領域

本發明涉及存儲技術領域，更具體的說，涉及一種文件存儲方法、系統及計算機存儲介質。

背景技術

對象存儲擁有低成本、易分發并發訪問、支持海量存儲的特點，但不支持隨機寫，目前許多軟件仍對存儲系統有亂序讀寫的需求，文件系統能支持亂序讀寫。

發明內容

本發明所要解決的技術問題是提供一種能支持亂序讀寫又具有對象存儲優點的文件存儲方法、系統及計算機存儲介質。

本發明的目的是通過以下技術方案來實現的：

一種文件存儲方法，包括：

在文件系統層，將文件進行分塊形成多個數據塊，對數據塊進行亂序寫操作；

將數據塊同步到對象存儲隊列，如果數據塊的數據發生變化，則在對象存儲隊列增加任務，按第一預設周期循環執行對象存儲隊列內的任務；

在對象存儲層，根據操作指令將多個數據塊按預設順序拼接成文件；

在文件系統層中設置循環回收任務；所述循環回收任務包括：按預設策略回收文件系統中已同步到對象存儲中且滿足預設條件的數據塊，并將所述數據塊刪除且標記所述數據塊地址為對象存儲。

進一步的，還包括：

在文件系統層中設置循環重傳任務；

所述循環重傳任務包括：按第二預設周期獲取文件系統中未同步到對象存儲中的數據塊，并根據數據塊生成同步任務，并將所述同步任務加入對象存儲隊列中。

進一步的，所述對數據塊進行亂序寫操作包括：

如果文件的數據塊在文件系統層中，則直接進行寫入；

如果文件的數據塊在對象存儲中，則將所述數據塊從對象存儲中讀取并存儲到文件系統中，再進行覆蓋寫入。

進一步的，所述根據操作指令將多個數據塊按預設順序拼成文件包括：

如果文件數據塊在對象存儲中且未過期，則用于拼接文件；

如果文件數據塊在文件系統層完成覆蓋寫入，則將文件數據塊重新上傳到對象存儲中；

如果文件數據塊在對象存儲中但已過期，則從對象存儲中按偏移讀取數據塊，并將所述數據塊下載到文件系統，再重新上傳形成數據塊。

進一步的，還包括：

在文件系統層中，進行文件亂序讀操作時，如果文件在文件系統中，則直接從文件系統讀取數據塊形成文件。

一種文件存儲系統，包括：

處理模塊：用于在文件系統層，將文件進行分塊形成多個數據塊，對數據塊進行亂序寫操作；

同步模塊，用于將數據塊同步到對象存儲隊列，如果數據塊的數據發生變化，則在對象存儲隊列增加任務，按第一預設周期循環執行對象存儲隊列內的任務；

拼接模塊，用于在對象存儲層，根據操作指令將多個數據塊按預設順序拼接成文件；