[發明專利]一種基于分布式文件存儲系統的文件上傳方法及系統

在審

• 申請號: 201710767793.3
• 申請日: 2017-08-31
• 公開（公告）號: CN107508897A
• 公開（公告）日: 2017-12-22
• 發明（設計）人: 黃奕能
• 申請（專利權）人: 深圳市豐巢科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 廣東良馬律師事務所44395
• 代理人: 馬戎

技術領域

本發明涉及分布式文件上傳技術領域，尤其涉及一種基于分布式文件存儲系統的文件上傳方法及系統。

背景技術

隨著互聯網的快速發展，網絡信息數據量越來越大，企業儲存海量數據的需求變得更加重要。傳統意義的文件系統由于磁盤空間不足、處理能力有限等已經不能滿足現有應用的大容量、高可靠性、高性能、易擴展等要求。近幾年分布式文件系統快速發展，如：GFS、HDFS、Lustre、Ceph、GridFS、mogileFS、TFS、FastDFS等，傳統意義的文件系統的各種瓶頸在相當程度上得到了解決。

FastDFS是為互聯網應用量身定做的一套分布式文件存儲系統，具有高可用、高性能、冗余備份、負載均衡、線性擴容等特點。FastDFS采用了分組存儲分式，不對文件進行分塊存儲，非常適合用來存儲用戶圖片、視頻、文檔等文件。對于互聯網應用，和其他分布式文件系統相比，優勢非常明顯。

雖然分布式文件存儲系統解決了高性能已擴展的文件存儲問題，但該文件存儲系統也不可避免的會遇到文件上傳失敗的問題，但現有技術中并沒有針對此問題的解決方案。

因此，現有技術還有待于改進和發展。

發明內容

鑒于上述現有技術的不足，本發明的目的在于提供一種基于分布式文件存儲系統的文件上傳方法及系統，旨在解決文件存儲系統中文件上傳失敗無法解決的問題。

本發明的技術方案如下：

一種基于分布式文件存儲系統的文件上傳方法，其中，包括步驟：

A、將目標文件上傳到分布式文件存儲系統；

B、對成功上傳到分布式文件存儲系統的目標文件進行檢測，判斷所上傳的目標文件是否完整；

C、若所上傳的目標文件不完整，則調用本地重試機制重新上傳。

所述的基于分布式文件存儲系統的文件上傳方法，其中，所述步驟C之后還包括：

D、若在指定次數內仍無法上傳完整的目標文件，則發出告警并將對應目標文件的上傳狀態寫入數據庫中。

所述的基于分布式文件存儲系統的文件上傳方法，其中，所述步驟B具體包括：

B1、將目標文件的文件信息推送到kafka隊列中；

B2、定時獲取所述kafka隊列中的文件信息；

B3、通過MD5校驗和判斷所上傳的目標文件是否完整。

所述的基于分布式文件存儲系統的文件上傳方法，其中，所述步驟A具體包括：

A1、通過客戶端將目標文件上傳到本地服務器；

A2、將本地服務器中的目標文件保存到本地硬盤；

A3、將本地硬盤中的目標文件上傳到分布式文件存儲系統。

所述的基于分布式文件存儲系統的文件上傳方法，其中，所述步驟A之后、B之前還包括：

若目標文件上傳不成功，則調用本地重試機制重新上傳。

一種基于分布式文件存儲系統的文件上傳系統，其中，包括：

上傳模塊，用于將目標文件上傳到分布式文件存儲系統；

檢測模塊，用于對成功上傳到分布式文件存儲系統的目標文件進行檢測，判斷所上傳的目標文件是否完整；

重傳模塊，用于若所上傳的目標文件不完整，則調用本地重試機制重新上傳。

所述的基于分布式文件存儲系統的文件上傳系統，其中，還包括：

告警模塊，用于若在指定次數內仍無法上傳完整的目標文件，則發出告警并將對應目標文件的上傳狀態寫入數據庫中。

所述的基于分布式文件存儲系統的文件上傳系統，其中，所述檢測模塊具體包括：

推送單元，用于將目標文件的文件信息推送到kafka隊列中；

獲取單元，用于定時獲取所述kafka隊列中的文件信息；

檢測單元，用于通過MD5校驗和判斷所上傳的目標文件是否完整。

所述的基于分布式文件存儲系統的文件上傳系統，其中，所述上傳模塊具體包括：

本地上傳單元，用于通過客戶端將目標文件上傳到本地服務器；

保存單元，用于將本地服務器中的目標文件保存到本地硬盤；

文件上傳單元，用于將本地硬盤中的目標文件上傳到分布式文件存儲系統。

所述的基于分布式文件存儲系統的文件上傳系統，其中，所述重傳模塊還用于：

若目標文件上傳不成功，則調用本地重試機制重新上傳。

有益效果：本發明對目標文件進行完整性檢測，解決了上傳文件不完整的問題；并通過重試機制，進行重新上傳，確保上傳成功完整的目標文件。

附圖說明