[發明專利]支持異步提交的海量文件整合存儲方法及系統

有效

• 申請號: 202110233937.3
• 申請日: 2021-03-03
• 公開（公告）號: CN112905557B
• 公開（公告）日: 2023-01-24
• 發明（設計）人: 郝振石;楊朝敬;馬寧
• 申請（專利權）人: 山東兆物網絡技術股份有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/16;G06F16/17
• 代理公司: 青島發思特專利商標代理有限公司 37212
• 代理人: 劉濤

本發明涉及網絡文件存儲技術領域，具體涉及一種支持異步提交的海量文件整合存儲方法及系統。該支持異步提交的海量文件整合存儲方法包括以下步驟：S1：文件接收；S2：文件存儲；S3：文件讀取；S4：文件刪除；S5：文件清理，提供一種避免同步提交數據延時入庫，存儲空間利用率高，文件訪問刪除效率高的支持異步提交的海量文件整合存儲方法及系統。

技術領域

本發明涉及網絡文件存儲技術領域，具體涉及一種支持異步提交的海量文件整合存儲方法及系統。

背景技術

目前,常用的業務系統采用同步方式提交文件到文件存儲系統，返回分配的文件ID信息填寫到數據記錄上,再進行數據記錄的提交，采用同步文件提交方式，并發提交文件存儲效率不高，而且造成數據提交延時，無法做到實時檢索的目的。

有的文件存儲系統沒有對小文件進行整合存儲，海量小文件分散存儲，造成磁盤空間浪費嚴重、磁盤IO高，會超過操作系統文件句柄數最大限制。

而有的文件存儲系統對小文件進行了整合存儲，但大文件也采用了相同的策略，造成了在文件訪問、刪除時效率不高。

發明內容

本發明要解決的技術問題是：克服現有技術的不足，提供一種避免同步提交數據延時入庫，存儲空間利用率高，文件訪問刪除效率高的支持異步提交的海量文件整合存儲方法及系統。

本發明為解決其技術問題所采用的技術方案為：支持異步提交的海量文件整合存儲方法，通過集群訪問管理節點左右統一的對外接口，文件存儲節點通過集群訪問管理節點接收、寫入、刪除、讀取及清理文件，包括以下步驟：

S1：文件接收：集群訪問管理節點接收業務系統提交的文件，根據提交模式進行相應處理，分配對應的文件存儲節點，并將分配的有關存儲信息返回至業務系統；

S2：文件存儲：判斷要存儲的文件是大文件還是小文件，計算相應存儲路徑，進行文件存儲；

S3：文件讀取：接收讀取文件請求信息，找到對應的文件存儲節點，讀取相應文件；

S4：文件刪除：接收刪除文件請求，找對對應的文件存儲節點，根據刪除文件的類型進行相應刪除清理處理；

S5：文件清理：對存儲文件進行定期清理，騰出存儲空間。

業務系統判斷根據用戶配置模式，判斷文件為同步提交模式還是異步提交模式，若為同步提交模式則業務系統直接提交文件至集群訪問管理節點，否則業務系統計算文件md5值、大小等生成文件ID信息串，具體包括md5值、文件大小、文件類型、時間、用戶等，然后提交文件至集群訪問管理節點。步驟S1包括以下子步驟：

S1-1：同步提交模式下，文件接收代理模塊接收上傳的文件，計算文件md5值、大小等生成文件ID信息串，具體包括md5值、文件大小、文件類型、時間、用戶等；

文件存儲節點路由模塊根據文件ID信息串進行文件存儲節點地址分配，提交文件到文件存儲節點，然后返回文件ID信息串及文件存儲節點信息至業務系統，業務系統接收信息填寫文件ID信息串、文件存儲節點信息到數據記錄進行入庫。

S1-2：異步提交模式下，文件接收代理模塊接收上傳的文件及文件ID信息串等信息；

文件存儲節點路由模塊根據文件ID信息串進行分配文件存儲節點，由另外線程進行異步提交文件到文件存儲節點，然后返回文件ID信息串及文件存儲節點信息至業務系統，業務系統接收信息填寫文件ID信息串、文件存儲節點信息到數據記錄進行入庫。

步驟S2包括以下子步驟：

S2-1：文件接收模塊接收文件及ID信息串，如md5值、文件大小、類型、用戶、提交時間等；