[發明專利]文件處理方法及裝置、傳輸設備、計算機可讀存儲介質

在審

• 申請號: 201911038715.5
• 申請日: 2019-10-29
• 公開（公告）號: CN112738150A
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 王少陽
• 申請（專利權）人: 廈門白山耘科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京名華博信知識產權代理有限公司 11453
• 代理人: 苗源

本發明公開了一種文件處理方法及裝置、傳輸設備、介質，方法包括：接收文件請求；文件請求具有分段標記時，判斷每一段請求所請求的數據范圍是否全部落入至多個邏輯存儲進程中的一個邏輯存儲進程存儲的數據范圍內，若是，確定與所請求的數據范圍對應的邏輯存儲進程；從與所請求的數據范圍對應的邏輯存儲進程中獲取所請求的數據，降低對單個后端進程CPU、磁盤IO的占用，減少磁盤空間浪費和上層節點帶寬的同時，能夠有效解決當對于單文件并發數量較多的下載請求時，造成單個后端進程CPU、磁盤IO占用量較大，服務器服務能力急劇下降的問題。

技術領域

本發明涉及互聯網技術領域，尤其涉及一種文件處理方法及裝置、傳輸設備、計算機可讀存儲介質。

背景技術

隨著VR、AR、5G等先進技術的迅速發展，用戶下載的視頻及游戲資源呈現出單個文件的體積越來越大的趨勢，某些平臺的單個游戲文件能達到300GB以上。在這樣的情況下，如果多用戶對該單個游戲文件并發下載請求時，給服務器的CPU、硬盤IO等帶來了巨大挑戰。

以一個300GB的單個文件下載過程為例，如圖1所示，在現有的構架下，包括設置在不同地點的前端負載均衡服務器，以及多個后端緩存服務器，每個后端緩存服務器中均包含多個緩存進程，該300GB的單個文件存儲在后端緩存服務器1的緩存進程2中。當多用戶對該單個文件并發下載請求時，接收到請求的前端負載均衡服務器根據url哈希值將資源分配到存儲有該單個文件的后端緩存服務器1的緩存進程2中。也就是說，在現有的構架中，根據url哈希值，客戶對相同文件的請求均落到固定的存儲有該文件的唯一一個進程中。采用上述方式存在以下缺點：

1)對于前端節點而言，對同一個文件的下載請求只能被分配到確定的一個后端節點的緩存進程中，導致該進程的CPU出現負載較大的情況，進而導致響應速度變慢；

2)由于前端節點根據url哈希值對同一個文件的下載請求只能被分配到確定的一個后端節點的緩存進程中，因此，該完整文件只能存儲一份，且只能存儲到后端緩存服務器的一個硬盤上，當多用戶對該單個文件并發下載請求時，該硬盤的IO壓力增大，引發負載突增，容易造成服務器宕機。

為了解決上述問題，當多用戶對某個單個文件并發下載請求時，如圖2所示，現有技術中通過輪詢方式將對該文件的請求分配到多個后端緩存服務器的所有進程上，實現請求分攤。這樣的處理方式導致后端緩存服務器的每一個緩存進程中都要完整存儲一份該文件，一方面，造成硬盤空間浪費嚴重；另一方面，由于每個緩存進程都需要返回上層節點拉流獲取文件，導致上層節帶寬浪費嚴重。

發明內容

為了解決上述技術問題，本發明提供了一種文件處理方法及裝置、傳輸設備、計算機可讀存儲介質，有效降低后端緩存服務器的緩存進程的CPU和硬盤IO接口占用，提高響應速度，減少硬盤空間浪費和上層節點帶寬浪費。

本發明提供了一種文件處理方法，包括：

接收文件請求；

當所述文件請求具有分段標記時，判斷所請求的數據范圍是否全部落入邏輯存儲進程中存儲的數據范圍內，若是，確定與所請求的數據范圍對應的所述邏輯存儲進程；

從與所請求的數據范圍對應的所述邏輯存儲進程中獲取所述請求所請求的數據。

上述文件處理方法還具有以下特點：所述確定與所請求的數據范圍對應的所述邏輯存儲進程包括：

根據所述請求的URL或URI確定唯一資源的特征，以及所述數據范圍的range映射值計算該請求的哈希值；

根據哈希值與所述邏輯存儲進程的對應關系，確定與所述請求對應的所述邏輯存儲進程。

上述文件處理方法還具有以下特點：當至少一段所述請求所請求的數據范圍同時落入至多個所述邏輯存儲進程中的至少兩個所述邏輯存儲進程存儲的數據范圍內時，確定存儲所述文件請求所請求的全部數據的固定存儲進程；