[發明專利]一種提升文件存儲NAS讀寫吞吐能力的方法、系統及存儲器

有效

• 申請號: 202110701856.1
• 申請日: 2021-06-23
• 公開（公告）號: CN113485978B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 谷正亮
• 申請（專利權）人: 華泰證券股份有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/172;G06F9/54
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 許婉靜

本發明公開一種提升文件存儲NAS讀寫吞吐能力的方法、系統及存儲器。所述方法包括：獲取用戶的上傳請求，通過系統標識生成待寫入NAS的路徑和唯一的文件標識ID；讀取文件流；判斷所述文件信息的大小，若文件信息的大小在設定的范圍內，則以文件標識ID為主鍵，將文件信息寫入到分布式緩存中；以文件標識ID為主鍵，設置分布式緩存中文件標識ID的過期時間；在分布式緩存中設置待處理列隊，放入文件標識ID；將文件標識ID和待寫入NAS的路徑，以及具體的文件流序列化格式后，寫入消息中間件中，最后將響應返回給用戶。解決了在高并發場景下，文件存儲NAS讀寫時延增加和偶發性寫入失敗的問題，大幅提升了文件存儲NAS的讀寫吞吐能力。

技術領域

本發明涉及分布式網絡存儲技術領域，尤其是涉及一種提升文件存儲NAS的讀寫吞吐能力的方法、系統及存儲器。

背景技術

NAS(Network?Attached?Storage)是一種分布式網絡存儲技術。它以數據為中心，將存儲設備與服務器分離，集中管理數據，大大降低成本。

NAS由存儲器件、操作系統以及文件系統組成。NAS通過網絡直連磁盤存儲陣列，將存儲設備通過標準的網絡拓撲結構以及自身專用用于數據存儲的操作系統暴露出去從而提供服務。本身采用專業化的操作系統用于網絡文件的訪問，支持NFS、CIFS、FTP、HTTP等多種協議，既能滿足標準的文件訪問，也能滿足其他特定的網絡協議。

NAS本身吞吐能力弱。在高并發場景下，NAS有明顯的讀寫時延的增加，甚至出現偶發性寫入失敗的現象，無法勝任文件的大并發讀寫能力。

經檢索發現，公開號為CN112702404A的中國發明于2021年4月23日公開了一種多控制器NAS高可用的方法和設備，該方法包括：在每個控制器中劃分出預設大小的系統資源，并使用劃分出的系統資源組成集群文件系統；將集群文件系統映射到客戶端；響應于接收到客戶端發送的數據，集群文件系統將數據進行切割并在切割后的數據中添加奇偶驗證碼；將添加奇偶驗證碼后的數據分別下刷到相應的控制器中。通過使用該發明的方案，能夠提高NAS存儲的整體IO吞吐能力，具有高可用性，控制器出現故障也無需停止前端正常業務，保障業務不中斷，數據不丟失。該發明通過劃分系統資源組成集群文件系統，在接收客戶端數據方面進行了改進，但只是在控制器中對系統資源進行預設，在高并發的狀態下，由于NAS本身的吞吐能力弱，仍會出現明顯的讀寫時延，在這種情況下，系統的可靠性也會降低。

公開號為CN108259603B的中國發明于2021年5月7日公開了一種負載均衡方法及裝置，其中，該方法包括：根據網絡附屬存儲NAS組中各個NAS服務器當前的CPU利用率和網絡吞吐量，確定每個NAS服務器在所屬NAS組中的綜合負載權重；所述綜合負載權重用于衡量所述NAS組中的各個NAS服務器當前的服務能力；根據所述每個NAS服務器在所屬NAS組中的綜合負載權重，為訪問所述NAS組的客戶端選擇NAS服務器；將選擇的所述NAS服務器的IP地址發送給所述客戶端，以便所述客戶端向選擇的所述NAS服務器發起訪問請求，提高了分布式文件系統對客戶端請求的處理效率。但是沒有考慮每個NAS服務器在數據信息寫入過程中的性能特點。由于每個NAS本身的吞吐能力較弱，在高并發的場景下，即時采用綜合負載權重選擇相對應的NAS服務器，仍然會因為NAS本身的吞吐能力限制NAS組的傳輸效率，從而存在明顯的讀寫時延的增加，甚至出現偶發性寫入失敗的現象，無法勝任文件的大并發讀寫能力。

因此，在現有技術中，網絡存儲在高并發的場景下仍然存在讀寫速度較慢的問題，同時也存在偶發性讀寫失敗的問題，需要對文件存儲NAS的讀寫吞吐能力進行提升，提高用戶的使用體驗度，同時保證數據的可靠性和安全性。

發明內容

為克服上述現有技術的不足，本發明提供一種提升文件存儲NAS讀寫吞吐能力的方法、系統及存儲器，解決了在高并發場景下，文件存儲NAS讀寫時延增加，甚至出現偶發性寫入失敗的問題，大幅提升了文件存儲NAS的讀寫吞吐能力。