[發明專利]基于FUSE文件系統和NFS協議的數據傳輸方法及裝置

在審

• 申請號: 202010598868.1
• 申請日: 2020-06-28
• 公開（公告）號: CN111767257A
• 公開（公告）日: 2020-10-13
• 發明（設計）人: 程茂;張旭明;王豪邁;胥昕
• 申請（專利權）人: 星辰天合（北京）數據科技有限公司
• 主分類號: G06F16/172
• 分類號: G06F16/172;G06F16/182;H04L29/08
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 董文倩

本發明公開了一種基于FUSE文件系統和NFS協議的數據傳輸方法及裝置。其中，該方法包括：通過網絡文件系統NFS的服務端調用操作系統的直接輸入輸出IO功能；接收待傳輸文件，其中，待傳輸文件包括直接IO功能的標識；通過直接IO功能直接將待傳輸文件寫入基于用戶空間文件系統FUSE的目標文件系統。本發明解決了相關技術中客戶端在對服務器進行讀寫數據時，在服務器端，需經過頁高速緩存，導致影響讀寫數據的并發，導致效率較低的技術問題。

技術領域

本發明涉及數據處理領域，具體而言，涉及一種基于FUSE文件系統和NFS協議的數據傳輸方法及裝置。

背景技術

相關技術中，通過FUSE和NFS進行數據傳輸時，為了數據安全，每次的write操作，都會額外觸發一個fsync操作，而POSIX協議中要求file-system在實現fsync時，必須對文件加鎖；導致所有的write請求最后都在fsync這里變成了串行，嚴重影響了write的并發，導致在多線程write時性能損失嚴重。

針對上述的問題，目前尚未提出有效的解決方案。

發明內容

本發明實施例提供了一種基于FUSE文件系統和NFS協議的數據傳輸方法及裝置，以至少解決相關技術中客戶端在對服務器進行讀寫數據時，在服務器端，需經過頁高速緩存，導致影響讀寫數據的并發，導致效率較低的技術問題。

根據本發明實施例的一個方面，提供了一種基于FUSE文件系統和NFS協議的數據傳輸方法，包括：通過網絡文件系統NFS的服務端調用操作系統的直接輸入輸出IO功能；接收待傳輸文件，其中，所述待傳輸文件包括所述直接IO功能的標識；通過所述直接IO功能直接將所述待傳輸文件寫入基于用戶空間文件系統FUSE的目標文件系統。

可選的，通過所述NFS的服務端調用操作系統的直接IO功能之前，包括：通過所述NFS的客戶端接收客戶端設備通過第一虛擬文件系統VFS發送的所述待傳輸文件；通過遠程過程調用EPC和互聯網，將所述NFS的客戶端接收的所述待傳輸文件轉發至所述NFS的服務端。

可選的，接收待傳輸文件包括：通過所述NFS的服務端接收所述待傳輸文件；通過第二虛擬文件系統VFS將所述NFS的服務端接收的待傳輸文件發送給所述FUSE；通過所述FUSE接收所述待傳輸文件。

可選的，通過所述直接IO功能直接將所述待傳輸文件寫入基于用戶空間文件系統FUSE的目標文件系統包括：通過所述FUSE將所述待傳輸文件，利用直接IO功能，直接寫入到所述目標文件系統。

可選的，通過所述NFS的服務端調用操作系統的直接IO功能包括：通過所述NFS根據需求修改調用文件，調用所述直接IO功能。

可選的，通過所述直接IO功能直接將所述待傳輸文件寫入基于用戶空間文件系統FUSE的目標文件系統之前，還包括：確定所述直接IO功能是否開啟；在所述直接IO功能開啟的情況下，執行通過所述直接IO功能直接將所述待傳輸文件寫入基于用戶空間文件系統FUSE的目標文件系統的步驟；在所述直接IO功能未開啟的情況下，調用所述FUSE的接口；通過所述接口將所述待傳輸文件寫入頁高速緩存；通過所述頁高速緩存將所述待傳輸文件寫入所述目標文件系統。

可選的，通過所述頁高速緩存將所述待傳輸文件寫入所述目標文件系統包括：通過函數對所述待傳輸文件加鎖；將所述加鎖的待傳輸文件寫入所述目標文件系統。

根據本發明實施例的另一方面，還提供了一種基于FUSE文件系統和NFS協議的數據傳輸裝置，包括：調用模塊，用于通過網絡文件系統NFS的服務端調用操作系統的直接輸入輸出IO功能；接收模塊，用于接收待傳輸文件，其中，所述待傳輸文件包括所述直接IO功能的標識；寫入模塊，用于通過所述直接IO功能直接將所述待傳輸文件寫入基于用戶空間文件系統FUSE的目標文件系統。