[發明專利]適用于分布式文件系統的文件隨機寫方法及系統

有效

• 申請號: 201910973982.5
• 申請日: 2019-10-14
• 公開（公告）號: CN110795407B
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 沈晨;杜真真;王敬平;黃子君;徐文遠;周潔;褚少鶴
• 申請（專利權）人: 華東計算技術研究所（中國電子科技集團公司第三十二研究所）
• 主分類號: G06F16/172
• 分類號: G06F16/172;G06F16/182
• 代理公司: 上海段和段律師事務所 31334
• 代理人: 李佳俊;郭國中

本發明提供了一種適用于分布式文件系統的文件隨機寫方法及系統，包括：步驟1:將HDFS的寫接口更新成支持隨機寫模式，使隨機寫操作僅影響直接修改的塊或者有限的相鄰塊；步驟2：擴展HDFS數據傳輸協議，使客戶端可訪問任意的數據分塊；步驟3：更新服務端數據包處理、更新校驗值計算，獲取數據副本更新、校驗值更新。本發明中，存儲于分布式文件系統的文件在更新數據內容時，只會影響當前數據分塊及相鄰的數據分塊，而不會像原生HDFS需將整個文件寫回，造成大量不必要的數據傳輸，本發明有效的減少了數據傳輸和移動，緩解網絡帶寬壓力，降低客戶端和服務端的處理資源消耗。

技術領域

本發明涉及分布式存儲領域，具體地，涉及一種適用于分布式文件系統的文件隨機寫方法及系統。

背景技術

分布式文件存儲系統受傳統的磁盤文件系統所影響，多數采用固定大小的數據分塊來組織和管理文件。當前流行的分布式文件系統HDFS(Hadoop Distributed FileSystem)和GFS(Google File System)都是將大文件分割成固定大小的塊進行存儲，通常是64MB。這些文件在創建后，大部分都是追加寫到文件尾部，幾乎不涉及隨機寫操作。這種固定長度的分塊設計不適合隨機寫，寫入開銷大且性能差。但通常用戶約有25％的文件操作是進行隨機寫。針對上述現狀，提出一種基于HDFS的文件隨機寫方法，能對存儲于分布式文件系統中的文件進行任意位置的數據寫入。

專利文獻CN106027647B公開了一種LXPFS集群分布式文件存儲系統，采用LXPFS集群給應用提供訪問方法，通過封裝好的JS API訪問LXPFS中的文件；訪問LXPFS文件的方式分為三種：讀、寫和刪除；在前端實現訪問LXPFS文件的組件，在Web應用開發中只需生成一個組件，調用相應的接口就能實現訪問；系統采用主從模式架構，由一個Dispatchnode和一個及以上的Tasknode組成；Dispatchnode是一個controller服務器，負責調配所有文件的存儲以及處理并轉發客戶端的請求，負責管理它所在節點上的存儲和響應客戶端的請求；上傳文件是將數據寫入Tasknode中，下載文件則是讀取Tasknode文件數據。該專利并不具有適用于分布式文件系統的文件隨機寫方法。

發明內容

針對現有技術中的缺陷，本發明的目的是提供一種適用于分布式文件系統的文件隨機寫方法及系統。

根據本發明提供的一種適用于分布式文件系統的文件隨機寫方法，包括：步驟1:將HDFS的寫接口更新成支持隨機寫模式，使隨機寫操作僅影響直接修改的塊或者有限的相鄰塊；步驟2：擴展HDFS數據傳輸協議，使客戶端可訪問任意的數據分塊；步驟3：更新服務端數據包處理、更新校驗值計算，獲取數據副本更新、校驗值更新。

優選地，所述步驟1包括：步驟1.1：在DFSOutputStream類中，增加文件偏移方法seek，傳入文件偏移量offset，并在方法中調用刷新或關閉當前數據管道中數據節點的連接；步驟1.2：新增成員變量positonCurBlock用于記錄當前數據塊中的偏移量；步驟1.3：新增成員變量curFileOffset用于記錄當前文件中的偏移量；步驟1.4：在seek方法中，根據傳入的文件偏移量offset和當前文件偏移量curFileOffset判斷是否屬于同一個數據塊，即curFileOffset/blockSize是否等于offset/blockSize，獲取同數據塊判斷結果信息或者不同數據塊結果判斷信息；步驟1.5：根據同數據塊判斷結果信息，調用flushBuffer刷新數據，然后更新bytesCurBlock變量，記錄下個數據包在數據塊的偏移值；步驟1.6：調用endBlock關閉客戶端與當前數據節點的通信連接。