[發明專利]用于第三代基因測序數據的讀寫方法及分布式文件系統

在審

• 申請號: 202110578909.5
• 申請日: 2021-05-26
• 公開（公告）號: CN113192558A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 寧建峰;寧建強;戈素梅;李寧寧;劉政委
• 申請（專利權）人: 北京自由貓科技有限公司;北京樂訊科技有限公司
• 主分類號: G16B20/30
• 分類號: G16B20/30;G06F16/27
• 代理公司: 北京信諾創成知識產權代理有限公司 11728
• 代理人: 任萬玲;楊仁波

本申請提供一種用于第三代基因測序數據的讀寫方法及分布式文件系統，其中的方法包括：將硬盤存儲空間劃分為多個數據存儲池，接收到數據寫入請求后，依序將寫入數據存儲至所述數據存儲池中，其中一個數據存儲池被寫滿后切換至下一個數據存儲池。本申請的以上方案利用了基因測序類應用數據的特點是數據寫入一次，后續只會讀取而不會修改，同時數據寫入是異步進行的，實時性要求不高的特點，在此基礎上，通過本申請實施例中的方案能夠至少保障基因測序類應用數據的讀取性能。

技術領域

本申請涉及信息處理技術領域，具體地，涉及一種用于第三代基因測序數據的讀寫方法及分布式文件系統。

背景技術

基因測序是高性能計算的一類典型應用，目前第三代基因測序技術已經逐步變為主流的測序技術?；驕y序系統為標準的高性能計算集群，系統架構如圖1所示，整個系統包括計算節點集群和分布式文件系統，計算節點集群包括n個計算節點j1，j2……jn，分布式文件系統包括i個存儲服務器f1，f2……fi，計算節點和存儲服務器通過m臺交換機h1……hm網絡連接。

第三代基因測序系統對分布式文件系統主要有幾點需求：首先，第三代基因測序運行過程中需要對基因文件進行大量的隨機數據抽取，因此要求分布式文件系統的隨機讀延遲較低；其次，第三代基因測序運行的同時，會有大量的新數據錄入，因此要求分布式文件系統在保證隨機讀延遲較低的同時，還需要提供較高的寫入帶寬；再次，第三代基因測序在計算時，會所有計算節點并行，因此要求分布式文件系統對各個計算節點提供的性能表現一致，不會出現部分節點快、部分節點慢的情形。

目前的分布式文件系統，基本定位為通用文件系統，通?；诒镜匚募到y來管理硬盤上的數據,應對第三代基因測序有幾個問題：第一，本地文件系統構建在機械硬盤上，由于本地文件系統的元數據訪問硬盤次數較多，因此隨機讀訪問性能不高；第二，當讀和寫混合時，由于數據寫入的時候會先放置到緩存中，積攢到一定的量之后，集中回刷到硬盤上，短時間內的大量寫入會對硬盤的讀取產生非常大的影響，造成讀延遲不可控；第三，當計算節點較多時，會出現計算節點能力遠超過存儲集群能力的情況，存儲服務會采用簡單的流控機制，對存儲服務無法承接的請求直接拒絕，由計算節點進行重試直到成功，這樣帶來的問題是重試有可能繼續被拒絕，從而使得訪問延遲不可控。

為此，需要對現有分布式文件系統進行改進。

發明內容

本申請實施例旨在提供一種用于第三代基因測序數據的讀寫方法及分布式文件，以解決現有技術中第三代基因測序數據讀寫過程中存在的讀寫效率低的問題。

為實現上述發明目的，本申請一些實施例中提供一種用于第三代基因測序數據的讀寫方法，包括如下步驟：

將硬盤存儲空間劃分為多個數據存儲池；

接收到數據寫入請求后，依序將寫入數據存儲至所述數據存儲池中，其中一個數據存儲池被寫滿后切換至下一個數據存儲池。

本申請一些實施例中的用于第三代基因測序數據的讀寫方法，還包括如下步驟：

接收到數據讀取請求后，若被請求數據所在的數據存儲池為寫滿狀態，則直接讀取所述被請求數據。

本申請一些實施例中的用于第三代基因測序數據的讀寫方法，還包括如下步驟：

接收到數據修復請求后，確定更新后的硬盤存儲空間；

將寫入的修復數據存儲至所述更新后的硬盤存儲空間中。

本申請一些實施例中的用于第三代基因測序數據的讀寫方法，還包括如下步驟：

檢測到系統掛載信號后，掃描硬盤存儲空間中的數據檢索信息，所述數據檢索信息包括數據存儲目錄項和數據索引節點；將所述數據檢索信息緩存至系統內存中；