[發明專利]一種基于對象存儲的大型數據云存儲方法

有效

• 申請號: 201710146689.2
• 申請日: 2017-03-13
• 公開（公告）號: CN106991134B
• 公開（公告）日: 2019-04-05
• 發明（設計）人: 李根;宋卓;馮博倫;王振國
• 申請（專利權）人: 人和未來生物科技（長沙）有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/182;G16B50/30;H04L29/08
• 代理公司: 湖南兆弘專利事務所(普通合伙) 43008
• 代理人: 譚武藝

1.一種基于對象存儲的大型數據云存儲方法，其特征在于實施步驟包括：

1）客戶端讀取待存儲大型數據文件，將讀出的文件流形成至少一種數據子流，分別在內存中不斷累積數據子流的數據形成指定大小的數據塊，一邊將數據塊及其描述信息壓縮并形成輸出實例，一邊將輸出實例發送給云平臺，所述描述信息包括數據塊所屬的數據子流信息、數據塊大小及數據塊編號；

2）云平臺首先基于對象建立包含塊容器對象的根容器對象，然后一邊接收客戶端發送的輸出實例，一邊將接收到的輸出實例分別作為對象保存到對應的根容器對象中，且各個數據子流的輸出實例分別保存在一個以上的塊容器對象中；

步驟2）的詳細步驟包括：

2.1）云平臺接收客戶端針對待存儲大型數據文件發送的輸出實例，首先基于對象存儲建立一個根容器對象，在所述根容器對象下嵌套至少一個用于支持單獨解壓隨機讀取的塊容器對象，每一個塊容器對象下嵌套和數據子流種類一一對應的子容器對象，每一個根容器對象、塊容器對象、子容器對象在云平臺中分別用一個對象存儲，所述根容器對象、塊容器對象、子容器對象三者均內容為空、元數據存儲在云平臺的元數據對象中，且根容器對象的名稱包含壓縮文件的文件路徑，塊容器對象的元數據中包含了隸屬根容器對象的信息，子容器對象的元數據中包含了隸屬塊容器對象的信息，使得根容器對象、塊容器對象、子容器對象形成呈樹狀組織結構的容器子系統；

2.2）云平臺將接收到的輸出實例分別作為對象保存到對應的根容器對象中，且各個數據子流的輸出實例分別保存在一個以上的塊容器對象中。

2.根據權利要求1所述的基于對象存儲的大型數據云存儲方法，其特征在于，步驟1）中在內存中不斷累積數據子流的數據形成指定大小的數據塊為固定大小的數據塊；步驟1）中將數據塊及描述信息壓縮并形成輸出實例的詳細步驟包括：將數據塊按照數據域細分，針對不同的數據域調用指定的編碼器或者編碼器組合來進行壓縮，最終將壓縮結果按照固定大小進行分割，得到至少一個固定大小的輸出實例。

3.根據權利要求1所述的基于對象存儲的大型數據云存儲方法，其特征在于：步驟1）中將讀出的文件流形成至少一種數據子流后，針對各個數據子流在內存中不斷累積數據子流的數據形成固定大小的數據塊、將各個數據子流的數據塊及描述信息壓縮并形成輸出實例、將各個數據子流的輸出實例發送給云平臺均為并發執行。

4.根據權利要求1所述的基于對象存儲的大型數據云存儲方法，其特征在于：步驟1）中將輸出實例發送給云平臺時，客戶端采用管道/過濾器模式進行發送，使得客戶端和云平臺之間各個管道的輸入流與和輸出流保持同步。

5.根據權利要求1所述的基于對象存儲的大型數據云存儲方法，其特征在于，步驟1）中的待存儲大型數據文件具體是指FASTQ文件，步驟1）中將讀出的文件流形成至少一種數據子流具體是指將讀出的文件流形成元數據流、堿基序列流、質量分數流三種數據子流。

6.根據權利要求1所述的基于對象存儲的大型數據云存儲方法，其特征在于：步驟2.2）中還包括通過輸出實例的元數據存儲輸出實例在待存儲大型數據文件中的行號，且所述輸出實例的描述信息還包括對應數據塊的行號信息。