[發(fā)明專利]基于對象存儲分片上傳的對象傳送及收集方法、終端設(shè)備

有效

• 申請?zhí)枺?/td>: 202110184218.7
• 申請日: 2021-02-08
• 公開（公告）號: CN112866409B
• 公開（公告）日: 2022-10-11
• 發(fā)明（設(shè)計）人: 陳堅;王東;邱尚高
• 申請（專利權(quán)）人: 深圳市杉巖數(shù)據(jù)技術(shù)有限公司
• 主分類號: H04L67/06
• 分類號: H04L67/06;H04L67/1097;G06F16/22
• 代理公司: 深圳新創(chuàng)友知識產(chǎn)權(quán)代理有限公司 44223
• 代理人: 江耀純

本發(fā)明公開了一種基于對象存儲分片上傳的對象傳送及收集方法、終端設(shè)備，該對象傳送方法包括：發(fā)送對象初始化請求，接收對象標識；將對象切分成分片，寫入數(shù)據(jù)，發(fā)送分片上傳請求；接收分片數(shù)據(jù)；發(fā)送分片上傳完成請求；發(fā)送修改對象數(shù)據(jù)請求，接收待修改分片區(qū)間，使用待修改分片區(qū)間重新上傳分片，使用新的分片數(shù)據(jù)覆蓋舊的數(shù)據(jù)，當新數(shù)據(jù)上傳完成，再次發(fā)送分片上傳完成請求。實現(xiàn)了分片上傳大對象過程中對象可見，直接以上傳新分片方式來覆蓋修改對象數(shù)據(jù)，而無需再重新上傳整個對象來更新修改，節(jié)省修改時間，節(jié)約資源，從而解決上傳過程對象不可見及修改不便的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及存儲技術(shù)領(lǐng)域，特別是涉及一種基于對象存儲分片上傳的對象傳送及收集方法、終端設(shè)備。

背景技術(shù)

伴隨著信息技術(shù)的蓬勃發(fā)展，互聯(lián)網(wǎng)數(shù)據(jù)量越來越巨大，分布式對象存儲技術(shù)應(yīng)運而生。該技術(shù)十分適用于存儲音視頻文件等非結(jié)構(gòu)化數(shù)據(jù)，同時還具備直接高效訪問磁盤以及滿足文件共享的特點。因而，不管是公有云還是私有云廠商都將對象存儲技術(shù)作為實現(xiàn)存儲產(chǎn)品的關(guān)鍵技術(shù)。

在對象存儲系統(tǒng)中，最為基本單元的對象被分為數(shù)據(jù)和元數(shù)據(jù)兩個部分，分別存儲在磁盤的不同位置。其中，用戶是通過元數(shù)據(jù)來訪問對象的。元數(shù)據(jù)也包含了兩部分內(nèi)容。一部分元數(shù)據(jù)描述了數(shù)據(jù)的屬性信息，一般包括：對象名稱、對象大小、創(chuàng)建時間、創(chuàng)建者以及用戶自定義的屬性。另一部分元數(shù)據(jù)被稱為manifest，描述了對象數(shù)據(jù)在磁盤上的位置分布。用戶通過對象的元數(shù)據(jù)信息，就可以讀取磁盤上該對象的數(shù)據(jù)。

一般而言，對象存儲系統(tǒng)支持兩種方式上傳對象至存儲系統(tǒng)，分別是整體上傳和分片上傳。整體上傳用于上傳對象比較小、上傳時間比較短的場景；分片上傳用于上傳大對象，耗時長的場景,如視頻監(jiān)控、流式日志分析等場景下，單個文件一般會比較大，而且會持續(xù)寫入一段時間，比如視頻監(jiān)控單個文件需要支持30分鐘左右的視頻流寫入，按照對象該視頻監(jiān)控數(shù)據(jù)是無法讀取的。但在視頻監(jiān)控場景，用戶有時需要回放30分鐘的數(shù)據(jù)，需要一種方法能夠讀取正在寫入的文件。然而，不管是整體上傳還是分片上傳，對象存儲系統(tǒng)都是在數(shù)據(jù)上傳完成后，才生成元數(shù)據(jù)。這就導(dǎo)致通過分片上傳大對象的過程中，由于不存在元數(shù)據(jù)，該大對象對用戶不可見。由于大對象數(shù)據(jù)部分比較大，所以用戶有可能在很長時間內(nèi)都不可見該對象。

對于存儲到對象存儲系統(tǒng)中的對象而言，如果需要修改該對象的數(shù)據(jù)，則只能通過上傳同名對象的方法來處理。該方法對于整體上傳的對象而言是可以接受的，因為通過整體上傳的對象一般數(shù)據(jù)比較小，上傳的所需要的資源也較少。但是，對于通過分片上傳的大對象來說，由于數(shù)據(jù)比較大，通過再次上傳對象，顯然不合理。因此，期望能夠直接修改對象的部分數(shù)據(jù)來實現(xiàn)對象修改的目標。

公開號為CN111835867A的專利提供了一種文件上傳方法及系統(tǒng)，本發(fā)明的方法包括如下步驟：S1、獲取文件，并將獲取的文件初始化；S2、將文件進行分割成分片，并將已上傳的分片進行過濾后，將剩余分片進行上傳；S3、將上傳后的分片進行合并成原文件。本發(fā)明的系統(tǒng)包括文件獲取模塊、文件初始化模塊、文件分片模塊、文件上傳模塊和對象存儲。本發(fā)明通過分片上傳和斷點續(xù)傳機制，利用多線程技術(shù)進行上傳，大大提高了文件的上傳速度，降低上傳時間和風險性，有效改善大文件以及超大文件的上傳體驗。

該方案的主要缺點有：

1.對象上傳過程中，無法對用戶可見；

2.對象上傳后，無法直接修改對象數(shù)據(jù)。