[發明專利]基于Ceph對象存儲整體上傳分段校驗的實現方法

有效

• 申請號: 202010047926.1
• 申請日: 2020-01-16
• 公開（公告）號: CN111274616B
• 公開（公告）日: 2023-06-02
• 發明（設計）人: 張波;謝赟;韓欣;孫卓峰
• 申請（專利權）人: 上海德拓信息技術股份有限公司
• 主分類號: G06F21/78
• 分類號: G06F21/78
• 代理公司: 上海灣谷知識產權代理事務所(普通合伙) 31289
• 代理人: 倪繼祖

本發明公開了一種基于Ceph對象存儲整體上傳分段校驗的實現方法，包括：客戶端發送整體上傳請求，對象存儲系統將用戶文件存入各個劃分的rados對象，計算各個rados對象的數據的md5值，并存入各rados對象的擴展屬性RGW_ATTR_MD5中，根據各rados對象的md5值計算用戶文件的etag值；客戶端發送modify請求，對象存儲系統根據modify請求的請求參數找到需要修改的rados對象，并重新計算md5值，根據各rados對象的md5值計算用戶文件的etag值。本發明在modify某個文件的部分數據后，能快速高效的更新整個文件etag，使得文件etag相關功能繼續生效，確保數據的安全性，提升業務效率。

技術領域

本發明涉及對象存儲系統領域，尤其涉及基于Ceph(一種為優秀的性能、可靠性和可擴展性而設計的統一的、分布式文件系統)對象存儲整體上傳分段校驗的實現方法。

背景技術

對象存儲綜合了NAS(網絡附加存儲)和SAN(存儲區域網絡的優點)，同時具有SAN的高速直接訪問和NAS的數據共享等優勢，提供了高可靠性、跨平臺性以及安全的數據共享的存儲體系結構。相對于傳統的文件系統存儲，對象存儲摒棄了文件系統復雜的語義和目錄設計，通過扁平化的Key-Value(鍵值對)方式進行數據存儲，大大簡化了元數據管理的復雜度，幾乎不存在存儲容量上的技術限制。隨著大數據、云計算、物理網以及5G等新技術的發展，電信、互聯網、政企、醫療等行業應用的日新月異，帶來的海量數據快速增長對傳統的存儲系統造成諸多挑戰，對象存儲作為新興的存儲技術更加適用于當今各行各業的海量數據存儲，特別是大數據行業的應用場景。

在媒體應用場景，對象存儲成為了熱點音視頻文件的主流存儲方式，經常需要對音頻，視頻文件進行邊讀取，邊編輯的方式處理數據。有些情況也需要修改部分數據，當修改一個較大的整體上傳的文件時，由于數據被修改，導致etag(實體標簽)和數據的本身不一致，同時由于數據量較大，重新計算文件的etag比較耗時，并可能影響業務。所以在當前我們modify(修改)后的整體上傳的文件，將失去etag相關的功能，數據安全得不到有效的保障。為了迎合市場不斷的變化和需求，加強市場競爭力，需要基于Ceph對象存儲整體上傳設計一種分段校驗的實現方法。

發明內容

本發明的目的在于提供一種基于Ceph對象存儲整體上傳分段校驗的實現方法，在modify某個文件(整體上傳)的部分數據后，能快速高效的更新整個文件etag，使得文件etag相關功能繼續生效，確保數據的安全性，提升業務效率。

實現上述目的的技術方案是：

一種基于Ceph對象存儲整體上傳分段校驗的實現方法，包括：

步驟一、客戶端發送整體上傳請求到對象存儲系統，對象存儲系統將用戶文件按處理邏輯分別存入各個劃分的rados對象(Reliable,Autonomic,DistributedObjectStore，即可靠的、自動化的、分布式的對象存儲。Ceph的本質是對象存儲)，計算各個rados對象的數據的md5(Message-Digest?Algorithm?5，一種被廣泛使用的密碼散列函數)值，并存入各rados對象的擴展屬性RGW_ATTR_MD5中，根據各rados對象的擴展屬性RGW_ATTR_MD5中各rados對象的md5值計算用戶文件的etag值；

步驟二、客戶端發送modify請求到對象存儲系統，對象存儲系統根據modify請求的請求參數找到需要修改的rados對象，并重新計算modify請求所涉及的rados對象的md5值，修改完畢后，根據各rados對象的擴展屬性RGW_ATTR_MD5中各rados對象的md5值計算用戶文件的etag值。

優選的，客戶端和對象存儲系統之間通過(RESTFUL是一種網絡應用程序的設計風格和開發方式，基于HTTP，可以使用XML格式定義或JSON格式定義)API(應用程序接口)接口進行數據交互。

優選的，所述步驟一，包括：