[發(fā)明專利]數(shù)據(jù)服務(wù)方法及裝置

在審

• 申請?zhí)枺?/td>: 202111166566.8
• 申請日: 2021-09-30
• 公開（公告）號: CN114201474A
• 公開（公告）日: 2022-03-18
• 發(fā)明（設(shè)計）人: 羅慶超
• 申請（專利權(quán)）人: 阿里云計算有限公司;阿里巴巴（中國）有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/16;H04L61/4511
• 代理公司: 北京展翼知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11452
• 代理人: 屠長存

公開了一種數(shù)據(jù)服務(wù)方法及裝置。基于文件系統(tǒng)的數(shù)據(jù)組織方式，生成待存儲數(shù)據(jù)的元數(shù)據(jù)。元數(shù)據(jù)用于描述待存儲數(shù)據(jù)在對象存儲服務(wù)中的對象名。調(diào)用對象存儲服務(wù)存儲待存儲數(shù)據(jù)。由此，可以從底層將文件系統(tǒng)和對象存儲這兩種數(shù)據(jù)存儲機(jī)制融合為一種統(tǒng)一的數(shù)據(jù)存儲機(jī)制。在兼具文件系統(tǒng)能力和對象存儲能力的同時，可以降低維護(hù)兩套數(shù)據(jù)存儲機(jī)制的成本。

技術(shù)領(lǐng)域

本公開涉及數(shù)據(jù)技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)服務(wù)方法及裝置。

背景技術(shù)

數(shù)據(jù)湖，是指使用大型二進(jìn)制對象或文件這樣的自然格式儲存數(shù)據(jù)的系統(tǒng)。它通常把所有的企業(yè)數(shù)據(jù)統(tǒng)一存儲，既包括源系統(tǒng)中的原始副本，也包括轉(zhuǎn)換后的數(shù)據(jù)，比如那些用于報表、可視化、數(shù)據(jù)分析和機(jī)器學(xué)習(xí)的數(shù)據(jù)。數(shù)據(jù)湖可以包括關(guān)系數(shù)據(jù)庫的結(jié)構(gòu)化數(shù)據(jù)(行與列)、半結(jié)構(gòu)化的數(shù)據(jù)(CSV，日志，XML，JSON)，非結(jié)構(gòu)化數(shù)據(jù)(電子郵件、文件、PDF)和二進(jìn)制數(shù)據(jù)(圖像、音頻、視頻)。

數(shù)據(jù)湖場景下，應(yīng)用希望使用對象存儲的特性，例如萬億級文件數(shù)擴(kuò)展性、Tbps級帶寬能力、數(shù)據(jù)生命周期的性價比優(yōu)勢。但數(shù)據(jù)湖場景的很多應(yīng)用早期是基于HDFS構(gòu)建，它提供諸如目錄原子操作、快照、文件追加寫(append)以及截斷(truncate)等文件系統(tǒng)類似的功能，早期應(yīng)用就像使用POSIX文件系統(tǒng)那種方式來編程。

文件系統(tǒng)采用目錄層級方式，在支持大規(guī)模文件數(shù)的擴(kuò)展性方面存在技術(shù)挑戰(zhàn)；對象存儲采用平坦名字空間，很難支持目錄原子操作、快照、文件追加寫(append)以及截斷(truncate)等文件系統(tǒng)功能。企業(yè)在基于數(shù)據(jù)湖演進(jìn)的過程中，既有基于HDFS集群搭建的(老)應(yīng)用環(huán)境，也有基于對象存儲重建的(新)應(yīng)用環(huán)境，造成兩套系統(tǒng)的運(yùn)維代價以及HDFS集群技術(shù)的成本競爭力不足的問題。

因此，需要一種能夠在兼具文件系統(tǒng)能力和對象存儲能力的同時，降低運(yùn)維成本的方案。

發(fā)明內(nèi)容

本公開要解決的一個技術(shù)問題是提供一種能夠在兼具文件系統(tǒng)能力和對象存儲能力的同時，降低運(yùn)維成本的方案。

根據(jù)本公開的第一個方面，提供了一種數(shù)據(jù)服務(wù)方法，包括：基于文件系統(tǒng)的數(shù)據(jù)組織方式，生成待存儲數(shù)據(jù)的元數(shù)據(jù)，元數(shù)據(jù)用于描述待存儲數(shù)據(jù)在對象存儲服務(wù)中的對象名；調(diào)用對象存儲服務(wù)存儲待存儲數(shù)據(jù)。

可選地，元數(shù)據(jù)包括對待存儲數(shù)據(jù)進(jìn)行切分得到的至少一個數(shù)據(jù)塊各自的地址映射信息，地址映射信息包括數(shù)據(jù)塊在對象存儲服務(wù)中的第一對象名，調(diào)用對象存儲服務(wù)存儲待存儲數(shù)據(jù)的步驟包括：調(diào)用對象存儲服務(wù)存儲數(shù)據(jù)塊作為第一對象。

可選地，該方法還包括：響應(yīng)于預(yù)設(shè)條件的觸發(fā)，調(diào)用對象存儲服務(wù)存儲待存儲數(shù)據(jù)作為第二對象；在元數(shù)據(jù)中記錄第二對象在對象存儲服務(wù)中的第二對象名。

可選地，第一對象名用于表征數(shù)據(jù)塊所在的對象存儲桶以及數(shù)據(jù)塊的前綴，并且/或者第二對象名用于表征待存儲數(shù)據(jù)的絕對路徑。

可選地，該方法還包括：配置第一域名和第二域名，第一域名為用于為用戶提供數(shù)據(jù)服務(wù)的文件服務(wù)系統(tǒng)的訪問域名，第二域名為文件服務(wù)系統(tǒng)關(guān)聯(lián)的對象存儲桶的域名

根據(jù)本公開的第二個方面，提供了一種數(shù)據(jù)服務(wù)方法，包括：響應(yīng)于文件服務(wù)系統(tǒng)創(chuàng)建請求，生成文件服務(wù)系統(tǒng)元數(shù)據(jù)；調(diào)用對象存儲服務(wù)設(shè)置文件服務(wù)系統(tǒng)關(guān)聯(lián)的對象存儲桶；將至少部分文件服務(wù)系統(tǒng)元數(shù)據(jù)傳入對象存儲桶，以在對象存儲桶中生成能夠表征文件服務(wù)系統(tǒng)和對象存儲桶之間的關(guān)聯(lián)關(guān)系的對象存儲服務(wù)元數(shù)據(jù)；更新文件服務(wù)系統(tǒng)元數(shù)據(jù)，以使得更新后的文件服務(wù)系統(tǒng)元數(shù)據(jù)能夠表征文件服務(wù)系統(tǒng)和對象存儲桶之間的關(guān)聯(lián)關(guān)系。

可選地，該方法還包括：配置第一域名和第二域名，第一域名為文件服務(wù)系統(tǒng)的訪問域名，第二域名為文件服務(wù)系統(tǒng)關(guān)聯(lián)的對象存儲桶的域名。