[發(fā)明專利]一種數(shù)據(jù)加載方法、裝置及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201610799125.4
• 申請日: 2016-08-31
• 公開（公告）號: CN107784039A
• 公開（公告）日: 2018-03-09
• 發(fā)明（設(shè)計）人: 程亦超
• 申請（專利權(quán)）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京潤澤恒知識產(chǎn)權(quán)代理有限公司11319
• 代理人: 蘇培華

1.一種數(shù)據(jù)加載系統(tǒng)，其特征在于，包括至少一個數(shù)據(jù)源、數(shù)據(jù)加載裝置和多個目的加載端；

所述數(shù)據(jù)加載裝置，用于從至少一個數(shù)據(jù)源抽取源數(shù)據(jù)，并對所述源數(shù)據(jù)進行預(yù)設(shè)處理得到待加載數(shù)據(jù)；按照待加載數(shù)據(jù)的至少一種數(shù)據(jù)屬性，將所述待加載數(shù)據(jù)劃分為歸屬不同目的加載端的多個待加載數(shù)據(jù)塊；控制待加載數(shù)據(jù)塊加載至所歸屬的目的加載端。

2.一種數(shù)據(jù)加載方法，其特征在于，包括：

從至少一個數(shù)據(jù)源抽取源數(shù)據(jù)，并對所述源數(shù)據(jù)進行預(yù)設(shè)處理得到待加載數(shù)據(jù)；

按照待加載數(shù)據(jù)的至少一種數(shù)據(jù)屬性，將所述待加載數(shù)據(jù)劃分為歸屬不同目的加載端的多個待加載數(shù)據(jù)塊；

控制待加載數(shù)據(jù)塊加載至所歸屬的目的加載端。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述從至少一個數(shù)據(jù)源抽取源數(shù)據(jù)包括：

從多個數(shù)據(jù)源抽取混合源數(shù)據(jù)，所述數(shù)據(jù)源包括業(yè)務(wù)系統(tǒng)、系統(tǒng)模塊或應(yīng)用程序。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述對所述源數(shù)據(jù)進行預(yù)設(shè)處理得到待加載數(shù)據(jù)包括：

將所述混合源數(shù)據(jù)按照所攜帶的數(shù)據(jù)源標識劃分為多個源數(shù)據(jù)；

查找針對各個源數(shù)據(jù)對應(yīng)的數(shù)據(jù)源的處理策略；

按照查找的處理策略對各個源數(shù)據(jù)進行預(yù)設(shè)處理，所述預(yù)設(shè)處理包括數(shù)據(jù)清洗和數(shù)據(jù)轉(zhuǎn)換。

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述按照待加載數(shù)據(jù)的至少一種數(shù)據(jù)屬性，將所述待加載數(shù)據(jù)劃分為歸屬不同目的加載端的多個待加載數(shù)據(jù)塊包括：

在加載端路由表中查找所述待加載數(shù)據(jù)的所述至少一種數(shù)據(jù)屬性對應(yīng)的目的加載端；

將所述待加載數(shù)據(jù)劃分為歸屬不同目的加載端的多個待加載數(shù)據(jù)塊。

6.根據(jù)權(quán)利要求2所述的方法，其特征在于，在所述按照待加載數(shù)據(jù)的至少一種數(shù)據(jù)屬性，將所述待加載數(shù)據(jù)劃分為歸屬不同目的加載端的多個待加載數(shù)據(jù)塊之前，所述方法還包括：

解析所述待加載數(shù)據(jù)的設(shè)定內(nèi)容得到所述待加載數(shù)據(jù)的至少一種數(shù)據(jù)屬性，所述數(shù)據(jù)屬性包括時間信息、數(shù)據(jù)源信息或數(shù)據(jù)業(yè)務(wù)類型。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述解析所述待加載數(shù)據(jù)的設(shè)定內(nèi)容得到所述待加載數(shù)據(jù)的至少一種數(shù)據(jù)屬性包括：

通過對所述待加載數(shù)據(jù)的設(shè)定內(nèi)容進行規(guī)則匹配，從所述待加載數(shù)據(jù)的設(shè)定內(nèi)容中提取至少一種數(shù)據(jù)屬性。

8.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述解析所述待加載數(shù)據(jù)的設(shè)定內(nèi)容得到所述待加載數(shù)據(jù)的至少一種數(shù)據(jù)屬性包括：

通過對所述待加載數(shù)據(jù)中的設(shè)定內(nèi)容進行切分，得到所述待加載數(shù)據(jù)的至少一種數(shù)據(jù)屬性。

9.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述方法還包括：

接收用戶通過設(shè)定接口預(yù)先選擇的設(shè)定內(nèi)容。

10.根據(jù)權(quán)利要求2所述的方法，其特征在于，在所述對所述源數(shù)據(jù)進行預(yù)設(shè)處理得到待加載數(shù)據(jù)之前，所述方法還包括：

生成對應(yīng)所抽取源數(shù)據(jù)的源數(shù)據(jù)加載任務(wù)，并添加至第一任務(wù)隊列；

按照設(shè)定的第一處理順序規(guī)則，從所述第一任務(wù)隊列提取待處理的源數(shù)據(jù)加載任務(wù)。

11.根據(jù)權(quán)利要求10所述的方法，其特征在于，在所述按照待加載數(shù)據(jù)的至少一種數(shù)據(jù)屬性，將所述待加載數(shù)據(jù)劃分為歸屬不同目的加載端的多個待加載數(shù)據(jù)塊之后，所述方法還包括：

針對各待加載數(shù)據(jù)塊，生成對應(yīng)所述待加載數(shù)據(jù)塊的數(shù)據(jù)塊加載任務(wù)，并添加至針對待加載數(shù)據(jù)塊對應(yīng)的目的加載端預(yù)置的第二任務(wù)隊列。

12.根據(jù)權(quán)利要求11所述的方法，其特征在于，所述控制各待加載數(shù)據(jù)塊加載至所歸屬的目的加載端包括：

針對各第二任務(wù)隊列，按照設(shè)定的第二處理順序規(guī)則，從所述第二任務(wù)隊列提取數(shù)據(jù)塊加載任務(wù)；

執(zhí)行所述數(shù)據(jù)塊加載任務(wù)以將待加載數(shù)據(jù)塊加載至所歸屬的目的加載端。

13.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述控制待加載數(shù)據(jù)塊加載至所歸屬的目的加載端包括：

調(diào)用所述目的加載端的至少一個加載線程加載所述待加載數(shù)據(jù)至所述目的加載端。

14.根據(jù)權(quán)利要求13所述的方法，其特征在于，在所述控制待加載數(shù)據(jù)塊加載至所歸屬的目的加載端之前，所述方法還包括：

確定已存在所述目的加載端。