[發(fā)明專利]數(shù)據(jù)處理方法及裝置

有效

• 申請?zhí)枺?/td>: 202010843129.4
• 申請日: 2020-08-20
• 公開（公告）號: CN111984684B
• 公開（公告）日: 2021-07-23
• 發(fā)明（設(shè)計）人: 葉本華
• 申請（專利權(quán)）人: 北京捷報金峰數(shù)據(jù)技術(shù)有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/23;G06F16/25;G06F16/28
• 代理公司: 北京林達(dá)劉知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11277
• 代理人: 劉新宇

1.一種數(shù)據(jù)處理方法，其特征在于，應(yīng)用于數(shù)據(jù)處理系統(tǒng)，所述方法包括：

對獲取自多個數(shù)據(jù)源的應(yīng)用數(shù)據(jù)進(jìn)行預(yù)處理，得到預(yù)處理后的應(yīng)用數(shù)據(jù)以對所述系統(tǒng)中的數(shù)據(jù)進(jìn)行更新，其中，所述應(yīng)用數(shù)據(jù)為關(guān)系型數(shù)據(jù)；

將所述預(yù)處理后的應(yīng)用數(shù)據(jù)轉(zhuǎn)換為目標(biāo)類型的數(shù)據(jù)；

接收數(shù)據(jù)查詢消息，根據(jù)數(shù)據(jù)查詢消息確定數(shù)據(jù)查詢指令，并對所述數(shù)據(jù)查詢指令進(jìn)行校驗，得到校驗結(jié)果，其中，所述數(shù)據(jù)查詢指令包括第一查詢條件、第二查詢條件、指令執(zhí)行序號，所述校驗結(jié)果包括指令狀態(tài)及操作類型，所述指令狀態(tài)包括可編輯狀態(tài)、測試通過狀態(tài)、待執(zhí)行狀態(tài)、正在執(zhí)行狀態(tài)和禁用狀態(tài)的任意一種或多種，所述操作類型包括啟用操作、更新操作、刪除操作、禁用操作和調(diào)度操作的一種或多種；

在所述校驗結(jié)果符合預(yù)設(shè)條件時，在定時任務(wù)調(diào)度框架下根據(jù)設(shè)定的調(diào)度策略調(diào)度所述數(shù)據(jù)查詢指令，以從所述系統(tǒng)中獲得并存儲查詢結(jié)果，

所述在定時任務(wù)調(diào)度框架下根據(jù)設(shè)定的調(diào)度策略調(diào)度所述數(shù)據(jù)查詢指令，包括以下至少一項操作：

在指定的起始時間、結(jié)束時間及調(diào)度周期下，根據(jù)每個查詢?nèi)蝿?wù)的優(yōu)先級順序，調(diào)度所述查詢?nèi)蝿?wù)，其中，查詢?nèi)蝿?wù)包括一個或多個數(shù)據(jù)查詢指令；或

在查詢?nèi)蝿?wù)包括多個數(shù)據(jù)查詢指令時，根據(jù)查詢?nèi)蝿?wù)中每個數(shù)據(jù)查詢指令的指令執(zhí)行序號的先后順序，調(diào)度所述數(shù)據(jù)查詢指令；或

當(dāng)系統(tǒng)資源不足時，在第一時間段，對查詢?nèi)蝿?wù)中高優(yōu)先級的數(shù)據(jù)查詢指令進(jìn)行調(diào)度；若在第一時間段，當(dāng)前數(shù)據(jù)查詢指令未被調(diào)度，則在第二時間段對當(dāng)前數(shù)據(jù)查詢指令進(jìn)行有限調(diào)度。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述應(yīng)用數(shù)據(jù)包括基礎(chǔ)數(shù)據(jù)表，所述獲取自多個數(shù)據(jù)源的應(yīng)用數(shù)據(jù)進(jìn)行預(yù)處理，包括：

獲取目標(biāo)應(yīng)用的基礎(chǔ)數(shù)據(jù)表集合，所述基礎(chǔ)數(shù)據(jù)表集合包括所述目標(biāo)應(yīng)用的應(yīng)用數(shù)據(jù)的字段及字段數(shù)據(jù)值；

將所述目標(biāo)應(yīng)用的基礎(chǔ)數(shù)據(jù)表與所述系統(tǒng)中已存儲的數(shù)據(jù)表集合進(jìn)行對比，根據(jù)比較結(jié)果對所述目標(biāo)應(yīng)用的基礎(chǔ)數(shù)據(jù)表進(jìn)行預(yù)處理。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)比較結(jié)果對所述目標(biāo)應(yīng)用的基礎(chǔ)數(shù)據(jù)表進(jìn)行預(yù)處理，包括：

當(dāng)已存儲的數(shù)據(jù)表集合中包括所述目標(biāo)應(yīng)用的基礎(chǔ)數(shù)據(jù)表時，利用所述目標(biāo)應(yīng)用的基礎(chǔ)數(shù)據(jù)表的時間戳更新已存儲的數(shù)據(jù)表，并更新系統(tǒng)中已存儲的數(shù)據(jù)表的版本標(biāo)識；或

當(dāng)已存儲的數(shù)據(jù)表集合中包括所述目標(biāo)應(yīng)用的基礎(chǔ)數(shù)據(jù)表的部分字段時，將所述目標(biāo)應(yīng)用的基礎(chǔ)數(shù)據(jù)表導(dǎo)入所述系統(tǒng)中，并將所述目標(biāo)應(yīng)用的基礎(chǔ)數(shù)據(jù)表及已存儲的數(shù)據(jù)表集合中與所述目標(biāo)應(yīng)用的基礎(chǔ)數(shù)據(jù)表部分字段相同的數(shù)據(jù)表進(jìn)行關(guān)聯(lián)；或

當(dāng)已存儲的數(shù)據(jù)表集合中不包括所述目標(biāo)應(yīng)用的基礎(chǔ)數(shù)據(jù)表時，將所述目標(biāo)應(yīng)用的基礎(chǔ)數(shù)據(jù)表導(dǎo)入所述系統(tǒng)中，并將所述目標(biāo)應(yīng)用的基礎(chǔ)數(shù)據(jù)表的版本標(biāo)識初始化。

4.根據(jù)權(quán)利要求2或3所述的方法，其特征在于，所述對獲取自多個數(shù)據(jù)源的應(yīng)用數(shù)據(jù)進(jìn)行預(yù)處理，還包括：

獲取多個數(shù)據(jù)源中所述目標(biāo)應(yīng)用的基礎(chǔ)數(shù)據(jù)表；

根據(jù)不同的數(shù)據(jù)源對所述目標(biāo)應(yīng)用的基礎(chǔ)數(shù)據(jù)表進(jìn)行分類；

在各個類別下，根據(jù)最新的時間戳對所述目標(biāo)應(yīng)用的基礎(chǔ)數(shù)據(jù)進(jìn)行排序。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述預(yù)處理后的應(yīng)用數(shù)據(jù)轉(zhuǎn)換為目標(biāo)類型的數(shù)據(jù)，包括：

獲取目標(biāo)類型模板，所述目標(biāo)類型模板包括字段類型、字段名、字段最大長度、字段備注及結(jié)束符；

根據(jù)所述目標(biāo)類型模板，將所述預(yù)處理后的應(yīng)用數(shù)據(jù)轉(zhuǎn)換為所述目標(biāo)類型的數(shù)據(jù)。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)數(shù)據(jù)查詢消息確定數(shù)據(jù)查詢指令，并對所述數(shù)據(jù)查詢指令進(jìn)行校驗，得到校驗結(jié)果，包括：

確定待查詢?nèi)蝿?wù)的多個數(shù)據(jù)查詢指令；

根據(jù)指令執(zhí)行序號的先后順序?qū)λ龆鄠€數(shù)據(jù)查詢指令進(jìn)行排序，生成數(shù)據(jù)查詢指令組，其中，所述數(shù)據(jù)查詢指令組為有向無環(huán)序列，所述數(shù)據(jù)查詢指令組中的數(shù)據(jù)查詢指令用于按照指令執(zhí)行序號被依次被執(zhí)行，以獲得查詢數(shù)據(jù)；

對所述數(shù)據(jù)查詢指令組中的數(shù)據(jù)查詢指令進(jìn)行校驗，得到校驗結(jié)果。