[發(fā)明專利]業(yè)務(wù)數(shù)據(jù)確定方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202111291244.6
• 申請(qǐng)日: 2021-11-03
• 公開(kāi)（公告）號(hào): CN113722337B
• 公開(kāi)（公告）日: 2022-06-10
• 發(fā)明（設(shè)計(jì)）人: 成建洪;羅啟銘;杜冬冬;熊皓;覃江威;吳育校;陳功;王宗強(qiáng);趙一波;馮建設(shè)
• 申請(qǐng)（專利權(quán)）人: 深圳市信潤(rùn)富聯(lián)數(shù)字科技有限公司
• 主分類號(hào): G06F16/22
• 分類號(hào): G06F16/22;G06F16/23;G06F16/2458;G06F16/28
• 代理公司: 深圳市世紀(jì)恒程知識(shí)產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 關(guān)向蘭

1.一種業(yè)務(wù)數(shù)據(jù)確定方法，其特征在于，所述方法包括：

獲取目標(biāo)業(yè)務(wù)數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)類型和數(shù)據(jù)加工方式；其中，所述數(shù)據(jù)加工方式通過(guò)用戶需求確定；

基于所述數(shù)據(jù)類型和所述數(shù)據(jù)加工方式，生成Spark SQL表達(dá)式；

基于所述Spark SQL表達(dá)式，從多個(gè)數(shù)據(jù)源的原始業(yè)務(wù)數(shù)據(jù)中確定目標(biāo)業(yè)務(wù)數(shù)據(jù)；

所述基于所述數(shù)據(jù)類型和所述數(shù)據(jù)加工方式，生成Spark SQL表達(dá)式，包括：

基于所述數(shù)據(jù)類型和所述數(shù)據(jù)加工方式，生成數(shù)據(jù)列加工表達(dá)式；

基于所述數(shù)據(jù)列加工表達(dá)式，生成Spark SQL表達(dá)式；

所述基于所述數(shù)據(jù)列加工表達(dá)式，生成Spark SQL表達(dá)式，包括：

獲取所述原始業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)信息；

基于所述數(shù)據(jù)加工方式，更新所述數(shù)據(jù)結(jié)構(gòu)信息，得到更新后數(shù)據(jù)結(jié)構(gòu)信息；

基于所述更新后數(shù)據(jù)結(jié)構(gòu)信息和所述數(shù)據(jù)列加工表達(dá)式，生成Spark SQL表達(dá)式；

所述基于所述Spark SQL表達(dá)式，從多個(gè)數(shù)據(jù)源的原始業(yè)務(wù)數(shù)據(jù)中確定目標(biāo)業(yè)務(wù)數(shù)據(jù)之前，包括：

獲取數(shù)據(jù)連接信息；

基于所述數(shù)據(jù)連接信息，連接多個(gè)數(shù)據(jù)源，并基于預(yù)設(shè)查找方式從所述多個(gè)數(shù)據(jù)源中確定多個(gè)目標(biāo)數(shù)據(jù)塊；

從所述多個(gè)目標(biāo)數(shù)據(jù)塊中抽取原始業(yè)務(wù)數(shù)據(jù)。

2.如權(quán)利要求1所述的方法，其特征在于，所述獲取數(shù)據(jù)連接信息，包括：

接收配置指令，并基于所述配置指令，生成數(shù)據(jù)連接信息；

其中，所述配置指令是用戶基于多個(gè)數(shù)據(jù)源的數(shù)據(jù)源類型給出的。

3.如權(quán)利要求1所述的方法，其特征在于，所述從所述多個(gè)目標(biāo)數(shù)據(jù)塊中抽取原始業(yè)務(wù)數(shù)據(jù)，包括：

獲取與所述多個(gè)目標(biāo)數(shù)據(jù)塊對(duì)應(yīng)的關(guān)聯(lián)字段；

基于所述關(guān)聯(lián)字段，建立與所述多個(gè)目標(biāo)數(shù)據(jù)塊之間的關(guān)聯(lián)關(guān)系；

基于所述關(guān)聯(lián)關(guān)系，從所述多個(gè)目標(biāo)數(shù)據(jù)塊中抽取原始業(yè)務(wù)數(shù)據(jù)。

4.如權(quán)利要求1至3中任一項(xiàng)所述的方法，其特征在于，所述基于所述Spark SQL表達(dá)式，從多個(gè)數(shù)據(jù)源的原始業(yè)務(wù)數(shù)據(jù)中確定目標(biāo)業(yè)務(wù)數(shù)據(jù)，包括：

獲取多個(gè)數(shù)據(jù)源的原始業(yè)務(wù)數(shù)據(jù)對(duì)應(yīng)的臨時(shí)視圖；

基于所述Spark SQL表達(dá)式，從所述臨時(shí)視圖中確定目標(biāo)業(yè)務(wù)數(shù)據(jù)。

5.一種業(yè)務(wù)數(shù)據(jù)確定裝置，其特征在于，所述業(yè)務(wù)數(shù)據(jù)確定裝置包括：

第一獲取模塊，用于獲取目標(biāo)業(yè)務(wù)數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)類型和數(shù)據(jù)加工方式；其中，所述數(shù)據(jù)加工方式通過(guò)用戶需求確定；

生成模塊，用于基于所述數(shù)據(jù)類型和所述數(shù)據(jù)加工方式，生成Spark SQL表達(dá)式；

第一確定模塊，用于基于所述Spark SQL表達(dá)式，從多個(gè)數(shù)據(jù)源的原始業(yè)務(wù)數(shù)據(jù)中確定目標(biāo)業(yè)務(wù)數(shù)據(jù)；

所述生成模塊還用于：

基于所述數(shù)據(jù)類型和所述數(shù)據(jù)加工方式，生成數(shù)據(jù)列加工表達(dá)式；

基于所述數(shù)據(jù)列加工表達(dá)式，生成Spark SQL表達(dá)式；

所述生成模塊還用于：

獲取所述原始業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)信息；

基于所述數(shù)據(jù)加工方式，更新所述數(shù)據(jù)結(jié)構(gòu)信息，得到更新后數(shù)據(jù)結(jié)構(gòu)信息；

基于所述更新后數(shù)據(jù)結(jié)構(gòu)信息和所述數(shù)據(jù)列加工表達(dá)式，生成Spark SQL表達(dá)式；

所述業(yè)務(wù)數(shù)據(jù)確定裝置還包括：

第二獲取模塊，用于獲取數(shù)據(jù)連接信息；

連接模塊，用于基于所述數(shù)據(jù)連接信息，連接多個(gè)數(shù)據(jù)源，并基于預(yù)設(shè)查找方式從所述多個(gè)數(shù)據(jù)源中確定多個(gè)目標(biāo)數(shù)據(jù)塊；

抽取模塊，用于從所述多個(gè)目標(biāo)數(shù)據(jù)塊中抽取原始業(yè)務(wù)數(shù)據(jù)。

6.一種業(yè)務(wù)數(shù)據(jù)確定設(shè)備，其特征在于，所述業(yè)務(wù)數(shù)據(jù)確定設(shè)備包括存儲(chǔ)器、處理器和存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的業(yè)務(wù)數(shù)據(jù)確定程序，所述業(yè)務(wù)數(shù)據(jù)確定程序被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至4中任一項(xiàng)所述的業(yè)務(wù)數(shù)據(jù)確定方法的步驟。

7.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有業(yè)務(wù)數(shù)據(jù)確定程序，所述業(yè)務(wù)數(shù)據(jù)確定程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至4中任一項(xiàng)所述的業(yè)務(wù)數(shù)據(jù)確定方法的步驟。