[發明專利]業務數據確定方法、裝置、設備及存儲介質

有效

• 申請號: 202111291244.6
• 申請日: 2021-11-03
• 公開（公告）號: CN113722337B
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 成建洪;羅啟銘;杜冬冬;熊皓;覃江威;吳育校;陳功;王宗強;趙一波;馮建設
• 申請（專利權）人: 深圳市信潤富聯數字科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23;G06F16/2458;G06F16/28
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 關向蘭

本申請公開了一種業務數據確定方法、裝置、設備及存儲介質，該方法包括步驟：獲取目標業務數據對應的數據類型和數據加工方式；基于所述數據類型和所述數據加工方式，生成Spark SQL表達式；基于所述Spark SQL表達式，從多個數據源的原始業務數據中確定目標業務數據。本申請實現了通過Spark SQL表達式統一加工多個數據源的原始業務數據，而無需采用多個方法或函數來加工該原始業務數據，從而降低了加工處理多個數據源的數據時的成本。

技術領域

本申請涉及數據處理領域，尤其涉及一種業務數據確定方法、裝置、設備及存儲介質。

背景技術

隨著信息技術的高速發展，計算機網絡技術的廣泛應用，越來越多的數據被沉淀、存儲了下來。通常，這些海量且繁雜的數據往往是一個企業乃至行業最為寶貴的財富，因此，從不斷加速產生的大量數據中攫取有價值的信息，發現和創造新的商業機會成為了各行各業領導者所追求的目標，然而，陳舊的歷史數據與新的業務數據或者與當前業務需求之間往往存在一定的差異，如何將現有的數據抽取并加工成適應當前業務需求的數據，是分析歷史數據的重要前提。

目前，從數據源獲取數據的手段為：采用對應數據源提供的原生的處理方法或函數對數據進行加工處理。然而，在面對數據源為多個的情況時，由于不同的數據源面對同種加工處理的需求，所需要采用的方法或函數基本不相同，導致加工處理多個數據源的數據時的成本極大。

發明內容

本申請的主要目的在于提供一種業務數據確定方法、裝置、設備及存儲介質，旨在解決現有的如何降低加工處理多個數據源的數據時的成本的技術問題。

為實現上述目的，本申請提供一種業務數據確定方法，所述業務數據確定方法包括步驟：

獲取目標業務數據對應的數據類型和數據加工方式；

基于所述數據類型和所述數據加工方式，生成Spark SQL表達式；

基于所述Spark SQL表達式，從多個數據源的原始業務數據中確定目標業務數據。

可選地，所述基于所述數據類型和所述數據加工方式，生成Spark SQL表達式，包括：

基于所述數據類型和所述數據加工方式，生成數據列加工表達式；

基于所述數據列加工表達式，生成Spark SQL表達式。

可選地，所述基于所述數據列加工表達式，生成Spark SQL表達式，包括：

獲取所述原始業務數據的數據結構信息；

基于所述數據加工方式，更新所述數據結構信息，得到更新后數據結構信息；

基于所述更新后數據結構信息和所述數據列加工表達式，生成Spark SQL表達式。

可選地，所述基于所述Spark SQL表達式，從多個數據源的原始業務數據中確定目標業務數據之前，包括：

獲取數據連接信息；

基于所述數據連接信息，連接多個數據源，并基于預設查找方式從所述多個數據源中確定多個目標數據塊；

從所述多個目標數據塊中抽取原始業務數據。

可選地，所述獲取數據連接信息，包括：

接收配置指令，并基于所述配置指令，生成數據連接信息；

其中，所述配置指令是用戶基于多個數據源的數據源類型給出的。

可選地，所述從所述多個目標數據塊中抽取原始業務數據，包括：

獲取與所述多個目標數據塊對應的關聯字段；