[發(fā)明專利]數(shù)據(jù)采集方法、裝置、可讀存儲介質(zhì)和電子裝置

在審

• 申請?zhí)枺?/td>: 202011407632.1
• 申請日: 2020-12-04
• 公開（公告）號: CN112597150A
• 公開（公告）日: 2021-04-02
• 發(fā)明（設計）人: 李紅偉;朱海剛;段楠;腰子煜;劉雪峰;彭強;田江;向小佳;丁永建;李璠
• 申請（專利權(quán)）人: 光大科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/28;G06F16/23;G06F21/60;G06F21/62
• 代理公司: 北京康信知識產(chǎn)權(quán)代理有限責任公司 11240
• 代理人: 劉旺貴

本發(fā)明實施例提供了一種數(shù)據(jù)采集方法、裝置、可讀存儲介質(zhì)和電子裝置，該方法包括：從關系型數(shù)據(jù)庫中獲取關系型數(shù)據(jù)庫元數(shù)據(jù)；將獲取的所述關系型數(shù)據(jù)庫元數(shù)據(jù)輸入數(shù)據(jù)倉庫以生成數(shù)據(jù)倉庫元數(shù)據(jù)；根據(jù)所述數(shù)據(jù)倉庫元數(shù)據(jù)生成數(shù)據(jù)倉庫表，將所述數(shù)據(jù)倉庫表發(fā)送至大數(shù)據(jù)平臺，并根據(jù)所述數(shù)據(jù)倉庫表建立所述關系型數(shù)據(jù)庫與所述大數(shù)據(jù)平臺之間的數(shù)據(jù)傳輸。通過本發(fā)明的上述實施例，解決了相關技術中數(shù)據(jù)倉庫難以高效地從源系統(tǒng)中獲取源系統(tǒng)元數(shù)據(jù)信息以及數(shù)據(jù)倉庫難以對所獲取的源系統(tǒng)元數(shù)據(jù)信息進行有效整理的問題，進而達到了保證數(shù)據(jù)質(zhì)量、提高工作效率、減少大數(shù)據(jù)平臺的元數(shù)據(jù)管理成本的效果。

技術領域

本發(fā)明實施例涉及大數(shù)據(jù)處理領域，具體而言，涉及一種數(shù)據(jù)采集方法、裝置、可讀存儲介質(zhì)和電子裝置。

背景技術

數(shù)據(jù)采集是大數(shù)據(jù)平臺最基礎的功能，是大數(shù)據(jù)平臺最基礎同時也是非常重要的環(huán)節(jié)。現(xiàn)在數(shù)據(jù)庫數(shù)據(jù)采集大部分是通過各種組件、數(shù)據(jù)庫自帶的導出功能以及一些api從數(shù)據(jù)庫導出文件，然后傳輸?shù)酱髷?shù)據(jù)平臺上面。同時，需要把數(shù)據(jù)庫中元數(shù)據(jù)映射到大數(shù)據(jù)平臺對應的元數(shù)據(jù)上。整體一套自動化流程比較復雜、效率不高、面臨復雜的元數(shù)據(jù)信息管理。另外，還需要維護源系統(tǒng)，并將源系統(tǒng)的變化同步到大數(shù)據(jù)平臺上面，導致數(shù)據(jù)采集的成本特別高。維護成本高，效率低，在數(shù)據(jù)量越來越大的時代，數(shù)據(jù)質(zhì)量也就得不到很好的管理，導致整體系統(tǒng)處于不健康的狀態(tài)。

針對相關技術中數(shù)據(jù)倉庫難以高效地從源系統(tǒng)獲取源系統(tǒng)元數(shù)據(jù)信息并進行有效整理的問題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

本發(fā)明實施例提供了一種數(shù)據(jù)采集方法、裝置、可讀存儲介質(zhì)和電子裝置，以至少解決相關技術中數(shù)據(jù)倉庫難以高效地從源系統(tǒng)獲取源系統(tǒng)元數(shù)據(jù)信息并進行有效整理的問題。

根據(jù)本發(fā)明的一個實施例，提供了一種數(shù)據(jù)采集方法，包括：從關系型數(shù)據(jù)庫中獲取關系型數(shù)據(jù)庫元數(shù)據(jù)；將獲取的所述關系型數(shù)據(jù)庫元數(shù)據(jù)輸入數(shù)據(jù)倉庫以生成數(shù)據(jù)倉庫元數(shù)據(jù)；根據(jù)所述數(shù)據(jù)倉庫元數(shù)據(jù)生成數(shù)據(jù)倉庫表，將所述數(shù)據(jù)倉庫表發(fā)送至大數(shù)據(jù)平臺，并根據(jù)所述數(shù)據(jù)倉庫表建立所述關系型數(shù)據(jù)庫與所述大數(shù)據(jù)平臺之間的數(shù)據(jù)傳輸。

在一個示例性實施例中，將獲取的所述關系型數(shù)據(jù)庫元數(shù)據(jù)輸入數(shù)據(jù)倉庫以生成數(shù)據(jù)倉庫元數(shù)據(jù)，可以包括：獲取所述數(shù)據(jù)倉庫與所述關系型數(shù)據(jù)庫之間的連接條件；根據(jù)所述連接條件在所述數(shù)據(jù)倉庫與所述關系型數(shù)據(jù)庫之間進行數(shù)據(jù)交互，并建立所述關系型數(shù)據(jù)庫元數(shù)據(jù)與對應的所述數(shù)據(jù)倉庫元數(shù)據(jù)之間的映射；根據(jù)所述映射，將所述關系型數(shù)據(jù)庫元數(shù)據(jù)轉(zhuǎn)化到所述數(shù)據(jù)倉庫中，生成轉(zhuǎn)化后的所述數(shù)據(jù)倉庫元數(shù)據(jù)。

在一個示例性實施例中，根據(jù)所述數(shù)據(jù)倉庫元數(shù)據(jù)生成數(shù)據(jù)倉庫表，將所述數(shù)據(jù)倉庫表發(fā)送至大數(shù)據(jù)平臺，并根據(jù)所述數(shù)據(jù)倉庫表建立所述關系型數(shù)據(jù)庫與所述大數(shù)據(jù)平臺之間的數(shù)據(jù)傳輸，可以包括：根據(jù)所述數(shù)據(jù)倉庫元數(shù)據(jù)生成數(shù)據(jù)倉庫表，并對生成的所述數(shù)據(jù)倉庫表進行權(quán)限控制；在經(jīng)過權(quán)限控制的所述數(shù)據(jù)倉庫表中對所述關系型數(shù)據(jù)庫進行謂詞下推；將經(jīng)過謂詞下推的所述關系型數(shù)據(jù)庫的數(shù)據(jù)進行切分以形成數(shù)據(jù)塊；將所述數(shù)據(jù)塊并行傳輸至所述大數(shù)據(jù)平臺以建立所述關系型數(shù)據(jù)庫與所述大數(shù)據(jù)平臺之間的數(shù)據(jù)傳輸。

在一個示例性實施例中，對生成的所述數(shù)據(jù)倉庫表進行權(quán)限控制，可以包括：通過以下之一對所述數(shù)據(jù)倉庫表進行賦權(quán)：在所述數(shù)據(jù)倉庫中增加權(quán)限信息、將所述數(shù)據(jù)倉庫與所述大數(shù)據(jù)平臺相關聯(lián)；根據(jù)經(jīng)過賦權(quán)的所述數(shù)據(jù)倉庫表中的所述權(quán)限信息對所述數(shù)據(jù)倉庫表的使用權(quán)限進行權(quán)限控制，和/或通過與所述大數(shù)據(jù)平臺相關聯(lián)的所述數(shù)據(jù)倉庫表對所述大數(shù)據(jù)平臺進行權(quán)限控制。

在一個示例性實施例中，在經(jīng)過權(quán)限控制的所述數(shù)據(jù)倉庫表中對所述關系型數(shù)據(jù)庫進行謂詞下推，可以包括：獲取對所述關系型數(shù)據(jù)庫的外置篩選條件；將獲取的所述外置篩選條件進行存儲。

在一個示例性實施例中，將經(jīng)過謂詞下推的所述關系型數(shù)據(jù)庫的數(shù)據(jù)進行切分以形成數(shù)據(jù)塊，可以包括：將經(jīng)過謂詞下推的所述關系型數(shù)據(jù)庫的數(shù)據(jù)至少按照以下之一類型對所述關系型數(shù)據(jù)庫的主鍵和索引進行切分以形成數(shù)據(jù)塊：數(shù)字類型、日期類型、時間戳類型。