[發明專利]基于SQL的數據抽取的方法及設備

在審

• 申請號: 202110033160.6
• 申請日: 2021-01-11
• 公開（公告）號: CN112765248A
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 馬佩;任養超;徐巖
• 申請（專利權）人: 上海上訊信息技術股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/22;G06F16/242
• 代理公司: 上海百一領御專利代理事務所(普通合伙) 31243
• 代理人: 王奎宇;甘章乖

本申請的目的是提供一種基于SQL的數據抽取的方法及設備，本申請通過讀取SQL查詢語句，得到源數據庫中的源數據，將所述源數據存放在臨時表中；根據數據的脫敏算法對所述臨時表中數據進行脫敏，得到脫敏后的數據；將所述脫敏后的數據按照表映射關系存放至目標數據表中。通過SQL語句限定數據源從而實現抽取效果，靈活限制數據來源，實現多表的復雜結合，并簡化了配置過程。

技術領域

本申請涉及計算機領域，尤其涉及一種基于SQL的數據抽取的方法及設備。

背景技術

目前，大數據應用廣泛的同時，個人信息保護受到了前所未有的挑戰。人們在享受數據分析給自己生活帶來的貼切服務的同時，也深受個人信息泄露甚至被騷擾的困擾，因此對于數據的脫敏使用就顯得尤為重要。普通的抽取或者脫敏操作，都是對源數據庫的整張表進行操作，在數據源的選取上缺乏靈活性，如果想要限制抽取的字段、數據的排序方式或者想要將多張表的內容抽取到一張表，就需要增加專門的配置，操作起來比較繁瑣。

發明內容

本申請的一個目的是提供一種基于SQL的數據抽取的方法及設備，解決現有技術中在數據脫敏及抽取過程中對數據源的選擇上不夠靈活的問題。

根據本申請的一個方面，提供了一種基于SQL的數據抽取的方法，該方法包括：

讀取SQL查詢語句，得到源數據庫中的源數據，將所述源數據存放在臨時表中；

根據數據的脫敏算法對所述臨時表中數據進行脫敏，得到脫敏后的數據；

將所述脫敏后的數據按照表映射關系存放至目標數據表中。

進一步地，讀取SQL查詢語句之前，包括：

選擇源數據庫連接，進行編寫對應的SQL查詢語句；

配置所述臨時表中數據的脫敏算法以及配置臨時表與目標數據表之間的表映射關系。

進一步地，進行編寫對應的SQL查詢語句，包括：

根據選擇的源數據庫連接確定待抽取的數據表、字段、數據內容以及排序方式；

根據所述待抽取的數據表、字段、數據內容以及排序方式編寫對應的SQL查詢語句。

進一步地，配置所述臨時表中數據的脫敏算法以及配置臨時表與目標數據表之間的表映射關系，包括：

根據所述臨時表中數據包含的各字段配置該數據對應的脫敏算法；

選擇目標數據庫的用戶以及目標數據表，根據所述用戶以及目標數據表建立與所述臨時表之間的表映射關系。

進一步地，讀取SQL查詢語句，得到源數據庫中的源數據，將所述源數據存放在臨時表中，包括：

讀取每一源數據庫對應的多個SQL查詢語句，獲取每一SQL查詢語句的查詢結果，將每一查詢結果存儲在對應的臨時表中。

根據本申請又一個方面，還提供了一種基于SQL的數據抽取的設備，該設備包括：

一個或多個處理器；以及

存儲有計算機可讀指令的存儲器，所述計算機可讀指令在被執行時使所述處理器執行如前述所述方法的操作。

根據本申請再一個方面，還提供了一種計算機可讀介質，其上存儲有計算機可讀指令，所述計算機可讀指令可被處理器執行以實現如前述所述的方法。

與現有技術相比，本申請通過讀取SQL查詢語句，得到源數據庫中的源數據，將所述源數據存放在臨時表中；根據數據的脫敏算法對所述臨時表中數據進行脫敏，得到脫敏后的數據；將所述脫敏后的數據按照表映射關系存放至目標數據表中。通過SQL語句限定數據源從而實現抽取效果，靈活限制數據來源，實現多表的復雜結合，并簡化了配置過程。