[發明專利]Greenplum數據脫敏方法、裝置、設備及介質

在審

• 申請號: 201810331567.5
• 申請日: 2018-04-13
• 公開（公告）號: CN108573171A
• 公開（公告）日: 2018-09-25
• 發明（設計）人: 王鵬;賴斌;付娜
• 申請（專利權）人: 中國民航信息網絡股份有限公司
• 主分類號: G06F21/62
• 分類號: G06F21/62
• 代理公司: 北京瑞思知識產權代理事務所(普通合伙) 11341
• 代理人: 黨建華

本發明提供了一種Greenplum數據脫敏方法、裝置、設備及介質。其中，該方法包括：將脫敏方法提交到Greenplum數據庫集群；創建Greenplum脫敏任務；將Greenplum脫敏任務提交到Greenplum數據庫集群，以使Greenplum數據庫集群調用脫敏方法執行Greenplum脫敏任務。通過本發明，解決了相關技術中采用內存式脫敏Greenplum數據的脫敏效率低的問題，提高了Greenplum數據的脫敏效率。

技術領域

本發明涉及領域，具體而言，涉及一種Greenplum數據脫敏方法、裝置、設備及介質。

背景技術

術語解釋

Greenplum：

Greenplum是一家總部位于美國加利福尼亞州，為全球大型企業用戶提供新型企業級數據倉庫(EDW)、企業級數據云(EDC)和商務智能(BI)提供解決方案和咨詢服務的公司，在全球已有：納斯達克，紐約證券交易所，Skype.FOX，T-Mobile；中國已有：中信實業銀行，東方航空公司，阿里巴巴，華泰保險，中國遠洋(Cosco)，李寧公司等大型企業用戶選擇Greenplum的產品。

Greenplum就是一個與Oracle、DB2、PostgreSQL一樣面向對象的關系型數據庫。我們通過標準的SQL可以對Greenplum中的數據進行訪問存取。

本質上講，Greenplum是一個關系型數據庫集群，它實際上是由數個獨立的數據庫服務組合成的邏輯數據庫。與OracleRAC的Shared-Everything架構不同，Greenplum采用Shared-Nothing架構，整個集群由很多個數據節點(SegmentHost)和控制節點(MasterHost)組成，其中每個數據節點上可以運行多個數據庫。簡單來說，Shared-Nothing是一個分布式的架構，每個節點相對獨立。在典型的Shared-Nothing中，每一個節點上所有的資源(CPU,內存，磁盤)都是獨立的，每個節點都只有全部數據的一部分，也只能使用本節點的資源。

基于對Shared-Nothing分布式架構模式的分析，Greenplum高效處理I/O數據吞吐和并發計算的過程就很好理解了。在Greenplum中，需要存儲的數據在進入數據庫時，將先進行數據分布的處理工作，將一個表中的數據平均分布到每個節點上，并為每個表指定一個分發列(distributeColumn)，之后便根據Hash來分布數據。基于Shared-Nothing的原則，Greenplum這樣處理可以充分發揮每個節點處I/O的處理能力。在這一過程中，控制節點(MasterHost)將不再承擔計算任務，而只負責必要的邏輯控制和客戶端交互。I/O瓶頸的解決為并行計算能力的提升創造了良好的環境，所有節點服務器組成一個強大的計算平臺，實現快速的海量并行運算。Greenplum在數據倉庫、商業智能的應用上，尤其是在海量數據的處理方面性能極其優異。

Greenplum是面向數據倉庫應用的關系型數據庫，它是基于目前流行的PosgreSQL開發的，跟PostgreSQL的兼容性非常好，大部分的PostgreSQL客戶端工具及PostgreSQL應用都能運行在Greenplum平臺上。

OLTP與OLAP：

數據庫系統一般分為兩種類型，一種是面向前臺應用的，應用比較簡單，但是重吞吐和高并發的OLTP類型；一種是重計算的，對大數據集進行統計分析的OLAP類型。Greenplum屬于后者，下面簡單介紹下這兩種數據庫系統的特點。

OLTP(On-LineTransactionProcessing，聯機事務處理)系統也稱為生產系統，它是事件驅動的、面向應用的，比如電子商務網站的交易系統就是一個典型的OLTP系統。OLTP的基本特點是：

■數據在系統中產生；

■基于交易的處理系統(Transaction-Based)；