[發(fā)明專利]基于ORACLE數(shù)據(jù)庫的海量數(shù)據(jù)脫敏方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911375004.7
• 申請(qǐng)日: 2019-12-27
• 公開（公告）號(hào): CN111125769B
• 公開（公告）日: 2023-09-19
• 發(fā)明（設(shè)計(jì)）人: 程永新;宋輝;郭振宇
• 申請(qǐng)（專利權(quán)）人: 上海輕維軟件有限公司
• 主分類號(hào): G06F21/62
• 分類號(hào): G06F21/62;G06F16/22;G06F16/25
• 代理公司: 上海科律專利代理事務(wù)所(特殊普通合伙) 31290
• 代理人: 袁亞軍

本發(fā)明公開了一種基于ORACLE數(shù)據(jù)庫的海量數(shù)據(jù)脫敏方法，包括如下步驟：S1：根據(jù)數(shù)據(jù)庫中需要脫敏的表的數(shù)據(jù)量，對(duì)每個(gè)表進(jìn)行數(shù)據(jù)分片；S2：根據(jù)表的數(shù)據(jù)量分配定義線程管道組數(shù)和線程數(shù)量；S3：執(zhí)行表的所有線程管道的線程從數(shù)據(jù)庫的原表中抽取數(shù)據(jù)分片脫敏后加載到目標(biāo)表中，完成數(shù)據(jù)脫敏。本發(fā)明通過表數(shù)據(jù)分片，分片均勻，提高數(shù)據(jù)抽取性能，實(shí)現(xiàn)高速數(shù)據(jù)抽??；通過直通路徑加載，并采用禁用日志提高加載性能，實(shí)現(xiàn)單表下的高速數(shù)據(jù)加載；設(shè)置線程總調(diào)度器，實(shí)現(xiàn)線程動(dòng)態(tài)分配提高加載性能，實(shí)現(xiàn)多表下的高速數(shù)據(jù)加載；全程脫敏都在內(nèi)存中操作，保證數(shù)據(jù)不落地，確保數(shù)據(jù)不泄漏。

技術(shù)領(lǐng)域

本發(fā)明涉及一種數(shù)據(jù)脫敏方法，尤其涉及一種基于ORACLE數(shù)據(jù)庫的海量數(shù)據(jù)脫敏方法。

背景技術(shù)

ORACLE數(shù)據(jù)庫是目前世界上使用最為廣泛的數(shù)據(jù)庫管理系統(tǒng)，作為一個(gè)通用的數(shù)據(jù)庫系統(tǒng)，它具有完整的數(shù)據(jù)管理功能；作為一個(gè)關(guān)系數(shù)據(jù)庫，它是一個(gè)完備關(guān)系的產(chǎn)品；作為分布式數(shù)據(jù)庫它實(shí)現(xiàn)了分布式處理功能。數(shù)據(jù)脫敏，指對(duì)某些敏感信息通過脫敏規(guī)則進(jìn)行數(shù)據(jù)的變形，實(shí)現(xiàn)敏感隱私數(shù)據(jù)的可靠保護(hù)。這樣就可以在開發(fā)、測(cè)試和其它非生產(chǎn)環(huán)境以及外包環(huán)境中安全地使用脫敏后的真實(shí)數(shù)據(jù)集。ORACLE數(shù)據(jù)庫作為關(guān)系數(shù)據(jù)庫時(shí)，大量的敏感信息需要進(jìn)行脫敏處理。

現(xiàn)有的脫敏方法有以下兩種：

方案1：使用簡單的JDBC方式脫敏。

方案2：數(shù)據(jù)庫維護(hù)人員通過執(zhí)行ORACLE數(shù)據(jù)泵腳本將生產(chǎn)庫A數(shù)據(jù)同步到測(cè)試庫B，然后再對(duì)敏感字段執(zhí)行update語法更新敏感數(shù)據(jù)。

現(xiàn)有的脫敏方法存在以下問題：

現(xiàn)有方案1會(huì)導(dǎo)致下面的問題：JDBC能抽取和加載數(shù)據(jù)，但當(dāng)單表的數(shù)據(jù)量達(dá)到億級(jí)時(shí)，會(huì)造成抽取和加載的性能都非常慢，甚至可能出現(xiàn)查詢超時(shí)現(xiàn)象，無法完成脫敏任務(wù)的缺點(diǎn)。

現(xiàn)有方案2會(huì)導(dǎo)致下面的問題：因?yàn)閿?shù)據(jù)泵要導(dǎo)出文件，要兩倍于源始數(shù)據(jù)的空間，如果數(shù)據(jù)量過大會(huì)導(dǎo)致源數(shù)據(jù)庫服務(wù)器硬盤空間不足；文件導(dǎo)出將導(dǎo)致在脫敏過程中敏感數(shù)據(jù)外泄，用update語法更新導(dǎo)致脫敏后，數(shù)據(jù)會(huì)失去數(shù)據(jù)特征且無法保證業(yè)務(wù)關(guān)聯(lián)性，或造成脫敏后數(shù)據(jù)變得單一；操作難度大，人工操作容易遺漏。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題是提供一種基于ORACLE數(shù)據(jù)庫的海量數(shù)據(jù)脫敏方法，解決上述問題。

本發(fā)明為解決上述技術(shù)問題而采用的技術(shù)方案是提供一種基于ORACLE數(shù)據(jù)庫的海量數(shù)據(jù)脫敏方法，包括如下步驟：

S1：根據(jù)數(shù)據(jù)庫中需要脫敏的表的數(shù)據(jù)量，對(duì)每個(gè)表進(jìn)行數(shù)據(jù)分片；

S2：根據(jù)表的數(shù)據(jù)量分配定義線程管道組數(shù)和線程數(shù)量；

S3：執(zhí)行表的所有線程管道的線程從數(shù)據(jù)庫的原表中抽取數(shù)據(jù)分片脫敏后加載到目標(biāo)表中，完成數(shù)據(jù)脫敏。

進(jìn)一步的，所述表的數(shù)據(jù)分片為均勻分片，具體包括：每個(gè)表單獨(dú)使用ORACLE的sample()函數(shù)均勻取出表的N個(gè)物理存儲(chǔ)地址ROWID，物理存儲(chǔ)地址的數(shù)量根據(jù)ORACLE的表大小動(dòng)態(tài)修改，直到抽取到合適的ROWID數(shù)量，然后將ROWID排序后兩兩為一區(qū)間劃分成多個(gè)分片，分片完成后，表的所有分片SQL都放入該表的分片隊(duì)列；如果表為普通表，則對(duì)表進(jìn)行一次分片，如果是分區(qū)表，則對(duì)表的每個(gè)分區(qū)都進(jìn)行一次分片。

進(jìn)一步的，所述表數(shù)據(jù)進(jìn)行分區(qū)切片后，對(duì)分片進(jìn)行重新排序，把不同的分區(qū)映射到不同磁盤進(jìn)行I/O平衡，使多個(gè)線程能輪詢獲取到不同分區(qū)的分片，多個(gè)線程同時(shí)操作不同的磁盤。