[發(fā)明專利]一種大數(shù)據(jù)結(jié)構(gòu)化處理方法

在審

• 申請?zhí)枺?/td>: 201810241198.0
• 申請日: 2018-03-22
• 公開（公告）號: CN108363818A
• 公開（公告）日: 2018-08-03
• 發(fā)明（設(shè)計）人: 趙世
• 申請（專利權(quán)）人: 安徽一一八六物聯(lián)科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 成都行之專利代理事務(wù)所(普通合伙) 51220
• 代理人: 宋輝

本發(fā)明公開了一種大數(shù)據(jù)結(jié)構(gòu)化處理方法，包括1、一種大數(shù)據(jù)結(jié)構(gòu)化處理方法，其特征在于，所述方法包括如下步驟：S1：在數(shù)據(jù)采集后將采集的數(shù)據(jù)進行檢測，通過預(yù)先輸入數(shù)據(jù)庫的特征碼與采集的數(shù)據(jù)進行的特征碼進行比對，將采集數(shù)據(jù)的特征碼與數(shù)據(jù)庫內(nèi)預(yù)存的特征碼一致的數(shù)據(jù)進行列出；S2：將列出的數(shù)據(jù)進行的預(yù)存特征碼進行刪除，并保留數(shù)據(jù)的其他數(shù)據(jù)源代碼，將處理后的數(shù)據(jù)與原數(shù)據(jù)進行數(shù)據(jù)對比，將對比結(jié)果輸出至外部設(shè)備；S3：將進行刪除后的數(shù)據(jù)進行步驟S4處理，將原始數(shù)據(jù)進行步驟S5處理；S4：將預(yù)存特征碼刪除后的數(shù)據(jù)中加入數(shù)據(jù)變形碼，將處理后的數(shù)據(jù)進行變形。

技術(shù)領(lǐng)域

本發(fā)明涉及一種數(shù)據(jù)處理方法，具體涉及一種大數(shù)據(jù)結(jié)構(gòu)化處理方法。

背景技術(shù)

數(shù)據(jù)資源包含了大量的敏感和重要信息，且目前敏感及隱私數(shù)據(jù)保護的法律規(guī)范尚不完 善，一旦敏感信息泄露或遭到非法利用，會給個人甚至是國家?guī)頍o法彌補的損失。通過對 敏感、重要數(shù)據(jù)進行處理，保障數(shù)據(jù)資源最大程度的開放共享同時，防止數(shù)據(jù)資源的泄露顯 得尤為重要。加之，政府對所擁有的數(shù)據(jù)具有監(jiān)管的權(quán)利和義務(wù)，對敏感、重要數(shù)據(jù)的流向、 情況進行監(jiān)測，可以輔助政府的數(shù)據(jù)管理部門進行數(shù)據(jù)溯源與安全審計。因此，數(shù)據(jù)亦是保 證數(shù)據(jù)資源安全、問責(zé)的重要手段。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是目前對數(shù)據(jù)的結(jié)構(gòu)化處理和非結(jié)構(gòu)化處理方式并沒有一個 明確的界定，在數(shù)據(jù)存儲時，結(jié)構(gòu)化數(shù)據(jù)需要一個穩(wěn)定的數(shù)據(jù)庫進行存儲，而非結(jié)構(gòu)化的數(shù) 據(jù)，能夠減少存儲壓力，所以需要將兩種數(shù)據(jù)進行分類存儲，本發(fā)明目的在于提供一種大數(shù) 據(jù)結(jié)構(gòu)化處理方法，解決上述的問題。

本發(fā)明通過下述技術(shù)方案實現(xiàn)：

一種大數(shù)據(jù)結(jié)構(gòu)化處理方法，包括1、一種大數(shù)據(jù)結(jié)構(gòu)化處理方法，其特征在于，所述 方法包括如下步驟：S1：在數(shù)據(jù)采集后將采集的數(shù)據(jù)進行檢測，通過預(yù)先輸入數(shù)據(jù)庫的特征 碼與采集的數(shù)據(jù)進行的特征碼進行比對，將采集數(shù)據(jù)的特征碼與數(shù)據(jù)庫內(nèi)預(yù)存的特征碼一致 的數(shù)據(jù)進行列出；S2：將列出的數(shù)據(jù)進行的預(yù)存特征碼進行刪除，并保留數(shù)據(jù)的其他數(shù)據(jù)源 代碼，將處理后的數(shù)據(jù)與原數(shù)據(jù)進行數(shù)據(jù)對比，將對比結(jié)果輸出至外部設(shè)備；S3：將進行刪 除后的數(shù)據(jù)進行步驟S4處理，將原始數(shù)據(jù)進行步驟S5處理；S4：將預(yù)存特征碼刪除后的數(shù) 據(jù)中加入數(shù)據(jù)變形碼，將處理后的數(shù)據(jù)進行變形，將變形后的數(shù)據(jù)發(fā)送至存儲數(shù)據(jù)庫內(nèi)進行 分類，并將數(shù)據(jù)進行分類存儲；S5：將原始數(shù)據(jù)發(fā)送至日志數(shù)據(jù)庫，在存儲數(shù)據(jù)庫出現(xiàn)異常 后，通過調(diào)取日志數(shù)據(jù)庫內(nèi)的原始數(shù)據(jù)，對存儲數(shù)據(jù)庫內(nèi)的故障進行判斷。相對于結(jié)構(gòu)化數(shù) 據(jù)(即行數(shù)據(jù)，存儲在數(shù)據(jù)庫里，可以用二維表結(jié)構(gòu)來邏輯表達實現(xiàn)的數(shù)據(jù))而言，不方便用 數(shù)據(jù)庫二維邏輯表來表現(xiàn)的數(shù)據(jù)即稱為非結(jié)構(gòu)化數(shù)據(jù)。需要將兩種數(shù)據(jù)分進行分離，通過將 數(shù)據(jù)分離，可以有效避免將兩種數(shù)據(jù)處理方式處理一種數(shù)據(jù)而出現(xiàn)的問題。用數(shù)據(jù)庫預(yù)先存 儲的特征碼進行對比，在對比一致后，能夠?qū)⒂性擃愄卣鞔a的數(shù)據(jù)進行查驗出來，并將該部 分特征碼進行刪除，并處理后的數(shù)據(jù)發(fā)送至外部設(shè)置，由人工進行判斷是否進行存儲，而這 些特征碼則可以采用木馬數(shù)據(jù)庫內(nèi)的木馬特征、雜余數(shù)據(jù)特征等信息進行判斷，這樣能夠獲 得一個良好的結(jié)構(gòu)化數(shù)據(jù)，在將原數(shù)據(jù)列為非結(jié)構(gòu)化數(shù)據(jù)，在出現(xiàn)故障后，利用日志數(shù)據(jù)庫 進行故障源代碼的確認檢測，能夠節(jié)省故障處理時間。

進一步地，所述數(shù)據(jù)變形碼采用分段結(jié)構(gòu)，在采集數(shù)據(jù)中任意一個字節(jié)位置加入一段掩 碼字節(jié)，通過掩碼字節(jié)對目標數(shù)據(jù)代碼進行掩藏。通過分段結(jié)構(gòu)的數(shù)據(jù)變形，能夠加入多段 的掩碼字節(jié)，保證數(shù)據(jù)存儲的安全性。

進一步地，所述外部設(shè)備采用PC機、筆記本電腦、平板電腦、手機中任意一種。采用多種外部設(shè)備進行結(jié)果輸出的接收，能夠讓用戶在第一時間獲取輸出結(jié)果的信息，進行及時 的處理。

進一步地，所述數(shù)據(jù)庫對數(shù)據(jù)進行種類分類，所述數(shù)據(jù)庫數(shù)據(jù)溢出后將最早存儲的數(shù)據(jù) 內(nèi)容進行覆蓋。。為了避免出現(xiàn)數(shù)據(jù)庫內(nèi)的最新數(shù)據(jù)遺失的情況，采用這種覆蓋式數(shù)據(jù)式的存 儲方式，能夠有效避免最新產(chǎn)生的數(shù)據(jù)遺失。而較早的數(shù)據(jù)內(nèi)容能夠通過移動硬盤進行導(dǎo)出， 節(jié)省存儲空間。