[發(fā)明專利]一種冗余數(shù)據(jù)識別過濾方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202210754103.1
• 申請日: 2022-06-30
• 公開（公告）號: CN114817231B
• 公開（公告）日: 2022-09-30
• 發(fā)明（設計）人: 張毅博;漆婭
• 申請（專利權）人: 深圳中科智能技術有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/23;G06F16/2458;G06K9/62
• 代理公司: 北京專贏專利代理有限公司 11797
• 代理人: 劉梅

本發(fā)明涉及冗余數(shù)據(jù)處理技術領域，具體公開了一種冗余數(shù)據(jù)識別過濾方法及系統(tǒng)。本發(fā)明通過獲取用戶的身份信息，對傳輸數(shù)據(jù)分類處理；與多個其他設備進行交互更新調整；進行冗余分級預處理；周期性記錄調用信息，進行分級優(yōu)化處理；進行反饋更新優(yōu)化，生成多個冗余分級優(yōu)化標簽。能夠根據(jù)用戶的身份信息進行數(shù)據(jù)分類處理和冗余分級處理標簽生成更新，進而通過多個冗余分級調整標簽進行冗余分級預處理，再根據(jù)周期性的調用信息進行數(shù)據(jù)的分級優(yōu)化處理和標簽的反饋更新優(yōu)化，從而能夠根據(jù)用戶的實際需求，進行數(shù)據(jù)分類、冗余分級預處理和分級優(yōu)化處理，避免重要數(shù)據(jù)出現(xiàn)數(shù)據(jù)完全缺失和數(shù)據(jù)部分破壞，從而便于用戶獲取完整、有效的重要數(shù)據(jù)。

技術領域

本發(fā)明屬于冗余數(shù)據(jù)處理技術領域，尤其涉及一種冗余數(shù)據(jù)識別過濾方法及系統(tǒng)。

背景技術

數(shù)據(jù)冗余發(fā)生在數(shù)據(jù)庫系統(tǒng)中，指的是一個字段在多個表里重復出現(xiàn)。數(shù)據(jù)冗余會導致數(shù)據(jù)異常和損壞，一般來說設計上應該被避免。數(shù)據(jù)庫規(guī)范化防止了冗余而且不浪費存儲容量，適當?shù)氖褂猛怄I可以使得數(shù)據(jù)冗余和異常降到最低。但是，如果考慮效率和便利，有時候也會設計冗余數(shù)據(jù)，而不考慮數(shù)據(jù)被破壞的風險。

現(xiàn)有的對于冗余數(shù)據(jù)的處理中，通常都是對傳輸數(shù)據(jù)進行冗余數(shù)據(jù)的識別，并將識別的冗余數(shù)據(jù)進行全部過濾清理，從而釋放更多的存儲空間。然而，這種粗暴的冗余數(shù)據(jù)識別過濾方法，不能夠根據(jù)用戶的實際需求進行分級過濾，導致有的數(shù)據(jù)完全缺失、有的數(shù)據(jù)部分破壞，從而不便于用戶獲取完整、有效的目標數(shù)據(jù)。

發(fā)明內容

本發(fā)明實施例的目的在于提供一種冗余數(shù)據(jù)識別過濾方法及系統(tǒng)，旨在解決背景技術中提出的問題。

為實現(xiàn)上述目的，本發(fā)明實施例提供如下技術方案：

一種冗余數(shù)據(jù)識別過濾方法，所述方法具體包括以下步驟：

獲取當前設備的用戶的身份信息，實時接收傳輸數(shù)據(jù)，根據(jù)所述身份信息，對所述傳輸數(shù)據(jù)進行分類處理，生成多個分類數(shù)據(jù)；

根據(jù)所述身份信息，生成多個冗余分級處理標簽，并構建與多個其他設備的連接，進行交互更新調整，生成多個冗余分級調整標簽；

按照多個所述冗余分級調整標簽，對多個所述分類數(shù)據(jù)進行冗余分級預處理，生成多個分類預處理數(shù)據(jù)；

周期性記錄多個所述分類預處理數(shù)據(jù)的調用信息，根據(jù)多個所述調用信息，對多個所述分類預處理數(shù)據(jù)進行分級優(yōu)化處理，生成多個分類分級優(yōu)化數(shù)據(jù)；

根據(jù)多個所述分類分級優(yōu)化數(shù)據(jù)，對多個所述冗余分級調整標簽進行反饋更新優(yōu)化，生成多個冗余分級優(yōu)化標簽。

作為本發(fā)明實施例技術方案進一步的限定，所述獲取當前設備的用戶的身份信息，實時接收傳輸數(shù)據(jù)，根據(jù)所述身份信息，對所述傳輸數(shù)據(jù)進行分類處理，生成多個分類數(shù)據(jù)具體包括以下步驟：

獲取當前設備的用戶的身份信息；

根據(jù)所述身份信息，匹配對應的標準分類需求；

實時接收傳輸數(shù)據(jù)；

根據(jù)所述標準分類需求，對所述傳輸數(shù)據(jù)進行分類處理，生成多個分類數(shù)據(jù)。

作為本發(fā)明實施例技術方案進一步的限定，所述根據(jù)所述身份信息，生成多個冗余分級處理標簽，并構建與多個其他設備的連接，進行交互更新調整，生成多個冗余分級調整標簽具體包括以下步驟：

根據(jù)所述身份信息進行冗余分級分析，生成多個冗余分級處理標簽；

進行連接構建情景分析，根據(jù)所述身份信息，進行設備連接構建篩選，生成構建篩選結果；

根據(jù)所述構建篩選結果，構建與多個其他設備的連接；

基于所述冗余分級處理標簽，與多個所述其他設備進行交互更新調整，生成多個冗余分級調整標簽。