[發明專利]基于大數據的信息數據存儲整合系統及方法

有效

• 申請號: 202011008763.2
• 申請日: 2020-09-23
• 公開（公告）號: CN112100469B
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 周勃;劉紅霖;黃瀛;潘倩雯
• 申請（專利權）人: 云寶寶大數據產業發展有限責任公司
• 主分類號: G06F16/93
• 分類號: G06F16/93;G06F40/194
• 代理公司: 南寧東之智專利代理有限公司 45128
• 代理人: 嚴涓逢

本發明公開了一種基于大數據的信息數據存儲整合系統及方法，所述整合系統包括文檔信息獲取模塊、文檔選取模塊和拆分合并處理模塊，所述文檔信息獲取模塊用于獲取上一個周期內待處理文件夾中各個待合并文檔的文檔信息，所述文檔信息包括文檔名稱和最后修改時間，所述文檔選取模塊從待合并文檔中選出疑似相近文檔，再從疑似相近文檔中篩選出相近文檔，所述拆分合并處理模塊對相近文檔進行拆分合并處理。

技術領域

本發明涉及大數據技術領域，具體為一種基于大數據的信息數據存儲整合系統及方法。

背景技術

隨著計算機領域的快速發展，出現了電子文檔。電子文檔是指人們在社會活動中形成的，以計算機盤片、固態硬盤、磁盤和光盤等化學磁性物理材料為載體的文字、圖片材料。依賴計算機系統存取并可在通信網絡上傳輸。由于電子文檔的易保存性和易復制性，電子文檔也逐漸代替了傳統的紙質文檔。

在工作開展中，會產生大量的電子文檔，如果不及時整理這些電子文檔，會占用計算機的存儲空間，導致存儲空間的浪費。目前主要通過人工操作整理文檔，但是人工操作十分麻煩，費時費力，而且還容易在整理的時候出錯誤，無法提高工作效率。

發明內容

本發明的目的在于提供一種基于大數據的信息數據存儲整合系統及方法，以解決上述背景技術中提出的問題。

為了解決上述技術問題，本發明提供如下技術方案：一種基于大數據的信息數據存儲整合系統，所述整合系統包括文檔信息獲取模塊、文檔選取模塊和拆分合并處理模塊，所述文檔信息獲取模塊用于獲取上一個周期內待處理文件夾中各個待合并文檔的文檔信息，所述文檔信息包括文檔名稱和最后修改時間，所述文檔選取模塊從待合并文檔中選出疑似相近文檔，再從疑似相近文檔中篩選出相近文檔，所述拆分合并處理模塊對相近文檔進行拆分合并處理。

進一步的，所述文檔選取模塊包括疑似相近文檔選取模塊和相近文檔選取模塊，所述疑似相近文檔選取模塊包括第一排序獲取模塊、名稱相似度比較模塊和相關文檔數目比較模塊，所述第一排序獲取模塊用于獲取各個待合并文檔的文檔名稱的名稱長度，將各個文檔名稱按照名稱長度從短到長的順序依次排序，并設該排序為第一排序，選取第一排序中第一個文檔名稱作為對比文檔名稱，對比文檔名稱所對應的文檔為對比文檔，所述名稱相似度比較模塊比較對比文檔名稱與第一排序中其他文檔名稱的相似度，如果存在某個其他文檔名稱與對比文檔名稱的名稱相似度大于等于名稱相似度閾值，那么該其他文檔名稱所對應的文檔為對比文檔的相關文檔，所述相關文檔數目比較模塊在某對比文檔的相關文檔的文檔數目與所有待合并文檔的文檔數目之比大于等于第一比值閾值，那么對比文檔和該對比文檔的相關文檔均為疑似相近文檔，在某對比文檔的疑似相關文檔的文檔數目與所有待合并文檔的文檔數目之比小于第一比值閾值，按照第一排序的順序選取下一個文檔的名稱作為對比文檔名稱繼續進行篩選出疑似相近文檔；所述相近文檔選取模塊包括文檔名稱選取模塊、候選文檔名稱提取模塊、目標文檔名稱判斷模塊和相近文檔判斷模塊，所述文檔名稱選取模塊從各個疑似相近文檔的文檔名稱任意選取三個名稱長度不一樣的文檔名稱分別為第一文檔名稱、第二文檔名稱和第三文檔名稱，所述候選文檔名稱提取模塊從第一文檔名稱和第二文檔名稱中提取候選文檔名稱，其中，候選文檔名稱為第一文檔名稱和第二文檔名稱中的連續相同的最大部分，所述目標文檔名稱判斷模塊在候選文檔名稱長度與第一文檔名稱長度之比大于等于第二比值閾值，判斷該候選文檔名稱為目標文檔名稱，所述相近文檔判斷模塊在某個疑似相近文檔的文檔名稱中包含目標文檔名稱，判斷該疑似相近文檔為目標文檔名稱的相近文檔。