[發明專利]一種基于大數據的數據分類存儲系統及方法

有效

• 申請號: 202110841855.7
• 申請日: 2021-07-26
• 公開（公告）號: CN113590531B
• 公開（公告）日: 2021-12-31
• 發明（設計）人: 姜義凡
• 申請（專利權）人: 浙江匯鼎華鏈科技有限公司
• 主分類號: G06F16/11
• 分類號: G06F16/11;G06Q10/10
• 代理公司: 南京明杰知識產權代理事務所(普通合伙) 32464
• 代理人: 賈娜娜

本發明公開了一種基于大數據的數據分類存儲系統及方法，所述數據存儲系統包括數據庫、預判斷模塊、考察地址劃分模塊、第一地址分析模塊和第二地址分析模塊，所述數據庫按照級別從高到低依次包括常用數據庫、臨時數據庫和垃圾箱，所述常用數據庫中的文件不限制存儲時長，所述臨時數據庫中的文件的存儲時長為第一存儲時長，所述垃圾箱中的文件的存儲時長為第二存儲時長，所述第一存儲時長大于第二存儲時長，所述預判斷模塊用于在預設時間段內接收到一批文件時，設該批文件為待分類文件，獲取各個待分類文件的發件地址，判斷某個待分類文件的發件地址是否為黑名單中的發件地址。

技術領域

本發明涉及數據分類存儲技術領域，具體為一種基于大數據的數據分類存儲系統及方法。

背景技術

隨著社會信息化的進度日益加快，越來越多的企業通過互聯網等信息技術來進行辦公。無論是企業內部的部門之間還是企業內部與企業外部之間，在通過信息技術辦公的過程中都會產生很多的行政文件數據，這些行政文件數據有的極為重要，需要進行長期存儲保存，有的是無關痛癢，即使不處理也沒有關系，如果不對這些行政文件數據進行分類，會導致文件數據的保存不當，容易導致丟失；現有技術中，往往是通過人為的對這些行政文件數據進行分類、整合，但這種人為的分類方式效率較低。

發明內容

本發明的目的在于提供一種基于大數據的數據分類存儲系統及方法，以解決上述背景技術中提出的問題。

為了解決上述技術問題，本發明提供如下技術方案：一種基于大數據的數據分類存儲系統，所述數據存儲系統包括數據庫、預判斷模塊、考察地址劃分模塊、第一地址分析模塊、第二地址分析模塊和未讀標識添加模塊，所述數據庫按照級別從高到低依次包括常用數據庫、臨時數據庫和垃圾箱，所述常用數據庫中的文件不限制存儲時長，所述臨時數據庫中的文件的存儲時長為第一存儲時長，所述垃圾箱中的文件的存儲時長為第二存儲時長，所述第一存儲時長大于第二存儲時長，所述預判斷模塊用于在預設時間段內接收到一批文件時，設該批文件為待分類文件，獲取各個待分類文件的發件地址，判斷某個待分類文件的發件地址是否為黑名單中的發件地址，在判斷發件地址是黑名單中的發件地址時，將該待分類文件存入垃圾箱，在判斷發件地址為黑名單以外的發件地址時，設待分類文件的發件地址為考察地址，并令考察地址劃分模塊將考察地址劃分為第一地址和第二地址，所述第一地址分析模塊對第一地址所發送的文件進行分析，判斷各個第一地址所對應的待分類文件的存儲方式，所述第二地址分析模塊從第一地址中選取第二地址的關聯地址，根據第一地址所對應的待分類的文件的存儲方式確認第二地址所對應的待分類文件的存儲方式，所述未讀標識添加模塊用于在文件存入相應的數據庫中時給文件添加相應的未讀標識。

進一步的，所述考察地址劃分模塊包括第一相似度獲取模塊、參照文件選取模塊和地址分類模塊，所述第一相似度獲取模塊采集最近一段時間接收到的各批文件所對應的發送地址與該批待分類文件的考察地址的相似度為第一相似度，所述參照文件選取模塊將各批文件所對應的第一相似度按照從大到小的順序排序，選取排序第一所對應的那批文件為參照文件，所述地址分類模塊獲取參照文件的發件地址與考察地址的交集集合中的發件地址為第一地址，待分類文件的發件地址中除第一地址以外的發件地址為第二地址。

進一步的，所述第一地址分析模塊包括回點次數獲取模塊、回點次數比較模塊和第一存儲指數比較模塊，所述回點次數獲取模塊用于獲取各個第一地址所對應的參照文件的回點次數，其中，所述回點次數為在接收閱讀文件之后再次點擊閱讀文件的次數，所述回點次數比較模塊用于判斷回點次數是否大于等于1，在某個第一地址所對應的回點次數大于等于1的時候，將該第一地址所對應的待分類文件存入常用數據庫，在某個第一地址所對應的回點次數小于1的時候，所述第一存儲指數比較模塊采集接收到各個第一地址發送的參照文件的閱讀時長與參照文件的總閱讀時長的比值為第一存儲指數，在第一存儲指數大于等于第一存儲閾值時，將該第一地址所對應的待分類文件存入常用數據庫，在第一存儲指數小于第一存儲閾值時，將該第一地址所對應的待分類文件存入臨時數據庫。