[發明專利]一種大數據快速存儲系統

有效

• 申請號: 201910240092.3
• 申請日: 2019-03-27
• 公開（公告）號: CN109977121B
• 公開（公告）日: 2022-10-14
• 發明（設計）人: 徐大為
• 申請（專利權）人: 上海鳴鸞互聯網科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22
• 代理公司: 北京勁創知識產權代理事務所(普通合伙) 11589
• 代理人: 王闖

本發明涉及大數據的技術領域，特別是涉及一種大數據快速存儲系統，其減少重復數據存儲并且快速存儲數據的；數據上行單元，用于接收待存儲數據并轉發；存儲器，用于接收與保存待存儲數據，并且對已存儲數據進行讀取、寫入、分片和刪除，并將已存儲數據依照協議拆分為文件頭和文件數據；存儲器還包括：文件頭保存單元，用于保存已存儲數據的文件頭，并將文件頭映射在文件分配表中，其中文件頭包括文件名、文件屬性和占用簇號等信息；文件數據保存單元，用于保存已存儲數據的文件數據，其中文件數據為已存儲數據的真實數據；自檢單元，用于讀取文件數據保存單元中的已存儲數據的文件數據。

技術領域

本發明涉及大數據的技術領域，特別是涉及一種大數據快速存儲系統。

背景技術

隨著互聯網和信息技術的發展，服務器中的數據呈幾何級數增長，使社會進入大數據時代。在此背景下，數據的重要性正在不斷增強。數據作為大數據應用的基礎，其數據存儲亦尤為重要。數據的幾何倍數增長，需要龐大存儲器存儲數據，其中重復的數據極大的浪費了存儲器的儲存空間，并且快速存儲數據也已成為迫切需要解決的現實問題

發明內容

為解決上述技術問題，本發明提供一種減少重復數據存儲并且快速存儲數據的的大數據快速存儲系統。

本發明的一種大數據快速存儲系統，數據上行單元，用于接收待存儲數據并轉發；

存儲器，用于接收與保存待存儲數據，并且對已存儲數據進行讀取、寫入、分片和刪除，并將已存儲數據依照協議拆分為文件頭和文件數據；

存儲器還包括：

文件頭保存單元，用于保存已存儲數據的文件頭，并將文件頭映射在文件分配表中，其中文件頭包括文件名、文件屬性和占用簇號等信息；

文件數據保存單元，用于保存已存儲數據的文件數據，其中文件數據為已存儲數據的真實數據；

自檢單元，用于讀取文件數據保存單元中的已存儲數據的文件數據，并且對單個已存儲數據的文件數據依照固定數據抽取規則抽取固定組數的抽取數據并發送；

特征樣本數據保存單元，用于接收抽取數據，并且讀取對應的文件頭保存單元中的已存儲數據的文件頭，并將對應的已存儲數據的文件頭與抽取數據一同保存為特征樣本數據；

外檢單元，用于讀取待存儲數據的文件數據，并且對單個待存儲數據的文件數據依照固定數據抽取規則抽取固定組數的抽取數據并發送；

特征樣本數據比對單元，用于讀取并搜索全部特征樣本數據保存單元中的抽取數據并與外檢單元發送的待存儲數據的抽取數據進行比對；當全部特征樣本數據保存單元中的抽取數據存在與外檢單元發送的待存儲數據的抽取數據完全一致的情況時，設置禁止上傳信號賦值為“1”并發送；當全部特征樣本數據保存單元中的抽取數據存在與外檢單元發送的待存儲數據的抽取數據不完全一致的情況時，設置禁止上傳信號賦值為“0”并發送；

數據控制單元，用于接收特征樣本數據比對單元發送的禁止上傳信號；當禁止上傳信號為“1”時，禁止上行單元向存儲器傳輸的待存儲數據，并且清除存儲器中的待存儲數據的緩存；當禁止上傳信號為“0”時，建立上行單元與存儲器之間的數據傳輸傳輸并傳輸待存儲數據；

重組訪問連接信息保存單元，用于接收禁止上傳信號并生成待存儲數據在存儲器的訪問地址并發送；

數據下行單元，用于接收并轉發重組訪問連接信息保存單元的訪問地址并轉發。

本發明的一種大數據快速存儲系統，重組訪問連接信息保存單元還包括：

待存儲數據分析單元，用于將待存儲數據依照協議拆分為文件頭和文件數據并發送待存儲數據的文件頭；