[發明專利]一種基于FPGA的大數據量存儲文件管理方法

在審

• 申請號: 202011521951.5
• 申請日: 2020-12-21
• 公開（公告）號: CN112650448A
• 公開（公告）日: 2021-04-13
• 發明（設計）人: 業瀚青;唐遒;李磊;張健偉;郭小晨;田弘博
• 申請（專利權）人: 中國航天科工集團八五一一研究所
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 朱沉雁

1.一種基于FPGA的大數據量存儲文件管理方法，其特征在于，所述大數據量大于1GB，具體包括以下步驟：

步驟1、FPGA接收原始大數據，對數據流添加特殊的編碼字符，得到編碼后的數據流，轉入步驟2；

步驟2、對編碼后的數據流實時寫入到高速DDR3緩存中，平衡固態存儲器寫入速率的波動性，轉入步驟3；

步驟3、讀出步驟2中編碼后的數據流，并對其編碼字符進行檢測，記錄當前扇區地址，當L2/L3數據寫完后，更新L2/L3文件信息中的數據長度信息，最后完成存儲時長時，生成L1文件信息，轉入步驟4；

步驟4、步驟3中的包含特殊編碼的數據流寫入到固態存儲器中進行儲存，轉入步驟5；

步驟5、步驟3中生成的L1、L2和L3文件信息打包整合發送給DSP處理器，轉入步驟6；

步驟6、步驟5中接收到的L1、L2、L3文件信息在DSP處理器中進行分類整合，規劃寫入的eMMC存儲地址，啟動eMMC寫操作，轉入步驟7；

步驟7、DSP處理器接收到文件信息同步指令后，將eMMC中存儲的文件信息上報到服務器，轉入步驟8；

步驟8、DSP處理器接收到讀控制指令后，將指令轉發給FPGA，FPGA對讀指令進行解析，提取出扇區起始地址和讀取總長度，將對應的數據從固態存儲器中讀出轉發給DSP處理器，由DSP處理器進行轉發上報。

2.根據權利要求1所述的一種基于FPGA的大數據量存儲文件管理方法，其特征在于，步驟1中，對原始大數據流添加特殊的編碼字符，步驟如下：

步驟11、首先將輸入的大數據量分成若干個段，這些段數據以自定義決策進行分割，最終形成單個文件數據；

步驟12、對每段打入數據幀頭A，包含創建時間戳、數據類型、創建者和文件名；幀頭A中包含易于檢測的特殊字符0xC2C2C2C2，數據幀頭長度為1KB；

步驟13、數據幀頭A緊跟大數據流，也即數據載荷D，以1KB為最小數據粒度，不足補零；數據載荷D中打入特殊字符0xC3C3C3C3，形成獨立的小數據段；

步驟14、在數據載荷D后加入數據幀尾B，包含數據載荷D數據長度，幀尾B包含易于檢測的特殊字符0xD1D1D1D1，如果是最后數據，則為0xD2D2D2D2，數據幀尾長度同樣為1KB；

數據流經過編碼后，在保留原始數據的同時，為后端實現數據文件構建基礎，每A+D+B構建1個文件，將大數據分為若干個文件。

3.根據權利要求2所述的一種基于FPGA的大數據量存儲文件管理方法，其特征在于，將大數據分為若干個文件，相鄰兩個文件之間可以連續也可以斷開，數據流靈活進行分割。

4.根據權利要求2所述的一種基于FPGA的大數據量存儲文件管理方法，其特征在于，步驟2中，對編碼后的數據流實時寫入到高速DDR3緩存中，平衡固態存儲器寫入速率的波動性，具體包括以下步驟：

步驟21、將編碼打包后的數據流經過FIFO預先緩存，調整時序節拍與時鐘隔離；

步驟22、系統復位后進入初始化狀態，當預先緩存FIFO數據不為0時，進入檢測讀寫，當判斷步驟21中的預先緩存FIFO數據量大于等于1KB時，啟動執行寫DDR3進程，將預先緩存FIFO中的數據轉存到DDR3中，寫完1KB，回到檢測寫讀狀態；

步驟23、在執行寫讀狀態時，利用寫空閑時，去檢測讀DDR3 FIFO是否可以允許傳輸，若是并且DDR3中數據量大于1KB時，啟動執行讀進程；將DDR3中數據化讀出寫入到讀DDR3FIFO中并對外輸出；執行讀完1KB時，回到檢測寫讀狀態；

步驟24、當檢測到0xD2D2D2D2特殊字符時，數據讀空時返回初始化狀態。