[發明專利]一種基于FPGA的大數據量存儲文件管理方法

在審

• 申請號: 202011521951.5
• 申請日: 2020-12-21
• 公開（公告）號: CN112650448A
• 公開（公告）日: 2021-04-13
• 發明（設計）人: 業瀚青;唐遒;李磊;張健偉;郭小晨;田弘博
• 申請（專利權）人: 中國航天科工集團八五一一研究所
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 朱沉雁

本發明公開了一種基于FPGA的大數據量存儲文件管理方法，采用FPGA硬件實現高速固態存儲器接口，充分利用FPGA可編程優勢，增強靈活性移植性，搭載的高速DDR3緩存芯片，解決大數據突發傳輸的需求，同時平衡高速固態盤存儲器數據寫入速率的波動性；DSP處理器實現文件信息/固態存儲器數據回讀的接收與處理；加入高速eMMC存儲芯片，用作存儲文件信息數據，加入eMMC存儲器的目的是使得大數據能不間斷的寫入到固態存儲器中保證數據寫入的持續性。

技術領域

本發明屬于數據存儲領域，具體涉及一種基于FPGA的大數據量存儲文件管理方法。

背景技術

隨著現代戰場信號環境的日益復雜多變，戰場上新體制雷達、未知信號、復雜波形層出不窮，同時前端采樣率和接收機信號分辨率的提高，使得戰場電磁數據信息爆發式增長；有時無法實時分析外界電磁環境數據；對數據存儲并支持事后回讀分析的需求不斷增強。為此，大量數據存儲與管理的需求日益增強。較早的方法采用計算機掛載磁盤陣列進行數據存儲，或者FPGA掛載固態硬盤進行數據采集直接存儲，但都會帶來很多弊端，比如計算機掛磁盤陣列會導致設備非常龐大，無法滿足輕量化需求；而FPGA數據直采存儲，無法對不同的數據進行分類管理，會導致數據回讀的單一性。

發明內容

本發明的目的在于提供一種基于FPGA的大數據量存儲文件管理方法，滿足設備輕量化需求以及回讀數據種類的多樣性。本發明利用FPGA的高帶寬優勢，完成大數據的采集，通過特定的編碼模塊，打入特殊編碼字符，這些字符是為了構建文件信息，而后流入高速DDR緩存，從DDR中讀出數據時，寫入到后端固態硬盤中；寫入數據的同時需要記錄后端的固態盤實時寫入扇區地址、寫入數據長度、寫入時間、數據類型和文件名信息，將這些信息形成文件信息條目記錄于高速eMMC中存儲。根據數據吞吐率大小可以靈活改變FPGA掛載固態盤數量。

實現本發明目的的技術解決方案為：一種基于FPGA的大數據量存儲文件管理方法，所述大數據量大于1GB，具體包括以下步驟：

步驟1、FPGA接收原始大數據，對數據流添加特殊的編碼字符，得到編碼后的數據流，轉入步驟2；

步驟2、對編碼后的數據流實時寫入到高速DDR3緩存中，平衡固態存儲器寫入速率的波動性，轉入步驟3；

步驟3、讀出步驟2中編碼后的數據流，并對其編碼字符進行檢測，記錄當前扇區地址，當L2/L3數據寫完后，更新L2/L3文件信息中的數據長度信息，最后完成存儲時長時，生成L1文件信息，轉入步驟4；

步驟4、步驟3中的包含特殊編碼的數據流寫入到固態存儲器中進行儲存，轉入步驟5；

步驟5、步驟3中生成的L1、L2和L3文件信息打包整合發送給DSP處理器，轉入步驟6；

步驟6、步驟5中接收到的L1、L2、L3文件信息在DSP處理器中進行分類整合，規劃寫入的eMMC存儲地址，啟動eMMC寫操作，轉入步驟7；

步驟7、DSP處理器接收到文件信息同步指令后，將eMMC中存儲的文件信息上報到服務器，轉入步驟8；

步驟8、DSP處理器接收到讀控制指令后，將指令轉發給FPGA，FPGA對讀指令進行解析，提取出扇區起始地址和讀取總長度，將對應的數據從固態存儲器中讀出轉發給DSP處理器，由DSP處理器進行轉發上報。

本發明與現有技術相比，其顯著優點在于：

（1）本發明采用了FPGA來實現文件管理的功能，實現輕量化。

（2）數據回讀簡單易于管理，文件信息的管理直接對應大數據的管理，管理軟件的數據處理壓力大大降低。

附圖說明

圖1為本發明所述的基于FPGA的大數據量存儲文件管理方法數據寫入流程圖。

圖2為本發明所述的基于FPGA的大數據量存儲文件管理方法數據讀出流程圖。

圖3為本發明數據流添加特殊編碼字符結構示意圖。