[發明專利]一種新型流式大數據平臺硬件架構及其實現方法

在審

• 申請號: 202011509853.X
• 申請日: 2020-12-19
• 公開（公告）號: CN112579511A
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 祝欣;王吟吟;邱修林;葉磊;柯亞琪;楊余旺;徐磊
• 申請（專利權）人: 南京理工大學
• 主分類號: G06F15/173
• 分類號: G06F15/173
• 代理公司: 北京盛凡智榮知識產權代理有限公司 11616
• 代理人: 孫鑫

1.一種新型流式大數據平臺硬件架構，其特征在于，所述架構包括：

在每臺服務器上安裝一塊FPGA，每塊FPGA之間通過高速網絡連接，所述FPGA用于實現控制指令傳輸、提供計算任務的分流控制。

2.根據權利要求1所述的架構，其特征在于，所述架構采用實時計算框架，通過系統內存進行計算、索引、優化命令執行，其中，所述框架針對不同數量級的數據采取不同的數據計算方法。

3.一種新型流式大數據平臺硬件架構的實現方法，其特征在于，所述方法包括：

將FPGA系統設置在網絡的數據鏈路層，利用千兆以太網口收發以太網幀；其中，所述以太網幀中封裝了數據包，數據包的凈荷里存放著接下來所做的字符串匹配所需要的模式字符串和文本字符串；

FPGA系統在接收到一個數據幀后，會傳給FPGA芯片，通過FPGA芯片對幀內所有數據進行操作處理；

FPGA在接收了這樣一個數據幀后，首先是存到RAM里，再進一步對數據進行處理，通過以太網幀的固定結構準確找到在FPGA中的RAM里存下來的數據幀內部的數據。

4.根據權利要求3所述的方法，其特征在于，所述方法還包括：物聯網終端把感知的數據分別封裝在不同的數據包中，通過以太網幀的形式傳入FPGA流處理系統，系統利用端口號來對其進行區分，并進行處理，以完成不同終端的處理。

5.根據權利要求3所述的方法，其特征在于，所述方法還包括：

以SDTP接口的形式實時的接受XDR數；

采用卡夫卡工具實現數據輸入到流處理隊列的轉換過程；

利用火花流框架或風暴框架進行信息粗粒度的數據處理分析得到粗粒度摘要數據；

將所述粗粒度摘要數據計算結果傳輸到kafka實時處理隊列中。

6.根據權利要求3所述的方法，其特征在于，所述方法支持hbase柱狀存儲數據庫，以快速有效地查詢并分析和生成數據，在存儲的大數據達到一定規模后，使用hbase數據庫。

7.根據權利要求3所述的方法，其特征在于，所述方法還包括對信息傳輸安全性進行保障，所述方法包括：

采用TCP作為數據傳輸協議；

高速探頭實時檢測每個用戶的每一個數據包；

源數據包與各自相關的確認和重傳信息；

當數據包在傳輸過程中丟失時，高速探頭計算每個用戶的TCP數據流的丟失率；

通過網絡的特定路由實現探針對數據流中的每個分組，將每個用戶的個別TCP會話損失率映射到用戶的傳輸路徑。

8.一種電子設備，包括存儲器和處理器，所述存儲器用于存儲計算機程序；所述處理器用于執行所述計算機程序，以實現根據權利要求3-7中任意一項所述的方法。

9.一種計算機可讀存儲介質，所述計算機可讀存儲介質上存儲計算機程序，所述計算機程序在被處理器執行時實現根據權利要求3-7中任意一項所述的方法。