[發(fā)明專(zhuān)利]一種基于FPGA的數(shù)據(jù)流字段處理方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202010132645.6
• 申請(qǐng)日: 2020-02-29
• 公開(kāi)（公告）號(hào): CN111338696B
• 公開(kāi)（公告）日: 2022-11-25
• 發(fā)明（設(shè)計(jì)）人: 王媛麗;劉鈞鍇;郝銳
• 申請(qǐng)（專(zhuān)利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類(lèi)號(hào): G06F9/38
• 分類(lèi)號(hào): G06F9/38;G06F15/78
• 代理公司: 濟(jì)南舜源專(zhuān)利事務(wù)所有限公司 37205
• 代理人: 劉雪萍

本發(fā)明公開(kāi)一種基于FPGA的數(shù)據(jù)流字段處理方法及裝置，獲得數(shù)據(jù)流中攜帶有字段相關(guān)信息的數(shù)據(jù)特征值；提取數(shù)據(jù)流中的字段數(shù)據(jù)；根據(jù)所獲得數(shù)據(jù)特征值判斷所提取字段數(shù)據(jù)的字段類(lèi)型；基于所判斷字段類(lèi)型對(duì)字段數(shù)據(jù)進(jìn)行解析。本發(fā)明以FPGA平臺(tái)為基礎(chǔ)，通過(guò)數(shù)據(jù)特征值對(duì)數(shù)據(jù)流中的數(shù)據(jù)字段定位與提取處理，整體實(shí)現(xiàn)以流水并行方式處理，增加了吞吐量同時(shí)也降低了處理延時(shí)，且復(fù)用性高，針對(duì)不同的數(shù)據(jù)總線位寬、字段長(zhǎng)度等可靈活變動(dòng)，使得在需求低延時(shí)和高實(shí)時(shí)性的應(yīng)用中得到更高的效率。

技術(shù)領(lǐng)域

本發(fā)明涉及字段處理領(lǐng)域，具體涉及一種基于FPGA對(duì)字段進(jìn)行處理的方法及裝置。

背景技術(shù)

隨著大數(shù)據(jù)、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)、云計(jì)算等技術(shù)的蓬勃發(fā)展，大量的數(shù)據(jù)需要高效的實(shí)時(shí)處理分析。由于數(shù)據(jù)的分析、處理等都會(huì)占用大量的服務(wù)器資源，與此同時(shí)，隨著摩爾定律的失效，CPU計(jì)算能力的增長(zhǎng)已經(jīng)無(wú)法滿(mǎn)足這些業(yè)務(wù)的訴求。

CPU進(jìn)行數(shù)據(jù)并行處理時(shí)，每個(gè)計(jì)算單元處理不同的數(shù)據(jù)包，所有的計(jì)算單元必須按照統(tǒng)一的步調(diào)去做同樣的處理，也就是這些并行的數(shù)據(jù)包必須同時(shí)進(jìn)和同時(shí)出。CPU會(huì)在指令譯碼后幾個(gè)執(zhí)行部件同時(shí)訪問(wèn)內(nèi)存中的數(shù)據(jù)，一次性獲得所需運(yùn)算的數(shù)據(jù)包，按照字段的特性進(jìn)行讀取，提高CPU的單指令數(shù)據(jù)處理的效率。這種處理方式是使用軟件進(jìn)行處理，雖然使用單指令多數(shù)據(jù)流處理，但在有效數(shù)據(jù)分析獲取過(guò)程中處理時(shí)間延遲較大，延時(shí)可達(dá)毫秒級(jí)甚至更大，這在需要低延時(shí)測(cè)量監(jiān)控行業(yè)中是不能容忍的，因此需要高實(shí)時(shí)并能夠低延時(shí)輸出的方法處理和分析數(shù)據(jù)。

發(fā)明內(nèi)容

為解決上述問(wèn)題，本發(fā)明提供一種基于FPGA的數(shù)據(jù)流字段處理方法及裝置，利用FPGA架構(gòu)，實(shí)現(xiàn)低延時(shí)、高吞吐處理，且可針對(duì)不同的數(shù)據(jù)總線位寬、字段長(zhǎng)度靈活變動(dòng)。

本發(fā)明的技術(shù)方案是：一種基于FPGA的數(shù)據(jù)流字段處理方法，包括以下步驟：

獲得數(shù)據(jù)流中攜帶有字段相關(guān)信息的數(shù)據(jù)特征值；

提取數(shù)據(jù)流中的字段數(shù)據(jù)；

根據(jù)所獲得數(shù)據(jù)特征值判斷所提取字段數(shù)據(jù)的字段類(lèi)型；

基于所判斷字段類(lèi)型對(duì)字段數(shù)據(jù)進(jìn)行解析。

進(jìn)一步地，根據(jù)字節(jié)停止位提取數(shù)據(jù)流中的字段數(shù)據(jù)。

進(jìn)一步地，所述根據(jù)字節(jié)停止位提取數(shù)據(jù)流中的字段數(shù)據(jù)，具體為：

判斷字節(jié)最高位是否有設(shè)置停止位；

若有設(shè)置，則該字節(jié)為該字段的最后一個(gè)字節(jié)；

若無(wú)設(shè)置，則下一個(gè)字節(jié)屬于該字段，且繼續(xù)判斷下一個(gè)字節(jié)的最高位是否有設(shè)置，以此類(lèi)推，依次提取出數(shù)據(jù)流中所有字段的字段數(shù)據(jù)。

進(jìn)一步地，數(shù)據(jù)特征值包含n個(gè)bit位，bit位為1表示有效，0表示無(wú)效；

根據(jù)所獲得數(shù)據(jù)特征值判斷所提取字段數(shù)據(jù)的字段類(lèi)型，具體為：

判斷字段數(shù)據(jù)對(duì)應(yīng)于數(shù)據(jù)特征值的哪一個(gè)bit位，根據(jù)所對(duì)應(yīng)bit位確定字段數(shù)據(jù)的字段類(lèi)型。

進(jìn)一步地，判斷字段數(shù)據(jù)對(duì)應(yīng)于數(shù)據(jù)特征值的哪一個(gè)bit位，具體為：

基于數(shù)據(jù)特征值的bit位獲得字段標(biāo)號(hào)和字段有效數(shù)量值；其中字段標(biāo)號(hào)是對(duì)數(shù)據(jù)特征值的bit位從高位到低位依次從0至n-1進(jìn)行標(biāo)號(hào)；字段有效數(shù)量值是指數(shù)據(jù)特征值每一bit位所對(duì)應(yīng)的該bit位與其之前所有bit位所包含的有效字段個(gè)數(shù)總和值；

計(jì)算數(shù)據(jù)流中所接收當(dāng)前字節(jié)與之前所有字節(jié)中所包含停止位個(gè)數(shù)之和，查找到與該值相等的字段數(shù)量值，且對(duì)應(yīng)有效的數(shù)據(jù)特征值 bit位所對(duì)應(yīng)的字段標(biāo)號(hào)，基于該字段標(biāo)號(hào)即可判定所對(duì)應(yīng)的數(shù)據(jù)特征值 bit位。

進(jìn)一步地，字段類(lèi)型包括整型和字符型。