[發(fā)明專利]一種大數(shù)據(jù)處理的監(jiān)測(cè)系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110949344.7
• 申請(qǐng)日: 2021-11-01
• 公開（公告）號(hào): CN113885366A
• 公開（公告）日: 2022-01-04
• 發(fā)明（設(shè)計(jì)）人: 舒琳;蒿杰;梁俊;宋亞芳;覃柱勝;盧進(jìn);范秋香;方桂鈿
• 申請(qǐng)（專利權(quán)）人: 芯跳科技（廣州）有限公司;廣東人工智能與先進(jìn)計(jì)算研究院;中國科學(xué)院自動(dòng)化研究所
• 主分類號(hào): G05B19/042
• 分類號(hào): G05B19/042
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 王治東

本發(fā)明提供一種大數(shù)據(jù)處理的監(jiān)測(cè)系統(tǒng)及方法，涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，該系統(tǒng)包括：上位機(jī)控制模塊、協(xié)議解析模塊以及運(yùn)行監(jiān)測(cè)模塊，其中所述數(shù)據(jù)采集緩存模塊、所述數(shù)據(jù)預(yù)處理模塊、所述數(shù)據(jù)計(jì)算模塊、所述處理結(jié)果緩存模塊、所述處理結(jié)果打包模塊和所述萬兆網(wǎng)模塊均與所述協(xié)議解析模塊以及所述運(yùn)行監(jiān)測(cè)模塊建立連接，所述上位機(jī)程序控制模塊、所述運(yùn)行監(jiān)測(cè)模塊與所述協(xié)議解析模塊建立連接，本發(fā)明實(shí)現(xiàn)快速定位錯(cuò)誤關(guān)鍵點(diǎn)以便于及時(shí)修復(fù)問題，減少經(jīng)濟(jì)損失，極大提高了調(diào)試維護(hù)效率。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種大數(shù)據(jù)處理的監(jiān)測(cè)系統(tǒng)及方法。

背景技術(shù)

在目前的大數(shù)據(jù)處理系統(tǒng)中，一般會(huì)使用現(xiàn)場(chǎng)可編程邏輯門陣列(FieldProgrammable Gate Array，F(xiàn)PGA)處理系統(tǒng)采集到的大數(shù)據(jù)，如圖1，通常FPGA大數(shù)據(jù)處理系統(tǒng)可分為數(shù)據(jù)采集緩存模塊10、數(shù)據(jù)預(yù)處理模塊20、數(shù)據(jù)計(jì)算模塊30、處理結(jié)果緩存模塊40、處理結(jié)果打包模塊50和萬兆網(wǎng)模塊60，各個(gè)模塊按照不同的大數(shù)據(jù)處理需求對(duì)采集系統(tǒng)采集到的大數(shù)據(jù)進(jìn)行相應(yīng)的處理計(jì)算，最終可以將處理的結(jié)果以用戶數(shù)據(jù)包格式通過萬兆網(wǎng)發(fā)送至存儲(chǔ)服務(wù)器用于科學(xué)觀測(cè)研究，萬兆網(wǎng)發(fā)送的數(shù)據(jù)幀幀頭會(huì)包含數(shù)據(jù)的相關(guān)信息，上位機(jī)通過數(shù)據(jù)幀頭和包含的數(shù)據(jù)是否正常判斷接收到的數(shù)據(jù)是否正確。

FPGA大數(shù)據(jù)處理系統(tǒng)受到環(huán)境溫度、環(huán)境濕度、硬件老化、器件損壞等因素影響，有可能會(huì)導(dǎo)致處理的數(shù)據(jù)出現(xiàn)異常或者錯(cuò)誤，僅通過數(shù)據(jù)幀包含的數(shù)據(jù)是否正常判斷接收到的數(shù)據(jù)是否正確，存在無法及時(shí)發(fā)現(xiàn)錯(cuò)誤的缺陷。FPGA大數(shù)據(jù)處理系統(tǒng)的處理流量十分龐大，每秒鐘可達(dá)幾百Gb，若是有部分?jǐn)?shù)據(jù)幀出現(xiàn)錯(cuò)誤，通常難以發(fā)現(xiàn)錯(cuò)誤，且一旦發(fā)現(xiàn)錯(cuò)誤，就需要從代碼開始進(jìn)行分析，定位問題是出現(xiàn)在FPGA系統(tǒng)中還是硬件層面比較困難，定位問題出現(xiàn)的關(guān)鍵點(diǎn)更是需要大量時(shí)間進(jìn)行分析，設(shè)計(jì)調(diào)試以及維護(hù)都十分麻煩，且需要的時(shí)間非常長(zhǎng)，效率低下。

發(fā)明內(nèi)容

本發(fā)明提供一種大數(shù)據(jù)處理的監(jiān)測(cè)系統(tǒng)及方法，用以解決現(xiàn)有技術(shù)中大數(shù)據(jù)系統(tǒng)在定位問題出現(xiàn)的關(guān)鍵點(diǎn)、設(shè)計(jì)調(diào)試以及維護(hù)都十分不便的缺陷，實(shí)現(xiàn)快速定位錯(cuò)誤關(guān)鍵點(diǎn)以便于及時(shí)修復(fù)問題，減少經(jīng)濟(jì)損失，極大提高了調(diào)試維護(hù)效率。

本發(fā)明提供一種大數(shù)據(jù)處理的監(jiān)測(cè)系統(tǒng)，包括順序連接的數(shù)據(jù)采集緩存模塊、數(shù)據(jù)預(yù)處理模塊、數(shù)據(jù)計(jì)算模塊、處理結(jié)果緩存模塊、處理結(jié)果打包模塊和萬兆網(wǎng)模塊，該系統(tǒng)還包括：

上位機(jī)控制模塊、協(xié)議解析模塊以及運(yùn)行監(jiān)測(cè)模塊，其中：

所述數(shù)據(jù)采集緩存模塊、所述數(shù)據(jù)預(yù)處理模塊、所述數(shù)據(jù)計(jì)算模塊、所述處理結(jié)果緩存模塊、所述處理結(jié)果打包模塊和所述萬兆網(wǎng)模塊均與所述協(xié)議解析模塊以及所述運(yùn)行監(jiān)測(cè)模塊建立連接，所述上位機(jī)程序控制模塊、所述運(yùn)行監(jiān)測(cè)模塊與所述協(xié)議解析模塊建立連接。

根據(jù)本發(fā)明提供的一種大數(shù)據(jù)處理的監(jiān)測(cè)系統(tǒng)，所述協(xié)議解析模塊用于解析所述上位機(jī)控制模塊下發(fā)的數(shù)據(jù)包，并根據(jù)所述數(shù)據(jù)包中包含目的寄存器地址以及所述目的寄存器對(duì)應(yīng)的所述控制指令，發(fā)送至對(duì)應(yīng)的目的寄存器，以及，獲取關(guān)鍵信號(hào)和過程數(shù)據(jù)，并將所述關(guān)鍵信號(hào)和所述過程數(shù)據(jù)打包后發(fā)送至所述上位機(jī)控制模塊；其中，目的寄存器為其中一個(gè)或者多個(gè)運(yùn)行監(jiān)測(cè)模塊中的接收寄存器，所述關(guān)鍵信號(hào)包括所述控制指令和狀態(tài)信息。

根據(jù)本發(fā)明提供的一種大數(shù)據(jù)處理的監(jiān)測(cè)系統(tǒng)，所述上位機(jī)控制模塊內(nèi)存儲(chǔ)有編寫完畢的所述數(shù)據(jù)包，所述數(shù)據(jù)包與該系統(tǒng)基于簡(jiǎn)單文件傳輸協(xié)議建立通信。

根據(jù)本發(fā)明提供的一種大數(shù)據(jù)處理的監(jiān)測(cè)系統(tǒng)，所述上位機(jī)控制模塊輸出狀態(tài)檢測(cè)結(jié)果，所述狀態(tài)檢測(cè)結(jié)果用于描述所述上位機(jī)控制模塊抓取的數(shù)據(jù)的情況，用以展示該系統(tǒng)的運(yùn)行狀態(tài)。

根據(jù)本發(fā)明提供的一種大數(shù)據(jù)處理的監(jiān)測(cè)系統(tǒng)，所述運(yùn)行監(jiān)測(cè)模塊嵌入在所述數(shù)據(jù)采集緩存模塊、所述數(shù)據(jù)預(yù)處理模塊、所述數(shù)據(jù)計(jì)算模塊、所述處理結(jié)果緩存模塊、所述處理結(jié)果打包模塊和所述萬兆網(wǎng)模塊中。