[發(fā)明專利]數(shù)據(jù)處理方法、設(shè)備、系統(tǒng)及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010510922.2
• 申請日: 2020-06-08
• 公開（公告）號: CN111694828A
• 公開（公告）日: 2020-09-22
• 發(fā)明（設(shè)計）人: 李曉東;張翼;王偉;張寧寧
• 申請（專利權(quán)）人: 山東伏羲智庫互聯(lián)網(wǎng)研究院;伏羲科技（菏澤）有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/25
• 代理公司: 北京同立鈞成知識產(chǎn)權(quán)代理有限公司 11205
• 代理人: 張娜;臧建明

本發(fā)明提供一種數(shù)據(jù)處理方法、設(shè)備、系統(tǒng)及存儲介質(zhì)。該方法應(yīng)用于數(shù)據(jù)采集與轉(zhuǎn)換模塊，包括：獲取待處理數(shù)據(jù)；基于協(xié)議緩存數(shù)據(jù)格式，封裝所述待處理數(shù)據(jù)；發(fā)送封裝后的數(shù)據(jù)給數(shù)據(jù)采集中心。由于將獲取到的待處理數(shù)據(jù)基于協(xié)議緩存數(shù)據(jù)格式進行封裝，再將封裝后的數(shù)據(jù)提交至數(shù)據(jù)采集中心進行處理，數(shù)據(jù)采集中心收到的數(shù)據(jù)均為協(xié)議緩存數(shù)據(jù)格式，從而可以有效提升智慧城市的數(shù)據(jù)處理效率，滿足現(xiàn)今社會智慧城市對海量數(shù)據(jù)的處理需求。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法、設(shè)備、系統(tǒng)及存儲介質(zhì)。

背景技術(shù)

隨著全球城市化發(fā)展，城市的治理難度急劇增加，而城市智能化則是提升城市治理能力的重要手段。要實現(xiàn)城市智能化或者智能城市，就必須充分利用數(shù)據(jù)處理，即通過信息化技術(shù)手段來采集和分析城市中的人、設(shè)施、系統(tǒng)等產(chǎn)生的大量數(shù)據(jù)，根據(jù)這些數(shù)據(jù)進行智能化決策，在為城市居民提供高效、便捷的服務(wù)的同時，提高整個城市的運行效率和治理能力。

目前，智慧城市中數(shù)據(jù)處理方案是：數(shù)據(jù)采集設(shè)備將采集到的數(shù)據(jù)逐條提交到數(shù)據(jù)采集中心，由數(shù)據(jù)采集中心在解析數(shù)據(jù)之后，進行轉(zhuǎn)發(fā)或者處理。發(fā)明人發(fā)現(xiàn)該數(shù)據(jù)處理至少存在以下問題：

智慧城市每天產(chǎn)生海量數(shù)據(jù)，需對數(shù)據(jù)采集系統(tǒng)進行不斷地調(diào)整來接收各種來源的數(shù)據(jù)，從而導(dǎo)致智慧城市的數(shù)據(jù)處理效率較低。

發(fā)明內(nèi)容

本發(fā)明提供一種數(shù)據(jù)處理方法、設(shè)備、系統(tǒng)及存儲介質(zhì)，可以有效提升智慧城市的數(shù)據(jù)處理效率。

第一方面，本發(fā)明提供一種數(shù)據(jù)處理方法，包括：

獲取待處理數(shù)據(jù)；

基于協(xié)議緩存數(shù)據(jù)格式，封裝待處理數(shù)據(jù)；

發(fā)送封裝后的數(shù)據(jù)給數(shù)據(jù)采集中心。

可選的，獲取待處理數(shù)據(jù)，包括：

接收并解析原始數(shù)據(jù)；

根據(jù)預(yù)設(shè)校驗規(guī)則對解析后的數(shù)據(jù)進行校驗；

確定校驗成功的數(shù)據(jù)為待處理數(shù)據(jù)。

可選的，基于協(xié)議緩存數(shù)據(jù)格式，封裝待處理數(shù)據(jù)之前，還包括：

采用預(yù)設(shè)序列化算法，將待處理數(shù)據(jù)序列化為字節(jié)流；

對應(yīng)地，基于協(xié)議緩存數(shù)據(jù)格式，封裝所述待處理數(shù)據(jù)，包括：基于協(xié)議緩存數(shù)據(jù)格式，封裝所述字節(jié)流。

可選的，根據(jù)預(yù)設(shè)校驗規(guī)則對解析后的數(shù)據(jù)進行校驗之后，數(shù)據(jù)處理方法還包括：

丟棄校驗失敗的數(shù)據(jù)。

可選的，預(yù)設(shè)序列化算法，包括：對象簡譜JSON和/或數(shù)據(jù)序列化系統(tǒng)Avro。

可選的，數(shù)據(jù)采集與轉(zhuǎn)換模塊與待處理數(shù)據(jù)的來源方位于同一網(wǎng)絡(luò)。

第二方面，本發(fā)明提供一種數(shù)據(jù)處理設(shè)備，包括：

獲取單元，用于獲取待處理數(shù)據(jù)；

處理單元，用于基于協(xié)議緩存數(shù)據(jù)格式，封裝該待處理數(shù)據(jù)；

發(fā)送單元，用于將序封裝后的數(shù)據(jù)發(fā)送給數(shù)據(jù)采集中心。

可選的，獲取單元具體用于：

接收并解析原始數(shù)據(jù)；

根據(jù)預(yù)設(shè)校驗規(guī)則對解析后的數(shù)據(jù)進行校驗；

確定校驗成功的數(shù)據(jù)為待處理數(shù)據(jù)。

可選的，處理單元具體用于：采用預(yù)設(shè)序列化算法，將待處理數(shù)據(jù)序列化為字節(jié)流；基于協(xié)議緩存數(shù)據(jù)格式，封裝字節(jié)流。

可選的，獲取單元還用于：丟棄校驗失敗的數(shù)據(jù)。