[發(fā)明專利]一種邊緣端數(shù)據(jù)傳輸與存儲的方法以及裝置

在審

• 申請?zhí)枺?/td>: 202110431076.X
• 申請日: 2021-04-21
• 公開（公告）號: CN113032492A
• 公開（公告）日: 2021-06-25
• 發(fā)明（設(shè)計）人: 牛世元
• 申請（專利權(quán)）人: 新奧數(shù)能科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/25;G06F9/54
• 代理公司: 北京嘉科知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11687
• 代理人: 張艷

本發(fā)明適用于數(shù)據(jù)傳輸技術(shù)領(lǐng)域，提供了一種邊緣端數(shù)據(jù)傳輸與存儲的方法以及裝置，該方法包括：數(shù)據(jù)采集模塊根據(jù)采集的邊緣端設(shè)備數(shù)據(jù)創(chuàng)建傳輸初始消息隊列至第一消息中間件；數(shù)據(jù)處理模塊獲取并處理第一消息中間件中的初始消息隊列，獲得并轉(zhuǎn)發(fā)消息隊列信息和存儲消息隊列信息至第二消息中間件；數(shù)據(jù)存儲模塊獲取并存儲所述存儲消息隊列信息；數(shù)據(jù)轉(zhuǎn)發(fā)模塊獲取轉(zhuǎn)發(fā)消息隊列信息。本發(fā)明能夠防止數(shù)據(jù)傳輸過程中，數(shù)據(jù)量增大或頻繁度增加容易出現(xiàn)數(shù)據(jù)堆積的情況，避免了邊緣端設(shè)備數(shù)據(jù)在邊緣端的服務(wù)宕機(jī)情況下容易造成數(shù)據(jù)丟失的問題，還能夠在在大數(shù)據(jù)量下進(jìn)行查詢，快速返回查詢結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明屬于數(shù)據(jù)傳輸技術(shù)領(lǐng)域，尤其涉及一種邊緣端數(shù)據(jù)傳輸與存儲的方法以及裝置。

背景技術(shù)

目前相關(guān)技術(shù)中，數(shù)據(jù)傳輸大多是通過Http協(xié)議((Hypertext TransferProtocol，超文本傳輸協(xié)議)或Grpc協(xié)議(Google Remote Procedure Call，Google遠(yuǎn)程過程調(diào)用)進(jìn)行數(shù)據(jù)傳輸，隨著數(shù)據(jù)量增大或頻繁度增加容易出現(xiàn)數(shù)據(jù)堆積的情況，甚至邊緣端的一個服務(wù)或幾個服務(wù)宕機(jī)也會造成數(shù)據(jù)丟失的情況發(fā)生。

邊緣端在海量數(shù)據(jù)情況下使用普通的內(nèi)嵌數(shù)據(jù)庫，例如Sqlite(一種軟件庫)、H2(一種數(shù)據(jù)庫)對于大數(shù)據(jù)量的存儲與查詢性能差，而在大數(shù)據(jù)量下進(jìn)行查詢，一方面會加大內(nèi)存與cpu(central processing unit，中央處理器)開銷，另一方面對數(shù)據(jù)庫的性能也是一種嚴(yán)峻考驗，并且查詢結(jié)果返回時間也會很長。類似Mysql相對于大型的數(shù)據(jù)庫，其內(nèi)存、cpu、磁盤相對較小的硬件來說更是無法支撐的。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實(shí)施例提供了一種邊緣端數(shù)據(jù)傳輸與存儲的方法以及裝置，以解決現(xiàn)有技術(shù)中數(shù)據(jù)傳輸過程隨著數(shù)據(jù)量增大或頻繁度增加容易出現(xiàn)數(shù)據(jù)堆積的情況、邊緣端的服務(wù)宕機(jī)會造成數(shù)據(jù)丟失的情況發(fā)生以及大型的數(shù)據(jù)庫內(nèi)存、cpu、磁盤相對較小的硬件來說難以支撐的問題。

本發(fā)明實(shí)施例的第一方面，提供了一種邊緣端數(shù)據(jù)傳輸與存儲的方法，包括：數(shù)據(jù)采集模塊根據(jù)采集的邊緣端設(shè)備數(shù)據(jù)創(chuàng)建初始消息隊列，并將所述初始消息隊列傳輸至第一消息中間件；

當(dāng)數(shù)據(jù)處理模塊獲取到所述第一消息中間件中的初始消息隊列時，所述數(shù)據(jù)處理模塊根據(jù)數(shù)據(jù)存儲模塊與數(shù)據(jù)轉(zhuǎn)發(fā)模塊的需求對所述初始消息隊列進(jìn)行處理，獲得轉(zhuǎn)發(fā)消息隊列信息和存儲消息隊列信息，并將所述轉(zhuǎn)發(fā)消息隊列信息和所述存儲消息隊列信息傳輸至第二消息中間件；

數(shù)據(jù)存儲模塊獲取到所述存儲消息隊列信息時，對所述存儲消息隊列信息進(jìn)行存儲；

數(shù)據(jù)轉(zhuǎn)發(fā)模塊獲取到所述轉(zhuǎn)發(fā)消息隊列信息時，對所述轉(zhuǎn)發(fā)消息隊列信息進(jìn)行轉(zhuǎn)發(fā)。

本發(fā)明實(shí)施例的第二方面，提供了一種邊緣端數(shù)據(jù)傳輸與存儲的裝置，包括：

數(shù)據(jù)采集模塊，用于數(shù)據(jù)采集模塊根據(jù)采集的邊緣端設(shè)備數(shù)據(jù)創(chuàng)建初始消息隊列，并將所述初始消息隊列傳輸至第一消息中間件；

第一消息中間件，用于存儲所述初始消息隊列；

數(shù)據(jù)處理模塊，用于當(dāng)數(shù)據(jù)處理模塊獲取到所述第一消息中間件中的初始消息隊列時，所述數(shù)據(jù)處理模塊根據(jù)數(shù)據(jù)存儲模塊與數(shù)據(jù)轉(zhuǎn)發(fā)模塊的需求對所述初始消息隊列進(jìn)行處理，獲得轉(zhuǎn)發(fā)消息隊列信息和存儲消息隊列信息，并將所述轉(zhuǎn)發(fā)消息隊列信息和所述存儲消息隊列信息傳輸至第二消息中間件；

第二消息中間件，用于存儲所述轉(zhuǎn)發(fā)消息隊列信息和所述存儲消息隊列信息；

數(shù)據(jù)存儲模塊，用于數(shù)據(jù)存儲模塊獲取到所述存儲消息隊列信息時，對所述存儲消息隊列信息進(jìn)行存儲；

數(shù)據(jù)轉(zhuǎn)發(fā)模塊，用于數(shù)據(jù)轉(zhuǎn)發(fā)模塊獲取到所述轉(zhuǎn)發(fā)消息隊列信息時，對所述轉(zhuǎn)發(fā)消息隊列信息進(jìn)行轉(zhuǎn)發(fā)。