[發(fā)明專利]面向工業(yè)4.0的時空大數(shù)據(jù)分布式存儲檢索方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201911063015.1
• 申請日: 2019-10-31
• 公開（公告）號: CN112749160A
• 公開（公告）日: 2021-05-04
• 發(fā)明（設(shè)計）人: 胡于龍;周明;沈春鋒;黃明
• 申請（專利權(quán)）人: 上海寶信軟件股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2458;G06F16/27
• 代理公司: 上海漢聲知識產(chǎn)權(quán)代理有限公司 31236
• 代理人: 胡晶

本發(fā)明提供了一種面向工業(yè)4.0的時空大數(shù)據(jù)分布式存儲檢索方法，其特征在于，包括：數(shù)據(jù)接收步驟：接收窄帶物聯(lián)網(wǎng)實時產(chǎn)生的時空大數(shù)據(jù)；時空大數(shù)據(jù)圖層存儲步驟：將時空大數(shù)據(jù)圖層存儲到ElasticSearch中；時空大數(shù)據(jù)圖層檢索步驟：對時空大數(shù)據(jù)圖層進行檢索；時空大數(shù)據(jù)存儲步驟：將時空大數(shù)據(jù)存儲到ElasticSearch中；時空大數(shù)據(jù)檢索步驟：在ElasticSearch中檢索時空大數(shù)據(jù)；時空過程大數(shù)據(jù)存儲步驟：將時空過程大數(shù)據(jù)存儲到ElasticSearch中；時空過程大數(shù)據(jù)檢索步驟：在ElasticSearch中檢索時空過程大數(shù)據(jù)。本發(fā)明充分利用ElasticSearch實時搜索的高性能，極大的提高了時空大數(shù)據(jù)存儲及檢索性能。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)存儲與檢索技術(shù)領(lǐng)域，具體地，涉及一種面向工業(yè)4.0的時空大數(shù)據(jù)分布式存儲檢索方法及系統(tǒng)。

背景技術(shù)

時空大數(shù)據(jù)是同時具有時間和空間維度的大數(shù)據(jù)。2019年9月4日，工業(yè)和信息化部編制了《工業(yè)大數(shù)據(jù)發(fā)展指導(dǎo)意見(征求意見稿)》。《征求意見稿》要求推動5G、NB-IoT等技術(shù)在工業(yè)場景中的應(yīng)用。窄帶物聯(lián)網(wǎng)(Narrow Band Internet of Things，NB-IoT)是萬物互聯(lián)(IoT)網(wǎng)絡(luò)的一個重要分支，萬物互聯(lián)的時代已經(jīng)到來。萬物互聯(lián)時代的一個巨大變化就是相對于傳統(tǒng)的大數(shù)據(jù)，具有時間和空間維度的大數(shù)據(jù)急劇增加，探索更有效的時空大數(shù)據(jù)分布式存儲及檢索方法成為亟待解決的重要問題。

在大數(shù)據(jù)存儲技術(shù)領(lǐng)域，業(yè)內(nèi)基本上都采用Hadoop分布式文件系統(tǒng)HDFS進行分布式存儲，無論是HBASE還是HIVE，都未考慮到大數(shù)據(jù)的時間和空間特性，也未對時空大數(shù)據(jù)的分布式存儲進行優(yōu)化。

在大數(shù)據(jù)檢索技術(shù)領(lǐng)域，業(yè)內(nèi)通常有三種解決方案：基于開源項目ElasticSearch的解決方案，基于開源項目Solr的解決方案，自行開發(fā)檢索算法的解決方案。自行開發(fā)檢索算法，開發(fā)和維護成本高，且不一定比開源項目的檢索性能高。Hadoop生態(tài)圈中Solr應(yīng)用較廣，Solr專注于文本搜索，而Elasticsearch則常用于查詢、過濾和分組分析統(tǒng)計，Elasticsearch技術(shù)定位也使得這種查詢更為高效。另外，雖然Solr查詢快，但更新索引時慢(即插入和刪除慢)，針對萬物互聯(lián)時代窄帶物聯(lián)網(wǎng)實時產(chǎn)生的海量時空大數(shù)據(jù)，Solr分布式檢索方案無法提供實時檢索服務(wù)。由于本發(fā)明的實現(xiàn)技術(shù)方案不僅需要提供高效的文本搜索，同時還需要復(fù)雜的時間序列搜索和聚合能力，因此Elasticsearch是更為合理和有效的選擇。

專利文獻CN105426491A(申請?zhí)?01510818539.2)公開了一種時空地理大數(shù)據(jù)的檢索方法及系統(tǒng)，存儲時空數(shù)據(jù)時，根據(jù)時空數(shù)據(jù)生成時空編碼，然后存入數(shù)據(jù)庫，所述時空數(shù)據(jù)包含空間屬性及時間屬性，生成時空編碼時，依次計算經(jīng)度、緯度、時間三個維度的二叉樹的葉子節(jié)點的范圍，并將經(jīng)度、緯度、時間的二進制編碼交叉編碼；進行時空范圍查詢時，根據(jù)所要查詢的時間及空間范圍，轉(zhuǎn)換生成相應(yīng)時空編碼，然后通過與數(shù)據(jù)庫中存儲的時空編碼進行字符串模糊匹配，得到查詢結(jié)果。本發(fā)明基于ElasticSearch自帶的索引，而該專利基于Oracle NoSQL自帶的索引。本發(fā)明采用GUID進行唯一標(biāo)識資源目錄、時空大數(shù)據(jù)圖層、時空大數(shù)據(jù)、時空過程大數(shù)據(jù)，而該專利將經(jīng)度、緯度、時間的二進制編碼交叉編碼。本發(fā)明檢索方法基于ElasticSearch提供的Search APIs，而該專利自創(chuàng)檢索方法。