[發(fā)明專利]一種數(shù)據(jù)處理方法、裝置和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110521146.0
• 申請日: 2021-05-13
• 公開（公告）號: CN113177049A
• 公開（公告）日: 2021-07-27
• 發(fā)明（設(shè)計）人: 張寧;劉林
• 申請（專利權(quán)）人: 中移智行網(wǎng)絡(luò)科技有限公司;中移（上海）信息通信科技有限公司;中國移動通信集團有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2455;G06F16/36;G06F16/182;G06F16/21
• 代理公司: 北京銀龍知識產(chǎn)權(quán)代理有限公司 11243
• 代理人: 許靜;曹娜

本發(fā)明提供一種數(shù)據(jù)處理方法、裝置和系統(tǒng)，該方法包括：通過批處理，獲取目標(biāo)區(qū)域的歷史交通場景的第一要素數(shù)據(jù)；通過流處理，獲取目標(biāo)區(qū)域的實時交通場景的第二要素數(shù)據(jù)；對第一要素數(shù)據(jù)和第二要素數(shù)據(jù)進行聚合處理，并將聚合后的要素數(shù)據(jù)存儲在目標(biāo)區(qū)域?qū)?yīng)的緩存區(qū)中。本發(fā)明對于數(shù)據(jù)量龐大的歷史交通場景的第一要素數(shù)據(jù)采用批處理的方式導(dǎo)入，對于數(shù)據(jù)量較小的實時交通場景的第二要素數(shù)據(jù)采用流處理的方式導(dǎo)入，提高了數(shù)據(jù)的導(dǎo)入速率，可提供后續(xù)數(shù)據(jù)的檢索分析效率，另外，將導(dǎo)入的第一要素數(shù)據(jù)和第二要素數(shù)據(jù)放在緩存區(qū)中，無需每次重新獲取上述要素數(shù)據(jù)，能夠進一步提高數(shù)據(jù)的檢索分析效率，進而能夠快速地檢索出交通場景下的業(yè)務(wù)數(shù)據(jù)。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)庫技術(shù)領(lǐng)域，特別是指一種數(shù)據(jù)處理方法、裝置和系統(tǒng)。

背景技術(shù)

現(xiàn)有數(shù)據(jù)湖存儲方法，大多泛指異構(gòu)數(shù)據(jù)或全數(shù)據(jù)形態(tài)的數(shù)據(jù)的存儲，描述范圍比較大，涵蓋數(shù)據(jù)形式也比較寬泛，沒有具體針對某一行業(yè)某種場景的具體業(yè)務(wù)數(shù)據(jù)，檢索結(jié)果比較散雜，數(shù)據(jù)分析效率較低，難以快速地檢索出某種具體應(yīng)用場景下的業(yè)務(wù)數(shù)據(jù)，進而導(dǎo)致數(shù)據(jù)湖不具備專業(yè)應(yīng)用能力。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種數(shù)據(jù)處理方法、裝置和系統(tǒng)，以解決基于現(xiàn)有數(shù)據(jù)湖難以快速地檢索出某種具體應(yīng)用場景下的業(yè)務(wù)數(shù)據(jù)的問題。

為達(dá)到上述目的，本發(fā)明的實施例提供一種數(shù)據(jù)處理方法，包括：

通過批處理，獲取目標(biāo)區(qū)域的歷史交通場景的第一要素數(shù)據(jù)；

通過流處理，獲取所述目標(biāo)區(qū)域的實時交通場景的第二要素數(shù)據(jù)；

對所述第一要素數(shù)據(jù)和第二要素數(shù)據(jù)進行聚合處理，并將聚合后的要素數(shù)據(jù)存儲在所述目標(biāo)區(qū)域?qū)?yīng)的緩存區(qū)中。

可選地，所述將聚合后的要素數(shù)據(jù)存儲在所述目標(biāo)區(qū)域?qū)?yīng)的緩存區(qū)中，包括：

將聚合后的要素數(shù)據(jù)以鍵值對K-V的形式存儲在所述目標(biāo)區(qū)域?qū)?yīng)的緩存區(qū)中。

可選地，本發(fā)明實施例的方法，還包括：

根據(jù)所述第一要素數(shù)據(jù)和所述第二要素數(shù)據(jù)，確定目標(biāo)交通場景中目標(biāo)交通事件的發(fā)生次數(shù)；

在所述目標(biāo)交通事件的發(fā)生次數(shù)大于預(yù)設(shè)閾值的情況下，發(fā)送警示信息。

可選地，根據(jù)所述第一要素數(shù)據(jù)和所述第二要素數(shù)據(jù)，確定目標(biāo)交通場景中目標(biāo)交通事件的發(fā)生次數(shù)，包括：

在所述第一要素數(shù)據(jù)和第二要素數(shù)據(jù)中，按照預(yù)設(shè)篩選規(guī)則，篩選出目標(biāo)交通場景對應(yīng)的數(shù)據(jù)；

根據(jù)所述目標(biāo)交通場景對應(yīng)的數(shù)據(jù)，確定目標(biāo)交通事件的發(fā)生次數(shù)。

可選地，所述第一要素數(shù)據(jù)或所述第二要素數(shù)據(jù)包括以下至少一項：

交通參與者；

道路場景；

交通參與者的行為特征；

道路交通標(biāo)志或?qū)傩裕?/p>

路面標(biāo)志；

天氣因素。

可選地，本發(fā)明實施例的方法，還包括：

獲取檢索關(guān)鍵詞；

在所述緩存區(qū)中，基于預(yù)設(shè)交通場景要素關(guān)系圖譜，查找與所述檢索關(guān)鍵詞有關(guān)聯(lián)關(guān)系的交通場景目標(biāo)要素數(shù)據(jù)；

根據(jù)所述交通場景目標(biāo)要素數(shù)據(jù)，獲取查詢結(jié)果；

其中，所述預(yù)設(shè)交通場景要素關(guān)系圖譜中保存有交通場景的要素數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系。

為了實現(xiàn)上述目的，本發(fā)明實施例還提供了一種數(shù)據(jù)處理裝置，包括：