[發(fā)明專利]基于SPARK技術(shù)的移動(dòng)終端數(shù)據(jù)流處理方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710945521.8
• 申請(qǐng)日: 2017-10-12
• 公開（公告）號(hào): CN107766214B
• 公開（公告）日: 2020-12-25
• 發(fā)明（設(shè)計(jì)）人: 馮建彪
• 申請(qǐng)（專利權(quán)）人: 南京熊貓電子股份有限公司;南京熊貓通信科技有限公司
• 主分類號(hào): G06F11/32
• 分類號(hào): G06F11/32;G06F11/34
• 代理公司: 南京瑞弘專利商標(biāo)事務(wù)所(普通合伙) 32249
• 代理人: 向妮

本發(fā)明提出一種基于SPARK技術(shù)的移動(dòng)終端數(shù)據(jù)流處理方法及系統(tǒng)，移動(dòng)終端專用應(yīng)用軟件記錄下終端運(yùn)行時(shí)產(chǎn)生的位置信息、用戶的操作軌跡、終端內(nèi)部各模塊的運(yùn)行狀態(tài)等移動(dòng)終端運(yùn)行日志數(shù)據(jù)，經(jīng)過無線網(wǎng)絡(luò)傳送至后臺(tái)數(shù)據(jù)服務(wù)中心，數(shù)據(jù)服務(wù)中心在收到數(shù)據(jù)后使用大數(shù)據(jù)SPARK集群進(jìn)行計(jì)算分析，將處理后的有價(jià)值數(shù)據(jù)進(jìn)行前端實(shí)時(shí)展示、后臺(tái)數(shù)據(jù)庫存儲(chǔ)或其它基于此類數(shù)據(jù)的增值應(yīng)用。使用本方法，在移動(dòng)終端集群側(cè)，可以發(fā)送較為全面的、可自定義數(shù)據(jù)流報(bào)文格式的各類數(shù)據(jù)；在數(shù)據(jù)服務(wù)中心側(cè)，則可以采用由多臺(tái)廉價(jià)的PC機(jī)組成SPARK計(jì)算集群實(shí)現(xiàn)對(duì)此類數(shù)據(jù)的分析和處理，且具備時(shí)效性，能為上層做決策提供數(shù)據(jù)支撐。

技術(shù)領(lǐng)域

本發(fā)明屬于移動(dòng)終端數(shù)據(jù)流處理的技術(shù)領(lǐng)域，具體涉及一種基于SPARK技術(shù)的移動(dòng)終端數(shù)據(jù)流處理方法及系統(tǒng)。

背景技術(shù)

隨著大數(shù)據(jù)技術(shù)和移動(dòng)通信技術(shù)的快速發(fā)展，移動(dòng)應(yīng)用終端與后臺(tái)數(shù)據(jù)中心的數(shù)據(jù)交互處理已經(jīng)成為移動(dòng)通信項(xiàng)目實(shí)施過程中的重要組成部分。

在交互過程中，移動(dòng)終端會(huì)發(fā)送由其應(yīng)用軟件產(chǎn)生的各種結(jié)構(gòu)化或半結(jié)構(gòu)化類型的數(shù)據(jù)到數(shù)據(jù)中心，數(shù)據(jù)中心則對(duì)這些數(shù)據(jù)進(jìn)行分析處理。但隨著時(shí)間的推移，數(shù)據(jù)中心收到的數(shù)據(jù)持續(xù)增大乃至于海量級(jí)，分析這樣的數(shù)據(jù)要求更高的數(shù)據(jù)處理能力。當(dāng)前，在這類數(shù)據(jù)處理的方法中，常規(guī)做法是采用商用軟件或者采用人工直接查看運(yùn)行日志的方法來做數(shù)據(jù)分析。在特定場(chǎng)景中，采用商用軟件會(huì)產(chǎn)生軟件授權(quán)使用費(fèi)用或者存在潛在的安全性問題；而采用人工方式直接對(duì)GB量級(jí)及以上的文件進(jìn)行分析是不可靠的，且時(shí)效性不能保證。

如圖1所示，現(xiàn)有技術(shù)中，若干移動(dòng)終端經(jīng)無線網(wǎng)絡(luò)不停的向后臺(tái)數(shù)據(jù)服務(wù)中心上報(bào)固定格式的數(shù)據(jù)(主要包括設(shè)備整機(jī)工作狀態(tài)及設(shè)備內(nèi)部的各個(gè)硬件模塊的運(yùn)行狀態(tài)信息)，后臺(tái)數(shù)據(jù)服務(wù)中心收到數(shù)據(jù)后將數(shù)據(jù)顯示在計(jì)算機(jī)做展現(xiàn)，并將數(shù)據(jù)存儲(chǔ)至數(shù)據(jù)庫，從而實(shí)現(xiàn)遠(yuǎn)程監(jiān)控移動(dòng)終端運(yùn)行的基本情況。但這種方案存在著一定缺陷，主要體現(xiàn)在：后臺(tái)數(shù)據(jù)服務(wù)中心對(duì)收到的數(shù)據(jù)處理略顯簡單，只是對(duì)數(shù)據(jù)進(jìn)行了簡單的前端界面展示和數(shù)據(jù)庫存儲(chǔ)操作，并未對(duì)數(shù)據(jù)進(jìn)行分析。采用這樣的處理方式，在數(shù)據(jù)服務(wù)中心運(yùn)行一定時(shí)間后，數(shù)據(jù)服務(wù)中心的數(shù)據(jù)庫會(huì)形成海量的移動(dòng)終端運(yùn)行日志，當(dāng)終端出現(xiàn)問題時(shí)，用戶無法通過日志及時(shí)定位問題。此外，移動(dòng)終端上報(bào)的數(shù)據(jù)流的報(bào)文格式是固定的，內(nèi)容不夠詳細(xì)，當(dāng)終端出現(xiàn)問題時(shí)，用戶無法通過日志精確定位問題，顯得不夠靈活。

發(fā)明內(nèi)容

為解決上述問題，本發(fā)明提供一種基于SPARK技術(shù)的移動(dòng)終端數(shù)據(jù)流處理方法及系統(tǒng)。使用本方法，在移動(dòng)終端集群側(cè)，可以發(fā)送較為全面的、可自定義數(shù)據(jù)流報(bào)文格式的各類數(shù)據(jù)，諸如用戶對(duì)終端的操控信息、設(shè)備位置信息等各類信息；在數(shù)據(jù)服務(wù)中心側(cè)，則可以采用由多臺(tái)廉價(jià)的PC機(jī)組成SPARK計(jì)算集群實(shí)現(xiàn)對(duì)此類數(shù)據(jù)的分析和處理，且具備時(shí)效性，能為上層做決策提供數(shù)據(jù)支撐。

本發(fā)明解決問題方案的基本思路是：移動(dòng)終端專用應(yīng)用軟件記錄下終端運(yùn)行時(shí)產(chǎn)生的位置信息、用戶的操作軌跡(如，撥打電話、發(fā)送短信、查看或者修改設(shè)備串口號(hào)、波特率及參數(shù)等)、終端內(nèi)部各模塊的運(yùn)行狀態(tài)等移動(dòng)終端運(yùn)行日志數(shù)據(jù)(一條日志數(shù)據(jù)由若干條用戶自定義格式的報(bào)文組成)，經(jīng)過無線網(wǎng)絡(luò)傳送至后臺(tái)數(shù)據(jù)服務(wù)中心，數(shù)據(jù)服務(wù)中心在收到數(shù)據(jù)后使用大數(shù)據(jù)SPARK集群進(jìn)行計(jì)算分析，將處理后的有價(jià)值數(shù)據(jù)進(jìn)行前端實(shí)時(shí)展示、后臺(tái)數(shù)據(jù)庫存儲(chǔ)或其它基于此類數(shù)據(jù)的增值應(yīng)用。具體技術(shù)方案如下：

基于SPARK技術(shù)的移動(dòng)終端數(shù)據(jù)流處理方法，包括：

接收移動(dòng)終端集群側(cè)發(fā)送的數(shù)據(jù)報(bào)文；

對(duì)接收到的數(shù)據(jù)報(bào)文進(jìn)行解碼，并將解碼后的數(shù)據(jù)流作為數(shù)據(jù)源發(fā)送至SPARK大數(shù)據(jù)計(jì)算集群；

SPARK大數(shù)據(jù)計(jì)算集群采用SPARK技術(shù)對(duì)解碼后的數(shù)據(jù)流進(jìn)行數(shù)據(jù)分析處理和提取，以供后續(xù)調(diào)用。

作為一種優(yōu)選方案，后續(xù)調(diào)用包括前端展示和/或數(shù)據(jù)庫存儲(chǔ)。

作為一種優(yōu)選方案，前端展示以圖表方式向用戶直觀顯示數(shù)據(jù)信息。