[發(fā)明專利]基于SPARK技術(shù)的移動終端數(shù)據(jù)流處理方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201710945521.8
• 申請日: 2017-10-12
• 公開（公告）號: CN107766214B
• 公開（公告）日: 2020-12-25
• 發(fā)明（設(shè)計）人: 馮建彪
• 申請（專利權(quán)）人: 南京熊貓電子股份有限公司;南京熊貓通信科技有限公司
• 主分類號: G06F11/32
• 分類號: G06F11/32;G06F11/34
• 代理公司: 南京瑞弘專利商標(biāo)事務(wù)所(普通合伙) 32249
• 代理人: 向妮

1.基于SPARK技術(shù)的移動終端數(shù)據(jù)流處理方法，其特征在于，

接收移動終端集群側(cè)發(fā)送的數(shù)據(jù)報文；

對接收到的數(shù)據(jù)報文進行解碼，并將解碼后的數(shù)據(jù)流作為數(shù)據(jù)源發(fā)送至SPARK大數(shù)據(jù)計算集群；

SPARK大數(shù)據(jù)計算集群采用SPARK技術(shù)對解碼后的數(shù)據(jù)流進行數(shù)據(jù)分析處理和提取，以供后續(xù)調(diào)用；具體包括:通過SPARK STREAMING組件將數(shù)據(jù)綜合處理模塊處理后的數(shù)據(jù)源切分成多個BATCH塊，再由SPARK ENGINE組件將所述BATCH塊進行數(shù)據(jù)分析處理和提取，以供后續(xù)調(diào)用；

所述移動終端集群側(cè)發(fā)送的數(shù)據(jù)報文是按照用戶自定義報文格式整理獲得，所述用戶自定義報文格式是根據(jù)用戶在移動終端系統(tǒng)設(shè)置界面中選擇不同系統(tǒng)預(yù)設(shè)的內(nèi)容選項拼接獲得，具體包括：

所述移動終端被構(gòu)造為包括UI模塊、業(yè)務(wù)處理模塊、數(shù)據(jù)代理模塊和數(shù)據(jù)庫模塊，其中，UI模塊配置有系統(tǒng)設(shè)置界面，業(yè)務(wù)處理模塊配置有多個邏輯接口和多個硬件單元，數(shù)據(jù)代理模塊配置有數(shù)據(jù)綜合處理單元和數(shù)據(jù)上報代理單元；

用戶通過UI模塊與移動終端進行交互，UI模塊下發(fā)的AT指令至業(yè)務(wù)處理模塊；業(yè)務(wù)處理模塊接收UI模塊下發(fā)的AT指令，通過邏輯接口實現(xiàn)業(yè)務(wù)處理和硬件單元的監(jiān)控，并將此次用戶動作數(shù)據(jù)所形成的運行日志保存至數(shù)據(jù)庫模塊；數(shù)據(jù)代理模塊中的數(shù)據(jù)綜合處理單元根據(jù)用戶在UI模塊中的系統(tǒng)設(shè)置界面中自定義選取的不同內(nèi)容選項拼接成不同內(nèi)容格式的用戶動作數(shù)據(jù)報文，并由數(shù)據(jù)上報代理單元將處理完成的報文發(fā)送至后臺數(shù)據(jù)服務(wù)中心側(cè)；其中，內(nèi)容選項包括硬件模塊名稱和軟件運行日志。

2.如權(quán)利要求1所述的移動終端數(shù)據(jù)流處理方法，其特征在于，還包括對接收到的數(shù)據(jù)報文進行完整性判斷，若完整，則將此數(shù)據(jù)報文在本地進行緩存以待解碼。

3.如權(quán)利要求2所述的移動終端數(shù)據(jù)流處理方法，其特征在于，若判斷數(shù)據(jù)報文不完整，則丟棄該報文。

4.如權(quán)利要求1所述的移動終端數(shù)據(jù)流處理方法，其特征在于，按照協(xié)議對接收到的數(shù)據(jù)報文進行解碼，協(xié)議中設(shè)定了報文內(nèi)容的編碼規(guī)則和解碼規(guī)則。

5.如權(quán)利要求1所述的移動終端數(shù)據(jù)流處理方法，其特征在于，后續(xù)調(diào)用包括前端展示和/或數(shù)據(jù)庫存儲。

6.如權(quán)利要求1所述的移動終端數(shù)據(jù)流處理方法，其特征在于，自定義報文格式形成的方法如下：

在移動終端系統(tǒng)設(shè)置界面中遍歷與終端硬件模塊和終端軟件模塊相關(guān)的關(guān)鍵字，用戶根據(jù)需求選取并記錄自己關(guān)心的關(guān)鍵字；

將獲取到的與用戶動作數(shù)據(jù)相關(guān)的關(guān)鍵字和用戶選取并記錄下來的關(guān)鍵字進行匹配，若匹配一致，則添加作為報文格式內(nèi)容，若匹配不一致，則不做處理。

7.基于SPARK技術(shù)的移動終端數(shù)據(jù)流處理系統(tǒng)，應(yīng)用于移動終端集群側(cè)向數(shù)據(jù)服務(wù)中心側(cè)發(fā)送的數(shù)據(jù)流的處理，其特征在于，數(shù)據(jù)服務(wù)中心包括：

數(shù)據(jù)綜合處理模塊，配置有數(shù)據(jù)緩存單元、報文解析單元、報文發(fā)送單元，數(shù)據(jù)緩存單元接收移動終端集群側(cè)發(fā)送的報文格式數(shù)據(jù)并進行存儲，報文解析單元對接收到的報文格式數(shù)據(jù)進行解析，報文發(fā)送單元將解析后的數(shù)據(jù)作為數(shù)據(jù)源發(fā)送至

SPARK大數(shù)據(jù)計算集群；

SPARK大數(shù)據(jù)計算集群，基于SPARK技術(shù)對接收到的數(shù)據(jù)源進行數(shù)據(jù)分析處理，并將提取的有價值的數(shù)據(jù)提供給數(shù)據(jù)前端展示模塊和/或數(shù)據(jù)庫存儲模塊進行調(diào)用；具體包括:通過SPARK STREAMING組件將數(shù)據(jù)綜合處理模塊處理后的數(shù)據(jù)源切分成多個BATCH塊，再由SPARK ENGINE組件將所述BATCH塊進行數(shù)據(jù)分析處理和提取；

數(shù)據(jù)前端展示模塊，用于向用戶直觀展示SPARK大數(shù)據(jù)計算集群發(fā)送的有價值的數(shù)據(jù)；

數(shù)據(jù)庫存儲模塊，用于存儲SPARK大數(shù)據(jù)計算集群發(fā)送的有價值的數(shù)據(jù)及數(shù)據(jù)服務(wù)中心的運行日志數(shù)據(jù)；

移動終端集群側(cè)的移動終端內(nèi)置的應(yīng)用軟件配置有以下程序模塊：

UI模塊，用于人機交互操作，其包括系統(tǒng)設(shè)置界面；

業(yè)務(wù)處理模塊，配置有多個邏輯接口和多個硬件單元，用于接收UI模塊下發(fā)的AT指令，該指令經(jīng)邏輯接口調(diào)用后完成對硬件單元參數(shù)的設(shè)置，并同時將此次硬件單元設(shè)置過程的用戶動作數(shù)據(jù)上報至數(shù)據(jù)代理模塊和數(shù)據(jù)庫模塊；

數(shù)據(jù)代理模塊，配置有數(shù)據(jù)綜合處理單元和數(shù)據(jù)上報代理單元，數(shù)據(jù)綜合處理單元記錄用戶動作數(shù)據(jù)，并按照用戶自定義報文格式整理成用戶動作數(shù)據(jù)報文，數(shù)據(jù)上報代理模塊將整理完成的用戶動作數(shù)據(jù)報文發(fā)送至數(shù)據(jù)服務(wù)中心側(cè)；所述用戶自定義報文格式是根據(jù)用戶在系統(tǒng)設(shè)置界面中選擇的不同系統(tǒng)預(yù)設(shè)的內(nèi)容選項拼接獲得，其中，內(nèi)容選項包括硬件模塊名稱和軟件運行日志；數(shù)據(jù)庫模塊，用于存儲用戶動作數(shù)據(jù)所對應(yīng)的移動終端運行日志，所述日志的內(nèi)容包括移動終端的硬件模塊和軟件運行日志，其中，軟件運行日志包括系統(tǒng)軟件本身運行的日志和用戶對移動終端的動作數(shù)據(jù)。