[發(fā)明專利]一種基于云技術(shù)的大數(shù)據(jù)分析系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910177940.0
• 申請(qǐng)日: 2019-03-07
• 公開（公告）號(hào): CN111666322A
• 公開（公告）日: 2020-09-15
• 發(fā)明（設(shè)計(jì)）人: 陳浩;曾令敏;鄧卓偉
• 申請(qǐng)（專利權(quán)）人: 上海思桂信息技術(shù)有限公司
• 主分類號(hào): G06F16/25
• 分類號(hào): G06F16/25;G06F16/9535;G06Q30/02
• 代理公司: 上海宏京知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 31297
• 代理人: 鄧文武

1.一種基于云技術(shù)的大數(shù)據(jù)分析系統(tǒng)，其特征在于，所述系統(tǒng)包括數(shù)據(jù)采集模塊，所述數(shù)據(jù)采集模塊可以根據(jù)用戶以往歷史瀏覽、購買記錄等行為進(jìn)行數(shù)據(jù)采集；計(jì)算模塊，所述數(shù)據(jù)采集模塊采集的數(shù)據(jù)經(jīng)過計(jì)算后轉(zhuǎn)化為計(jì)算機(jī)語言；數(shù)據(jù)庫，用于存儲(chǔ)所述數(shù)據(jù)采集模塊采集的數(shù)據(jù)經(jīng)過所述計(jì)算模塊轉(zhuǎn)化的計(jì)算機(jī)語言；操作系統(tǒng)，通過所述操作系統(tǒng)，可以調(diào)用所述數(shù)據(jù)庫中存儲(chǔ)的信息，并發(fā)送數(shù)據(jù)庫中的數(shù)據(jù)至云計(jì)算；云計(jì)算模塊，接收待計(jì)算的數(shù)據(jù)，并進(jìn)行計(jì)算處理。

2.如權(quán)利要求1所述的基于云技術(shù)的大數(shù)據(jù)分析系統(tǒng)，其特征在于，所述云計(jì)算模塊包括：存儲(chǔ)器；所述存儲(chǔ)器上存儲(chǔ)有數(shù)據(jù)處理程序，所述數(shù)據(jù)處理程序被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如下步驟：接收步驟：接收所述數(shù)據(jù)采集模塊發(fā)送的攜帶預(yù)設(shè)類型信息的操作請(qǐng)求，所述預(yù)設(shè)類型信息包括至少一個(gè)信息片段；讀取步驟：讀取所述預(yù)設(shè)類型信息中的信息片段，并識(shí)別所述信息片段中是否包含調(diào)用標(biāo)識(shí)信息；第一執(zhí)行步驟：當(dāng)在一信息片段中識(shí)別到所述調(diào)用標(biāo)識(shí)信息時(shí)，將所述信息片段發(fā)送給對(duì)應(yīng)的待調(diào)用數(shù)據(jù)庫進(jìn)行數(shù)據(jù)處理，并獲取所述信息片段對(duì)應(yīng)的第一響應(yīng)結(jié)果數(shù)據(jù)；第二執(zhí)行步驟：當(dāng)在一信息片段中未識(shí)別到所述調(diào)用標(biāo)識(shí)信息時(shí)，基于所述信息片段執(zhí)行所述操作請(qǐng)求對(duì)應(yīng)的操作，并將操作結(jié)果作為所述信息片段對(duì)應(yīng)的第二響應(yīng)結(jié)果數(shù)據(jù)；反饋步驟：將所述預(yù)設(shè)類型信息中所有信息片段對(duì)應(yīng)的第一響應(yīng)結(jié)果數(shù)據(jù)和/或第二響應(yīng)結(jié)果數(shù)據(jù)作為所述操作請(qǐng)求對(duì)應(yīng)的響應(yīng)結(jié)果數(shù)據(jù)返回至所述數(shù)據(jù)采集模塊；所述數(shù)據(jù)庫用于接收所述云計(jì)算模塊發(fā)送的所述信息片段，根據(jù)所述信息片段進(jìn)行數(shù)據(jù)處理，并返回?cái)?shù)據(jù)處理結(jié)果至云計(jì)算模塊。

3.如權(quán)利要求2所述的基于云技術(shù)的大數(shù)據(jù)分析系統(tǒng)，其特征在于，所述數(shù)據(jù)采集模塊采用SAS網(wǎng)絡(luò)爬蟲進(jìn)行數(shù)據(jù)的采集。

4.如權(quán)利要求3所述的基于云技術(shù)的大數(shù)據(jù)分析系統(tǒng)，其特征在于，所述數(shù)據(jù)采集后，并通過預(yù)設(shè)數(shù)據(jù)過濾規(guī)則對(duì)數(shù)據(jù)進(jìn)行過濾，將過濾后的數(shù)據(jù)作為所述數(shù)據(jù)采集模塊采集到的數(shù)據(jù)。

5.如權(quán)利要求4所述的基于云技術(shù)的大數(shù)據(jù)分析系統(tǒng)，其特征在于，所述數(shù)據(jù)過濾是采用布隆過濾器，對(duì)所采集到的數(shù)據(jù)進(jìn)行過濾。

6.一種基于權(quán)利要求1至5之一所述的基于云技術(shù)的大數(shù)據(jù)分析系統(tǒng)的方法，其特征在于，所述方法包括：接收步驟：接收數(shù)據(jù)采集模塊發(fā)送的攜帶預(yù)設(shè)類型信息的操作請(qǐng)求，所述預(yù)設(shè)類型信息包括至少一個(gè)信息片段；

讀取步驟：讀取所述預(yù)設(shè)類型信息中的信息片段，并識(shí)別所述信息片段中是否包含調(diào)用標(biāo)識(shí)信息；

第一執(zhí)行步驟：當(dāng)在一信息片段中識(shí)別到所述調(diào)用標(biāo)識(shí)信息時(shí)，將所述信息片段發(fā)送給對(duì)應(yīng)的待調(diào)用數(shù)據(jù)庫進(jìn)行數(shù)據(jù)處理，并獲取所述信息片段對(duì)應(yīng)的第一響應(yīng)結(jié)果數(shù)據(jù)；

第二執(zhí)行步驟：當(dāng)在一信息片段中未識(shí)別到所述調(diào)用標(biāo)識(shí)信息時(shí)，基于所述信息片段執(zhí)行所述操作請(qǐng)求對(duì)應(yīng)的操作，并將操作結(jié)果作為所述信息片段對(duì)應(yīng)的第二響應(yīng)結(jié)果數(shù)據(jù)；

反饋步驟：將所述預(yù)設(shè)類型信息中所有信息片段對(duì)應(yīng)的第一響應(yīng)結(jié)果數(shù)據(jù)和/或第二響應(yīng)結(jié)果數(shù)據(jù)作為所述操作請(qǐng)求對(duì)應(yīng)的響應(yīng)結(jié)果數(shù)據(jù)返回至所述數(shù)據(jù)采集模塊；

所述數(shù)據(jù)庫用于接收所述云計(jì)算模塊發(fā)送的所述信息片段，根據(jù)所述信息片段進(jìn)行數(shù)據(jù)處理，并返回?cái)?shù)據(jù)處理結(jié)果至云計(jì)算模塊。

7.如權(quán)利要求6所述的基于云技術(shù)的大數(shù)據(jù)分析方法，其特征在于，所述操作請(qǐng)求中還包括用戶標(biāo)識(shí)信息；

所述數(shù)據(jù)處理方法還包括如下步驟：

根據(jù)預(yù)先確定的用戶標(biāo)識(shí)信息與用戶角色信息之間的映射關(guān)系，查詢所述操作請(qǐng)求中的用戶標(biāo)識(shí)信息對(duì)應(yīng)的用戶角色信息；

根據(jù)預(yù)先確定的用戶角色信息與操作權(quán)限集合之間的映射關(guān)系，查詢所述用戶對(duì)應(yīng)的操作權(quán)限集合；

根據(jù)所述用戶對(duì)應(yīng)的操作權(quán)限集合、所述操作請(qǐng)求對(duì)應(yīng)的操作及預(yù)設(shè)類型信息，判斷所述用戶是否具備所述操作請(qǐng)求對(duì)應(yīng)的操作的操作權(quán)限；

當(dāng)所述用戶具備所述操作請(qǐng)求對(duì)應(yīng)的操作的操作權(quán)限時(shí)，跳轉(zhuǎn)至所述讀取步驟；

當(dāng)所述用戶不具備所述操作請(qǐng)求對(duì)應(yīng)的操作的操作權(quán)限時(shí)，將執(zhí)行失敗的響應(yīng)結(jié)果數(shù)據(jù)反饋至數(shù)據(jù)采集模塊。