[發(fā)明專利]一種基于大數(shù)據(jù)分析的智能商業(yè)服務(wù)系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201711025377.2
• 申請(qǐng)日: 2017-10-27
• 公開（公告）號(hào): CN107704622A
• 公開（公告）日: 2018-02-16
• 發(fā)明（設(shè)計(jì)）人: 宋世博
• 申請(qǐng)（專利權(quán)）人: 成都艾薇尼爾信息技術(shù)有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06F17/27;G06F21/60;G06F21/62
• 代理公司: 成都創(chuàng)新引擎知識(shí)產(chǎn)權(quán)代理有限公司51249
• 代理人: 向群

1.一種基于大數(shù)據(jù)分析的智能商業(yè)服務(wù)系統(tǒng)，其特征在于，所述系統(tǒng)包括：數(shù)據(jù)采集入庫子系統(tǒng)、實(shí)時(shí)數(shù)據(jù)流處理子系統(tǒng)、存儲(chǔ)子系統(tǒng)、底層支持子系統(tǒng)、加密子系統(tǒng)和業(yè)務(wù)輸出子系統(tǒng)；其中，

數(shù)據(jù)采集入庫子系統(tǒng)，包括相互獨(dú)立的分布式爬蟲模塊和數(shù)據(jù)源適配器，分布式爬蟲模塊和數(shù)據(jù)源適配器分別連接實(shí)時(shí)數(shù)據(jù)流處理子系統(tǒng)，分布式爬蟲模塊負(fù)責(zé)數(shù)據(jù)源頭偵測(cè)、互聯(lián)網(wǎng)數(shù)據(jù)采集和HTML預(yù)處理，數(shù)據(jù)源適配器用于將第三方數(shù)據(jù)資源接入工作；

實(shí)時(shí)數(shù)據(jù)流處理子系統(tǒng)連接至存儲(chǔ)子系統(tǒng)，并包括相連接的臨時(shí)存儲(chǔ)模塊和數(shù)據(jù)流鉤子，臨時(shí)存儲(chǔ)模塊以集群的內(nèi)存作為緩存環(huán)境，將實(shí)時(shí)采集到的數(shù)據(jù)臨時(shí)存儲(chǔ)起來，供有實(shí)時(shí)性要求的模塊讀取；流數(shù)據(jù)鉤子提供用于掛載的鉤子，當(dāng)有數(shù)據(jù)到達(dá)，鉤子將數(shù)據(jù)的基本描述掛載起來，以便掛載到鉤子的模塊取閱；實(shí)時(shí)數(shù)據(jù)流處理子系統(tǒng)中設(shè)置有緩存閾值，超過緩存閾值，數(shù)據(jù)將被清空；

存儲(chǔ)子系統(tǒng)連接至業(yè)務(wù)輸出子系統(tǒng)，并包括相連接的Hadoop集群和mysql集群，Hadoop集群用于存儲(chǔ)大量網(wǎng)頁數(shù)據(jù)和沒有隨機(jī)讀寫需求的分析結(jié)果；mysql集群存儲(chǔ)體積較小、需要經(jīng)常隨機(jī)讀寫的數(shù)據(jù)；

底層支持子系統(tǒng)，包括相連接的語義信息抽取模塊和語義搜索引擎，語義信息抽取模塊負(fù)責(zé)從文本中抽取語義信息，支持其他需要語義抽取、語義分析的模塊，語義信息抽取模塊分別連接實(shí)時(shí)數(shù)據(jù)處理子系統(tǒng)和業(yè)務(wù)輸出子系統(tǒng)；語義搜索引擎集成了所有與語義搜索、文本處理相關(guān)的工具和API模塊，其同時(shí)連接Hadoop集群和業(yè)務(wù)輸出子系統(tǒng)；

加密子系統(tǒng)，包括將特征參數(shù)和數(shù)字信息進(jìn)行組合加密的加密模塊；以及將特征參數(shù)和數(shù)字信息進(jìn)行組合解密的解密模塊；

業(yè)務(wù)輸出子系統(tǒng)，用于具體業(yè)務(wù)的執(zhí)行、調(diào)度和展現(xiàn)，包括并聯(lián)的精準(zhǔn)營銷模塊、數(shù)據(jù)業(yè)務(wù)模塊、報(bào)告生成模塊、商業(yè)情報(bào)分析模塊和輿情分析模塊；其中，精準(zhǔn)營銷模塊用于為精準(zhǔn)營銷提供數(shù)據(jù)搜集、分析和營銷手段的技術(shù)支持；數(shù)據(jù)業(yè)務(wù)模塊用于為滿足客戶特定數(shù)據(jù)需求而開展的數(shù)據(jù)搜集和語義分析；報(bào)告生成模塊為客戶生成簡短的、概要性的、圖文結(jié)合的信息概要，支持定期自動(dòng)生成、報(bào)告匯總和撰寫；商業(yè)情報(bào)分析模塊用于商機(jī)信息分析、競(jìng)爭對(duì)手分析、產(chǎn)業(yè)上下游動(dòng)態(tài)和數(shù)據(jù)分析；輿情分析模塊用于話題跟蹤分析、事件和人物的相關(guān)跟蹤分析、網(wǎng)絡(luò)輿情類數(shù)據(jù)搜集和集成分析。

2.如權(quán)利要求1所述的基于大數(shù)據(jù)分析的智能商業(yè)服務(wù)系統(tǒng)，其特征在于，分布式爬蟲模塊中，對(duì)不同信息來源設(shè)定可信度權(quán)值。

3.如權(quán)利要求2所述的基于大數(shù)據(jù)分析的智能商業(yè)服務(wù)系統(tǒng)，其特征在于，分布式爬蟲模塊采用了定點(diǎn)蹲守式和/或啟發(fā)式和/或泛采集的采集策略。

4.如權(quán)利要求3所述的基于大數(shù)據(jù)分析的智能商業(yè)服務(wù)系統(tǒng)，其特征在于，實(shí)時(shí)數(shù)據(jù)流處理子系統(tǒng)的緩存閾值為0.1～100分鐘。

5.如權(quán)利要求4所述的基于大數(shù)據(jù)分析的智能商業(yè)服務(wù)系統(tǒng)，其特征在于，Hadoop集群為永久性存儲(chǔ)。

6.如權(quán)利要求5所述的基于大數(shù)據(jù)分析的智能商業(yè)服務(wù)系統(tǒng)，其特征在于，運(yùn)營數(shù)據(jù)、數(shù)據(jù)挖掘結(jié)果、語義分析結(jié)果存儲(chǔ)于mysql集群中。

7.如權(quán)利要求6所述的基于大數(shù)據(jù)分析的智能商業(yè)服務(wù)系統(tǒng)，其特征在于，語義信息抽取模塊采用類自然語言的語義信息抽取技術(shù)，以極其類似自然語言的形式來描述和標(biāo)記自然語言文本中的語義信息。

8.如權(quán)利要求7所述的基于大數(shù)據(jù)分析的智能商業(yè)服務(wù)系統(tǒng)，其特征在于，語義信息抽取模塊采用語義聚類技術(shù)，記錄每一話題的信息量，提醒用戶關(guān)注重要事件。