[發(fā)明專利]一種基于企業(yè)大數(shù)據(jù)平臺(tái)的企業(yè)數(shù)據(jù)雷達(dá)監(jiān)控方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201710116842.7
• 申請(qǐng)日: 2017-03-01
• 公開（公告）號(hào): CN107066531A
• 公開（公告）日: 2017-08-18
• 發(fā)明（設(shè)計(jì)）人: 任何強(qiáng);王金虎
• 申請(qǐng)（專利權(quán)）人: 蘇州朗動(dòng)網(wǎng)絡(luò)科技有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06Q10/10;H04L29/08
• 代理公司: 蘇州中合知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙)32266
• 代理人: 李中華

技術(shù)領(lǐng)域

本發(fā)明涉及網(wǎng)絡(luò)技術(shù)領(lǐng)域，具體而言，涉及一種基于企業(yè)大數(shù)據(jù)平臺(tái)的企業(yè)數(shù)據(jù)雷達(dá)監(jiān)控方法及系統(tǒng)。

背景技術(shù)

隨著經(jīng)濟(jì)的發(fā)展，每年新增大量的企業(yè)，企業(yè)也會(huì)根據(jù)市場(chǎng)的需要變更業(yè)務(wù)等其他方面的信息，同一行業(yè)的企業(yè)針對(duì)不同的用戶也各具不同的優(yōu)勢(shì)，了解和跟蹤行業(yè)內(nèi)企業(yè)信息的變化，對(duì)于用戶選擇合適的企業(yè)進(jìn)行合作是重要的指引和參考。因此，市面上出現(xiàn)很多提供企業(yè)信息查詢的產(chǎn)品。

企業(yè)信息的獲取，通常通過網(wǎng)絡(luò)爬蟲從互聯(lián)網(wǎng)上獲取，通過數(shù)據(jù)庫(kù)進(jìn)行保存；進(jìn)一步利用網(wǎng)絡(luò)爬蟲定期采集企業(yè)信息，并通過和存儲(chǔ)在本地的信息進(jìn)行比較來獲取最新的企業(yè)數(shù)據(jù)。但是，在對(duì)新舊數(shù)據(jù)比較的過程中，經(jīng)常會(huì)出現(xiàn)需要處理的特殊數(shù)據(jù)，它們表達(dá)的意思相同但是數(shù)據(jù)格式卻并不相同，如果不加以人工干預(yù)會(huì)出現(xiàn)錯(cuò)誤的企業(yè)信息。

現(xiàn)有的對(duì)企業(yè)信息存儲(chǔ)的數(shù)據(jù)庫(kù)通常采用關(guān)系型數(shù)據(jù)庫(kù)進(jìn)行組織，對(duì)于多維度的企業(yè)信息處理效率低下，擴(kuò)展性能不好，無法適應(yīng)用戶個(gè)性化的需求，比如用戶自定義組裝維度。

另外，對(duì)于網(wǎng)絡(luò)爬蟲采集的源數(shù)據(jù)，有時(shí)會(huì)出現(xiàn)大量的錯(cuò)誤信息，比如將屬性A的數(shù)據(jù)值錯(cuò)誤地替換成屬性B的數(shù)據(jù)值，導(dǎo)致企業(yè)信息數(shù)據(jù)不夠精確。

不同的用戶需要不同的維度信息，對(duì)于獲取到的最新的企業(yè)信息，如何根據(jù)不同的用戶有針對(duì)性的推送用戶自定義組裝的維度信息，也是亟待解決的問題。

發(fā)明內(nèi)容

本發(fā)明提出一種基于企業(yè)大數(shù)據(jù)平臺(tái)的企業(yè)數(shù)據(jù)雷達(dá)監(jiān)控技術(shù)，其目的在于解決至少一種上述技術(shù)問題，從而提高數(shù)據(jù)更新的效率和精確度，快速精確推送用戶關(guān)注數(shù)據(jù)，并支持用戶自定義接收企業(yè)細(xì)化的各維度數(shù)據(jù)。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

根據(jù)本發(fā)明的一方面，提供一種基于企業(yè)大數(shù)據(jù)平臺(tái)的企業(yè)數(shù)據(jù)雷達(dá)監(jiān)控方法，所述方法包括：

通過至少一臺(tái)服務(wù)器實(shí)時(shí)獲取第一企業(yè)數(shù)據(jù)實(shí)體，所述第一企業(yè)數(shù)據(jù)實(shí)體為最新的企業(yè)數(shù)據(jù)實(shí)體；

獲取當(dāng)前數(shù)據(jù)庫(kù)中存儲(chǔ)的第二企業(yè)數(shù)據(jù)實(shí)體，利用雷達(dá)監(jiān)控技術(shù)自動(dòng)比較所述第一企業(yè)數(shù)據(jù)實(shí)體和第二企業(yè)數(shù)據(jù)實(shí)體；

根據(jù)預(yù)設(shè)規(guī)則審核機(jī)制對(duì)比較結(jié)果集進(jìn)行自定義排查，若是正常變更，則更新數(shù)據(jù)庫(kù)，若比較結(jié)果異常，則重新獲取第一企業(yè)數(shù)據(jù)實(shí)體進(jìn)行所述比較和排查，所述異常次數(shù)超過閾值時(shí)，向系統(tǒng)發(fā)出錯(cuò)誤通知

向關(guān)注企業(yè)的用戶實(shí)時(shí)地推送變更信息的通知。

優(yōu)選地，所述雷達(dá)監(jiān)控技術(shù)包括：通過底層映射技術(shù)自動(dòng)獲取所述第一企業(yè)數(shù)據(jù)實(shí)體和第二企業(yè)數(shù)據(jù)實(shí)體下所有的屬性，通過GetValue獲取所述屬性的數(shù)據(jù)值，比較所述兩個(gè)數(shù)據(jù)實(shí)體對(duì)應(yīng)屬性的數(shù)據(jù)值。

優(yōu)選地，在對(duì)所述對(duì)應(yīng)屬性的數(shù)據(jù)值進(jìn)行所述比較之前，還包括數(shù)據(jù)格式預(yù)處理，將獲取的相同屬性的數(shù)據(jù)值進(jìn)行統(tǒng)一格式處理。

優(yōu)選地，所述異常為比較結(jié)果存在問題數(shù)據(jù)，所述問題數(shù)據(jù)是數(shù)據(jù)錯(cuò)位、股東全部刪除或主要人員全部刪除。

優(yōu)選地，通過消息隊(duì)列技術(shù)(MQ)發(fā)送所述錯(cuò)誤通知。

優(yōu)選地，通過消息隊(duì)列技術(shù)(MQ)實(shí)時(shí)向所述用戶推送所述變更信息的通知。

優(yōu)選地，所述通知是系統(tǒng)通知、短信通知或郵件通知的任一個(gè)，或所述通知類型的任意組合。

優(yōu)選地，所述向用戶推送變更信息的通知還包括：根據(jù)用戶自定義接收的企業(yè)細(xì)化的各維度數(shù)據(jù)，用戶可以根據(jù)推送的數(shù)據(jù)格式自定義組裝維度。

優(yōu)選地，所述數(shù)據(jù)庫(kù)為文檔類型的非關(guān)系型數(shù)據(jù)庫(kù)。

優(yōu)選地，所述非關(guān)系型數(shù)據(jù)庫(kù)是：mongoDB。

根據(jù)本發(fā)明的另一方面，提供了一種基于企業(yè)大數(shù)據(jù)平臺(tái)的企業(yè)數(shù)據(jù)雷達(dá)監(jiān)控系統(tǒng)，所述系統(tǒng)包括：

最新企業(yè)數(shù)據(jù)獲取模塊，當(dāng)前企業(yè)數(shù)據(jù)獲取模塊，企業(yè)數(shù)據(jù)實(shí)體數(shù)據(jù)庫(kù)，雷達(dá)監(jiān)控比較模塊，消息推送模塊；

最新企業(yè)數(shù)據(jù)獲取模塊，用于獲取企業(yè)的最新數(shù)據(jù)，企業(yè)數(shù)據(jù)實(shí)體數(shù)據(jù)庫(kù)用于管理企業(yè)數(shù)據(jù)信息，雷達(dá)監(jiān)控比較模塊用于最新數(shù)據(jù)和當(dāng)前數(shù)據(jù)的比較，消息推送模塊用于向用戶推送變更信息的通知。

優(yōu)選地，最新企業(yè)數(shù)據(jù)獲取模塊可以根據(jù)需要部署到多臺(tái)服務(wù)器，互聯(lián)網(wǎng)上實(shí)時(shí)獲取企業(yè)信息的源數(shù)據(jù)，保證所采集到的企業(yè)數(shù)據(jù)實(shí)體是最新的，

當(dāng)前企業(yè)數(shù)據(jù)獲取模塊從本地?cái)?shù)據(jù)庫(kù)獲取當(dāng)前企業(yè)數(shù)據(jù)；

優(yōu)選地，企業(yè)數(shù)據(jù)實(shí)體數(shù)據(jù)庫(kù)采用非關(guān)系型數(shù)據(jù)庫(kù)(NoSql)組織存儲(chǔ)企業(yè)數(shù)據(jù)信息；

優(yōu)選地，采用文檔型NoSql數(shù)據(jù)庫(kù)，例如mongoDB；數(shù)據(jù)庫(kù)中存儲(chǔ)的文檔同樣包括多個(gè)維度的屬性，和網(wǎng)絡(luò)爬蟲采集的企業(yè)數(shù)據(jù)實(shí)體源數(shù)據(jù)多個(gè)維度相對(duì)應(yīng)；