[發(fā)明專利]一種汽車車型網(wǎng)絡(luò)價(jià)格監(jiān)測(cè)系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010750740.2
• 申請(qǐng)日: 2020-07-30
• 公開（公告）號(hào): CN111814023B
• 公開（公告）日: 2021-06-15
• 發(fā)明（設(shè)計(jì)）人: 孫一帥;李奏換;龔鶴皋;陳楚豪;郭建錚;梁維新
• 申請(qǐng)（專利權(quán)）人: 廣州威爾森信息科技有限公司
• 主分類號(hào): G06F16/951
• 分類號(hào): G06F16/951;G06F16/27;G06F16/25;G06F16/248;G06F16/22;G06F16/182
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 黃忠

本申請(qǐng)公開了一種汽車車型網(wǎng)絡(luò)價(jià)格監(jiān)測(cè)系統(tǒng)，數(shù)據(jù)采集模塊通過爬蟲技術(shù)從汽車網(wǎng)站采集汽車車型網(wǎng)絡(luò)價(jià)格數(shù)據(jù)并存儲(chǔ)至預(yù)置數(shù)據(jù)庫(kù)；數(shù)據(jù)同步模塊將預(yù)置數(shù)據(jù)庫(kù)的網(wǎng)絡(luò)價(jià)格數(shù)據(jù)同步到Hadoop大數(shù)據(jù)平臺(tái)的分布式文件系統(tǒng)HDFS；數(shù)據(jù)預(yù)處理模塊將HDFS的汽車車型網(wǎng)絡(luò)價(jià)格數(shù)據(jù)加載到Hive表，對(duì)Hive表中的汽車車型網(wǎng)絡(luò)價(jià)格數(shù)據(jù)依次進(jìn)行異常值過濾、重復(fù)值過濾、車型型號(hào)匹配和匯總，得到預(yù)處理后的汽車車型網(wǎng)絡(luò)價(jià)格數(shù)據(jù)；數(shù)據(jù)計(jì)算模塊根據(jù)預(yù)置計(jì)算規(guī)則對(duì)預(yù)處理后的汽車車型網(wǎng)絡(luò)價(jià)格數(shù)據(jù)進(jìn)行計(jì)算；可視化模塊對(duì)計(jì)算結(jié)果進(jìn)行可視化，解決了現(xiàn)有的汽車車型價(jià)格的獲取和處理采用人工處理，存在數(shù)據(jù)采集和處理時(shí)間長(zhǎng)，處理效率低的技術(shù)問題。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種汽車車型網(wǎng)絡(luò)價(jià)格監(jiān)測(cè)系統(tǒng)。

背景技術(shù)

目前，汽車市場(chǎng)競(jìng)爭(zhēng)日益激烈，越來(lái)越多的汽車品牌進(jìn)入市場(chǎng)，給企業(yè)新產(chǎn)品定價(jià)決策的制定帶來(lái)了風(fēng)險(xiǎn)和不確定性。現(xiàn)有技術(shù)中，企業(yè)或用戶主要是通過人工瀏覽相關(guān)汽車信息網(wǎng)站來(lái)獲取汽車車型價(jià)格，人工錄入到數(shù)據(jù)表中，再進(jìn)行數(shù)據(jù)匯總和分析，存在數(shù)據(jù)采集和處理時(shí)間長(zhǎng)，處理效率低的技術(shù)問題。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┝艘环N汽車車型網(wǎng)絡(luò)價(jià)格監(jiān)測(cè)系統(tǒng)，用于解決現(xiàn)有的汽車車型價(jià)格的獲取和處理采用人工處理，存在數(shù)據(jù)采集和處理時(shí)間長(zhǎng)，處理效率低的技術(shù)問題。

有鑒于此，本申請(qǐng)第一方面提供了一種汽車車型網(wǎng)絡(luò)價(jià)格監(jiān)測(cè)系統(tǒng)，包括：

數(shù)據(jù)采集模塊，用于基于網(wǎng)絡(luò)爬蟲技術(shù)從各汽車網(wǎng)站采集各汽車車型網(wǎng)絡(luò)價(jià)格數(shù)據(jù)，將所述汽車車型網(wǎng)絡(luò)價(jià)格數(shù)據(jù)存儲(chǔ)至預(yù)置數(shù)據(jù)庫(kù)；

數(shù)據(jù)同步模塊，用于將所述預(yù)置數(shù)據(jù)庫(kù)中的所述汽車車型網(wǎng)絡(luò)價(jià)格數(shù)據(jù)同步到Hadoop大數(shù)據(jù)平臺(tái)的分布式文件系統(tǒng)HDFS；

數(shù)據(jù)預(yù)處理模塊，用于將所述HDFS中的所述汽車車型網(wǎng)絡(luò)價(jià)格數(shù)據(jù)加載到Hive表，對(duì)所述Hive表中的所述汽車車型網(wǎng)絡(luò)價(jià)格數(shù)據(jù)依次進(jìn)行異常值過濾、重復(fù)值過濾、車型型號(hào)匹配和匯總，得到預(yù)處理后的汽車車型網(wǎng)絡(luò)價(jià)格數(shù)據(jù)；

數(shù)據(jù)計(jì)算模塊，用于根據(jù)預(yù)置計(jì)算規(guī)則對(duì)所述預(yù)處理后的汽車車型網(wǎng)絡(luò)價(jià)格數(shù)據(jù)進(jìn)行相關(guān)計(jì)算，得到計(jì)算結(jié)果；

可視化模塊，用于對(duì)所述計(jì)算結(jié)果進(jìn)行可視化。

可選的，所述數(shù)據(jù)采集模塊具體用于：

基于網(wǎng)絡(luò)爬蟲技術(shù)從各汽車網(wǎng)站采集各汽車車型網(wǎng)絡(luò)價(jià)格數(shù)據(jù)，將所述汽車車型網(wǎng)絡(luò)價(jià)格數(shù)據(jù)存儲(chǔ)至預(yù)置數(shù)據(jù)庫(kù)，并更新采集狀態(tài)表；

其中，所述采集狀態(tài)表用于監(jiān)測(cè)汽車網(wǎng)站的各所述汽車車型網(wǎng)絡(luò)價(jià)格數(shù)據(jù)是否完成采集或是否完成同步。

可選的，所述數(shù)據(jù)同步模塊具體用于：

根據(jù)所述采集狀態(tài)表，確定所述預(yù)置數(shù)據(jù)庫(kù)中未同步的汽車車型網(wǎng)絡(luò)價(jià)格數(shù)據(jù)；

將所述未同步的汽車車型網(wǎng)絡(luò)價(jià)格數(shù)據(jù)同步到Hadoop大數(shù)據(jù)平臺(tái)的分布式文件系統(tǒng)HDFS，并更新所述采集狀態(tài)表。

可選的，還包括：

異常監(jiān)測(cè)模塊，用于對(duì)采集各所述汽車車型網(wǎng)絡(luò)價(jià)格數(shù)據(jù)的過程進(jìn)行監(jiān)測(cè)，當(dāng)監(jiān)測(cè)到采集數(shù)據(jù)異常時(shí)，發(fā)送告警信息給所述數(shù)據(jù)采集模塊。

可選的，所述數(shù)據(jù)計(jì)算模塊，包括：

網(wǎng)絡(luò)優(yōu)惠計(jì)算子模塊，用于基于所述預(yù)處理后的汽車車型網(wǎng)絡(luò)價(jià)格數(shù)據(jù)計(jì)算各車型汽車的最大網(wǎng)絡(luò)優(yōu)惠或網(wǎng)絡(luò)優(yōu)惠平均值；

相應(yīng)的，所述可視化模型，具體用于對(duì)各車型汽車在第一預(yù)置時(shí)間段內(nèi)的所述最大網(wǎng)絡(luò)優(yōu)惠或所述網(wǎng)絡(luò)優(yōu)惠平均值進(jìn)行可視化，得到各車型汽車在所述第一預(yù)置時(shí)間段內(nèi)的所述最大網(wǎng)絡(luò)優(yōu)惠的走勢(shì)圖或所述網(wǎng)絡(luò)優(yōu)惠平均值的走勢(shì)圖。

可選的，所述數(shù)據(jù)計(jì)算模塊，還包括：