[發明專利]一種面向價格領域的大數據處理分析系統

在審

• 申請號: 201811220594.1
• 申請日: 2018-10-19
• 公開（公告）號: CN109523446A
• 公開（公告）日: 2019-03-26
• 發明（設計）人: 郜成勝;張君福;高留杰;季斌林;李偉平;趙文;張世琨
• 申請（專利權）人: 北京北大軟件工程股份有限公司
• 主分類號: G06Q50/26
• 分類號: G06Q50/26
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩;李相雨

1.一種面向價格領域的大數據處理分析系統，其特征在于，包括：

價格數據獲取模塊，用于利用預設數據獲取方式，獲取多源異構的價格數據；

分布式處理模塊，用于采用大數據分布式處理技術，對所述價格數據進行處理；

大數據分析模塊，用于對處理后的價格數據進行大數據分析；

可視化展示模塊，用于將大數據分析后得到的數據結果通過可視的、交互的方式進行展示。

2.根據權利要求1所述的系統，其特征在于，所述系統還包括：

質量檢查模塊，用于在利用預設數據獲取方式，獲取多源異構的價格數據之后，對獲取的價格數據進行質量檢查，檢查數據完整性、數據一致性和數據準確性；

預處理模塊，用于對質量檢查后的價格數據進行預處理，以提高數據質量；

相應地，所述分布式處理模塊，具體用于

采用大數據分布式處理技術，對預處理后的價格數據進行處理。

3.根據權利要求2所述的系統，其特征在于，所述預處理，包括：數據清洗、數據集成、數據歸約和數據轉換，對于缺失值、溢出值，用選定范圍的數據均值代替或者用線性回歸值代替。

4.根據權利要求1所述的系統，其特征在于，所述價格數據獲取模塊，具體用于

采用移動端/web端人工上報方式，采集尚無信息化基礎的價格業務的價格數據；

采用軟件接口方式，采集已有業務系統中的結構化的價格數據；

采用Python數據爬取模式，采集不同來源的實時價格數據。

5.根據權利要求4所述的系統，其特征在于，采用Python數據爬取模式采集的實時價格數據，包括：結構化、半結構化和非結構化的實時價格數據；

所述不同來源，包括：政府、企業、市場和消費者的定源網頁；

相應地，所述價格數據獲取模塊中的采用Python數據爬取模式，采集不同來源的實時價格數據，包括：

利用Python爬蟲針對定源的網頁進行加載、下載，保存至網頁數據庫；

通過預先配置的頁面規則，對所保存網頁的頁面進行解析，將所保存網頁的頁面數據轉換為結構化數據，將所述結構化數據保存到預設數據庫中。

6.根據權利要求1所述的系統，其特征在于，所述分布式處理模塊，具體用于

采用大數據分布式處理技術，對所述價格數據進行均值計算、差值計算、均值的差值計算、環比計算、同比計算和累計比計算處理。

7.根據權利要求1所述的系統，其特征在于，所述大數據分析包括：對已知數據的統計分析和對未知數據的挖掘；

所述大數據分析模塊，具體用于對處理后的價格數據進行按多維度的統計分析和對處理后的價格數據進行價格預警分析；

其中，按多維度的統計分析，支持不同區域之間同類數據的對比分析、同一區域不同時期數據的對比分析，支持按業務需求固定模板的統計報表定制，支持統計分析結果打印和導出，其中，所述多維度包括：時間、區域和類別，所述不同區域包括：各省份、各市和各縣；

其中，價格預警分析，包括：價格走勢分析，價格走勢預警和價格異常預警。

8.根據權利要求7所述的系統，其特征在于，所述對未知數據的挖掘是挖掘大數據集合中的數據關聯性，其中，挖掘采用的手段包括：聚類與分類、關聯分析和深度學習。

9.根據權利要求7所述的系統，其特征在于，所述大數據分析模塊中的對處理后的價格數據進行價格預警分析，包括：

選擇報告期任意一種商品/服務的價格的均價或環比，確定其與上一期均價或環比的差值；

根據所述差值確定所述價格走勢；

判斷價格走勢持續期數是否達到預設期數閾值，如果價格走勢持續期數大于等于預設期數閾值，則進行價格走勢預警，如果價格走勢持續期數小于預設期數閾值，則不進行價格走勢預警；

判斷價格調整幅度是否達到預設幅度閾值以及判斷價格調整時限是否達到預設價格調整時限閾值，若價格調整幅度大于等于預設幅度閾值或者價格調整時限大于等于預設價格調整時限閾值，則進行價格異常預警，若價格調整幅度小于預設幅度閾值且價格調整時限小于預設價格調整時限閾值，則不進行價格異常預警；

通過數據核查，對處理后的異常的價格數據進行價格異常預警，所述異常的價格數據包括：價格數據缺失、價格數據為負和價格數據量級異常。