[發明專利]一種物流大數據平臺

在審

• 申請號: 201911412737.3
• 申請日: 2019-12-31
• 公開（公告）號: CN113127439A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 李晶磊
• 申請（專利權）人: 云南青年學園科技有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/2458;G06F16/248;G06F16/29;G06Q10/08;G06Q10/10
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提供一種物流大數據平臺，針對物流網站的大規模數據的采集，數據清洗、處理和分析，信息挖掘，結果展示以及數據的存儲，在數據采集的階段用戶可以選擇要獲取數據的物流網站，同時用戶可以自主輸入網址并編寫針對該網址的數據爬取函數，數據處理部分主要是對數據的格式化和對數據的清洗，數據分析主要是利用醫域專線的出度數和入度數以及區域內的物流公司、快遞網點的數量表征區域物流發展水平，進而與GDP、物流從業人數和交通便捷性等進行比較分析，數據挖掘則主要包括聚類分析和關聯規則分析，系統可視化展示部分主要是通過表格、圖片和地圖的方式呈現給用戶。

技術領域

本發明涉創業技術領域，具體涉及一種物流大數據平臺。

背景技術

區域物流與經濟空間的發展有著密不可分的關系,這種聯系反應在經濟地理學空間上就形成了一種空間結構。全球性的地理結構出現了一種新的空間結構模式—樞紐網絡結構，而物流過程很強烈地依賴于這種空間結構。實際上一方面經濟發展及其空間結構可以更好地帶動物流的建設，另一方面物流的快速發展也可以促進經濟空間結構的發展，兩者之間存在著互為因果的關系。而不平衡的物流發展也會帶來經濟發展不平衡的現象,因此正確認識物流發展的狀況也顯得格外重要，區域物流的發展是否跟得上空間結構的發展腳步也變得越來越關鍵，在空間內部，城市和區域之間的物流業發展形成的空間結構將直接影響到地區經濟的發展，在此背景下對物流的研究變得刻不容緩。而對物流的研究，也必將導致對區域的空間結構更深入的研究。

發明內容

本發明的目的在于提供一種物流大數據平臺，針對物流網站的大規模數據的采集，數據清洗、處理和分析，信息挖掘，結果展示以及數據的存儲。在數據采集的階段用戶可以選擇要獲取數據的物流網站，同時用戶可以自主輸入網址并編寫針對該網址的數據爬取函數；數據處理部分主要是對數據的格式化和對數據的清洗，包括去掉重復的數據，補上不完整的數據以及去掉明顯錯誤的數據等；數據分析主要是利用醫域專線的出度數和入度數以及區域內的物流公司、快遞網點的數量表征區域物流發展水平，進而與GDP、物流從業人數和交通便捷性等進行比較分析；數據挖掘則主要包括聚類分析和關聯規則分析，同時還包括區域物流網絡結構的分析以及針對復雜網絡的社區發現算法等；系統可視化展示部分主要是通過表格、圖片和地圖的方式呈現給用戶；數據庫部分主要是提供對采集和處理之后的數據進行存儲和管理，實現用戶對數據的查詢功能，同時提供對用戶自主上傳的數據的入庫功能，包括市級區域的GDP數據、物流業從業人數和交通便捷性指數等。

為實現上述目的，本發明采用的技術方案是：

一種物流大數據平臺，其特征在于：系統主要是對物流網站進行的數據挖掘，包括采集模塊，GIS基本功能模塊，分析與挖掘模塊，展示輸出模塊。

(1)采集模塊設計，采集模塊主要包括了對物流網站數據的獲取和清洗。數據采集和數據清洗是整個挖掘過程的關鍵步驟，數據質置的好壞對于最后挖掘的結果至關重要。本系統主要采用網絡爬蟲的方法針對物流網站進行數據的采集。主要包括四個方面的物流數據，分別是物流專線數據，物流企業、快遞公司及網點分布數據，物流貨物運輸數據和物流招聘和求職數據，涉及到的網站包括全國物流信息網、中國物通網、全國物流交易中心和物流天下網等七個網站。將從物流網站獲得到的數據經過處理后按照統一的格式存儲到數據庫中。

(2)GIS基本功能模塊設計，GIS基本功能模塊是地理信息分析系統的典型功能單元，這里主要包括的是系統提供的針對地圖的一些基本操作例如移動、縮小、放大、全圖顯示、要素選擇、取消選擇以及要素識別等功能。系統主要通過調用ArcGISEngine的特定接口來實現這些功能。