[發明專利]Spark平臺下基于GPS數據的出租車調配方法

有效

• 申請號: 201710131675.3
• 申請日: 2017-03-07
• 公開（公告）號: CN106875670B
• 公開（公告）日: 2019-12-31
• 發明（設計）人: 王進;卜亞楠;王科;李穎;孫開偉;劉彬;李智星;陳喬松;鄧欣;胡峰;雷大江
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G08G1/00
• 分類號: G08G1/00;G06Q10/04;G06Q50/30
• 代理公司: 50102 重慶市恒信知識產權代理有限公司
• 代理人: 劉小紅

1.一種Spark平臺下基于GPS數據的出租車調配方法，其特征在于，包括以下步驟：

101、從調度中心獲取出租車歷史GPS數據，并將該出租車歷史GPS數據部署到Spark平臺上，對歷史GPS數據的每個數據模塊都并行預處理操作，具體包括：

S1011、從調度中心獲取歷史出租車GPS數據，把歷史GPS數據部署到Hadoop分布式文件系統HDFS中，spark是兼容HDFS分布式存儲系統，生成m個數據塊；

S1012、并行的讀入每個數據塊，得到具有m個partition分區的彈性分布式數據集RDDa；

S1013、對RDDa的每一個partition進行并行的預處理操作，所述的預處理操作是指：若該條GPS數據滿足存在相鄰兩條坐標記錄時間跨度超過k分鐘，則刪除該條數據；若k分鐘內存在缺失的GPS坐標記錄，則對該條數據進行補全，對該條數據進行地圖匹配；

102、從預處理后的數據中選取模型所需要的特征，提取出租車軌跡特征并建立回歸模型，所述步驟S102提取出租車行駛特征具體為：

S1021、對預處理后的RDDa的每個partition進行并行的特征提取操作，并生成RDDb，所述的特征提取操作是指：提取出路線標識、出租車標識、時間戳、日期類別、軌跡開始和結束時間、路徑坐標記錄和用戶行為信息特征；

S1022、對RDDb使用persist()方法緩存數據集，生成RDDd；

S1023、對RDDb的每個partition進行并行的特征矩陣提取，生成RDDc，以RDDc構建學習模型；

103、在Spark平臺下對出租車的實時GPS數據進行提取并根據回歸模型預測其未來的路徑、終點位置以及到達時間，具體包括步驟：

進行HDFS讀入從調度中心獲取的實時出租車GPS數據，生成n個數據塊；并行的讀入每個數據塊，得到具有n個partition的RDDe；

對RDDe的每個partition進行預處理操作，當該條實時GPS數據存在缺失數據，則對該條數據進行補全，使用Google Map提供的接口對該條數據進行地圖匹配，同時考慮到該出租車的歷史軌跡數據、當前時間、當天日期類型和路況方面的因素，從地圖中找到最為合理的路徑進行GPS數據補全；

對預處理后的RDDe的每個partition進行并行的特征提取操作，并生成RDDf；對RDDf使用persist()方法緩存數據集，生成RDDh；對RDDf的每個partition進行并行的特征矩陣提取，生成RDDg，構建測試數據；

通過RDDh.cartesian方法對不同的數組進行笛卡爾操作生成RDDi，其中每一個鍵值對為(key,value)，key為某一條測試樣本的ID，value為與該測試樣本路徑相匹配記錄的ID；所述笛卡爾操作具體是指：對RDDh中的每條記錄和RDDd中的每條記錄進行DTW路徑匹配，得出相匹配的鍵值對(key,value)，在時間序列中，需要比較相似性的兩段時間序列的長度可能并不相等，在軌跡路徑匹配領域表現為同一段路徑上車子的GPS坐標；

通過RDDi.groupByKey()方法合并匹配結果為RDDj，其中每個k-value值為(key,{value₁,value₂,...,value_l})，其中key為測試樣本ID，{value₁,value₂,...,value_l}為與測試樣本key路徑相匹配的訓練樣本的ID集合；

對RDDj進行map操作，形成對應每個key的匹配矩陣，存儲在RDDk中；

使用RDDk中每個匹配的矩陣構建相應的決策樹預測模型，并使用決策樹預測模型預測測試數據下一個GPS位置P[x,y]；若坐標P[x,y]為終點坐標，則停止預測，記終點坐標為P_end[x,y]；反之，若P[x,y]不是終點坐標，則使用CC算法預測下一個GPS坐標路徑，直至求出最后的終點坐標P_end[x,y]；

根據預測的終點坐標P_end[x,y]，對該條實時數據key，在DTW匹配的路徑集合{value₁,value₂,...,value_l}中找到更為合適的路徑{p₁,p₂,...,p_h}，來預測該條實時GPS數據到達終點的時間t，通過預測模型得到出租車位置標記點，即為出租車以大概率行駛的軌跡點；

104、根據預測結果對出租車的調配進行優化。