[發明專利]一種基于軌跡大數據最近鄰查詢的個性化推薦方法

有效

• 申請號: 201710038859.5
• 申請日: 2017-01-19
• 公開（公告）號: CN106897374B
• 公開（公告）日: 2020-05-12
• 發明（設計）人: 高云君;丁欣;陳瑞;鮑虎軍
• 申請（專利權）人: 浙江大學
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/22;G06F16/9537;G06F16/9535
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

本發明公開了一種基于軌跡大數據最近鄰查詢的個性化推薦方法。本發明基于軌跡大數據最近鄰查詢，設計高效的存儲和索引結構來處理軌跡大數據。本發明首先對軌跡大數據進行抽取、降噪、轉換和存儲處理，而后對被存儲的軌跡數據建立全局的R樹索引和局部的R樹索引，并對每個分區建立基于軌跡編號集合的索引和基于軌跡數目的索引。在用戶提交查詢時，通過訪問本發明的索引結構，進行基于軌跡大數據最近鄰查詢以提供個性化推薦服務。本發明很好地滿足了大數據環境下軌跡最近鄰查詢的需求，極大地提高了軌跡大數據最近鄰查詢的處理效率，提供了最佳的性能。

技術領域

本發明涉及計算機空間數據庫領域中的索引和查詢技術，特別是涉及一種基于軌跡大數據最近鄰查詢的個性化推薦方法。

背景技術

隨著帶有GPS的設備爆炸式增長和廣泛普及，時空軌跡數據(譬如人、車輛和動物等)正以極快的速度增長，并用于支撐基于位置的服務、城市計算、用戶個性化推薦、動物行為研究等許多領域的應用和服務。

在當前的大數據時代，針對軌跡大數據的查詢算法也越來越受到關注。其中，基于軌跡大數據的最近鄰查詢是一個重要的查詢方法，并具有重要的實際應用價值。針對軌跡大數據的最近鄰查詢是指從軌跡數據集中找出到一個指定查詢對象距離最近的軌跡。基于軌跡大數據最近鄰查詢能夠應用于基于位置的服務(如個性化推薦)。設計一種方法以高效地管理、預處理和分析這樣大規模的軌跡數據，支持最近鄰查詢，可以促進軌跡大數據處理技術的發展和應用，并為各相關領域和應用的軌跡數據分析提供便利，促進個性化推薦服務的發展。

然而，設計這樣的方法面臨著兩個挑戰。第一，軌跡數據的現有規模非常大且增長速度非常快，但目前最有效的軌跡處理算法大多是基于集中式而不易擴展的系統架構，由于數據量過大,單個機器處理的效率太低甚至無法使用。第二，近年來針對多維數據設計和構建的分布式框架也并不完全適用于大規模軌跡數據的處理任務。若不對這些系統進行修改，則無法集成針對軌跡數據的優化來高效地支持軌跡大數據環境下的最近鄰查詢算法。

發明內容

本發明很好地彌補了上述兩個缺陷，提出了一種基于軌跡大數據最近鄰查詢的個性化推薦方法。

本發明解決其技術問題采用的技術方案的步驟如下：一種基于軌跡大數據最近鄰查詢的個性化推薦方法，該方法包括如下步驟：

步驟(1)：從原始的大數據中抽取有效的軌跡大數據；

步驟(2)：對步驟(1)中抽取出來的軌跡大數據進行降噪處理；

步驟(3)：將步驟(2)中已經降噪過的軌跡大數據轉換成不同的形式，并利用HDFS進行存儲；

步驟(4)：對步驟(3)中已經存儲的軌跡大數據建立全局的R樹索引和局部的R樹索引；

步驟(5)：利用步驟(4)建立的索引結構對每個分區建立基于軌跡編號集合的索引和基于軌跡數目的索引；

步驟(6)：用戶提交個性化推薦查詢，通過訪問步驟(4)和步驟(5)建立的索引結構，進行軌跡大數據最近鄰查詢，并根據軌跡大數據最近鄰查詢的結果向用戶進行個性化推薦。

進一步的，所述步驟(1)具體為：從原始的數大據抽取時空大數據，而后將時空大數據按照時間進行組合，進而拼接成有效的軌跡大數據。

進一步的，所述步驟(2)具體為：對步驟(1)中抽取出來的軌跡大數據進行離群點檢測和異常點檢測，并對檢測的結果進行評估，從而刪除或者矯正相應的離群點或異常點。

進一步的，所述步驟(3)具體為：對步驟(2)中降噪后的軌跡大數據進行轉換，轉換成時空點、軌跡點和軌跡段三種形式，并存儲在HDFS中。

進一步的，所述步驟(4)中建立全局的R樹索引和局部的R樹索引的具體步驟如下：