[發明專利]一種基于手機信令分析和提取用戶移動軌跡的方法

在審

• 申請號: 202011237478.8
• 申請日: 2020-11-09
• 公開（公告）號: CN112765120A
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 何利文;趙金城
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/215;G06F16/2455;G06F16/2458;G06F16/248;G06F16/28;H04L29/08;H04W4/029;H04W4/20
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 曹坤

本發明提供了一種基于手機信令分析和提取用戶移動軌跡的方法。屬于大數據分析領域。本發明通過Flume采集系統采集用戶信令數據，在歷史軌跡分析的過程中，刪除無效和漂移數據以及重復數據，再使用k?means和LOF離群點檢測算法對數據進一步清洗，提高數據的質量和分析的準確度，并加載到Hive倉庫進行離線計算，結果保存到MySQL數據庫和ES搜索引擎，用于后續查詢；實時軌跡提取的過程中，使用Kafka對接數據，將數據傳輸到Storm等流式計算框架中，將結果緩存到Redis中，通過GIS地圖軟件實時展現用戶的軌跡。本發明提供的方案能夠滿足不同場景下的需求，有很高的實用性和靈活性。

技術領域

本發明涉及大數據分析領域，具體涉及一種目標軌跡分析和提取的方法，特別涉及一種基于手機信令的目標移動軌跡分析和提取的方法。

背景技術

如今隨著大數據時代的到來，各個領域都以極快的速度產生大量的數據，數據涵蓋社保、計生、就業、出行等方方面面，源源不斷的數據也給公安機關帶來了機遇和挑戰。傳統數據庫的擴展性差，當數據量達到一定規模時，性能也隨之大大下降。然而隨著各種大數據技術框架的誕生，為解決該問題提供了很好的解決方案。

移動通信等技術的發展使得智能手機的使用率日益普及，5G時代的到來使得手機信令數據迎來爆發式地增長。據工信部統計數據顯示，截至2019年4月，三大運營商的移動電話用戶總數達15.9億戶，同比增長7.3％；2019年，我國凈增移動電話基站174萬個，總數達到841萬個，其中4G基站總數達到544萬個，隨著5G商用開始，5G基站建設開始加速，網絡覆蓋規模不斷地擴大和完善。手機信令最大的特點就是它的覆蓋面廣，并且包含了手機串號、時間戳和位置等豐富的信息，可以應用在城市人口分布、出行OD分析等方面。如果利用這些數據尤其是位置信息提取出特定人員的軌跡，這對打擊犯罪和提高辦案效率有著重要的實意義。

發明內容

針對上述問題，本發明提供了一種特定目標軌跡分析系統，能夠滿足離線查詢和實時查詢等不同場景下的特定人員軌跡分析提取，并通過地圖可視化軟件展示給用戶。

本發明的技術方案是：一種基于手機信令分析和提取用戶移動軌跡的方法，具體步驟包括如下：

步驟(1.1)、首先通過Flume數據采集系統采集手機信令數據源并儲存；

步驟(1.2)、針對目標歷史軌跡的分析，由Flume數據采集系統將儲存的歷史數據進行采集并存儲到HDFS分布式文件系統中；

步驟(1.3)、對存儲到HDFS分布式文件系統中的歷史數據進行數據清洗；

步驟(1.4)、數據清洗完成后，加載到Hive數據倉庫，根據每個用戶的數據通過計算分析出用戶的離線歷史軌跡，

步驟(1.5)、將用戶的離線歷史軌跡數據存儲到MySQL關系數據庫中，按照天進行分區，用于后續查詢或加載到ES搜索引擎中便于快速檢索；

步驟(1.6)、針對目標實時軌跡的分析，通過Kafka消息系統訂閱實時信令數據，

步驟(1.7)、經過Storm流式計算框架對實時信令數據進行分析，記錄用戶的狀態：即當前位置和出現時間；當獲取到一條新的數據及目標位置發生變化時，則更新用戶的狀態信息，從而計算出用戶的實時軌跡序列數據；

步驟(1.8)、將用戶的實時軌跡序列數據緩存至Redis中，通過GIS地圖軟件按時間序列顯示出用戶的軌跡。

進一步的，在步驟(1.1)中，實時的數據源包括設備數據、系統數據集其它數據。

進一步的，在步驟(1.3)中，所述對存儲到HDFS分布式文件系統中的歷史數據進行數據清洗的具體操作步驟如下：

(1.3.1)、字段缺失數據：手機信令數據包含imsi手機串號、時間戳和基站經緯度，對缺失字段信息的記錄進行刪除；