[發明專利]一種全球船舶AIS大數據處理方法及系統

在審

• 申請號: 202111265587.5
• 申請日: 2021-10-28
• 公開（公告）號: CN113961651A
• 公開（公告）日: 2022-01-21
• 發明（設計）人: 李翔
• 申請（專利權）人: 中遠海運科技股份有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/2455;G06F16/242;G06F9/46
• 代理公司: 北京海虹嘉誠知識產權代理有限公司 11129
• 代理人: 高麗萍

本發明提供了一種全球船舶AIS大數據處理方法及系統，先接收船舶實時AIS報文并發布到消息隊列中進行緩存，然后接收消息隊列中的AIS報文并進行預處理，再按照不同的報文類型分別進行存儲，將報文類型為動態數據類型的AIS報文發布到消息隊列中，將報文類型為靜態數據類型的AIS報文保存到Redis內存數據庫，再將存儲在消息隊列中動態數據類型的AIS報文和存儲到Redis內存數據庫中靜態數據類型的AIS報文合并以形成完整的AIS數據記錄，并將AIS數據記錄發布到消息隊列中，形成AIS數據流，最后對AIS數據流進行業務處理生成數據處理記錄，將產生的數據處理記錄保存至目標位置，本發明基于大數據流批一體的處理框架，采用分布式計算的思想，滿足了業務對AIS數據的實時性要求。

技術領域

本發明涉及海量數據處理技術領域，尤其涉及一種全球船舶AIS大數據處理方法及系統。

背景技術

船舶自動識別系統(Automatic Identification System，簡稱AIS)是一種安裝于船舶和岸站的廣播式的自動識別系統，目前絕大多數船舶均已安裝AIS設備。AIS數據以廣播報文形式由設備定時發出，內容包含船舶的實時動態信息(例如船位、航速、航向等)和船舶的靜態信息(例如船舶呼號、船名、水上移動通信業務標識碼MMSI、船型、船舶尺寸以及航次等)。

AIS報文以WGS84編碼，ASCII報文格式傳輸，在數據應用時，需要對消息進行解碼轉換，將各字段拆分出來進行處理和存儲，部分AIS報文還需要將多條消息進行合并解碼。

目前全球船舶已經超過10萬搜，按照不同的發送頻率和船舶范圍，AIS報文的數據量非常高。基于AIS的監控、預警等應用對AIS數據的及時性有較高的要求，這就要求數據處理系統在接收到AIS報文數據后需要及時進行解碼和處理。

AIS報文消息分為動態信息和靜態信息兩類，在數據應用時一般要求合并處理，但AIS會通過不同的報文來發送，如何及時將靜態數據與最新的動態數據進行關聯是一個亟需解決的重要問題。

發明內容

為解決上述問題，本發明提供了一種全球船舶AIS大數據處理方法，通過采用大數據流式實時處理技術，基于流批一體的大數據處理架構，采用分布式計算的思想，對AIS數據進行解碼和處理，滿足了業務對AIS數據的實時性要求。本發明還涉及一種全球船舶AIS大數據處理系統。

本發明的技術方案如下：

一種全球船舶AIS大數據處理方法，其特征在于，包括以下步驟：

數據接收步驟：從AIS系統中接收船舶實時AIS報文，并將AIS報文發布到消息隊列中進行緩存；

數據分類步驟：消費消息隊列中的AIS報文，對AIS報文進行預處理，并對預處理后的AIS報文按照不同的報文類型分別進行存儲，將報文類型為動態數據類型的AIS報文發布到消息隊列中，將報文類型為靜態數據類型的AIS報文以mmsi為主鍵保存到Redis內存數據庫；

數據合并步驟：采用大數據流式處理技術，將存儲在消息隊列中動態數據類型的AIS報文和相關聯的以mmsi為主鍵存儲到Redis內存數據庫中靜態數據類型的AIS報文合并以形成完整的AIS數據記錄，并將AIS數據記錄發布到消息隊列中，形成AIS數據流；

數據應用步驟：基于流批一體的大數據處理架構，對AIS數據流進行業務處理以生成數據處理記錄，并將產生的數據處理記錄保存至目標位置。

優選地，所述數據接收步驟中，在接收船舶實時AIS報文后，將AIS報文保存到內部隊列中，以多線程方式對內部隊列中的AIS報文進行消費，并將消費后的數據發布到消息隊列，以保證數據的處理速度。