[發明專利]一種網間交通流數據的交換方法及系統

有效

• 申請號: 201910811244.0
• 申請日: 2019-08-30
• 公開（公告）號: CN110505307B
• 公開（公告）日: 2022-04-26
• 發明（設計）人: 張韌;代磊磊;何廣進;劉東波;劉成生;蔡玉寶
• 申請（專利權）人: 公安部交通管理科學研究所
• 主分類號: H04L67/06
• 分類號: H04L67/06;H04L67/12;G06F16/14;G06F16/16;G06F16/178
• 代理公司: 無錫盛陽專利商標事務所(普通合伙) 32227
• 代理人: 張寧;黃瑩

1.一種網間交通流數據的交換方法，其包括以下步驟：

S1：信號控制系統獲取道路交通監控設備抓取的階段交通流數據；

其特征在于，其還包括下面的步驟：

S2：將所述信號控制系統傳入的所述階段交通流數據，從xml格式轉換成json格式；

S3：將json格式的所述階段交通流數據存儲成文本文件；

設置一個時間閾值TH，且以TH秒/次的頻度發送到設置在視頻專網的FTP同步目錄中；

S4：公安信息通信網邊界接入平臺定期掃描所述FTP同步目錄；

以TH秒/每次的頻度，將文本格式的所述階段交通流數據以FTP協議同步到位于公安網內部的接收端FTP目錄中；

S5：在公安網內部，把位于所述接收端FTP目錄中的文本格式的所述階段交通流數據解析成json格式的數據，送入kafka隊列；

S6：公安交通指揮平臺采用流式計算技術從所述kafka隊列中消費數據，進行后續計算和操作；

步驟S3中，將json格式的所述階段交通流存儲成文本文件的時候，包括如下步驟：

a1：確認系統中已經存在的文本文件的個數N；

a2：如果 N = 0，則新建一個文本文件；

否則，存儲文本文件之前確認本次所述階段交通流數據的接收時間T是否大于所述時間閾值TH：

T = 本次所述階段交通流數據接收完畢的時間 - 當前系統時間；

a3：如果T大于等于TH，則新建一個文本文件；

否則，如果T小于TH，則在原來的文本文件中，將數據追加寫入下面的一行。

2.根據權利要求1所述一種網間交通流數據的交換方法，其特征在于：步驟S3中，所述時間閾值TH 設為1秒。

3.根據權利要求1所述一種網間交通流數據的交換方法，其特征在于：步驟S3中，將json格式的所述階段交通流數據存儲成文本文件，存儲的文本文件的文件名格式為：xxxx年-xx月-xx日-xx小時-xx分鐘-xx秒.log。

4.根據權利要求1所述一種網間交通流數據的交換方法，其特征在于：步驟S5中，在公安網內部，設置階段交通流數據接收端，所述階段交通流數據接收端為基于Flume 的擴展并進行二次開發的服務器；所述階段交通流數據接收端定期掃描所述接收端FTP目錄中的文本格式的所述階段交通流數據，且進行解析成json格式，送入所述kafka隊列，其包括如下步驟：

b1：所述階段交通流數據接收端定期掃描所述接收端FTP目錄，獲取所述接收端FTP目錄下的所有文本格式的所述階段交通流數據的元信息，所述元信息包括:文件名和文件大小；

b2：把所有文件的所述元信息按照文件名排序，形成文件臨時列表；

b3：從所述文件臨時列表中，依次取出每個文件的所述元信息，在本地的已處理文件信息集合的數據進行檢索比對；

所述已處理文件信息集合包括：所有已經處理過的階段交通數據的所述元信息；

b4：如果比對結果為：集合中包含該文件，代表該文件已被處理過，無需對其進行后續處理；

如果比對結果為：集合中不存在該文件，代表改文件沒有被處理過需要進行后續處理，執行步驟b5；

b5：把需要進行后續處理的文本格式的所述階段交通流數據，基于FTP協議，依次拉取到所述階段交通流數據接收端本地；

b6：對該文件按行解析，且把每行數據解析并封裝成一個event；

b7：對每個event進行解析，還原成json格式的所述階段交通流數據；

b8：把json格式的所述階段交通流數據發送到所述kafka隊列中。