[發(fā)明專利]一種超大數據交換引擎

無效

• 申請?zhí)枺?/td>: 201110304657.3
• 申請日: 2011-09-30
• 公開（公告）號: CN102355419A
• 公開（公告）日: 2012-02-15
• 發(fā)明（設計）人: 曾彬海;林嵩;陳嵩榮
• 申請（專利權）人: 南威軟件股份有限公司
• 主分類號: H04L12/56
• 分類號: H04L12/56
• 代理公司: 泉州市文華專利代理有限公司 35205
• 代理人: 王美花

技術領域

本發(fā)明涉及一種超大數據交換引擎。

技術背景

治安卡口系統(tǒng)發(fā)展迅速，已初步形成了覆蓋全省主要道路的治安卡口系統(tǒng)，在實戰(zhàn)中也發(fā)揮顯著效用，但其早期卡口軟件管理平臺又多以單級部署為主，缺乏立足于全省的統(tǒng)一部署規(guī)劃，形成單系統(tǒng)信息孤島，數據信息共享不暢，難以形成立足于全省的查控系統(tǒng)，在實戰(zhàn)中無法最大限度地發(fā)揮效用。

為解決以上問題，省級公安機提出了依托公安信息網絡，搭建省、市、縣三級治安卡口管理平臺，實現(xiàn)全省所有治安卡口數據實時轉發(fā)，分域統(tǒng)一存儲。省級管理平臺與公安業(yè)務信息庫建立聯(lián)接，實現(xiàn)各類違法車輛信息的比對報警以及統(tǒng)一查詢；實現(xiàn)立足于全省聯(lián)網的布控、比對、報警，構建全省治安卡口系統(tǒng)查控體系，與全省公安系統(tǒng)的防控體系緊密結合。

全省卡口數據的實時匯聚轉發(fā)，由于受地域距離、網絡帶寬等因素影響也產生了如果高效的處理超大數據量數據交換以及保證數據實時有效傳輸等問題。

傳統(tǒng)的做法是通過數據交換的兩端實時監(jiān)聽，實時進行數據交換，若數據量大，容易發(fā)生數據傳輸擁堵的現(xiàn)象，導致數據傳輸不完整以及數據處理不及時。

發(fā)明內容

本發(fā)明的目的在于提供一種超大數據交換引擎，能有效地保證數據實時高效、有效地傳輸，避免網絡、地域等因素造成數據的丟失以及延遲。

一種超大數據交換引擎，其特征在于：包括數據發(fā)送端、若干數據打包和數據發(fā)送模塊、對象容器、若干數據接收和數據拆包模塊和數據接收端，其中數據打包和數據發(fā)送模塊和對象容器附帶本地存儲單元，數據發(fā)送端接收需要發(fā)送的數據，交由數據打包和數據發(fā)送模塊進行打包，封裝生成類型無關性對象數據緩存在本地存儲單元，以異步網絡收發(fā)模式傳輸至對象容器，該對象容器接收打包好的各種類型對象數據，并依序緩存在本地存儲單元中；由數據接收和數據拆包模塊從對象容器中讀取需要的對象數據，然后進行拆包并恢復成原始數據通過數據接收端送入業(yè)務系統(tǒng)。

本發(fā)明改進了傳統(tǒng)的數據交換模式，針對超大數據量能夠實現(xiàn)高效數據交換，并能夠適應不同網絡環(huán)境，保證數據高效、實時、有效地傳輸，為公安機關緝查交通違法嫌疑車輛、交通肇事逃逸車輛、涉牌違法車輛以及刑事治安案提供技術保證。

本發(fā)明不僅可以適用于治安卡口系統(tǒng)，也可適用于其他多級數據傳輸、大數據量數據傳輸系統(tǒng)。

附圖說明

圖1為本發(fā)明超大數據交換引擎的結構示意圖；

圖2為本發(fā)明的工作流程示意圖。

以下結合附圖和具體實施例對本發(fā)明作進一步詳述。

具體實施方式

如圖1所示，本發(fā)明一種超大數據交換引擎，包括數據發(fā)送端1、若干數據打包和數據發(fā)送模塊2、對象容器3、若干數據接收和數據拆包模塊4和數據接收端5，其中數據打包和數據發(fā)送模塊2和對象容器3附帶本地存儲單元，數據發(fā)送端1接收需要發(fā)送的數據，交由數據打包和數據發(fā)送模塊2進行打包，封裝生成類型無關性對象數據緩存在本地存儲單元21，以異步網絡收發(fā)模式傳輸至對象容器3，避免網絡不穩(wěn)定時造成數據傳輸的延遲，并啟用斷點續(xù)傳功能，避免數據丟失并可提高傳輸效率，對象容器3接收打包好的各種類型對象數據，包括圖片、視頻信息、文本信息等，并依序緩存在本地存儲單元31中；數據接收和數據拆包模塊4從對象容器3中讀取需要的對象數據，然后進行拆包并恢復成原始數據通過數據接收端5送入業(yè)務系統(tǒng)。

所述的數據發(fā)送端1和數據接收端5可以是超大數據交換引擎的二次開發(fā)接口，通過接口可以將需要發(fā)送的數據(文本、圖形圖像等)提交給數據打包和數據發(fā)送模塊2；或者，由數據接收和數據拆包模塊4從對象容器3中讀取需要的對象數據，進行拆包，還原為原始數據，通過該接口送入對應的業(yè)務系統(tǒng)(數據庫信息、文件信息等)。

如圖2所示，本發(fā)明一種超大數據交換引擎按照如下步驟進行數據處理：

步驟1、數據打包和數據發(fā)送模塊2從數據發(fā)送端1獲得數據(文本、圖片)；

步驟2、數據打包和數據發(fā)送模塊2對數據進行打包，將獲得的數據生成數據類型無關性的對象數據發(fā)送至對象容器3；當網絡異常時，數據打包和數據發(fā)送模塊2將該對象數據緩存在本地存儲單元21中避免數據丟失，一旦網絡恢復正常，則將對象數據從本地存儲單元21中取出發(fā)送到對象容器3中；

步驟3、對象容器3接收對象數據，并依序緩存至本地存儲單元31中等待數據接收和數據拆包模塊4來讀取數據；