[發明專利]數據跨網傳輸方法及裝置

在審

• 申請號: 202211047056.3
• 申請日: 2022-08-30
• 公開（公告）號: CN115378941A
• 公開（公告）日: 2022-11-22
• 發明（設計）人: 師文喜;王德勇;朱占生;金坤坤;趙學義;方儉;李鵬;林暉;唐焱;劉海強
• 申請（專利權）人: 新疆聯海創智信息科技有限公司;中電科電科院科技集團有限公司
• 主分類號: H04L67/10
• 分類號: H04L67/10;H04L67/06;H04L67/1097;H04L67/568
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張欣然

本發明提供一種數據跨網傳輸方法及裝置，應用于外網處理設備，該方法包括：采集待處理數據，并將待處理數據存儲至消息隊列；將待處理數據按照預設條數或預設數據大小分類打包為多個第二待處理數據；在發送第二待處理數據時，針對每一第二待處理數據，對第二待處理數據進行哈希計算，將得到的哈希值作為第二待處理數據的文件名，并以文件名為key，文件內容為value的形式，將第二待處理數據緩存至分布式數據庫Redis中；使用多線程將第二待處理數據擺渡到內網處理設備；接收內網處理設備發送的響應文件，基于響應文件，刪除Redis中的第二待處理數據。通過上述方法提高傳輸效率和保證數據完整性。

技術領域

本發明涉及數據傳輸技術領域，尤其涉及一種數據跨網傳輸方法及裝置。

背景技術

在信息化時代，網絡已經深刻地融入了經濟社會生活的各個方面，網絡安全威脅也隨之向經濟社會的各個層面滲透，網絡安全的重要性隨之不斷提高。在公安、司法等領域由于其業務特性對網絡安全有著很高的要求，在保密等級較低的網域內不允許存儲業務數據，但是，大部分實現信息采集的前端設備基本上都部署在密級比較低的網域內，如何將設備采集的數據能夠安全、快速、穩定的傳輸到應用系統內。

在現有技術中，通過ftp文件擺渡的方式將數據從低密級網域擺渡至高密集網域中，但是，該方式數據傳輸效率較低，且在丟失數據的情況下無法感知。

發明內容

有鑒于此，本發明實施例提供一種數據跨網傳輸方法及裝置，以實現提高數據傳輸效率和保證數據完整性的目的。

為實現上述目的，本發明實施例提供如下技術方案：

本發明實施例第一方面公開了一種數據跨網傳輸方法，應用于外網處理設備，所述方法包括：

采集待處理數據，并將所述待處理數據存儲至消息隊列；

將所述待處理數據按照預設條數或預設數據大小分類打包為多個第二待處理數據；

在發送所述第二待處理數據時，針對每一所述第二待處理數據，對所述第二待處理數據進行哈希計算，將得到的哈希值作為所述第二待處理數據的文件名，并以所述文件名為key，文件內容為value的形式，將所述第二待處理數據緩存至分布式數據庫Redis中；

使用多線程將所述第二待處理數據擺渡到內網處理設備；

接收所述內網處理設備發送的響應文件，基于所述響應文件，刪除所述Redis中的第二待處理數據，所述響應文件由所述內網處理設備基于所述第二待處理數據生成，攜帶有所述第二待處理數據的標識信息。

可選的，在所述采集待處理數據之前，還包括：

獲取非結構化數據；

對所述非結構化數據進行編碼，得到待處理數據。

可選的，所述使用多線程將所述第二待處理數據擺渡到內網處理設備，包括：

配置多個kafka分區，并設置與所述kafka分區的數量一致的線程；

使用多個所述kafka分區和多個所述線程，將所述第二待處理數據擺渡到內網處理設備。

可選的，所述接收所述內網處理設備發送的響應文件，基于所述響應文件，刪除所述Redis中的第二待處理數據，包括：

接收所述內網處理設備發送的響應文件，基于所述第二待處理數據的標識信息，獲取所述第二待處理數據的文件名；

確定所述Redis中與所述文件名匹配的key，并確定對應所述key的第二待處理數據；

按照所述key刪除所述第二待處理數據。

可選的，還包括：