[發明專利]數據跨網傳輸方法及裝置

在審

• 申請號: 202211047056.3
• 申請日: 2022-08-30
• 公開（公告）號: CN115378941A
• 公開（公告）日: 2022-11-22
• 發明（設計）人: 師文喜;王德勇;朱占生;金坤坤;趙學義;方儉;李鵬;林暉;唐焱;劉海強
• 申請（專利權）人: 新疆聯海創智信息科技有限公司;中電科電科院科技集團有限公司
• 主分類號: H04L67/10
• 分類號: H04L67/10;H04L67/06;H04L67/1097;H04L67/568
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張欣然

1.一種數據跨網傳輸方法，其特征在于，應用于外網處理設備，所述方法包括：

采集待處理數據，并將所述待處理數據存儲至消息隊列；

將所述待處理數據按照預設條數或預設數據大小分類打包為多個第二待處理數據；

在發送所述第二待處理數據時，針對每一所述第二待處理數據，對所述第二待處理數據進行哈希計算，將得到的哈希值作為所述第二待處理數據的文件名，并以所述文件名為key，文件內容為value的形式，將所述第二待處理數據緩存至分布式數據庫Redis中；

使用多線程將所述第二待處理數據擺渡到內網處理設備；

接收所述內網處理設備發送的響應文件，基于所述響應文件，刪除所述Redis中的第二待處理數據，所述響應文件由所述內網處理設備基于所述第二待處理數據生成，攜帶有所述第二待處理數據的標識信息。

2.根據權利要求1所述的方法，其特征在于，在所述采集待處理數據之前，還包括：

獲取非結構化數據；

對所述非結構化數據進行編碼，得到待處理數據。

3.根據權利要求1所述的方法，其特征在于，所述使用多線程將所述第二待處理數據擺渡到內網處理設備，包括：

配置多個kafka分區，并設置與所述kafka分區的數量一致的線程；

使用多個所述kafka分區和多個所述線程，將所述第二待處理數據擺渡到內網處理設備。

4.根據權利要求1所述的方法，其特征在于，所述接收所述內網處理設備發送的響應文件，基于所述響應文件，刪除所述Redis中的第二待處理數據，包括：

接收所述內網處理設備發送的響應文件，基于所述第二待處理數據的標識信息，獲取所述第二待處理數據的文件名；

確定所述Redis中與所述文件名匹配的key，并確定對應所述key的第二待處理數據；

按照所述key刪除所述第二待處理數據。

5.根據權利要求1所述的方法，其特征在于，還包括：

若未接收到所述內網處理設備發送的響應文件，定時查詢所述Redis中的緩存數據；

若查詢到所述第二待處理數據，將所述第二待處理數據重發至所述內網處理設備，直至接收到所述內網處理設備發送的響應文件。

6.一種數據跨網傳輸方法，其特征在于，應用于內網處理設備，所述方法包括：

接收外網處理設備擺渡的第二待處理數據，其中，所述第二待處理數據以文件名為key，文件內容為value的形式存儲于分布式數據庫Redis中；

計算所述第二待處理數據的哈希值；

校驗所述哈希值和所述文件名；

若所述哈希值和所述文件名不一致，確定所述第二待處理數據丟包，丟棄所述第二待處理數據；

若所述哈希值和所述文件名一致，將所述第二待處理數據的響應文件反饋至所述外網處理設備。

7.一種數據跨網傳輸裝置，其特征在于，應用于外網處理設備，所述裝置包括：

采集存儲模塊，用于采集待處理數據，并將所述待處理數據存儲至消息隊列；

分類打包模塊，用于將所述待處理數據按照預設條數或預設數據大小分類打包為多個第二待處理數據；

哈希處理模塊，用于在發送所述第二待處理數據時，針對每一所述第二待處理數據，對所述第二待處理數據進行哈希計算，將得到的哈希值作為所述第二待處理數據的文件名，并以所述文件名為key，文件內容為value的形式，將所述第二待處理數據緩存至分布式數據庫Redis中；

擺渡模塊，用于使用多線程將所述第二待處理數據擺渡到內網處理設備；

刪除模塊，用于接收所述內網處理設備發送的響應文件，基于所述響應文件，刪除所述Redis中的第二待處理數據，所述響應文件由所述內網處理設備基于所述第二待處理數據生成，攜帶有所述第二待處理數據的標識信息。

8.根據權利要求7所述的裝置，其特征在于，在所述采集存儲模塊用于采集待處理數據之前，還用于：

獲取非結構化數據；對所述非結構化數據進行編碼，得到待處理數據。