[發明專利]一種文件傳輸方法、系統、設備以及介質

在審

• 申請號: 202011186820.6
• 申請日: 2020-10-29
• 公開（公告）號: CN112291350A
• 公開（公告）日: 2021-01-29
• 發明（設計）人: 何金彪;秦正;劉洋
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L29/06;H04L12/863
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 張濤;張騰

本發明公開了一種文件傳輸方法，包括以下步驟：將待傳輸的大文件拆分成多個小文件；對每一個所述小文件進行編號，并加入到發送隊列中；讀取所述隊列中的小文件以形成文件流；根據讀取的小文件的編號確定對應的所述文件流的密鑰和待加密的部分以利用所述密鑰對所述待加密的部分進行加密；將加密后的文件流傳輸到目的端。本發明還公開了一種系統、計算機設備以及可讀存儲介質。本發明提出的方案，通過將大文件拆分成多個小文件，并對每個小文件進行編號，并根據編號確定密鑰，這樣使得每一個小文件都有獨有的編號和密鑰，保證了文件傳輸的絕對安全，同時由于只對文件流的部分進行加密，降低了性能損耗。

技術領域

本發明涉及文件傳輸領域，具體涉及一種文件傳輸方法、系統、設備以及存儲介質。

背景技術

隨著互聯網的飛速發展，大規模、超大規模的數據中心越來越成為現代社會發展的需要。在一些金融行業場景中，業務數據不斷積累，會生成許多大文件或者超大文件用于存儲歷史業務數據，由于業務不斷升級擴張，需要將數據遷移至另一個大數據集群，用于分擔原集群的存儲壓力，這期間就涉及到容量非常巨大的數據文件跨集群遷移場景，將大量的業務歷史數據文件遷移至另一個集群。大文件跨集群傳輸是普遍存在的一個難題，傳輸不夠穩定，效率不高，以及傳輸后數據文件的完整性得不到保障。

為了提高傳輸效率，一般采用將大文件拆分成小文件大文件壓縮拆分眾多小文件進行傳輸的方法，但是在傳輸過程中由于網絡原因導致部分文件傳輸失敗，就需要將傳輸失敗的文件加入到源端內存隊列中重新傳輸，文件傳輸到目的端之后，順序性無法保證，導致文件恢復的時候出現順序錯亂問題。并且在文件傳輸過程中，涉及到機密文件或者業務隱私數據，需要通過對文件加密來實現數據的保密性，防止用戶的數據被竊取或泄露。常規的加密方案，是對文件進行完全加密，該方案適用于小文件的加密傳輸，對于大文件來說，要對所有拆分后的文件進行加密，性能將大幅降低；對稱加解密算法是公開的，密鑰一般也是固定的，一旦密鑰泄露，則所有文件都有被攔截泄露的風險。

發明內容

有鑒于此，為了克服上述問題的至少一個方面，本發明實施例提出一種文件傳輸方法，包括以下步驟：

將待傳輸的大文件拆分成多個小文件；

對每一個所述小文件進行編號，并加入到發送隊列中；

讀取所述隊列中的小文件以形成文件流；

根據讀取的小文件的編號確定對應的所述文件流的密鑰和待加密的部分以利用所述密鑰對所述待加密的部分進行加密；

將加密后的文件流傳輸到目的端。

在一些實施例中，根據讀取的小文件的編號確定對應的所述文件流的密鑰和待加密的部分以利用所述密鑰對所述待加密的部分進行加密，進一步包括：

將所述讀取的小文件的編號N作為密鑰，并將所述文件流中前N位作為待加密部分。

在一些實施例中，還包括：

對所述發送隊列進行監聽；

響應于所述隊列中的小文件的數量達到閾值，停止向所述隊列中加入所述小文件。

在一些實施例中，還包括：

響應于所述目的端接收到所述文件流，確定所述文件流對應的編號并利用所述對應的編號對所述文件流中的加密部分進行解密。

在一些實施例中，還包括：

將解密后的文件流加入到所述目的端的接收隊列中并形成小文件。

在一些實施例中，還包括：

響應于所述接收隊列中小文件的數量達到閾值，將所述接收隊列中當前所有的小文件按照編號順序進行合并以得到中間文件；