[發明專利]基于Redis分布式鎖開發的AWS S3 URL上傳方法

有效

• 申請號: 202010868501.7
• 申請日: 2020-08-26
• 公開（公告）號: CN112039969B
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 羅宇豪;陳初興;徐士強;高傳集
• 申請（專利權）人: 浪潮云信息技術股份公司
• 主分類號: H04L67/06
• 分類號: H04L67/06;H04L67/1097;H04L61/10;H04L67/56;H04L61/4511;G06F16/172
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 孫園園

本發明公開了一種基于Redis分布式鎖開發的AWS S3 URL上傳方法，屬于計算機應用及網絡通信領域，本發明要解決的技術問題為視頻直播使用第三方廠商提供的錄制、截圖功能無法直接將錄制文件保存到對象存儲，采用的技術方案為：該方法具體如下：部署K8S集群，多節點發布組件應用，使用nginx代理實現外網訪問；將數據信息存入數據庫保存和文件的下載上傳實現異步處理；使用線程池創建多線程進行并發處理，并且對不同文件類型或者不同協議類型的文件進行不同的處理。

技術領域

本發明涉及計算機應用及網絡通信領域，具體地說是一種基于Redis分布式鎖開發的AWS S3 URL上傳方法。

背景技術

在直播錄制、截圖保存視頻、圖片信息時，需要將視頻文件和圖片文件保存到對象存儲中，以展示視頻的各種參數信息以及提高視頻在線播放的性能。實際應用功能需求中，不同格式的視頻文件的錄制、實時截圖產生的圖片需要批量迅速上傳。而在融合產品框架中，錄制、截圖的基本實現由第三方廠商或者其他部門提供，涉及到與第三方廠商進行視頻文件的傳輸與保存，從第三方廠商視頻存儲傳輸保存到己方應用的云存儲中，實現云平臺的統一管理。AWSS3支持IO流的上傳功能，但是通過URL網絡傳輸的IO流不穩定，存在丟包等網絡風險。對象存儲雖然支持stream上傳，但網絡傳輸流不穩定，因此需要將視頻從錄制、截圖節點，經過下載、上傳將錄制或者截圖文件保存到對應用戶的對象存儲服務中。由此可見，現有技術中存在視頻直播使用第三方廠商提供的錄制、截圖功能無法直接將錄制文件保存到對象存儲的問題。

網絡編程中，網絡的波動因素對應用程序的性能影響深重，云服務產品最基本的處理方式則是分布式應用，故如何降低網絡因素造成的失敗率高、上傳進度緩慢以及在分布式系統中，如何批量處理文件任務也是現有技術中存在的問題。

發明內容

本發明的技術任務是提供一種基于Redis分布式鎖開發的AWS S3 URL上傳方法，來解決視頻直播使用第三方廠商提供的錄制、截圖功能無法直接將錄制文件保存到對象存儲的問題。

本發明的技術任務是按以下方式實現的，一種基于Redis分布式鎖開發的AWS S3URL上傳方法，該方法具體如下：

部署K8S集群，多節點發布組件應用，使用nginx代理實現外網訪問；其中，nginx代理通過配置進行反向代理和域名解析，在收到域名解析異常時，進行固定次數的錯誤重試，嘗試建立連接；失敗多次后進行日志記錄；

將數據信息存入數據庫保存和文件的下載上傳實現異步處理；

使用線程池創建多線程進行并發處理，并且對不同文件類型或者不同協議類型的文件進行不同的處理。

作為優選，所述數據信息是通過URL下載鏈接將文件上傳到指定對象存儲服務中，具體如下：

通過網絡通信獲取廠商返回的數據信息，存入數據庫保存；其中，網絡通信采用HTTP1.0協議，使用TCP短鏈接；

解析數據信息，并進行下載操作；

解析數據信息，并將下載信息與文件元信息一同上傳到對象存儲。

更優地，所述數據庫的單條文件數據包括用戶數據、文件來源數據、文件元數據及對象存儲配置數據；

其中，用戶數據包括用戶id和用戶狀態，用戶數據用于判斷該條數據的任務是否需要執行；

文件來源數據是指廠商提供的文件下載地址；

文件元數據包括文件格式、文件協議、文件大小、錄制、開始時間、結束時間、用戶下載地址、播放地址、任務狀態的需要文字展示給用戶或播放、查看時所需信息；

對象存儲配置數據包括對象存儲服務用戶鑒權密鑰、上傳位置、服務器節點及服務區域的數據。

更優地，所述下載操作中下載請求的建立具體如下：