[發(fā)明專利]一種數(shù)據(jù)文件上傳處理方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210147890.3
• 申請日: 2022-02-17
• 公開（公告）號: CN114546955A
• 公開（公告）日: 2022-05-27
• 發(fā)明（設(shè)計）人: 曾覺銳;丁佳軍;鄭祥康;葉正卿;魏美鐘
• 申請（專利權(quán)）人: 杭州每刻科技有限公司
• 主分類號: G06F16/16
• 分類號: G06F16/16;G06F16/172;H04L67/06
• 代理公司: 杭州裕陽聯(lián)合專利代理有限公司 33289
• 代理人: 楊琪宇

1.一種數(shù)據(jù)文件上傳處理方法，其特征在于，所述方法包括入下步驟：

獲取前端數(shù)據(jù)文件，將所述數(shù)據(jù)文件分片斷點上傳至OSS平臺；

生成所述數(shù)據(jù)文件的上傳記錄列表，所述上傳記錄列表包括數(shù)據(jù)文件key；

調(diào)用RocketMQ將所述上傳記錄列表發(fā)送到異步消息服務(wù)器；

所述異步消息服務(wù)器根據(jù)所述數(shù)據(jù)文件key分批下載所述OSS平臺的數(shù)據(jù)文件，并執(zhí)行所述數(shù)據(jù)文件的異步處理。

2.根據(jù)權(quán)利要求1所述的一種數(shù)據(jù)文件上傳處理方法，其特征在于，所述上傳記錄列表的生成方法包括：在文件上傳至所述OSS平臺時，獲取數(shù)據(jù)文件id,數(shù)據(jù)文件key、上傳對象、上傳時間、文件類型的主要字段內(nèi)容，將所述主要字段內(nèi)容保存于所述上傳記錄列表中。

3.根據(jù)權(quán)利要求1所述的一種數(shù)據(jù)文件上傳處理方法，其特征在于，所述前端服務(wù)器將數(shù)據(jù)文件上傳至OSS平臺的方法包括：當(dāng)前端服務(wù)器上傳所述數(shù)據(jù)文件前，對所述數(shù)據(jù)文件生成通用唯一識別碼(UUID)作為所述數(shù)據(jù)文件key，進(jìn)一步調(diào)用OSS平臺的輸入對象接口(PutObject API)將所述數(shù)據(jù)文件和對應(yīng)的數(shù)據(jù)文件key上傳至OSS平臺，并進(jìn)一步將所述數(shù)據(jù)文件key通過前端接口傳入后端服務(wù)器。

4.根據(jù)權(quán)利要求1所述的一種數(shù)據(jù)文件上傳處理方法，其特征在于，后端服務(wù)器生成上傳記錄列表id,調(diào)用所述RocketMQ將所述上傳記錄列表id發(fā)送到異步消息服務(wù)器，用于執(zhí)行數(shù)據(jù)文件解耦處理方法包括：創(chuàng)建RocketMQ消息對象，設(shè)置消費的主題(topic)為上傳任務(wù)(UploadTask)，將所述消息對象發(fā)送到設(shè)置的消費主題隊列中，將所述消息對象的主體字段設(shè)置為上傳記錄列表id，通過生產(chǎn)者將所述消息發(fā)送給RocketMQ的broker后不再接受消息的發(fā)送結(jié)果。

5.根據(jù)權(quán)利要求1所述的一種數(shù)據(jù)文件上傳處理方法，其特征在于，異步消息服務(wù)器下載數(shù)據(jù)文件處理的方法包括：異步消息服務(wù)器創(chuàng)建消費者(Consumer)監(jiān)聽消費主題為上傳任務(wù)的消費隊列，通過啟動RocketMQ-Console監(jiān)控所述上傳任務(wù)消費主題的消費速度，設(shè)置單位時間消費個數(shù)上限閾值，所述消費速度大于設(shè)置的單位時間消費個數(shù)上限閾值，則通過所述RocketMQ再次生成上傳任務(wù)消費主題的消費隊列，用于水平擴容消息服務(wù)。

6.根據(jù)權(quán)利要求1所述的一種數(shù)據(jù)文件上傳處理方法，其特征在于，所述異步消息服務(wù)器下載數(shù)據(jù)文件處理的方法包括：通過所述RocketMQ監(jiān)控每個消費隊列的消費線程數(shù)，預(yù)設(shè)單個消費隊列的消費線程數(shù)閾值，若當(dāng)前消費隊列的消費線程數(shù)大于預(yù)設(shè)的消費線程數(shù)閾值，則不再向當(dāng)前消費隊列分配消息任務(wù)。

7.根據(jù)權(quán)利要求1所述的一種數(shù)據(jù)文件上傳處理方法，其特征在于，當(dāng)異步消息服務(wù)器獲取主題為上傳任務(wù)消息并處理上傳任務(wù)消息后，進(jìn)一步調(diào)用OSS平臺的獲取對象接口(GetObject API)獲取數(shù)據(jù)文件的字節(jié)流，進(jìn)一步創(chuàng)建本地文件，將所述數(shù)據(jù)文件的字節(jié)流讀取寫入到所述本地文件中。

8.根據(jù)權(quán)利要求7所述的一種數(shù)據(jù)文件上傳處理方法，其特征在于，當(dāng)將所述數(shù)據(jù)文件的字節(jié)流保存在本地文件后，開啟文件閱讀流(FileReadStream)，通過BufferedReaderAPI將所述文件閱讀流封裝成BufferedReader，進(jìn)一步在磁盤或內(nèi)存空間生成一層緩存，逐行讀取文件數(shù)據(jù)，設(shè)置行數(shù)讀取閾值，若讀取的數(shù)據(jù)行數(shù)大于所述行數(shù)讀取閾值則執(zhí)行一次數(shù)據(jù)庫操作。

9.一種數(shù)據(jù)文件上傳處理系統(tǒng)，其特征在于，所述系統(tǒng)執(zhí)行權(quán)利要求1-8中任意一項所述的一種數(shù)據(jù)文件上傳處理方法。

10.一種計算機可讀存儲介質(zhì)，其特征在于，述計算機可讀存儲介質(zhì)存儲有計算機程序，所述計算機程序可被處理器執(zhí)行權(quán)利要求1-8中任意一項所述的一種數(shù)據(jù)文件上傳處理方法。