[發(fā)明專利]一種文件下載異常處理方法、裝置及電子設(shè)備有效
| 申請?zhí)枺?/td> | 202011166383.1 | 申請日： | 2020-10-27 |
| 公開（公告）號： | CN112269672B | 公開（公告）日： | 2023-05-02 |
| 發(fā)明（設(shè)計）人： | 譚光;熊偉 | 申請（專利權(quán)）人： | 上海淇馥信息技術(shù)有限公司 |
| 主分類號： | G06F11/07 | 分類號： | G06F11/07 |
| 代理公司： | 北京清誠知識產(chǎn)權(quán)代理有限公司 11691 | 代理人： | 曹玲柱 |
| 地址： | 201500 上海市崇明區(qū)橫沙鄉(xiāng)富民*** | 國省代碼： | 上海;31 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 一種 文件 下載 異常 處理 方法 裝置 電子設(shè)備 | ||
本發(fā)明公開了一種文件下載異常處理方法、裝置及電子設(shè)備，所述方法包括：將待下載文件ID對應(yīng)的下載任務(wù)存入下載隊列；調(diào)用分布式任務(wù)調(diào)度系統(tǒng)從所述下載隊列中讀取多個下載任務(wù)，并將所述多個下載任務(wù)分配至多臺機器同時執(zhí)行；采用多個線程并行處理文件下載和讀取的異常信息，并將所述多臺機器執(zhí)行下載任務(wù)的異常信息存儲至數(shù)據(jù)庫；根據(jù)所述異常信息獲取執(zhí)行異常的線程心跳，并發(fā)送下載異常報告。本發(fā)明通過分布式任務(wù)調(diào)度系統(tǒng)將多個下載任務(wù)分配至多臺機器同時執(zhí)行，并采用多個線程實時捕獲文件讀取和下載的各類異常信息，并行處理文件下載和讀取的異常信息，實現(xiàn)對文件下載或讀取中出現(xiàn)異常的及時彌補，減小數(shù)據(jù)丟失。
技術(shù)領(lǐng)域
本發(fā)明涉及計算機技術(shù)領(lǐng)域，具體而言，涉及一種文件下載異常處理方法、裝置、電子設(shè)備及計算機可讀介質(zhì)。
背景技術(shù)
系統(tǒng)(如操作系統(tǒng)、軟件系統(tǒng)等)在運行過程中，系統(tǒng)的運行環(huán)境以及系統(tǒng)本身都可能會對系統(tǒng)的運行造成影響，如硬件資源、硬件工作情況、網(wǎng)絡(luò)通信、系統(tǒng)自身出錯、系統(tǒng)運行缺陷、環(huán)境溫度等都可能會造成系統(tǒng)運行異常，從而造成宕機的情形發(fā)生。
對于從外部系統(tǒng)(比如一些app)推送過來的名單，客戶端在讀取或者下載文件過程中，若服務(wù)器突然宕機，會造成數(shù)據(jù)丟失，從而導(dǎo)致數(shù)據(jù)下載異常情形發(fā)生。
現(xiàn)有技術(shù)中需要定時從數(shù)據(jù)庫中獲取數(shù)據(jù)下載異常信息，這些異常信息因為具有延時性，無法及時、準確定位下載異常的原因，因而無法對丟失的數(shù)據(jù)進行補償，影響下載數(shù)據(jù)的完整性。
發(fā)明內(nèi)容
本發(fā)明旨在解決文件下載過程中因無法及時定位數(shù)據(jù)下載異常的原因，導(dǎo)致異常下載數(shù)據(jù)丟失難以彌補的技術(shù)問題。
為了解決上述技術(shù)問題，本發(fā)明第一方面提出一種文件下載異常處理方法，所述方法包括：
接收外部系統(tǒng)發(fā)送的待下載文件ID；
將所述待下載文件ID對應(yīng)的下載任務(wù)存入下載隊列；
調(diào)用分布式任務(wù)調(diào)度系統(tǒng)從所述下載隊列中讀取多個下載任務(wù)，并將所述多個下載任務(wù)分配至多臺機器同時執(zhí)行；
采用多個線程并行處理文件下載和讀取的異常信息，并將所述多臺機器執(zhí)行下載任務(wù)的異常信息存儲至數(shù)據(jù)庫；
根據(jù)所述異常信息獲取執(zhí)行異常的線程心跳，并發(fā)送下載異常報告。
根據(jù)本發(fā)明一種優(yōu)選的實施方式，所述將所述多個下載任務(wù)分配至多臺機器同時執(zhí)行包括：
將所述多個下載任務(wù)平均分配給所述多臺機器；
將剩余數(shù)量的下載任務(wù)分配給指定機器；
控制所述多臺機器同時執(zhí)行下載任務(wù)。
根據(jù)本發(fā)明一種優(yōu)選的實施方式，所述采用多個線程并行處理文件下載和讀取的異常信息包括：
若某臺機器文件下載失敗，控制該臺機器重新下載所述下載失敗的文件；
若某臺機器文件下載成功，但文件讀取失敗，控制該臺機器重新從所述當(dāng)前讀取行數(shù)的下一行讀取該下載文件。
根據(jù)本發(fā)明一種優(yōu)選的實施方式，所述將所述多臺機器執(zhí)行下載任務(wù)的異常信息存儲至數(shù)據(jù)庫包括：
若某臺機器文件下載失敗，將該臺機器ID、下載文件ID和下載時間存儲至數(shù)據(jù)庫；
若某臺機器文件下載成功，但文件讀取失敗，將該臺機器ID和下載文件ID及當(dāng)前讀取行數(shù)和下載時間存儲至數(shù)據(jù)庫；
若某臺機器文件下載成功，且文件讀取成功，清除數(shù)據(jù)庫中該臺機器ID中的該下載文件ID。
根據(jù)本發(fā)明一種優(yōu)選的實施方式，所述根據(jù)所述異常信息獲取執(zhí)行異常的線程心跳，并發(fā)送下載異常報告包括：
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于上海淇馥信息技術(shù)有限公司，未經(jīng)上海淇馥信息技術(shù)有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202011166383.1/2.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
