[發(fā)明專利]一種數(shù)據(jù)文件處理的方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110246807.3
• 申請日: 2021-03-05
• 公開（公告）號: CN112835851A
• 公開（公告）日: 2021-05-25
• 發(fā)明（設(shè)計(jì)）人: 王晟權(quán);楊鎮(zhèn)銘;解曉雨;馬海;丁曉陽;史程;王湃;趙建軍
• 申請（專利權(quán)）人: 華錄光存儲研究院（大連）有限公司;中國華錄集團(tuán)有限公司
• 主分類號: G06F16/11
• 分類號: G06F16/11;G06F16/172;G06F16/18;G06F3/06
• 代理公司: 大連至誠專利代理事務(wù)所(特殊普通合伙) 21242
• 代理人: 楊威;楊爽

本申請公開了一種數(shù)據(jù)文件處理的方法，調(diào)用服務(wù)器端提供的數(shù)據(jù)歸檔服務(wù)，啟動歸檔任務(wù)；基于所述數(shù)據(jù)歸檔服務(wù)中提供的執(zhí)行策略，對所述歸檔任務(wù)進(jìn)行設(shè)置；基于設(shè)置后的所述歸檔任務(wù)對待歸檔數(shù)據(jù)進(jìn)行歸檔，形成歸檔數(shù)據(jù)；將所述歸檔數(shù)據(jù)上傳至所述服務(wù)器端的緩存存儲器，使所述歸檔數(shù)據(jù)可經(jīng)由所述服務(wù)器端遷移到與所述服務(wù)器端通信連接的光盤庫中。本申請實(shí)施例通過調(diào)用服務(wù)器端提供的數(shù)據(jù)歸檔服務(wù)，完成待歸檔數(shù)據(jù)的歸檔和上傳，并通過保存歸檔數(shù)據(jù)上傳過程中形成的臨時記錄文件，使數(shù)據(jù)上傳過程在中斷后能夠?qū)崿F(xiàn)選擇性續(xù)傳。一方面，提高了數(shù)據(jù)上傳效率，另一方面，又保證了分塊上傳的文件和整個歸檔數(shù)據(jù)在上傳完成后的整體完整性。

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)文件處理技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)文件處理的方法及系統(tǒng)。

背景技術(shù)

光盤存儲由于其介質(zhì)的可靠性，在對數(shù)據(jù)安全比較高得應(yīng)用領(lǐng)域中，有很好得比較優(yōu)勢。在歸檔領(lǐng)域，目前普遍使用了光盤進(jìn)行文檔長久的保存，這種方式在從熱存儲向冷存儲的遷移上取得了較好的效果，但仍存在一些不足或缺陷。具體表現(xiàn)為，在將客戶端上的待歸檔數(shù)據(jù)刻錄到光盤庫中時，經(jīng)常出現(xiàn)因?yàn)榫W(wǎng)絡(luò)或者其他原因?qū)е碌臄?shù)據(jù)上傳失敗，而現(xiàn)有技術(shù)采用的文件傳輸方式，在上傳失敗后多采取重新上傳的方式，沒有對文件上傳效率和文件的完整性進(jìn)行綜合考慮。

發(fā)明內(nèi)容

(一)發(fā)明目的

本申請要解決的技術(shù)問題是提供一種數(shù)據(jù)文件處理的方法，通過調(diào)用服務(wù)器端提供的數(shù)據(jù)歸檔服務(wù)，完成待歸檔數(shù)據(jù)的歸檔和上傳，并通過保存歸檔數(shù)據(jù)上傳過程中形成的臨時記錄文件，使數(shù)據(jù)上傳過程在中斷后，能夠?qū)崿F(xiàn)選擇性續(xù)傳。

(二)技術(shù)方案

為解決上述問題，本申請的第一方面提供了一種數(shù)據(jù)文件處理的方法，用于客戶端，包括：

調(diào)用服務(wù)器端提供的數(shù)據(jù)歸檔服務(wù)，啟動歸檔任務(wù)；

基于所述數(shù)據(jù)歸檔服務(wù)中提供的執(zhí)行策略，對所述歸檔任務(wù)進(jìn)行設(shè)置，所述執(zhí)行策略包括時間策略、存放路徑策略和歸檔數(shù)據(jù)選擇策略；

基于設(shè)置后的所述歸檔任務(wù)對待歸檔數(shù)據(jù)進(jìn)行歸檔，形成歸檔數(shù)據(jù)；

將所述歸檔數(shù)據(jù)上傳至所述服務(wù)器端的緩存存儲器，使所述歸檔數(shù)據(jù)可經(jīng)由所述服務(wù)器端遷移到與所述服務(wù)器端通信連接的光盤庫中；

其中，所述歸檔數(shù)據(jù)上傳至所述服務(wù)器端的緩存存儲器的過程中還形成有臨時記錄文件，所述臨時記錄文件用于記錄有所述歸檔數(shù)據(jù)上傳過程中形成的文件或文件塊的標(biāo)記信息。

一些實(shí)施例中，將所述歸檔數(shù)據(jù)上傳至所述服務(wù)器端的緩存存儲器之后，還包括：

間隔預(yù)定時間后，基于所述歸檔任務(wù)對新的待歸檔數(shù)據(jù)進(jìn)行歸檔，形成新的歸檔數(shù)據(jù)；

將所述新的歸檔數(shù)據(jù)上傳至所述服務(wù)器端的緩存存儲器中；

重復(fù)上述間隔預(yù)定時間后形成新的歸檔數(shù)據(jù)，到將所述新的歸檔數(shù)據(jù)上傳至所述服務(wù)器端的緩存存儲器中的步驟，直到上傳完畢基于所述歸檔任務(wù)形成的全部歸檔數(shù)據(jù)。

一些實(shí)施例中，將所述歸檔數(shù)據(jù)上傳至所述服務(wù)器端的緩存存儲器，包括：

當(dāng)所述歸檔數(shù)據(jù)上傳過程中形成的文件需要分塊上傳時，每完成一個文件塊的上傳后，在所述臨時記錄文件中記錄所述文件塊的塊信息，所述塊信息包括uploadID信息和partNumber信息；

當(dāng)所述歸檔數(shù)據(jù)上傳過程中形成的文件不需要分塊上傳時，在一個文件上傳完成后，在臨時記錄文件中記錄所述文件的文件名信息；

遍歷所述臨時記錄文件中的所述塊信息和所述文件名信息，濾除與所述臨時記錄文件中記錄的所述塊信息和所述文件名信息對應(yīng)的所述歸檔數(shù)據(jù)上傳過程中形成的文件或文件塊；

繼續(xù)上傳剩下的所述文件或文件塊。