[發(fā)明專利]一種封裝任務(wù)量自適應(yīng)分配方法、裝置及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202111349023.X
• 申請(qǐng)日: 2021-11-15
• 公開（公告）號(hào): CN114138468A
• 公開（公告）日: 2022-03-04
• 發(fā)明（設(shè)計(jì)）人: 王曉飛
• 申請(qǐng)（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50
• 代理公司: 北京市萬慧達(dá)律師事務(wù)所 11111
• 代理人: 陳曉磊

本申請(qǐng)涉及一種封裝任務(wù)量自適應(yīng)分配方法、裝置及存儲(chǔ)介質(zhì)。所述方法包括：計(jì)算每個(gè)封裝節(jié)點(diǎn)預(yù)設(shè)時(shí)間內(nèi)的文件分割階段最大封裝任務(wù)數(shù)n1和動(dòng)態(tài)文件信息表生成階段最大封裝任務(wù)數(shù)n2；對(duì)于n1大于n2的第一封裝節(jié)點(diǎn)，確定n1與n2的差值CA，對(duì)于n1小于n2的第二封裝節(jié)點(diǎn)，確定n2與n1的差值CB；確定所述CB與所述CA滿足預(yù)定條件時(shí)，將第一封裝節(jié)點(diǎn)的文件分割階段封裝數(shù)據(jù)中的部分?jǐn)?shù)據(jù)傳輸至第二封裝節(jié)點(diǎn)，并調(diào)用第二封裝節(jié)點(diǎn)的動(dòng)態(tài)文件信息表生成階段封裝接口對(duì)所述部分?jǐn)?shù)據(jù)進(jìn)行動(dòng)態(tài)文件信息表生成階段封裝。本方法能夠充分的利用算力，提升封裝效率。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)封裝技術(shù)領(lǐng)域，特別是涉及一種封裝任務(wù)量自適應(yīng)分配方法、裝置及存儲(chǔ)介質(zhì)。

背景技術(shù)

Web 1.0出現(xiàn)于20世紀(jì)90年代和21世紀(jì)初，當(dāng)時(shí)的互聯(lián)網(wǎng)是靜態(tài)、只讀的HTML頁(yè)面。用戶之間的互聯(lián)也相當(dāng)有限。

Web2.0也被稱為讀寫網(wǎng)絡(luò)，開始于2004年左右，至今也仍然處于Web2.0時(shí)代。它由社交媒體網(wǎng)站、博客和在線社區(qū)組成，終端用戶可以在任何時(shí)間實(shí)時(shí)地交互和協(xié)作。

Web3.0更難被定義，在無中介的讀寫網(wǎng)絡(luò)中提供更好的以用戶為中心的體驗(yàn)。技術(shù)使得個(gè)人在缺省情況下能控制數(shù)據(jù)隱私和所有權(quán)。Web3.0引入去中心化互聯(lián)網(wǎng)，本質(zhì)上，Web3.0技術(shù)為P2P通信、支付、服務(wù)和市場(chǎng)提供了基礎(chǔ)。

IPFS是為實(shí)現(xiàn)Web3.0推出的去中心化存儲(chǔ)解決方案。IPFS(Inter PlanetaryFile System)星際文件系統(tǒng)，是一個(gè)面向全球的、點(diǎn)對(duì)點(diǎn)的分布式版本文件系統(tǒng)，是一個(gè)分布式的web,點(diǎn)到點(diǎn)超媒體協(xié)議.可以讓我們的互聯(lián)網(wǎng)速度更快,更加安全,并且更加開放。

作為一種面向全球的點(diǎn)對(duì)點(diǎn)分布式版本文件系統(tǒng)，IPFS憑借去中心化、開放、安全性與透明性高等優(yōu)勢(shì)，已經(jīng)成為一個(gè)流行的網(wǎng)絡(luò)存儲(chǔ)協(xié)議。它是一個(gè)類似HTTP協(xié)議的互聯(lián)網(wǎng)底層協(xié)議，已被成功應(yīng)用于數(shù)據(jù)存儲(chǔ)、文件傳輸、網(wǎng)絡(luò)視頻、社交媒體、去中心化交易等各個(gè)領(lǐng)域。在這些技術(shù)趨勢(shì)的推動(dòng)下，基于IPFS網(wǎng)絡(luò)的相關(guān)Filecoin(FIL)產(chǎn)業(yè)也在不斷壯大。

Filecoin是星際文件系統(tǒng)上唯一的激勵(lì)層,是幫用戶存儲(chǔ)數(shù)據(jù)來獲取獎(jiǎng)勵(lì)的過程，分為數(shù)據(jù)封存和共識(shí)證明兩個(gè)過程。Filecoin是一個(gè)將云存儲(chǔ)轉(zhuǎn)變?yōu)樗惴ㄊ袌?chǎng)的去中心化存儲(chǔ)網(wǎng)絡(luò)，礦工通過提供存儲(chǔ)、分發(fā)和檢索數(shù)據(jù)服務(wù)獲得獎(jiǎng)勵(lì)，而客戶則需要付費(fèi)獲得這些服務(wù)。目前全球IPFS項(xiàng)目逐漸增加，數(shù)據(jù)存儲(chǔ)市場(chǎng)的需求也在逐步加大，F(xiàn)ilecoin作為激勵(lì)層，成為市場(chǎng)為IPFS保駕護(hù)航的迫切需求。

Filecoin是幫用戶存儲(chǔ)數(shù)據(jù)來獲取獎(jiǎng)勵(lì)的過程，分為數(shù)據(jù)封存和共識(shí)證明兩個(gè)過程。本發(fā)明關(guān)注數(shù)據(jù)封存階段，數(shù)據(jù)封存階段主要涉及Precommit 1，Precommit 2，Commit1，Commit 2四個(gè)小階段。簡(jiǎn)稱P1、P2、C1、C2階段，數(shù)據(jù)依次完成4個(gè)階段封裝，無法并行；

1)Precommit1階段(文件分割階段，下文簡(jiǎn)稱P1階段)：

系統(tǒng)會(huì)把用戶需要存儲(chǔ)的文件分成一個(gè)個(gè)大小為32GB或者64GB的扇區(qū)(sector),P1階段就是礦工先對(duì)扇區(qū)數(shù)據(jù)進(jìn)行進(jìn)一步的拆分，然后再按順序進(jìn)行存儲(chǔ)，中間需要進(jìn)行11層計(jì)算，且無法并行計(jì)算；在該階段，通過大容量?jī)?nèi)存的方式，就有可能同時(shí)存儲(chǔ)多個(gè)扇區(qū)數(shù)據(jù)，并通過軟件優(yōu)化存儲(chǔ)一個(gè)扇區(qū)數(shù)據(jù)占用的內(nèi)存的大小來提高P1階段的速度，該階段只能使用CPU計(jì)算；

2)Precommit2階段(動(dòng)態(tài)文件信息表生成階段，下文簡(jiǎn)稱P2階段)：

P2階段即就是計(jì)算Column Hash以及生成Replica，并構(gòu)造相應(yīng)的Merkle樹，相當(dāng)于解題并做出答案的過程。該階段采用GPU計(jì)算。

3)Commit1階段(標(biāo)簽階段，下文簡(jiǎn)稱C1階段)：

C1階段主要是為Sector證明準(zhǔn)備所需要的數(shù)據(jù)。這個(gè)時(shí)間很短，一般在一分鐘以內(nèi)。