[發(fā)明專利]數(shù)據(jù)操作方法、裝置和分布式存儲(chǔ)系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201910406607.2
• 申請(qǐng)日: 2019-05-16
• 公開（公告）號(hào): CN111949628A
• 公開（公告）日: 2020-11-17
• 發(fā)明（設(shè)計(jì)）人: 劉強(qiáng);毛寶龍;張林
• 申請(qǐng)（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號(hào): G06F16/182
• 分類號(hào): G06F16/182;G06F11/10;G06F11/14
• 代理公司: 中國(guó)貿(mào)促會(huì)專利商標(biāo)事務(wù)所有限公司 11038
• 代理人: 李昊;許蓓

本發(fā)明公開了一種數(shù)據(jù)操作方法、裝置和分布式存儲(chǔ)系統(tǒng)，涉及分布式存儲(chǔ)技術(shù)領(lǐng)域。數(shù)據(jù)操作方法包括：名字節(jié)點(diǎn)獲取糾刪碼操作對(duì)應(yīng)的一個(gè)或多個(gè)可執(zhí)行命令；名字節(jié)點(diǎn)生成包括一個(gè)或多個(gè)可執(zhí)行命令的糾刪碼操作指令，其中，糾刪碼操作指令是基于通用指令基類實(shí)現(xiàn)的對(duì)象；名字節(jié)點(diǎn)將糾刪碼操作指令發(fā)送給數(shù)據(jù)節(jié)點(diǎn)，以便數(shù)據(jù)節(jié)點(diǎn)解析糾刪碼操作指令，并執(zhí)行解析結(jié)果中的可執(zhí)行命令以實(shí)現(xiàn)糾刪碼操作。本發(fā)明的實(shí)施例實(shí)現(xiàn)了糾刪碼功能與數(shù)據(jù)節(jié)點(diǎn)的解耦、以及名字節(jié)點(diǎn)與數(shù)據(jù)節(jié)點(diǎn)的解耦，從而能夠提高系統(tǒng)的上線效率。

技術(shù)領(lǐng)域

本發(fā)明涉及分布式存儲(chǔ)技術(shù)領(lǐng)域，特別涉及一種數(shù)據(jù)操作方法和系統(tǒng)。

背景技術(shù)

糾刪碼(Erasure Coding，簡(jiǎn)稱EC)技術(shù)為解決分布式文件系統(tǒng)Hadoop(HadoopDistributed File System，簡(jiǎn)稱：HDFS)中數(shù)據(jù)的備份占用過多存儲(chǔ)空間而設(shè)計(jì)。糾刪碼技術(shù)通過為原始文件創(chuàng)建冗余校驗(yàn)數(shù)據(jù)，可以在數(shù)據(jù)丟失時(shí)通過剩余數(shù)據(jù)重新構(gòu)建出源文件信息。

發(fā)明內(nèi)容

發(fā)明人經(jīng)過分析后發(fā)現(xiàn)，如果將糾刪碼轉(zhuǎn)換工具添加到HDFS系統(tǒng)中，在大規(guī)模及超大規(guī)模Hadoop集群上進(jìn)行迭代上線時(shí)，會(huì)產(chǎn)生很大的時(shí)延，

本發(fā)明實(shí)施例所要解決的一個(gè)技術(shù)問題是：如何提高Hadoop集群進(jìn)行迭代上線的效率。

根據(jù)本發(fā)明一些實(shí)施例的第一個(gè)方面，提供一種數(shù)據(jù)操作方法，包括：名字節(jié)點(diǎn)獲取糾刪碼操作對(duì)應(yīng)的一個(gè)或多個(gè)可執(zhí)行命令；名字節(jié)點(diǎn)生成包括一個(gè)或多個(gè)可執(zhí)行命令的糾刪碼操作指令，其中，糾刪碼操作指令是基于通用指令基類實(shí)現(xiàn)的對(duì)象；名字節(jié)點(diǎn)將糾刪碼操作指令發(fā)送給數(shù)據(jù)節(jié)點(diǎn)，以便數(shù)據(jù)節(jié)點(diǎn)解析糾刪碼操作指令，并執(zhí)行解析結(jié)果中的可執(zhí)行命令以實(shí)現(xiàn)糾刪碼操作。

在一些實(shí)施例中，糾刪碼操作指令還包括環(huán)境變量、外部數(shù)據(jù)地址中的至少一種。

在一些實(shí)施例中，名字節(jié)點(diǎn)生成包括一個(gè)或多個(gè)可執(zhí)行命令、以及環(huán)境變量的糾刪碼操作指令，可執(zhí)行命令包括用于進(jìn)行環(huán)境變量配置的可執(zhí)行命令。

在一些實(shí)施例中，名字節(jié)點(diǎn)生成包括一個(gè)或多個(gè)可執(zhí)行命令、以及動(dòng)態(tài)庫(kù)地址的糾刪碼操作指令，可執(zhí)行命令包括用于下載的可執(zhí)行命令。

在一些實(shí)施例中，在增加了新的糾刪碼操作的情況下，名字節(jié)點(diǎn)生成包括一個(gè)或多個(gè)可執(zhí)行命令、以及新的糾刪碼操作對(duì)應(yīng)的執(zhí)行腳本的地址的糾刪碼操作指令，可執(zhí)行命令包括下載命令。

在一些實(shí)施例中，名字節(jié)點(diǎn)根據(jù)獲取的糾刪碼操作對(duì)應(yīng)的糾刪碼操作策略，生成一個(gè)或多個(gè)可執(zhí)行命令。

在一些實(shí)施例中，操作策略為糾刪碼轉(zhuǎn)換策略，糾刪碼轉(zhuǎn)換策略的參數(shù)包括用于表示原始數(shù)據(jù)備份數(shù)的第一數(shù)量、以及表示校驗(yàn)數(shù)據(jù)備份數(shù)的第二數(shù)量；一個(gè)或多個(gè)可執(zhí)行命令包括：讀命令，用于讀取原始數(shù)據(jù)；數(shù)據(jù)劃分命令，用于將讀取的原始數(shù)據(jù)劃分為第一數(shù)量個(gè)數(shù)據(jù)單元；校驗(yàn)數(shù)據(jù)生成命令，用于根據(jù)讀取的原始數(shù)據(jù)生成校驗(yàn)數(shù)據(jù)；數(shù)據(jù)拷貝命令，用于分別將第一數(shù)量個(gè)數(shù)據(jù)單元中的每一個(gè)存儲(chǔ)到第一數(shù)量個(gè)數(shù)據(jù)節(jié)點(diǎn)，將校驗(yàn)數(shù)據(jù)存儲(chǔ)到第二數(shù)量個(gè)數(shù)據(jù)節(jié)點(diǎn)。

在一些實(shí)施例中，操作策略為周期性降低副本數(shù)策略，周期性降低副本數(shù)策略的參數(shù)包括預(yù)設(shè)的目標(biāo)副本數(shù)、處理周期、步長(zhǎng)；一個(gè)或多個(gè)可執(zhí)行命令包括：數(shù)據(jù)移除命令，用于刪除數(shù)據(jù)節(jié)點(diǎn)中的目標(biāo)數(shù)據(jù)、或?qū)?shù)據(jù)節(jié)點(diǎn)中的目標(biāo)數(shù)據(jù)轉(zhuǎn)移到回收站中；名字節(jié)點(diǎn)響應(yīng)于當(dāng)前距離上一次檢查降低副本操作的時(shí)間間隔到達(dá)處理周期、并且同一數(shù)據(jù)的副本數(shù)大于目標(biāo)副本數(shù)的情況下，向存儲(chǔ)有同一數(shù)據(jù)的、數(shù)量等于步長(zhǎng)的數(shù)據(jù)節(jié)點(diǎn)發(fā)送糾刪碼操作指令。

根據(jù)本發(fā)明一些實(shí)施例的第二個(gè)方面，提供一種數(shù)據(jù)操作方法，包括：數(shù)據(jù)節(jié)點(diǎn)獲取名字節(jié)點(diǎn)發(fā)送的糾刪碼操作指令，其中，糾刪碼操作是基于通用指令基類實(shí)現(xiàn)的對(duì)象，包括一個(gè)或多個(gè)可執(zhí)行命令；數(shù)據(jù)節(jié)點(diǎn)解析糾刪碼操作指令以獲得解析結(jié)果，其中，解析結(jié)果中包括一個(gè)或多個(gè)可執(zhí)行命令；數(shù)據(jù)節(jié)點(diǎn)執(zhí)行可執(zhí)行命令，以便實(shí)現(xiàn)糾刪碼操作。