[發(fā)明專(zhuān)利]一種文件合并的方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201911418125.5
• 申請(qǐng)日: 2019-12-31
• 公開(kāi)（公告）號(hào): CN113127548A
• 公開(kāi)（公告）日: 2021-07-16
• 發(fā)明（設(shè)計(jì)）人: 李營(yíng);張超
• 申請(qǐng)（專(zhuān)利權(quán)）人: 奇安信科技集團(tuán)股份有限公司;網(wǎng)神信息技術(shù)（北京）股份有限公司
• 主分類(lèi)號(hào): G06F16/25
• 分類(lèi)號(hào): G06F16/25
• 代理公司: 北京英特普羅知識(shí)產(chǎn)權(quán)代理有限公司 11015
• 代理人: 程超

本發(fā)明公開(kāi)了一種文件合并的方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，該方法包括：從HDFS中獲取HIVE的各個(gè)分區(qū)的文件，并從每個(gè)分區(qū)的文件中確定出需要合并的目標(biāo)文件；基于每個(gè)分區(qū)的目標(biāo)文件，按照預(yù)設(shè)合并效果模型計(jì)算出每個(gè)分區(qū)的合并效果優(yōu)先級(jí)；其中，所述合并效果優(yōu)先級(jí)與目標(biāo)文件合并后對(duì)HDFS的NameNode內(nèi)存的緩解程度正相關(guān)；分別為每個(gè)分區(qū)啟動(dòng)對(duì)應(yīng)的合并任務(wù)，并按照每個(gè)分區(qū)的合并效果優(yōu)先級(jí)，先后執(zhí)行各個(gè)合并任務(wù)，以對(duì)分區(qū)上的目標(biāo)文件進(jìn)行文件合并；本發(fā)明能夠更加高效的合并HIVE產(chǎn)生的小文件，盡快緩解HDFS的NameNode內(nèi)存壓力。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域，特別涉及一種文件合并的方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

HIVE是基于Hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具，用來(lái)進(jìn)行數(shù)據(jù)提取、轉(zhuǎn)化、加載；HIVE通常與HDFS(Hadoop Distributed File System，分布式文件系統(tǒng))配合使用，以將HIVE產(chǎn)生的所有文件存儲(chǔ)到HDFS中；在業(yè)務(wù)大量使用HIVE的情況下，會(huì)在HIVE的每個(gè)分區(qū)下產(chǎn)生大量的小文件，由于是通過(guò)HDFS存儲(chǔ)HIVE產(chǎn)生的小文件，所以HDFS的NameNode內(nèi)存壓力會(huì)隨著小文件數(shù)量的增多而增大，也會(huì)影響整個(gè)HDFS集群的讀寫(xiě)性能；因此，如何快速、有效的對(duì)各個(gè)分區(qū)中的小文件進(jìn)行合并從而盡快緩解NameNode的內(nèi)存壓力，成為本領(lǐng)域技術(shù)人員亟需解決的技術(shù)問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種文件合并的方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，能夠更加高效的合并HIVE產(chǎn)生的小文件，盡快緩解HDFS的NameNode內(nèi)存壓力。

根據(jù)本發(fā)明的一個(gè)方面，提供了一種文件合并的方法，所述方法包括：

從HDFS中獲取HIVE的各個(gè)分區(qū)的文件，并從每個(gè)分區(qū)的文件中確定出需要合并的目標(biāo)文件；

基于每個(gè)分區(qū)的目標(biāo)文件，按照預(yù)設(shè)合并效果模型計(jì)算出每個(gè)分區(qū)的合并效果優(yōu)先級(jí)；其中，所述合并效果優(yōu)先級(jí)與目標(biāo)文件合并后對(duì)HDFS的NameNode內(nèi)存的緩解程度正相關(guān)；

分別為每個(gè)分區(qū)啟動(dòng)對(duì)應(yīng)的合并任務(wù)，并按照每個(gè)分區(qū)的合并效果優(yōu)先級(jí)，先后執(zhí)行各個(gè)合并任務(wù)，以對(duì)分區(qū)上的目標(biāo)文件進(jìn)行文件合并。

可選的，所述從每個(gè)分區(qū)的文件中確定出需要合并的目標(biāo)文件的步驟，具體包括：

針對(duì)一個(gè)分區(qū)的所有文件，將文件大小小于預(yù)設(shè)閾值的文件設(shè)置為所述分區(qū)的目標(biāo)文件。

可選的，所述基于每個(gè)分區(qū)的目標(biāo)文件，按照預(yù)設(shè)合并效果模型計(jì)算出每個(gè)分區(qū)的合并效果優(yōu)先級(jí)的步驟，具體包括：

針對(duì)一個(gè)分區(qū)，統(tǒng)計(jì)出所述分區(qū)的所有目標(biāo)文件的文件總數(shù)量和/或文件總大小；

將所述文件總數(shù)量和/或文件總大小作為特征參數(shù)輸入所述預(yù)設(shè)合并效果模型，并通過(guò)運(yùn)行所述預(yù)設(shè)合并效果模型以得到所述分區(qū)的合并效果優(yōu)先級(jí)；其中，所述預(yù)設(shè)合并效果模型是通過(guò)機(jī)器學(xué)習(xí)算法訓(xùn)練得到的。

可選的，所述分別為每個(gè)分區(qū)啟動(dòng)對(duì)應(yīng)的合并任務(wù)，并按照每個(gè)分區(qū)的合并效果優(yōu)先級(jí)，先后執(zhí)行各個(gè)合并任務(wù)的步驟，具體包括：

獲取Yarn上用于處理文件合并的資源總量；

確定出每個(gè)合并任務(wù)所需的資源量；

按照每個(gè)分區(qū)的合并效果優(yōu)先級(jí)對(duì)所有合并任務(wù)進(jìn)行排序，以得到任務(wù)排序結(jié)果；

根據(jù)所述資源總量以及每個(gè)合并任務(wù)所需的資源量，將所述任務(wù)排序結(jié)果劃分為多個(gè)合并批次；其中，一個(gè)合并批次包括多個(gè)合并任務(wù)；

先后將每個(gè)合并批次所包括的多個(gè)合并任務(wù)分布式的部署到Y(jié)arn中，以通過(guò)Yarn同時(shí)執(zhí)行所述多個(gè)合并任務(wù)。

可選的，所述方法還包括：