[發(fā)明專(zhuān)利]容器鏡像去重方法、系統(tǒng)、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010939175.4
• 申請(qǐng)日: 2020-09-09
• 公開(kāi)（公告）號(hào): CN112104725B
• 公開(kāi)（公告）日: 2022-05-27
• 發(fā)明（設(shè)計(jì)）人: 程筱彪;徐雷;賈寶軍;楊雙仕
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)聯(lián)合網(wǎng)絡(luò)通信集團(tuán)有限公司
• 主分類(lèi)號(hào): H04L67/1095
• 分類(lèi)號(hào): H04L67/1095;H04L67/1097;H04L67/06;G06F9/455;G06F9/445
• 代理公司: 北京天昊聯(lián)合知識(shí)產(chǎn)權(quán)代理有限公司 11112
• 代理人: 羅建民;杜丹丹

本公開(kāi)提供一種容器鏡像去重的方法、系統(tǒng)、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)，所述方法包括：讀取容器鏡像文件，將容器鏡像文件劃分為不同類(lèi)型的若干鏡像段；將各個(gè)鏡像段分別切分為相同大小且低于系統(tǒng)最大處理能力的若干處理單元，每個(gè)處理單元包括一定數(shù)量的單個(gè)文件；獲取每個(gè)處理單元中各單個(gè)文件的影響力向量；基于每個(gè)處理單元中各單個(gè)文件的影響力向量之和得到該處理單元的摘要向量；以及，將同一鏡像段切分而成的各處理單元的摘要向量進(jìn)行對(duì)比，找出同一鏡像段內(nèi)重復(fù)的處理單元，并將重復(fù)的處理單元?jiǎng)h除。本公開(kāi)的技術(shù)方案可以在使用少量處理資源的情況下，高效實(shí)現(xiàn)容器鏡像文件的批量去重。

技術(shù)領(lǐng)域

本公開(kāi)屬于服務(wù)器集群的信息處理領(lǐng)域，具體涉及一種容器鏡像去重方法，一種容器鏡像去重系統(tǒng)，一種計(jì)算機(jī)設(shè)備，以及一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著容器及相關(guān)技術(shù)的逐漸成熟，近年來(lái)容器的使用量呈指數(shù)級(jí)增長(zhǎng)，隨之而來(lái)的就是各公司容器鏡像所占存儲(chǔ)空間急劇增長(zhǎng)，但數(shù)據(jù)中心存儲(chǔ)的海量鏡像數(shù)據(jù)中存在大量重復(fù)數(shù)據(jù)，例如：同一鏡像多備份；版本不同的同種操作系統(tǒng)；應(yīng)用數(shù)據(jù)和用戶數(shù)據(jù)不同，但操作系統(tǒng)相同等。因此，虛擬機(jī)鏡像集群中存儲(chǔ)了大量相似或相同的鏡像，需要定期對(duì)容器鏡像去重，但如何在不影響整個(gè)云環(huán)境性能的情況下高效的對(duì)容器鏡像進(jìn)行去重成為一大難點(diǎn)。

目前已有容器鏡像去重方案為利用文件的信息摘要值進(jìn)行比對(duì)，若存儲(chǔ)系統(tǒng)中存在與對(duì)比文件的信息摘要值相同的文件，表明存儲(chǔ)系統(tǒng)中已存在該對(duì)比文件，需執(zhí)行文件的去重操作。但這種去重方案沒(méi)有將文件進(jìn)行切處理，導(dǎo)致文件過(guò)大，如超出可用內(nèi)存大小會(huì)有很大的額外消耗，并且這種去重方案沒(méi)有對(duì)摘要計(jì)算方式進(jìn)行優(yōu)化，原摘要向量計(jì)算方法中大文件的摘要信息量小，匹配結(jié)果不理想；而且，由于不同類(lèi)型的鏡像文件所存儲(chǔ)的內(nèi)容有很大的不同，計(jì)算摘要值并進(jìn)行比對(duì)很大可能是不相符的，這種比對(duì)往往是無(wú)意義的，并不能得到摘要值相同的文件，導(dǎo)致容器鏡像去重的效率較低。

因此，亟待提出一種能夠克服上述問(wèn)題的新的容器鏡像去重方案。

發(fā)明內(nèi)容

本公開(kāi)提供一種容器鏡像去重方法、系統(tǒng)、計(jì)算機(jī)設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，可以在使用少量處理資源的情況下，高效實(shí)現(xiàn)容器鏡像文件的批量去重。

第一方面，本公開(kāi)實(shí)施例提供一種容器鏡像去重的方法，包括：

讀取容器鏡像文件，將容器鏡像文件劃分為不同類(lèi)型的若干鏡像段；

將各個(gè)鏡像段分別切分為相同大小且低于系統(tǒng)最大處理能力的若干處理單元，每個(gè)處理單元包括一定數(shù)量的單個(gè)文件；

獲取每個(gè)處理單元中各單個(gè)文件的影響力向量；

基于每個(gè)處理單元中各單個(gè)文件的影響力向量之和得到該處理單元的摘要向量；以及，

將同一鏡像段切分而成的各處理單元的摘要向量進(jìn)行對(duì)比，找出同一鏡像段內(nèi)重復(fù)的處理單元，并將重復(fù)的處理單元?jiǎng)h除。

進(jìn)一步的，所述將容器鏡像文件劃分為不同類(lèi)型的若干鏡像段，包括：

將容器鏡像文件劃分為操作系統(tǒng)鏡像段和應(yīng)用數(shù)據(jù)鏡像段；

將操作系統(tǒng)鏡像段根據(jù)操作系統(tǒng)類(lèi)別劃分為windows鏡像段、 Linux鏡像段和Unix鏡像段；以及，

將應(yīng)用數(shù)據(jù)鏡像段劃分為軟件類(lèi)鏡像段、數(shù)據(jù)類(lèi)鏡像段、配置類(lèi)鏡像段和其他類(lèi)鏡像段。

進(jìn)一步的，所述獲取每個(gè)處理單元中各單個(gè)文件的影響力向量，包括：

計(jì)算每個(gè)處理單元中各單個(gè)文件的摘要向量；

根據(jù)每個(gè)處理單元中各單個(gè)文件的大小及其在該處理單元中出現(xiàn)的次數(shù)計(jì)算該處理單元中各單個(gè)文件的影響因子；以及，

根據(jù)每個(gè)處理單元中各單個(gè)文件的摘要向量和影響因子得到該處理單元中各單個(gè)文件的影響力向量。