[發(fā)明專(zhuān)利]分布式大數(shù)據(jù)的清理方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110233271.1
• 申請(qǐng)日: 2021-03-03
• 公開(kāi)（公告）號(hào): CN112817920A
• 公開(kāi)（公告）日: 2021-05-18
• 發(fā)明（設(shè)計(jì)）人: 陳卿;徐弘
• 申請(qǐng)（專(zhuān)利權(quán)）人: 深圳市知小兵科技有限公司
• 主分類(lèi)號(hào): G06F16/16
• 分類(lèi)號(hào): G06F16/16;G06F16/182;G06F16/215;G06F16/27;G06F16/51;G06F16/587
• 代理公司: 深圳知幫辦專(zhuān)利代理有限公司 44682
• 代理人: 譚慧

1.一種分布式大數(shù)據(jù)的清理方法，其特征在于，

終端獲取分布式大數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)時(shí)間，將存儲(chǔ)時(shí)間大于時(shí)間閾值的數(shù)據(jù)確定為待清理數(shù)據(jù)；

終端對(duì)待清理數(shù)據(jù)的第一清理數(shù)據(jù)執(zhí)行關(guān)聯(lián)操作，該關(guān)聯(lián)操作具體包括：查找清理數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)的數(shù)量α，

終端確定數(shù)量α大于數(shù)量閾值，將該第一清理數(shù)據(jù)保留，若確定數(shù)量α小于數(shù)量閾值，將該第一清理數(shù)據(jù)清理。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，若該第一清理數(shù)據(jù)為圖片，查找清理數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)的數(shù)量α具體包括：

確定清理數(shù)據(jù)的第一圖片，對(duì)第一圖片進(jìn)行識(shí)別確定是否具有人物，若具有人物，將該人物從第一圖片中刪除得到第一背景圖片，將第一背景圖片進(jìn)行分類(lèi)識(shí)別得到第一背景圖片對(duì)應(yīng)的地標(biāo)信息，依據(jù)該地標(biāo)信息確定該第一背景圖片的第一地址，從分布式大數(shù)據(jù)存儲(chǔ)的圖片中查詢(xún)與該第一地址匹配的圖片，將圖片的數(shù)量確定為α。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述從分布式大數(shù)據(jù)存儲(chǔ)的圖片中查詢(xún)與該第一地址匹配的圖片具體包括：

對(duì)該人物進(jìn)行人臉識(shí)別確定該人物的身份，依據(jù)該身份確定該人物的常駐城市，若該常駐城市包含該第一地址，則確定與該第一地址匹配的圖片為與第一地址匹配的圖片，若該常駐城市不包含該第一地址，則確定該第一地址對(duì)應(yīng)的第一城市，確定與該第一城市匹配的圖片為與第一地址匹配的圖片。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，若將該第一清理數(shù)據(jù)保留，所述方法還包括：

終端確定該第一清理數(shù)據(jù)的類(lèi)型為圖片數(shù)據(jù)時(shí)，對(duì)圖片數(shù)據(jù)中的每張圖片執(zhí)行方格操作得到操作數(shù)據(jù)；該方格操作具體可以包括：對(duì)一張圖片建立網(wǎng)格，計(jì)算每個(gè)網(wǎng)格之間的相似度，將相似度大于相似閾值的網(wǎng)格確定為相似網(wǎng)格組，設(shè)置位圖表示相似網(wǎng)格組的在一張圖片的位置，相似網(wǎng)格組存儲(chǔ)一個(gè)網(wǎng)格的像素?cái)?shù)據(jù)，將剩余網(wǎng)格組的像素?cái)?shù)據(jù)刪除完成一張圖片的方格操作；

相似度的計(jì)算方式具體包括：依據(jù)每個(gè)網(wǎng)格的像素點(diǎn)的R、G、B值以及像素點(diǎn)的在網(wǎng)格的位置建立三維矩陣m*n*3，其中，m表示三維矩陣的長(zhǎng)度值、n表示三維矩陣的寬度值，3表示深度值，每個(gè)深度對(duì)應(yīng)R、G、B的值，計(jì)算二個(gè)網(wǎng)格的2個(gè)三維矩陣的差值得到三維差值矩陣，統(tǒng)計(jì)三維差值矩陣中元素值小于數(shù)值像素閾值的數(shù)量x，相似度=x/( m*n*3)*100%。