[發(fā)明專利]一種針對(duì)十億像素的像素塊排列方法與系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202211433402.1
• 申請(qǐng)日: 2022-11-16
• 公開(kāi)（公告）號(hào): CN115830366A
• 公開(kāi)（公告）日: 2023-03-21
• 發(fā)明（設(shè)計(jì)）人: 方璐;郭雨晨;戴瓊海;袁肖赟;林浩哲;肖京;曾凡濤
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué);平安科技（深圳）有限公司
• 主分類號(hào): G06V10/764
• 分類號(hào): G06V10/764;G06N5/04
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 石茵汀

1.一種針對(duì)十億像素的像素塊排列方法，其特征在于，包括以下步驟：

獲取待標(biāo)注的十億像素圖像和對(duì)應(yīng)的圖像標(biāo)簽，以及推理模型；其中，所述推理模型包括像素塊樹(shù)生成模型、像素塊過(guò)濾模型和像素塊打包模型；

將所述待標(biāo)注的十億像素圖像輸入至所述推理模型中，以基于所述像素塊樹(shù)生成模型和所述圖像標(biāo)簽進(jìn)行聚類得到初始像素塊，并利用所述初始像素塊構(gòu)建像素塊樹(shù)；其中，所述像素塊樹(shù)包括細(xì)粒度像素塊和相應(yīng)的粗粒度像素塊；

基于所述像素塊過(guò)濾模型和所述像素塊樹(shù)進(jìn)行像素塊過(guò)濾，以將相鄰的細(xì)粒度像素塊排列到相應(yīng)的粗粒度像素塊中；以及，基于剩余的細(xì)粒度像素塊和相應(yīng)的粗粒度像素塊以及所述像素塊打包模型得到預(yù)設(shè)數(shù)量的畫布，并在所述預(yù)設(shè)數(shù)量的畫布中生成打包像素塊的最終布局信息；

基于所述打包像素塊的最終布局信息進(jìn)行模型優(yōu)化以得到訓(xùn)練好的推理模型，基于所述訓(xùn)練好的推理模型輸出所述待標(biāo)注的十億像素圖像的標(biāo)注數(shù)據(jù)以及標(biāo)注數(shù)據(jù)的標(biāo)簽。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述基于像素塊過(guò)濾模型和所述像素塊樹(shù)進(jìn)行像素塊過(guò)濾之前，所述方法，還包括：

基于所述像素塊樹(shù)和樹(shù)形結(jié)構(gòu)編碼器，得到像素塊樹(shù)中每個(gè)像素塊節(jié)點(diǎn)的對(duì)象信息以及樹(shù)中像素塊節(jié)點(diǎn)間關(guān)系。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述利用初始像素塊構(gòu)建像素塊樹(shù)包括：

基于所述初始像素塊在像素塊樹(shù)中形成的葉節(jié)點(diǎn)得到細(xì)粒度像素塊；

將所述葉節(jié)點(diǎn)進(jìn)行聚合得到粗粒度像素塊；

基于所述細(xì)粒度像素塊和所述粗粒度像素塊構(gòu)建細(xì)粒度的像素塊樹(shù)，并利用細(xì)粒度的像素塊樹(shù)的根節(jié)點(diǎn)表示完整的待標(biāo)注的十億像素圖像。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于剩余的細(xì)粒度像素塊和相應(yīng)的粗粒度像素塊以及所述像素塊打包模型得到預(yù)設(shè)數(shù)量的畫布，包括：

基于所述像素塊打包模型，利用貪心算法將剩余的細(xì)粒度像素塊和相應(yīng)的粗粒度像素塊的第一像素塊填充于第一畫布；以及，

將第二像素塊填充于第二畫布，當(dāng)所有的像素塊都被放入畫布時(shí)停止打包。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法，還包括：對(duì)降尺度的待標(biāo)注的十億像素圖像使用粗檢測(cè)器進(jìn)行檢測(cè)，并對(duì)得到的粗檢測(cè)結(jié)果進(jìn)行聚類。

6.一種針對(duì)十億像素的像素塊排列系統(tǒng)，其特征在于，包括：

數(shù)據(jù)獲取模塊，用于獲取待標(biāo)注的十億像素圖像和對(duì)應(yīng)的圖像標(biāo)簽，以及推理模型；其中，所述推理模型包括像素塊樹(shù)生成模型、像素塊過(guò)濾模型和像素塊打包模型；

像素塊樹(shù)構(gòu)建模塊，用于將所述待標(biāo)注的十億像素圖像輸入至所述推理模型中，以基于所述像素塊樹(shù)生成模型和所述圖像標(biāo)簽進(jìn)行聚類得到初始像素塊，并利用所述初始像素塊構(gòu)建像素塊樹(shù)；其中，所述像素塊樹(shù)包括細(xì)粒度像素塊和相應(yīng)的粗粒度像素塊；

過(guò)濾打包模塊，用于基于所述像素塊過(guò)濾模型和所述像素塊樹(shù)進(jìn)行像素塊過(guò)濾，以將相鄰的細(xì)粒度像素塊排列到相應(yīng)的粗粒度像素塊中；以及，基于剩余的細(xì)粒度像素塊和相應(yīng)的粗粒度像素塊以及所述像素塊打包模型得到預(yù)設(shè)數(shù)量的畫布，并在所述預(yù)設(shè)數(shù)量的畫布中生成打包像素塊的最終布局信息；

數(shù)據(jù)標(biāo)注模塊，用于基于所述打包像素塊的最終布局信息進(jìn)行模型優(yōu)化以得到訓(xùn)練好的推理模型，基于所述訓(xùn)練好的推理模型輸出所述待標(biāo)注的十億像素圖像的標(biāo)注數(shù)據(jù)以及標(biāo)注數(shù)據(jù)的標(biāo)簽。

7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，在所述過(guò)濾打包模塊之前，還包括：

結(jié)構(gòu)編碼模塊，用于基于所述像素塊樹(shù)和樹(shù)形結(jié)構(gòu)編碼器，得到像素塊樹(shù)中每個(gè)像素塊節(jié)點(diǎn)的對(duì)象信息以及樹(shù)中像素塊節(jié)點(diǎn)間關(guān)系。

8.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，所述像素塊樹(shù)構(gòu)建模塊，還用于：

基于所述初始像素塊在像素塊樹(shù)中形成的葉節(jié)點(diǎn)得到細(xì)粒度像素塊；

將所述葉節(jié)點(diǎn)進(jìn)行聚合得到粗粒度像素塊；

基于所述細(xì)粒度像素塊和所述粗粒度像素塊構(gòu)建細(xì)粒度的像素塊樹(shù)，并利用細(xì)粒度的像素塊樹(shù)的根節(jié)點(diǎn)表示完整的待標(biāo)注的十億像素圖像。