[發(fā)明專利]圖像處理方法、裝置及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110062552.5
• 申請日: 2021-01-18
• 公開（公告）號: CN112750081A
• 公開（公告）日: 2021-05-04
• 發(fā)明（設(shè)計）人: 張亮
• 申請（專利權(quán)）人: 北京小米松果電子有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京善任知識產(chǎn)權(quán)代理有限公司 11650
• 代理人: 康艷青

本公開是關(guān)于一種圖像處理方法、裝置及存儲介質(zhì)。該方法應(yīng)用于電子設(shè)備，包括：基于第一終端設(shè)備采集的圖像幀構(gòu)建第一訓(xùn)練集；基于第一訓(xùn)練集對第一網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到超分退化模型；將第二終端設(shè)備采集的第一圖像幀輸入超分退化模型，得到第一預(yù)測標(biāo)簽；基于由第一圖像幀和第一預(yù)測標(biāo)簽構(gòu)建的第二訓(xùn)練集對第二網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到目標(biāo)網(wǎng)絡(luò)模型；基于目標(biāo)網(wǎng)絡(luò)模型對第二終端設(shè)備采集的待處理圖像進(jìn)行超分處理，得到目標(biāo)圖像。由于第一預(yù)測標(biāo)簽具備了真實(shí)超分的退化性能，通過直接基于第一圖像幀和第一預(yù)測標(biāo)簽構(gòu)建第二訓(xùn)練集，而不需要額外采集圖像幀作為第一圖像幀的標(biāo)注標(biāo)簽，能節(jié)省重復(fù)采集針對于第二終端設(shè)備的訓(xùn)練數(shù)據(jù)的時間和精力。

技術(shù)領(lǐng)域

本公開涉及圖像技術(shù)領(lǐng)域，尤其涉及一種圖像處理方法、裝置及存儲介質(zhì)。

背景技術(shù)

變焦功能是當(dāng)今手機(jī)和相機(jī)的必備功能。目前大部分?jǐn)?shù)字變焦方法可以通過對相機(jī)傳感器輸入的裁剪區(qū)域進(jìn)行上采樣處理，得到高分辨率的圖像，這個過程一般稱為單幀超分辨率(Single-Image-Super-Resolution，SISR)，且單幀超分辨率能夠提高圖像的分辨率。

圖像超分辨率(Super-Resolution，SR)是指從低分辨率中恢復(fù)高分辨率圖像的過程，是計算機(jī)視覺和圖像處理中比較重要的一類圖像處理技術(shù)。現(xiàn)有技術(shù)中可以通過在模擬數(shù)據(jù)集上進(jìn)行訓(xùn)練和評估，以得到單幀超分辨率模型，而訓(xùn)練中使用的低分辨率圖像是通過預(yù)先設(shè)定的應(yīng)用程序簡單而均勻的退化生成的(例如，可以通過雙三次的降采樣得到低分辨率圖像)，然而，實(shí)際得到低分辨率圖像的過程很復(fù)雜。因此，在模擬數(shù)據(jù)集上訓(xùn)練得到單幀超分辨率模型在應(yīng)用于實(shí)際場景時變得不那么有效。

相關(guān)技術(shù)中的技術(shù)方案中，為了防止失焦模糊，無法采集實(shí)際場景，尤其復(fù)雜的場景。例如，為了訓(xùn)練城市場景數(shù)據(jù)，將不同的城市印在明信片上，然后通過拍攝明信片來完成數(shù)據(jù)采集。且因?yàn)椴煌謾C(jī)或者不同單反之間傳感器的不同，導(dǎo)致最終的圖像分布也不一樣，針對不同的相機(jī)源需要重新采集新的訓(xùn)練集進(jìn)行訓(xùn)練，因此需要為不同的相機(jī)源重復(fù)采集數(shù)據(jù)，而這種真實(shí)超分?jǐn)?shù)據(jù)的采集成本非常大。

發(fā)明內(nèi)容

本公開提供一種圖像處理方法、裝置及存儲介質(zhì)。

根據(jù)本公開實(shí)施例的第一方面，提供一種圖像處理方法，應(yīng)用于電子設(shè)備，包括：

基于第一終端設(shè)備采集的圖像幀構(gòu)建第一訓(xùn)練集；

基于所述第一訓(xùn)練集對預(yù)先構(gòu)建的第一網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到超分退化模型；

將第二終端設(shè)備采集的第一圖像幀輸入所述超分退化模型，得到第一預(yù)測標(biāo)簽；

基于所述第一圖像幀和所述第一預(yù)測標(biāo)簽，構(gòu)建第二訓(xùn)練集；

基于所述第二訓(xùn)練集對預(yù)先構(gòu)建的第二網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到目標(biāo)網(wǎng)絡(luò)模型；

基于所述目標(biāo)網(wǎng)絡(luò)模型對所述第二終端設(shè)備采集的待處理圖像進(jìn)行超分處理，得到目標(biāo)圖像。

可選的，所述基于第一終端設(shè)備采集的圖像幀構(gòu)建第一訓(xùn)練集，包括：

根據(jù)所述第一終端設(shè)備在各個應(yīng)用場景下，分別按照不同的拍攝距離采集的多個圖像幀，構(gòu)建所述第一訓(xùn)練集。

可選的，所述根據(jù)所述第一終端設(shè)備在各個應(yīng)用場景下，分別按照不同的拍攝距離采集的多個圖像幀，構(gòu)建所述第一訓(xùn)練集，包括：

確定所述第一終端設(shè)備在各個所述應(yīng)用場景下，按照第一拍攝距離采集的第二圖像幀，以及按照第二拍攝距離采集的第三圖像幀；

將所述第三圖像幀作為標(biāo)注標(biāo)簽對所述第二圖像幀進(jìn)行標(biāo)注，得到對應(yīng)于各個所述應(yīng)用場景的已標(biāo)注圖像幀；

基于對應(yīng)于各個所述應(yīng)用場景的已標(biāo)注圖像幀，構(gòu)建所述第一訓(xùn)練集。