[發(fā)明專(zhuān)利]一種圖像有序性估計(jì)方法、系統(tǒng)、裝置及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202211297496.4
• 申請(qǐng)日: 2022-10-22
• 公開(kāi)（公告）號(hào): CN115631375A
• 公開(kāi)（公告）日: 2023-01-20
• 發(fā)明（設(shè)計(jì)）人: 章超;程建梅;白松;馮超
• 申請(qǐng)（專(zhuān)利權(quán)）人: 四川警察學(xué)院
• 主分類(lèi)號(hào): G06V10/764
• 分類(lèi)號(hào): G06V10/764;G06N3/0464;G06N3/08;G06V10/774
• 代理公司: 成都方圓聿聯(lián)專(zhuān)利代理事務(wù)所(普通合伙) 51241
• 代理人: 張敏

本發(fā)明公開(kāi)了一種圖像有序性估計(jì)方法、系統(tǒng)、裝置及介質(zhì)，包括：首先將每個(gè)批次中的任意兩個(gè)樣本以隨機(jī)位置、隨機(jī)大小的方式剪切式融合；其次將訓(xùn)練集中所有的圖像都采用剪切式融合，得到大量的隨機(jī)組合方式；最后，將融合的圖像輸入到CNN模型中，并將隨機(jī)性信息隱式地嵌入到學(xué)習(xí)過(guò)程中，通過(guò)學(xué)習(xí)混合式圖像和混合式標(biāo)簽的匹配度來(lái)得到競(jìng)爭(zhēng)性更強(qiáng)的模型。本發(fā)明的優(yōu)點(diǎn)是：更簡(jiǎn)單更高效的方式實(shí)現(xiàn)圖像有序性估計(jì)問(wèn)題，用大量的組合性混合將很多圖像塊嵌入在一起，在有序性類(lèi)別上進(jìn)行競(jìng)爭(zhēng)性學(xué)習(xí)，識(shí)別性能上有了較大提升，且模型更具魯棒性。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像識(shí)別和機(jī)器學(xué)習(xí)中自監(jiān)督學(xué)習(xí)技術(shù)領(lǐng)域，具體涉及一種基于競(jìng)爭(zhēng)性學(xué)習(xí)的圖像有序性估計(jì)方法、系統(tǒng)、裝置及介質(zhì)。

背景技術(shù)

圖像有序性分類(lèi)問(wèn)題，在生活中有著廣泛應(yīng)用，是近幾年越來(lái)越受到重視的一個(gè)研究問(wèn)題。該問(wèn)題的主要任務(wù)是分配給圖像一個(gè)有序性的類(lèi)別標(biāo)簽；與一般性的識(shí)別問(wèn)題相比，該問(wèn)題中的標(biāo)簽是有序性的，各圖像對(duì)應(yīng)的標(biāo)簽存在著有序性關(guān)系。因此，該問(wèn)題對(duì)應(yīng)的網(wǎng)絡(luò)模型設(shè)計(jì)思路也不同。

事實(shí)上，圖像有序性分類(lèi)問(wèn)題可以被看成是一種特殊的精細(xì)化識(shí)別問(wèn)題(Fine-grained recognition),類(lèi)別間的差異性不大，對(duì)模型的判別性有著很高的要求。隨著深度學(xué)習(xí)技術(shù)在圖像識(shí)別領(lǐng)域的廣泛應(yīng)用，相關(guān)模型和算法越來(lái)越成熟，識(shí)別率越來(lái)越高，識(shí)別性能也越來(lái)越強(qiáng)，一般性的識(shí)別問(wèn)題似乎將到達(dá)瓶頸期。對(duì)于圖像有序性分類(lèi)問(wèn)題，近幾年提升也不太明顯。

現(xiàn)有的解決圖像有序性分類(lèi)問(wèn)題主要有兩種途徑：一是建立更復(fù)雜或者性能更強(qiáng)的網(wǎng)絡(luò)模型(又可稱(chēng)為特征提取器)，比如建構(gòu)多尺度或者更多層的網(wǎng)絡(luò)模型；二是設(shè)計(jì)各種損失函數(shù)以更好地實(shí)施精細(xì)化識(shí)別。以上的兩種途徑考慮了網(wǎng)絡(luò)模型和損失函數(shù)，但是未考慮網(wǎng)絡(luò)在輸入階段的改進(jìn)。本發(fā)明擬從輸入端對(duì)該問(wèn)題進(jìn)行改進(jìn)，提出一種混合式競(jìng)爭(zhēng)性學(xué)習(xí)的圖像有序性識(shí)別方法。

發(fā)明內(nèi)容

本發(fā)明針對(duì)現(xiàn)有技術(shù)的缺陷，提供了一種圖像有序性估計(jì)方法、系統(tǒng)、裝置及介質(zhì)。以解決圖像有序性分類(lèi)中類(lèi)別間的細(xì)微差別問(wèn)題,在輸入階段引入更豐富的競(jìng)爭(zhēng)學(xué)習(xí)機(jī)制，更精細(xì)化地量化有序性樣本間的細(xì)微差異。

為了實(shí)現(xiàn)以上發(fā)明目的，本發(fā)明采取的技術(shù)方案如下：

一種圖像有序性估計(jì)方法，包括以下步驟：

S1：將任意兩個(gè)圖片樣本χ_i和χ_i'進(jìn)行剪切式融合其對(duì)應(yīng)的標(biāo)簽為其中M為元素取二值的二元矩陣，和為組合性的圖像和軟標(biāo)簽，λ是剪切式組合的融合因子，λ的值取決于剪切式組合中圖像塊的面積比例。

S2：在訓(xùn)練過(guò)程的輸入階段，將訓(xùn)練集中所有的圖像都采用剪切式融合，得到大量的組合方式；設(shè)定從每一個(gè)批次N_t個(gè)樣本中隨機(jī)抽取2個(gè)進(jìn)行混合，樣本相互間有種組合方式，在剪切區(qū)域方面有(H*W)²個(gè)可能的剪切矩陣，因此，每個(gè)批次共有種隨機(jī)組合方式。

S3：把融合的圖像和標(biāo)簽輸入到CNN模型中，通過(guò)刻畫(huà)混合式圖像和混合式標(biāo)簽的匹配度對(duì)模型進(jìn)行訓(xùn)練學(xué)習(xí)，學(xué)到競(jìng)爭(zhēng)性更強(qiáng)的模型得到各個(gè)參數(shù)的權(quán)重值。

S4：在測(cè)試過(guò)程中，把測(cè)試圖像樣本x_j輸入到訓(xùn)練好的CNN模型中，直接進(jìn)行前向計(jì)算得到預(yù)測(cè)輸出y_j＝f(χ_j；W_c)。

進(jìn)一步地，S1中剪切式融合具體如下：

已知圖像的高和寬分別為H和W，在均勻分布Unif(0,H)和Unif(0,W)隨機(jī)取r_x和r_y，分別表示剪切圖像中心點(diǎn)橫縱坐標(biāo)值，設(shè)置則剪切圖像橫坐標(biāo)的起止位置分別為和剪切圖像縱坐標(biāo)的起止位置分別為和最后將剪切圖像信息x_i'加入到另一張圖像x_i中，表示為也即是，剪切區(qū)域的橫縱坐標(biāo)范圍為這樣得到融合因子