[發(fā)明專利]一種基于可變形卷積的多任務(wù)圖像處理方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010873498.8
• 申請(qǐng)日: 2020-08-26
• 公開（公告）號(hào): CN112132258B
• 公開（公告）日: 2022-06-24
• 發(fā)明（設(shè)計(jì)）人: 黃磊;李杰;魏志強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 中國海洋大學(xué)
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08
• 代理公司: 青島華慧澤專利代理事務(wù)所(普通合伙) 37247
• 代理人: 趙梅

1.一種基于可變形卷積的多任務(wù)圖像處理方法，其特征在于，在多任務(wù)學(xué)習(xí)模型的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)時(shí)，將可變形卷積引入到多任務(wù)學(xué)習(xí)中，將可變形卷積層和特征對(duì)齊層順序連接構(gòu)建特定任務(wù)可變形模塊；特定任務(wù)可變形模塊與特征共享塊直接相連，根據(jù)子任務(wù)的內(nèi)容特點(diǎn)自適應(yīng)調(diào)整，進(jìn)行區(qū)分性特定任務(wù)特征提取與特征融合，構(gòu)成整個(gè)多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)框架；

具體包括以下步驟：

步驟0、輸入圖像數(shù)據(jù)；

步驟1、構(gòu)建特征共享網(wǎng)絡(luò)，為所有子任務(wù)構(gòu)建包含不同層次特征的特征共享池G，包含不同層次的特征共享塊；

然后以不同層次的特征共享塊為基礎(chǔ)，構(gòu)建子任務(wù)網(wǎng)絡(luò)，子任務(wù)網(wǎng)絡(luò)由一系列特定任務(wù)可變形模塊構(gòu)成，特定任務(wù)可變形模塊與特征共享池中不同層次的特征共享塊一一對(duì)應(yīng)，直接相連；

步驟2、選擇每一個(gè)特征共享塊的第一層特征作為輸入特征，送入到與之對(duì)應(yīng)的特定任務(wù)可變形模塊中，根據(jù)子任務(wù)內(nèi)容自適應(yīng)調(diào)整可變形卷積的采樣位置，提取區(qū)分性的特定任務(wù)特征：該輸入特征首先被送入特定任務(wù)可變形模塊中的可變形卷積層，可變形卷積層首先通過一個(gè)平行的標(biāo)準(zhǔn)卷積單元計(jì)算偏移量；然后，以此偏移輸出為指導(dǎo)，對(duì)原固定采樣點(diǎn)進(jìn)行水平、豎直方向上的位置調(diào)整，得到最終的采樣點(diǎn)位置，進(jìn)行卷積操作；

對(duì)于子任務(wù)Γ_i，其第j個(gè)特定任務(wù)可變形模塊的輸入特征經(jīng)過可變形部分后，得到的特征其中表示可變形卷積操作，Δ表示由卷積層、歸一化層和激活層構(gòu)成的卷積單元；

步驟3、特征大小對(duì)齊和特征語義對(duì)齊：首先將經(jīng)過步驟2的可變形卷積層的輸出特征送入特征對(duì)齊層，實(shí)現(xiàn)與下一層的共享特征語義對(duì)齊；然后調(diào)整經(jīng)過步驟2得到的特征尺寸大小，將每一個(gè)特定任務(wù)可變形模塊的輸出特征與下一層的特征共享塊進(jìn)行通道疊加實(shí)現(xiàn)特征融合，保證兩者特征大小相同，實(shí)現(xiàn)特征大小對(duì)齊；

步驟4：經(jīng)過步驟2、步驟3之后，得到經(jīng)過一個(gè)特定任務(wù)可變形模塊之后的輸出特征F_out，在送入下一個(gè)特定任務(wù)可變形模塊之前，和下一層的特征共享塊進(jìn)行融合操作，下一個(gè)特定任務(wù)可變形模塊的輸入特征

步驟5：經(jīng)過每一個(gè)特定任務(wù)可變形模塊之后的輸出特征，使用這些特定于任務(wù)的輸出特征計(jì)算最終的任務(wù)結(jié)果，并輸出各個(gè)子任務(wù)結(jié)果的圖像。

2.根據(jù)權(quán)利要求1所述的基于可變形卷積的多任務(wù)圖像處理方法，其特征在于，在模型訓(xùn)練時(shí)采用權(quán)重置零方法進(jìn)行多任務(wù)優(yōu)化：在訓(xùn)練過程中根據(jù)相對(duì)損失下降率對(duì)子任務(wù)難易程度進(jìn)行實(shí)時(shí)排名，將最易子任務(wù)的損失函數(shù)權(quán)重置零，剩余子任務(wù)繼續(xù)訓(xùn)練；經(jīng)過兩輪迭代后，恢復(fù)被置零的權(quán)重參數(shù)；重復(fù)上述步驟，實(shí)現(xiàn)訓(xùn)練過程中子任務(wù)間的動(dòng)態(tài)平衡，讓所有子任務(wù)處于同等重要位置。

3.根據(jù)權(quán)利要求2所述的基于可變形卷積的多任務(wù)圖像處理方法，其特征在于，多任務(wù)優(yōu)化具體包括以下步驟：

步驟a：子任務(wù)權(quán)重初始化：根據(jù)任務(wù)復(fù)雜程度，為每個(gè)子任務(wù)的損失函數(shù)設(shè)置超參數(shù)，作為初始子任務(wù)的權(quán)重，對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化，得到最終優(yōu)化目標(biāo)；

步驟b：任務(wù)難易實(shí)時(shí)判定：計(jì)算每個(gè)子任務(wù)的相對(duì)損失下降率，相對(duì)損失下降率代表的是子任務(wù)的優(yōu)化速度和任務(wù)難度；通過對(duì)子任務(wù)的相對(duì)損失下降率實(shí)時(shí)排名，得到在當(dāng)前訓(xùn)練輪數(shù)下，子任務(wù)的難易程度排名，從中選取相對(duì)損失下降率最高，即當(dāng)前訓(xùn)練條件下最簡單的任務(wù)；

步驟c：最易任務(wù)權(quán)重置零：將最易任務(wù)的權(quán)重進(jìn)行置零操作，不改變其余任務(wù)的權(quán)重值，得到新的多任務(wù)優(yōu)化目標(biāo)；

步驟d：最易任務(wù)放回：根據(jù)訓(xùn)練輪數(shù)，恢復(fù)原本置零的子任務(wù)損失函數(shù)的權(quán)重，加入多任務(wù)網(wǎng)絡(luò)的訓(xùn)練，多任務(wù)學(xué)習(xí)模型的優(yōu)化目標(biāo)重新變?yōu)椴襟Ea的優(yōu)化目標(biāo)；

步驟e：迭代步驟b-d，隨著多任務(wù)學(xué)習(xí)模型的訓(xùn)練過程，實(shí)時(shí)計(jì)算當(dāng)前的最易任務(wù)，通過權(quán)重置零的方式，抑制其優(yōu)化，同時(shí)讓模型將訓(xùn)練重心聚焦在困難任務(wù)中。

4.根據(jù)權(quán)利要求3所述的基于可變形卷積的多任務(wù)圖像處理方法，其特征在于，權(quán)重置零以兩輪訓(xùn)練作為等待期，經(jīng)過兩輪訓(xùn)練后，恢復(fù)原本置零的子任務(wù)損失函數(shù)的權(quán)重，放回到原多任務(wù)學(xué)習(xí)損失函數(shù)中，繼續(xù)進(jìn)行訓(xùn)練。