[發(fā)明專(zhuān)利]一種基于循環(huán)一致性的零樣本識(shí)別方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110679972.8
• 申請(qǐng)日: 2021-06-18
• 公開(kāi)（公告）號(hào): CN113269274B
• 公開(kāi)（公告）日: 2022-04-19
• 發(fā)明（設(shè)計(jì)）人: 張桂梅;黃軍陽(yáng);龍邦耀;徐可
• 申請(qǐng)（專(zhuān)利權(quán)）人: 南昌航空大學(xué)
• 主分類(lèi)號(hào): G06V10/774
• 分類(lèi)號(hào): G06V10/774;G06V10/764;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京高沃律師事務(wù)所 11569
• 代理人: 王愛(ài)濤

1.一種基于循環(huán)一致性的零樣本識(shí)別方法，其特征在于，所述方法包括：

采集訓(xùn)練數(shù)據(jù)集；

構(gòu)建待訓(xùn)練循環(huán)一致性生成對(duì)抗網(wǎng)絡(luò)模型，利用所述訓(xùn)練數(shù)據(jù)集訓(xùn)練所述待訓(xùn)練循環(huán)一致性生成對(duì)抗網(wǎng)絡(luò)模型，得到循環(huán)一致性生成對(duì)抗網(wǎng)絡(luò)模型；

將所述循環(huán)一致性生成對(duì)抗網(wǎng)絡(luò)模型應(yīng)用于未知數(shù)據(jù)集的識(shí)別；所述訓(xùn)練數(shù)據(jù)集與所述未知數(shù)據(jù)集不存在交集；

所述利用所述訓(xùn)練數(shù)據(jù)集訓(xùn)練所述待訓(xùn)練循環(huán)一致性生成對(duì)抗網(wǎng)絡(luò)模型，得到循環(huán)一致性生成對(duì)抗網(wǎng)絡(luò)模型包括：

構(gòu)建多目標(biāo)損失函數(shù)，依據(jù)所述多目標(biāo)損失函數(shù)的收斂情況利用所述訓(xùn)練數(shù)據(jù)集對(duì)所述待訓(xùn)練循環(huán)一致性生成對(duì)抗網(wǎng)絡(luò)模型的參數(shù)進(jìn)行更新，得到循環(huán)一致性生成對(duì)抗網(wǎng)絡(luò)模型；

所述構(gòu)建多目標(biāo)損失函數(shù)包括：

分別構(gòu)建視覺(jué)特征生成器損失函數(shù)、視覺(jué)特征判別器損失函數(shù)、語(yǔ)義特征生成器損失函數(shù)、語(yǔ)義特征判別器損失函數(shù)和循環(huán)一致性損失函數(shù)；

所述視覺(jué)特征生成器損失函數(shù)包括：

其中，表示去冗余后的偽視覺(jué)特征的Wasserstein距離，L_cls1(M(G₁(y,z,θ)))表示偽視覺(jué)特征的分類(lèi)損失，λ_rL_r(M,c)表示去冗余的約束損失，θ和ω表示視覺(jué)特征生成器G₁和視覺(jué)特征判別器D₁的超參數(shù)，λ_r表示去冗余約束損失的超參數(shù)，L_r(M,c)表示去冗余約束損失，y表示真實(shí)語(yǔ)義特征，p_y表示y的聯(lián)合分布；z表示噪聲；M表示去冗余模塊；c表示類(lèi)別的聚類(lèi)中心；

所述視覺(jué)特征判別器損失函數(shù)包括：

其中，是視覺(jué)特征的分類(lèi)損失，λ₁L_GP1是Lipschitz梯度懲罰項(xiàng)，是去冗余偽視覺(jué)特征和真實(shí)視覺(jué)特征x之間的Wasserstein距離；λ₁表示梯度懲罰系數(shù)，y表示真實(shí)語(yǔ)義特征，x表示真實(shí)視覺(jué)特征，p_data表示數(shù)據(jù)的聯(lián)合分布，θ和ω表示視覺(jué)特征生成器G₁和視覺(jué)特征判別器D₁的超參數(shù)，z表示噪聲；

所述語(yǔ)義特征生成器的損失函數(shù)為：

其中，表示偽語(yǔ)義特征的Wasserstein距離，表示偽語(yǔ)義特征的分類(lèi)損失；δ和ζ表示語(yǔ)義特征生成器G₂和語(yǔ)義特征判別器D₂的超參數(shù)，z為噪聲，p_z為z的聯(lián)合分布；

所述語(yǔ)義特征判別器的損失函數(shù)為：

其中，表示語(yǔ)義特征分類(lèi)損失，λ₂L_GP2是梯度懲罰項(xiàng)，是生成的偽語(yǔ)義特征和真實(shí)語(yǔ)義特征之間的Wasserstein距離；λ₂表示梯度懲罰系數(shù)；

所述循環(huán)一致性損失函數(shù)包括：

其中，L_cyc表示循環(huán)一致性損失，λ是循環(huán)一致性損失的權(quán)重超參數(shù)，B表示批尺寸的值，G₂(M(G₁(y，z，θ)))表示語(yǔ)義特征生成器G₂的輸出，δ表示語(yǔ)義特征生成器G₂的超參數(shù)，y表示真實(shí)語(yǔ)義特征，z表示噪聲，θ表示生成器G₁的超參數(shù)，M表示去冗余模塊。

2.根據(jù)權(quán)利要求1所述的一種基于循環(huán)一致性的零樣本識(shí)別方法，其特征在于，所述訓(xùn)練數(shù)據(jù)集與所述未知數(shù)據(jù)集對(duì)應(yīng)的領(lǐng)域相同。

3.根據(jù)權(quán)利要求1所述的一種基于循環(huán)一致性的零樣本識(shí)別方法，其特征在于，所述構(gòu)建待訓(xùn)練循環(huán)一致性生成對(duì)抗網(wǎng)絡(luò)模型包括：

構(gòu)建生成器網(wǎng)絡(luò)：構(gòu)建視覺(jué)特征生成器和語(yǔ)義特征生成器，所述視覺(jué)特征生成器包括依次連接的第一卷積模塊、第二卷積模塊、第一全連接模塊、第二全連接模塊和第一激活函數(shù)層，所述語(yǔ)義特征生成器包括依次連接的第三全連接模塊、第四全連接模塊、第一全連接層和第二激活函數(shù)層；

構(gòu)建判別器網(wǎng)絡(luò)：構(gòu)建視覺(jué)特征判別器和語(yǔ)義特征判別器；所述視覺(jué)特征判決器包括第五全連接模塊和與所述第五全連接模塊相連的第一分支與第二分支；所述第一分支包括2路的第二全連接層，所述第二分支包括n路的第三全連接層，其中n2。