[發(fā)明專利]一種基于雙分支混合學習網(wǎng)絡的無偏差場景圖生成方法

在審

• 申請?zhí)枺?/td>: 202211060522.1
• 申請日: 2022-08-30
• 公開（公告）號: CN115565052A
• 公開（公告）日: 2023-01-03
• 發(fā)明（設計）人: 高聯(lián)麗;劉精微;宋井寬
• 申請（專利權）人: 電子科技大學
• 主分類號: G06V10/86
• 分類號: G06V10/86;G06V10/82;G06V10/776;G06V10/764
• 代理公司: 成都弘毅天承知識產(chǎn)權代理有限公司 51230
• 代理人: 朱丹

1.一種基于雙分支混合學習網(wǎng)絡的無偏差場景圖生成方法，其特征在于，包括以下步驟：

S1、將圖像輸入到目標檢測器中，得到圖像中實例的視覺特征、語義特征以及空間特征；

S2、將圖像中實例的特征送入到粗粒度學習分支和細粒度學習分支中，其中粗粒度學習分支用以學習頭部謂詞的專家知識以及獲得頭部謂詞的魯棒性特征，細粒度學習分支用以預測具有信息性的尾部謂詞；

S3、知識蒸餾，蒸餾粗粒度學習分支在頭部謂詞上面的專家知識給細粒度學習分支；

S4、采用語義上下文模塊，對細粒度學習分支的預測結果中不合理的預測進行修正，同時計算所預測的場景圖的語義和所標注的場景圖的語義之間的差距，并用均方差損失優(yōu)化；

S5、使用標準的交叉熵損失函數(shù)來優(yōu)化粗粒度學習分支的預測結果，使用課程重加權機制優(yōu)化細粒度學習分支的預測結果；

S6、在分支課程機制的引導下，模型會先專注于粗粒度分支的學習然后再逐漸的將學習重心放到細粒度學習分支上面，并計算模型整體損失。

2.根據(jù)權利要求1所述的一種基于雙分支混合學習網(wǎng)絡的無偏差場景圖生成方法，其特征在于，所述S1中，目標檢測器的輸入是一張圖像，輸出是圖像中實例的視覺特征V、空間特征B以及語義特征L，然后這些特征被輸入到粗粒度學習分支和細粒度學習分支中。

3.根據(jù)權利要求2所述的一種基于雙分支混合學習網(wǎng)絡的無偏差場景圖生成方法，其特征在于，所述S2中，

粗粒度學習分支針對這三種視覺特征，使用通用的場景圖模型來編碼上下文信息，來增強每一個實例特征的特征，得到的具有上下文的實例特征用于關系謂詞分類，公式如下：

C_c＝Extractor_c(B，V，L)

Z_c＝Rel_Dec_c(C_c，U，W_bias)

其中，Extractor_c(，…，)是粗粒度關系特征提取器，C_c是具有上下文信息的粗粒度實例特征，Rel_Dec_c(·，·，·)是用于關系謂詞分類的粗粒度關系解碼器，U是聯(lián)合區(qū)域特征，W_bias是訓練數(shù)據(jù)集的統(tǒng)計先驗偏差，Z_c是預測的粗粒度謂詞邏輯；

細粒度學習分支使用與粗粒度學習分支相同的場景圖模型來編碼上下文信息，同時還使用了語義上下文模塊來糾正不合理的預測，公式表示如下：

C_f＝Extractor_f(B，V，L)

Z_f＝Rel_Dec_f(C_f，U，W_bias)

Z′＝SCM(Z_f，L)

Z_o＝Z′+Z_f

其中，Extractor_f(，…，)是細粒度關系特征提取器，C_f是具有上下文信息的細粒度實例特征，Rel_Dec_f(·，·，·)是用于關系謂詞分類的細粒度關系解碼器，Z_f是預測的粗粒度謂詞邏輯，SCM(·，·)是我們的語義上下文模塊，Z′是由語義上下文模塊所輸出的謂詞修正邏輯；Zo是修正后的謂詞邏輯，用于最終輸出。需要注意的是，Extractor_f(·，·，·)和Extractor_c(·，·，·)是共享參數(shù)的，從而細粒度學習分支可以共享粗粒度學習分支所學習到的魯棒的謂詞特征。