[發(fā)明專利]基于因果干預(yù)的異常天氣下目標(biāo)檢測方法、設(shè)備及介質(zhì)

有效

• 申請?zhí)枺?/td>: 202110763961.8
• 申請日: 2021-07-06
• 公開（公告）號: CN113591593B
• 公開（公告）日: 2023-08-15
• 發(fā)明（設(shè)計(jì)）人: 林志勇;汪燕青;李偉佳;陳龍;吳偉;林小敏
• 申請（專利權(quán)）人: 廈門路橋信息股份有限公司
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/774;G06N3/0464;G06V10/82;G06V10/764
• 代理公司: 廈門創(chuàng)象知識產(chǎn)權(quán)代理有限公司 35232
• 代理人: 廖吉保

1.一種基于因果干預(yù)的異常天氣下目標(biāo)檢測方法，其特征在于，方法包括如下步驟：

步驟S0、將目標(biāo)訓(xùn)練圖片輸入到在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練的VGG網(wǎng)絡(luò)模型中，并提取VGG網(wǎng)絡(luò)模型中第一個max?pooling層的輸出作為目標(biāo)訓(xùn)練圖片的天氣特征；將提取的天氣特征輸入到RoIAlign中，并展平為一維向量，每種天氣特征均是該天氣對應(yīng)的所有天氣圖片的一維向量的均值，最終得到N_W×_W的天氣特征矩陣其中，w_i表示第i種天氣特征，N_W表示天氣種類的數(shù)量，_W表示天氣向量的維度；根據(jù)ImageNet數(shù)據(jù)集中各種天氣圖片的數(shù)量，確定第i種天氣出現(xiàn)的概率P(w_i)，得到天氣先驗(yàn)概率向量其中，p_i＝P(w_i)，R表示自然數(shù)集；

步驟S1、通過注意力編碼部件計(jì)算實(shí)例特征與天氣特征的注意力分?jǐn)?shù)，所述的通過注意力編碼部件計(jì)算實(shí)例特征與天氣特征的注意力分?jǐn)?shù)具體包括：

給定實(shí)例特征X、天氣特征W和天氣先驗(yàn)概率p；其中，N_X表示實(shí)例特征的數(shù)量，d_X表示每個實(shí)例特征的維度；

通過注意力編碼部件計(jì)算注意力分?jǐn)?shù)矩陣其中，Q＝₁X，K＝₂W，σ表示放縮因子，d_v表示注意力編碼的維度，T表示矩陣轉(zhuǎn)置，W₁和W₂是Linear?Layer；將實(shí)例特征和天氣特征映射到相同維度，求得用a_ij表示注意力分?jǐn)?shù)矩陣a的第i行第j列元素，即a_ij表示第i個實(shí)例特征對應(yīng)第j種天氣特征的注意力分?jǐn)?shù)；

步驟S2、注意力編碼部件將注意力分?jǐn)?shù)作為天氣先驗(yàn)權(quán)重與實(shí)例特征進(jìn)行融合得到融合特征，并輸出融合特征，所述的注意力編碼部件將注意力分?jǐn)?shù)作為天氣先驗(yàn)權(quán)重與實(shí)例特征進(jìn)行融合得到融合特征具體包括：

注意力編碼部件將得到的注意力分?jǐn)?shù)作為一個軟掩碼，自動選擇對于每個實(shí)例特征重要的天氣特征；

將天氣先驗(yàn)概率p復(fù)制擴(kuò)展為與K相同維度的矩陣，表示為其中，且P_i的每個元素相同，都為第i種天氣的天氣先驗(yàn)概率；然后將P和K進(jìn)行點(diǎn)乘，表示在對應(yīng)天氣先驗(yàn)概率下的天氣特征；最后將注意力分?jǐn)?shù)與處理后的天氣特征相乘進(jìn)行融合，并用一個線性層將最終融合結(jié)果映射到指定的維度后輸出，具體如式(1)：

Attention(X,W)＝matmul(a,K·P)W_a+_a??(1)

在式(1)中，W_a表示線性變化中的權(quán)重，b_a表示線性變化中的偏置；

步驟S3、通過殘差結(jié)構(gòu)對實(shí)例特征與輸出的融合特征進(jìn)行求和，并輸出求和結(jié)果；

步驟S4、設(shè)定步驟S1-S3的執(zhí)行次數(shù)k_D，k_D為正整數(shù)；根據(jù)執(zhí)行次數(shù)k_D重復(fù)執(zhí)行步驟S1-S3，并且將前一次執(zhí)行輸出的求和結(jié)果作為后一次執(zhí)行輸入的實(shí)例特征，將最后一次執(zhí)行輸出的求和結(jié)果作為最終輸出結(jié)果，之后進(jìn)入步驟S5；

步驟S5、設(shè)定步驟S1-S4的訓(xùn)練輪數(shù)B，B為正整數(shù)；根據(jù)訓(xùn)練輪數(shù)B重復(fù)執(zhí)行步驟S1-S4，并在達(dá)到設(shè)定的訓(xùn)練輪數(shù)B后，進(jìn)入步驟S6；

步驟S6、結(jié)束訓(xùn)練，獲得因果干預(yù)后的目標(biāo)檢測模型。