[發明專利]一種基于GinTrans網絡的垃圾分割方法及系統

在審

• 申請號: 202210901322.8
• 申請日: 2022-07-28
• 公開（公告）號: CN115147703A
• 公開（公告）日: 2022-10-04
• 發明（設計）人: 唐軍
• 申請（專利權）人: 廣東小白龍環保科技有限公司
• 主分類號: G06V20/00
• 分類號: G06V20/00;G06V10/12;G06V10/26;G06V10/40;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 東莞卓為知識產權代理事務所(普通合伙) 44429
• 代理人: 齊海迪

1.一種基于GinTrans網絡的垃圾分割方法，其特征在于，包括以下步驟：

(1)圖像分割系統設置：所述圖像分割系統包括圖像采集模塊、提取模塊、切割標識重組模塊、重塑融合輸出模塊、跳躍連接聚合模塊及分割輸出模塊，所述提取模塊設有GhostNet網絡，所述重塑融合輸出模塊設有Bi-Frequency Transformer(BiFTrans block)模塊，所述跳躍連接聚合模塊設有上采樣恢復模塊及GhostNet下采樣特征提取模塊，所述分割輸出模塊設有分割頭模塊；

(2)圖像采集輸入：所述圖像采集模塊連接有圖像采集攝像頭，所述圖像采集攝像頭對智能化垃圾回收分揀線上的垃圾進行圖像采集并傳輸到圖像采集模塊上，圖像采集模塊采集到的圖像作為圖像輸入數據并輸送至提出模塊進行處理；

(3)特征圖提取：提取模塊對圖像輸入數據進行處理，所述提取模塊采用GhostNet網絡對圖像輸入數據進行底層特征提取，提取得到輸出特征圖，并進行下個步驟處理；

(4)切割標識重組：所述切割標識重組模塊對提取到的輸出特征圖進行切割操作，通過切割操作將輸出特征圖網格化，網格化完成后通過線性映射生成標記特征，并將標記特征組成標記特征序列，將標記特征序列作為Bi-Frequency Transformer(BiFTrans block)模塊的輸入；

(5)重塑融合：所述重塑融合輸出模塊將輸入的標記特征序列進行重塑，并利用Bi-Frequency Transformer(BiFTrans block)模塊內設有的雙頻混合器從高低不同頻率對特征進行融合動作，融合動作得到融合特征輸出；

(6)跳躍聚合：對融合后的到融合特征輸出通過上采樣恢復模塊恢復成與圖像輸入數據大小相同的輸入圖像，所述GhostNet下采樣特征提取模塊進行對應的同層分辨率特征圖進行下材料特征的提取，所述上采樣恢復模塊得到的輸入圖像與所述GhostNet下采樣特征提取模塊得到的同層分辨率特征圖進行跳躍鏈接，從而聚合以不同分辨率級別呈現的特征圖像；

(7)分割輸出：分割輸出模塊的分割頭模塊將特征圖像生成分割輸出，得到目標圖像。

2.根據權利要求1所述的基于GinTrans網絡的垃圾分割方法，其特征在于，所述GhostNet網絡設有Ghost模塊，所述Ghost模塊的設計如下：

(3.1)將所述步驟(2)中的待識別垃圾圖像輸入數據，通過GhostNet網絡進行卷積生成不同分辨率的原始特征圖f_i′；

(3.2)所述提取模塊內含線性運算Φ，利用線性運算Φ生成Ghost特征圖作為輸出特征圖，其公式為f_ij＝Φ_i，j(f′_i)，其中，f′_i是待識別垃圾圖像經過卷積操作得到的第i個原始特征圖，Φ_i，j是對第i個原始特征圖的第j個線性運算，運算后得到第j個Ghost特征圖f_ij。

3.根據權利要求2所述的基于GinTrans網絡的垃圾分割方法，其特征在于，所述步驟(4)還包括以下步驟：

(4.1)將所述步驟(3)中的輸出的每一個Ghost特征圖，進行網格化切割，每個特征圖大小為H×W，H、W分別為特征圖的長和寬，每個網格子特征圖大小為s×s，s為網格的邊長，s可以被H、W整除，共可切割成個網格子特征圖；

(4.2)將網格化的子特征圖進行線性映射，每個網格子特征圖標映射成記特征，所有網格子特征圖組成標記特征序列Xi表示第i個標記特征，i＝1，2，...N為標記特征的序號。

4.根據權利要求3所述的基于GinTrans網絡的垃圾分割方法，其特征在于，所述步驟(5)還包括上采樣聚合及跳躍鏈接，其包括以下步驟：

(5.1)首先將標記特征序列進行層歸一化處理，X為層歸一化處理后的標記特征序列，為步驟(4)中得到的標記特征序列；

(5.2)將上步中的標記特征序列中的每一個標記特征，先進行頻率分解，分解為高頻標記特征和低頻標記特征；

(5.3)對高頻特征，首先進行最大池化操作，然后經過一個線性層，再經過一個深度可分離卷積層，池化層、線性層和深度可分離卷積層構成了一個高頻特征處理器，輸出為Y_high＝DConv(FC(MaxPool(X_hihg)))，其中Y_high為高頻特征處理器處理后的特征輸出，DConv為深度可分離卷積處理，FC為線性全連接處理，MaxPool為最大池化處理，X_hihg是由上步驟(5.2)中標記特征分解得到的高頻標記特征；

(5.4)對低頻標記特征，首先進行平均池化操作，然后經過自注意力機制層MSA，然后再進行上采樣以彌補平均池化操作后的維數降低，平均池化層、自注意力機制層和上采樣層構成了一個低頻特征處理器，輸出為Y_low＝Upsample(MSA(AvePool(X_low)))，其中Y_low是低頻特征處理器處理后的特征輸出，Upsample是上采樣處理，MSA是自注意力機制處理，AvePool是平均池化處理，X_low是由上步驟(5.2)中標記特征分解得到的低頻標記特征；

(5.5)高低頻特征融合，對高頻和低頻特征輸出，進行融合，得到融合后的輸出Y_o＝Concat(Y_high，Y_low)，其中Y_o為融合后的特征輸出，Concat為特征鏈接函數；

(5.6)對融合后的特征輸出再次進行層歸一化操作；

(5.7)歸一化操作后通過前饋網絡FFN，最終的BiFTrans block模塊輸出其中是步驟(4)中的標記特征序列，Y_O是經過高低頻融合后的特征輸出，FFN是前饋網絡處理，Norm是層歸一化處理。