[發明專利]基于演化計算的機器視覺多任務神經網絡架構搜索方法

有效

• 申請號: 202110449860.3
• 申請日: 2021-04-25
• 公開（公告）號: CN113128432B
• 公開（公告）日: 2022-09-06
• 發明（設計）人: 孫亞楠;吳杰
• 申請（專利權）人: 四川大學
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京正華智誠專利代理事務所(普通合伙) 11870
• 代理人: 代維凡

1.一種基于演化計算的機器視覺多任務神經網絡架構搜索方法，其特征在于，包括如下步驟：

S1、初始化執行場景語義分割任務和物體表面法線估計任務的神經網絡，利用執行場景語義分割任務的神經網絡模型和物體表面法線任務的神經網絡模型所提取的圖像特征特作為特征融合點，將執行場景分割任務和物體表面法線任務的神經網絡模型進行拼接，其拼接方式為，在執行場景語義分割任務和物體表面法線估計任務的神經網絡中的任意一種神經網絡里，其每一層主干網絡隨機連接至另一種神經網絡任一層主干網絡所提取的特征融合點，表示為矩陣D_a和D_b，

其中，D_a和D_b分別為場景語義分割任務和物體表面法線估計任務，為場景語義分割任務和物體表面法線估計任務，兩者互為任務A和任務B，矩陣D_a表示任務B骨干網絡中各層與任務A特征融合點的連接情況，矩陣D_a的第i行表示任務A的第i個特征融合點；若位置(i,j)為1，表示存在從任務B的第j層指向任務A的第i個特征融合點的連接，而0表示沒有連接；矩陣D_b表示任務A的主干網絡到任務B特征融合點的連接情況；

形成神經網絡模型種群；

S2、計算步驟S1中初始化執行場景語義分割任務和物體表面法線估計任務的神經網絡在執行對應圖像分析任務時的評價指標，具體方式為：

對場景語義分割任務采用聯合平均交集和像素精度評價執行語義分割任務時的性能，并采用Softmax交叉熵作為損失函數；對表面法線估計任務，采用角度距離的均值和中值誤差作為執行表面法線任務時的性能，并使用余弦損失表示與預測和真實圖像的角度差；

S3、根據步驟S2的評價指標，以設定比例從步驟S1初始化的模型種群中選擇父本模型；

S4、利用步驟S3得到的父本模型生成子本模型，并計算子本模型的多任務泛化能力指標；

S5、將步驟S3選擇的父本模型和步驟S4生成的子本模型合并生成新的模型種群，并返回步驟S3進行迭代，直至滿足終止條件。

2.根據權利要求1所述的一種基于演化計算的機器視覺多任務神經網絡架構搜索方法，其特征在于，所述步驟S1具體包括：

S11、初始化兩個多任務神經網絡的編碼矩陣，并將矩陣中的數據置零；

S12、在0-1之間生成一個隨機數，分別遍歷矩陣中的每一行，若所遍歷的位置生成的隨機數大于融合概率閾值，則將兩個神經網絡進行特征融合連接，其中，該位置的連接點為特征融合點，該行為特征融合邊；

S13、重復執行步驟S11-S12直至生成具有多個多任務神經網絡個體的模型種群。

3.根據權利要求2所述的一種基于演化計算的機器視覺多任務神經網絡架構搜索方法，其特征在于，所述步驟S2中多任務泛化能力指標的計算過程為：

S21、根據步驟S1中多任務神經網絡的不同任務，為每個任務選擇量級不同的損失函數；

S22、根據步驟S21中不同量級定義對應損失函數的權重；

S23、對步驟S21和S22中的損失函數和權重使用加權算法作為對應多任務神經網絡的多任務泛化能力指標，表示為：

其中，w_i為第i個任務的損失函數，L_i為第i任務的損失函數對應的權重，k為任務總數。

4.根據權利要求3所述的一種基于演化計算的機器視覺多任務神經網絡架構搜索方法，其特征在于，所述步驟S3具體包括：

S31、從步驟S1初始化的模型種群中隨機選擇兩個多任務神經網絡個體模型；

S32、比較所選擇的兩個多任務神經網絡個體模型的多任務泛化能力指標，將多任務泛化能力指標更高的個體模型作為一個父本模型；

S33、重復步驟S31-S32直至父本模型數量與步驟S1初始化后的模型種群中多任務神經網絡個體數量相同。