[發明專利]輕量級自注意力模塊、神經網絡模型和神經網絡構架的搜索方法

在審

• 申請號: 202010210768.7
• 申請日: 2020-03-23
• 公開（公告）號: CN111539524A
• 公開（公告）日: 2020-08-14
• 發明（設計）人: 靳瀟杰;李英偉;梅杰儒;連曉晨;楊林杰;楊建朝
• 申請（專利權）人: 字節跳動有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 泰和泰律師事務所 51219
• 代理人: 祝海燕

1.一種輕量級自注意力模塊，其特征在于，包括：特征信息輸入單元，采樣單元，整合單元，卷積單元和累加單元，其中

所述特征信息輸入單元，用于接收輸入的目標對象的特征向量；

所述采樣單元，包括至少兩個采樣子單元，所述采樣子單元用于對所述特征向量進行采樣，得到采樣特征向量；

所述整合單元，用于整合所述至少兩個采樣子單元各自輸出的采樣特征向量，得到整合采樣特征向量；

卷積單元，用于對整合采樣特征向量執行卷積操作；

所述累加單元，用于將卷積單元輸出的卷積結果與所述特征向量進行累加。

2.根據權利要求1所述的輕量級自注意力模塊，其特征在于，所述特征向量為包括空間分量和通道分量的多維特征向量；以及

所述采樣單元包括第一采樣子單元、第二采樣子單元、第三采樣子單元；其中

所述第一采樣子單元，用于對輸入的所述特征向量的通道分量進行下采樣，得到采樣后的第一采樣特征向量；

所述第二采樣子單元，用于對輸入的所述特征向量的通道分量和空間分量分別進行下采樣，得到采樣后的第二采樣特征向量；

所述第三采樣子單元，用于對輸入的所述特征向量的空間分量進行下采樣，得到采樣后的第三采樣特征向量。

3.根據權利要求2所述的輕量級自注意力模塊，其特征在于，

所述整合單元，用于對所述第一采樣特征向量、所述第二采樣特征向量的轉置和所述第三采樣特征向量執行乘積操作，得到整合后的采樣特征向量。

4.根據權利要求3所述的輕量自注意力模塊，其特征在于，所述卷積單元用于將所述整合后的采樣特征向量與第一卷積核進行卷積。

5.根據權利要求4所述的輕量級自注意力模塊，其特征在于，所述第一卷積核為3×3矩陣。

6.一種神經網絡模型，包括：多個依次設置的特征提取層，至少一個如權利要求1-5之一所述的輕量級自注意力模塊，所述輕量級自注意力模塊設置在相鄰兩個特征提取層之間。

7.一種神經網絡構架的搜索方法，包括：

設置包括多個特征提取層、全連接層以及設置在任意相鄰兩個特征提取層之間的如權利要求1-5之一所述的輕量級自注意力模塊，其中，特征提取層、全連接層及所述輕量級自注意力模塊各自對應初始參數；

使用預設訓練數據以及預先確定的損失函數，從所述神經網絡模型的最后一層至第一層特征提取層，確定各相鄰兩層是否使用所述輕量級自注意力模塊，并確定各特征提取層、所述輕量級自注意力模塊分別對應的參數以及全連接層對應的參數；其中

所述輕量級自注意力模塊的參數包括采樣單元、卷積單元各自對應的參數。

8.根據權利要求7所述的方法，其特征在于，所述輕量自注意力模塊對應的參數包括對特征向量進行采樣的采樣率，以及

所述使用預先設置的損失函數，從所述最后一層特征提取層至第一層特征提取層逐層確定各相鄰兩層是否使用所述輕量級自注意力模塊，并逐層確定各層對應的特征提取層、所述輕量級自注意力模塊對應的參數以及全連接層對應的參數所述損失函數，包括：

使用預先設置的損失函數，從所述最后一層特征提取層至第一層特征提取層逐層確定各相鄰兩層是否使用所述輕量級自注意力模塊；

對于確定使用所述輕量級自注意力模塊的相鄰兩個特征提取層，確定在該相鄰兩個特征提取層之間使用的輕量級自注意力模塊對應的所述采樣率。

9.根據權利要求8所述的方法，其特征在于，所述采樣單元包括第一采樣子單元、第二采樣子單元和第三采樣子單元；以及

所述采樣率包括輕量級自注意力模塊對應的第一采樣子單元、第二采樣子單元、第三采樣子單元分別對應的采樣率。

10.根據所述權利要求7所述的方法，其特征在于，所述損失函數包括標準分類損失子函數和模型計算復雜度損失函數，其中，所述模型計算復雜度損失函數包括成本函數。