[發(fā)明專利]序列識(shí)別方法及裝置、電子設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202180004227.1
• 申請(qǐng)日: 2021-12-22
• 公開(kāi)（公告）號(hào): CN114207673A
• 公開(kāi)（公告）日: 2022-03-18
• 發(fā)明（設(shè)計(jì)）人: 陳景煥;馬佳彬;劉春亞
• 申請(qǐng)（專利權(quán)）人: 商湯國(guó)際私人有限公司
• 主分類號(hào): G06V20/40
• 分類號(hào): G06V20/40;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京派特恩知識(shí)產(chǎn)權(quán)代理有限公司 11270
• 代理人: 王花麗;蔣雅潔

1.一種序列識(shí)別方法，其特征在于，通過(guò)序列識(shí)別網(wǎng)絡(luò)實(shí)現(xiàn)，所述序列識(shí)別網(wǎng)絡(luò)至少包括編碼網(wǎng)絡(luò)和解碼網(wǎng)絡(luò)，所述方法包括：

獲取待處理圖像，所述待處理圖像中包括待識(shí)別的對(duì)象序列；

利用所述編碼網(wǎng)絡(luò)對(duì)所述待處理圖像進(jìn)行編碼處理，得到第一特征序列；

利用所述解碼網(wǎng)絡(luò)對(duì)所述第一特征序列進(jìn)行解碼處理，得到第二特征序列；

基于所述第二特征序列，得到所述對(duì)象序列的序列識(shí)別結(jié)果；其中，所述序列識(shí)別網(wǎng)絡(luò)是通過(guò)對(duì)所述編碼網(wǎng)絡(luò)和所述解碼網(wǎng)絡(luò)分別進(jìn)行監(jiān)督得到的。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述序列識(shí)別網(wǎng)絡(luò)還包括特征提取網(wǎng)絡(luò)；

對(duì)應(yīng)地，所述利用所述編碼網(wǎng)絡(luò)對(duì)所述待處理圖像進(jìn)行編碼處理，得到第一特征序列，包括：

利用所述特征提取網(wǎng)絡(luò)對(duì)所述待處理圖像進(jìn)行特征提取，得到圖像特征；

利用所述編碼網(wǎng)絡(luò)對(duì)所述圖像特征進(jìn)行編碼處理，得到第一特征序列。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述利用所述特征提取網(wǎng)絡(luò)對(duì)所述待處理圖像進(jìn)行特征提取，得到圖像特征，包括：

對(duì)所述待處理圖像進(jìn)行分割，得到至少兩個(gè)圖像塊；其中，所述至少兩個(gè)圖像塊中不同的圖像塊之間不存在重合；

對(duì)每一所述圖像塊進(jìn)行特征提取，得到每一所述圖像塊對(duì)應(yīng)的圖像塊特征；

基于所述圖像塊特征，得到所述圖像特征。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述基于所述圖像塊特征，得到所述圖像特征，包括：

將所述至少兩個(gè)圖像塊對(duì)應(yīng)的圖像塊特征進(jìn)行組合，得到組合特征；

將所述組合特征在第一維度上進(jìn)行融合，得到所述圖像特征。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述將所述組合特征在第一維度上進(jìn)行融合，得到所述圖像特征，包括：

利用平均池化操作將所述組合特征在第一維度上進(jìn)行融合，得到所述圖像特征；其中，所述第一維度為所述待處理圖像的第一維度。

6.根據(jù)權(quán)利要求3至5任一項(xiàng)所述的方法，其特征在于，所述對(duì)每一所述圖像塊進(jìn)行特征提取，得到每一所述圖像塊對(duì)應(yīng)的圖像塊特征，包括：

利用線性投影操作對(duì)每一所述圖像塊進(jìn)行編碼，得到每一所述圖像塊對(duì)應(yīng)的圖像塊特征。

7.根據(jù)權(quán)利要求2至6任一項(xiàng)所述的方法，其特征在于，所述利用所述編碼網(wǎng)絡(luò)對(duì)所述圖像特征進(jìn)行編碼處理，得到第一特征序列，包括：

確定位置特征；其中，所述位置特征用于表明所述圖像特征中不同特征所在的位置信息；

將所述圖像特征和所述位置特征進(jìn)行結(jié)合，得到第一特征信息；

將所述第一特征信息輸入至所述編碼網(wǎng)絡(luò)進(jìn)行編碼處理，得到第一特征序列。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述位置特征是通過(guò)訓(xùn)練得到的，所述位置特征與所述圖像特征具有相同的尺寸。

9.根據(jù)權(quán)利要求7或8所述的方法，其特征在于，所述利用所述解碼網(wǎng)絡(luò)對(duì)所述第一特征序列進(jìn)行解碼處理，得到第二特征序列，包括：

確定查詢特征；

將所述第一特征序列、所述位置特征和所述查詢特征進(jìn)行結(jié)合，得到第二特征信息；

將所述第二特征信息輸入至所述解碼網(wǎng)絡(luò)進(jìn)行解碼處理，得到第二特征序列。

10.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述查詢特征是通過(guò)訓(xùn)練得到的，所述查詢特征的尺寸是通過(guò)所述圖像塊特征的特征維度和所述對(duì)象序列的序列長(zhǎng)度確定的。

11.根據(jù)權(quán)利要求1至10任一項(xiàng)所述的方法，其特征在于，所述編碼網(wǎng)絡(luò)和所述解碼網(wǎng)絡(luò)為T(mén)ransformer模型中的編碼網(wǎng)絡(luò)和解碼網(wǎng)絡(luò)。