[發(fā)明專利]基于全卷積角點(diǎn)修正網(wǎng)絡(luò)的多向場景文字檢測方法及裝置

有效

• 申請?zhí)枺?/td>: 202110235490.3
• 申請日: 2021-03-03
• 公開（公告）號: CN113095319B
• 公開（公告）日: 2022-11-15
• 發(fā)明（設(shè)計(jì)）人: 王偉平;周宇;秦緒功
• 申請（專利權(quán)）人: 中國科學(xué)院信息工程研究所
• 主分類號: G06V20/62
• 分類號: G06V20/62;G06V10/44;G06V10/774;G06V10/80;G06V10/82;G06N3/04
• 代理公司: 北京君尚知識產(chǎn)權(quán)代理有限公司 11200
• 代理人: 陳美章

1.一種基于全卷積角點(diǎn)修正網(wǎng)絡(luò)的多向場景文字檢測方法，將待檢測圖片輸入多向文字檢測模型，獲取多向場景文字檢測結(jié)果，其中所述多向文字檢測模型利用若干樣本圖片，通過計(jì)算多向文字檢測模型的預(yù)測值與真值的損失來優(yōu)化訓(xùn)練得到，所述預(yù)測值包括：初始分?jǐn)?shù)、初始包圍框偏移、修正分?jǐn)?shù)和修正包圍框偏移，所述多向文字檢測模型的訓(xùn)練步驟包括：

1)依據(jù)樣本圖片的標(biāo)簽，獲取樣本圖片的真值；

2)提取樣本圖片的視覺特征，并對視覺特征進(jìn)行特征融合，得到融合特征；

3)對融合特征進(jìn)行卷積，獲取初始特征，并將初始特征分別輸入兩個(gè)不同卷積核數(shù)量的卷積層，獲取初始分?jǐn)?shù)與初始包圍框偏移；

4)將初始包圍框偏移進(jìn)行線性變換，計(jì)算得到角點(diǎn)感知卷積的采樣網(wǎng)格，并依據(jù)角點(diǎn)感知卷積的采樣網(wǎng)格，對初始特征進(jìn)行卷積，產(chǎn)生角點(diǎn)感知特征；

5)將角點(diǎn)感知特征分別輸入兩個(gè)不同卷積核數(shù)量的卷積層，獲取修正分?jǐn)?shù)與修正包圍框偏移；

6)根據(jù)初始包圍框偏移、修正包圍框偏移及預(yù)定義參考點(diǎn)進(jìn)行解碼運(yùn)算，得到修正包圍框，并根據(jù)修正包圍框與修正分?jǐn)?shù)，獲取該樣本圖片的多向場景文字檢測結(jié)果。

2.如權(quán)利要求1所述的方法，其特征在于，提取視覺特征的方法包括：使用殘差網(wǎng)絡(luò)。

3.如權(quán)利要求2所述的方法，其特征在于，殘差網(wǎng)絡(luò)的層數(shù)為50層。

4.如權(quán)利要求1所述的方法，其特征在于，得到融合特征的方法包括：使用特征金字塔網(wǎng)絡(luò)。

5.如權(quán)利要求1所述的方法，其特征在于，獲取初始特征的方法包括：使用若干個(gè)連續(xù)的卷積層。

6.如權(quán)利要求1所述的方法，其特征在于，獲取初始分?jǐn)?shù)的卷積層的卷積核數(shù)量為1；獲取初始包圍框偏移的卷積層的卷積核數(shù)量為8。

7.如權(quán)利要求1所述的方法，其特征在于，獲取修正分?jǐn)?shù)的卷積層的卷積核數(shù)量為1；獲取修正包圍框偏移的卷積層的卷積核數(shù)量為8。

8.如權(quán)利要求1所述的方法，其特征在于，通過以下步驟獲取該樣本圖片的多向場景文字檢測結(jié)果：

1)將修正分?jǐn)?shù)作為所述修正包圍框的置信度，并設(shè)定一置信度閾值；

2)通過非最大值抑制與置信度閾值，消除重復(fù)與低置信度的修正包圍框，得到該樣本圖片的多向場景文字檢測結(jié)果。

9.一種存儲介質(zhì)，所述存儲介質(zhì)中存儲有計(jì)算機(jī)程序，其中，所述計(jì)算機(jī)程序被設(shè)置為運(yùn)行時(shí)執(zhí)行權(quán)利要求1-8中任一所述方法。

10.一種電子裝置，包括存儲器和處理器，所述存儲器中存儲有計(jì)算機(jī)程序，所述處理器被設(shè)置為運(yùn)行所述計(jì)算機(jī)程序以執(zhí)行如權(quán)利要求1-8中任一所述方法。