[發(fā)明專利]檢測自然場景圖像中的文本的位置的方法和裝置

有效

• 申請?zhí)枺?/td>: 201810070773.5
• 申請日: 2018-01-24
• 公開（公告）號: CN108154145B
• 公開（公告）日: 2020-05-19
• 發(fā)明（設(shè)計）人: 周子鍵
• 申請（專利權(quán)）人: 北京地平線機器人技術(shù)研發(fā)有限公司
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06K9/46;G06N3/04
• 代理公司: 北京市正見永申律師事務(wù)所 11497
• 代理人: 黃小臨;王懷章

1.一種檢測自然場景圖像中的文本的位置的方法，包括：

將所述自然場景圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)；

根據(jù)所述卷積神經(jīng)網(wǎng)絡(luò)中的隱藏層中的每個選定層的輸出特征圖的大小對所述卷積神經(jīng)網(wǎng)絡(luò)的輸出層的輸出特征圖執(zhí)行相應(yīng)的上采樣；

基于每個選定層的輸出特征圖和所述輸出層的輸出特征圖的相應(yīng)的上采樣的結(jié)果來生成每個選定層的輸出特征圖的相應(yīng)的檢測特征圖；

獲得每個檢測特征圖的與所述文本的位置有關(guān)的一個或多個區(qū)域建議框；以及

使用每個區(qū)域建議框的置信度作為權(quán)重來計算所有的區(qū)域建議框的坐標的加權(quán)平均，以確定所述文本在所述自然場景圖像中的位置。

2.根據(jù)權(quán)利要求1所述的方法，其中，對所述輸出層的輸出特征圖執(zhí)行相應(yīng)的上采樣包括：

對所述輸出層的輸出特征圖執(zhí)行立方插值。

3.根據(jù)權(quán)利要求1所述的方法，其中，每個選定層的輸出特征圖的大小與每個選定層在所述卷積神經(jīng)網(wǎng)絡(luò)中的相應(yīng)的下一層的輸出特征圖的大小不同。

4.根據(jù)權(quán)利要求1所述的方法，還包括：

將所述輸出層的輸出特征圖也作為一個檢測特征圖。

5.根據(jù)權(quán)利要求1所述的方法，其中，針對每個選定層的輸出特征圖，生成相應(yīng)的檢測特征圖包括：

使選定層的輸出特征圖通過一個或多個第一卷積塊以獲得第一特征圖，每個第一卷積塊包括第一卷積層和在所述第一卷積層之后的第一批量歸一化層；

使所述輸出層的輸出特征圖的相應(yīng)的上采樣的結(jié)果通過一個或多個第二卷積塊以獲得第二特征圖，每個第二卷積塊包括第二卷積層和在所述第二卷積層之后的第二批量歸一化層；以及

對所述第一特征圖和所述第二特征圖執(zhí)行逐點相乘。

6.根據(jù)權(quán)利要求5所述的方法，其中，針對每個選定層的輸出特征圖，生成相應(yīng)的檢測特征圖還包括：

將逐點相乘的結(jié)果輸入到相應(yīng)的銜接網(wǎng)絡(luò)，每個相應(yīng)的銜接網(wǎng)絡(luò)包括多個銜接塊，每個銜接塊包括第三卷積層、在所述第三卷積層之后的第三批量歸一化層和在所述第三批量歸一化層之后的激活層；以及

將相應(yīng)的銜接網(wǎng)絡(luò)的輸出作為相應(yīng)的檢測特征圖。

7.根據(jù)權(quán)利要求6所述的方法，其中，所述多個銜接塊包括第一銜接塊、第二銜接塊和第三銜接塊，

所述第一銜接塊和所述第三銜接塊中的第三卷積層使用1x1的卷積核，所述第二銜接塊中的第三卷積層使用3x3的卷積核，

所述第一銜接塊、所述第二銜接塊和所述第三銜接塊串聯(lián)在一起，

所述第一銜接塊以提供給相應(yīng)的銜接網(wǎng)絡(luò)的輸入作為相應(yīng)的輸入，并且

相應(yīng)的銜接網(wǎng)絡(luò)的輸出是通過所述第三銜接塊的輸出和所述第一銜接塊的輸入執(zhí)行逐點相乘所得到的結(jié)果。

8.根據(jù)權(quán)利要求6所述的方法，其中，所述多個銜接塊包括第一銜接塊、第二銜接塊、第三銜接塊和第四銜接塊，

所述第一銜接塊、所述第三銜接塊和所述第四銜接塊中的第三卷積層使用1x1的卷積核，所述第二銜接塊中的第三卷積層使用3x3的卷積核，

所述第一銜接塊、所述第二銜接塊和所述第三銜接塊串聯(lián)在一起，

所述第一銜接塊和所述第四銜接塊以提供給相應(yīng)的銜接網(wǎng)絡(luò)的輸入作為相應(yīng)的輸入，并且

相應(yīng)的銜接網(wǎng)絡(luò)的輸出是通過對所述第三銜接塊和所述第四銜接塊的輸出執(zhí)行逐點相乘所得到的結(jié)果。