[發(fā)明專利]檢測自然場景圖像中的文本的位置的方法和裝置

有效

• 申請?zhí)枺?/td>: 201810070773.5
• 申請日: 2018-01-24
• 公開（公告）號: CN108154145B
• 公開（公告）日: 2020-05-19
• 發(fā)明（設(shè)計）人: 周子鍵
• 申請（專利權(quán)）人: 北京地平線機器人技術(shù)研發(fā)有限公司
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06K9/46;G06N3/04
• 代理公司: 北京市正見永申律師事務(wù)所 11497
• 代理人: 黃小臨;王懷章

公開了一種檢測自然場景圖像中的文本的位置的方法和裝置。該方法包括：將自然場景圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)；根據(jù)卷積神經(jīng)網(wǎng)絡(luò)中的每個選定層的輸出特征圖的大小對卷積神經(jīng)網(wǎng)絡(luò)的輸出層的輸出特征圖執(zhí)行相應(yīng)的上采樣；基于每個選定層的輸出特征圖和輸出層的輸出特征圖的相應(yīng)的上采樣的結(jié)果來生成每個選定層的輸出特征圖的相應(yīng)的檢測特征圖；獲得每個檢測特征圖的與文本的位置有關(guān)的一個或多個區(qū)域建議框；以及使用每個區(qū)域建議框的置信度作為權(quán)重來計算所有的區(qū)域建議框的坐標(biāo)的加權(quán)平均。通過該方法和裝置能夠以高召回率檢測自然場景圖像中的文本的位置。

技術(shù)領(lǐng)域

本公開總體上涉及人工智能的技術(shù)領(lǐng)域，并且具體地涉及檢測自然場景圖像中的文本的位置的方法和裝置。

背景技術(shù)

自然場景圖像可能包含豐富的文本信息，這樣的文本信息對于理解由自然場景圖像所表現(xiàn)的內(nèi)容往往非常重要。提取和識別這些文本信息首先需要準(zhǔn)確地檢測出文本在自然場景圖像中的確切位置。期望能夠以高召回率檢測出文本在自然場景圖像中的位置。

發(fā)明內(nèi)容

一方面，提供了一種檢測自然場景圖像中的文本的位置的方法，該方法可以包括：將自然場景圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)；根據(jù)卷積神經(jīng)網(wǎng)絡(luò)中的每個選定層的輸出特征圖的大小對卷積神經(jīng)網(wǎng)絡(luò)的輸出層的輸出特征圖執(zhí)行相應(yīng)的上采樣；基于每個選定層的輸出特征圖和輸出層的輸出特征圖的相應(yīng)的上采樣的結(jié)果來生成每個選定層的輸出特征圖的相應(yīng)的檢測特征圖；獲得每個檢測特征圖的與文本的位置有關(guān)的一個或多個區(qū)域建議框；以及使用每個區(qū)域建議框的置信度作為權(quán)重來計算所有的區(qū)域建議框的坐標(biāo)的加權(quán)平均，以確定文本在自然場景圖像中的位置。

另一方面，還提供了一種檢測自然場景圖像中的文本的位置的裝置，該裝置可以包括被配置為執(zhí)行上述方法的一個或多個處理器。

另一方面，還提供了一種非臨時性存儲介質(zhì)，在其上存儲有程序指令，該程序指令在被執(zhí)行時執(zhí)行上述方法。

另一方面，還提供了一種檢測自然場景圖像中的文本的位置的裝置，該裝置可以包括：特征提取器，被配置為基于卷積神經(jīng)網(wǎng)絡(luò)來提取自然場景圖像中與文本的位置有關(guān)的特征；上采樣器，被配置為根據(jù)卷積神經(jīng)網(wǎng)絡(luò)中的每個選定層的輸出特征圖的大小對卷積神經(jīng)網(wǎng)絡(luò)的輸出層的輸出特征圖執(zhí)行相應(yīng)的上采樣；檢測特征圖生成器，被配置為基于每個選定層的輸出特征圖和輸出層的輸出特征圖的相應(yīng)的上采樣的結(jié)果來生成每個選定層的輸出特征圖的相應(yīng)的檢測特征圖；區(qū)域建議框獲取器，被配置為獲得每個檢測特征圖的與文本的位置有關(guān)的一個或多個區(qū)域建議框；以及定位器，被配置為使用每個區(qū)域建議框的置信度作為權(quán)重來計算所有的區(qū)域建議框的坐標(biāo)的加權(quán)平均，以確定文本在自然場景圖像中的位置。

通過根據(jù)本公開的實施例的方法和裝置，能夠以高召回率檢測自然場景圖像中的文本的位置。

附圖說明

圖1示出根據(jù)本公開的實施例的用于檢測自然場景圖像中的文本的位置的示例方法的流程圖。

圖2示出根據(jù)本公開的實施例的用于檢測自然場景圖像中的文本的位置的網(wǎng)絡(luò)系統(tǒng)的示例。

圖3示出根據(jù)本公開的實施例的注意力控制網(wǎng)絡(luò)中的結(jié)合塊的示例。

圖4示出根據(jù)本公開的實施例的注意力控制網(wǎng)絡(luò)中的結(jié)合塊的示例。

圖5示出根據(jù)本公開的實施例的注意力控制網(wǎng)絡(luò)中的結(jié)合塊的示例。

圖6示出根據(jù)本公開的實施例的銜接網(wǎng)絡(luò)中的銜接塊的示例。

圖7示出根據(jù)本公開的實施例的銜接網(wǎng)絡(luò)的示例。

圖8示出根據(jù)本公開的實施例的銜接網(wǎng)絡(luò)的示例。

圖9示出根據(jù)本公開的實施例的銜接網(wǎng)絡(luò)的示例。

圖10示出根據(jù)本公開的實施例的銜接網(wǎng)絡(luò)的示例。