[發(fā)明專利]圖像識(shí)別、訓(xùn)練、搜索方法和裝置及設(shè)備、介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201711432567.6
• 申請(qǐng)日: 2017-12-26
• 公開（公告）號(hào): CN109961068A
• 公開（公告）日: 2019-07-02
• 發(fā)明（設(shè)計(jì)）人: 曹恩華;易東;楚汝峰
• 申請(qǐng)（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號(hào): G06K9/34
• 分類號(hào): G06K9/34;G06K9/62
• 代理公司: 北京潤(rùn)澤恒知識(shí)產(chǎn)權(quán)代理有限公司 11319
• 代理人: 蘇培華

1.一種圖像識(shí)別方法，其特征在于，包括：

獲取圖像，所述圖像包括文字信息；

采用識(shí)別器對(duì)所述圖像進(jìn)行識(shí)別，獲取所述圖像中的文字區(qū)域信息，其中，所述識(shí)別器基于全卷積網(wǎng)絡(luò)對(duì)不同環(huán)境下獲取的文字圖像數(shù)據(jù)進(jìn)行訓(xùn)練確定；

根據(jù)所述文字區(qū)域信息，確定圖像中的文字。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述識(shí)別器包括特征學(xué)習(xí)器、分類器、回歸分析器，所述特征學(xué)習(xí)器基于所述全卷積網(wǎng)絡(luò)構(gòu)建。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述采用識(shí)別器對(duì)所述圖像進(jìn)行識(shí)別，獲取所述圖像中的文字區(qū)域信息，包括：

采用所述識(shí)別器中的特征學(xué)習(xí)器對(duì)圖像進(jìn)行特征提取，從所述圖像中提取特征向量；

采用所述識(shí)別器中的分類器對(duì)所述特征向量進(jìn)行分類處理，確定屬于文字類的特征向量；

采用所述識(shí)別器中的回歸分析器對(duì)所述文字類的特征向量進(jìn)行分析，確定所述圖像中的文字區(qū)域信息。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述采用所述識(shí)別器中的回歸分析器對(duì)所述文字類的特征向量進(jìn)行分析，確定所述圖像中的文字區(qū)域信息，包括：

采用所述識(shí)別器中的回歸分析器對(duì)所述文字類的特征向量進(jìn)行回歸處理，確定所述圖像中的文字區(qū)域，以及所述文字區(qū)域?qū)?yīng)坐標(biāo)信息。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)文字區(qū)域信息，確定圖像中的文字，包括：

對(duì)識(shí)別的文字區(qū)域信息進(jìn)行聚類，確定同一類的文字區(qū)域信息；

將同一類的文字區(qū)域信息進(jìn)行合并，確定所述圖像中的文字行。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述對(duì)識(shí)別的文字區(qū)域信息進(jìn)行聚類，確定同一類的文字區(qū)域信息，包括：

計(jì)算兩個(gè)文字區(qū)域信息的交并比，判斷所述交并比是否大于重疊閾值；

在判斷所述交并比大于重疊閾值后，確定兩個(gè)文字區(qū)域信息屬于同一類。

7.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述文字區(qū)域信息包括：方向信息；屬于同一類的兩個(gè)文字區(qū)域信息對(duì)應(yīng)方向信息一致。

8.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述文字區(qū)域信息包括：方向信息和坐標(biāo)信息，所述計(jì)算兩個(gè)文字區(qū)域信息的交并比，包括：

對(duì)于文字方向一致的兩個(gè)文字區(qū)域信息，按照坐標(biāo)信息計(jì)算所述兩個(gè)文字區(qū)域信息的交并比。

9.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述將同一類的文字區(qū)域信息進(jìn)行合并，確定所述圖像中的文字行，包括：

將同一類的文字區(qū)域信息按照幾何規(guī)則進(jìn)行合并，確定所述圖像中的文字行。

10.根據(jù)權(quán)利要求5或9所述的方法，其特征在于，還包括：

對(duì)所述圖像中的文字行進(jìn)行切割，得到對(duì)應(yīng)的切分信息，其中，所述切分信息包括以下至少一項(xiàng)：字、詞、詞組、短語(yǔ)。

11.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括生成識(shí)別器的步驟，包括：

從文字圖像數(shù)據(jù)庫(kù)中獲取各文字圖像，以及所述文字圖像中的文字信息；

采用基于全卷積網(wǎng)絡(luò)構(gòu)建的識(shí)別器對(duì)所述各文字圖像進(jìn)行識(shí)別，確定區(qū)域識(shí)別結(jié)果；

依據(jù)所述文字圖像的區(qū)域識(shí)別結(jié)果和文字圖像中的文字信息進(jìn)行比較，對(duì)所述識(shí)別器的參數(shù)進(jìn)行調(diào)整。

12.根據(jù)權(quán)利要求11所述的方法，其特征在于，采用基于全卷積網(wǎng)絡(luò)構(gòu)建的識(shí)別器對(duì)所述各文字圖像進(jìn)行識(shí)別，確定區(qū)域識(shí)別結(jié)果，包括：

采用全卷積網(wǎng)絡(luò)構(gòu)建的特征學(xué)習(xí)器對(duì)所述文字圖像進(jìn)行特征提取，從所述文字圖像中提取特征向量；

采用分類器對(duì)所述特征向量進(jìn)行分類處理，確定所述特征向量的類別信息；

采用所述識(shí)別器中的回歸分析器依據(jù)所述文字類的特征向量進(jìn)行分析，確定所述文字圖像中的文字區(qū)域信息。