[發(fā)明專利]一種基于深度學(xué)習(xí)的圖書定位和識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011609868.3
• 申請(qǐng)日: 2020-12-30
• 公開（公告）號(hào): CN112686157A
• 公開（公告）日: 2021-04-20
• 發(fā)明（設(shè)計(jì)）人: 張校捷
• 申請(qǐng)（專利權(quán)）人: 上海書山智能科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/32;G06K9/46;G06N3/08
• 代理公司: 上海中外企專利代理事務(wù)所(特殊普通合伙) 31387
• 代理人: 孫益青

1.一種基于深度學(xué)習(xí)的圖書定位和識(shí)別方法，其特征在于：包括以下步驟：

步驟1、獲取書架圖像；

步驟2、識(shí)別書架圖像中每個(gè)圖書的位置信息；

步驟3、提取每個(gè)圖書的特征信息；根據(jù)圖書特征信息，搜索出圖書特征信息對(duì)應(yīng)的圖書信息。

2.按照權(quán)利要求1所述的一種基于深度學(xué)習(xí)的圖書定位和識(shí)別方法，其特征在于：所述步驟2，包括以下步驟：

調(diào)取預(yù)訓(xùn)練好的Mask R-CNN深度學(xué)習(xí)模型；所述Mask R-CNN深度學(xué)習(xí)模型為預(yù)先經(jīng)過以下操作后的模型：修改所述Mask R-CNN深度學(xué)習(xí)模型最后一層的全連接層或1x1的卷積層，使Mask R-CNN深度學(xué)習(xí)模型的輸出為單種物體的坐標(biāo)和概率；

使用調(diào)取的Mask R-CNN深度學(xué)習(xí)模型識(shí)別書架圖像中每個(gè)圖書書脊的圖像的位置信息。

3.按照權(quán)利要求2所述的一種基于深度學(xué)習(xí)的圖書定位和識(shí)別方法，其特征在于：所述預(yù)訓(xùn)練好的Mask R-CNN深度學(xué)習(xí)模型，訓(xùn)練時(shí)包括以下步驟：

調(diào)取已經(jīng)過修改的Mask R-CNN深度學(xué)習(xí)模型；

調(diào)取合成的訓(xùn)練數(shù)據(jù)，所述訓(xùn)練數(shù)據(jù)為書架圖像，該書架圖像中的每個(gè)圖書書脊的圖像均標(biāo)記有坐標(biāo)信息，每個(gè)所述書脊的形狀對(duì)應(yīng)一個(gè)直方圖；

使用所述訓(xùn)練數(shù)據(jù)對(duì)調(diào)取的Mask R-CNN深度學(xué)習(xí)模型進(jìn)行訓(xùn)練。

4.按照權(quán)利要求3所述的一種基于深度學(xué)習(xí)的圖書定位和識(shí)別方法，其特征在于：所述Mask R-CNN深度學(xué)習(xí)模型在訓(xùn)練時(shí)，當(dāng)所述Mask R-CNN深度學(xué)習(xí)模型輸出多個(gè)候選框時(shí)，將多個(gè)所述候選框中范圍超出任一書脊的形狀對(duì)應(yīng)的直方圖范圍的候選框剔除。

5.按照權(quán)利要求1所述的一種基于深度學(xué)習(xí)的圖書定位和識(shí)別方法，其特征在于：所述步驟3提取每個(gè)圖書特征信息，包括以下步驟：

調(diào)取ResNet50深度學(xué)習(xí)模型；

將圖書書脊的圖像輸入ResNet50深度學(xué)習(xí)模型，取ResNet50深度學(xué)習(xí)模型計(jì)算得到的全連接層前面最后一層的向量輸出，輸出的特征向量為圖書特征信息。

6.按照權(quán)利要求5所述的一種基于深度學(xué)習(xí)的圖書定位和識(shí)別方法，其特征在于：所述ResNet50深度學(xué)習(xí)模型的向量輸出為經(jīng)過池化運(yùn)算后的向量輸出。

7.按照權(quán)利要求1所述的一種基于深度學(xué)習(xí)的圖書定位和識(shí)別方法，其特征在于：所述步驟3根據(jù)圖書特征信息，識(shí)別出圖書對(duì)應(yīng)的圖書信息，包括以下步驟：

使用Siamese網(wǎng)絡(luò)在預(yù)置數(shù)據(jù)庫中搜索與識(shí)別出的圖書特征信息相似度大于閾值的特征信息；

根據(jù)預(yù)置數(shù)據(jù)庫中搜索出的特征信息，查詢對(duì)應(yīng)的圖書信息輸出。