[發(fā)明專利]一種基于深度學習的圖書定位和識別方法

在審

• 申請?zhí)枺?/td>: 202011609868.3
• 申請日: 2020-12-30
• 公開（公告）號: CN112686157A
• 公開（公告）日: 2021-04-20
• 發(fā)明（設計）人: 張校捷
• 申請（專利權(quán)）人: 上海書山智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/46;G06N3/08
• 代理公司: 上海中外企專利代理事務所(特殊普通合伙) 31387
• 代理人: 孫益青

本發(fā)明公開了一種基于深度學習的圖書定位和識別方法，一種基于深度學習的圖書定位和識別方法，包括以下步驟：步驟1、獲取書架圖像；步驟2、識別書架圖像中每個圖書的位置信息；步驟3、提取每個圖書的特征信息；根據(jù)圖書特征信息，搜索出圖書特征信息對應的圖書信息。本發(fā)明使用圖像識別技術(shù)實現(xiàn)對圖書的盤點。

技術(shù)領域

本發(fā)明屬于圖像識別技術(shù)領域，尤其涉及一種基于深度學習的圖書定位和識別方法。

背景技術(shù)

圖書在書架上的定位和檢索在圖書館信息管理系統(tǒng)中起著重要的作用。為了能夠精確的定位圖書的位置和相關信息，方便圖書館的盤點，傳統(tǒng)上一般采用RFID標簽的方法(如專利208172824U)來對圖書進行識別。雖然RFID極大的減少了工作人員盤點的工作量，但是其具有很多缺點，首先在于RFID標簽的成本過高，因為每本圖書需要配備一個RFID標簽，貼標簽和輸入信息需要花費大量的時間，其次是標簽之間容易互相干擾，所以存在定位不準確和識別率不高的問題。為了解決這個問題，有效的降低圖書盤點的成本和工作量，本發(fā)明中引入了深度學習和人工智能的方法，來有效的解決RFID既有的缺陷。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題在于針對上述現(xiàn)有技術(shù)中的不足，提供一種基于深度學習的圖書定位和識別方法，使用圖像識別技術(shù)實現(xiàn)對圖書的盤點。

為解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案是：一種基于深度學習的圖書定位和識別方法，包括以下步驟：

步驟1、獲取書架圖像；

步驟2、識別書架圖像中每個圖書的位置信息；

步驟3、提取每個圖書的特征信息；根據(jù)圖書特征信息，搜索出圖書特征信息對應的圖書信息。

進一步地，所述步驟2，包括以下步驟：

調(diào)取預訓練好的Mask R-CNN深度學習模型；所述Mask R-CNN深度學習模型為預先經(jīng)過以下操作后的模型：修改所述Mask R-CNN深度學習模型最后一層的全連接層或1x1的卷積層，使Mask R-CNN深度學習模型的輸出為單種物體的坐標和概率；

使用調(diào)取的Mask R-CNN深度學習模型識別書架圖像中每個圖書書脊的圖像的位置信息。

進一步地，所述預訓練好的Mask R-CNN深度學習模型，訓練時包括以下步驟：

調(diào)取已經(jīng)過修改的Mask R-CNN深度學習模型；

調(diào)取合成的訓練數(shù)據(jù)，所述訓練數(shù)據(jù)為書架圖像，該書架圖像中的每個圖書書脊的圖像均標記有坐標信息，每個所述書脊的形狀對應一個直方圖；

使用所述訓練數(shù)據(jù)對調(diào)取的Mask R-CNN深度學習模型進行訓練。

進一步地，所述Mask R-CNN深度學習模型在訓練時，當所述Mask R-CNN深度學習模型輸出多個候選框時，將多個所述候選框中范圍超出任一書脊的形狀對應的直方圖范圍的候選框剔除。

進一步地，所述步驟3提取每個圖書特征信息，包括以下步驟：

調(diào)取ResNet50深度學習模型；

將圖書書脊的圖像輸入ResNet50深度學習模型，取ResNet50深度學習模型計算得到的全連接層前面最后一層的向量輸出，輸出的特征向量為圖書特征信息。

進一步地，所述ResNet50深度學習模型的向量輸出為經(jīng)過池化運算后的向量輸出。

進一步地，所述步驟4根據(jù)圖書特征信息，識別出圖書對應的圖書信息，包括以下步驟：

使用Siamese網(wǎng)絡在預置數(shù)據(jù)庫中搜索與識別出的圖書特征信息相似度大于閾值的特征信息；