[發明專利]一種基于深度學習的圖書定位和識別方法

在審

• 申請號: 202011609868.3
• 申請日: 2020-12-30
• 公開（公告）號: CN112686157A
• 公開（公告）日: 2021-04-20
• 發明（設計）人: 張校捷
• 申請（專利權）人: 上海書山智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/46;G06N3/08
• 代理公司: 上海中外企專利代理事務所(特殊普通合伙) 31387
• 代理人: 孫益青

本發明公開了一種基于深度學習的圖書定位和識別方法，一種基于深度學習的圖書定位和識別方法，包括以下步驟：步驟1、獲取書架圖像；步驟2、識別書架圖像中每個圖書的位置信息；步驟3、提取每個圖書的特征信息；根據圖書特征信息，搜索出圖書特征信息對應的圖書信息。本發明使用圖像識別技術實現對圖書的盤點。

技術領域

本發明屬于圖像識別技術領域，尤其涉及一種基于深度學習的圖書定位和識別方法。

背景技術

圖書在書架上的定位和檢索在圖書館信息管理系統中起著重要的作用。為了能夠精確的定位圖書的位置和相關信息，方便圖書館的盤點，傳統上一般采用RFID標簽的方法(如專利208172824U)來對圖書進行識別。雖然RFID極大的減少了工作人員盤點的工作量，但是其具有很多缺點，首先在于RFID標簽的成本過高，因為每本圖書需要配備一個RFID標簽，貼標簽和輸入信息需要花費大量的時間，其次是標簽之間容易互相干擾，所以存在定位不準確和識別率不高的問題。為了解決這個問題，有效的降低圖書盤點的成本和工作量，本發明中引入了深度學習和人工智能的方法，來有效的解決RFID既有的缺陷。

發明內容

本發明所要解決的技術問題在于針對上述現有技術中的不足，提供一種基于深度學習的圖書定位和識別方法，使用圖像識別技術實現對圖書的盤點。

為解決上述技術問題，本發明采用的技術方案是：一種基于深度學習的圖書定位和識別方法，包括以下步驟：

步驟1、獲取書架圖像；

步驟2、識別書架圖像中每個圖書的位置信息；

步驟3、提取每個圖書的特征信息；根據圖書特征信息，搜索出圖書特征信息對應的圖書信息。

進一步地，所述步驟2，包括以下步驟：

調取預訓練好的Mask R-CNN深度學習模型；所述Mask R-CNN深度學習模型為預先經過以下操作后的模型：修改所述Mask R-CNN深度學習模型最后一層的全連接層或1x1的卷積層，使Mask R-CNN深度學習模型的輸出為單種物體的坐標和概率；

使用調取的Mask R-CNN深度學習模型識別書架圖像中每個圖書書脊的圖像的位置信息。

進一步地，所述預訓練好的Mask R-CNN深度學習模型，訓練時包括以下步驟：

調取已經過修改的Mask R-CNN深度學習模型；

調取合成的訓練數據，所述訓練數據為書架圖像，該書架圖像中的每個圖書書脊的圖像均標記有坐標信息，每個所述書脊的形狀對應一個直方圖；

使用所述訓練數據對調取的Mask R-CNN深度學習模型進行訓練。

進一步地，所述Mask R-CNN深度學習模型在訓練時，當所述Mask R-CNN深度學習模型輸出多個候選框時，將多個所述候選框中范圍超出任一書脊的形狀對應的直方圖范圍的候選框剔除。

進一步地，所述步驟3提取每個圖書特征信息，包括以下步驟：

調取ResNet50深度學習模型；

將圖書書脊的圖像輸入ResNet50深度學習模型，取ResNet50深度學習模型計算得到的全連接層前面最后一層的向量輸出，輸出的特征向量為圖書特征信息。

進一步地，所述ResNet50深度學習模型的向量輸出為經過池化運算后的向量輸出。

進一步地，所述步驟4根據圖書特征信息，識別出圖書對應的圖書信息，包括以下步驟：

使用Siamese網絡在預置數據庫中搜索與識別出的圖書特征信息相似度大于閾值的特征信息；