[發明專利]基于書脊視覺信息的圖書識別方法及系統

在審

• 申請號: 202011383651.5
• 申請日: 2020-12-01
• 公開（公告）號: CN112560902A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 孫坦;周碩;柴秀娟;張文蓉;鮮國建
• 申請（專利權）人: 中國農業科學院農業信息研究所
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京律誠同業知識產權代理有限公司 11006
• 代理人: 祁建國

本發明提出一種基于書脊視覺信息的圖書識別方法及系統，包括采集圖書館架上圖書書脊圖片、對其人工標注以構建書脊分割與書脊分類數據集；構建用于書脊圖片深度特征提取的卷積神經網絡，并利用訓練數據進行訓練得到特征提取模型；拍攝架上書本的書脊一側圖片，首先對其中的書脊進行實例分割，進而利用已經訓練好的模型獲取該書脊圖片對應的視覺特征向量，然后與館藏數據庫匹配以識別該書脊對應圖書的類別。本發明基于深度學習算法對圖書的書脊圖片進行識別，利用到書脊目標的全部視覺信息，不受限于文字識別方法所依賴的字典集，支持館藏新增圖書，具有更高的準確率和更好的魯棒性、可擴展性；可對架上系列圖書的書脊圖片進行批量識別。

技術領域

本發明涉及圖書信息管理領域，并特別涉及一種基于書脊視覺信息的圖書識別方法及系統。

背景技術

目前對圖書信息管理還停留在人工基于人眼的識別，人工整理圖書信息，或者基于射頻識別技術，定制電子標簽(RFID)和非接觸式信號接受器整理圖書信息，或基于文字識別技術，圖片采集設備和光學字符識別算法、基于深度學習的字符識別算法，整理圖書信息。

其中基于人眼的識別，即人工對架上圖書進行取放和辨別分類。基于射頻識別技術：為每一本圖書安裝電子標簽(RFID)，錄入圖書信息，在需要識別時使用非接觸式設備對圖書信息進行采集。基于文字識別技術：包括基于光學字符識別(OCR)的方法和基于深度學習(Deep Learning)字符識別的方法。主要對圖書的封面、書脊或者索書號標簽的內容進行字符識別，用識別結果在館藏數據庫中做文本檢索。例如圖書分揀系統以及收書臺(CN201610632579.2)、圖書館取書機器人(CN104552230A)和出版物數字資源的自動采集方法及系統(CN104424271B)，雖然是基于光學字符識別，但其均不涉及對書脊的識別，其只能通過對圖書的封面或者書中內容進行識別，進而對圖書進行分類。而在實際使用中圖書往往是密集擺放于書架，暴露在外的只有書脊，現有技術難以對包含多個書脊的圖片進行圖書類別識別。

目前技術還存在以下技術缺陷，例如基于人眼的識別會消耗巨大的時間和人力成本，極大限制了工作效率的提升。基于射頻識別技術需要繁重的前期建設工作，依賴專有設備和系統，成本昂貴。基于文字識別技術對書本的厚度、磨損程度和藝術字的多樣性敏感，穩定性差；本質上是對字符的分類，嚴重依賴于字典集的范圍，即無法識別字典集中沒有的陌生語言和字體，不具有可擴展性。

發明內容

本發明提出了一種低成本、速度快、高精度、自動化的書脊識別方法，解決了圖書館架上和類似場景的圖書識別問題。

針對現有技術的不足，本發明提出一種基于書脊視覺信息的圖書識別方法，其中包括：

步驟1、獲取已標注書脊分割的圖書書脊圖片作為訓練集，通過該訓練集訓練用于分割書脊的深度卷積神經網絡模型，得到書脊分割模型，使用該書脊分割模型，對采集的架上書本圖片做實例分割，得到多張書脊圖片；

步驟2、通過為每張書脊圖片標注圖書類別，構建書脊分類數據集，通過該書脊分類數據集訓練用于書脊分類的深度卷積神經網絡模型，得到書脊特征提取模型，使用該書脊特征提取模型提取圖書數據庫中每一本書的書脊視覺特征，集合書脊視覺特征構建書脊視覺數據庫；

步驟3、將包含多個書脊的待識別書脊圖片輸入至書脊分割模型進行實例分割，并將分割結果輸入至該書脊特征提取模型，得到該待識別書脊圖片中各書脊的視覺特征向量，將該視覺特征向量與數據庫匹配以識別該待識別書脊圖片中各書脊的圖書類別。

所述的基于書脊視覺信息的圖書識別方法，其中該步驟1包括數據集構建步驟，使用圖片采集設備對架上圖書進行多角度拍攝，并在拍攝結果中每個書脊區域確定四個坐標點(x_N，y_N)_i,N∈[1,4]構成一個封閉的四邊形b_i將其框選，以標注書脊分割。