[發(fā)明專利]基于書脊視覺信息的圖書識別方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011383651.5
• 申請日: 2020-12-01
• 公開（公告）號: CN112560902A
• 公開（公告）日: 2021-03-26
• 發(fā)明（設計）人: 孫坦;周碩;柴秀娟;張文蓉;鮮國建
• 申請（專利權）人: 中國農(nóng)業(yè)科學院農(nóng)業(yè)信息研究所
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京律誠同業(yè)知識產(chǎn)權代理有限公司 11006
• 代理人: 祁建國

1.一種基于書脊視覺信息的圖書識別方法，其特征在于，包括：

步驟1、獲取已標注書脊分割的圖書書脊圖片作為訓練集，通過該訓練集訓練用于分割書脊的深度卷積神經(jīng)網(wǎng)絡模型，得到書脊分割模型，使用該書脊分割模型，對采集的架上書本圖片做實例分割，得到多張書脊圖片；

步驟2、通過為每張書脊圖片標注圖書類別，構建書脊分類數(shù)據(jù)集，通過該書脊分類數(shù)據(jù)集訓練用于書脊分類的深度卷積神經(jīng)網(wǎng)絡模型，得到書脊特征提取模型，使用該書脊特征提取模型提取圖書數(shù)據(jù)庫中每一本書的書脊視覺特征，集合書脊視覺特征構建書脊視覺數(shù)據(jù)庫；

步驟3、將包含多個書脊的待識別書脊圖片輸入至書脊分割模型進行實例分割，并將分割結果輸入至該書脊特征提取模型，得到該待識別書脊圖片中各書脊的視覺特征向量，將該視覺特征向量與數(shù)據(jù)庫匹配以識別該待識別書脊圖片中各書脊的圖書類別。

2.如權利要求1所述的基于書脊視覺信息的圖書識別方法，其特征在于，該步驟1包括數(shù)據(jù)集構建步驟，使用圖片采集設備對架上圖書進行多角度拍攝，并在拍攝結果中每個書脊區(qū)域確定四個坐標點(x_N，y_N)_i,N∈[1,4]構成一個封閉的四邊形b_i將其框選，以標注書脊分割。

3.如權利要求1所述的基于書脊視覺信息的圖書識別方法，其特征在于，該步驟2包括圖書類別標注步驟，獲得圖書書脊圖片中所有的書脊區(qū)域B_i，獲取書脊區(qū)域B_i的最小外接矩形R_i的四個頂點(X_N，Y_N)_i,N∈[1,4]以及R_i長邊的傾斜角度θ_i，將原圖進行仿射變換旋轉θ_i后再根據(jù)(X_N，Y_N)_i,N∈[1,4]裁切得到規(guī)整的書脊圖片BE_i，人工對書脊圖片BE_i標注類別標簽，其中同一本書的書脊圖片擁有相同的標簽。

4.如權利要求1所述的基于書脊視覺信息的圖書識別方法，其特征在于，該步驟2中用于書脊分類的深度卷積神經(jīng)網(wǎng)絡模型的構建方法包括：使用殘差模塊構建多層的深度卷積神經(jīng)網(wǎng)絡作為特征提取網(wǎng)絡m₂，特征提取網(wǎng)絡m₂末端添加一個使用加性角度間隔損失函數(shù)的全連接分類層classifier，得到該用于書脊分類的深度卷積神經(jīng)網(wǎng)絡模型的結構；

該步驟2包括使用該書脊分類數(shù)據(jù)集，按照分類任務的范式訓練模型M₂＝m₂+classifier：輸入縮放為固定大小的書脊圖片，訓練輸出書脊圖片所屬標簽，M₂訓練完成以后將模型中特征提取網(wǎng)絡m₂輸出的特征圖F_i作為書脊的視覺特征向量。

5.如權利要求4所述的基于書脊視覺信息的圖書識別方法，其特征在于，該步驟3包括將該待識別書脊圖片送入該書脊分割模型中處理，得到該待識別書脊圖片中所有圖書的書脊圖片BE_i；在識別過程中，使用余弦相似度度量兩個書脊視覺表征向量F_a＝[a₁,a₂,…,a₅₁₂]與F_b＝[b₁,b₂,…,b₅₁₂]之間的相似程度；書脊特征提取模型m₂計算每一個書脊圖片BE_i的視覺表征F_i，將其與脊視覺數(shù)據(jù)庫中的數(shù)據(jù)做最近鄰搜索，得到脊視覺數(shù)據(jù)庫中與目標書脊圖片相似度最高的多個書脊類別id信息，其中相似度最高的類別id信息作為最終識別結果。