[發(fā)明專利]一種書脊分割與文字識(shí)別系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010910143.1
• 申請(qǐng)日: 2020-09-02
• 公開（公告）號(hào): CN112116611B
• 公開（公告）日: 2022-07-05
• 發(fā)明（設(shè)計(jì)）人: 孫大洋;許文巍;張有豐
• 申請(qǐng)（專利權(quán)）人: 吉林大學(xué)
• 主分類號(hào): G06T7/12
• 分類號(hào): G06T7/12;G06T5/20;G06T3/60;G06T7/181;G06V20/62;G06V30/146;G06V30/148;G06V10/82;G06N3/04
• 代理公司: 重慶百潤(rùn)洪知識(shí)產(chǎn)權(quán)代理有限公司 50219
• 代理人: 劉立春

1.一種書脊分割與文字識(shí)別方法，其特征在于：包括：

步驟一、利用圖像采集系統(tǒng)獲取書脊圖像image；

步驟二、將書脊圖像image傳入神經(jīng)網(wǎng)絡(luò)框架DarkNet中進(jìn)行書脊分割，得到N個(gè)單書脊圖像img1，img2…imgN；對(duì)每一個(gè)單書脊圖像imgi執(zhí)行如下步驟：(1)使用快速線檢測(cè)算法對(duì)分割后的單書脊圖像imgi進(jìn)行直線檢測(cè)得到直線組lines；(2)使用線拼接算法對(duì)直線組lines進(jìn)行擬合，得到長(zhǎng)度大于閾值的擬合直線組fitted_lines；具體步驟如下：

步驟1：調(diào)用快速線檢測(cè)得到線檢測(cè)結(jié)果lines；

步驟2：使用線長(zhǎng)閾值MinLength與角度閾值slantAngle對(duì)線檢測(cè)結(jié)果lines進(jìn)行濾波得到濾波線組sortedlines，濾除長(zhǎng)度小于線長(zhǎng)閾值MinLength，角度小于角度閾值slantAngle的線；

步驟3：對(duì)濾波線組sortedlines按照線段首點(diǎn)的橫坐標(biāo)排序；

步驟4：對(duì)濾波線組sortedlines中所有未進(jìn)行線擬合的線linei進(jìn)行如下操作：

a)以線linei初始化擬合線段linetmp，標(biāo)記線linei為已擬合；

b)遍歷與線linei距離相差小于10*MinLength的線linej，如果線linej兩端點(diǎn)與擬合線段linetmp的距離均小于擬合線距門限D(zhuǎn)isThreshold，則將線linej與線linei進(jìn)行擬合，取線linej與線linej的最遠(yuǎn)端點(diǎn)更新擬合線段linetmp，標(biāo)記線linej為已擬合；

c)如果擬合線段長(zhǎng)度大于線長(zhǎng)門限LineLength，將線擬合結(jié)果linetmp加入到擬合線段列表中；

步驟5：返回?cái)M合線段列表；

(3)計(jì)算擬合直線組fitted_lines所有直線的角度平均值rotation_angle，并使用該平均值對(duì)單個(gè)書脊圖像和直線組進(jìn)行透射旋轉(zhuǎn)變換得到旋轉(zhuǎn)書脊圖像rotated_imgi和旋轉(zhuǎn)直線組rotated_lines；(4)使用卷積遞歸神經(jīng)網(wǎng)絡(luò)CRNN對(duì)旋轉(zhuǎn)書脊圖像rotated_imgi進(jìn)行文字檢測(cè)得到文字區(qū)域和文字內(nèi)容；(5)使用文字區(qū)域?qū)πD(zhuǎn)直線組rotated_lines進(jìn)行濾波，去除與文字區(qū)域相交的直線；(6)在濾波后的旋轉(zhuǎn)直線組rotated_lines中找到距離旋轉(zhuǎn)書脊圖像rotated_imgi中心左側(cè)最近的直線line1，距離旋轉(zhuǎn)書脊圖像rotated_imgi中心右側(cè)最近的直線line2，并使用line1，line2對(duì)旋轉(zhuǎn)書脊圖像rotated_imgi進(jìn)行裁剪；(7)使用直線line1和直線line2對(duì)文字區(qū)域與文字內(nèi)容濾波，保留位置包含在line1，line2之間的文字識(shí)別結(jié)果；

步驟三、對(duì)書脊的文字識(shí)別結(jié)果進(jìn)行數(shù)據(jù)庫(kù)匹配；

步驟四、存儲(chǔ)識(shí)別結(jié)果，按標(biāo)記顯示書脊圖像。

2.一種書脊區(qū)域分割與文字識(shí)別系統(tǒng)，實(shí)現(xiàn)權(quán)利要求1所述的書脊分割與文字識(shí)別方法，其特征在于，所述系統(tǒng)包括：

圖像采集系統(tǒng)，用于采集圖書的書脊圖像，并將采集到的書脊圖像傳輸給圖像分析系統(tǒng)；

圖像分析系統(tǒng)，用于分析和處理圖書的書脊圖像，利用神經(jīng)網(wǎng)絡(luò)DarkNet框架進(jìn)行書脊分割、記錄坐標(biāo)并保存分割的圖像以及按照識(shí)別結(jié)果類型進(jìn)行不同顏色的書脊框選顯示；

文字識(shí)別系統(tǒng)，利用卷積遞歸神經(jīng)網(wǎng)絡(luò)CRNN對(duì)分割后的書脊進(jìn)行文字區(qū)域識(shí)別及文字檢測(cè)；

數(shù)據(jù)庫(kù)交互系統(tǒng)，用于將圖像分析系統(tǒng)得到的圖像位置數(shù)據(jù)以及文字識(shí)別系統(tǒng)識(shí)別的數(shù)據(jù)與圖書館數(shù)據(jù)庫(kù)做比對(duì)，并將比對(duì)結(jié)果恢復(fù)為可交互圖像，存入數(shù)據(jù)庫(kù)供管理員進(jìn)行圖書管理。