[發(fā)明專利]基于神經(jīng)網(wǎng)絡(luò)模型的手寫識(shí)別方法、裝置及電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201911143048.7
• 申請(qǐng)日: 2019-11-20
• 公開（公告）號(hào): CN110942004A
• 公開（公告）日: 2020-03-31
• 發(fā)明（設(shè)計(jì)）人: 劉俊仕
• 申請(qǐng)（專利權(quán)）人: 深圳追一科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/20;G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 深圳市智圈知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44351
• 代理人: 苗燕

本申請(qǐng)實(shí)施例公開了一種基于神經(jīng)網(wǎng)絡(luò)模型的手寫識(shí)別方法、裝置及電子設(shè)備，涉及圖像識(shí)別技術(shù)領(lǐng)域。神經(jīng)網(wǎng)絡(luò)模型包括第一神經(jīng)網(wǎng)絡(luò)、第二神經(jīng)網(wǎng)絡(luò)，該方法包括：對(duì)待識(shí)別圖像進(jìn)行預(yù)處理，得到至少一個(gè)文本行，待識(shí)別圖像包括手寫字體；將文本行輸入第一神經(jīng)網(wǎng)絡(luò)，以獲得至少一個(gè)分割后的字符；將至少一個(gè)分割后的字符輸入第二神經(jīng)網(wǎng)絡(luò)，以輸出識(shí)別手寫字體后對(duì)應(yīng)的文本。本申請(qǐng)實(shí)施例通過兩個(gè)神經(jīng)網(wǎng)絡(luò)分別對(duì)手寫字體進(jìn)行分割、對(duì)分割后的字符進(jìn)行識(shí)別，使得對(duì)分割結(jié)果和識(shí)別結(jié)果可實(shí)現(xiàn)較好的控制，以提高分割、識(shí)別準(zhǔn)確率，以及網(wǎng)絡(luò)訓(xùn)練效率。

技術(shù)領(lǐng)域

本申請(qǐng)實(shí)施例涉及圖像識(shí)別技術(shù)領(lǐng)域，更具體地，涉及一種基于神經(jīng)網(wǎng)絡(luò)模型的手寫識(shí)別方法、裝置及電子設(shè)備。

背景技術(shù)

中文手寫識(shí)別一直在拍照文檔、支票、表單表格、證件、郵政信封、票據(jù)、手稿文書等地方有重要的應(yīng)用。現(xiàn)有的手寫漢字識(shí)別框架大都基于傳統(tǒng)的預(yù)處理、特征提取、分類器，隨著深度學(xué)習(xí)的興起，基于深度學(xué)習(xí)的手寫識(shí)別方法所可以取得的效果普遍領(lǐng)先于傳統(tǒng)方法，但是在對(duì)連續(xù)的手寫漢字進(jìn)行識(shí)別時(shí)，識(shí)別準(zhǔn)確率仍較低。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供一種基于神經(jīng)網(wǎng)絡(luò)模型的手寫識(shí)別方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，以改善上述缺陷。

第一方面，本申請(qǐng)實(shí)施例提供了一種基于神經(jīng)網(wǎng)絡(luò)模型的手寫識(shí)別方法，所述神經(jīng)網(wǎng)絡(luò)模型包括第一神經(jīng)網(wǎng)絡(luò)、第二神經(jīng)網(wǎng)絡(luò)，所述方法包括：對(duì)所述待識(shí)別圖像進(jìn)行預(yù)處理，得到至少一個(gè)文本行，所述待識(shí)別圖像包括手寫字體；將所述文本行輸入所述第一神經(jīng)網(wǎng)絡(luò)，以獲得至少一個(gè)分割后的字符；將所述至少一個(gè)分割后的字符輸入所述第二神經(jīng)網(wǎng)絡(luò)，以輸出識(shí)別所述手寫字體后對(duì)應(yīng)的文本。

可選地，所述將所述文本行輸入所述第一神經(jīng)網(wǎng)絡(luò)，以獲得至少一個(gè)分割后的字符，包括：將所述文本行輸入第一神經(jīng)網(wǎng)絡(luò)，獲得至少一個(gè)字符的估計(jì)位置信息及所述估計(jì)位置信息對(duì)應(yīng)的分割標(biāo)簽，所述分割標(biāo)簽包括可分割標(biāo)簽；根據(jù)所述可分割標(biāo)簽確定可分割位置；根據(jù)所述可分割位置對(duì)所述文本行區(qū)域進(jìn)行字符分割，獲得至少一個(gè)分割后的字符。

可選地，所述將所述至少一個(gè)分割后的字符輸入所述第二神經(jīng)網(wǎng)絡(luò)，以輸出識(shí)別所述手寫字體后的文本之后，包括：獲取用戶基于所述輸出識(shí)別所述手寫字體后的文本的評(píng)價(jià)結(jié)果，所述評(píng)價(jià)結(jié)果包括錯(cuò)誤字符及所述錯(cuò)誤字符對(duì)應(yīng)的正確字符、正確位置信息；將所述正確位置信息作為真實(shí)位置信息，獲取所述錯(cuò)誤字符對(duì)應(yīng)的第一損失函數(shù)值，所述第一損失函數(shù)值與所述第一神經(jīng)網(wǎng)絡(luò)對(duì)應(yīng)，用于衡量所述錯(cuò)誤字符對(duì)應(yīng)的所述第一神經(jīng)網(wǎng)絡(luò)的輸出與所述錯(cuò)誤字符對(duì)應(yīng)的真實(shí)位置信息的誤差；將所述正確字符作為真實(shí)字符，獲取所述錯(cuò)誤字符對(duì)應(yīng)的第二損失函數(shù)值，所述第二損失函數(shù)值與所述第二神經(jīng)網(wǎng)絡(luò)對(duì)應(yīng)，用于衡量所述錯(cuò)誤字符對(duì)應(yīng)的所述第二神經(jīng)網(wǎng)絡(luò)的輸出與所處錯(cuò)誤字符對(duì)應(yīng)的真實(shí)字符之間的誤差；將所述第一損失函數(shù)值、所述第二損失函數(shù)值分別與預(yù)設(shè)閾值進(jìn)行比較，并將超過預(yù)設(shè)閾值的損失函數(shù)值確定為目標(biāo)損失函數(shù)值，將所述目標(biāo)損失函數(shù)值對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)確定為目標(biāo)神經(jīng)網(wǎng)絡(luò)；基于所述目標(biāo)損失函數(shù)值，調(diào)整所述目標(biāo)神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，并將調(diào)整后的目標(biāo)神經(jīng)網(wǎng)絡(luò)用于下一次手寫識(shí)別。

可選地，所述將所述第一損失函數(shù)值、所述第二損失函數(shù)值分別與預(yù)設(shè)閾值進(jìn)行比較，并將超過預(yù)設(shè)閾值的損失函數(shù)值確定為目標(biāo)損失函數(shù)值，將所述目標(biāo)損失函數(shù)值對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)確定為目標(biāo)神經(jīng)網(wǎng)絡(luò)，包括：若所述第一損失函數(shù)值超過預(yù)設(shè)閾值，將所述第一損失函數(shù)值確定為目標(biāo)損失函數(shù)值，將所述第一神經(jīng)網(wǎng)絡(luò)確定為目標(biāo)神經(jīng)網(wǎng)絡(luò)，以用于調(diào)整所述第一損失函數(shù)值對(duì)應(yīng)的第一神經(jīng)網(wǎng)絡(luò)；若所述第二損失函數(shù)值超過預(yù)設(shè)閾值，將所述第二損失函數(shù)值確定為目標(biāo)損失函數(shù)值，將所述第二神經(jīng)網(wǎng)絡(luò)確定為目標(biāo)神經(jīng)網(wǎng)絡(luò)，以用于調(diào)整所述第二損失函數(shù)值對(duì)應(yīng)的第二神經(jīng)網(wǎng)絡(luò)。

可選地，獲取訓(xùn)練樣本集合，包括：采集樣本視覺模型驅(qū)動(dòng)參數(shù)以及樣本音頻信息；根據(jù)樣本視覺模型驅(qū)動(dòng)參數(shù)的時(shí)間戳信息以及樣本音頻信息的時(shí)間戳信息，對(duì)樣本視覺模型驅(qū)動(dòng)參數(shù)與樣本音頻信息進(jìn)行對(duì)齊。