[發(fā)明專利]號碼識別方法、系統(tǒng)、設(shè)備及計算機可讀存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201810701639.0
• 申請日: 2018-06-29
• 公開（公告）號: CN108932494B
• 公開（公告）日: 2021-09-21
• 發(fā)明（設(shè)計）人: 李根;許世坤;朱延?xùn)|;李磊;王長虎
• 申請（專利權(quán)）人: 北京字節(jié)跳動網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N20/00
• 代理公司: 北京中原華和知識產(chǎn)權(quán)代理有限責(zé)任公司 11019
• 代理人: 孫磊;壽寧

1.一種號碼識別方法，所述方法包括：

根據(jù)視頻圖像確定第一號碼圖和所述第一號碼圖的形變情況；

根據(jù)所述形變情況對所述第一號碼圖進行調(diào)整以得到第二號碼圖；

根據(jù)所述第二號碼圖確定號碼；

其中，所述的根據(jù)視頻圖像確定第一號碼圖和所述第一號碼圖的形變情況包括：根據(jù)所述視頻圖像確定所述視頻圖像中的人員圖像；利用預(yù)先對確定號碼圖像及號碼圖像的形變情況進行過訓(xùn)練的空間變換網(wǎng)絡(luò)，對所述人員圖像進行提取特征，以確定四個頂點坐標(biāo)；將所述四個頂點坐標(biāo)所圍成的四邊形作為所述第一號碼圖，根據(jù)所述四邊形與預(yù)設(shè)的矩形之間的形變情況確定所述第一號碼圖的形變情況；

其中，在訓(xùn)練所述空間變換網(wǎng)絡(luò)的過程中，加入坐標(biāo)值的回歸損失函數(shù)以進行基于坐標(biāo)位置監(jiān)督的號碼識別；其中，所述回歸損失函數(shù)由分類損失和定位損失L_loc確定，所述定位損失L_loc由以下算式得到：

其中，p為空間變換網(wǎng)絡(luò)所預(yù)測的坐標(biāo)，g為正確標(biāo)注數(shù)據(jù)的坐標(biāo)，為FasterR-CNN中的平滑L₁，v∈(x,y)表示同時需要對橫縱坐標(biāo)分別計算誤差，p₁、p₂、p₃、p₄分別表示所述四邊形的所述四個頂點。

2.根據(jù)權(quán)利要求1所述的號碼識別方法，其中，

所述回歸損失函數(shù)L為：

其中，N為訓(xùn)練中的批數(shù)，α為權(quán)重項，L_cls為所述分類損失。

3.根據(jù)權(quán)利要求1所述的號碼識別方法，其中，所述的根據(jù)所述視頻圖像確定所述視頻圖像中的人員圖像包括：

根據(jù)視頻圖像確定所述視頻圖像中的多個區(qū)域以及每個所述區(qū)域的置信度，所述置信度用于表示所述區(qū)域為人的程度；

將所述置信度大于預(yù)設(shè)的設(shè)定值的區(qū)域作為人員圖像。

4.根據(jù)權(quán)利要求1所述的號碼識別方法，其中，

所述的根據(jù)視頻圖像確定第一號碼圖和所述第一號碼圖的形變情況包括：根據(jù)所述視頻圖像確定空間變換矩陣，所述空間變換矩陣用于表示所述第一號碼圖的旋轉(zhuǎn)和/或縮放和/或平移的情況；

所述的根據(jù)所述形變情況對所述第一號碼圖進行調(diào)整以得到第二號碼圖包括：根據(jù)所述空間變換矩陣對所述第一號碼圖中的點的坐標(biāo)進行調(diào)整以矯正所述第一號碼圖。

5.根據(jù)權(quán)利要求4所述的號碼識別方法，其中，所述的根據(jù)所述形變情況對所述第一號碼圖進行調(diào)整以得到第二號碼圖還包括：

對經(jīng)過矯正的所述第一號碼圖進行插值處理，以得到第二號碼圖。

6.根據(jù)權(quán)利要求1所述的號碼識別方法，其中，所述的根據(jù)所述第二號碼圖確定號碼包括：根據(jù)所述第二號碼圖確定號碼的位數(shù)以及每一位號碼的取值。

7.根據(jù)權(quán)利要求1到6中任意一項所述的號碼識別方法，其中，所述的根據(jù)視頻圖像確定第一號碼圖和所述第一號碼圖的形變情況和/或所述的根據(jù)所述第二號碼圖確定號碼為利用卷積神經(jīng)網(wǎng)絡(luò)進行的。

8.根據(jù)權(quán)利要求7所述的號碼識別方法，其中，所述的在訓(xùn)練所述空間變換網(wǎng)絡(luò)的過程中，加入坐標(biāo)值的回歸損失函數(shù)以進行基于坐標(biāo)位置監(jiān)督的號碼識別，具體包括：采用半監(jiān)督方式確定所述第一號碼圖和所述第一號碼圖的形變情況。

9.根據(jù)權(quán)利要求8所述的號碼識別方法，其中，所述的采用半監(jiān)督方式確定所述第一號碼圖和所述第一號碼圖的形變情況，具體包括：

在訓(xùn)練前，把帶有分類標(biāo)簽的數(shù)據(jù)和帶有定位標(biāo)簽的數(shù)據(jù)進行混合；在訓(xùn)練中，當(dāng)?shù)玫綆в兴龆ㄎ粯?biāo)簽的數(shù)據(jù)時，將所述分類損失及所述定位損失同時進行反向傳播，當(dāng)?shù)玫綌?shù)據(jù)只有所述分類標(biāo)簽時，對所述分類損失進行反向傳播，以使得整個所述空間變換網(wǎng)絡(luò)成為半監(jiān)督空間變換網(wǎng)絡(luò)。