[發(fā)明專利]一種圖像的語義識別方法、裝置、設(shè)備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210657254.5
• 申請日: 2022-06-10
• 公開（公告）號: CN114898374A
• 公開（公告）日: 2022-08-12
• 發(fā)明（設(shè)計(jì)）人: 吳萬杰;文敏;白良俊;紀(jì)傳俊;紀(jì)達(dá)麒;陳運(yùn)文
• 申請（專利權(quán)）人: 達(dá)而觀數(shù)據(jù)（成都）有限公司
• 主分類號: G06V30/148
• 分類號: G06V30/148;G06V30/19;G06V30/41;G06F40/295;G06F40/30
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 馬迪

1.一種圖像的語義識別方法，其特征在于，包括：

根據(jù)樣本字符識別結(jié)果進(jìn)行訓(xùn)練獲取信息抽取訓(xùn)練模型；

對待測圖像進(jìn)行光學(xué)字符識別獲取待測字符識別結(jié)果；

根據(jù)所述待測字符識別結(jié)果進(jìn)行分割處理獲取待測語料，將所述待測語料輸入所述信息抽取訓(xùn)練模型獲取所述待測圖像的語義識別結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)樣本字符識別文本進(jìn)行訓(xùn)練獲取信息抽取訓(xùn)練模型之前，還包括：

獲取樣本圖像，其中，所述樣本圖像中包含字符；

對所述樣本圖像進(jìn)行光學(xué)字符識別獲取包含文本信息和文本位置的所述樣本字符識別結(jié)果，其中，所述文本位置包含所述文本信息在所述樣本圖像的起始點(diǎn)位置、高度和寬度。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)樣本字符識別結(jié)果進(jìn)行訓(xùn)練獲取信息抽取訓(xùn)練模型，包括：

對所述樣本字符識別結(jié)果按照指定特征進(jìn)行聚類獲取初始簇團(tuán)，其中，每個(gè)初始簇團(tuán)中包含至少一個(gè)完整語義；

對所述初始簇團(tuán)進(jìn)行去噪處理獲取樣本簇團(tuán)，并根據(jù)所述樣本簇團(tuán)進(jìn)行訓(xùn)練獲取信息抽取訓(xùn)練模型。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述樣本簇團(tuán)進(jìn)行訓(xùn)練獲取信息抽取訓(xùn)練模型，包括：

確定實(shí)體抽取模板，并根據(jù)所述實(shí)體抽取模板和所述樣本簇團(tuán)構(gòu)建訓(xùn)練語料，其中，每個(gè)所述訓(xùn)練語料中包含實(shí)體抽取模板的置信度；

根據(jù)所述訓(xùn)練語料對初始信息模型進(jìn)行訓(xùn)練，獲取所述信息抽取訓(xùn)練模型。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對待測圖像進(jìn)行光學(xué)字符識別獲取待測字符識別結(jié)果，包括：

對所述待測圖像進(jìn)行光學(xué)字符識別獲取文本信息和文本位置的所述待測字符識別結(jié)果，其中，所述文本位置包含所述文本信息在所述待測圖像的起始點(diǎn)位置、高度和寬度。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述待測字符識別結(jié)果進(jìn)行分割處理獲取待測語料，將所述待測語料輸入所述信息抽取訓(xùn)練模型獲取所述待測圖像的語義識別結(jié)果，包括：

對所述待測字符識別結(jié)果進(jìn)行聚類處理獲取待測簇團(tuán)；

根據(jù)所述實(shí)體抽取模板和所述待測簇團(tuán)構(gòu)建待測語料，其中，每個(gè)待測語料對應(yīng)至少兩個(gè)實(shí)體抽取模板；

將所述待測語料輸入所述信息抽取訓(xùn)練模型，獲取待測語料所對應(yīng)的每個(gè)實(shí)體抽取模板的語言概率；

獲取概率最高的實(shí)體抽取模板，并將所述實(shí)體抽取模板對應(yīng)的實(shí)體作為所述待測圖像的語義識別結(jié)果。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述待測語料輸入所述信息抽取訓(xùn)練模型獲取所述待測圖像的語義識別結(jié)果之后，還包括：

對所述語義識別結(jié)果進(jìn)行檢測；

當(dāng)確定檢測結(jié)果不符合要求時(shí)進(jìn)行報(bào)警提示。

8.一種圖像的語義識別裝置，其特征在于，包括：

模型訓(xùn)練模塊，用于根據(jù)樣本字符識別結(jié)果進(jìn)行訓(xùn)練獲取信息抽取訓(xùn)練模型；

待測字符識別結(jié)果獲取模塊，用于對待測圖像進(jìn)行光學(xué)字符識別獲取待測字符識別結(jié)果；

語義識別模塊，用于根據(jù)所述待測字符識別結(jié)果進(jìn)行分割處理獲取待測語料，將所述待測語料輸入所述信息抽取訓(xùn)練模型獲取所述待測圖像的語義識別結(jié)果。

9.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括：

至少一個(gè)處理器；以及

與所述至少一個(gè)處理器通信連接的存儲器；其中，

所述存儲器存儲有可被所述至少一個(gè)處理器執(zhí)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行權(quán)利要求1-7中任一項(xiàng)所述的方法。

10.一種計(jì)算機(jī)可讀存儲介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲介質(zhì)存儲有計(jì)算機(jī)指令，所述計(jì)算機(jī)指令用于使處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1-7中任一項(xiàng)所述的方法。