[發(fā)明專利]題目識別方法、裝置、電子設(shè)備及計算機存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110235866.0
• 申請日: 2021-03-03
• 公開（公告）號: CN112598000A
• 公開（公告）日: 2021-04-02
• 發(fā)明（設(shè)計）人: 秦勇;楊家博
• 申請（專利權(quán)）人: 北京世紀好未來教育科技有限公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/62
• 代理公司: 北京合智同創(chuàng)知識產(chǎn)權(quán)代理有限公司 11545
• 代理人: 李杰

1.一種題目識別方法，其特征在于，所述方法包括：

獲取包含題目的目標圖像；

將所述目標圖像輸入預(yù)先訓練完成的檢測模型，得到所述題目的題目區(qū)域和所述題目中的文本區(qū)域；

通過預(yù)先訓練完成的編碼器模型，對所述題目區(qū)域的圖像部分進行編碼，獲得所述題目的編碼向量，基于所述編碼向量與預(yù)存的多種題目類型特征向量的匹配結(jié)果，獲得所述題目的題目類型信息；

基于所述題目中的文本區(qū)域進行文本識別，得到文本識別結(jié)果；

根據(jù)所述題目類型信息和所述文本識別結(jié)果，進行題目構(gòu)建，獲得與所述目標圖像中的題目對應(yīng)的構(gòu)建題目。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過預(yù)先訓練完成的編碼器模型，對所述題目區(qū)域的圖像部分進行編碼，獲得所述題目的編碼向量，包括：

根據(jù)所述題目區(qū)域，對所述目標圖像進行截圖，獲得題目區(qū)域的圖像部分；

將所述題目區(qū)域的圖像部分輸入所述預(yù)先訓練完成的編碼器模型，得到所述題目的編碼向量。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，基于所述題目的編碼向量與預(yù)存的多種題目類型特征向量的匹配結(jié)果，獲得所述題目的題目類型信息，包括：

計算所述題目的編碼向量與所述預(yù)存的多種題目類型特征向量之間的題目相似度，得到該題目區(qū)域?qū)?yīng)的多個題目相似度；

若所述多個題目相似度中包括大于預(yù)設(shè)相似度的題目相似度，則將所述多個題目相似度中最大題目相似度對應(yīng)的題目類型特征向量的題目類型信息，確定為所述題目的題目類型信息。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述方法還包括：

若多個題目相似度均小于或等于預(yù)設(shè)相似度，則將所述題目的編碼向量加入所述預(yù)存的多種題目類型特征向量中。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述編碼器模型通過以下方式進行預(yù)先訓練：

獲取包含樣本題目的第一訓練圖像樣本，所述第一訓練圖像樣本中的樣本題目屬于同一題目類型；

將所述第一訓練圖像樣本輸入初始編碼器模型，得到所述樣本題目的題目預(yù)測編碼向量；

將所述樣本題目的題目預(yù)測編碼向量輸入初始解碼器模型，得到所述樣本預(yù)測題目；

根據(jù)所述樣本預(yù)測題目，采用L1損失函數(shù)，獲得第一損失值；

根據(jù)所述第一損失值，對所述初始編碼器模型和所述初始解碼器模型進行訓練，得到所述編碼器模型。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述獲取包含樣本題目的第一訓練圖像樣本，包括：

獲取訓練圖像樣本集，其中，所述訓練圖像樣本集中的圖像樣本為對應(yīng)于多個不同題目類型的圖像樣本；

從多個不同題目類型中確定一個題目類型，并將該題目類型對應(yīng)的圖像樣本確定為所述第一訓練圖像樣本。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述方法還包括：

將所述第一訓練圖像樣本輸入所述預(yù)先訓練完成的編碼器模型，得到所述第一訓練圖像樣本對應(yīng)的編碼向量；

計算所述第一訓練圖像樣本對應(yīng)的編碼向量的平均值；

將所述編碼向量的平均值作為所述第一訓練圖像樣本的題目類型特征向量；

根據(jù)所述第一訓練圖像樣本的題目類型特征向量確定所述預(yù)存的多種題目類型特征向量。

8.根據(jù)權(quán)利要求1-7任一項所述的方法，其特征在于，所述編碼器模型為變分自編碼器模型。