[發明專利]題目識別方法、裝置、電子設備及計算機存儲介質

在審

• 申請號: 202110235866.0
• 申請日: 2021-03-03
• 公開（公告）號: CN112598000A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 秦勇;楊家博
• 申請（專利權）人: 北京世紀好未來教育科技有限公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/62
• 代理公司: 北京合智同創知識產權代理有限公司 11545
• 代理人: 李杰

1.一種題目識別方法，其特征在于，所述方法包括：

獲取包含題目的目標圖像；

將所述目標圖像輸入預先訓練完成的檢測模型，得到所述題目的題目區域和所述題目中的文本區域；

通過預先訓練完成的編碼器模型，對所述題目區域的圖像部分進行編碼，獲得所述題目的編碼向量，基于所述編碼向量與預存的多種題目類型特征向量的匹配結果，獲得所述題目的題目類型信息；

基于所述題目中的文本區域進行文本識別，得到文本識別結果；

根據所述題目類型信息和所述文本識別結果，進行題目構建，獲得與所述目標圖像中的題目對應的構建題目。

2.根據權利要求1所述的方法，其特征在于，所述通過預先訓練完成的編碼器模型，對所述題目區域的圖像部分進行編碼，獲得所述題目的編碼向量，包括：

根據所述題目區域，對所述目標圖像進行截圖，獲得題目區域的圖像部分；

將所述題目區域的圖像部分輸入所述預先訓練完成的編碼器模型，得到所述題目的編碼向量。

3.根據權利要求1所述的方法，其特征在于，基于所述題目的編碼向量與預存的多種題目類型特征向量的匹配結果，獲得所述題目的題目類型信息，包括：

計算所述題目的編碼向量與所述預存的多種題目類型特征向量之間的題目相似度，得到該題目區域對應的多個題目相似度；

若所述多個題目相似度中包括大于預設相似度的題目相似度，則將所述多個題目相似度中最大題目相似度對應的題目類型特征向量的題目類型信息，確定為所述題目的題目類型信息。

4.根據權利要求3所述的方法，其特征在于，所述方法還包括：

若多個題目相似度均小于或等于預設相似度，則將所述題目的編碼向量加入所述預存的多種題目類型特征向量中。

5.根據權利要求1所述的方法，其特征在于，所述編碼器模型通過以下方式進行預先訓練：

獲取包含樣本題目的第一訓練圖像樣本，所述第一訓練圖像樣本中的樣本題目屬于同一題目類型；

將所述第一訓練圖像樣本輸入初始編碼器模型，得到所述樣本題目的題目預測編碼向量；

將所述樣本題目的題目預測編碼向量輸入初始解碼器模型，得到所述樣本預測題目；

根據所述樣本預測題目，采用L1損失函數，獲得第一損失值；

根據所述第一損失值，對所述初始編碼器模型和所述初始解碼器模型進行訓練，得到所述編碼器模型。

6.根據權利要求5所述的方法，其特征在于，所述獲取包含樣本題目的第一訓練圖像樣本，包括：

獲取訓練圖像樣本集，其中，所述訓練圖像樣本集中的圖像樣本為對應于多個不同題目類型的圖像樣本；

從多個不同題目類型中確定一個題目類型，并將該題目類型對應的圖像樣本確定為所述第一訓練圖像樣本。

7.根據權利要求6所述的方法，其特征在于，所述方法還包括：

將所述第一訓練圖像樣本輸入所述預先訓練完成的編碼器模型，得到所述第一訓練圖像樣本對應的編碼向量；

計算所述第一訓練圖像樣本對應的編碼向量的平均值；

將所述編碼向量的平均值作為所述第一訓練圖像樣本的題目類型特征向量；

根據所述第一訓練圖像樣本的題目類型特征向量確定所述預存的多種題目類型特征向量。

8.根據權利要求1-7任一項所述的方法，其特征在于，所述編碼器模型為變分自編碼器模型。