[發明專利]一種基于圖片的問答方法、設備及計算機可讀存儲介質

有效

• 申請號: 202011632872.1
• 申請日: 2020-12-31
• 公開（公告）號: CN112800191B
• 公開（公告）日: 2023-01-17
• 發明（設計）人: 吳嘉嘉;殷兵;竺博;劉聰
• 申請（專利權）人: 科大訊飛股份有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06N3/04;G06N3/08
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 李申

1.一種基于圖片的問答方法，其特征在于，所述方法包括：

獲取基礎圖片和問題；

從答案池中提取匹配所述問題的答案，所述答案池是基于所述基礎圖片訓練得到；

其中，所述基于基礎圖片訓練得到所述答案池包括：

對所述基礎圖片進行文本檢測和物體檢測，得到所述基礎圖片中文本和物體的位置；

分別獲取所述基礎圖片中文本和物體的語義特征；

將所述基礎圖片中文本和物體的語義特征作為答案樣本，形成所述答案池。

2.根據權利要求1所述的基于圖片的問答方法，其特征在于，所述從答案池中提取匹配所述問題的答案包括：

獲取所述基礎圖片中與所述問題相關的關聯特征；

計算所述關聯特征與所述答案池中各答案樣本的相似度，得到組成所述答案的答案樣本。

3.根據權利要求2所述的基于圖片的問答方法，其特征在于，所述計算關聯特征與所述答案池中各所述答案樣本的相似度包括：

將所述關聯特征輸入長短記憶神經網絡，得到所述關聯特征的特征向量；

將各所述答案樣本輸入Bert網絡，得到每個所述答案樣本的嵌入向量；

分別計算所述關聯特征的特征向量與各個所述嵌入向量的相似度。

4.根據權利要求3所述的基于圖片的問答方法，其特征在于，所述計算關聯特征與所述答案池中各所述答案樣本的相似度，得到組成所述答案的答案樣本包括：

將所述關聯特征輸入所述長短記憶神經網絡，得到第一答案樣本；

將所述第一答案樣本和所述關聯特征輸入所述長短記憶神經網絡，得到第二答案樣本；

將所述第二答案樣本作為所述第一答案樣本執行所述將所述第一答案樣本和所述關聯特征輸入所述長短記憶神經網絡，得到所述第二答案樣本的步驟，直至得到組成所述答案的所有答案樣本。

5.根據權利要求1所述的基于圖片的問答方法，其特征在于，所述將基礎圖片中文本和物體的語義特征作為答案樣本，形成所述答案池包括：

將所述基礎圖片中的文本內容和所述基礎圖片中物體的名稱作為所述答案樣本，形成所述答案池。

6.根據權利要求2所述的基于圖片的問答方法，其特征在于，所述獲取基礎圖片中與所述問題相關的關聯特征包括：

獲取所述基礎圖片的融合特征和所述問題的特征；

利用自注意力交互模型對所述融合特征和所述問題的特征進行處理，獲取所述關聯特征。

7.根據權利要求6所述的基于圖片的問答方法，其特征在于，所述獲取基礎圖片的融合特征包括：

對所述基礎圖片進行文本檢測和物體檢測，得到所述基礎圖片中文本和物體的位置；

分別獲取所述文本和物體的視覺特征、語義特征和位置特征；

將所述視覺特征、語義特征、位置特征進行融合，得到所述基礎圖片的融合特征。

8.根據權利要求7所述的基于圖片的問答方法，其特征在于，所述將視覺特征、語義特征、位置特征進行融合，得到所述基礎圖片的融合特征包括：

將所述視覺特征、語義特征、位置特征進行拼接，得到所述文本和物體的特征表達；

利用融合自注意力模型對所述文本和物體的特征表達進行處理，得到所述融合特征。

9.一種基于圖片的問答設備，其特征在于，所述基于圖片的問答設備包括處理器，所述處理器用于執行指令以實現如權利要求1-8中任一項所述的基于圖片的問答方法。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質用于存儲指令/程序數據，所述指令/程序數據能夠被執行以實現如權利要求1-8中任一項所述的基于圖片的問答方法。