[發(fā)明專利]一種用于視覺(jué)問(wèn)答模型訓(xùn)練的增量型數(shù)據(jù)增強(qiáng)方法及應(yīng)用

有效

• 申請(qǐng)?zhí)枺?/td>: 202010563289.3
• 申請(qǐng)日: 2020-06-19
• 公開(kāi)（公告）號(hào): CN111967487B
• 公開(kāi)（公告）日: 2022-09-20
• 發(fā)明（設(shè)計(jì)）人: 王瀚漓;龍宇
• 申請(qǐng)（專利權(quán)）人: 同濟(jì)大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06F40/216;G06F16/332;G06N3/04
• 代理公司: 上海科盛知識(shí)產(chǎn)權(quán)代理有限公司 31225
• 代理人: 翁惠瑜

本發(fā)明涉及一種用于視覺(jué)問(wèn)答模型訓(xùn)練的增量型數(shù)據(jù)增強(qiáng)方法，該方法包括：獲取原始訓(xùn)練數(shù)據(jù)集，該數(shù)據(jù)集中的訓(xùn)練樣本的形式為圖像、文本、答案，所述文本由自然語(yǔ)言序列形成；獲取所述原始訓(xùn)練數(shù)據(jù)集中的自然語(yǔ)言序列的句長(zhǎng)分布和每個(gè)單詞的詞頻分布，基于所述句長(zhǎng)分布確定最小句子長(zhǎng)度閾值和最大句子長(zhǎng)度閾值；根據(jù)所述最小句子長(zhǎng)度閾值、最大句子長(zhǎng)度閾值和詞頻分布對(duì)訓(xùn)練樣本中的自然語(yǔ)言序列進(jìn)行擴(kuò)充，實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)。與現(xiàn)有技術(shù)相比，本發(fā)明具有實(shí)現(xiàn)數(shù)據(jù)多樣性、效率佳、簡(jiǎn)單等優(yōu)點(diǎn)。

技術(shù)領(lǐng)域

本發(fā)明涉及一種模型訓(xùn)練方法，尤其是涉及一種用于視覺(jué)問(wèn)答模型訓(xùn)練的增量型數(shù)據(jù)增強(qiáng)方法及應(yīng)用。

背景技術(shù)

近年來(lái)隨著移動(dòng)設(shè)備的大量普及和人民需求的日漸提升，呈現(xiàn)給每個(gè)人的各類視覺(jué)數(shù)據(jù)均呈現(xiàn)爆炸式增長(zhǎng)，人們對(duì)于可解答疑惑的視覺(jué)問(wèn)答系統(tǒng)的需求不斷攀升。視覺(jué)問(wèn)答系統(tǒng)旨在根據(jù)人們的需求描述幫助完成對(duì)視覺(jué)信息的解讀，涉及到問(wèn)題的理解、物體的檢索、定位和推理。相較于其他的跨模任務(wù)如視覺(jué)描述，視覺(jué)問(wèn)答任務(wù)的發(fā)展仍然受限于無(wú)限的搜索空間與不完備的訓(xùn)練數(shù)據(jù)的矛盾、統(tǒng)計(jì)推理與實(shí)際推理的矛盾、理解差異造成的回答沖突、語(yǔ)義表達(dá)的多樣性和推理難度與數(shù)據(jù)量大小的矛盾等。

其中語(yǔ)義表達(dá)的多樣性又加大了數(shù)據(jù)量大小的矛盾和回答沖突的可能性，從而加大了推理難度，因此語(yǔ)義表達(dá)的多樣性是目前需要面對(duì)的一個(gè)重要問(wèn)題，現(xiàn)有方法通常僅使用數(shù)據(jù)清洗，即去除語(yǔ)義文本數(shù)據(jù)中的無(wú)效數(shù)據(jù)，難以達(dá)到需求的識(shí)別效果。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種實(shí)現(xiàn)簡(jiǎn)單的用于視覺(jué)問(wèn)答模型訓(xùn)練的增量型數(shù)據(jù)增強(qiáng)方法及應(yīng)用。

本發(fā)明的目的可以通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)：

一種用于視覺(jué)問(wèn)答模型訓(xùn)練的增量型數(shù)據(jù)增強(qiáng)方法，該方法包括：

獲取原始訓(xùn)練數(shù)據(jù)集，該數(shù)據(jù)集中的訓(xùn)練樣本的形式為圖像、文本、答案，所述文本由自然語(yǔ)言序列形成；

獲取所述原始訓(xùn)練數(shù)據(jù)集中的自然語(yǔ)言序列的句長(zhǎng)分布和每個(gè)單詞的詞頻分布，基于所述句長(zhǎng)分布確定最小句子長(zhǎng)度閾值和最大句子長(zhǎng)度閾值；

根據(jù)所述最小句子長(zhǎng)度閾值、最大句子長(zhǎng)度閾值和詞頻分布對(duì)訓(xùn)練樣本中的自然語(yǔ)言序列進(jìn)行擴(kuò)充，實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)。

進(jìn)一步地，抓取所有句子的長(zhǎng)度分布，該長(zhǎng)度分布呈現(xiàn)正態(tài)分布，采用50％和99％確定所述最小句子長(zhǎng)度閾值和最大句子長(zhǎng)度閾值。

進(jìn)一步地，針對(duì)每一訓(xùn)練樣本的自然語(yǔ)言序列，判斷句子長(zhǎng)度是否小于所述最大句子長(zhǎng)度閾值，若是，則對(duì)該自然語(yǔ)言序列進(jìn)行擴(kuò)充，擴(kuò)充后的句子長(zhǎng)度位于最小句子長(zhǎng)度閾值和最大句子長(zhǎng)度閾值所組成的長(zhǎng)度閾值范圍之內(nèi)，若否，則不進(jìn)行擴(kuò)充。

進(jìn)一步地，隨機(jī)選定自然語(yǔ)言序列中的某個(gè)單詞，以緊隨原單詞之后重復(fù)原單詞的方法進(jìn)行擴(kuò)充。

進(jìn)一步地，通過(guò)詞頻分布選取中間1/3部分的詞頻作為單詞候選加強(qiáng)相應(yīng)的權(quán)重，隨后通過(guò)權(quán)重隨機(jī)的方式選定自然語(yǔ)言序列中的某個(gè)單詞，以緊隨原單詞之后重復(fù)原單詞的方法進(jìn)行擴(kuò)充。

本發(fā)明還提供一種視覺(jué)問(wèn)答模型的訓(xùn)練方法，該方法包括：

模型初始化；

以所述的增量型數(shù)據(jù)增強(qiáng)方法對(duì)原始訓(xùn)練數(shù)據(jù)集進(jìn)行擴(kuò)充，獲取擴(kuò)充訓(xùn)練數(shù)據(jù)集；

對(duì)擴(kuò)充訓(xùn)練數(shù)據(jù)集中的訓(xùn)練樣本進(jìn)行特征抽取，獲得文本特征和圖像特征；

對(duì)所述圖像特征和文本特征進(jìn)行特征融合，生成融合特征，基于所述融合特征生成輸出答案；

基于所述輸出答案與訓(xùn)練樣本中的初始答案計(jì)算答案誤差；

基于所述答案誤差對(duì)所述視覺(jué)問(wèn)答模型進(jìn)行參數(shù)迭代調(diào)整。

進(jìn)一步地，所述文本特征的提取具體為：