[發(fā)明專利]利用知識庫漸進(jìn)時(shí)空注意力網(wǎng)絡(luò)解決視頻問答任務(wù)的方法

有效

• 申請?zhí)枺?/td>: 201910080580.2
• 申請日: 2019-01-28
• 公開（公告）號: CN109829049B
• 公開（公告）日: 2021-06-01
• 發(fā)明（設(shè)計(jì)）人: 趙洲;朱超凡
• 申請（專利權(quán)）人: 杭州一知智能科技有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06F16/783;G06F16/73;G06K9/00;G06N3/04
• 代理公司: 無錫市匯誠永信專利代理事務(wù)所(普通合伙) 32260
• 代理人: 王闖

本發(fā)明公開了一種利用知識庫漸進(jìn)時(shí)空注意力網(wǎng)絡(luò)解決視頻問答任務(wù)的方法，主要包括如下步驟：1)針對于所給視頻、問題，獲取問題第n個(gè)單詞的隱層狀態(tài)輸出、結(jié)合了知識庫信息的問題隱層狀態(tài)輸出、含有時(shí)空注意力信息的視頻編碼。2)利用得到的問題第n個(gè)單詞的隱層狀態(tài)輸出、結(jié)合了知識庫信息的問題隱層狀態(tài)輸出、含有時(shí)空注意力信息的視頻編碼，獲取視頻問答的答案。相比于一般的視頻問答解決方案，本發(fā)明利用了知識庫漸進(jìn)時(shí)空注意力網(wǎng)絡(luò)，能夠更好地利用問題相關(guān)視頻幀與問題相關(guān)視頻畫面區(qū)域。本發(fā)明在視頻問答任務(wù)中所取得的效果相比于傳統(tǒng)的方法更好。

技術(shù)領(lǐng)域

本發(fā)明涉及視頻問答任務(wù)，尤其涉及一種利用知識庫漸進(jìn)時(shí)空注意力網(wǎng)絡(luò)解決視頻問答任務(wù)的方法。

背景技術(shù)

視頻問答任務(wù)是一項(xiàng)十分有挑戰(zhàn)性的任務(wù)，目前吸引了很多人的關(guān)注。在該任務(wù)中需要問答系統(tǒng)可以針對于某個(gè)特定視頻的問題，回答用戶的提問。目前視頻問答任務(wù)仍然是一個(gè)較為新穎的任務(wù)，對其的研究還不像對圖像問答任務(wù)那樣成熟。對于圖像問答任務(wù)，一般采用的方法為，將文本內(nèi)容與圖像內(nèi)容均映射到同一個(gè)空間中，之后利用文本與圖像內(nèi)容的聯(lián)合表達(dá)預(yù)測所給問題的正確答案。

然而視頻是一個(gè)具有特定時(shí)序信息的靜態(tài)圖像集合，所以視頻中隱藏的上下文信息與時(shí)間動態(tài)信息十分重要，不可以被忽略。此外，在視頻中，還有許多視頻幀是與所問問題無關(guān)的，需要在進(jìn)行視頻問答時(shí)給予較低的權(quán)重。

此外，在視頻問答任務(wù)的視頻處理時(shí)，與問題相關(guān)的視頻畫面區(qū)域往往只占整個(gè)視頻畫面區(qū)域的一小部分，需要找到問題所關(guān)注的視頻畫面區(qū)域。同時(shí)，為了提高視頻問答的準(zhǔn)確性，需要引入相關(guān)知識信息。為了解決上述問題，本發(fā)明使用知識庫漸進(jìn)時(shí)空注意力網(wǎng)絡(luò)來解決視頻問答任務(wù)，提高視頻問答任務(wù)形成回答語句的準(zhǔn)確性。

發(fā)明內(nèi)容

本發(fā)明的目的在于解決現(xiàn)有技術(shù)中的問題，為了克服現(xiàn)有技術(shù)對于視頻問答無法提供較為準(zhǔn)確的回答的問題，本發(fā)明提供一種利用知識庫漸進(jìn)時(shí)空注意力網(wǎng)絡(luò)解決視頻問答任務(wù)的方法。本發(fā)明所采用的具體技術(shù)方案是：

利用知識庫漸進(jìn)時(shí)空注意力網(wǎng)絡(luò)解決視頻問答任務(wù)的方法，包含如下步驟：

1.設(shè)計(jì)一種問題方面的知識庫注意力機(jī)制對視頻問答任務(wù)中用戶輸入的問題進(jìn)行編碼，獲取結(jié)合了知識庫信息的問題隱層狀態(tài)輸出和問題每個(gè)單詞的隱層狀態(tài)輸出。

2.利用步驟1中獲取的結(jié)合了知識庫信息的問題隱層狀態(tài)輸出，設(shè)計(jì)一種時(shí)空注意力單元對于視頻問答任務(wù)中的視頻進(jìn)行編碼，獲取含有時(shí)空注意力信息的各個(gè)時(shí)刻視頻編碼。

3.利用步驟2獲得的含有時(shí)空注意力信息的各個(gè)時(shí)刻視頻編碼，獲取對應(yīng)的含有時(shí)空注意力信息的視頻幀第n次隱層狀態(tài)輸出；利用步驟1中獲取的結(jié)合了知識庫信息的問題隱層狀態(tài)輸出、問題每個(gè)單詞的隱層狀態(tài)輸出與獲取的含有時(shí)空注意力信息的視頻幀第n次循環(huán)隱層狀態(tài)輸出，設(shè)計(jì)一種答案生成器，利用該答案生成器獲得視頻問答任務(wù)的答案。

上述步驟可具體采用如下實(shí)現(xiàn)方式：

對于視頻問答任務(wù)中用戶輸入的問題，將問題中的各個(gè)單詞利用單詞映射的方式，獲得問題中各個(gè)單詞的映射向量q＝(q₁,q₂,...,q_n)，其中q_t代表問題中的第t個(gè)單詞的映射向量，n代表問題中的單詞個(gè)數(shù)。將問題中各個(gè)單詞的映射向量q＝(q₁,q₂,...,q_n)依次輸入到問題的長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)單元LSTM_q中，獲取問題中每個(gè)單詞對應(yīng)的問題的長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)單元LSTM_q的隱層狀態(tài)輸出其中代表問題中的第t個(gè)單詞輸入到問題的長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)單元LSTM_q中，獲取的對應(yīng)的隱層狀態(tài)輸出。n代表問題中的單詞個(gè)數(shù)。